책소개

아이디어는 넘쳐나지만, 확신은 부족한가요?
우리는 직감에 기대지만… 결국 검증이 답을 줍니다.

프로덕트를 만들다 보면 번뜩이는 아이디어가 떠오르기 마련입니다. 하지만 그 아이디어가 정말 효과적인지, 사용자들에게 어떤 영향을 미칠지는 A/B 테스트를 통해서만 알 수 있습니다.

A/B 테스트는 단순히 실험 도구가 아닙니다. 우리가 세운 가설이 맞는지 검증하는 도구이자, 더 나은 가설로 나아가기 위한 학습의 시작점입니다. 직감에만 의존해 결정을 내리던 방식에서 벗어나, 데이터를 근거로 프로덕트를 개선해나가기 위한 필수 도구입니다.

이 책은 “A/B 테스트를 왜 해야 하는지”부터 “어떻게 해야 진짜 도움이 되는 실험을 설계할 수 있는지”까지 실무 중심으로 차근차근 풀어낸 안내서입니다. 수식보다 예제, 이론보다 맥락에 집중했습니다. 실험 설계, 지표 정의, 결과 해석, 실험 간섭 통제까지 실무자가 매일 마주치는 고민들을 하나하나 짚어드립니다.

저자소개

목차

1 머리말
2 A/B 테스트란?
3 A/B 테스트를 해야 하는 이유
4 A/B 테스트를 하기 위한 조건
4-1 가설 수립
4-2 지표 정의
4-2-1 목표 지표
4-2-2 요인 지표
4-2-3 방어 지표
4-3 실험 환경 구축
4-3-1 원하는 실험 단위를 사용할 수 있어야 함
4-3-2 실험 단위들을 실험안에 무작위로 할당할 수 있어야 함
4-3-3 필요 데이터를 수집할 수 있음
5 가설 검정이란?
6 A/B 테스트를 하는 방법
6-1 실험 설계
6-1-1 실험안
6-1-2 측정 지표
6-1-3 실험 단위
6-1-4 실험 대상
6-1-5 통계 변수
6-1-6 실험 기간
6-1-7 장기 효과를 측정하는 대안적 방법
6-1-8 실험간 영향 통제 수단
6-2 실험 진행
6-3 실험 결과 분석 및 출시 결정
6-3-1 실험 유효성 검수
6-3-2 실험 지표 분석
6-3-3 실험 결과 해석 및 출시 결정
6-3-4 실험 결과 기록, 공유 및 후속 실험 진행
7 P-hacking
8 마치며