-이전 파트-
*통계적 유의미성 성립하는 조건
1. 충분히 큰 모수를 가지고 있는가
2. 결과의 차이가 충분히 나는가
▶그렇다면 충분히 큰 모수,차이 라는건 어떻게 측정이 가능한가?
실전: 퍼블리는 A/B 테스트를 어떻게 활용하고 있나
실전: A/B 테스트 시행 8단계
publy.co
01. 목표 설정
-퍼널 어느 단계, 어느 지표를 높이는 데 집중할 것인가
>>획득,리텐션,활성화
02. 아이디에이션 하기
-그 지표를 높이기 위해 어떤 설계를 해야하는지 구상하기
*주의사항
트래픽이 많지 않은 경우에는, 작게 작게 테스트하기보다는 크게 크게 테스트하는 게 좋습니다. 랜딩 페이지를 테스트한다고 하면, 문구 한두 개 정도를 테스트하는 것이 아니라, 아예 전체적으로 제안하고자 하는 가치(value proposition)의 컨셉 자체를 다르게 테스트하는 식으로요.
03. 우선순위 정하기
-ICE
ICE는 임팩트(Impact, 이 테스트가 성공한다면 얼마나 사업 성장에 큰 영향을 끼칠 것인가), 자신감(Confidence, 이 테스트가 성공할 것이라고 얼마만큼 확신하는가), 용이성(Ease, 얼마나 쉽게, 적은 자원을 투입해서 테스트할 수 있는가)의 줄임말입니다. 항목별로 10점 만점으로 평가합니다.
04. 실험군 대조군 설정
-실험군 : 영향주는 대상
-대조군 : 기존 대상
05. 필요한 샘플 크기 계산, 기간 설정
*샘플크기 계산 : 충분히 큰 모수가 필요
-툴 : Google_ A/B test sample size calculator_에반밀러
*Baseline conversion rate: 테스트를 하기 전 기존안의 전환율
*Minimum Detectable Effect(MDE): 실험군의 전환율이 대조군의 전환율(Baseline conversion rate)의 차이 설정
ex) 3%(Absolute) 혹은 30%(Relative)
*Statistical power와 Significance level: 실험 기준을 얼마나 엄밀하게 설정할 것인지
>>어려우니 그냥 기본값 두고 하기
*테스트 기간
-보통 2주
06. 실험군, 대조군 무작위 배정
-툴 : 구글 옵티마이즈
07. AB테스트 하기
*주의사항
-테스트는 동시에 이뤄져야한다.
시간이 차이가 생기에 변수에 시간이 만들어지는 것
08. 테스트 결과 해석하고 승자 선택하기
주의사항
"통계적 유의미성에 매몰되어서는 안된다는 점."
>> 사업적으로 무의미할 수 있다.
예) 1억을 벌기위해서 9000만원 가량의 인건비와 비용을 지출하는게 합당한가?
'Marketing > 마케팅 지식' 카테고리의 다른 글
| GDN 광고_노출위치,구조, 광고 게재 팁 (0) | 2022.06.19 |
|---|---|
| 검색엔진 최적화 (0) | 2022.05.10 |
| [PUBLY]그로스해킹의 전략, AB테스트 제대로 활용하기(1) (0) | 2022.04.15 |
| 구글플레이스토어 앱 등록시 주의사항 및 요령 (0) | 2022.04.05 |
| AARRR퍼널 이해하기 // #3. Retention (유지)_리텐션률이 중요한 이유와 주요 개념 (0) | 2022.03.05 |