AB테스트

본 내용은 책 'A/B 테스트- 론 코하비,다이앤 탕,야 쉬 (일명 하마책)'를 읽고 개인적으로 정리한 내용입니다. 실험의 결과는 대부분 지표로 측정한다. 지표는 어떻게 분류할까? 지표는 목표 지표 (goal metrics)와 동인 지표(driver metrics) , 가드레일 지표 (guardrail metric) 으로 크게 나눌 수 있다. 목표 지표 (goal metrics)는 성공 지표 또는 북극성 지표 등으로도 불리며, 조직이 궁극적으로 무엇을 신경쓰는지를 보여준다. 회사가 성공하면 어떤 모습일까? 에 대해 답을 하다 보면 이 지표를 정의하기 용이하며, 회사의 미션에 대부분 결부된다. 동인 지표(driver metrics)란 목표 지표보다 단기적이고 빠르게 움직이며, 더 민감한 지표인 경향이 있다..

본 내용은 책 'A/B 테스트'를 참고하여 쓴 글입니다. Chapter 3 트위먼의 법칙과 실험의 신뢰도 트위먼의 법칙이란..그런 것 같다. 본인이 회사 모니터 옆에 붙여 놓은 '의심하기' 라는 문구처럼, 흥미로워 보인다거나 특이한 데이터가 있으면 대부분 틀렸으니 여러가지로 쪼개든지 해서 다시 검증해보라는 것.. 이번 장은 어떤 부분들을 의심해보아야하는지 구체적인 사례를 제시해준다. That's 유용! 트위먼의 법칙 "흥미롭게 보이거나 다르게 보이는 모든 것들은 대체로 틀렸다." 통계 결과의 잘못된 해석 통계적 검정력 부족 일반적인 실수 : 지표가 통계적으로 유의적이지 않다고 해서 실험 효과 (Treatment Efect)가없다고 가정하는 것. 실험이 우리가 보고 있는 효과 크기를 탐지하기에는 검정력이 ..

책 'A/B 테스트- 론 코하비*다이앤 탕* 야 쉬 (일명 하마책)'를 읽고 개인적으로 정리한 내용입니다. A/B 테스트를 공부하는 이유 인과 추론 스터디 ver_1 을 끝내고 스터디원분들끼리 막 시작한 A/B 테스트 스터디..! 인과 추론에 대해 공부하고, 이에 대해 이야기하면서 결국 비즈니스 측면에서는 책에서의 무작위 종합 대조 실험의 체계적 리뷰, 즉 메타 분석이 가장 효과적이고, 이를 사용할 수 없다면 신뢰도가 조금 낮아도 다양한 인과 추론의 방법을 사용할 수 있다고 설명하셨다. 따라서 윤리적/현실적 문제가 있는 연구 단이 아닌 소프트웨어 회사라면 적절한 실험이 인과를 추론하는 가장 효과적인 방법이라는 것..! 여담으로 한 데이터 분석 책 스터디에서 통계학 석사를 하신 분께서 본인은 통계는 안 믿..