인과추론의 데이터 과학 섹션 3,4_ 무작위 통제 실험, A/B Test

[Session 3-1] 무작위 통제실험 연구사례 1: 출근시간 타켓 마케팅의 인과적 효과

[Session 3-2] 무작위 통제실험 연구사례 2: 걷기 운동 동기부여를 위한 모바일앱 인센티브 디자인

[Session 4] IT기업에서의 A/B 테스트 활용

를 듣고 저만의 방식으로 요약한 내용입니다. 

 

[Session 3-1] 무작위 통제실험 연구사례 1: 출근시간 타켓 마케팅의 인과적 효과

 

모바일 쿠폰에 관한 연구 사례

1) 문제 제기

 

모바일 쿠폰을 받았을 때 이것을 실물로 교환하는 비율 (redemption rate)이 굉장히 낮다.

 

쿠폰의 매체가 종이에서 모바일로 지배적으로 바뀌었지만 ,

왜 이를 교환하는 비율 (redeption rate)은 2%~16%로 매우 낮을까? (MMA,2013)

 

2) 원인

 

모바일 쿠폰은 모바일 폰의 유니크한 점(Unique Features)을 살리지 못하고 있다.

 

3) 모바일 폰의 유니크한 점(Unique Features)이란?

 

• 시간을 활용한/일시적인 측면 (Temporal Aspect)
  
  • 휴대 가능함으로 시간대를 고려한 메세지를 보낼 수 있다. 
    •  예시 )  오전 출근 시간 타겟팅 
• 지리적인 측면 (Geographical Aspect)
  • GPS를 활용해 위치 기반으로 고객을 타겟팅할 수 있다.   
    • 예시 ) 현재 영화관 안에 들어간 사람들 타겟팅해서 무비 쿠폰 발행 
• 맥락 (Context) 
  • 시간(Temporal) + 지리(Geographical) = 맥락 (Context) 
    • 예시 ) 아침 9시 신도림역 (사람이 붐비는 공간) , 시간이나 지리 단독으로는 파악이 안되는, 시간과 지리의 조합이 맥락(Context) 
    • 요새는 이러한 맥락(Context)를 활용한 모바일 쿠폰 타겟팅이 각광받고 있다. 
  • Contextual Targeting이 각광 받고 있는 이유 
    • 갈수록 위치 정보 데이터가 얻기 힘들어지고 있다.
      • 앱에 대한 위치 정보 제공 비동의 추세 증가 등

 

통근 타겟팅 모바일 쿠폰 마케팅 (Contextual Targeting) 

 

통근 스트레스를 가진 사람들은..  

 

생리적 관점 :  통근 - 만성 스트레스 __ 식욕이 높다. 

심리적 관점 : 통근 - 통제할 수 없는 상황__ 결과가 명확한 것을 선호한다. 

 

를 전제로함 , '즉 통근을 하는 사람들은 더 높은 redemption rate을 가질 것이다.'를 가정함  

출처 : 인과추론의 데이터 과학

 

 

실험

 

• 기간 : 2015.8.24~2015.9.21
• Sample : 약 1만명 
• Treatment Group : 'Get me home' 또는 'Get me to work' 버튼을 누른 사람들 (= 통근하는 사람들) 
• Control Group : 'Get me somewhere'을 누른 사람들 (=통근하지 않는 사람들) 

Treatment와 Control 그룹에서 랜덤 하게 위 모바일 쿠폰 화면 (김밥, 스니커즈, 도넛 등)을 보여줌 

 

두 가지 분석

 

A : 쿠폰 하나를 받은 사람들 (One Coupon Users)  

 

• 목적 : treatment(통근)에 따른 redemption rate의 효과를 알기 위해서       
• 종속 변수 (Dependent Variable) : 쿠폰의 교환 여부 
• 독립 변수 (Independent Variable) : 통근할 때 이 쿠폰을 받았냐 / 다른 컨텍스트에서 쿠폰을 받았냐  
• 통제 변수 (Control Variable) : 아침/점심/저녁 등, 요일,상품,쿠폰 만료기한, 유저의 앱 사용량, 평균 사용량 등 
• 모델 : Logistic Regression 
• 실험 디자인 
  • Symbol
    • X : Treatment(통근)에 노출되었냐 아닌가 
    • O : 측정하고자 하는 Outcome (쿠폰의 교환여부, DV)를 측정했냐 아닌가 
    • R : Random assignment가 있었냐 없었냐 

출처 : 인과추론의 데이터 과학

• Matching
  • Propensity Score Matching
    • Commuter와 Non-Commuter 그룹을 비교할 때 user composition이나 특이점이 다를 수 있음으로, Matching의 방법을 사용하여 이를 보완한다. 
    • Propensity score matching (PSM) is a quasi-experimental method used to estimate the difference in outcomes between beneficiaries and non-beneficiaries that is attributable to a particular program.
      • 출처 : betterevaluation

 

B : 쿠폰 두개 이상을 받은 사람들 ( One or More Coupon Users) 

 

• 목적 : 쿠폰 분배 전략을 결정하기 위해서 
• 종속 변수 (Dependent Variable) : 쿠폰의 교환 여부 
• 독립 변수 (Independent Variable) : 통근할 때 이 쿠폰을 받았냐/다른 컨텍스트에서 쿠폰을 받았냐, 쿠폰 개수, 쿠폰 유효기간
• 통제 변수 (Control Variable) : 아침/점심/저녁 등, 요일,상품,쿠폰 만료기한, 이전 교환(redemption)의 숫자, 유저의 앱 사용량, 평균 사용량 등
• Matching 
  • Static Matching
    • 매칭된 페어가 변하지 않고 쭉 가는 것 
  • Dynamic Matching
    • 매칭된 페어 유저가 계속 바뀌는 것 
    • 시점에 따라 가장 비슷한 그룹으로 매칭을 해주자는 것 
  • 결과 

출처 : 인과추론의 데이터 과학

Key Findings 요약 

• Commuters가 Non-commuters 보다 교환율이 높다.
• 쿠폰 여러개 주는 것은 non-commuters에게 부분적으로 효과가 있다.
• Commuters는 쿠폰 기한이 짧게 남은 게 더 반응이 좋고, Non-commuters는 기한이 많이 남은 게 더 반응이 좋았다. 
• 이전에 교환 경험은 다음 교환에는 부정젹 효과가 있다. 

 

[Session 3-2] 무작위 통제실험 연구사례 2: 걷기 운동 동기부여를 위한 모바일앱 인센티브 디자인  

 

걷기 운동 동기부여를 위한 모바일앱 인센티브 사례 

 

1. Research Question 

 

하루 1만보 이상 걷도록 Self - Motivated 되는 게 중요한데, 대부분 안되기 때문에 인센티브를 제공한다. 

 

인센티브  예시 ) 10만보를 걸으면 기부를 해주겠다. 

 

1) 인센티브 스킴 : 이기적(Egoistic) or 자선(Philanthropic) 

2) 인센티브 요구 사항 : High or Low 

3) 인센티브 보상 : High or Low 

 

이 조합을 최적화하는 것이 중요하다. 

(=Optimal 한 인센티브 스킴을 찾는 것)   

 

2. Experiment Design and Data 

출처 : 인과추론의 데이터 과학

user_id를 랜덤하게 셀렉한다. 

 

3. Threoretical Framework 

 

이기적(Egoistic)과 자선(Philanthropic) 동기들에서, 보상을 늘리는 것과 요구 사항을 줄이는 것 중 어떤 게 더 효과적일까?

 

자기 인식 이론 (Self-Perception)에 따르면,  

 

보상을 늘리는 것 --match-- 이기적
요구사항을 줄이는 것 --match-- 자선 

이렇게 매칭하는 것이 더 효과적일 것이다. 

 

출처 : 인과추론의 데이터 과학

시사점 : 자선(Philanthropic)이 초기 스타트업 같은 경우에 높은 성취에 도움이 될 수 있다. 

 

5. Result with Robustness check 

• Propensity score matching (PSM) 사용
• Outlier 체크                              
  
  

[Session 4] IT기업에서의 A/B 테스트 활용

 

연사 : 전 쿠팡 이윤석님 

 

문제 

예시
1) 쿠팡의 결제 버튼의 선택지를 늘렸더니, 결재 전환율이 올라갔다 through 전/후 비교
2) 그런데, 당시에 코로나 시기이긴 했어...
3) 보통 __ 에이 모르겠다 지표가 올랐으니까 사용자들은 더 많은 선택지를 주면 좋아하나 보지..! 
4) 그런데 왜 이번에 지표는 안 오르는거지..?

 

현재 문제 : 지표가 올라가고 내려간 원인을 명확히 모른다. (명확한 인과관계 추론 없이 일을 했다) 

 

참고 ) 모 IT 기업에서의 A/B 테스트에서 B 그룹이 이긴 경우는 50% 남짓. 

 

해결 방법 

 

1) 매 기능 개선건마다, 지표가 올라가고 내려간 원인을 알아야 한다. 

2) 발견한 원인(learning)을 바탕으로, 성공확률이 더 높은 도전을 해야 한다. 

3) 이 지표 변화의 원인을 알기 위해서는.. 인과추론이 필요하다. 

 

학계에서의 가설 검증과 업계에서의 가설 검증이 크게 다르지 않다. 

쿠팡이 로켓 배송을 전국적으로 확대한 과정, 단지 A와 B를 나누어서 실험했다. 

 

IT 기업에서의 인과추론

• 대부분의 경우 A/B 테스트를 사용한다. 
• 각종 분석 방법론을 사용한 인과 추론 -> 난이도가 높고 시간이 오래 걸림, 부정확하다. 
• 모델링(시뮬레이션) -> 특정한 경우에만 사용한다. 
  • 비용 모델링, 유저 프로젝션 등 

 

학계와 업계, 주요 방법론이 다른 이유 

• 데이터 접근이 매우 쉽다.
• 데이터의 양과 종류가 풍부하다.
• 필요하면 데이터를 직접 만들 수 있다. 
  • 런칭해서  A/B 테스트 갑시다..! 

 

A/B 테스트의 종류들

• 단순 지표 분석
  • 단순 전환율 등의 지표로 분석 
  • Tool , Google Optimizer 등
• 퍼널 분석 
  • 유저 전이에 대한 A/B 테스트 
    • 고객이 어떤 구간에서 가장 많이 이탈/전환하는지 등을 비교 분석
      • A 그룹은 C에서 가장 이탈률이 높은데 B 그룹은 D에서 가장 높네..?  
• 다변량 A/B 테스트 
  • 어떤 조합이 제일 좋은지? 
    • 오바마 선거 캠프의 사례 

출처 : 인과추론의 과학

• Mulit-armed Bandit A/B 테스트
  • 안좋은 지표의 트래픽을 높게 유지하는건 손해다
• 등등

 

기업에서 인과추론의 의미 

• 사람의 직관은 생각보다 많이 틀린다. 
• 조직 문화 : 권위 기반 의사결정 vs 데이터 기반 의사결정
• 토론의 기반이 "데이터, 논리, 명확한 인과관계"라는 약속으로 이뤄지는 것 
• 권위 기반 의사결정
  • 권위 있는 사람의 느낌, 직감, 믿음을 따른다.
  • "대표님이 지시하신 기능을 전체배포했습니다" (결과는 모름)
• 데이터 기반 의사결정
  • "대표님의 의견을 A/B 테스트해봤는데 매출이 떨어졌습니다." 
• 기업에서 인과관계를 본다는 것은
  • 권위가 아닌 데이터에 기반한 가장 좋은 의견이 채택
  • 이런 조직일수록, 어리고 똑똑한 리더가 많다. 
• 기업에서 인과 추론이란
  • 크고 작은 기능 개선의 효과를 명확하게 볼 수 있다.
  • 시장을 뒤흔들 가설을 검증할 수 있다.
  • 더 합리적이고 건강한 조직을 만들 수 있다.  

따라서 인과 추론을 고려하는 조직과 아닌 조직의 격차는 계속 벌어질 것이라고 추측한다. 

 

 

References 

• Propensity scores  

Propensity scores

일러스트 무료 공유 사이트 

- https://undraw.co/illustrations

Illustrations | unDraw

- https://www.drawkit.com/

DrawKit - Beautiful 2D & 3D Illustrations and Icons