원인과 결과의 경제학

나카무로 마키코, 쓰가와 유스케, 『원인과 결과의 경제학』, 윤지나, 리더스북(2018)

✅ 한 줄 평

인과추론 방법별 사례를 재미있게 풀어준 책

 

📘 Summary

• 많은 사람들이 인과관계와 상관관계를 혼동한다.
• 돈과 시간을 정확히 인과관계에 근거한 곳에 쓰면 좋은 결과를 얻을 확률이 그만큼 높아진다.

인과 추론의 5단계

• 원인은 무엇인가?
• 결과는 무엇인가?
• 세 가지 체크 포인트 확인
  • 결과가 우연의 일치는 아닐까?
  • 교란 요인은 없는가?
  • 역의 인과관계가 존재하지 않는가?
• 반사실 생성
  • 반사실: 실제로 일어나지 않은 사실을 가정하는 시나리오 (만약 ~하지 않았다면 결과는 어땠을까?)
  • 반사실은 관찰할 수 없으므로 타당한 값으로 채우는 과정이 필요
• 비교 가능해지도록 조정
  • 결과(ex. 매출)에 영향을 줄 수 있는 특징들이 비슷하고, 유일한 차이가 원인(ex. 광고 유무) 일 경우,
    두 그룹을 비교 가능하다고 할 수 있음

인과 추론 실험 종류

• 랜덤화 비교 실험 : 두 변수의 관계가 인과관계인지 상관관계인지 밝히는 가장 확실한 방법
  • 선택 편향이 발생하지 않아서 비교 가능
  • 한계
    • 많은 비용
    • 외적 타당성 문제
    • 윤리적인 문제로 실시할 수 없는 경우
• 자연 실험 : 외생적 쇼크에 의해 자연적으로 개입을 받는 그룹과 그렇지 않은 그룹으로 나뉜 상황을 이용하여 인과관계를 검증
• 준실험 : 관찰 데이터와 통계적 기법을 이용해 마치 랜덤화 비교 시험을 실시하고 있는 것 같은 상황을 만들어내는 것
  • 실험을 모방한다는 의미
  • 종류
    • 이중차분법
    • 조작변수법
    • 회귀 불연속 설계
    • 매칭법

준실험

• 이중차분법 : 전후 비교설계를 개량한 것
  • 개입 효과 산출 방법: 실험군 개입 전후 차이 - 대조군 개입 전후 차이
  • 전제 조건
    • 실험군과 대조군은 개입 전 결과의 ‘트렌드’가 같아야 함 (=트렌드가 비교 가능해야 함)
    • 개입과 같은 타이밍에 결과에 영향을 줄 만한 다른 변화가 실험군과 대조군에 별개로 발생하지 않아야 함
• 조작 변수법 : ‘조작 변수’를 이용해 실험군과 대조군을 비교 가능한 상태로 만드는 방법
  • 조작 변수: 결과에는 직접 영향을 주지 않지만 원인에 영향을 줌으로써 간접적으로 결과에 영향을 주는 제3의 변수
  • 전제 조건
    • 조작 변수는 원인에만 영향을 미치고, 결과에는 직접 영향을 주지 않아야 함
    • 조작 변수와 결과 모두에 영향을 줄 만한 제4의 변수가 존재하지 않아야 함
• 회귀 불연속 설계 : 자의적으로 결정된 컷오프 값을 중심으로 실험군과 대조군으로 갈리는 상황을 이용해 인과 효과를 추정
  • 전제 조건
    • 컷오프 값 주변에서 결과에 영향을 줄 만한 다른 이벤트가 발생하지 않아야 함
• 매칭법 : 결과에 영향을 줄 만한 공변량을 이용해 대조군에서 실험군과 매우 흡사한 샘플을 찾아내 매칭시켜 비교하는 방법
  • 실험군과 매우 비슷한 짝을 대조군에서 추출해 두 그룹을 비교 가능하게 만드는 방법
  • 전제 조건
    • 결과에 영향을 줄 만한 공변량이 모두 관찰 가능해야 함
  • 성향 점수 매칭법 : 복수의 공변량을 종합해 점수화한 것 (실험군으로 분류될 확률)
    • 공변량이 많을 때 모든 조건이 동일한 대조군을 찾기 어려운 경우에 활용

중회귀 분석

• 교란 요인의 영향을 배제 가능
• 방법
  • 교란 요인 값이 움직이지 않도록 고정
  • 원인과 결과의 관계를 나타내는 최적선으로 인과 효과를 평가
    • 최적선: 데이터 간의 거리 합계가 가장 작아지도록 그은 선
      • 최적선의 기울기는 인과 효과를 의미
      • 교란 요인이 존재하지 않아야 사용 가능
• 중간 변수가 있을 경우, 중회귀 분석을 이용하면 원인 본래의 영향을 과소평가하게 됨
  • 중간 변수: 인과관계 경로 중간에 있는 제3의 변수

 

❓ 질문거리

1. 실험 전, 교란 요인을 확인할 수 있는 방법은 없을까?
2. 통계적 검정력이 담보가 되면, 적은 양의 데이터 기반 인과 추론 결과도 의미가 있다고 볼 수 있을까?
3. A/B 테스트의 결과가 큰 차이가 없을 때, 어떤 것을 사용하는 것이 좋을지 판단할 수 있는 방법이 없을까?