시장 성장을 걷어내는 전후 비교 방법

About this offer

시장 성장을 걷어내는 전후 비교 방법 (이중차분 DiD) 한 줄 요약 개입 지역의 전후 차이에서, 개입하지 않은 비슷한 지역의 같은 기간 변화 를 빼면 "개입이 추가로 만든 변화"에 가까워진다. 단, 그 비교가 믿을 만한지는 비교군 설계와 사전 추세 점검 이 결정한다. i️ 이 글은 특정 회사나 서비스와 무관한 일반 방법론 입니다. 본문의 숫자는 설명을 위한 가정 값 입니다. 들어가며 일부 지역에 자원을 더 투입했더니 그 지역 매출이 올랐습니다. 이건 투입의 효과일까요? 이렇게 묻는 순간부터 분석이 어긋나기 시작합니다. 질문을 이렇게 바꿔야 합니다. 질문 ❌ 전 개입한 지역의 성과가 좋아졌는가? ✅ 후 같은 기간의 시장 변화를 고려하고도 추가로 좋아졌는가? 이 글은 두 번째 질문에 답하는 방법을 순서대로 정리합니다. 1. 단순 전후 비교가 틀리는 이유 개입 전후의 숫자 차이에는 개입 효과 말고도 여러 가지가 섞여 있습니다. 섞이는 것 예시 추세 개입과 상관없이 시장이 계속 크고 있었다 계절성 사후 기간이 성수기였다 외부 이벤트 가격 변경, 경쟁 환경, 날씨, 다른 부서의 프로모션이 같은 시기에 있었다 평균으로의 회귀 유난히 부진했던 곳은 아무것도 안 해도 평균 쪽으로 돌아온다 단순 전후 비교는 이 네 가지를 전부 "효과"로 계산 합니다. 2. 핵심 아이디어: "개입하지 않았다면"을 만든다 우리가 알고 싶은 것은 개입한 지역이 개입하지 않았을 때 어땠을지 입니다. 하지만 그건 관측할 수 없습니다. 그래서 개입을 받지 않은 비슷한 지역( 비교군 )의 변화를 그 대역으로 씁니다. 비교군의 변화 = 개입 없이도 일어난 변화 (추세, 계절성, 외부 이벤트) 개입군의 변화 − 비교군의 변화 = 개입이 추가로 만든 변화 전후 차이를 한 번 구하고, 그룹 간 차이를 한 번 더 구하기 때문에 이중차분(Difference-in-Differences, DiD) 이라고 부릅니다. 3. 7단계로 하는 방법 1단계. 질문과 지표를 먼저 정한다 "무엇이 얼마나 달라졌는가"를 한 문장 으로 씁니다. 지표는 규모 지표 (매출, 이용량) 하나와 질 지표 (이익률, 단가) 하나를 함께 정합니다. 매출만 보면 다른 곳에서 수요를 끌어온 착시를 놓칩니다. 효과를 절대량 으로 말할지 비율 로 말할지 미리 정합니다. 지역 규모가 다르면 비율이 비교하기 쉽습니다. 2단계. 개입 단위와 시점을 정한다 개입 단위가 지역인지, 점포인지, 개별 고객인지 명확히 합니다. 이후 모든 계산에서 "표본 하나"가 이 단위 입니다. 개입 시점이 모두 같은지, 순차적으로 들어갔는지 확인합니다. 순차 도입이면 단순 2×2가 아니라 시점별로 나눠서(이벤트 스터디) 봐야 합니다. 3단계. 비교군을 설계한다 비교군은 이 분석의 품질을 거의 전부 결정합니다. 기준은 네 가지입니다. 개입을 받지 않았다. 개입 전에 비슷했다. 규모와 최근 추세가 비슷해야 합니다. 규모, 카테고리, 지역 특성으로 짝을 짓고(매칭), 최근 몇 주의 성장 흐름이 비슷한지 확인합니다. 개입의 영향을 받지 않았다. 개입 지역이 인근 비교 지역의 수요를 끌어왔다면 비교군이 오염되어 효과가 실제보다 크게 계산됩니다. 가까운 지역은 비교군에서 빼거나 따로 분석하세요. 충분히 많다. 한두 곳은 우연이 너무 크게 작용합니다. 가능하면 여러 곳의 평균을 쓰세요. 4단계. 기간을 맞춘다 사전·사후 기간 길이를 같게 합니다. 계절성이 강하면 같은 달력 구간으로 맞추거나, 전년 동기와 비교하는 방법을 병행합니다. 개입 직후 적응 기간(ramp-up) 은 따로 떼어 둡니다. 효과가 안정되기 전의 숫자가 평균을 흐립니다. 사후 관찰 기간은 결과를 보기 전에 정합니다. 결과를 보고 "좋게 나오는 구간"을 고르면 분석이 아니라 편집이 됩니다. 5단계. 계산한다 설명용 가정 숫자입니다. 개입 전 평균을 100으로 놓았습니다. 사전 사후 변화 개입 지역 100 116 +16% 비교 지역 100 110 +10% (시장 성장) 단순 전후 비교: +16% 시장 성장 +10%를 뺀 값: +6%p 비율로 말하면: 116 ÷ 110 − 1 ≈ +5.5% 💡 %p로 말할지 상대 비율로 말할지는 1단계에서 정한 방식을 그대로 쓰고, 보고할 때 어느 쪽인지 명시하세요. 같은 숫자인데 6과 5.5가 섞이면 독자가 혼란스러워합니다. 6단계. 불확실성을 같이 보여준다 단일 숫자(+5.5%) 대신 범위 (예: +3% ~ +8%)로 말하는 편이 정직합니다. 계산의 표본 단위는 주(week)가 아니라 개입 단위(지역) 입니다. 주 데이터가 많아도 지역이 10개면 표본은 10개 수준입니다. 이걸 놓치면 신뢰구간이 지나치게 좁게 나옵니다. 지역 단위로 다시 뽑아 평균을 반복 계산하는 부트스트랩 이 가장 단순한 방법입니다. 7단계. 전제를 점검한다 이 방법의 전제는 "개입이 없었다면 두 그룹이 비슷한 속도로 움직였을 것" (평행 추세)입니다. 이게 깨지면 결과 숫자는 의미가 없습니다. 세 가지로 확인합니다. 사전 추세 그래프 : 개입 전 구간에서 두 그룹의 격차를 주차별로 그립니다. 평평해야 하고, 개입 전부터 벌어지고 있다면 위험 신호입니다. 플라시보 검정 : 개입 전 구간에 가짜 개입 시점을 두고 같은 계산을 합니다. 0에 가까워야 정상입니다. 개입 전부터 효과가 나온다면 방법이 아니라 비교군이 문제입니다. 민감도 확인 : 비교군 구성이나 기간을 바꿔도 결론이 유지되는지 봅니다. 조금만 바꿔도 부호가 뒤집힌다면 결론을 강하게 말하면 안 됩니다. 4. 흔한 함정 함정 무엇이 문제인가 잘되는 곳을 골라서 개입 원래 더 빨리 크던 지역이 대상이 되면, 시장 보정을 해도 개입 전부터의 성장 차이가 효과로 계산된다. 실무에서 가장 흔하다 평균으로의 회귀 부진해서 개입한 지역의 자연 회복분이 효과로 계산된다. 비교군에도 같은 조건(최근 부진)의 지역을 넣어야 한다 비교군 오염 개입 지역이 인근 비교 지역의 수요를 끌어와 효과가 부풀려진다 동시 이벤트 같은 시기에 가격이나 프로모션이 바뀌면 분리가 안 된다. 분석 전에 이벤트 목록을 만들어 둔다 지표 하나만 보기 규모는 올랐는데 이익률이 내려갔다면 효과가 아니라 이동이나 가격 인하일 수 있다 기간 고르기 결과를 보고 좋게 나오는 구간을 선택하는 것 5. 상황별로 무엇을 쓸까 상황 방법 개입 대상을 무작위 로 정할 수 있다 A/B 테스트가 가장 확실하다 개입 전후 데이터와 비교군이 있다 이중차분 (이 글의 방법) 개입 시점이 지역마다 다르다 이벤트 스터디 (시점별 효과) 마땅한 비교 지역이 없다 여러 지역을 가중 조합해 "가상의 비교군"을 만드는 합성통제법 비교군이 전혀 없다 전년 동기 대비로 계절성만 제거. 추세는 남으므로 결론의 수위를 낮춘다 6. 결과를 어떻게 말할 것인가 이 분석은 인과를 "증명"하지 않고, 시장 흐름을 보정한 판단 근거 를 만듭니다. 보고 문장도 그 수위에 맞춥니다. ❌ "개입으로 매출이 16% 올랐습니다." ✅ "같은 기간 비교 지역 대비 약 5~6%p 높았습니다. 사전 추세와 플라시보 점검에서 큰 이상은 없었지만, 동시 이벤트는 완전히 배제하지 못했습니다." 그리고 분석 전에 판단 기준 을 먼저 정해 두세요. "비교 지역 대비 3%p 이상이면 확대, 0 근처면 유지, 음수면 중단"처럼 정해 두면, 결과를 본 뒤 해석을 끼워 맞추는 일이 줄어듭니다. 7. 체크리스트 질문과 효과의 정의(절대/비율)를 먼저 적었는가 규모 지표와 질 지표를 둘 다 보는가 개입 단위와 시점이 명확한가 비교군이 1 개입을 받지 않았고 2 개입 전에 비슷했고 3 오염되지 않았고 4 충분히 많은가 사전·사후 기간 길이와 계절성이 맞는가, 적응 기간은 분리했는가 결과를 보기 전에 사후 기간을 정했는가 신뢰구간을 개입 단위 기준으로 계산했는가 사전 추세, 플라시보, 민감도를 확인했는가 같은 기간의 동시 이벤트를 목록으로 정리했는가 결과를 "증명"이 아니라 "판단 근거"의 수위로 썼는가 마무리 숫자가 올랐다는 사실은 출발점일 뿐입니다. 그 상승이 누구 덕분인지 를 비교군으로 따져보는 일이 분석의 절반입니다.