가중치 점수 모델과 민감도 분석

Об этом предложении

점수표는 정답이 아니라 대화 도구다 가중치 점수 모델 설계와 민감도 분석 한 줄 요약 여러 후보를 가중치 점수표로 비교하면 판단을 쪼개서 논의할 수 있다. 하지만 순위만 믿으면 위험하다. 가중치를 흔들어도 순위가 유지되는지(민감도) 를 확인해야 점수표가 근거가 된다. i️ 이 글은 특정 회사나 서비스와 무관한 일반 방법론 입니다. 예시는 모두 가상의 프로젝트 후보 4개 이고, 숫자는 설명을 위한 가정 값입니다. 들어가며 후보는 여러 개인데 자원은 한정되어 있습니다. 이럴 때 흔히 점수표를 만듭니다. 기준을 정하고, 점수를 매기고, 가중치를 곱해서 순위를 냅니다. 점수표는 설득력이 있어 보입니다. 바로 그 점이 위험합니다. 소수점 아래 숫자가 붙는 순간 감으로 매긴 점수가 계산된 사실처럼 보이기 때문입니다. 점수표가 실제로 하는 일은 정답을 내는 것이 아닙니다. 판단을 기준별로 쪼개서, 어디에서 의견이 갈리는지 드러내는 것 입니다. 그렇게 쓰면 훨씬 강력한 도구가 됩니다. 1. 점수 모델이 맞는 경우, 맞지 않는 경우 상황 점수 모델이 맞나 후보가 여럿이고 기준도 여럿이며 기준끼리 상충한다 ✅ 맞다 이해관계자 간 합의가 필요하다 ✅ 맞다 (논의 틀로 유용) 하나의 금전 가치로 환산할 수 있다 ❌ 직접 계산(기대 가치, 회수 기간)이 낫다 후보가 두 개뿐이다 ❌ 장단점 비교가 더 빠르다 점수를 채울 근거가 전혀 없다 ❌ 가짜 정밀도만 만든다 2. 설계 7단계 1단계. 결정과 후보를 정의한다 무엇을 고르는 결정인지 한 문장으로 씁니다. ("이번 분기에 먼저 착수할 프로젝트 1개를 고른다") 후보가 서로 배타적인지 , 함께 할 수 있는지 구분합니다. 함께 할 수 있다면 순위가 아니라 조합 을 고르는 문제입니다. 예산, 인력 같은 제약 조건 을 먼저 적습니다. 제약을 넘는 후보는 점수를 매길 필요가 없습니다. 2단계. 필수 조건은 점수가 아니라 게이트로 거른다 법적·보안 요건처럼 하나라도 못 지키면 안 되는 조건 을 점수표에 넣으면 문제가 생깁니다. 다른 기준의 높은 점수가 이를 상쇄해 버리기 때문입니다. 필수 조건은 통과/탈락(게이트) 으로 먼저 거릅니다. 게이트를 통과한 후보끼리만 점수를 비교합니다. 3단계. 평가 기준을 고른다 원칙 이유 3~6개 로 제한한다 많을수록 각 기준의 영향이 흐려진다 서로 독립적 이어야 한다 '기대 효과'와 '기대 매출'을 둘 다 넣으면 같은 것을 이중으로 센다 방향을 통일 한다 모든 기준을 "높을수록 좋음"으로 맞춘다. '난이도'는 '실행 용이성'으로 뒤집는다 측정 가능 해야 한다 근거를 댈 수 없는 기준은 논쟁만 만든다 이 글의 예시는 세 가지 기준을 씁니다: 기대 효과 · 실행 용이성 · 긴급도 4단계. 점수 척도와 앵커를 정의한다 1~5점이라고만 정하면 평가자마다 5점의 의미가 다릅니다. 각 점수가 무엇을 뜻하는지 문장으로 적어 둡니다. (앵커) 점수 기대 효과 앵커 (예시) 5 핵심 지표를 크게 개선할 근거가 있다 4 개선이 기대되고 근거가 일부 있다 3 개선 가능하나 근거가 약하다 2 효과가 작거나 불확실하다 1 효과를 기대하기 어렵다 점수마다 근거를 한 줄 로 남깁니다. 나중에 "왜 4점이었죠?"에 답할 수 있어야 합니다. 정량 지표를 점수로 바꿀 때는 구간 기준(예: 상위 20% 이상이면 5점)을 미리 정합니다. 가능하면 여러 명이 각자 채점한 뒤 차이가 큰 항목을 토론합니다. 이견이 큰 항목이 가장 값진 정보입니다. 5단계. 가중치를 정한다 가중치는 기준의 상대적 중요도이고, 합은 100%입니다. 가중치는 계산 문제가 아니라 무엇을 더 중시하는가에 대한 가치 판단 입니다. 직접 배분 : 100점을 기준들에 나눠 줍니다. 가장 단순합니다. 순위 매기기 : 기준의 중요도 순서를 먼저 정한 뒤 가중치로 변환합니다. 각자 배분 후 비교 : 이해관계자가 따로 가중치를 매기고 차이를 확인합니다. 합의 과정에서 가장 효과적입니다. ⚠️ 가중치는 후보별 점수를 보기 전에 정하세요. 결과를 보고 가중치를 조정하면 원하는 순위를 역산한 것이 됩니다. 6단계. 계산한다 각 후보의 총점은 가중합 입니다. 총점 = (기대 효과 점수 × 효과 가중치) + (실행 용이성 점수 × 용이성 가중치) + (긴급도 점수 × 긴급도 가중치) 가정한 점수와 가중치(효과 50%, 용이성 30%, 긴급도 20%)로 계산하면 다음과 같습니다. 후보 기대 효과 실행 용이성 긴급도 총점 A 5 2 3 3.7 B 4 4 3 3.8 C 3 5 3 3.6 D 2 3 5 2.9 순위는 B → A → C → D입니다. 그런데 1위 B와 2위 A의 차이는 0.1점 입니다. 이 차이를 믿어도 될까요? 그걸 확인하는 것이 다음 단계입니다. 7단계. 민감도 분석으로 순위를 흔들어 본다 민감도 분석은 입력(가중치, 점수)을 조금씩 바꿔 보고 결론이 유지되는지 보는 것입니다. 네 가지 방법이 있습니다. 가중치 흔들기 : 각 가중치를 ±10~20%p 바꿔 가며 순위를 다시 계산합니다. 점수 흔들기 : 근거가 약한 점수를 ±1씩 바꿔 봅니다. 전환점(flip point) 찾기 : "1위가 바뀌려면 가중치가 얼마나 달라져야 하는가?"를 계산합니다. 기준 하나씩 빼기 : 기준을 하나 제거했을 때 순위가 유지되는지 봅니다. 위 예시에 가중치 시나리오 네 개를 적용한 결과입니다. 시나리오 가중치 (효과/용이성/긴급도) A B C D 1위 기본 50 / 30 / 20 3.70 3.80 3.60 2.90 B 효과 중시 60 / 20 / 20 4.00 3.80 3.40 2.80 A 용이성 중시 35 / 45 / 20 3.25 3.80 3.90 3.05 C 긴급도 중시 40 / 30 / 30 3.50 3.70 3.60 3.20 B 여기서 읽을 수 있는 것은 두 가지입니다. D는 어느 시나리오에서도 4위입니다. 이 결론은 안정적이라 탈락시켜도 됩니다. A · B · C는 가중치에 따라 1위가 바뀝니다. 이 셋 중 무엇을 고를지는 점수표가 답해 주지 않습니다. 전환점도 계산해 볼 수 있습니다. 효과 가중치를 50%로 두고 용이성 가중치만 줄이면(나머지는 긴급도로 이동), B는 용이성 가중치가 25% 아래로 내려가는 순간 A에 1위를 내줍니다. 기본값인 30%에서 5%p만 움직여도 결론이 뒤집힌다는 뜻입니다. 이럴 때 점수표의 역할은 끝난 것이 아닙니다. 논의가 "A · B · C 중 무엇인가"에서 "효과와 실행 용이성 중 무엇을 더 중시하는가"로 좁혀진 것입니다. 이것이 점수표가 만들어 주는 가장 가치 있는 대화입니다. 3. 흔한 함정 함정 무엇이 문제인가 처방 가짜 정밀도 3.78과 3.74를 다른 것처럼 읽는다 소수점을 한 자리로 줄이고, 차이가 작으면 동률 그룹으로 묶는다 기준 중복 비슷한 기준을 두 번 넣어 한 가지 요소에 가중치가 몰린다 기준 간 의미가 겹치는지 점검한다 상쇄 구조 한 기준이 치명적으로 낮아도 다른 기준이 메워 준다 필수 조건은 게이트로, 하한선을 둔다 가중치 역산 원하는 후보가 이기도록 가중치를 맞춘다 점수 전에 가중치를 확정하고 기록한다 평가자 편차 어떤 사람은 후하고 어떤 사람은 박하다 앵커를 쓰고 평가자별 평균을 보정한다 척도 불일치 큰 단위의 정량 지표가 점수를 지배한다 모든 기준을 같은 척도(1~5 등)로 변환한다 순위만 보기 1위와 2위의 격차는 무시한다 점수 차이와 민감도를 함께 보고한다 점수에 없는 것 무시 학습 가치, 평판, 시기 같은 정성 요소가 사라진다 점수표 밖의 고려사항을 별도 항목으로 적는다 4. 보완하거나 대신 쓸 수 있는 방법 게이트 + 점수 2단계 : 필수 조건은 거르고, 통과한 후보만 점수화합니다. 가장 실용적입니다. 지배(dominance) 제거 : 모든 기준에서 다른 후보보다 같거나 나쁜 후보는 가중치와 무관하게 탈락시킬 수 있습니다. 가중치 논쟁 없이 후보를 줄이는 방법입니다. 시나리오 비교 : 가중치를 하나로 못 정하겠다면, "효과 중시 / 용이성 중시" 같은 시나리오별로 결과를 나란히 놓고 결정 주체가 고르게 합니다. 다기준 의사결정(MCDA) 기법 : 쌍대비교로 가중치를 도출하는 AHP, 이상적인 해와의 거리를 보는 TOPSIS 등이 있습니다. 필요할 때 찾아보면 됩니다. 5. 결과를 어떻게 보고할까 ❌ "점수 분석 결과 B가 1위입니다." ✅ "후보 D는 모든 가중치 시나리오에서 하위였습니다. A · B · C는 점수 차이가 작고(3.6~3.8), 가중치에 따라 1위가 바뀝니다. 선택은 '효과와 실행 용이성 중 무엇을 더 중시하는가'에 달려 있고, 용이성 가중치가 25% 아래면 A가, 그 위면 B가 앞섭니다." 보고서에는 순위 하나보다 아래 네 가지가 들어가야 합니다. 안정적인 결론 (어떤 후보가 일관되게 상위/하위인가) 불안정한 결론 (어떤 조건에서 1위가 바뀌는가) 판단이 갈리는 지점 (가중치에 대한 합의가 필요한 부분) 점수표가 포착하지 못한 요소 6. 체크리스트 어떤 결정인지, 후보가 배타적인지 조합 가능한지 정의했는가 필수 조건은 게이트로 분리했는가 기준이 3~6개이고, 서로 독립적이며, 방향이 통일되어 있는가 점수 척도에 앵커(각 점수의 의미)가 있고, 근거를 한 줄씩 남겼는가 가중치를 점수를 보기 전에 정했는가 가중치를 ±10~20%p 흔들어 순위 변화를 확인했는가 근거가 약한 점수를 ±1 바꿔 봤는가 1위가 바뀌는 전환점을 계산했는가 총점 차이가 작은 후보는 동률 그룹으로 묶어 보고했는가 점수표 밖의 고려사항을 별도로 적었는가 마무리 점수표의 가치는 순위를 정해 주는 데 있지 않습니다. "우리는 무엇을 더 중요하게 생각하는가"를 숫자 앞에서 드러내게 하는 데 있습니다. 순위가 흔들리지 않는다면 자신 있게 결론을 말하면 되고, 흔들린다면 그 지점이 바로 논의해야 할 핵심입니다.