AI가 쓴 보고서를 믿을 수 있게 만드는 법 (사실·해석·제안 분리)

About this offer

AI가 쓴 보고서를 믿을 수 있게 만드는 법 사실 · 해석 · 제안을 분리하는 워크플로 한 줄 요약 보고서에서 가장 위험한 문장은 해석이 사실의 옷을 입은 문장 이다. AI에게 보고서를 맡길 때는 한 번에 쓰게 하지 말고, 사실 → 해석 → 제안 을 단계별로 분리하고 각 단계에 검증을 붙여야 한다. i️ 이 글은 특정 회사나 서비스와 무관한 일반 방법론 입니다. 예시는 모두 가상 이고, 숫자는 설명을 위한 가정 값입니다. 들어가며 보고서를 만들 때 오래 걸리는 부분은 문장을 쓰는 일이 아닙니다. 자료를 모으고, 숫자를 확인하고, 확인된 것과 추정한 것을 구분하는 일입니다. 생성 AI는 문장을 매끄럽게 쓰는 데 뛰어납니다. 그래서 오히려 위험합니다. 사실, 추정, 제안이 한 문단 안에서 자연스럽게 섞여 읽히기 때문입니다. 이 글은 AI를 보고 자료 제작에 쓸 때 믿을 수 있는 구조 를 만드는 방법을 다룹니다. 1. 무엇이 문제인가 같은 상황을 세 가지 문장으로 써 보겠습니다. 문장 성격 "5월 신규 가입자는 전월보다 15% 늘었다." 확인 가능한 사실 "프로모션 덕분에 가입자가 늘었다." 원인을 추정한 해석 "프로모션을 연장해야 한다." 다음 행동을 권하는 제안 세 문장은 필요한 근거도, 틀렸을 때의 파장도 다릅니다. 그런데 AI가 쓴 보고서에서는 이 구분이 자주 사라집니다. 생성 AI의 대표 위험 설명 숫자 오류·지어내기 계산을 틀리거나 없는 수치를 그럴듯하게 만든다 원인 단정 상관관계를 "때문에", "덕분에"로 바꿔 쓴다 출처 불명 어디서 나온 값인지 추적할 수 없다 일반론 채우기 데이터에 없는 업계 상식으로 문단을 메운다 과신 어조 불확실한 내용도 확신하는 말투로 쓴다 ⚠️ 사내 데이터를 외부 AI 서비스에 입력해도 되는지는 회사의 정보 보안 정책 을 먼저 확인하세요. 허용되지 않는 데이터는 요약·익명화한 형태로만 쓰거나 사내 승인된 도구를 사용해야 합니다. 2. 세 층을 정의한다 사실 해석 제안 무엇인가 데이터로 확인되는 것 사실에서 끌어낸 의미·원인 추정 해석에 기반한 다음 행동 반드시 붙일 것 값 · 기간 · 정의 · 출처 · 비교 기준 대안 설명 · 확신도 · 한계 어떤 결정에 답하는가 · 전제 · 위험 · 우선순위 금지 근거 없는 수치, 평가 어휘 사실처럼 단정 결정과 무관한 일반론 검증 방법 원데이터로 재계산 반대 가설이 있는지 점검 결정권자가 판단할 수 있는지 확인 틀렸을 때 신뢰가 무너진다 잘못된 방향으로 간다 잘못된 자원이 투입된다 핵심은 위층이 아래층을 근거로 삼는다 는 것입니다. 해석은 사실 없이 존재할 수 없고, 제안은 해석 없이 존재할 수 없습니다. 3. 다섯 가지 원칙 1 숫자는 AI가 계산하지 않는다 수치는 쿼리·스프레드시트·스크립트에서 나온 값을 입력으로 주고, AI는 서술만 맡깁니다. 언어 모델은 산술을 틀릴 수 있고, 틀려도 자신 있게 씁니다. 2 모든 사실에 근거를 붙인다 값만 쓰지 않고 기간, 정의, 출처, 비교 기준 을 함께 둡니다. 정의를 안 쓰면 "가입자"가 가입 시도인지 완료인지 알 수 없습니다. 3 해석은 후보 가설로 쓴다 원인은 하나로 단정하지 않고 둘 이상의 설명과 확신도 를 함께 씁니다. "가능성이 있다", "배제할 수 없다" 같은 표현이 오히려 정확합니다. 4 제안은 결정 사항에서 거꾸로 쓴다 "이 보고서로 누가 무엇을 결정하는가"를 먼저 적고, 그 결정에 답하는 제안만 씁니다. 읽는 사람이 판단할 수 없는 제안은 소음입니다. 5 모른다고 말하게 한다 데이터에 없으면 "데이터로 확인되지 않음" 이라고 쓰게 합니다. 빈칸을 그럴듯한 문장으로 메우는 것보다 낫습니다. 4. 워크플로: 한 번에 쓰지 않는다 단계 하는 일 누가 0. 정의 보고 목적 · 독자 · 결정 사항을 적는다 사람 1. 팩트 시트 데이터에서 사실을 표로 정리한다 사람 + 스크립트 2. 사실 검증 값을 원데이터로 재계산한다 사람 / 스크립트 3. 해석 초안 팩트 시트만 근거로 해석 후보를 쓴다 AI 4. 해석 검토 동시 이벤트, 대안 설명을 보강한다 사람 5. 제안 초안 결정 사항에 답하는 제안을 쓴다 AI 6. 조립 독자에 맞는 구조로 구성하고 숫자를 대조한다 사람 + AI 7. 최종 검토 책임자가 확인하고 승인한다 사람 AI는 3·5·6단계의 초안 작성과 구성 을 돕고, 값의 확정(1~2)과 판단의 책임(4·7)은 사람이 집니다. 팩트 시트 예시 (가상) ID 항목 값 기간 정의 · 기준 출처 비교 기준 F1 신규 가입자 수 1,380명 5월 가입 완료 기준, 테스트 계정 제외 가입 테이블 전월 1,200명 (+15%) F2 설치 후 가입 전환율 24% 5월 설치 후 7일 내 가입 ÷ 설치 수 이벤트 로그 전월 22% F3 진행한 프로모션 있음 5/10~5/20 신규 가입 대상 혜택 내부 일정표 — AI에게 줄 지시문 예시 역할: 보고 초안 작성 보조 입력: [팩트 시트] 와 [결정 사항] 규칙 1. 팩트 시트에 없는 숫자나 사실은 쓰지 않는다. 2. 모든 문장 앞에 [사실] [해석] [제안] 라벨을 붙인다. 3. [사실]에는 팩트 시트의 ID를 근거로 표시한다. 4. [해석]은 가능한 설명을 2개 이상 쓰고, 각각 확신도(높음/중간/낮음)를 표시한다. 5. 근거가 부족하면 "데이터로 확인되지 않음"이라고 쓴다. 6. [제안]은 [결정 사항]에 답하는 것만 쓴다. 결과 예시 [사실] 5월 신규 가입자는 1,380명으로 전월(1,200명) 대비 15% 증가했다. (F1) [해석] 증가 시점이 프로모션 기간(5/10~5/20)과 겹쳐 프로모션 영향 가능성이 있다. (확신도: 중간) 다만 설치 후 가입 전환율도 22%에서 24%로 함께 올라, 유입 품질 개선 같은 다른 설명도 배제할 수 없다. (F1, F2, F3) [제안] 프로모션 종료 후 2주간 가입자 추이를 확인한 뒤 연장 여부를 결정한다. (결정 사항: 프로모션 연장 여부) 5. 독자에 따라 같은 팩트 시트로 구조만 바꾼다 독자 구조 강조 의사결정자 결론·제안 → 핵심 사실 → 해석과 한계 한 장 요약, 결정이 필요한 항목 실무 담당자 사실 상세 → 해석 가설 → 실행 단계 정의, 출처, 후속 확인 방법 같은 팩트 시트에서 두 버전을 만들면 숫자가 어긋나는 일이 줄어듭니다. 팩트 시트가 단일한 사실의 원천 이 되기 때문입니다. 6. 검증 방법 점검 방법 숫자 대조 보고서의 모든 숫자가 팩트 시트에 있는지 확인한다. 없는 숫자는 삭제하거나 근거를 추가한다 단정 어휘 탐지 "때문에", "덕분에", "확실히", "분명히"가 있는 문장은 해석인지 사실인지 다시 본다 출처 추적 사실마다 출처 ID를 따라가 실제 값과 맞는지 본다 일관성 요약, 본문, 표, 차트의 숫자가 같은지 본다 대안 설명 해석마다 "다른 이유로도 설명되는가?"를 물어본다 시각 점검 차트 축, 단위, 범례, 잘린 글씨를 눈으로 확인한다 7. 흔한 안티패턴 안티패턴 문제 처방 한 번에 보고서를 생성시킨다 근거 확인이 불가능하다 단계를 나누고 단계마다 산출물을 남긴다 AI에게 계산을 맡긴다 오류가 자신 있게 섞인다 계산은 스크립트에서, AI는 서술만 원인을 하나로 단정한다 잘못된 방향의 제안으로 이어진다 대안 설명과 확신도를 함께 쓴다 출처를 안 붙인다 검증이 불가능하다 팩트 시트 ID로 연결한다 일반론으로 분량을 채운다 핵심이 묻힌다 팩트 시트 밖 내용은 쓰지 않게 한다 검토를 AI에게 시킨다 같은 실수를 반복한다 최종 검토는 사람이 한다 8. 체크리스트 보고 목적, 독자, 결정 사항을 먼저 적었는가 사실은 값 · 기간 · 정의 · 출처 · 비교 기준과 함께 팩트 시트에 있는가 모든 수치를 원데이터나 스크립트로 재계산했는가 AI에게 팩트 시트 밖의 사실을 쓰지 말라고 지시했는가 해석에 대안 설명과 확신도를 붙였는가 제안이 결정 사항에 직접 답하는가 보고서 속 숫자가 모두 팩트 시트와 일치하는가 단정 어휘를 점검했는가 사내 데이터 입력이 보안 정책에 맞는지 확인했는가 최종 검토와 책임을 사람이 지고 있는가 마무리 AI를 보고서에 쓸 때 중요한 것은 결과물을 빨리 만드는 것이 아닙니다. 무엇이 확인된 것이고, 무엇이 추정이며, 무엇이 권고인지를 읽는 사람이 구분할 수 있게 하는 것 입니다. 구조를 먼저 만들면 AI는 그 안에서 훨씬 믿을 만한 조수가 됩니다.