50일차 - 약관 데이터 추가와 RAG 파이프라인 정교화

Об этом предложении

50일차 - 약관 데이터 추가와 RAG 파이프라인 정교화 49일차에는 기업별 약관을 늘리고, 청킹 전략과 문맥 충분성 판정을 점검했다. 오늘은 TOS-Korea-Project의 데이터를 추가하고, WhereIsMyTerms의 질문 처리 흐름을 다듬었다. 기업에 보낸 수집 관련 문의와 회신도 함께 정리했다. 1. 약관 데이터와 수집 경로 보완하기 토스의 약관 8개 문서, 과거 버전을 포함한 82개 버전 을 추가했다. 현재 약관만 저장하는 것이 아니라, 각 페이지의 버전 목록을 따라 이전 내용도 함께 남겼다. KT 개인정보 처리방침의 9월 29일 개정본도 수록했다. 2. 검색한 근거로 어디까지 답할 수 있는가 약관에는 특정 법령을 따르겠다는 문구가 자주 나온다. 이런 경우 약관이 인용한 법령 조문을 가져와 보조 근거로 확인하는 흐름 을 연결했다. 조 번호 없이 법령 이름만 나온 경우에는 해당 법령 안에서 관련 조문을 찾되, 약관이 직접 지정한 조문과는 구분해서 표시했다. 법령 조회를 붙이니 응답 시간이 길어지는 문제도 있었다. 조문마다 같은 법령의 이력과 파일을 다시 받던 부분을 파일 단위 캐시와 병렬 조회로 바꿨다. 프로젝트에 기록한 같은 질문 15개 측정에서는 전체 처리 시간이 520초에서 77초 로 줄었다. 문맥 충분성 기준도 보완했다. 예를 들어 약관이 환불 조건 일부를 앱마켓 정책에 맡기고 있다면, 그 정책 내용이 없다는 이유만으로 계속 검색하게 할 필요는 없다. 약관이 어디까지 정하고, 무엇을 외부 조건에 맡겼는지 를 답할 수 있도록 기준을 다듬었다. 문서가 길어 판정 요청 한도를 넘는 경우에는 요청을 나누고, 충분성 판정과 실제 답변에는 같은 문맥을 사용하도록 했다. 이어지는 질문도 처리할 수 있게 했다. “그럼 앱마켓으로 결제했으면?”처럼 회사나 주어가 빠진 질문은 최근 대화로 뜻을 보완한 뒤 다시 검색한다. 이전 답변을 그대로 근거로 삼지 않고, 새로 확인한 자료로 답하도록 했다. 3. 기업에 수집 방법과 허용 범위 문의하기 데이터를 계속 모으려면 공식 제공 경로와 수집 정책도 확인해야 했다. 네이버클라우드에는 약관 원문과 과거 버전을 제공하는 API, 자동 수집·저장 및 프로젝트 이용 가능 여부를 문의했다. 회신에서는 약관 API와 이전 버전은 제공하지 않으며, 현재 약관은 홈페이지에서 PDF로 내려받아 보관할 수 있다고 안내받았다. 공개 약관의 이용은 가능하지만 내용을 수정하거나 잘못된 정보를 제공해서는 안 된다는 설명도 받았다. 이 안내를 자동 수집 전반에 대한 허가로 넓혀 해석하지는 않았다. 쿠팡에는 자동화된 접근이 금지된다는 앞선 답변에 대해 추가 문의를 보냈다. 사용자의 지시로 AI Agent가 공개 약관을 열람·저장하는 경우에도 같은 제한이 적용되는지, 직접 열람하고 저장하는 경우와 어떤 차이가 있는지 확인하려는 내용이다. 오늘은 데이터의 범위를 넓히는 작업과 함께, 그 데이터를 가져오는 방법과 답변에 사용하는 기준을 조금 더 구체화했다. 이후에는 추가한 약관에서도 검색과 답변이 잘 이어지는지 확인하고, 기업별 회신에 맞춰 수집 방식을 정리해 나가려 한다.

Детали предложения

Провайдер

velog

Источник

velog-rss

Балл

54.39

Уверенность

49%