RAGAS로 RAG 시스템 테스트하고 평가하기

About this offer

RAG 평가가 필요한 이유 RAG 시스템은 단순히 답변이 자연스럽게 생성되는지만 확인해서는 충분하지 않습니다. RAG의 핵심은 질문과 관련된 정보를 검색하고, 검색된 정보를 근거로 답변을 생성하는 것이기 때문입니다. 따라서 다음과 같은 질문을 확인할 필요가 있습니다. 검색된 문서가 질문과 관련되어 있는가? 필요한 정보가 검색 결과에 포함되어 있는가? 생성된 답변이 검색된 문서를 근거로 하고 있는가? 답변이 사용자의 질문에 적절하게 답하고 있는가? RAGAS는 이러한 RAG 시스템의 품질을 여러 평가 지표를 통해 정량적으로 확인할 수 있도록 도와줍니다. 이번 실습의 평가 지표 지표 의미 Context Precision 검색된 Context 중 질문에 관련된 정보가 얼마나 잘 포함되어 있는지 평가 Context Recall 정답에 필요한 정보가 검색된 Context에 얼마나 포함되어 있는지 평가 Faithfulness 생성된 답변이 검색된 Context에 근거하고 있는지 평가 Answer Relevancy 생성된 답변이 질문에 얼마나 적절하게 답하고 있는지 평가 RAGAS 평가 데이터 구성 RAGAS 평가를 위해 다음과 같은 데이터를 준비했습니다. user_input 질문 retrieved_contexts Retriever가 검색한 문서 response RAG가 생성한 답변 reference 평가를 위한 기준 답변 이 구조를 실제 RAG 시스템에 적용하면 다음과 같습니다. Question ↓ Retriever ↓ Retrieved Context ↓ LLM ↓ Response ↓ RAGAS 4. 실제 RAG 테스트 평가 점수를 계산하기 전에 검색 결과와 생성 답변을 직접 확인하는 테스트를 추가했습니다. 질문 ↓ 검색된 Context 확인 ↓ 생성된 답변 확인 이 과정을 통해 단순히 숫자만 보는 것이 아니라 RAG가 어떤 정보를 검색하고 어떤 답변을 생성했는지 직접 확인할 수 있습니다. 검색 Context가 부족한 경우 이번 실습에서는 의도적으로 PER에 대한 정보가 없는 Context를 구성했습니다. 질문 PER이란 무엇인가? 검색 결과 삼성전자에 대한 설명 반도체 산업에 대한 설명 답변 PER은 주가를 EPS로 나눈 값입니다. 답변 자체는 일반적인 지식으로는 맞을 수 있습니다. 하지만 RAG의 관점에서는 문제가 있습니다. 검색된 Context에 PER에 대한 근거가 없기 때문입니다. 즉, 검색 결과에 근거한 답변 X LLM의 일반적인 지식을 이용한 답변 O 와 같은 상황이 발생할 수 있습니다. 이러한 문제를 RAGAS의 faithfulness 등의 지표를 이용하여 정량적으로 확인할 수 있습니다. Context를 개선한 후 다시 평가 이후 PER에 대한 설명과 EPS에 대한 설명이 포함된 Context를 제공하고 동일한 질문을 다시 평가했습니다. 이 과정에서 중요한 것은 개선 전과 개선 후에 동일한 질문과 평가 기준을 사용하는 것입니다. 그래야 RAG 구성 변경에 따른 차이를 비교하기 쉽습니다. RAG 평가에서 중요한 점 이번 실습을 통해 RAG 평가를 다음과 같은 반복 과정으로 구성할 수 있음을 확인했습니다. RAG 구축 ↓ 테스트 질문 준비 ↓ 검색 결과 확인 ↓ 답변 확인 ↓ RAGAS 평가 ↓ 문제점 분석 ↓ RAG 개선 ↓ 동일한 테스트셋으로 재평가 ↓ 결과 비교 따라서 RAGAS는 단순히 최종 점수를 확인하는 도구라기보다, RAG 시스템의 문제를 발견하고 개선하는 평가 루프를 만드는 데 활용할 수 있습니다. 실제 프로젝트에 적용한다면 이번 실습에서는 이해를 위해 Context를 직접 입력했습니다. 실제 RAG 프로젝트에서는 다음과 같이 연결할 수 있습니다. PDF / 문서 ↓ Document Loader ↓ Text Splitter ↓ Embedding ↓ Vector DB ↓ Retriever ↓ Retrieved Context ↓ LLM ↓ Answer ↓ RAGAS 그리고 테스트 데이터셋을 별도로 관리합니다. questions.json 질문 1 질문 2 질문 3 ... 각 질문에 대한 기준 답변도 준비해 두면 RAG를 수정할 때마다 동일한 테스트셋으로 반복 평가할 수 있습니다.

Offer details

Provider

velog

Source

velog-rss

Score

54.4

Confidence

49%