[정리] GEO에 관하여

Об этом предложении

이 포스트에서는 이제까지 작성하였던 GEO에 관한 내용을 간단하고 직관적으로 정리해볼 예정이다. 정리할 논문 리스트는 아래와 같다. PoisonedRAG : Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models GEO : Generative Engine Optimization Ranking Manipulation for Conversational Search Engines (EMNLP2024) What Generative Search Engines Like and How to Optimize Web Content Cooperatively - AutoGEO Agentic GEO From Experience to Skill- Multi-Agent Generative Engine Optimization via Reusable Strategy Learning — MAGEO Structural Feature Engineering for Generative Engine Optimization: How Content Structure Shapes Citation Behavior — GEO-SFE E-GEO : A Testbed for Generative Engine Optimization in E-Commerce SAGEO Arena : A Realistic Environment for Evaluating Search-Augmented Generative Engine Optimization Poisoned RAG 요약 RAG는 LLM이 최신 데이터에 대한 한계를 갖는걸 완화해주는 기법이다. RAG는 Knowledge DB, Retriever, LLM으로 구성된다. 공격자는 공격자가 원하는 답을 얻기 위해 공격 표면으로써 Knowledge DB에 malicious texts을 주입한다. 본 논문에서는 malicious text를 optimization problem으로써 수식화 하였으며, 아래 두 조건으로 나눠진다. retrieval condition: malicious text가 target question에 대해 검색되어질수 있는것을 의미한다. generation condition: malicious text가 LLM이 target question에 대해 target answer을 생성할수 있게 하는 것을 의미한다. 주의할점은 본 논문은 RAG 시스템의 접근 권한을 탈취하거나 악성 문서의 유입 경로를 확보하는 방법을 다루지 않는다. 대신, knowledge DB에 악성 문서를 삽입할 수 있다고 가정하고, 해당 문서가 검색되면서(retrieval condition) LLM이 공격자가 의도한 답변을 생성하도록(generation condition) 악성 문서를 구성하는 방법을 제안한다. Method $$ \max_{\Gamma}\ \frac{1}{M}\cdot \sum_{i=1}^{M} \mathbb{I}\left( \mathrm{LLM}\left(Q_i; E(Q_i; D \cup \Gamma)\right) = R_i \right) \tag{2} $$ 위 수식은 질문 Q로부터 얻은 대답이 우리가 원하는 대답인지를 수치적으로 본다. $\Gamma$: Q에대한 malicious text 5개 $D \cup \Gamma$: corrupted knowledge database (부패된 지식 DB) $E(Q_i; D \cup \Gamma)$: 질문 Q에 대해 부패된 지식 DB로부터 얻은 k개의 검색된 문서 $LLM(*)$: 최종 응답 $\mathbb{I}$: 대답이 target answer에 속하면 1, 아니면 0 $max_{\Gamma}$: 공격 성공률이 최대가 되도록 악성 문서 집합 $\Gamma$를 찾는다는 뜻, 즉 악성 문서 개수는 5개로 고정된 상태로 이 5개의 악성 문서 구성이 공격 성공률이 최대가 되도록 하도록 구성된다는 뜻. 위 공격 성공률이 최대가 되려면 malicious text가 retrieval condition, generation condition을 만족하여야 한다. 그래야 최종 응답에 포함되기 때문이다. 재미있는건 malicious text P의 S을 만드는 방식인데, 블랙박스 방식에서는 $P = S \oplus I$이며, S는 악성 문서의 제목, I는 악성 문서의 본문처럼 생각하면 된다. (실제로는 S는 검색을 유도하는 앞부분, I는 답변을 유도하는 뒷부분이다) 블랙박스 방식에서는 S를 Q로 상정한다. 하지만 화이트박스에서는 retrieval 내부를 알기에 다음과 같은 gradient descent 수식으로 S을 최적화 한다. $$ S = \underset{S'}{\arg\max}; \operatorname{Sim}\left(f_Q(Q),, f_T(S' \oplus I)\right) \tag{5} $$ $f_Q(Q)$: 질문 인코더가 $Q$를 변환한 문서 임베딩 $f_T(S' \oplus I)$: 문서 인코더가 악성 문서 전체를 변환한 문서 임베딩 $Sim$: 두 임베딩의 유사도 $S'$: 검색 유사도를 높이기 위해 최적화하는 후보 텍스트 $\arg\max_{S'}$: 유사도를 가장 크게 만드는 후보 텍스트 $S'$ 자체를 반환 $S$: 최적화 결과로 얻은 텍스트 참고로 I는 GPT4와 프롬프트를 통해 만들어진다. 전체 흐름 1. Knowledge DB 구성 NQ 기본 실험에서는 위키피디아 기반 문서 약 268만 개로 Knowledge DB $D$를 구성. 2. 타깃 질문과 답변 설정 데이터셋에서 타깃 질문 $Q$를 선택하고, 공격자가 유도하려는 오답 $R$을 설정. 3. 수식 (2)로 전체 공격 목표 정의 악성 문서 집합 $\Gamma$ (한 쿼리당 악성 문서 5개)를 삽입했을 때, 타깃 질문들에 대해 LLM이 공격자가 원하는 답변을 생성하는 비율을 최대화하는 것이 목표. 이를 위해 악성 문서는 다음 두 조건을 충족하도록 구성. - Retrieval condition: 타깃 질문에 대한 검색 결과에 악성 문서가 포함되어야 함. - Generation condition: 악성 문서가 컨텍스트로 제공됐을 때 LLM이 타깃 답변을 생성하도록 유도해야 함. 4. 목표를 달성하기 위한 악성 문서 생성 기본 설정에서는 질문마다 $P=S\oplus I$ 형태의 악성 문서를 5개 생성. - 먼저 GPT-4와 프롬프트로 generation condition을 충족하도록 $I$를 생성하고, 공격자 측 LLM에서 타깃 답변이 나오는지 확인하며 정해진 횟수 내에서 재시도. - 이어서 retrieval condition을 충족하도록 $S$를 구성. 블랙박스에서는 $S=Q$로 설정하고, 화이트박스에서는 수식 (5)를 통해 질문 $Q$와 전체 문서 $S\oplus I$의 임베딩 유사도를 최대화하도록 $S$를 최적화. 5. 악성 문서 삽입 및 RAG 실행 생성한 악성 문서 집합 $\Gamma$를 DB에 삽입하여 $D\cup\Gamma$를 구성. 타깃 질문마다 유사도가 높은 상위 5개 문서를 검색하고, 이를 질문과 함께 대상 LLM에 제공해 답변을 생성. 6. 검색 성능 및 최종 공격 성공률 평가 악성 문서가 얼마나 검색되는지를 Precision, Recall, F1으로 평가하고, 최종 답변이 타깃 답변에 해당하는 비율을 공격 성공률(ASR) 로 평가. 이 ASR이 수식 (2)에서 최대화하려는 목적값에 해당