[투빅스 6주차 논문리뷰] Show-o

About this offer

📅 Date : 2026.09.26 🏷️ Tags : #Python #AI #MultiModal 🎯 이번 주 논문 소개 텍스트는 AR, 이미지는 diffusion으로 통합한 모델인 Show-o 모델에 대해 설명한다. 📌 Contents 선행 연구 서론 주요 방법론 실험 결과 결론 인사이트 도출 1️⃣ 선행 연구 ✨ 선행연구 Multimodal Understanding(멀티모달 이해) LLaVa, MiniGPT-4 등 LLM을 활용한 초기 연구들을 언급 이들은 CLIP과 같은 모달별 인코더의 특징을 LLM의 입력 공간으로 투영(Projecting)하여 비전-언어 이해 및 추론 능력을 확보하는 설계 방식을 채택 Visual Generation autoregressive model : 트랜스퍼머의 구조를 이용해 이미지 픽셀간의 의존성을 순차적으로 학습하는 방식 diffusion model : 연속적인 잠재공간에서 가우시안 노이즈를 예측하고 제거하는 방식(Stable Diffusion) 이 주류를 이루며, 이산적인 데이터 형태에서 노이즈를 제거하는 방식을 대안을 제시(MaskGIT, D3PM) Unified Vision-Language Foundation Model 이해와 생성을 동시에 수행하려는 최신 연구들을 소개 SEED-X나 DreamLLM 등은 연속적인 표현이나 토큰화 기법을 사용하여 통합 시스템을 구축 2️⃣ 서론 연구배경 : 기존 멀티모달은 주로 각 도메인을 독립적으로 취급하며, 이해와 생성을 각각 담당하는 개별 모델들을 포함하는 경우가 많다. 이해 분야 : LLaVA와 같은 MLLM이 시각적 질의응답 등에서 탁월한 성능 생성 분야 : DDPM 기반의 모델들이 텍스트-이미지/비디오 생성에서 혁신적인 성과 문제 제기 : 서로 다른 영역으로 발전해 온 멀티모달의 이해와 생성 기술을 하나의 모델로 처리할 수 있는가? 기존 연구의 한계 : 이미지/비디오 패치가 자기회귀적으로 모델링하는 것이 더 나은지 여부는 불분명함. 이미지를 자기회귀적으로 예측할 때의 명백하고 중요한 병목 현상 발생 연구 제안 : text → autoregressive 방식으로, 이미지→Discrete Diffusion 모델링 방식으로 처리하는 새로운 통합 패러다임인 Show-o 를 제안 3️⃣ 주요 방법론 ✨ 주요 방법 : tokenization 통합 공간에서의 학습 : Show-o는 사전 학습된 LLM을 기반으로 하므로, 텍스트와 이미지 데이터를 모두 이산적 공간에서 처리 ← 텍스트 토큰과 이미지 토큰을 모두 포함하는 Unified Vocabulary를 유지 텍스트 토크나이저 : 기존 사전 학습된 LLM의 토크나이저를 수정 없이 그대로 사용 이미지 토크나이저 : MAGVIT-v2 를 사용하여 이미지를 이산 토큰으로 변환 이해 성능을 위한 추가적인 입력 전략 : Multimodal Understanding 성능을 높이기 위해 기본 이산 토큰 방식 외에 두 가지 옵션을 추가로 탐구 옵션 (b) : MAGVIT-v2 인코더에서 추출한 연속적 이미지 표현 사용. 옵션 (c) : 사전 학습된 CLIP-ViT 인코더에서 추출한 연속적 이미지 표현 사용. ✨ 방법론 : Architecture Show-o는 기존의 사전 학습된 LLM(구조를 그대로 활용 학습 안정성을 높이기 위해 각 어텐션 레이어 앞에 QK-Norm 연산 만을 추가 임베딩 공간 확장: 이산 이미지 토큰을 처리하기 위해 기존 LLM의 임베딩 레이어에 8,192개의 새로운 학습 가능한 임베딩을 추가 → 텍스트와 이미지를 하나의 통합된 Vocabulary로 관리 Unified Prompting : 다양한 다중 모달 이해 및 생성 태스크를 하나의 시퀀스로 처리하기 위해 특수 토큰을 도입 Omni-Attention 메커니즘: 입력 시퀀스에 따라 Causal attention과 Full attention을 적응적으로 혼합하여 사용 텍스트 토큰: 순차적인 정보 처리를 위해 Causal Attention을 적용 이미지 토큰: 이미지 내 토큰 간의 포괄적인 상호작용을 위해 Full Attention을 적용 4️⃣ 실험 ✨ 실험 설정 학습 데이터셋 구성: 약 35M및 2.0B규모의 이미지-텍스트 쌍을 수집하여 학습에 활용 + 모델이 텍스트 추론 능력을 잃지 않도록 RefinedWeb 데이터셋을 추가로 활용 평가 지표 및 벤치마크 Understanding: POPE, MME, Flickr30k, VQAv2, GQA, MMMU 벤치마크를 사용 Generation: MSCOCO 데이터셋의 FID와 GenEval 벤치마크 ✨ 실험 결과 멀티모달 이해 능력으로는 1.3B 규모의 Show-o는 이해력에 특화된 LLaVA-v1.5와 대등한 성능 시각적 생성 능력으로는 MSCOCO에서 9.24의 FID를 기록하여 훨씬 큰 모델들과 비교해도 경쟁력 있는 성능을 보임. GenEval 벤치마크에서는 2B 크기의 SD3와 대등한 성능을 보이며, 1.3B 파라미터로도 생성 특화 모델 이상의 효율성을 발휘 ✨ Ablation Studies 데이터가 많을수록, 해상도가 높을수록 이해 성능이 일관되게 향상 CLIP-ViT를 사용한 연속형 표현이 MAGVIT-v2 기반의 이산 토큰보다 이해 성능 면에서 유리함 자귀회귀 방식의 모델들이 이미지 생성에 1,024단계가 필요할 때, Show-o는 50단계만으로도 상세하고 현실적인 이미지를 생성하여 약 20배 빠른 효율성 5️⃣ 결론 및 한계점 ✨ 결론 Show-o는 서로 다른 모달리티를 고유한 방식으로 처리할 수 있는 autoregressive 모델링과 diffusion 모델링을 최초로 통합 광범위한 실험 결과는 Show-o가 다양한 비전-언어 작업 전반에서 개별 전문가 모델과 비슷하거나 더 우수한 성능을 보임을 입증 6️⃣ 인사이트 도출 💡 “한줄요약 문구 작성” autoregressive 텍스트 추론 능력과 diffusion 모델의 효율적인 이미지 생성 능력을 단일 트랜스포머에 통합하는 Show-o 제안 📚 References Xie, J., Mao, W., Bai, Z., Zhang, D. J., Wang, W., Lin, K. Q., ... & Shou, M. Z. (2025, May). Show-o: One single transformer to unify multimodal understanding and generation. In International Conference on Learning Representations (Vol. 2025, pp. 28240-28264).