단일 벡터 공간으로 엮는 온디바이스 멀티모달 임베딩

Об этом предложении

다양한 데이터 형태를 처리하는 멀티모달 환경에서 임베딩 모델의 크기와 연산 비용은 온디바이스 구축의 주요 걸림돌이었습니다. 구글 딥마인드가 공개한 경량 오픈 임베딩 모델을 활용하면 텍스트, 코드, 이미지, 비디오, 오디오를 단일 768차원 공간에 함께 투영할 수 있습니다. 모듈형 아키텍처와 마트료시카 임베딩 기법을 통해 리소스 제약이 심한 로컬 환경에서도 검색 정확도를 유지하며 벡터 파이프라인을 운영하는 구조를 살펴봅니다. Google EmbeddingGemma 2: Multimodal Open Model for on-Device Embeddings 구글 딥마인드의 EmbeddingGemma 2 는 텍스트, 소스코드, 이미지, 비디오, 오디오를 하나의 통일된 768차원 임베딩 공간으로 매핑하는 온디바이스 타깃의 오픈 멀티모달 임베딩 모델입니다. 라이선스는 Apache 2.0 을 채택하여 상용 및 로컬 환경에서 자유롭게 도입할 수 있도록 허용합니다. 모듈형 아키텍처와 리소스 효율성 이 모델은 단일 거대 신경망으로 묶인 것이 아니라 모달리티별로 분리된 모듈형 아키텍처 로 설계되었습니다. 따라서 시스템 목적에 맞춰 필요한 인코더만 골라 로드할 수 있습니다. 모듈 구성 파라미터 수 설명 텍스트 백본 270M 기본 텍스트 및 코드 임베딩 처리 비전 인코더 170M 이미지 및 비디오 프레임 처리 오디오 인코더 300M 음성 및 오디오 신호 처리 전체 합계 740M 전체 모달리티 통합 파라미터 텍스트 모달리티만 로드하여 실행할 경우 VRAM 소모량은 약 1.7GB에서 2GB 미만에 불과합니다. 이러한 낮은 메모리 풋프린트 덕분에 고성능 GPU가 없는 환경이나 일반 CPU 환경에서도 무리 없이 경량 임베딩 파이프라인을 운영할 수 있습니다. 패키지 설치 및 파이프라인 연동 모델은 Hugging Face에 google/embeddinggemma-2 저장소로 배포되어 있으며, 표준 라이브러리인 Sentence Transformers 및 Transformers 와 직접 연동됩니다. 로컬 환경 구성은 다음 명령어로 진행합니다. pip install -U sentence-transformers transformers pillow 라이브러리를 불러온 뒤 가중치를 적재하면 별도의 복잡한 어댑터 계층을 두지 않고도 텍스트 간 유사도 계산은 물론, 텍스트와 이미지 간의 교차 모달(Cross-modal) 검색 파이프라인을 즉시 생성할 수 있습니다. 마트료시카(Matryoshka) 임베딩 기법 EmbeddingGemma 2는 마트료시카(Matryoshka) 임베딩 을 지원합니다. 기본 출력인 768차원 벡터를 앞부분부터 잘라내어(Truncation) 256차원이나 128차원으로 축소할 수 있습니다. 벡터 차원을 128차원으로 줄이면 원본 대비 벡터 데이터베이스 저장 용량을 최대 6배까지 절감할 수 있습니다. 실제로 256차원으로 축소하여 진행한 이미지 검색 테스트에서도 768차원 원본 대비 검색 순위와 정확도가 떨어지지 않고 온전히 유지되는 특성을 보입니다. 단일 공간 멀티모달 검색 및 벤치마크 성능 모든 모달리티가 동일한 768차원 공간에 배치되므로, 별도의 텍스트 태그나 캡션 메타데이터를 달지 않은 순수 이미지·오디오 파일도 텍스트 쿼리 입력만으로 즉시 찾아낼 수 있습니다. 성능 검증 지표인 MTEB(Massive Text Embedding Benchmark) 코드 검색 평가에서 EmbeddingGemma 2는 약 78점대를 기록했습니다. 이는 파라미터가 1.5B에 달하는 대형 모델인 inf-retriever-v1-1.5b 보다 높은 수치로, 텍스트 백본 기준 270M, 전체 740M 수준의 파라미터 규모 대비 매우 우수한 가성비를 제공함을 증명합니다. 정리 EmbeddingGemma 2는 텍스트·코드·이미지·오디오를 768차원이라는 단일 벡터 공간으로 묶어 크로스 모달 검색의 복잡성을 낮췄습니다. 740M 규모의 모델을 텍스트(270M), 비전(170M), 오디오(300M)로 쪼개어 필요한 인코더만 1.7GB~2GB 미만의 VRAM으로 구동할 수 있으며, 마트료시카 임베딩을 통해 저장 비용을 6배까지 줄이면서도 대형 모델을 상회하는 벤치마크 성능을 유지합니다. 로컬 장치나 리소스가 제한된 환경에서 멀티모달 검색을 구현할 때 매우 실용적인 대안입니다. 다룬 영상 Google EmbeddingGemma 2: Multimodal Open Model for on-Device Embeddings — Fahd Mirza · 9분

Детали предложения

Провайдер

velog

Источник

velog-rss

Балл

54.35

Уверенность

49%