[MiniGPT-4] Enhancing Vision-Language Understanding with Advanced Large Language Models

arXiv 2023

2023   ·   vlm   ·   vlm

VLM G3 arXiv 2023

Deyao Zhu, Jun Chen, Xiaoqian Shen, Xiang Li, Mohamed Elhoseiny · KAUST

arXiv Project

한 줄 요약. "GPT-4의 멀티모달 능력은 강력한 LLM에서 나온다"는 가설을 최소 구성으로 검증한다. frozen 비전 인코더(BLIP-2의 ViT+Q-Former) 와 frozen Vicuna를 단일 linear projection 한 층으로만 잇는다 — 나머지는 전부 freeze, 학습은 그 한 층뿐(4×A100 ~10시간). 그것만으로 상세 묘사·손그림→웹사이트·레시피·시 쓰기 같은 GPT-4식 창발 능력이 나타난다. 단, 짧은 캡션만으로 학습하면 출력이 반복·부자연스러워, 자체 큐레이션한 3,500개 상세설명 데이터로 2단계 finetune해 자연스러움·실용성을 끌어올린다.

배경

GPT-4는 손글씨로 웹사이트를 만들고 이미지의 유머를 짚는 등 놀라운 멀티모달 능력을 보였지만 방법은 비공개다. 저자들의 가설: 이 능력은 더 강력한 LLM에서 비롯된다.

  • LLM은 규모가 커지며 창발 능력(few-shot, CoT 등)을 보였다(Wei et al.). 이게 멀티모달에도 적용된다면?
  • 그렇다면 거창한 새 학습 없이, 잘 학습된 비전과 강력한 LLM을 “제대로 정렬” 하기만 해도 GPT-4식 능력이 나올 것이다.

검증 방법: frozen 비전 + frozen Vicuna를 단 한 층(linear) 으로 잇고, 그것만 학습해 본다.

Figure 1. MiniGPT-4 구조 — 사전학습 ViT+Q-Former(BLIP-2와 동일) + 단일 linear projection + Vicuna. 오직 linear projection 한 층만 학습해 시각 특징을 Vicuna에 정렬한다.

핵심 아이디어

비전 = BLIP-2 재활용

BLIP-2의 ViT-G/14(EVA-CLIP) + Q-Former를 그대로(frozen) 사용. 새로 안 만든다.

connector = linear 1층

시각 특징을 Vicuna 임베딩으로 보내는 단일 linear projection. 출력은 LLM의 soft prompt.

강한 LLM = Vicuna (frozen)

ChatGPT의 ~90% 품질이라는 Vicuna를 frozen으로. 능력의 원천.

비전도 LLM도 전부 freeze하고 projection 한 층만 학습한다 — “최소한의 정렬”로 강한 LLM의 능력을 끌어낸다는 게 핵심.

방법 — 2단계 정렬

1단계 — 정렬 사전학습

frozen 비전·LLM은 그대로 두고 linear projection만 학습한다. CC·SBU·LAION의 image-text(약 5M)로, projection 출력을 soft prompt로 넣어 정답 캡션을 생성하게 한다. (20k steps, 4×A100 ~10시간)

  • 문제 — 짧은 캡션 쌍만으로 학습하면 출력이 반복·끊김 등 부자연스럽다(GPT-3가 정렬 전 부자연스러웠던 것과 유사).

2단계 — 고품질 대화 데이터로 정렬

NLP의 instruction 데이터 같은 게 비전엔 없어서, 직접 큐레이션한다.

  • 1단계 모델로 이미지마다 상세 설명을 생성 → ChatGPT로 후처리·정제 → 사람이 검수해 3,500개 고품질 상세설명만 남김(5,000개 중).
  • 대화 템플릿(###Human: <Img>…</Img><Instruction>###Assistant:)으로 finetune → 자연스러움·실용성↑. (단 400 steps, ~7분, 매우 효율적)
Figure 5–6. (좌) 2단계 finetune 전엔 반복·부자연스러운 출력 → 2단계로 개선. (우) MiniGPT-4의 한계 예시(여전한 hallucination 등).

결과

Figure 2–3. MiniGPT-4 예시 — (좌) 상세 이미지 묘사, (우) 제품 광고 문구 생성. 손그림→웹사이트, 레시피, 시·이야기 등 GPT-4식 능력도 보인다.
  • GPT-4식 창발 능력 — 상세 묘사, 손글씨/스케치 → 웹사이트, 이상한 장면 설명, 음식 사진 → 레시피, 이미지 기반 시·이야기·광고 등.
  • 이전 모델엔 없던 능력 — Kosmos-1·BLIP-2(덜 강력한 LLM 사용)에는 없는 능력 → “강력한 LLM과의 정렬” 이 핵심임을 방증.
  • 극도의 효율 — 학습은 projection 한 층 + 2단계 7분. 데이터·연산이 매우 적다.

한 줄 정리 & 의의

  • “강력한 frozen LLM + frozen 비전을 단 한 층(linear)으로 정렬” 만으로 GPT-4식 멀티모달 능력이 창발함을 보인 G3 모델. 능력의 원천이 LLM임을, 그리고 최소 정렬로 충분함을 입증.
  • 차별점. ① 비전을 새로 안 만들고 BLIP-2의 Q-Former를 재활용, ② projection 한 층만 학습(LLM도 frozen), ③ 2단계 데이터가 GPT-4 instruction이 아니라 자체 생성·정제한 3,500개 상세설명.
  • 위치. LLaVA와 거의 동시기(2023.04)의 instruction/대화 VLM. LLaVA가 raw CLIP + GPT-4 데이터 + LLM 튜닝이라면, MiniGPT-4는 Q-Former 재활용 + 최소 학습. → VLM 개요