파운데이션 모델(Foundation Model)이란?

처음부터 새로 학습하지 않아도, 이미 잘 학습된 ‘기반(foundation)’ 위에 얹어서 쓰는 모델

 

 

파운데이션 모델은 대규모 데이터로 사전 학습(pre-training)된 범용 인공지능 모델을 의미합니다. 특정 하나의 작업(task)에만 특화된 모델이 아니라, 다양한 다운스트림 작업에 재사용·확장될 수 있도록 설계된 모델입니다.

 

 

특히, 최근에는 대한민국 '독자 AI 파운데이션 모델' 1차 평가 결과 발표가 나오기도 했죠.

• https://www.aitimes.kr/news/articleView.html?idxno=38163

대한민국 '독자 AI 파운데이션 모델' 1차 평가 결과 발표…LG AI연구원·SKT·업스테이지 2차 진출 -

 

---

 

왜 ‘파운데이션(Foundation)’일까?

기존 딥러닝 모델들은 보통

• 하나의 데이터셋
• 하나의 목적(분류, 검출, 세그멘테이션 등)

에 맞춰 처음부터 끝까지 다시 학습해야 했습니다.

 

반면 파운데이션 모델은

• 방대한 규모의 데이터
• 다양한 패턴과 표현
• 일반적인 표현 능력

을 미리 학습해 두고, 이후에는

• 파인튜닝(Fine-tuning)
• 프롬프트 기반 적용
• 소량 데이터 적응

만으로 여러 문제를 해결할 수 있습니다.

 

그래서 모든 응용 모델의 ‘기초 공사’ 역할을 한다는 의미에서 파운데이션 모델이라 부릅니다.

---

기존 모델과의 차이점

학습 목적	단일 task	범용 표현 학습
데이터 규모	비교적 제한적	초대규모
재사용성	낮음	매우 높음
확장 방식	재학습 필요	파인튜닝/프롬프트

---

대표적인 파운데이션 모델 예시

자연어 처리 (NLP)

• BERT
• GPT 계열
• T5

→ 번역, 요약, 질의응답, 분류 등 다양한 작업에 활용

 

컴퓨터 비전 (Vision)

• ViT (Vision Transformer)
• SAM (Segment Anything Model)
• DINO, CLIP

→ 분류, 검출, 세그멘테이션, 임베딩 생성까지 범용 활용

 

멀티모달 (Multimodal)

• CLIP (이미지 + 텍스트)
• GPT-4 계열
• Flamingo

→ 이미지 설명, 시각적 질의응답 등 복합 문제 해결

---

파운데이션 모델의 핵심 특징

1. 대규모 사전 학습

수백만~수십억 규모의 데이터로 학습되어 일반화 성능이 뛰어납니다.

 

2. 전이 학습에 최적화

새로운 문제에 대해 적은 데이터로도 높은 성능을 냅니다.

 

3. 태스크 불가지론적(Task-agnostic)

처음부터 특정 문제를 가정하지 않고 학습됩니다.

 

4. 연구 및 산업 적용 속도 향상

모델 개발보다 응용 아이디어와 파이프라인 설계에 집중할 수 있습니다.

---

연구 관점에서의 의미

파운데이션 모델의 등장은

• “모델 구조 경쟁”에서
• “데이터·사전학습·활용 전략 경쟁”으로
  연구 패러다임을 바꾸었습니다.

특히 최근 논문에서는 “새로운 모델 제안”보다는 “기존 파운데이션 모델을 어떻게 활용했는가” 가 중요한 평가 요소가 되고 있습니다.

---

단점과 한계

물론 단점도 존재합니다.

• 학습 비용이 매우 큼
• 내부 동작 해석이 어려움
• 도메인 특화 문제에서는 한계 존재
• 데이터 편향 문제 가능성

그래서 실제 연구·산업에서는
파운데이션 모델 + 도메인 특화 파인튜닝 방식이 주로 사용됩니다.

---

마무리

파운데이션 모델은 단순한 “큰 모델”이 아니라, AI 개발 방식 자체를 바꾼 개념적 전환점입니다.

앞으로의 연구는 “무엇을 새로 만들 것인가?” 보다 “무엇을 기반으로, 어떻게 쓸 것인가?” 에 더 초점이 맞춰질 가능성이 큽니다.

 

 

---

 

의료분야에서 참고하기 좋은 논문

Uni-Hema: Unified Model for Digital Hematopathology

• https://arxiv.org/abs/2511.13889

 

자율주행 분야에서 참고하기 좋은 논문

Planning-oriented Autonomous Driving

• https://arxiv.org/pdf/2212.10156