Emergent Abilities란

Emergence = 양적 변화 → 질적 변화

• 양적 변화: 모델의 크기, 학습 데이터 양, 연산 능력 등
• 질적 변화: 모델이 수행할 수 있는 새로운 능력
• 핵심 포인트: 작은 모델에서는 불가능했던 능력이, 일정 규모 이상 모델에서 갑자기 나타난다

 

 

즉, “조금씩 커지는 변화가 어느 순간 완전히 새로운 행동을 만들어내는 현상”

---

 

LLM에서의 예시

 

번역	일부 단어 단위 가능	문장 단위 자연스러운 번역 가능
추론	단순 패턴만	논리적 질문이나 다단계 추론 가능
상식 질문	일부 정답	광범위한 상식 지식 활용 가능
코드 생성	불완전	실제 동작 가능한 코드 생성 가능
다국어 이해	거의 불가	여러 언어 이해 및 번역 가능

• 특징: 작은 모델에서 점진적으로 개선되는 것이 아니라, 특정 규모(파라미터, 데이터) 이상에서 질적 도약이 나타남

 

---

 

Emergent Ability가 나타나는 이유 

 

1. 표현력 증가
   • 모델이 커지면 복잡한 패턴을 표현할 수 있는 차원이 늘어남
   • 작은 모델에서는 포착할 수 없던 복잡한 관계를 학습
2. 추론 능력 향상
   • Layer, Head, 파라미터 수가 많아질수록 다단계 의존성을 학습 가능
   • 이전에 불가능했던 추론 태스크 수행 가능
3. 일종의 임계점(Threshold) 존재
   • 작은 변화 → 영향 미미
   • 어느 수준 이상 → 질적 도약(예: 10억 → 100억 파라미터)

 

---

 

비유

1. 물 끓는 점
   • 온도 99°C → 그냥 뜨거움
   • 온도 100°C → 갑자기 끓음 → 질적 변화
2. 집단 행동
   • 사람 10명 → 조용히 있음
   • 사람 100명 → 갑자기 시위 시작 → Emergent 행동
3. LLM
   • 모델 1억 파라미터 → 단순 패턴 학습
   • 모델 100억 파라미터 → 번역, 추론, 코드 작성 등 새로운 능력 Emergent

 

---

 

요약

• Emergent Ability = 작은 모델에서 없던 능력이, 모델 규모가 커지면서 갑자기 나타나는 능력
• Transformer/LLM에서 관찰되는 대표 사례: 번역, 추론, 코드 생성, 다국어 이해
• 이유: 파라미터 증가 → 더 복잡한 패턴 학습 → 임계점 이상에서 질적 도약