딥러닝에서 파라미터(Parameter)와 하이퍼파라미터(Hyperparameter)의 차이

딥러닝 모델을 학습하다 보면 자주 등장하는 두 용어가 있습니다.
바로 파라미터(Parameter) 와 하이퍼파라미터(Hyperparameter) 입니다.

 

두 개념은 이름이 비슷하지만, 누가 결정하는지, 언제 결정되는지, 어디에 속하는지에서 명확한 차이가 있습니다.

 

---

 

1. 파라미터(Parameter)란 무엇인가

정의

파라미터는 모델이 학습 과정에서 데이터로부터 자동으로 학습하는 값입니다.

 

즉,

• 사람이 직접 설정하지 않으며
• 손실 함수(loss)를 최소화하는 방향으로
• 역전파(backpropagation)를 통해 지속적으로 업데이트됩니다.

딥러닝에서의 예

• 가중치(weight)
• 편향(bias)

예를 들어 다음과 같은 선형 모델이 있을 때,

 

y=Wx+by = Wx + by=Wx+b

 

여기서

• WWW와 bbb는 모두 파라미터입니다.

파라미터는 모델이 데이터의 패턴을 직접 표현하는 핵심 요소입니다.

---

2. 하이퍼파라미터(Hyperparameter)란 무엇인가

정의

하이퍼파라미터는 모델 학습이 시작되기 전에 사람이 미리 정해주는 설정 값입니다.

하이퍼파라미터는

• 학습 중 자동으로 업데이트되지 않으며
• 모델이 어떻게 학습될지를 결정합니다.

딥러닝에서의 예

• 학습률(learning rate)
• 배치 크기(batch size)
• 에폭(epoch)
• 레이어 수 및 채널 수
• 옵티마이저 종류(SGD, Adam 등)
• Dropout 비율

하이퍼파라미터는 모델의 학습 전략과 구조를 제어하는 역할을 합니다.

---

3. 핵심 차이 요약

결정 주체	모델	사람
변경 시점	학습 중 계속 변경	학습 시작 전 고정
역할	데이터 패턴 학습	학습 방식 제어
예시	weight, bias	learning rate, batch size
위치	모델 내부	모델 외부 설정

---

4. 직관적인 비유

딥러닝 모델을 요리에 비유하면 다음과 같습니다.

• 파라미터
  → 요리를 하면서 자연스럽게 맞춰지는 간의 정도입니다.
• 하이퍼파라미터
  → 요리를 시작하기 전에 정하는 불 세기, 조리 시간, 재료 비율입니다.

하이퍼파라미터 설정이 잘못되면, 파라미터가 아무리 학습되어도 좋은 결과를 얻기 어렵습니다.

---

5. 왜 하이퍼파라미터가 중요한가

같은 모델이라도 하이퍼파라미터 설정에 따라 성능은 크게 달라집니다.

• 학습률이 너무 크면 학습이 발산합니다.
• 학습률이 너무 작으면 학습이 매우 느리거나 멈춥니다.
• 배치 크기는 일반화 성능에 영향을 미칩니다.

이 때문에 실무와 연구에서는 Grid Search, Random Search, Bayesian Optimization과 같은 하이퍼파라미터 탐색 기법을 사용합니다.

---

6. 연구 관점에서의 확장

최근에는 Meta-learning이나 AutoML과 같이 하이퍼파라미터 자체를 학습 대상으로 삼는 연구도 활발히 진행되고 있습니다. 이는 기존에 사람이 설정하던 하이퍼파라미터를 모델이 스스로 최적화하도록 만드는 방향의 연구입니다.

 

본 포스팅을 한문장으로 정리하면 다음과 같습니다.

 

파라미터는 모델이 데이터로부터 학습하는 값이며,
하이퍼파라미터는 모델이 학습하는 방식을 사람이 정하는 값입니다.