대형 언어 모델의 세계로 - ChatGPT의 원리와 활용 (9) 사전/사후 학습

 

대형 언어 모델의 세계로 - ChatGPT의 원리와 활용에 대한
개요와 전체 목차 및 저자 소개는 아래의 이전 글에서 보실 수 있습니다.

대형 언어 모델의 세계로 - ChatGPT의 원리와 활용 개요

 

 

 

AI 언어 모델(LLM) 훈련 과정은 크게 두 단계로 나뉘어요.
첫 번째는 사전 훈련(pre-training) 단계이고,
두 번째는 후 훈련(post-training) 단계예요.
이 두 단계를 거쳐 우리가 원하는 AI 비서로 발전하게 돼요.
이번 포스팅에서는 각 단계의 과정과 그 역할을 자세히 살펴볼게요.

제가 최근에 가장 열심히 하고 있는 분야가 바로 사전 훈령과 사후 훈련입니다.
여기서는 베이스 모델을 기반으로 하는 부분에 중점해서 이야기를 하고 있고
조금 더 범위를 확장하게 되면 더 많은 부분에 기술적인 요소들이 포함이 되요.

 

1. 사전 훈련 (Pre-training): 거대한 데이터로 학습하기

사전 훈련은 모델이 처음부터 데이터를 학습하는 단계예요.
이 과정에서 AI는 인터넷에서 수집한 엄청난 양의 문서를 활용해 학습을 진행해요.

사전 훈련의 핵심 과정

1. 인터넷 문서 수집
   • 모델이 학습할 데이터는 웹사이트, 책, 논문, 뉴스 기사 등 다양한 인터넷 문서에서 가져와요.
2. 토큰화(Tokenization)
   • 문장을 작은 단위(토큰)로 쪼개요.
   • 예를 들어, "인공지능이 세상을 바꾼다."라는 문장이 있다면, "인공", "지능", "이", "세상", "을", "바꾼", "다" 같은 식으로 나뉘어요.
3. 확률적 예측 (다음 단어 맞추기)
   • 신경망 모델이 주어진 문맥에서 다음에 올 단어(토큰)를 예측하도록 학습해요.
   • 예를 들어, "나는 커피를"이라는 문장이 있으면 "마신다"라는 단어가 올 가능성이 높다고 예측하는 방식이에요.
4. 기본 모델(Base Model) 생성
   • 훈련이 끝나면, 이 모델은 인터넷 문서 시뮬레이터처럼 동작해요.
   • 즉, 문서의 통계적 패턴을 따라 텍스트를 생성할 수 있어요. 하지만 단순히 문장을 예측하는 수준이기 때문에, 대화형 AI로 활용하기에는 부족해요.

 

2. 사후 훈련 (Post-training): AI를 어시스턴트로 만들기

사전 훈련된 모델은 단순한 텍스트 예측기일 뿐이에요.
이를 질문에 답하는 AI 비서로 만들려면 사후 훈련(post-training) 과정을 거쳐야 해요.

사후 훈련의 특징

• 계산량이 적음
  • 사전 훈련은 엄청난 컴퓨팅 파워와 데이터가 필요하지만, 사후 훈련은 상대적으로 적은 연산으로 이루어져요.
  • 즉, 비용이 덜 들면서도 AI의 성능을 크게 향상시킬 수 있어요.
• 모델이 더 정교해짐
  • 이제 단순한 텍스트 생성이 아니라, 질문에 대한 정확한 답변을 생성하는 AI 비서로 발전해요.

사후 훈련 과정

1. 지도 학습(Supervised Fine-tuning)
   • 인간이 작성한 좋은 답변을 학습시켜, 모델이 더 나은 답변을 할 수 있도록 조정해요.
2. 강화 학습 (Reinforcement Learning)
   • AI가 생성한 답변을 평가하고, 더 나은 답변을 하도록 강화 학습을 진행해요.
   • 대표적인 방법이 RLHF (Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화 학습) 이에요.
3. 안전성과 윤리성 강화
   • AI가 유해한 내용을 생성하지 않도록 필터링하고, 신뢰할 수 있는 정보를 제공하도록 조정해요.

 

 

 

3. 왜 사후 훈련이 중요한가?

사전 훈련된 모델은 단순히 확률적으로 자연스러운 문장을 만들어낼 수 있을 뿐이에요.
하지만 우리는 AI가 실제 질문에 답할 수 있는 어시스턴트가 되기를 원하죠.

사후 훈련을 통해 AI는 다음과 같은 능력을 갖출 수 있어요.
- 질문에 대한 명확한 답변 제공
- 논리적이고 일관된 응답 생성
- 안전한 정보 제공 및 유해 콘텐츠 필터링

 

 

AI 모델이 단순한 텍스트 생성기에서 똑똑한 비서로 발전하는 과정은 다음과 같아요.

1️⃣ 사전 훈련: 인터넷 문서를 활용해 언어 패턴을 학습 (기본 모델 생성)
2️⃣ 사후 훈련: 지도 학습과 강화 학습을 통해 AI를 어시스턴트로 발전

이렇게 단계적으로 학습한 AI가 우리가 사용하는 챗봇이나 AI 비서로 발전하는 거예요.
앞으로 AI 기술이 더 발전하면서, 후 훈련 과정도 더욱 정교해질 거예요.

👉 결국 AI는 단순한 정보 생성기가 아니라, 우리의 질문에 정확하고 유용한 답을 주는 "진짜 어시스턴트"로 변해가고 있어요!