대형 언어 모델의 세계로 - ChatGPT의 원리와 활용 (16) AI학습의 3단계

 

대형 언어 모델의 세계로 - ChatGPT의 원리와 활용에 대한
개요와 전체 목차 및 저자 소개는 아래의 이전 글에서 보실 수 있습니다.

대형 언어 모델의 세계로 - ChatGPT의 원리와 활용 개요

 

 

인공지능(AI) 언어 모델의 발전 과정은 크게 세 가지 단계로 나눌 수 있어요. 첫 번째는 사전 훈련(Pre-training), 두 번째는 지도 미세 조정(Supervised Fine-tuning), 그리고 마지막은 강화 학습(Reinforcement Learning, RL)이에요. 이 과정들을 이해하면, AI 모델이 단순한 문서 생성기를 넘어 인간과 자연스럽게 상호작용하는 지능형 비서(Assistant)로 발전하는 원리를 알 수 있어요.

 

사전 훈련(Pre-training): AI의 기초 다지기

인터넷 문서를 학습하는 단계

사전 훈련은 AI가 대규모 텍스트 데이터를 통해 언어 패턴을 학습하는 첫 번째 단계예요. 인터넷에 존재하는 수많은 문서를 학습해서 기본적인 언어 능력을 갖추게 되죠. 이 과정에서 생성된 모델을 기본 모델(Base Model)이라고 불러요.

이 기본 모델은 단순히 인터넷 문서를 예측하고 생성하는 역할을 하기 때문에 단독으로는 실용성이 떨어져요. 우리가 원하는 것은 단순한 문서 생성기가 아니라, 사용자의 질문에 맞춰 정확한 답변을 제공하는 AI 비서(Assistant)예요.

 

지도 미세 조정(Supervised Fine-tuning): AI를 비서로 발전시키기

대화형 데이터셋을 활용한 학습

AI를 유용한 비서로 만들기 위해서는 지도 미세 조정(Supervised Fine-tuning, SFT)이 필요해요. 이 단계에서는 학습 데이터가 달라져요. 기존의 인터넷 문서 대신, 인간과 AI가 주고받은 대화 데이터를 기반으로 AI를 훈련하는 거죠.

이 데이터는 다음과 같은 방식으로 구축돼요.

1. 사람이 질문(프롬프트, Prompt)을 작성
2. 사람이 이상적인 답변을 직접 생성
3. AI가 이를 학습하여 더욱 자연스럽고 유용한 답변을 생성하도록 훈련

초기에는 사람이 직접 데이터를 작성했지만, 현재는 AI가 데이터 제작을 도와주면서 더욱 빠르고 효율적으로 구축되고 있어요. 하지만 여전히 최종 검수는 인간이 진행하여 고품질의 데이터를 유지하고 있죠.

지도 학습을 통해 AI의 정확성 향상

이 과정을 거치면 AI는 단순한 문서 생성기를 넘어서 인간이 원하는 방식으로 응답하는 대화형 비서가 돼요. 하지만 여전히 몇 가지 한계가 있어요.

• 환각(hallucination): AI가 사실과 다른 정보를 생성하는 현상
• 제한된 지식: 최신 정보나 특정 도구를 활용한 문제 해결 능력 부족

이 문제를 해결하기 위해 AI는 웹 검색 기능이나 코드 실행 기능을 활용해서 더 정확한 정보를 제공할 수 있어요. 하지만 여전히 완벽하진 않죠. 그래서 AI의 최종적인 완성도를 높이기 위해 강화 학습(Reinforcement Learning)을 적용해요.

 

강화 학습(Reinforcement Learning): AI의 실전 능력 향상

왜 강화 학습이 필요할까?

지도 학습만으로 AI를 완벽한 비서로 만들기는 어려워요. 마치 우리가 학교에서 개념을 배우고 예제 문제를 풀어도 직접 문제를 풀어보는 연습(Practice)이 필요한 것과 같아요. AI도 스스로 문제를 해결하는 능력을 키워야 해요.

강화 학습을 쉽게 설명하면, AI가 문제를 스스로 해결해보면서 정답을 찾아가는 과정이에요. 이 과정은 학교에서 시험을 치르며 실력을 키우는 것과 비슷해요.

학교 공부와 AI 학습의 유사점

AI 모델의 훈련 과정을 학교 공부에 빗대어 설명하면 다음과 같아요.

1. 사전 훈련(Pre-training) = 교과서 읽기
   • 다양한 문서를 읽으며 기초 지식을 습득하는 단계
   • AI가 언어의 기본적인 구조와 의미를 이해함
2. 지도 미세 조정(Supervised Fine-tuning) = 예제 문제 풀이
   • 교과서에 나온 예제 문제와 풀이를 보며 학습
   • 인간 전문가가 작성한 답변을 AI가 학습하여 모방
3. 강화 학습(Reinforcement Learning) = 연습 문제 풀이
   • 학생이 직접 문제를 풀어보며 실력을 키우는 과정
   • AI가 여러 가지 방법을 시도하면서 최적의 답변을 찾아감

 

강화 학습의 원리: AI가 스스로 배우는 방법

강화 학습은 AI가 최적의 답변을 찾도록 유도하는 과정이에요.

1) 문제 해결 연습

AI는 질문(프롬프트)과 정답(이상적인 답변 예시)을 제공받지만, 중간 과정(풀이 과정)은 제공되지 않아요. AI는 여러 가지 답변을 시도하며 최적의 답변을 찾아가죠.

2) 보상 시스템 적용

강화 학습에서는 보상 시스템(Reward System)이 적용돼요.

• 좋은 답변을 하면 높은 점수를 부여
• 부정확하거나 부적절한 답변을 하면 낮은 점수를 부여

이렇게 하면 AI는 보상을 극대화하는 방향으로 학습하면서 점점 더 유용한 답변을 생성하게 돼요.

 

강화 학습의 실제 활용

강화 학습을 통해 AI는 더욱 정교해지고, 인간과의 상호작용에서도 더 나은 성능을 발휘할 수 있어요.

• 더 정확한 답변 제공: 잘못된 정보를 줄이고 신뢰성을 높임
• 사용자 맞춤형 AI: 사용자 피드백을 반영하여 개선
• 창의적 문제 해결 능력 향상: 기존 데이터를 모방하는 수준을 넘어 새로운 답변을 생성

특히 OpenAI 같은 기업들은 강화 학습을 통해 AI 모델을 지속적으로 개선하고 있어요. 각 단계별로 다른 팀이 모델을 다듬으며 협력하는 방식이죠.

 

AI의 발전은 계속된다

AI 언어 모델은 사전 훈련 → 지도 미세 조정 → 강화 학습이라는 단계를 거치면서 점점 더 강력해지고 있어요. 초기에는 단순한 텍스트 생성기였지만, 이제는 인간과 자연스럽게 대화하며 창의적인 문제 해결 능력을 갖춘 지능형 비서로 발전했어요.

미래에는 AI가 더욱 정교해지고, 사용자의 필요에 맞춰 최적의 답변을 제공하는 방향으로 발전할 거예요. 강화 학습을 통해 AI는 끊임없이 배우고 성장하면서, 우리 삶을 더욱 편리하게 만들어줄 거예요.

 

 

강화학습에 대해서 더 궁금하시다면 아래 내용을 살펴보시면 좋아요.

RL (강화학습) 기초 - 2. Reinforcement Learning 소개