ChatGPT란 무엇인가?

요즘 ChatGPT가 아주 뜨거운 감자다. 그래서 이번에는 ChatGPT의 기본적인 내용에 대해서 폭풍검색 해보기로 했다.

ChatGPT는 트랜스포머 모델로 알려진 딥 러닝 아키텍처를 활용하는 OpenAI에 의해 개발된 대규모 언어 모델이다.

*트랜스포머(Transformer) 모델 : 언어 번역, 요약 및 대화 생성과 같은 시퀀스 대 시퀀스 작업을 위해 특별히 설계된 신경망의 한 유형

핵심적으로, ChatGPT는 방대한 텍스트 데이터 뭉치에 대해 훈련된 대규모 사전 훈련된 트랜스포머 모델을 기반으로 한다. 이 말뭉치는 책, 기사, 웹 페이지와 같은 매우 다양한 텍스트를 포함하고 있어 ChatGPT가 언어와 세계에 대한 폭넓은 이해를 가질 수 있도록 한다.

사용자가 질문이나 문장을 입력하면 ChatGPT는 사전 훈련된 모델을 사용하여 응답을 생성한다.

 

응답을 생성하는 프로세스에는 다음의 몇 가지 단계가 포함된다.

1. 첫 번째 단계는 토큰화로, 입력 텍스트를 토큰이라고 불리는 더 작은 단위로 나눈다. 토큰은 기본적으로 모델이 이해할 수 있는 방식으로 입력 텍스트를 나타내는 데 사용되는 개별 단어 또는 단어 그룹을 뜻한다.

이렇게 입력 텍스트가 토큰화되면 모델은 입력 텍스트를 기반으로 가능한 모든 다음 토큰에 대한 확률 분포를 생성한다. 이 확률 분포는 softmax로 알려진 기술을 사용하여 생성되는데, 이는 본질적으로 입력 텍스트의 맥락에 나타나는 가능성에 기초하여 가능한 각 다음 토큰에 확률을 할당한다.

2. 두번째 단계로, 모델은 확률이 가장 높은 토큰을 다음 출력 토큰으로 선택해서 생성된 출력 텍스트에 추가한다.

응답을 생성하는 프로세스는 반복적으로 계속되며, 모델은 이전 단계에서 생성된 출력 텍스트를 새로운 입력 텍스트로 받아들이고 가능한 모든 다음 토큰에 대한 새로운 확률 분포를 생성한다. 이 프로세스는 응답에 대해 미리 정의된 최대 길이 또는 응답의 끝을 나타내는 특정 토큰이 될 수 있는 중지 조건이 충족될 때까지 반복된다.

ChatGPT는 또한 응답의 품질을 개선하기 위해 몇 가지 기술을 통합한다.

 

1. 그러한 기술 중 하나는 주의(attention)인데, 이는 모델이 응답을 생성할 때 입력 텍스트의 특정 부분에 초점을 맞출 수 있게 해준다. 이 기술을 사용하면 모델이 입력 텍스트의 컨텍스트를 더 잘 이해하고 더 관련된 응답을 생성할 수 있다.

2. ChatGPT에서 사용되는 또 다른 기술은 미세 조정(fine-tuning)으로, 특정 작업 또는 도메인에서 사전 훈련된 모델을 추가로 훈련시키는 것을 포함한다. 이 미세 조정 프로세스를 통해 모델은 사전 훈련된 모델에 존재하지 않을 수 있는 작업별 또는 도메인별 지식을 학습할 수 있다.

3. 사용자 입력에 대한 응답을 생성하는 핵심 기능 외에도, ChatGPT는 사용자 경험을 개선하기 위해 몇 가지 기능을 통합한다. 예를 들어, 그것은 여러 차례의 대화를 처리하고, 이전의 입력과 출력을 기억하며, 시간이 지남에 따라 응답을 개선하기 위해 사용자 피드백을 통합할 수 있다.

전반적으로 ChatGPT는 다양한 사용자 입력에 대한 자연어 응답을 생성하는 강력한 도구이다. 주의 및 미세 조정과 같은 기술과 결합된 기본 트랜스포머 모델은 문맥적으로 관련이 있고 문법적으로 정확한 고품질 응답을 생성할 수 있다.

 

상기 내용을 조사하면서 느낀 것은, ChatGPT는 결국, 현재 많이 사용되는 텍스트 자동완성의 매우 심화된 버전이라는 것이다.

1. 내가 어떤 텍스트를 쓰기 시작하면, 자동완성은 다음에 쓸 확률이 높은 단어를 제안한다.

2. ChatGPT는 학습된 내용을 바탕으로 사용자가 질문한 내용에서 답이 될 확률이 높은 내용을 제안한다.

 

이렇게 보면 단순해 보이는 것 같기도 하지만, 질문을 이해하고 그 결과를 텍스트 뭉치(글)로 나타내는 것은 텍스트 자동완성보다는 훨씬 높은 기술을 요구할 것이다.

매우 유용한 것 같으면서도, 앞으로 불러올 변화를 생각하면 한편으로는 섬뜩한 기술인 것 같다. 사람이 할 수 있는 일과 그 결과가 크게 변할 것 같기 때문이다. 이 변화를 주의깊게 살펴보고 대비하는 것이 중요하겠다.