LLM

LLM, 즉 거대 언어 모델은 말 그대로 '방대한 양의 텍스트 데이터'를 학습하여 인간의 언어를 이해하고 생성할 수 있도록 만들어진 인공지능 모델을 뜻한다.
쉽게 비유하자면, LLM은 세상에 존재하는 거의 모든 책, 인터넷 게시글, 논문 등을 읽은 ‘엄청나게 박식한 앵무새'와 같다. 하지만 이 앵무새는 자신이 말하는 내용의 '의미'를 깊이 이해하고 진실을 말하는 것이 아니라, 수많은 문장을 읽어본 경험을 토대로 "이 상황에서는 이런 단어가 나오는 게 자연스럽더라"라는 패턴을 학습한 존재이다.

이 구조 덕분에 AI는 문장 전체에서 단어와 단어 사이의 보이지 않는 관계 (맥락)를 한꺼번에 파악할 수 있게 되었다.

이후 OpenAI의 GPT 시리즈, 구글의 BERT 등이 등장하며 모델의 크기(파라미터)를 기하급수적으로 키웠고, 지금처럼 사람보다 더 유창하게 글을 쓰는 LLM이 탄생하게 되었다.

LLM이 글을 쓰는 원리는 의외로 단순하다. 바로 ‘다음에 올 가장 적절한 단어(Token) 맞히기'이다. 위 그림처럼 LLM은 질문이 들어오면, 자신이 학습한 방대한 데이터 통계에 기반하여 다음에 올 단어의 확률을 계산한다.

입력: 사용자가 "대한민국의 수도는"이라고 입력한다.
확률 계산: 모델은 수많은 단어 중 '서울'이 올 확률 90%, '부산'이 올 확률 5%, '워싱턴'이 올 확률 0.1%... 이런 식으로 계산한다.
출력: 가장 확률이 높은(혹은 적절한) '서울'을 선택하여 내뱉는다.
반복: "대한민국의 수도는 서울"을 다시 입력으로 삼아, 그 뒤에 올 단어("이다", "입니다" 등)를 예측한다.

이 과정은 트랜스포머(Transformer) 아키텍처를 통해 이루어진다.

트랜스포머 구조의 핵심은 '어텐션(Attention)'이라는 기술이다. 이름 그대로 문장의 맥락을 파악하기 위해, AI가 중요한 단어에 스스로 '주목'하게 만드는 능력이다.
예를 들어 "그가 사과를 깎아 먹었다"라는 문장을 볼 때, AI는 단순히 단어를 나열하는 게 아니라 '먹었다'라는 행동과 가장 잘 어울리는 짝꿍인 '사과'에 더 집중한다. 이렇게 단어들 사이의 보이지 않는 관계를 파악해서, 글 전체의 숨은 의도까지 읽어내는 것이다.
(트랜스포머 구조의 자세한 설명은 공과대학 수준의 과정이므로 여기선 다루지 않는다.)

결국 LLM은 진실을 척척 알려주는 '똑똑한 박사님'이라기보다, 수많은 글을 읽으며 배운 패턴으로 "이럴 땐 이런 말을 하는 게 자연스럽더라"라며 확률을 계산하는 '글짓기 기계'에 가깝다. AI에게 중요한 건 '이 말이 사실인가?'보다 '문맥상 자연스러운가?'이다.