PNU · 생성형 AI 실습 · LLM 원리

LLM은 대화로 배우지 않는다. 학습이 끝나면 멈춰 있다.

단어를 숫자 좌표로 바꾼 ‘임베딩 공간’을 직접 학습시키고, 학습이 끝난 뒤에는 아무리 대화해도 그 지도가 움직이지 않는다는 것을 확인해 봅니다. 마지막 단계에서는 NotebookLM처럼 자료를 넣으면 무엇이 달라지는지 봅니다.

모델 상태학습 전 가중치 지문72BE·2F21 읽은 데이터0 토큰 지식 기준일— 학습 후 바뀐 가중치—

드래그: 회전 · 휠: 확대 · 단어 클릭: 선택

동물음식부산감정학교생활AI·기술날씨·계절사람내 자료

1단계. 수조 개의 문장을 읽고 단어 지도를 만듭니다

지금 왼쪽의 단어들은 아무렇게나 흩어져 있어요. 학습을 시작하면 모델은 문장을 읽으면서 같이 자주 나오는 단어끼리 가까워지도록 좌표(가중치)를 조금씩 고칩니다.

학습 진행0%

오차 (예측이 틀린 정도)—

실제 LLM은 약 15조 개 수준의 토큰(단어 조각)을 몇 달 동안 읽으며 학습합니다. 여기서는 9초로 줄였어요. 노란 선은 지금 읽는 문장 속 단어들이 서로 당겨지는 모습입니다.

어디에	언제 바뀌나	얼마나 남나	이 실습에서 본 것
가중치 (학습)모델 그 자체	개발사가 수조 개 토큰으로 다시 학습할 때만. 수개월, 거대한 GPU 비용.	다음 버전이 나올 때까지 고정	1단계에서 지도가 만들어지고 지문이 고정됨. 3단계에서 대화해도 지문이 그대로.
컨텍스트 (대화창)이번 대화의 메모지	내가 말할 때마다 대화창에 쌓임	그 대화창 안에서만. 새 대화를 열면 사라짐	3단계에서 이름을 알려주면 기억하지만, 새 대화에서는 모름.
내 자료 (RAG)NotebookLM의 소스	내가 자료를 올리거나 바꿀 때	자료가 연결되어 있는 동안	3단계에서 지어냈던 질문에, 4단계에서 공고문을 넣자 근거와 출처가 붙은 답이 나옴. 가중치는 여전히 그대로.