언어 모델은 어떻게 배우는가
슬라이더 하나를 당겨서, 무작위 숫자 더미가 천 번의 단계를 거쳐 예측으로 변해가는 과정을 보세요.
학습 단계 0
그림의 한 부분을 누르면 해당 단계가 열립니다.
순환 전체
문장 조각 → 숫자 → 가중치의 층 → 점수 → 비율 → 오차 → 모든 가중치의 미세 수정. 통째로 외우는 일은 없습니다. 학습이란 올바른 다음 말이 가장 그럴듯해질 때까지 숫자를 수백만 번 조금씩 고치는 일입니다.
구성
- 1 문장을 조각으로 자른다 — 앞의 공백과 조사도 조각의 일부라, 자르는 위치가 다르면 다른 줄이 됩니다.
- 2 단어 대신 숫자 — 슬라이더를 움직이면 떨림이 멎고, 숫자는 의미 있는 값에 내려앉습니다.
- 3 층과 어텐션 — 선의 색은 가중치의 부호, 굵기는 크기입니다. 지금은 모든 가중치가 무작위입니다.
- 4 예측 — 올바른 다음 말인 「우유」는 아직 3등입니다.
- 5 오차와 학습 — 슬라이더가 이 순환을 돌립니다. 1000단계에서 「우유」는 92%, 「트랙터」는 0.01%, 오차는 0.08까지 떨어집니다.
인터랙티브 설명
- 약은 어떻게 혈액뇌장벽을 통과하는가 뇌는 거의 모든 약물 분자를 들이지 않습니다. 그리고 그건 옳은 판단입니다. 슬라이더 하나로, 실험실이 대신 시도하는 수를 따라갑니다. 벽이 이미 나르는 법을 아는 주머니에 분자를 넣어 버리는 것입니다.
- 로봇은 처음 들어간 방의 지도를 어떻게 그리는가 라이다는 한 바퀴에 점 수백 개를 돌려줄 뿐, 자기가 어디 있는지는 모릅니다. 슬라이더 하나로 그 점구름에서 로봇이 제자리에 서 있는 평면도까지 걸어갑니다.
- 두 사람이 같은 줄에 입력해도 글자가 사라지지 않는 이유 커서는 둘, 줄은 하나, 가운데에서 펜을 쥔 사람은 없습니다. 슬라이더 하나로 인덱스 병합을 뜯어보고, 글자 사이에 놓인 주소로 다시 세웁니다.
- 양자컴퓨터는 왜 격자 앞에서 멈추는가 쇼어 알고리즘은 RSA를 한 수에 먹어치웁니다. 같은 기계가 잡음을 조금 얹은 점 격자 앞에서는 거의 아무것도 하지 못합니다. 슬라이더 하나로 그 차이를 봅니다.
- 우주를 향해 건물을 식히다 한여름 햇빛 아래에서도 주변 공기보다 차갑게 유지되면서 전력을 한 와트도 쓰지 않는 도료. 슬라이더 하나로 태양에서 대기 반대편까지 열을 따라갑니다.
- 로봇은 다음 1초를 어떻게 예측하는가 텍스트 모델은 다음 단어를 맞힙니다. 세계 모델은 다음 프레임을 맞힙니다 — 질량과 속도와 중력까지 함께. 슬라이더 하나로 카메라에서 포구까지 한 바퀴를 따라갑니다.
- 비밀을 밝히지 않고 증명하기 한 슬라이더는 단계를 넘기고, 다른 하나는 라운드를 늘립니다. 확신이 거의 완전에 가까워지는 동안 비밀은 그대로 비밀로 남습니다.
- 염수에서 리튬 뽑기: 증발지와 직접 회수 슬라이더를 다섯 단계로 옮기며, 같은 소금물에서 같은 금속을 꺼내는 두 방식을 비교해 보세요.
- 맞춤형 mRNA 암 백신의 원리 슬라이더를 다섯 단계로 옮기며, 종양 자신의 돌연변이가 면역에 그 종양을 찾는 법을 가르치는 설명서로 바뀌는 과정을 보세요.
- 애플리케이션의 경계 바깥에서 오는 것은 모두 믿을 수 없습니다. 고리를 하나씩 끊어 보며, 사슬이 어디서 멈추고 화면에 무엇이 나오는지 확인하세요.
- 내 문서를 검색하는 방식 슬라이더를 움직여, 검색 파이프라인이 모델에게 무엇을 보여 줄지 정하는 과정을 보세요. 엉뚱한 구절을 건넸을 때 무슨 일이 벌어지는지도.
- 재요청과 느린 응답 작업 도중에 네트워크가 끊깁니다. 버튼을 두 번 눌러, 멱등 키가 있을 때와 없을 때 데이터베이스에 무엇이 남는지 보세요.
- 언어 모델은 어떻게 글을 쓰는가 가중치는 얼어 있고 아무것도 기억되지 않습니다. 슬라이더를 당겨, 모델이 다음 조각을 거듭 고르는 과정을 보세요.
- 전기는 어디에서 오는가 슬라이더 하나를 당겨서 강에서 물을 다시 퍼 올리는 펌프까지 에너지가 가는 길을 따라가 보세요.