언어 모델은 어떻게 글을 쓰는가
가중치는 얼어 있고 아무것도 기억되지 않습니다. 슬라이더를 당겨, 모델이 다음 조각을 거듭 고르는 과정을 보세요.
온도
1.00
Top-P
0.90
그림의 한 부분을 누르면 해당 단계가 열립니다.
반복 전체
문자열 → 조각 → 앞선 조각들과의 연결 → 고정된 층 → 확률 → 꼬리를 자르고 무작위로 하나 뽑기 → 조각을 끝에 붙이기. 그리고 다시 처음부터. 모델을 쓰는 동안 이 밖의 일은 일어나지 않습니다.
구성
- 1 문맥과 조각 — 창은 유한합니다. 다 차면 생성이 멈춥니다. 창 밖의 것을 모델은 아무것도 가지고 있지 않습니다.
- 2 문맥에 대한 어텐션 — 선은 매 단계마다 처음부터 다시 계산됩니다. 조각 하나가 늘면 그림 전체가 달라집니다.
- 3 고정된 가중치 — 학습은 가중치를 바꾸고, 사용은 바꾸지 않습니다. 같은 신경망의 서로 다른 두 모드입니다.
- 4 확률, 온도, Top-P — 두 슬라이더를 움직여 「바나나」를 보세요. 높은 온도와 1에 가까운 Top-P의 대가가 거기 있습니다.
- 5 생성의 반복 — 모델은 문장을 쓰는 것이 아닙니다. 한 걸음 나아가고 또 한 걸음 나아갈 뿐입니다.
인터랙티브 설명
- 약은 어떻게 혈액뇌장벽을 통과하는가 뇌는 거의 모든 약물 분자를 들이지 않습니다. 그리고 그건 옳은 판단입니다. 슬라이더 하나로, 실험실이 대신 시도하는 수를 따라갑니다. 벽이 이미 나르는 법을 아는 주머니에 분자를 넣어 버리는 것입니다.
- 로봇은 처음 들어간 방의 지도를 어떻게 그리는가 라이다는 한 바퀴에 점 수백 개를 돌려줄 뿐, 자기가 어디 있는지는 모릅니다. 슬라이더 하나로 그 점구름에서 로봇이 제자리에 서 있는 평면도까지 걸어갑니다.
- 두 사람이 같은 줄에 입력해도 글자가 사라지지 않는 이유 커서는 둘, 줄은 하나, 가운데에서 펜을 쥔 사람은 없습니다. 슬라이더 하나로 인덱스 병합을 뜯어보고, 글자 사이에 놓인 주소로 다시 세웁니다.
- 양자컴퓨터는 왜 격자 앞에서 멈추는가 쇼어 알고리즘은 RSA를 한 수에 먹어치웁니다. 같은 기계가 잡음을 조금 얹은 점 격자 앞에서는 거의 아무것도 하지 못합니다. 슬라이더 하나로 그 차이를 봅니다.
- 우주를 향해 건물을 식히다 한여름 햇빛 아래에서도 주변 공기보다 차갑게 유지되면서 전력을 한 와트도 쓰지 않는 도료. 슬라이더 하나로 태양에서 대기 반대편까지 열을 따라갑니다.
- 로봇은 다음 1초를 어떻게 예측하는가 텍스트 모델은 다음 단어를 맞힙니다. 세계 모델은 다음 프레임을 맞힙니다 — 질량과 속도와 중력까지 함께. 슬라이더 하나로 카메라에서 포구까지 한 바퀴를 따라갑니다.
- 비밀을 밝히지 않고 증명하기 한 슬라이더는 단계를 넘기고, 다른 하나는 라운드를 늘립니다. 확신이 거의 완전에 가까워지는 동안 비밀은 그대로 비밀로 남습니다.
- 염수에서 리튬 뽑기: 증발지와 직접 회수 슬라이더를 다섯 단계로 옮기며, 같은 소금물에서 같은 금속을 꺼내는 두 방식을 비교해 보세요.
- 맞춤형 mRNA 암 백신의 원리 슬라이더를 다섯 단계로 옮기며, 종양 자신의 돌연변이가 면역에 그 종양을 찾는 법을 가르치는 설명서로 바뀌는 과정을 보세요.
- 애플리케이션의 경계 바깥에서 오는 것은 모두 믿을 수 없습니다. 고리를 하나씩 끊어 보며, 사슬이 어디서 멈추고 화면에 무엇이 나오는지 확인하세요.
- 내 문서를 검색하는 방식 슬라이더를 움직여, 검색 파이프라인이 모델에게 무엇을 보여 줄지 정하는 과정을 보세요. 엉뚱한 구절을 건넸을 때 무슨 일이 벌어지는지도.
- 재요청과 느린 응답 작업 도중에 네트워크가 끊깁니다. 버튼을 두 번 눌러, 멱등 키가 있을 때와 없을 때 데이터베이스에 무엇이 남는지 보세요.
- 언어 모델은 어떻게 배우는가 슬라이더 하나를 당겨서, 무작위 숫자 더미가 천 번의 단계를 거쳐 예측으로 변해가는 과정을 보세요.
- 전기는 어디에서 오는가 슬라이더 하나를 당겨서 강에서 물을 다시 퍼 올리는 펌프까지 에너지가 가는 길을 따라가 보세요.