Как языковая модель пишет текст
Веса заморожены, ничего не запоминается. Потяните ползунки и посмотрите, как модель раз за разом выбирает следующий кусок текста.
Температура
1.00
Top-P
0.90
Нажмите на участок схемы, чтобы открыть шаг.
Весь цикл целиком
Строка → куски → связи с предыдущими кусками → замороженные слои → вероятности → отсечение хвоста и случайный выбор → кусок дописан в строку. И снова сначала. Больше при использовании модели не происходит ничего.
Что внутри
- 1 Контекст и куски — Окно конечно. Когда оно заполнится, генерация остановится — за его пределами модель не держит ничего.
- 2 Внимание к контексту — Связи считаются заново на каждом шаге: добавился кусок — вся картина связей изменилась.
- 3 Замороженные веса — Обучение меняет веса, использование — нет. Это два разных режима одной и той же сети.
- 4 Вероятности, температура и Top-P — Подвигайте оба ползунка и посмотрите на « бананы»: это цена высокой температуры и Top-P, близкого к единице.
- 5 Цикл генерации — Модель не пишет предложение целиком. Она делает один шаг, потом ещё один — и ничего кроме этого.
Интерактивные статьи
- Как лекарство проносят через гематоэнцефалический барьер Мозг не пускает внутрь почти ни одну молекулу лекарства — и правильно делает. Один ползунок показывает приём, который сейчас пробуют в лабораториях: упаковать молекулу в пузырёк, который стенка и так умеет переносить.
- Как робот рисует карту комнаты, которую видит впервые Лидар выдаёт несколько сотен точек за оборот и ни малейшего понятия, где он находится. Один ползунок проходит путь от этого облака до плана помещения, где робот стоит в правильном месте.
- Как двое печатают в одной строке и не теряют ни одной буквы Два курсора, одна строка и никакого сервера, который держит ручку. Один ползунок разбирает слияние по индексам и собирает его заново на адресах, которые живут между буквами.
- Почему квантовый компьютер спотыкается о решётку Алгоритм Шора съедает RSA одним ходом. Та же машина почти ничего не может сделать с сеткой точек, к которой добавили немного шума. Один ползунок показывает разницу.
- Охлаждение здания через окно в космос Покрытие, которое под прямым солнцем остаётся холоднее окружающего воздуха и не потребляет ни ватта. Один ползунок ведёт тепло от солнца до другой стороны атмосферы.
- Как робот предсказывает следующую секунду Текстовая модель угадывает следующее слово. Модель мира угадывает следующий кадр — вместе с массой, скоростью и гравитацией. Один ползунок проходит весь цикл: от камеры до перехвата.
- Доказательство без раскрытия: пещера Али-Бабы Один ползунок ведёт по этапам, второй добавляет раунды. Посмотрите, как уверенность растёт почти до полной, а секрет так и остаётся секретом.
- Литий из рассола: пруды против прямой добычи Проведите ползунок через пять этапов и сравните два способа достать один и тот же металл из одной и той же солёной воды.
- Как работает персональная мРНК-вакцина от рака Проведите ползунок через пять этапов и посмотрите, как собственные мутации опухоли превращаются в инструкцию, по которой иммунитет учится её находить.
- Граница приложения Всё, что приходит снаружи, недоверенное. Ломайте по одному звену и смотрите, где останавливается цепочка и что при этом показывает экран.
- Как работает поиск по своим документам Подвигайте ползунки и посмотрите, как поисковый конвейер решает, что модели вообще будет видно — и что бывает, когда ей подсунули не тот кусок.
- Повтор запроса и долгий ответ Сеть рвётся посреди операции. Нажмите кнопку дважды и посмотрите, что окажется в базе — с ключом идемпотентности и без него.
- Как обучается языковая модель Потяните один ползунок и посмотрите, как груда случайных чисел за тысячу шагов превращается в предсказание.
- Откуда берётся электричество Потяните один ползунок и проследите путь энергии от реки до насоса, который поднимает воду обратно наверх.