Как обучается языковая модель
Потяните один ползунок и посмотрите, как груда случайных чисел за тысячу шагов превращается в предсказание.
Шаги обучения 0
Нажмите на участок схемы, чтобы открыть шаг.
Весь цикл целиком
Куски текста → числа → слои весов → баллы → проценты → ошибочность → правка каждого веса. Модель ничего не заучивает наизусть: обучение — это миллионы крошечных поправок к числам, повторённых до тех пор, пока правильное продолжение не станет самым вероятным.
Что внутри
- 1 Текст режут на куски — Пробел перед словом входит в кусок, поэтому « пьет» и «пьет» — две разные строки.
- 2 Числа вместо слов — Сдвиньте ползунок — дрожь прекратится, числа осядут на осмысленных значениях.
- 3 Слои и внимание — Цвет линии — знак веса, толщина — его величина. Сейчас все веса случайные.
- 4 Предсказание — Правильное продолжение, «Молоко», пока лишь на третьем месте.
- 5 Ошибка и обучение — Ползунок гонит этот цикл: к 1000 шагов «Молоко» — 92%, «Трактор» — 0.01%, ошибочность падает до 0.08.
Интерактивные статьи
- Как лекарство проносят через гематоэнцефалический барьер Мозг не пускает внутрь почти ни одну молекулу лекарства — и правильно делает. Один ползунок показывает приём, который сейчас пробуют в лабораториях: упаковать молекулу в пузырёк, который стенка и так умеет переносить.
- Как робот рисует карту комнаты, которую видит впервые Лидар выдаёт несколько сотен точек за оборот и ни малейшего понятия, где он находится. Один ползунок проходит путь от этого облака до плана помещения, где робот стоит в правильном месте.
- Как двое печатают в одной строке и не теряют ни одной буквы Два курсора, одна строка и никакого сервера, который держит ручку. Один ползунок разбирает слияние по индексам и собирает его заново на адресах, которые живут между буквами.
- Почему квантовый компьютер спотыкается о решётку Алгоритм Шора съедает RSA одним ходом. Та же машина почти ничего не может сделать с сеткой точек, к которой добавили немного шума. Один ползунок показывает разницу.
- Охлаждение здания через окно в космос Покрытие, которое под прямым солнцем остаётся холоднее окружающего воздуха и не потребляет ни ватта. Один ползунок ведёт тепло от солнца до другой стороны атмосферы.
- Как робот предсказывает следующую секунду Текстовая модель угадывает следующее слово. Модель мира угадывает следующий кадр — вместе с массой, скоростью и гравитацией. Один ползунок проходит весь цикл: от камеры до перехвата.
- Доказательство без раскрытия: пещера Али-Бабы Один ползунок ведёт по этапам, второй добавляет раунды. Посмотрите, как уверенность растёт почти до полной, а секрет так и остаётся секретом.
- Литий из рассола: пруды против прямой добычи Проведите ползунок через пять этапов и сравните два способа достать один и тот же металл из одной и той же солёной воды.
- Как работает персональная мРНК-вакцина от рака Проведите ползунок через пять этапов и посмотрите, как собственные мутации опухоли превращаются в инструкцию, по которой иммунитет учится её находить.
- Граница приложения Всё, что приходит снаружи, недоверенное. Ломайте по одному звену и смотрите, где останавливается цепочка и что при этом показывает экран.
- Как работает поиск по своим документам Подвигайте ползунки и посмотрите, как поисковый конвейер решает, что модели вообще будет видно — и что бывает, когда ей подсунули не тот кусок.
- Повтор запроса и долгий ответ Сеть рвётся посреди операции. Нажмите кнопку дважды и посмотрите, что окажется в базе — с ключом идемпотентности и без него.
- Как языковая модель пишет текст Веса заморожены, ничего не запоминается. Потяните ползунки и посмотрите, как модель раз за разом выбирает следующий кусок текста.
- Откуда берётся электричество Потяните один ползунок и проследите путь энергии от реки до насоса, который поднимает воду обратно наверх.