Как обучается языковая модель
Потяните один ползунок и посмотрите, как груда случайных чисел за тысячу шагов превращается в предсказание.
Шаги обучения 0
Нажмите на участок схемы, чтобы открыть шаг.
Весь цикл целиком
Куски текста → числа → слои весов → баллы → проценты → ошибка → правка каждого веса. Модель ничего не заучивает наизусть: обучение это миллионы крошечных поправок к числам, повторённых до тех пор, пока правильное продолжение не станет самым вероятным.
Что внутри
- 1 Текст режут на куски · Пробел перед словом входит в кусок, поэтому « пьет» и «пьет» это две разные строки.
- 2 Числа вместо слов · Сдвиньте ползунок, и дрожь прекратится, числа осядут на осмысленных значениях.
- 3 Слои и внимание · Цвет линии показывает знак веса, толщина его величину. Сейчас все веса случайные.
- 4 Предсказание · Правильное продолжение, «Молоко», пока лишь на третьем месте.
- 5 Ошибка и обучение · Ползунок гонит этот цикл: к 1000 шагов «Молоко» набирает 92%, «Трактор» 0.01%, ошибка падает до 0.08.
Интерактивные статьи
- Как работает Toqen.app Попробуйте украсть вход. Слева пароль оставляет злоумышленнику три предмета, справа забирать нечего. Ведите ползунок по шагам и запускайте атаки сами.
- Почему двадцать минут в день сильнее одной длинной ночи Одна карточка, сорок пять дней календаря и алгоритм из Anki, сведённый к трём кнопкам. Посмотрите, что делает с кривой забывания одно вовремя сделанное повторение, что отбирает промах и почему вся колода становится дешёвой только после того, как интервалы выросли.
- Как читается экзаменационный билет на языке, который вы ещё учите Один настоящий вопрос из аргентинского банка, разобранный так, как его на самом деле встречает человек. Большую часть слов можно угадать или пропустить. Те два, которые нельзя, и есть весь вопрос, а полный перевод выдаёт ответ, пряча, какое слово его несло.
- Сколько свободной дороги на самом деле требует обгон Вы за грузовиком, который идёт семьдесят, видите триста метров дороги, и в дальнем её конце едет встречная машина. Манёвр получится, только если ваш путь и её путь поместятся на одном и том же отрезке. Ползунок задаёт вашу скорость, а наложение полос на экране показывает ровно то, насколько вам не хватило.
- Кто едет первым и почему помеха справа тут почти ни при чём Одна улица, четыре перекрёстка: нерегулируемый, главная дорога, зелёный светофор и кольцо. На каждом встречаются одни и те же две машины, и ответ меняется трижды. Ползунок ведёт по маршруту, а счёт в конце показывает, как часто подводит привычка, которую помнят все.
- Почему остановка почти не зависит от тормозов В ста метрах впереди что-то перекрыло полосу. Остановитесь вы перед ним или доедете до него и с какой скоростью, решают две дистанции, которые ведут себя совершенно по-разному: одна растёт пропорционально скорости, вторая как её квадрат. Два ползунка, одна дорога.
- Как поисковик решает, кого показать Десять синих ссылок выглядят как список. На самом деле это последний кадр конвейера, который начинается с краулера и заканчивается кривой кликов. Один ползунок проходит его целиком.
- Как генеративный ответ выбирает источники, которые назовёт Движок ответов не ранжирует страницы. Он пишет абзац, а потом решает, кого за него благодарить. Один ползунок ведёт один вопрос от расщепления запроса до ссылки в тексте.
- Одна страница, две входные двери SEO и GEO это не два проекта. Это один документ, который должен устроить двух разных читателей: функцию ранжирования и шаг поиска фрагментов. Один ползунок показывает, что у них общего, что нет и во сколько обходится вторая дверь, приделанная через год.
- Как лекарство проносят через гематоэнцефалический барьер Мозг не пускает внутрь почти ни одну молекулу лекарства, и правильно делает. Один ползунок показывает приём, который сейчас пробуют в лабораториях: упаковать молекулу в пузырёк, который стенка и так умеет переносить.
- Как робот рисует карту комнаты, которую видит впервые Лидар выдаёт несколько сотен точек за оборот и ни малейшего понятия, где он находится. Один ползунок проходит путь от этого облака до плана помещения, где робот стоит в правильном месте.
- Как двое печатают в одной строке и не теряют ни одной буквы Два курсора, одна строка и никакого сервера, который держит ручку. Один ползунок разбирает слияние по индексам и собирает его заново на адресах, которые живут между буквами.
- Почему квантовый компьютер спотыкается о решётку Алгоритм Шора съедает RSA одним ходом. Та же машина почти ничего не может сделать с сеткой точек, к которой добавили немного шума. Один ползунок показывает разницу.
- Охлаждение здания через окно в космос Покрытие, которое под прямым солнцем остаётся холоднее окружающего воздуха и не потребляет ни ватта. Один ползунок ведёт тепло от солнца до другой стороны атмосферы.
- Как робот предсказывает следующую секунду Текстовая модель угадывает следующее слово. Модель мира угадывает следующий кадр вместе с массой, скоростью и гравитацией. Один ползунок проходит весь цикл: от камеры до перехвата.
- Доказательство без раскрытия: пещера Али-Бабы Один ползунок ведёт по этапам, второй добавляет раунды. Посмотрите, как уверенность растёт почти до полной, а секрет так и остаётся секретом.
- Литий из рассола: пруды против прямой добычи Проведите ползунок через пять этапов и сравните два способа достать один и тот же металл из одной и той же солёной воды.
- Как работает персональная мРНК-вакцина от рака Проведите ползунок через пять этапов и посмотрите, как собственные мутации опухоли превращаются в инструкцию, по которой иммунитет учится её находить.
- Граница приложения Всё, что приходит снаружи, недоверенное. Ломайте по одному звену и смотрите, где останавливается цепочка и что при этом показывает экран.
- Как работает поиск по своим документам Подвигайте ползунки и посмотрите, как поисковый конвейер решает, что модели вообще будет видно, и что бывает, когда ей подсунули не тот кусок.
- Повтор запроса и долгий ответ Сеть рвётся посреди операции. Нажмите кнопку дважды и посмотрите, что окажется в базе, с ключом идемпотентности и без него.
- Как языковая модель пишет текст Веса заморожены, ничего не запоминается. Потяните ползунки и посмотрите, как модель раз за разом выбирает следующий кусок текста.
- Откуда берётся электричество Потяните один ползунок и проследите путь энергии от реки до насоса, который поднимает воду обратно наверх.