Як навчається мовна модель
Потягніть один повзунок і подивіться, як купа випадкових чисел за тисячу кроків перетворюється на передбачення.
Кроки навчання 0
Натисніть на ділянку схеми, щоб відкрити крок.
Увесь цикл
Шматки тексту → числа → шари ваг → бали → відсотки → похибка → правка кожної ваги. Модель нічого не завчає напам’ять: навчання — це мільйони крихітних поправок до чисел, повторених доти, доки правильне продовження не стане найімовірнішим.
Що всередині
- 1 Текст ріжуть на шматки — Пробіл перед словом входить у шматок, тому « п’є» і «п’є» — два різні рядки.
- 2 Числа замість слів — Зсуньте повзунок — тремтіння припиниться, числа осядуть на осмислених значеннях.
- 3 Шари й увага — Колір лінії — знак ваги, товщина — її величина. Зараз усі ваги випадкові.
- 4 Передбачення — Правильне продовження, «Молоко», поки що лише третє.
- 5 Похибка й навчання — Повзунок жене цей цикл: на 1000 кроків «Молоко» — 92%, «Трактор» — 0.01%, похибка падає до 0.08.
Інтерактивні пояснення
- Як ліки проносять крізь гематоенцефалічний бар’єр Мозок не пускає всередину майже жодної молекули ліків — і має рацію. Один повзунок показує прийом, який зараз пробують у лабораторіях: запакувати молекулу в пухирець, який стінка й так уміє переносити.
- Як робот малює карту кімнати, яку бачить уперше Лідар видає кілька сотень точок за оберт і жодного уявлення, де він. Один повзунок проходить шлях від цієї хмари до плану приміщення, де робот стоїть у правильному місці.
- Як двоє друкують в одному рядку і не втрачають жодної літери Два курсори, один рядок і жодного сервера, який тримає ручку. Один повзунок розбирає злиття за індексами і збирає його наново на адресах, що живуть між літерами.
- Чому квантовий комп’ютер спотикається об ґратку Алгоритм Шора з’їдає RSA одним ходом. Та сама машина майже нічого не може вдіяти із сіткою точок, до якої додали трохи шуму. Один повзунок показує різницю.
- Охолодження будівлі через вікно в космос Покриття, яке під прямим сонцем лишається холоднішим за навколишнє повітря і не споживає жодного вата. Один повзунок веде тепло від сонця до іншого боку атмосфери.
- Як робот передбачає наступну секунду Текстова модель вгадує наступне слово. Модель світу вгадує наступний кадр — разом із масою, швидкістю і гравітацією. Один повзунок проходить увесь цикл: від камери до перехоплення.
- Доведення без розкриття: печера Алі-Баби Один повзунок веде етапами, другий додає раунди. Подивіться, як упевненість зростає майже до повної, а секрет так і лишається секретом.
- Літій із розсолу: ставки проти прямого видобутку Проведіть повзунок через п’ять етапів і порівняйте два способи дістати той самий метал із тієї самої солоної води.
- Як працює персональна мРНК-вакцина проти раку Проведіть повзунок через п’ять етапів і подивіться, як власні мутації пухлини перетворюються на інструкцію, за якою імунітет учиться її знаходити.
- Межа застосунку Усе, що приходить ззовні, недовірене. Ламайте по одній ланці й дивіться, де зупиняється ланцюжок і що при цьому показує екран.
- Як працює пошук у власних документах Порухайте повзунки й подивіться, як пошуковий конвеєр вирішує, що моделі взагалі буде видно — і що буває, коли їй підсунули не той шматок.
- Повтор запиту й довга відповідь Мережа рветься посеред операції. Натисніть кнопку двічі й подивіться, що опиниться в базі — з ключем ідемпотентності й без нього.
- Як мовна модель пише текст Ваги заморожені, нічого не запам’ятовується. Потягніть повзунки й подивіться, як модель раз за разом обирає наступний шматок тексту.
- Звідки береться електрика Потягніть один повзунок і простежте шлях енергії від річки до насоса, який піднімає воду назад угору.