Як мовна модель пише текст
Ваги заморожені, нічого не запам’ятовується. Потягніть повзунки й подивіться, як модель раз за разом обирає наступний шматок тексту.
Температура
1.00
Top-P
0.90
Натисніть на ділянку схеми, щоб відкрити крок.
Увесь цикл
Рядок → шматки → зв’язки з попередніми шматками → заморожені шари → імовірності → відсікання хвоста й випадковий вибір → шматок дописано. І знову спочатку. Більше під час використання моделі не відбувається нічого.
Що всередині
- 1 Контекст і шматки — Вікно скінченне. Коли воно заповниться, генерація зупиниться — поза ним модель не тримає нічого.
- 2 Увага до контексту — Зв’язки рахуються заново на кожному кроці: додався шматок — уся картина змінилася.
- 3 Заморожені ваги — Навчання змінює ваги, використання — ні. Це два різні режими однієї й тієї самої мережі.
- 4 Імовірності, температура і Top-P — Порухайте обидва повзунки й подивіться на « банани»: це ціна високої температури та Top-P, близького до одиниці.
- 5 Цикл генерації — Модель не пише речення цілком. Вона робить один крок, потім ще один — і нічого крім цього.
Інтерактивні пояснення
- Як ліки проносять крізь гематоенцефалічний бар’єр Мозок не пускає всередину майже жодної молекули ліків — і має рацію. Один повзунок показує прийом, який зараз пробують у лабораторіях: запакувати молекулу в пухирець, який стінка й так уміє переносити.
- Як робот малює карту кімнати, яку бачить уперше Лідар видає кілька сотень точок за оберт і жодного уявлення, де він. Один повзунок проходить шлях від цієї хмари до плану приміщення, де робот стоїть у правильному місці.
- Як двоє друкують в одному рядку і не втрачають жодної літери Два курсори, один рядок і жодного сервера, який тримає ручку. Один повзунок розбирає злиття за індексами і збирає його наново на адресах, що живуть між літерами.
- Чому квантовий комп’ютер спотикається об ґратку Алгоритм Шора з’їдає RSA одним ходом. Та сама машина майже нічого не може вдіяти із сіткою точок, до якої додали трохи шуму. Один повзунок показує різницю.
- Охолодження будівлі через вікно в космос Покриття, яке під прямим сонцем лишається холоднішим за навколишнє повітря і не споживає жодного вата. Один повзунок веде тепло від сонця до іншого боку атмосфери.
- Як робот передбачає наступну секунду Текстова модель вгадує наступне слово. Модель світу вгадує наступний кадр — разом із масою, швидкістю і гравітацією. Один повзунок проходить увесь цикл: від камери до перехоплення.
- Доведення без розкриття: печера Алі-Баби Один повзунок веде етапами, другий додає раунди. Подивіться, як упевненість зростає майже до повної, а секрет так і лишається секретом.
- Літій із розсолу: ставки проти прямого видобутку Проведіть повзунок через п’ять етапів і порівняйте два способи дістати той самий метал із тієї самої солоної води.
- Як працює персональна мРНК-вакцина проти раку Проведіть повзунок через п’ять етапів і подивіться, як власні мутації пухлини перетворюються на інструкцію, за якою імунітет учиться її знаходити.
- Межа застосунку Усе, що приходить ззовні, недовірене. Ламайте по одній ланці й дивіться, де зупиняється ланцюжок і що при цьому показує екран.
- Як працює пошук у власних документах Порухайте повзунки й подивіться, як пошуковий конвеєр вирішує, що моделі взагалі буде видно — і що буває, коли їй підсунули не той шматок.
- Повтор запиту й довга відповідь Мережа рветься посеред операції. Натисніть кнопку двічі й подивіться, що опиниться в базі — з ключем ідемпотентності й без нього.
- Як навчається мовна модель Потягніть один повзунок і подивіться, як купа випадкових чисел за тисячу кроків перетворюється на передбачення.
- Звідки береться електрика Потягніть один повзунок і простежте шлях енергії від річки до насоса, який піднімає воду назад угору.