Як мовна модель пише текст

Ваги заморожені, нічого не запам’ятовується. Потягніть повзунки й подивіться, як модель раз за разом обирає наступний шматок тексту.

Температура 1.00
Top-P 0.90

Натисніть на ділянку схеми, щоб відкрити крок.

Увесь цикл

Рядок → шматки → зв’язки з попередніми шматками → заморожені шари → імовірності → відсікання хвоста й випадковий вибір → шматок дописано. І знову спочатку. Більше під час використання моделі не відбувається нічого.

Що всередині

  1. 1 Контекст і шматки — Вікно скінченне. Коли воно заповниться, генерація зупиниться — поза ним модель не тримає нічого.
  2. 2 Увага до контексту — Зв’язки рахуються заново на кожному кроці: додався шматок — уся картина змінилася.
  3. 3 Заморожені ваги — Навчання змінює ваги, використання — ні. Це два різні режими однієї й тієї самої мережі.
  4. 4 Імовірності, температура і Top-P — Порухайте обидва повзунки й подивіться на « банани»: це ціна високої температури та Top-P, близького до одиниці.
  5. 5 Цикл генерації — Модель не пише речення цілком. Вона робить один крок, потім ще один — і нічого крім цього.
Читати далі Про ШІ-залежність: чому старший брат виявився молодшим Як щирі діалоги зі ШІ стали подарунком для корпорацій і чому мислення варто залишити собі, віддавши ШІ рутину.

Інтерактивні пояснення

Температура 1.00
Top-P 0.90
1 / 5