Що відбувається між вашим промптом і відповіддю моделі?

Від наданого контексту до запропонованої відповіді. Ілюстрацію створено за допомогою AI.

Ви просите коротко повідомити про стан справ і отримуєте добре сформульоване речення. Його легко сприйняти як завершення простого обміну. Проте корисніше розділити надану інформацію, її опрацювання навченою моделлю та перевірки, потрібні перед тим, як хтось покладеться на результат.

Почнімо з короткого, явно вигаданого запиту

Ось вигаданий промпт: «Використовуючи лише цю нотатку, напиши одне речення про стан доставки. Нотатка: доставку заплановано на вівторок; підтвердження очікується». Запропонована відповідь: «Доставку заплановано на вівторок, але підтвердження ще очікується». Обидва тексти написані для цього пояснення; це не результат тестування моделі й не запис про реальну доставку.

Промпт містить два факти та обмеження щодо їх використання. Відповідь зберігає відмінність між планом і підтвердженням. Цю відповідність можна безпосередньо перевірити за вигаданою нотаткою. Натомість із прикладу не можна вивести результат роботи токенізатора, внутрішні обчислення моделі чи реальний стан доставки.

Текст перетворюється на одиниці моделі, а не на універсальну кількість слів

Велика мовна модель (large language model), або LLM, використовує засвоєні мовні закономірності, щоб передбачати токени або їх послідовності на основі контексту. У вступному матеріалі Google про мовні моделі пояснено, що токен (token) може бути словом, частиною слова або символом. Це одиниця опрацювання для моделі, а не гарантія, що кожному написаному слову відповідає один токен.

Токенізація перетворює текст на ці одиниці. Модель працює з внутрішніми представленнями наданого матеріалу; видиме речення не є схемою цих представлень. Для точного підрахунку потрібен відповідний токенізатор. У цьому прикладі навмисно не наведено ані поділу на токени, ані приблизного співвідношення слів і токенів.

Для вигаданого запиту важливі дата, невизначеність та інструкція використовувати лише нотатку. Це спостереження про значення тексту для нашого завдання. Вони не означають, що певна голова уваги зберігає дату або що ми бачимо, як модель внутрішньо опрацьовує невизначеність.

Transformer — архітектура, а не весь застосунок

Архітектура Transformer використовує механізм уваги для роботи зі зв’язками в послідовностях. У статті Attention Is All You Need Vaswani та співавтори представили архітектуру на основі уваги без рекурентних зв’язків і згорток та дослідили її на завданні машинного перекладу. Ця історична архітектура не визначає всіх компонентів сучасного асистента.

У концептуальному поясненні Google self-attention описано як встановлення зв’язків між токенами та іншими релевантними токенами. Також розрізняються повні архітектури encoder-decoder і варіанти encoder-only та decoder-only. В описі decoder-only згенерований текст стає контекстом для подальших токенів. Сприймайте це як одне архітектурне пояснення, а не універсальну схему всіх мовних моделей.

У вигаданій вправі архітектуру моделі не задано. Застосунок міг би передати нотатку, запросити відповідь і показати її для перевірки. Поява речення в інтерфейсі чату не доводить, яка архітектура його створила, які додаткові інструкції використовувалися і чи було звернення до зовнішнього джерела.

Попереднє навчання й поточне використання відповідають на різні питання

Попереднє навчання (pretraining) — початковий етап навчання на наборі даних; згодом модель може пройти подальшу адаптацію. Інференс моделі (inference) — застосування навченої моделі для створення відповіді на вхідні дані. Отже, надання нотатки про доставку під час запиту концептуально відрізняється від попереднього навчання, яке сформувало модель.

Припустімо, у цій вправі використовується фіксована навчена модель і немає окремого процесу навчання. Нова нотатка змінює вхідні дані, а не засвоєні параметри цієї моделі. Для тверджень про збирання зворотного зв’язку або подальше повторне навчання в іншій системі потрібні окремі підтвердження. Це припущення описує нашу концептуальну вправу, а не політику провайдера щодо використання даних чи приватності.

Зображення додає інший тип даних для тлумачення

Мультимодальна модель (multimodal model) працює більш ніж з одним типом даних. Як історичний приклад, автори звіту про сімейство Gemini описують розуміння зображень, аудіо, відео й тексту. Цей звіт стосується саме їхнього сімейства моделей; слово «мультимодальна» саме по собі не визначає, які поєднання вхідних і вихідних даних підтримує інша модель.

Уявімо, що замість набраного тексту ми подаємо зображення тієї самої вигаданої нотатки й ставимо те саме питання. Тепер завдання також потребує правильного прочитання видимого вмісту. Перш ніж очікувати відповіді, потрібно було б переконатися, що конкретні модель і застосунок приймають такий вхід. Також слід було б перевірити, чи правильно прочитано слова «підтвердження очікується».

Відповідь на основі зображення також мала б зберігати невизначеність. За добре сформульованим реченням може ховатися неправильно прочитане слово, а правильно прочитаний текст усе одно можна невдало узагальнити. Це можливі помилки у вигаданому завданні, а не зафіксовані результати. Вони потребують перевірки за наданими даними, а не довіри лише до вигляду інтерфейсу.

Оцінюйте відповідь за потрібними для неї підтвердженнями

Правдоподібний результат може містити фактичні помилки: у визначенні галюцинації глосарій Google з генеративного AI прямо розмежовує правдоподібність і правильність. Тому грамотно побудована відповідь — це те, що потрібно перевірити, а не незалежне підтвердження висловленого в ній твердження.

У нашому вигаданому запиті відповідь «Доставку підтверджено на вівторок» усунула б невизначеність нотатки. Цього достатньо, щоб відхилити таке формулювання для цього завдання, не вгадуючи, чому модель могла б його створити. Запропонована раніше відповідь краще відповідає джерелу, бо зберігає і план, і очікування підтвердження. Вона все одно нічого не доводить про реальне відправлення.

Читаючи відповідь, розмежовуйте три питання: що було надано, який результат запитано та які дані підтверджують відповідь. Архітектура й навчання пояснюють частину процесу. Остаточне рішення покластися на речення потребує перевірки, відповідної самому твердженню та його наслідкам.

Про відмінність між даними, навчанням і навченою моделлю читайте в матеріалі «Від даних до поведінки: AI, машинне навчання та модель, що стоїть за відповіддю».