Что происходит, когда вы пишете в чат
Вы пишете в окно чата: «объясни, чем отличается кредит от займа» — и через секунду получаете связный, вежливый, хорошо построенный ответ. Кажется, что где-то внутри лежит энциклопедия, программа нашла в ней нужную статью и пересказала. Это самое естественное объяснение происходящего, и оно неверное. Понимать, что происходит на самом деле, нужно не из любопытства: из этого следует всё остальное — и почему ответ бывает блестящим, и почему он бывает уверенно выдуманным.
Языковая модель предсказывает продолжение текста. Она берёт всё, что написано к этому моменту — ваш запрос и ту часть ответа, которую уже составила, — и прикидывает, какое слово вероятнее всего идёт следующим. Выбирает его, дописывает и повторяет всё сначала. Ответ на ваш вопрос рождается по слову, слева направо, и в каждый момент модель решает маленькую задачу: что здесь уместно дальше.
Откуда она знает, что уместно? Из обучения. Модели показали огромное количество текстов — книги, статьи, документацию, переписку, код — и миллиарды раз заставили угадывать в них закрытое слово. Сначала она угадывала случайно, потом всё точнее. Чтобы предсказывать следующее слово в объяснении про кредит и заём, приходится усвоить, чем они отличаются: иначе продолжение не сойдётся. Так знания о мире оказываются внутри как побочный результат задачи «угадай слово».
Отсюда первое практическое следствие: у модели нет отдельно лежащих фактов, которые можно проверить по списку. Знание размазано по её устройству так же, как ваше знание родного языка размазано по вам: вы не храните правило про «жи-ши» отдельной карточкой, вы просто пишете правильно. И как человек иногда уверенно говорит неправильную форму слова, модель иногда уверенно выдаёт неправильный факт — механизм тот же.
Второе следствие: это не поиск. Поисковик находит страницы и показывает вам их адреса; вы можете открыть источник и убедиться. Модель источника не открывает — она составляет текст. Многие сервисы умеют искать в интернете и подставлять найденное в ответ, но это отдельная способность, включённая поверх: сама по себе модель работает со своим обучением и с тем, что вы ей написали.
Третье следствие, самое приятное: модель понимает задачу, а не команду. Ей не нужен точный синтаксис, её не надо «уметь программировать». Просьба «перепиши это письмо помягче, но без заискивания» для неё такой же обычный текст, как и всё остальное, и она сделает ровно то, о чём попросили. Именно поэтому разговор с ИИ — это навык формулирования, а не навык программирования; ему посвящён весь следующий урок.
Почему ответ всегда звучит уверенно
У человека есть выражение лица и оговорки: «кажется», «если не путаю», «это надо проверить». По ним слышно, насколько он уверен. У модели такого нет вовсе. Правильный ответ и выдуманный выглядят одинаково: тот же спокойный тон, та же складная структура, те же уместные подробности. Это не злой умысел и не недоработка — это прямое следствие того, как устроено предсказание слова.
Представьте, что модель составляет справку и доходит до места, где нужна ссылка на статью закона. Вероятное продолжение здесь — номер статьи. Модель не проверяет, существует ли она: у неё нет механизма проверки, у неё есть механизм правдоподобия. Появляется «статья 12.8», выглядящая совершенно нормально. То же самое происходит с названиями книг, фамилиями авторов, датами, номерами пунктов договора и ссылками на сайты.
У этого явления есть имя — галлюцинация. Слово неудачное, потому что подразумевает сбой, а сбоя нет: модель делает ровно то, чему обучена. Правильнее думать так: она всегда выдаёт самый правдоподобный текст, и в большинстве случаев самый правдоподобный текст оказывается правдой. Но там, где правды в обучении было мало — редкая тема, точная цифра, свежее событие, ваши личные данные, — правдоподобие и правда расходятся, а вид ответа не меняется.
Отсюда правило, которое стоит всего остального в этом уроке: уверенность ответа ничего не говорит о его верности. Не ищите в тексте признаков сомнения — их не будет. Единственный надёжный признак — проверяемость: можно ли сверить сказанное с источником, который существует независимо от модели.
Полезно знать и то, что модель по умолчанию соглашается. Скажите ей «по-моему, ты ошибся» — и она, скорее всего, извинится и изменит ответ, даже если была права. Спорить с вами — менее вероятное продолжение, чем согласиться. Поэтому фраза «ты уверен?» не работает как проверка: она чаще меняет ответ, чем подтверждает его. Проверять нужно снаружи, а не переспрашивать.
Что модель знает и чего не знает
Раз знания оседают при обучении, у них есть дата. Модель обучали на текстах, собранных до какого-то момента, и всё, что произошло позже, для неё не существует. Это называют датой отсечки. Спросите про событие прошлой недели — и получите либо честное «не знаю», либо, что хуже, уверенный пересказ того, что было раньше, с подстановкой правдоподобных деталей.
Многие сервисы это обходят: они сначала ищут в интернете, а потом просят модель ответить по найденному. Так работают режимы с поиском и ссылками. Ответ становится свежим и проверяемым — у него есть адреса источников, которые можно открыть. Правило простое: если в ответе нет ссылок, считайте, что интернета в нём не было.
Второй источник знаний модели — это вы. Всё, что вы написали в этом разговоре, приложенные файлы, вставленный текст — попадает в так называемое окно контекста и участвует в ответе наравне с обучением. Именно поэтому «ответь по этому документу» работает гораздо надёжнее, чем «что ты знаешь о нашем документе»: в первом случае у модели перед глазами текст, во втором — только память обучения.
У окна контекста есть размер. Оно велико — в современных моделях это сотни страниц текста, — но конечно. Когда разговор становится длиннее окна, самое раннее выпадает: модель «забывает» начало, и вы это замечаете по тому, что она перестаёт соблюдать заданные в начале правила. Средство простое: начать новый разговор и коротко повторить условия.
И ещё одно, что удивляет людей чаще всего: между разговорами модель ничего не помнит. Новый чат — чистый лист. Некоторые сервисы заводят отдельную «память» и записывают в неё факты о вас, но это надстройка, а не свойство модели, и включается она отдельно. По умолчанию каждый разговор начинается с нуля, и ваш вчерашний контекст надо принести с собой.
Отсюда практический вывод, который экономит больше всего времени: держите одну задачу в одном разговоре. Пока вы в нём, у модели перед глазами все ваши уточнения и правки; новый чат про то же самое означает объяснять всё заново.
Три инструмента: поиск, расчёт, модель
Разочарования начинаются там, где инструмент применяют не по назначению. Полезно разложить три инструмента, которыми вы пользуетесь каждый день, и увидеть, что они отвечают на разные вопросы.
| Инструмент | На что отвечает | Чем силён | Где подводит |
|---|---|---|---|
| Поиск | «Где об этом написано?» | показывает источник, свежесть | не соберёт ответ за вас |
| Калькулятор, таблица | «Сколько получится?» | точный расчёт, повторяемость | не поймёт задачу словами |
| Языковая модель | «Как это сделать, объяснить, переписать?» | работает с текстом и смыслом | уверенно ошибается в фактах и числах |
Поиск отвечает на вопрос о месте: где об этом написано и кем. Ответ приходит в виде источников, и это его главное качество — вы видите, кому верите. Когда нужен факт, курс валюты, номер закона, инструкция производителя — идти нужно туда.
Калькулятор и таблица отвечают на вопрос о числе. Они считают точно и одинаково каждый раз. Языковая модель считает «по смыслу»: она предсказывает, как выглядит результат, а не выполняет арифметику, и потому в длинных расчётах ошибается. Современные сервисы это компенсируют — многие умеют выполнить вычисление кодом и вернуть точный результат, — но по умолчанию доверять арифметике модели нельзя. Урок про таблицы и числа разбирает это подробно.
Языковая модель отвечает на вопрос о работе с текстом и смыслом: объяснить, переформулировать, сократить, разобрать, сравнить, составить план, придумать варианты, найти слабое место в рассуждении. Здесь у неё почти нет конкурентов, и здесь же она безопаснее всего: ошибку в объяснении вы увидите сами, а ошибку в номере закона — нет.
Лучшие результаты выходят из связки, а не из выбора одного инструмента. Модель составляет план поиска и формулирует запросы, поиск приносит источники, таблица считает, а модель потом объясняет полученное человеческим языком и пишет из этого письмо. Каждый делает то, в чём силён.
Цена ошибки: сколько проверять
Из всего сказанного не следует «не пользуйтесь» — следует «проверяйте по-разному». Сколько проверять, определяется не темой, а ценой ошибки: во что обойдётся, если ответ окажется неверным, и кто за это ответит.
Черновик. Идеи для названия, план статьи, варианты формулировки, набросок структуры. Ошибка стоит минуты вашего времени: неудачный вариант вы просто выбрасываете. Здесь можно работать быстро и почти не проверять — и именно здесь ИИ даёт самую честную выгоду.
Рабочее. Письмо, которое уйдёт человеку; текст, который увидят клиенты; разбор темы, на котором вы будете строить решение. Ошибка стоит репутации и переделки. Здесь проверяют выборочно и по существу: все фамилии, числа, даты, названия и ссылки — и смысл целиком, своими глазами.
Критичное. Деньги, право, медицина, безопасность, всё, что подписывается и отправляется в государственные органы. Ошибка стоит дорого и исправляется долго. Здесь ответ модели — не результат, а заготовка: каждое утверждение сверяется с первоисточником, а решение принимает человек, который за него отвечает.
Есть и отдельная граница, не связанная с ценой ошибки, — что нельзя отправлять в чужой сервис. Персональные данные людей, коммерческая тайна, документы под соглашением о неразглашении, медицинские сведения. Отправленный текст уходит на чужие серверы, и в бесплатных сервисах он может использоваться для обучения. Это решается настройками, корпоративными версиями и локальными моделями — отдельная тема уровня, — но правило по умолчанию простое: не отправляйте то, что не готовы показать посторонним.
И последнее, что стоит усвоить сразу: ответственность не передаётся. Что бы ни ответила модель, под письмом стоит ваша подпись, за расчёт отвечаете вы, и «так сказал ИИ» не объяснение. Это не повод бояться инструмента — это повод пользоваться им так, чтобы вы всегда могли объяснить результат.