Что происходит, когда вы пишете в чат
Вы пишете в окно чата: «объясни, чем отличается кредит от займа» — и через секунду получаете связный, вежливый, хорошо построенный ответ. Кажется, что где-то внутри лежит энциклопедия, программа нашла в ней нужную статью и пересказала. Это самое естественное объяснение происходящего, и оно неверное. Понимать, что происходит на самом деле, нужно не из любопытства: из этого следует всё остальное — и почему ответ бывает блестящим, и почему он бывает уверенно выдуманным.
Языковая модель предсказывает продолжение текста. Она берёт всё, что написано к этому моменту — ваш запрос и ту часть ответа, которую уже составила, — и прикидывает, какое слово вероятнее всего идёт следующим. Выбирает его, дописывает и повторяет всё сначала. Ответ на ваш вопрос рождается по слову, слева направо, и в каждый момент модель решает маленькую задачу: что здесь уместно дальше.
Откуда она знает, что уместно? Из обучения. Модели показали огромное количество текстов — книги, статьи, документацию, переписку, код — и миллиарды раз заставили угадывать в них закрытое слово. Сначала она угадывала случайно, потом всё точнее. Чтобы предсказывать следующее слово в объяснении про кредит и заём, приходится усвоить, чем они отличаются: иначе продолжение не сойдётся. Так знания о мире оказываются внутри как побочный результат задачи «угадай слово».
Отсюда первое практическое следствие: у модели нет отдельно лежащих фактов, которые можно проверить по списку. Знание размазано по её устройству так же, как ваше знание родного языка размазано по вам: вы не храните правило про «жи-ши» отдельной карточкой, вы просто пишете правильно. И как человек иногда уверенно говорит неправильную форму слова, модель иногда уверенно выдаёт неправильный факт — механизм тот же.
Второе следствие: это не поиск. Поисковик находит страницы и показывает вам их адреса; вы можете открыть источник и убедиться. Модель источника не открывает — она составляет текст. Многие сервисы умеют искать в интернете и подставлять найденное в ответ, но это отдельная способность, включённая поверх: сама по себе модель работает со своим обучением и с тем, что вы ей написали.
Третье следствие, самое приятное: модель понимает задачу, а не команду. Ей не нужен точный синтаксис, её не надо «уметь программировать». Просьба «перепиши это письмо помягче, но без заискивания» для неё такой же обычный текст, как и всё остальное, и она сделает ровно то, о чём попросили. Именно поэтому разговор с ИИ — это навык формулирования, а не навык программирования; ему посвящён весь следующий урок.