Знаешь это чувство?
4:12 утра. Глаза красные, как индикаторы перегрузки сервера. Ты сидишь перед монитором, а курсор в IDE мигает. Миг. Миг. Миг. Гипнотизирует. Ты понимаешь, что завтра (точнее, уже сегодня) демо. И ты уже не помнишь, сколько из этого кода написал ты, а сколько — железяка.
Ты только что скормил ChatGPT кусок запутанного легаси, который писал какой-то укуренный джун пять лет назад. И эта железка... эта бездушная матрица весов выплюнула тебе идеальный рефакторинг. С комментариями. С, мать его, эмпатичным объяснением, почему предыдущий код был куском дерьма.
И на долю секунды — всего на один тактовый цикл твоего уставшего мозга — ты подумал: «Оно понимает. Оно действительно шарит».
> Ты обосрался.
> Это не разум. Это Китайская комната 2.0._
T9 на стероидах и Свидетели Тохи
Самое опасное — они чертовски убедительны. Это называется «эффект Элизы»: баг нашего мозга, когда мы приписываем разум любому, кто отвечает связно. Если джуниор не знает ответа, он мычит и краснеет. LLM не краснеет. Она с уверенностью сеньора советует тебе метод, который удалит базу.
Чтобы понять механику этого обмана, давай вернемся к базе.
В 1980 году философ Джон Сёрл придумал мысленный эксперимент, чтобы атаковать идею, что компьютер может «думать». Представь: ты сидишь в комнате. Ты не знаешь китайского. Но у тебя есть Книга Правил: «Если видишь иероглиф А — выдай иероглиф Б». Снаружи тебе суют вопросы, ты выдаешь ответы. Для наблюдателя ты — мудрец, знающий китайский. По факту — ты просто бездумный манипулятор символами.
Мы здесь, 45 лет спустя. RTX 4090 жужжит под столом, но мы всё в той же комнате. Только книга правил стала невменяемо толстой.
Если ты читаешь меня не в первый раз, ты уже видел этого кислотного пернатого на обложке. Это он и есть — тот самый стохастический попугай (Stochastic Parrot) для своих просто Тоха. Термин придумала Эмили Бендер в скандальной статье 2021 года, публикация которой совпала со скандальным увольнением её соавтора, Тимнит Гебру, из Google. (Google отрицали прямую связь, но временная последовательность событий оставляет мало сомнений)
Суть проста: огромная языковая модель звучит умно, но ведёт себя как попугай, который выучил миллионы фраз и повторяет те, за которые ему чаще всего дают печеньку (RLHF, детка). Она ловко имитирует смысл, но не проживает его.
По факту, LLM — это просто T9 на стероидах.
Разница между твоим старым Nokia и GPT? Только масштаб и архитектура (трансформеры вместо n-грамм, если душнить), но принцип тот же: угадывание.
Ты пишешь: def connect_to_db():. Сетка не знает, что такое «база данных». Ей плевать на твой SQL. Она просто знает, что после этих символов в 85% случаев (ну, примерно) идет try:, а в 12% — return.
Хочешь доказательств? Попроси её написать сортировку пузырьком, но с условием, что переменные должны называться именами покемонов. Она это сделает. Не потому что у неё есть чувство юмора. А потому что вектора слов «Пикачу» и «переменная» где-то пересеклись в её 1024-мерном пространстве. Она не знает, что одно компилируется, а другое — ловится в высокой траве. Для модели int и Бульбазавр — это просто точки на графике.
Галлюцинации компетентности
И вот тут эта T9-механика тебя подставляет. Модель не знает, что метод super_fast_magic_migrate() не существует — она просто натренирована на паттернах синтаксиса, а не на рантайм-реальности.
Для неё код — это текст. Она видела миллион примеров с .connect(), .close(), .migrate(). И решила сгенерировать комбинацию, которая выглядит вероятной.
Код не прощает. В тексте можно налить воды про «постмодернизм в турбулентности», и это прокатит. В коде — либо сегфолт, либо прод упал.
Галлюцинация — это когда LLM с полной уверенностью генерит факт или ссылку, которых не существует. Она не врёт намеренно. Она просто не знает, где правда, а где статистический шум.
Она пишет код, который выглядит правильно. Синтаксис верный, отступы красивые. Но логика сломана в самом сердце. Она не запускает код в голове. У неё нет интерпретатора Python, только интерпретатор вероятностей.
Проблема заземления: Китайский словарь
Представь, что ты прилетел в Пекин и пытаешься выучить китайский язык, имея на руках только китайско-китайский словарь. Ты ищешь значение иероглифа А, а оно объясняется через иероглифы Б и В. Ты ищешь Б — там ссылка на Г и Д.
Ты можешь выучить связи. Ты даже можешь начать составлять предложения. Но ты никогда не узнаешь, что «иероглиф А» означает «Яблоко». Ты никогда не чувствовал его вкус.
Это Symbol Grounding Problem, описанная Стивеном Харнадом. Слова модели не заземлены в реальности. Они висят в воздухе, ссылаясь друг на друга.
У ChatGPT нет квалиа (субъективного опыта: вкуса кофе, боли от дедлайна, радости от зелёного пайплайна). Его слова — это фантики без конфет.
Когда он пишет: «Я понимаю ваше разочарование», это ложь. Это синтаксический паттерн, спарсенный из диалогов техподдержки.
Как не обосраться: Workflow параноика
Окей, если LLM — это джун под кайфом, как с ним работать? Перестань верить и начни проверять.
Твой новый пайплайн разработки:
- AI Draft: Генерируй рыбу кода через GPT. Экономь время на бойлерплейте.
- Linter & Type Check: Прогони результат через
mypyилиESLintеще до того, как начнешь читать. - Documentation Check: Если видишь незнакомый метод — в 99% случаев это галлюцинация. Гугли.
- Paranoid Code Review: Читай код так, будто его писал джун, который хочет тебя подставить.
- Unit Tests ПЕРЕД коммитом. ВСЕГДА: Если код от AI прошёл без тестов в прод — ты камикадзе.
TL;DR: LLM — это экзоскелет для твоего мозга. Он помогает бежать быстрее, но если ты побежишь с закрытыми глазами — ты врежешься в стену на скорости 200 км/ч.
Эпилог: Кто в комнате?
И последнее. То, от чего реально становится не по себе.
Мы смеемся над тем, что AI просто имитирует мышление, подбирая токены за "печеньку" (функцию награды). Но чем занимаешься ты?
Дофамин, серотонин, окситоцин — это твои функции вознаграждения. Твоя "интенция" — это просто сложная биохимическая оптимизация. Может, ты сам — стохастический примат?
Если мы признаем, что разницы нет, то окажется, что в Китайской комнате заперт не ИИ.
В ней заперты мы.
И никто не знает, кто снаружи суёт нам вопросы.
P.S.: Знаешь, почему AI-арт, частенько, вызывает тошноту? Это не эстетика. Это эволюционный баг твоего мозга, который кричит: "ЭТО НЕ ЧЕЛОВЕК". В одной из следующих статей разберу, почему Зловещая долина (Uncanny Valley) — это не про роботов. Это про тебя. Подписывайся →
Обсуждение
Обсуждение этой статьи и других материалов проекта проходит в нашем Telegram-канале.
Перейти в Telegram