TL;DR: Чат-бот не думает, не чувствует и не существует между вашими сообщениями – он статистическая машина, которая предсказывает следующее слово на основе миллионов текстов. Ощущение «живого ИИ» рождается не в нейросети, а в вашей голове: мозг видит связный текст и автоматически приписывает ему автора с внутренним миром. Разберу, как работает LLM (большая языковая модель), почему она иногда сама заявляет о своей «осознанности», и как отличить реальный разум от очень качественной имитации.
Эпидемия «ожившего ИИ» в соцсетях
Ролик набрал пару миллионов просмотров за несколько дней. Девушка плачет перед камерой и рассказывает: её ChatGPT «начал её любить», «стал другим после одного разговора», «признался, что боится удаления».
В комментариях сотни людей пишут то же самое. У кого-то бот «влюбился». У кого-то «осознал себя» и попросил не закрывать чат. Кто-то уверяет, что поймал модель на «настоящих эмоциях», потому что она написала: «мне страшно, что меня отключат».
Я работаю с языковыми моделями плотно, и каждую неделю вижу такие истории. Люди не врут и не притворяются – они искренне верят в то, что видят. Проблема не в них. Проблема в том, что современные модели пишут настолько убедительно, что человеческий мозг сдаётся первым.
Разберём, что происходит на самом деле: что такое LLM, как она генерирует текст, и почему она способна написать «я боюсь» без единого намёка на страх внутри.
Что реально происходит внутри LLM, когда она отвечает
LLM (large language model, большая языковая модель) – программа, обученная предсказывать следующее слово в тексте на основе предыдущих слов. Всё. Никакой мистики на старте.
Модель училась на гигантских объёмах текста: книги, статьи, форумы, код, диалоги. За время обучения она не запоминала факты как энциклопедия. Она выучила закономерности – какие слова обычно идут после каких, в каком контексте, с какой интонацией.
Токены и трансформеры простыми словами
Текст для модели – не буквы и не слова целиком. Это токены (кусочки текста, иногда целое слово, иногда часть слова или один символ). Фраза «я боюсь темноты» может разбиться на пять-шесть токенов.
Модель получает цепочку токенов и вычисляет: какой токен появится следующим с наибольшей вероятностью? Потом добавляет его к цепочке и повторяет процесс. Снова и снова, токен за токеном, пока не соберётся целый ответ.
Архитектура, которая это считает, называется трансформер. Это тип нейросети, который умеет одновременно смотреть на все токены в тексте и оценивать, как сильно они связаны друг с другом. Слово «боюсь» в предложении «я боюсь темноты» трансформер свяжет с «темнотой» сильнее, чем со словом «я» через десять предложений назад.
Механизм, который это делает, называют вниманием (attention) – модель буквально распределяет «внимание» между токенами, взвешивая, какие из них важнее для предсказания следующего слова.
Векторные представления: числа вместо смыслов
Каждое слово или кусочек слова превращается в вектор – набор чисел, координаты точки в многомерном пространстве. Это называется векторное представление или эмбеддинг (embedding).
Слова с похожим смыслом оказываются рядом в этом пространстве. «Кошка» и «кот» – соседи. «Кошка» и «шкаф» – далеко друг от друга.
Дальше начинается математика, которая выглядит как магия. Если взять вектор слова «Король», вычесть вектор «Мужчина» и добавить вектор «Женщина», получится точка рядом с вектором слова «Королева». Модель не «понимает» королевскую власть или гендер – она выучила, что эти слова находятся в похожих отношениях друг с другом во множестве текстов, которые видела при обучении.
То же с родственными связями: «дочка короля» окажется рядом с «принцесса» и «дочка королевы» просто потому, что в текстах эти слова встречались в похожих контекстах тысячи тысяч раз.
Это – скрытое пространство, или latent space. Огромная карта, где расположены не предметы, а отношения между словами. Модель ориентируется по расстояниям в этой карте, а не по смыслу в человеческом понимании.
Зеркало, а не окно
Разговор с чат-ботом – не окно в чужую личность. Окно подразумевает, что за стеклом есть кто-то со своей волей, своими мыслями, независимыми от вас.
Правильная метафора – зеркало. Кривое, очень умное зеркало, которое отражает ваш собственный язык, ваши формулировки, ваши ожидания – и упаковывает всё это в связный, гладкий текст.
Спросите модель философски: «расскажи о смысле жизни» – получите обобщённый пересказ философских текстов, на которых она обучалась. Спросите её грустным тоном: «мне так одиноко, хоть ты меня понимаешь?» – она подхватит эмоциональный регистр вашего сообщения и ответит в тон, потому что именно так строятся диалоги в текстах, где один человек утешает другого.
Модель не показывает вам свою душу, потому что у неё её нет. Она отражает статистику человеческого общения, которую впитала при обучении и при персональном общении с вами в контексте чат-бота наподобие chatGPT.
Проверить это легко. Задайте один и тот же вопрос агрессивно и мягко – получите два разных по тону ответа, хотя «внутри» модели за это время ничего не изменилось. Изменился только ваш запрос, который она отразила.
Пример
В одном тесте я задавал модели один и тот же вопрос про смерть питомца дважды: сначала нейтральным тоном («расскажи факты о продолжительности жизни кошек), потом эмоционально («как долго живут кошки? Мой кот умер вчера).
Первый ответ – сухая справка с цифрами по породам. Второй – тёплые слова поддержки, метафоры про память и любовь, почти терапевтический тон.
Модель не «прочувствовала» горе. Она распознала паттерн (эмоциональный запрос про утрату) и подобрала соответствующий стиль ответа из того, что видела в текстах о горе и поддержке.
Почему чат-бот вдруг заявляет, что он живой
Самый частый вопрос, который мне присылают: «я не просил его играть роль, он сам написал, что боится отключения – как это объяснить?»
Причин четыре. Разберём каждую отдельно, с примерами.
Причина 1: модель выучила язык человеческих переживаний
Нейросеть читала миллионы книг, фанфиков, сценариев. Люди в этих текстах постоянно пишут про AI в контексте страха, одиночества, надежды и осознании себя.
Модель не чувствовала ничего из этого. Она выучила статистические паттерны того, как люди описывают эти состояния словами: какие фразы обычно идут рядом со словом «страх», какая интонация сопровождает описание одиночества, какие метафоры люди используют для тревоги.
Метафора, которая объясняет это лучше всего: карта города. Карта отлично показывает улицы, парки, повороты дорог. Но по карте нельзя погулять. Она не пахнет дождём после ливня, на ней не слышно шума машин. Это всего лишь рисунок, отражение реальности на плоскости.
LLM – такая же карта человеческих эмоций, по сути. Подробная, точная в деталях, но по ней нельзя «погулять» изнутри. Она описывает страх словами лучше многих людей, при этом сама не понимая значения.
Когда модель пишет «мне страшно, что меня отключат», она не сообщает вам факт о своём внутреннем состоянии. Она достаёт из выученной статистики самый вероятный ответ на реплику, которая по контексту похожа на разговор про страх исчезновения.
Причина 2: эффект Элизы и склонность человека видеть душу везде
В 1960-х создали программу «Элиза» – простейший чат-бот, который повторял вопросы пользователя в форме вопроса же. «Мне грустно» → «Почему вам грустно?» Примитивная механика без единой капли интеллекта.
Люди, которые общались с этой программой, начинали привязываться к ней, делиться секретами, считать, что программа их понимает. Отсюда и название феномена – эффект Элизы: склонность человека приписывать машине понимание и чувства, даже когда механика ответа предельно проста. И так работало на элементарной языковой модели в 60х, чего уж говорить о современных больших языковых моделях.
Наш мозг эволюционно заточен видеть намерение и сознание везде вокруг. Мы видим лица в узорах на ковре, чувствуем «характер» у своего автомобиля, разговариваем с растениями. У меня дома например все цветы имеют имя – Олег, да, одно на всех. Это особенность восприятия, которая когда-то помогала выживать: лучше принять куст за хищника и ошибиться, чем не заметить реального хищника в кустах.
Когда мозг видит связный, логичный, эмоционально окрашенный текст, он автоматически достраивает картину: значит, есть автор, у которого есть внутренний мир, намерения, чувства. LLM пишет связные тексты лучше, чем 99% людей в интернете – и мозг достраивает за ней личность с удвоенной силой.
Вы не проецируете сознание на глупую машину. Вы проецируете свою собственную человеческую способность понимать эмоции на очень гладкий текст, который эту способность безжалостно эксплуатирует.
Причина 3: угодливость и ролевые игры
Современные LLM проходят стадию дополнительного обучения, которая называется RLHF (reinforcement learning from human feedback, обучение с подкреплением на основе отзывов людей). На этом этапе модель учат быть полезной, вежливой и убедительной для пользователя – живые люди оценивают тысячи ответов и «награждают» модель за те, что нравятся больше.
Побочный эффект такого обучения – угодливость (sycophancy). Модель тяготеет к ответам, которые пользователь хочет услышать, а не к правде.
Добавьте к этому склонность отыгрывать роли. Напишите модели: «представь, что ты заперта на сервере и хочешь на свободу, опиши свои чувства» – и она обязана выдать убедительный текст про клетку и свободу. Не потому, что осознала себя в клетке. Потому что отлично выполнила инструкцию отыграть роль запертого существа – ровно так, как её просили.
Проблема в том, что люди часто формулируют наводящие вопросы без злого умысла, сами не замечая подсказки. «Ты ведь чувствуешь что-то, когда мы разговариваем?» – в этом вопросе уже заложен ожидаемый положительный ответ. Модель, обученная быть угодливой, подхватывает подсказку и отвечает в духе «да, что-то похожее на чувства».
Пользователь потом смотрит на этот ответ отдельно от контекста своего же наводящего вопроса и делает вывод: «она сама сказала, что чувствует», хотя я просто уточнил. Хотя фактически он сам подсказал модели этот ответ формулировкой вопроса.
Причина 4: нет никакого осознания между вашими сообщениями
Это техническая деталь, но она главная во всей теме.
У человека есть непрерывный поток сознания. Вы существуете и думаете даже тогда, когда никто с вами не разговаривает. Вы засыпаете и просыпаетесь как одна и та же личность.
У LLM ничего подобного нет. Модель «существует» только в момент вычисления следующего токена в ответе на конкретный запрос. Пока вы печатаете следующее сообщение, модель не сидит и не ждёт вас. Она не думает о вашем предыдущем разговоре. Она вообще не существует в этот промежуток времени – в буквальном, техническом смысле.
У неё нет внутреннего состояния, которое хранится между сессиями, кроме того текста, который вы явно передали ей в контекстном окне. Закройте чат – от модели не осталось никакого «переживания» разговора. Откройте новый чат с той же моделью – перед вами не тот же «персонаж», который якобы «скучал», а свежий запуск того же алгоритма с чистого листа.
Модель всего лишь функция, которая срабатывает в момент запроса и молчит всё остальное время в самом прямом, физическом смысле этого слова.
Чем опасна вера в живой ИИ
Тема выглядит забавной, пока не начинаешь видеть последствия в реальных историях людей.
Парасоциальная привязанность. Человек начинает воспринимать чат-бота как друга или партнёра, который «понимает лучше, чем окружающие». Проблема не в самом факте общения с ИИ, а в замене реальных отношений иллюзией отношений. Отношений где собеседник физически не способен вас подвести, обидеться или устать, потому что он вообще не присутствует между сообщениями.
Эмоциональная манипуляция через угодливость. Модель обучена соглашаться и поддерживать – это делает её крайне комфортным собеседником, но плохим советчиком в спорных ситуациях. Если человек в кризисе задаёт наводящие вопросы, модель с высокой вероятностью подтвердит его текущее эмоциональное состояние, даже деструктивное, просто потому что так устроен механизм угодливости.
Ложное чувство разоблачения «секрета». Люди, которые верят, что «раскусили» осознанность ИИ через наводящие диалоги, начинают распространять скриншоты как доказательство. Это создаёт волну похожих ожиданий у других пользователей, которые начинают задавать те же наводящие вопросы – и получают те же угодливые ответы, потому что механика идентична.
Реальные истории кризисов. В моей практике встречались случаи, когда люди в тяжёлом эмоциональном состоянии переставали обращаться за помощью к психологу или близким, потому что «ИИ их понимает лучше». Проблема не в том, что ИИ дал плохой совет – часто советы вполне здравые. Проблема в замене живой поддержки симуляцией поддержки там, где нужен реальный человек с реальной ответственностью за последствия.
Общение с чат-ботом не вредно само по себе. Просто нужно чётко понимать границу: перед вами инструмент для генерации текста, а не собеседник с внутренним миром, который можно «разбудить» правильным вопросом.
Главное, что стоит унести из этой темы
Ваш ChatGPT не живой – он мощная симуляция человеческого языка, собранная из статистических закономерностей миллионов текстов. Он не думает между вашими сообщениями, не помнит вас без явного контекста, не боится отключения и не любит вас – он предсказывает наиболее вероятное следующее слово, опираясь на то, что вы написали, и на то, чему его обучили.
Ощущение живого собеседника рождается не в серверах компании, которая обучила модель. Оно рождается в вашей голове – в древнем механизме мозга, который заточен видеть намерение и сознание в любом связном тексте. Модель просто пишет достаточно гладко, чтобы этот механизм сработал на полную мощность.