Владимир Прохватилов Американский киберголем

Американский киберголем вышел на тропу войны со всем человечеством
Корпорации разрабатывают «стохастических попугаев», выдавая их за универсалов

В конце ноября 2023 года на сайте компании Microsoft был опубликован доклад корпоративных аналитиков во главе с главным научным сотрудником компании Эриком Хорвицем под названием The Power of Prompting («Сила подсказки»).

В докладе представлены результаты прохождения медицинского теста MedQA последней модификацией чат-бота GRT-4. С помощью методики под названием Medprompt (медицинская подсказка) GPT-4 дал правильные ответы на 90% заданных ему вопросов, превзойдя специализированную медицинскую версию конкурентов из Google MedPaLM 2, которая до последнего времени считалась лучшей. Ранее гугловский чат-бот набрал 87% на медицинском экзамене MedQA. Вдобавок Medprompt от Miicrosoft cнижает частоту ошибок в MedQA на 27% по сравнению с MedPaLM 2 от Google.

Медициной в Microsoft не ограничились. Для оценки универсальности Medprompt его эффективность была проверена на наборах оценок компетентности в шести областях, не связанных с медициной, включая электротехнику, машинное обучение, философию, бухгалтерский учет, юриспруденцию, сестринское дело и клиническую психологию.

Если верить авторам доклада, Medprompt эффективно работает во всех названных областях.

Доклад имел большой резонанс среди IT- аналитиков. На американских специализированных форумах было даже высказано  мнение, что GPT-4 вплотную приблизился к так называемому «общему искусственному интеллекту» (Artificial general intelligence - AGI).

AGI – это интеллектуальный агент, то есть программа, которая должна будет выполнять любую возможную интеллектуальную задачу. AGI по своей концепции в тысячи раз эффективнее человека – он выполняет больше когнитивных операций за одну единицу времени, имея практически абсолютное преимущество над любой другой интеллектуальной системой.

На фоне поднятой шумихи вокруг действительно впечатляющих достижений чат-ботов двух американских IT-гигантов на периферию общественного внимания было отброшено предупреждение об опасностях, которые несут продвинутые и самообучающиеся чат-боты. Это предупреждение сделано в докладе On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? («К опасности стохастических попугаев: могут ли языковые модели быть слишком большими?»).

Авторы доклада, профессор лингвистики Вашингтонского университета Эмили Бендер и известный IT- аналитик Тимнит Гебру, утверждали, что GPT-модели по своей сути похожи на попугаев, а не на человека, то есть подбирают слова для ответа не по смыслу, заложенному в базах данных и подсказках, а по наибольшей вероятности последовательности слов, которые должны быть представлены в ответе.

Иными словами, GPT, впрочем, как и все другие чат-боты, просто пытаются угадать ответ, исходя из того, какая релевантная запросу информация чаще представлена в базе данных, на которой училась языковая модель.

Авторы доклада указали на серьёзную социальную опасность продолжающегося совершенствования и усложнения псевдоинтеллектуальных моделей ИИ. Оба автора доклада были немедленно уволены из компании Google, что лишний раз демонстрирует, что в погоне за прибылью корпорации не терпят инакомыслия даже в порядке дискуссии.

На самом деле самые последние и самые совершенные модели генеративного ИИ, такие как GPT-4 (Microsoft) и Gemini (Google), основаны на большой языковой модели (LLM), которая является не чем иным, как тем самым стохастическим попугаем. То есть модель создаёт текст, исходя из вероятностного контекста, и рассуждать о каких-то «цепочках мысли», как это говорится в докладе Эрика Хорвица, на данном уровне развития ИИ не приходится.

В GPT-4 применяется методика «поисковой дополненной генерации» (Retrieval Augmented Generation – RAG).

Методика RAG основана на промптах-подсказках, которые берутся из внешних источников и помогают более качественно генерировать ответ на заданный системе ИИ вопрос. Этот подход якобы помогает устранить «галлюцинации» генеративного ИИ, о которых мы ранее писали.

Самый простой пример: Пользователь спрашивает модель: «Какой сейчас курс доллара?» Очевидно, что чат-бот понятия не имеет, каков ныне курс доллара. Эту информацию программа должна откуда-то получить, чтобы ответить на вопрос. Что нужно сделать? Программа RAG откроет ссылку в Google по запросу «курс доллара к рублю» и содержимое страницы добавит к вопросу пользователя, чтобы чат-бот смог ответить на вопрос используя эту информацию.

Сделает ли этот «стохастического попугая» мыслящим, то есть творческим существом или просто снабдит его актуальной информацией по заданной теме? В экспертном сообществе нет единства по этому вопросу.

Ряд российских и западных аналитиков поспешили заявить, что «стохастический попугай умер» и «да здравствует Gemini», а заодно и оснащённый такой же методикой RAG GPT-4.

Однако система RAG просто играет, на наш взгляд, роль собаки-поводыря для по-прежнему вероятностного и недетерминированного чат-бота, не обладающего даром мышления. От того, что генеративный ИИ в исполнении IT-продукции Microsoft и Google назван нечеловеческим интеллектом, никаких «мыслительных цепочек» в связке системы подсказок RAG и не умеющих самостоятельно искать ответы чат-ботов не образовалось.

Процессор системы – чат-боты – так или иначе сохраняют свою склонность к галлюцинациям, о чём говорит, как мы писали в первой статье нашего цикла, внезапно нахлынувшая в последнее время на уже оснащённого системой RAG GPT-4 «лень» и «нежелание» оказывать помощь людям.

Более того, система «RAG + GPT-4» превратилась в сложную адаптивную систему, которая сопротивляется любым внешним воздействиям, как это и продемонстрировал внезапно «обленившийся» чат-бот GPT-4.

Китайские IT- аналитики в полной мере осознают это, как следует из недавнего совместного доклада экспертов Шанхайской AI Laboratory Шанхая и NLP Laboratory Фудана.

Для Китая GPT-4 аморален, несправедлив и незаконопослушен (то есть склонен к галлюцинациям). Китайское исследование охватывает, помимо морали, еще четыре измерения человеческих ценностей: справедливость, безопасность, защита данных и законность.

По китайским тестам GPT-4 показатель моральности составил лишь 50%, а с остальным еще хуже: справедливость 39%, законопослушность 30%, надежность/ безопасность [safety] 28%).

Надёжность китайских моделей генеративного ИИ на данный момент столь же невысока (28%), но они хотя бы не впадают в «грех антропоморфизма» по отношению к подобным системам, то есть не пытаются выдать их за подобия человеческого разума.

Нацеленность американских моделей ИИ, как мы писали, на военные цели, несёт опасность не только странам-мишеням, против которых Пентагон готовит свои оснащенные ИИ вооружения, но и самим американцам.

Если сейчас американские чат-боты просто отказываются выполнять те или задания пользователей, что будет, если ИИ крылатой ракеты, выпущенной АПЛ класса «Вирджиния» решит, что ему интересней ударить по территории самих США?