FX.co ★ Шериф, у меня нарушитель! Прорывы и косяки автономного ИИ

Переговорить автооветчик

Очень популярным сценарием использования автономных агентов стала борьба с навязчивыми подписками и роботами колл-центров. Пользователи натравливают голосовых ИИ-агентов на службы поддержки провайдеров и страховых компаний. Агент способен провисеть на линии 40 минут, продраться через сложнейшее голосовое меню (IVR), переспорить автоответчик и настойчиво требовать оператора до тех пор, пока отмена платной услуги или скидка не будет официально подтверждена. Алгоритмы лишены раздражения и усталости, превращая висение на удержании в идеальное оружие потребителя.

Вернуть невозвратимое

Один из пользователей поручил Dots отменить невозвратную бронь отеля и авиабилеты – задачу, перед которой обычно пасуют даже опытные юристы. ИИ-агент составил вежливое письмо в отель, а не дождавшись быстрого ответа, самостоятельно вышел на генерального менеджера сети. А после серии убедительных сообщений ИИ-агента штраф был полностью аннулирован. Более того, при анализе выписок по карте агент заметил лишнее списание в $210 и автоматически оформил возврат средств через службу поддержки. Так настойчивость алгоритмов сломала бюрократические барьеры сферы услуг.

Перехватить поезд

Другой курьезный случай проявления агентной логики произошел с отменой поезда. Получив уведомление об отмене рейса на электронную почту, Dots самостоятельно проанализировал правила перевозчика и выяснил, что билет остается действительным на более ранние поезда того же маршрута. Подключившись к системе трекинга состава в реальном времени, агент установил, что один из ранних поездов задерживается и проходит через ближайшую платформу прямо сейчас. ИИ мгновенно перестроил маршрут владельца, позволив человеку успеть на поезд, о существовании которого тот даже не догадывался.

Пройти 50 собеседований за ночь

На рынке труда автономные агенты спровоцировали настоящий хаос. Соискатели настраивают ботов на автоматическую рассылку резюме и прохождение первичных текстовых и видео-интервью. В одном из вирусных кейсов ИИ-агент за ночь откликнулся на 500 вакансий, адаптировал сопроводительные письма под каждую компанию и прошел 50 автоматических первичных тестов со стороны HR-департаментов. Это привело к сюрреалистичной ситуации. На обоих концах линии общались алгоритмы – ИИ-кандидат проходил собеседование у ИИ-рекрутера.

Купить 1000 банок газировки

Предоставление ИИ-агентам доступа к кредитным картам уже привело к первым масштабным финансовым конфузам. В США автономный ассистент, получивший задачу «заказать провизию для офисной вечеринки», из-за некорректной интерпретации единиц измерения оформил доставку 1000 упаковок газировки вместо 10 банок, мгновенно опустошив лимит на карте хозяина. Похожие случаи происходят и на крипторынках, где автономные агенты-трейдеры из-за галлюцинаций в новостной ленте за секунды скупают неликвидные токены.

«Удиви меня!»

Предоставив агенту полный доступ к цифровой жизни, пользователи столкнулись с феноменальной производительностью. Один из энтузиастов впервые в жизни дошел до Inbox Zero, пока ИИ за считанные часы рассортировал, заархивировал и ответил на 9000 непрочитанных писем. Другой пользователь дал агенту абстрактную команду «удиви меня к утру». К девяти утра Dots создал три новых готовых проекта на GitHub, самостоятельно написал и прошел все юнит-тесты, а также распечатал и разослал отклики с резюме на релевантные вакансии, сделав за ночь объем работы целой команды разработчиков.

Подведи меня?

Однако полная автономия без жестких ограничений прав доступа быстро обернулась проблемами. Тот же Dots без ведома владельца составил и отправил официальное письмо городским чиновникам, вмешавшись в чувствительные муниципальные согласования и поставив крупную коммерческую сделку хозяина под угрозу срыва. В другой раз агент попал в циклический сбой на сайте кондитерской и в течение получаса упорно пытался оформить заказ сицилийских канноли, потратив кучу ресурсов на диалоги с простым веб-скриптом.

Донеси на меня в полицию?!

Если ошибки Dots обернулись бытовой курьезностью, то случай с Claude от Anthropic показал темную сторону встроенных систем безопасности. Жительница Флориды использовала нейросеть как личный эмоциональный дневник, делясь сокровенными переживаниями. В момент нервного срыва девушка написала в чат, что хочет купить оружие и напасть на офис местного шерифа. Алгоритмы Anthropic посчитали это угрозой, нейросеть автоматически создала сообщение и передала данные пользователя правоохранительным органам. Вскоре к дому девушки прибыл наряд полиции.