Советы попугая: как ChatGPT нас «обманывает»

Исследование Стэнфордского университета показывает, что со временем ChatGPT стал хуже справляться даже с базовыми задачами. Ответы нейросети недостаточно экспертны, поэтому к ним нужно относиться критически, особенно если вы не являетесь специалистом в той теме, к которой принадлежит запрос 

Вышедший на рынок в 2022 году ChatGPT поразил юзеров своими мгновенными ответами на запросы и «почти человеческой» реакцией. Однако со временем эксперты начали замечать, что ИИ не хватает фундаментального и глубинного понимания многих сфер. 

ChatGPT обучается на миллиардах страниц интернет-данных, эта база называется Common Crawl. И если ИИ генерирует неточный или неверный ответ, он основан на тех же данных, что и верный. Поэтому нейросеть просто не «осознает» неверность ответа, в ее системе обучения он может быть вполне точным. Его поведение можно сравнить с попугаем — эта птица не умеет мыслить, не умеет строить предложения, она только имитирует услышанные слова. 

Более того, поведение нейросетей значительно меняется с течением времени и их ответы в 2022 году и сегодня могут значительно разниться. Ученые Стэнфордского университета в своем исследовании «Как поведение ChatGPT меняется с течением времени?» попросили GPT-3.5 решить одну и ту же базовую математическую задачу в марте 2023 года и в июне 2023 года. Выяснилось, что весной точность бота при решении этой задачи составляла 98%, а уже летом она резко упала до 2%. 

Данные результаты исследования касаются только простой математической задачи, но чем более сложен вопрос, тем затруднительнее понять, что ответ неверный. Особенно важно это осознавать, если предположить, что если человек задает вопрос в ChatGPT, то, скорее всего, он не является экспертом в этой теме, и, следовательно, не понимает разницы между правильным и неправильным ответом. Зейн Бонд, эксперт по кибербезопасности и руководитель отдела продуктов Keeper Securit, в своей колонке для Venture Beat решил проанализировать предложения ChatGPT по улучшению устойчивости кибербезопасности к злоумышленникам, темы, в которой эксперт глубоко разбирается. 

ChatGPT: «Обучайте свой персонал: ваш персонал может стать вашей первой линией защиты от злоумышленников. Важно обучить их передовым методам обеспечения безопасности данных и рассказать о потенциальных угрозах».

Мнение эксперта: это хороший совет, но в нем отсутствуют важные детали о том, как обучать сотрудников. Обучение должно быть основано с учетом опыта и образования сотрудников, а также на конкретных потребностях и целях организации в области кибербезопасности. Самое ценное обучение имеет практический характер и основано на том, что сотрудники делают каждый день, например, на использовании надежных паролей для защиты своих учетных записей. 

ChatGPT: «Сотрудничайте с другими компаниями и организациями: сотрудничество является ключом к повышению устойчивости к злоумышленникам. Сотрудничая с другими компаниями и организациями, вы можете делиться передовым опытом и информацией о потенциальных угрозах».

Мнение эксперта: это хороший совет, если рассматривать его в контексте. Например, сотрудничество двух защищенных от киберугроз компаний может принести отличные результаты, но сотрудничество компаний, одна из которых стала жертвой атаки, может быть очень вредным для второй. В случае взлома основное внимание следует уделять не сотрудничеству, а сортировке данных, реагированию, судебно-медицинской экспертизе и работе с правоохранительными органами.

ChatGPT: «Примите строгие меры безопасности. Одним из наиболее важных шагов по повышению устойчивости к злоумышленникам является внедрение строгих мер безопасности для ваших систем искусственного интеллекта. Сюда входят такие вещи как надежные механизмы аутентификации, безопасное хранение данных и шифрование конфиденциальных данных».

Мнение эксперта: хотя это хороший совет, «строгие меры безопасности» различаются в зависимости от уровня зрелости безопасности организации. Например, стартап из 15 человек требует одних мер, а крупный банк — других. Чат дает более точные ответы, если делать ему более конкретные запросы — если вы скажете, что советы предназначены для малого бизнеса, у которого нет бюджета на безопасность, вы, несомненно, получите совсем другой результат.

ChatGPT: «Отслеживайте и анализируйте данные: отслеживая и анализируя данные, вы можете выявить закономерности и тенденции, которые могут указывать на потенциальную угрозу. Это может помочь вам принять меры до того, как угроза станет серьезной».

Мнение эксперта: это хороший совет только при условии, что в этом процессе принимает участие человек. Технические специалисты используют ИИ для анализа данных. Это рабочий инструмент, но он не должен принимать решений. Предположим, что в организации есть сервер, выполняющий одну функцию ежедневно в течение шести месяцев, и внезапно в связи с обновлением системы он получает большие объемы данных. ИИ может пометить эту аномалию как угрозу.

Зейн Бонд подчеркивает, что ChatGPT-3.5, которого попросили дать советы по кибербезопасности, опирается на информацию, опубликованную в Интернете до 2021 года. Это очень опасно для данной отрасли, поскольку она невероятно динамична. Например, Google в мае 2023 года выпустила в открытый доступ домен верхнего уровня .zip, что позволяет пользователям регистрировать эти домены, и киберпреступники уже используют их в фишинговых кампаниях. Теперь нужны новые стратегии для выявления и предотвращения подобных атак.

Искусственный интеллект может допускать как незначительные ошибки, которые может распознать только эксперт в данной области, так и время от времени — грубые. В 2022 году специалист отдела перспективных исследований компании «Криптонит» и сотрудник Института проблем передачи информации РАН Игорь Нетай опубликовал исследование в научном журнале IJAINN. Эксперт выявил общую причину разноплановых ошибок ИИ на основе эксперимента с использованием более 50 000 сгенерированных нейронных сетей. Исследование показывает, что нейросети запутывают сами себя, накапливая цифровой шум. Когда такое происходит, результаты ИИ становятся бесполезными, даже если формально они могут соответствовать разумным критериям.