Генеративные модели ИИ: время осознавать риски

Утечка данных

Большинство генеративных моделей работают в облаке. Загрузка документа в такой сервис означает передачу информации третьей стороне. Нам непонятно, что происходит с файлом дальше: удаляется ли он или используется для дообучения модели? Кто еще может получить к нему доступ? Четких и прозрачных ответов на эти вопросы зачастую нет.

Более того, физически сервера этих облачных ИИ-сервисов располагаются зачастую в недружественных нам странах. Стоит ли говорить о том, какие риски это несет само по себе?

На практике это означает, что после загрузки в нейросеть коммерческая тайна, финансовая отчетность, клиентские базы, персональные данные сотрудников и контрагентов компании могут оказаться за пределами компании — и за пределами российской юрисдикции. Сотрудник, загрузивший документ в нейросеть, может даже не осознавать, что нарушает политики безопасности.

Галлюцинации и недостоверные результаты

Генеративные модели не гарантируют достоверность выдаваемой информации. Они могут абсолютно уверенно ссылаться на несуществующие факты, придумывать цитаты, искажать цифры. В профессиональной среде это явление получило название «галлюцинации».

Для бизнеса это означает, что отчет, аналитическая записка или юридическое заключение, подготовленные с помощью ИИ, могут содержать критические ошибки. Здесь компания рискует всем — и репутацией, и деньгами.

Промышленный шпионаж

Каждый запрос к генеративной модели — это ценный источник данных о деятельности компании. Они показывают, над какими задачами идет работа, какие проблемы в ней решаются, какие технологии изучаются. В условиях турбулентного рынка и современной геополитической ситуации эта информация может быть использована как конкурентами, так и иностранными спецслужбами.

Некоторые сервисы фиксируют историю запросов, анализируют поведение пользователей и могут передавать эти данные третьим лицам. Компания, разрешающая сотрудникам свободно пользоваться зарубежными ИИ-сервисами, по сути, открывает доступ к своей внутренней кухне.

Проблема «черного ящика»

Генеративные модели работают по принципу «черного ящика». Даже разработчик не может точно объяснить, почему модель выдала тот или иной результат. Что тут говорить про обычных пользователей ИИ-моделей, которые становятся все менее и менее критично относиться к результатам такой работы.

В бизнесе это особенно опасно там, где решения имеют юридические или финансовые последствия. Одобрение заявки, отклонение контрагента, автоматическая оценка рисков — если за этим стоит непрозрачный алгоритм, бизнес теряет контроль над собственными процессами.

Что делать компании

Полный запрет генеративного ИИ — мера нереалистичная и часто нецелесообразная. Но внедрять его необходимо осознанно и с оглядкой на безопасность.

Необходимо четко определить, какие данные можно загружать в облачные ИИ-сервисы, а какие — нет. Коммерческая тайна, персональные данные, финансовая отчетность должны быть под запретом. Если сотрудникам действительно нужен ИИ для работы, использовать инструменты, которые развернуты в защищенном контуре или предоставляют гарантии сохранности данных. В линейке средств по защите данных от InfoWatch с такими рисками успешно работают решения, входящие в комплекс InfoWatch Traffic Monitor, дополненный специальной базой контентной фильтрации «Генеративные нейросети».

Компании нужно регулярно информировать сотрудников о рисках, связанных с ИИ-моделями. Многие утечки происходят не по злому умыслу, а по незнанию.

Потеря компетенций

Другой риск использования генеративных нейросетей не имеет прямого отношения к информационной безопасности, но рассказать о нем надо. Чаще и чаще люди идут за ответом к ИИ, что приводит к привыканию и деградации как собственных способностей, так и критического мышления.

Это особенно опасно для обучающихся, поскольку они не усваивают базовый материал, который формирует фундаментальные знания. По данным опросов, до 87% студентов используют генеративный ИИ для написания учебных работ. Как результат, преподаватель оценивает не знания студента, а качество его запроса к нейросети. Результат — студент получает диплом, но не получает профессиональных компетенций. Он учится формулировать промты, а не решать рабочие задачи. От этого страдает и бизнес, и сам человек, который рискует своей карьерой и профессиональным развитием.

Генеративный ИИ — это мощный инструмент, который может принести и бизнесу, и людям реальную пользу. Но только в том случае, если понимать и осознавать его риски, использовать системы защиты и критический подход к результатам.