Риски ИИ: локальные и глобальные

ИИ-технологии вдохновляют и меняют настоящее, применение ИИ становится все шире. С одной сторны это открывает захватывающие перспективы на будущее. С другой - настораживает и рождает неопределенность. Предлагаем оставить за скобками хайп и оценить не только возможности, но и риски ИИ.

Экспертное мнение

Виталий Ермоленко, CEO платформы "МедЭлемент" (ТОО "MedElement")

Коллеги, в свете активного развития ИИ‑технологий и сфер его применения хотелось бы также не упускать из виду некоторые потенциальные риски и угрозы (которые порой, меркнут на фоне общего хайпа технологии).

Наша компания работает в сфере iT в медицине. Последнее время одно за одним к нам поступают обращения по интеграции нашей информационной системы с ИИ-платформами и ИИ-агентами от клиентов и разработчиков. 

Не меньшую активность по внедрению ИИ мы видим и у своих коллег - резидентов цифрового ASTANA HUB. 

В связи с этим позвольте поднять несколько мини‑тем в ключе "риски ИИ: локальные и глобальные".

Сразу хочу оговориться: я не противник ИИ и вижу огромный потенциал этой технологии. Однако, меня настораживает скорость, с которой ИИ внедряется повсеместно, без всесторонней оценки потенциальных, как плюсов, так и минусов.

Черный ящик

На мой взгляд, наиболее серьёзным риском внедрения ИИ везде, всюду и очень быстро является проблема "чёрного ящика". Ниже - только пара (из многих) вытекающих рисков и угроз.

Неуправляемость, непредсказуемость. Интегрируя ИИ‑элементы в приложения, сервисы, системы управления "железом", по сути, ни один локальный разработчик не может гарантировать то, как будет выглядеть конечный результат. Мало того, даже внося коррективы и обучая модели, этот фактор никуда не исчезает, как и не исчезает некоторая "глючность" ИИ. Насколько я понимаю, математически это в принципе нерешаемая проблема.

Отсутствие контроля. Связанный с первым тезисом аспект. Работоспособность ИИ‑элементов находится вне контура нашего управления и контроля. Сегодня это бесплатно, завтра появится стоимость. Сегодня это работает, завтра может перестать работать или начать работать иначе, чем предполагает интегратор, и т. д.

Хотите внедрить это в медицину? Будьте готовы к тому, что завтра оцифрованные ИИ‑бизнес‑процессы могут встать, а пациент останется без медицинской помощи или с ошибочным назначением. Ну и т. д.

Предвзятость, внешний контроль результатов. Всё в этом мире так или иначе связано с политикой, т. е. с крупным капиталом и войной крупных капиталов друг с другом. ИИ, конечно же, не остаётся в стороне и будет использован каждой стороной как эффективный инструмент, получающий с каждым годом всё более значительное влияние.

Поэтому просьбы к ИИ быть "непредвзятее" в определённые моменты, безусловно, работать не будут. А всё, куда будет встроен ИИ, будет работать на цели конечных бенефициаров. И это будет не локальный разработчик и уж никак не конечный заказчик или пользователь.

Понятно, что я немного сгущаю краски, но тема, на мой взгляд, очень важна, если смотреть на перспективу стратегически.

Цена интеллектуального удобства

Особенно меня беспокоит один вопрос, который я хочу поднять: как повсеместное внедрение ИИ влияет на человека и его ментальные способности?

Это беспокойство у меня возникло и продолжает укрепляться, особенно во время контактов с представителями "поколения Z". 

Конечно, нельзя всех “стричь под одну гребенку”, но я лично замечаю, как у многих молодых (да следом уже и не только молодых) людей меняются ментальные способности, особенно в части анализа информации и ее долговременного хранения в памяти.

Ведь это поколение (Z) родилось и выросло в мире цифровых сервисов и помощников. Коммуникационные приложения, решения для учебы, выполнения домашней работы, решения школьных задач, игры - все это их ежедневная среда. 

И, на мой взгляд, активное использование таких инструментов, а теперь и развитие ИИ, приводят к тому, что человеческий мозг начинает экономить энергию. Ведь зачем запоминать и осмысливать информацию, если она всегда под рукой? Ответы на любые вопросы можно получить за считанные минуты. И наш организм, созданный, кстати, весьма совершенным, делает самое очевидное - экономит энергию на мозговой деятельности и активности.

К чему это может привести или уже приводит? Более слабая память, сниженная способность к анализу, потеря самостоятельности, пассивность - эти тенденции, вероятно, будут усиливаться с каждым новым поколением.

Деградация качества ИИ-моделей

Также хочу поднять вопрос деградации ИИ-моделей, обучающихся на данных, созданных другими ИИ.

На данный момент в интернете заметно растет доля синтетических (созданных ИИ) текстов, изображений и аудио. И если новые модели учатся в на таких данных, возникает феномен "схлопывания данных" (data collapse). 

Ошибки, упрощения и искажения переносятся из одного поколения информации в другое, закрепляясь и усиливаясь. Это можно сравнить с копированием фотографии на ксероксе - каждое новое поколение чуть хуже предыдущего. Чем больше копий, тем хуже качество.

Почему это опасно и к чему это может вести?

Потеря разнообразия, наследование ошибок (когда ложная информация закрепляется, как норма), иллюзия качества (когда модели могут казаться умнее, чем есть на самом деле) - все это, скорее всего, неизбежные последствия данного феномена.

Ну а если размышлять об этой проблематике в контексте областей, где очень высокая ответственность и риски (медицина, наука и т.д), становится понятно, что необходимо весьма ответственно и серьезно подходить к применению ИИ-элементов в практике.

Можно ли каким-то образом купировать или решить данную проблему?

Мне видится, что без внедрения единообразной разметки создаваемой информации, всеми ИИ-платформами (реально ли это?), проблема выглядит не очень решаемой.

Т.е если создаваемая ИИ и людьми информация не будет маркироваться определенными, отличными друг от друга, способами - все вышеперечисленные проблемы "многократного копира" будут скорее всего неизбежными.

Коллеги, что скажете по этому поводу? Напишите в комментариях - беспокоят ли вас данные аспекты? Особенно, если вы причастны к внедрению или разработке ИИ‑продуктов и сервисов. Какие мысли есть на этот счёт?

PS: Картинки созданы, а орфография проверена ИИ.