Когда в 2019 году Россия утвердила Национальную стратегию развития ИИ до 2030 года, разговор о рисках воспринимался как академический. Сегодня, после того как ФСТЭК включила угрозы ИИ в официальный банк данных, а ЕС законодательно запретил государственный социальный скоринг, этот разговор стал нормативным. Государства не стоят перед выбором «внедрять или нет»: они уже внедряют. Вопрос в том, делают ли они это, понимая последствия.

Что уже работает

Российские ведомства применяют ИИ в процессах, которые несколько лет назад казались неавтоматизируемыми. ФНС ускорила обработку заявок на регистрацию бизнеса в 3 раза и снизила число ошибок на 90%. МЧС прогнозирует пожары на 5 дней вперёд по всей стране. В Минздраве зарегистрировано 39 медицинских устройств с ИИ и около 400 активных проектов внедрения. В Новосибирской области система «Безопасный город» за два месяца работы помогла задержать более 2000 человек и найти 5 пропавших детей.

Наиболее показательный кейс — система управления национальными проектами. ИИ-модель анализирует 100% мероприятий в реальном времени с точностью прогнозов 96%, выполняя за один день работу, на которую 76 отраслевым экспертам потребовалось бы четыре года. Именно эта концентрация аналитической власти в одной системе делает вопрос её надёжности принципиальным.

Атаки на модели, а не на серверы

В декабре 2025 года ФСТЭК впервые зафиксировала угрозы ИИ в банке данных угроз безопасности информации. Новизна здесь не в факте признания, а в природе угроз: злоумышленники теперь атакуют не инфраструктуру, а логику.

Так называемое «отравление» обучающих данных (data poisoning) позволяет незаметно изменить поведение системы ещё до её запуска через модификацию датасетов, на которых обучалась модель. Prompt injection позволяет обойти ограничения системы через специально сформулированные пользовательские запросы: в феврале 2026 года хакер использовал Claude AI для взлома государственных сетей Мексики, похитив данные налогоплательщиков и избирателей. Атаки через RAG-компонент компрометируют внешние базы знаний, которым модель доверяет по определению. ФСТЭК включил в перечень также атаки на LoRA-адаптеры, DoS-атаки для исчерпания вычислительных квот и вмешательство в конфигурации ИИ-агентов.

Отдельная проблема — иностранные модели в государственных процессах. Исследование Booz Allen Hamilton 2026 года показало, что три из четырёх протестированных китайских кодинг-моделей генерировали значительно более уязвимый код при промптах, имитирующих государственный контекст США, модель Qwen3-Coder продемонстрировала 130%-й рост уязвимостей. При этом все четыре модели отказывались выполнять задачи, политически чувствительные для КНР. Совет безопасности РФ ещё в 2024 году обозначил необходимость снижения зависимости от иностранных технологий в ИИ-компоненте.

Microsoft фиксирует более 600 миллионов кибератак на своих клиентов ежедневно, при этом правительства входят в тройку наиболее атакуемых категорий организаций. Число только парольных атак за три года выросло с 572 до более чем 7 000 в секунду. Чтобы почувствовать масштаб: за время чтения этого абзаца таких атак произошло несколько тысяч. Фишинговые кампании после появления ChatGPT выросли на 1265% (и это данные 2023 года).

Галлюцинации и деградация: ошибки, которые никто не замечает

Генеративные ИИ-системы «галлюцинируют», т.е. генерируют уверенные, но фактически ложные ответы. В корпоративной переписке это неудобно. В государственной системе, где ответ алгоритма воспринимается как официальная позиция. ИИ-аналитика, формирующая проекты бюджетных решений, выдаёт результат с одинаковой уверенностью независимо от качества входных данных. Обнаружить галлюцинацию без отдельной верификации невозможно.

Менее очевидна, но не менее опасна деградация модели (model drift): поведение системы незаметно ухудшается по мере того, как реальность расходится с данными, на которых она обучалась. Система продолжает работать и выдавать результаты, но  постепенно менее точные и менее справедливые, не сигнализируя об этом никому. Без процессов регулярного мониторинга это превращается в управленческую проблему, не имеющую видимых симптомов до крупного сбоя.

Приказ №117 ФСТЭК требует обязательной проверки достоверности ответов ИИ операторами и запрещает автономное изменение системных параметров самим алгоритмом. Проблема в том, что операторы зачастую не имеют ни инструментов, ни компетенции для такой проверки, особенно в системах, обрабатывающих сотни тысяч решений в день. Требование есть, но механизм его исполнения ещё только предстоит выработать.

Robodebt: анатомия провала

Среди всех задокументированных случаев алгоритмической дискриминации в государственных системах австралийская Robodebt заслуживает отдельного разбора  как образцовая модель того, как хорошо задуманная автоматизация превращается в системную несправедливость.

С 2016 по 2019 год австралийское правительство использовало алгоритм для автоматического выявления переплат социальных пособий. Логика была проста: брать годовой доход из налоговых данных, делить на 26 недель и сравнивать с заявленным доходом получателя. При обнаружении расхождения выставлялось требование о погашении долга. Никакого ручного рассмотрения, никакого права на объяснение до уплаты. Алгоритм не учитывал сезонную занятость, временные подработки, изменения жизненных обстоятельств. Метод усреднения, который был бы очевиден как ошибочный любому социальному работнику, был незаметен в автоматическом потоке.

Незаконные требования получили около 450 000–500 000 человек. Итог — компенсации на A$2,4 млрд, не менее трёх подтверждённых самоубийств, королевская комиссия, назвавшая схему «жестоким и грубым механизмом, не отвечавшим ни стандартам честности, ни требованиям закона». Схема проработала три года, прежде чем её остановили.

При этом алгоритм работал именно так, как был запрограммирован. Провал был управленческим: никто не поставил вопрос о том, какие категории граждан пострадают от усреднения, кто несёт ответственность за каждое конкретное требование и как человек может оспорить решение машины. Схожие проблемы, пусть и меньшего масштаба, зафиксированы в Швеции (алгоритм социального страхования прекращён к концу 2025 года после расследования Amnesty International), в Амстердаме (система Smart Check закрыта в 2025 году после выявления дискриминации мигрантов) и в ЮАР (около 10 миллионов человек исключены из выплат из-за ошибочной классификации семейных переводов как дохода).

Кто отвечает, когда ошибается алгоритм?

Центральный нерешённый вопрос российского законодательства в этой сфере не технический, а правовой. ИИ не является субъектом права. Должностное лицо, подписавшее решение, подготовленное алгоритмом, формально несёт ответственность, но на практике часто не понимает логики, по которой оно было сформировано. Когда алгоритм ФНС ошибочно блокирует счёт малого бизнеса или система социальных выплат отказывает в пособии, кому предъявлять претензию?

В российском публичном праве сегодня отсутствует легальное определение «алгоритмического решения», нет механизма разграничения ответственности между государством, разработчиком и оператором системы, а доказать причинно-следственную связь между ошибкой алгоритма и конкретным ущербом крайне сложно. Закон ЕС об ИИ решает эту проблему через обязательную документацию, объяснимость решений и право граждан на оспаривание для всех государственных ИИ-систем, классифицированных как высокорисковые. В России аналогичного регулирования пока нет.

Что регулятор сделал и чего ещё не хватает

Приказ ФСТЭК №117, вступивший в силу 1 марта 2026 года вводит прямой запрет на облачные ИИ-сервисы для обработки информации ограниченного доступа, обязательный аудит защищённости раз в полгода, запрет на автономное изменение системных параметров алгоритмом, требование к доле ИБ-специалистов с профильным образованием не менее 30%. Включение угроз ИИ в БДУ ФСТЭК означает, что разработчики государственных систем теперь обязаны учитывать prompt injection, отравление датасетов и атаки на ИИ-агентов при проектировании защиты.

За рамками документа остались вопросы, которые не решаются техническими мерами: нет механизма, по которому гражданин может получить объяснение автоматизированного решения; нет закона, определяющего ответственность при алгоритмической ошибке; нет требований к аудиту предвзятости по демографическим группам. 

Два риска, которые почти не обсуждаются

Первый — монокультура поставщиков. Стремление к эффективности и бюджетные ограничения толкают ведомства к использованию двух-трёх крупных платформ. Это создаёт «точки водопоя»: компрометация одного вендора означает одновременную уязвимость десятков государственных систем. 

Второй — атрофия экспертизы. Когда система управления нацпроектами делает за один день работу 76 экспертов, возникает вопрос: где эти эксперты через пять лет? Если ИИ-система выйдет из строя или даст системный сбой, есть ли кому её перепроверить? Молодые пользователи GPS постепенно утратили способность ориентироваться по бумажной карте. В контексте государственного управления ставки несравнимо выше.

Как управлять рисками

Опыт говорит об одном: следование формальным процедурам «ответственного ИИ» недостаточно. Smart Check в Амстердаме прошёл все обязательные аудиты и консультации с правозащитниками и всё равно работал некорректно. Проблема глубже методологии внедрения.

Принцип «человек в контуре» (human-in-the-loop) должен быть не рекомендацией, а обязательным требованием для любого решения, затрагивающего права конкретного гражданина. Алгоритм готовит проект, а должностное лицо несёт ответственность за финальное решение и способно его объяснить. В российском госсекторе это уже реализовано в части систем, например в государственной аналитической системе «Управление», где модели работают в закрытом контуре без выхода во внешние сервисы. Этот принцип нужно закрепить нормативно, а не оставлять на усмотрение разработчика.

Аудит предвзятости — до запуска и в ходе эксплуатации, а не только после скандала — должен стать обязательным элементом сертификации для систем, принимающих решения в отношении граждан. Мониторинг дрейфа модели с заданными порогами отклонения — частью операционных регламентов, а не разовой проверкой раз в полгода.

Наконец, право гражданина на объяснение автоматизированного решения и его оспаривание нуждается в законодательном закреплении. Пока этого нет, ответственность за алгоритмические ошибки остаётся нераспределенной, и следующий Robodebt окажется лишь вопросом времени.