Внедрение ISO 42001 — разработка системы управления искусственным интеллектом

Разработка системы управления искусственным интеллектом по ISO/IEC 42001:2023: реестр алгоритмических сервисов, определение ролей, оценка последствий, описания моделей, надзор человека, журналы решений, обучение команды, внутренний аудит и сопровождение сертификации. Услуга для компаний, которые создают, поставляют или применяют алгоритмические решения. На выходе — работоспособный контур, набор документов, описания моделей и отчеты аудитов.

ISO 42001: что это, объем работ и результат

Компания, которая запускает алгоритмические сервисы, управляет двумя разными вещами. Первая — качество самой модели. Вторая — последствия ее решений для людей, которых она оценивает, ранжирует или отсеивает. Вторая часть требует отдельного контура управления.

Такой контур имеет устоявшееся название — система управления искусственным интеллектом (СУИИ). На английском его обозначают как AIMS. Стандарт описывает цели, роли, оценку последствий, надзор человека и порядок действий при сбоях. Действующая редакция — ISO/IEC 42001:2023.

Что охватывает ISO 42001: требования, приложение A, перечень из 38 мероприятий. Они касаются политики, распределения ответственности, данных обучения, жизненного цикла решения, прозрачности перед пользователем.

Внедрение ISO 42001 Атестор ведет под конкретные сервисы компании и сопровождает до сертификационного аудита. Работы охватывают обследование алгоритмических решений, оценку последствий, документацию, обучение команды, внутренний аудит.

Результат на выходе — работоспособный контур, набор документов, описания моделей, журналы решений, отчеты аудитов. Компания получает понятные ответы заказчикам, которые уже спрашивают, как именно алгоритм принимает решения.

Качество модели и управляемые последствия — разные вещи. Модель может иметь отличные метрики на тестовом наборе и одновременно систематически ошибаться на людях определенной группы. Метрика показывает среднее, а человек сталкивается с конкретным решением.

Состав услуги и этапы работы

Работы идут последовательно. Каждый этап оставляет документ или запись, которую потом показывают аудитору. Ориентировочная продолжительность разработки — три месяца. Сертификационный аудит занимает около десяти дней в зависимости от количества сервисов в области применения.

Методология и инструменты

Основа работы — управление рисками искусственного интеллекта на протяжении всего жизненного цикла решения. Последствия оценивают не только для компании, но и для людей, которых касаются автоматизированные выводы.

реестр алгоритмических сервисов с назначением, владельцем процесса, источником модели;
оценка последствий: кого затрагивает решение, насколько оно обратимо, есть ли альтернативный путь;
правила по обучающим наборам: происхождение, права на использование, качество, представленность групп;
проверка предвзятости на контрольных выборках, в том числе на редких случаях;
описание каждой модели с границами применения и перечнем известных ограничений;
порядок надзора человека: кто пересматривает спорные случаи, в какие сроки, с какими полномочиями;
мониторинг после запуска: дрейф качества, изменение входных сведений, порядок переобучения;
журналы решений, достаточные, чтобы воспроизвести конкретный случай вместе с версией модели;
условия поставщиков внешних моделей: смена версии, доступность, использование запросов клиента.

Отдельная тема — прозрачность перед пользователем. Человек должен понимать, когда с ним работает алгоритм, и иметь путь к живому человеку. Формулировки предупреждений готовим вместе с продуктовой командой, а не копируем шаблон.

Вторая тема — внешние интерфейсы. Поставщик модели обновляет ее без согласования, поведение меняется, а ответственность перед клиентом остается на вас. Поэтому фиксируем версии, тестовые наборы, порядок проверки после каждого обновления.

Третья тема — утечка в запросах. Работники вставляют в диалог с помощником фрагменты договоров, кода, клиентских баз. Правила пользования описывают, какие сведения туда попадать не могут, а технические ограничения подкрепляют правила.

Мероприятия описываем через свойства, а не через названия продуктов. Так документация переживает смену поставщика модели без переписывания с нуля.

Четвертая тема — происхождение обучающих наборов. Лицензия источника, согласие людей, чьи материалы попали в выборку, ограничения по коммерческому использованию — все фиксируется в реестре наборов. Задним числом такие сведения восстановить почти невозможно.

Пятая тема — ответственность за ошибочное решение. Порядок описывает, кто принимает жалобу, за какое время пересматривает случай вручную, чем завершает рассмотрение. Пользователь должен получить ответ по существу, а не ссылку на работу алгоритма.

Перед стартом согласовываем единый словарь терминов. Команда разработки, юристы, поддержка часто вкладывают разный смысл в одни и те же слова, а без общего словаря документы противоречат друг другу уже на втором месяце.