Кто ответит за ошибку искусственного интеллекта в клинике?

 
Искусственный интеллект ставит диагнозы, предсказывает осложнения, подбирает лечение... Технология обгоняет право. Так кого же винить за ошибку, если нейросеть и врач работают вместе? Ответа нет. И это начинает тормозить внедрение полезных инструментов в клиники, в том числе в России.
 
Проблема «чёрного ящика» и правовой тупик
 
Классическая схема проста и предельно прозрачна. Врач отвечает за стандарт лечения, больница – за организацию процессов, производитель оборудования – за отсутствие конструктивных дефектов. ИИ схему ломает.  
Пока алгоритмы выступают только советниками. К примеру, ИИ предупредил о риске сепсиса – врач перепроверяет, окончательное решение за ним. Однако индустрия постепенно смещается в сторону систем с глубоким обучением. Логика их работы построена по принципу «чёрного ящика»: машина анализирует тысячи скрытых корреляций и выдаёт ответ. А восстановить ход её рассуждений не способен ни врач, ни разработчик.
 

 
Возникает правовая ловушка. Формально за ошибки отвечает доктор, но он не может объяснить вывод алгоритма. Разработчик прикрывается «рекомендательным» статусом продукта, а пациент ждёт компенсации.
 
На этом фоне больницы начинают саботировать полезные и проверенные ИИ-инструменты из-за страха получить иск. А производители не спешат отслеживать безопасность систем после выхода на рынок, так как уверены, что вину всё равно переложат на медперсонал.
 
Семь ступеней: от медкарты до автономного терапевта
 
Решение предложили исследователи из Imperial College, Стэнфорда и Scripps Research. Их классификация раскладывает медицинский ИИ по семи уровням на основе трёх параметров: насколько система самостоятельна в рассуждениях, какие задачи она автоматизирует и в каких границах ей разрешено действовать. Подход позаимствован у авиации и беспилотного транспорта – там похожие шкалы уже работают.
 
На нулевом уровне находятся абсолютно прозрачные информационные системы вроде электронных медкарт, где алгоритмы лишь хранят и передают данные под полным контролем правил, заданных человеком.
 
На первом и втором уровнях ИИ выступает ассистентом: он подсвечивает подозрительные участки на снимках, анализирует симптомы и предлагает варианты диагнозов. Врач перепроверяет выводы и делает финальный выбор, хотя здесь уже появляется риск чрезмерного доверия к машине из-за нехватки времени.
 
Более продвинутые этапы предполагают постепенную передачу инициативы алгоритмам. На третьем уровне система сама принимает решения в заданных рамках. Инсулиновая помпа непрерывно измеряет глюкозу и меняет дозу; врач лишь отбирает пациентов и реагирует на аварийные сигналы.
 
Четвёртый уровень подразумевает надзор по требованию ИИ. Комплекс управляет всей терапией в реанимации: одновременно настраивает параметры ИВЛ, дозирует седацию, вызывает бригаду быстрого реагирования. Врач – не оператор, а страховочная сеть.
 
Уровни 5 и 6 пока находятся на стадии концептуальной проработки.
 
Смысл шкалы – дать судам, регуляторам и больницам чёткую карту. Когда в правилах прописано, на какой ступени заканчивается ответственность программы и начинается ответственность человека, судьи перестают гадать, клиники – бояться технологий, а разработчики – перекладывать свою вину на врачей.