ШІ сам ставить діагноз і виписує рецепт: перший дозвіл у США

У штаті Юта вперше офіційно дозволили штучному інтелекту самостійно ставити діагноз і виписувати рецепт без участі живого лікаря. Поки що під один діагноз: акне. Система оцінює тяжкість за фотографіями, обирає засіб із короткого переліку й надсилає рецепт в аптеку. Людина переглядає лише частину випадків. Розбираємо, як саме це дозволили і що з цієї схеми варто взяти собі.

Регулятор американського штату Юта дав сервісу Nolla Health право ставити діагноз і виписувати рецепт без лікаря, але тільки на акне й тільки з короткого переліку зовнішніх засобів. У системи є числова межа тяжкості: вище неї, а також за наявності протипоказань, випадок автоматично йде до живого лікаря. Автономію відкривали етапами: спершу кожен рецепт затверджували два ліцензовані лікарі, потім контроль послабили до вибіркової щомісячної перевірки. Відповідальним за помилку угода з регулятором називає компанію, а не конкретного лікаря, і цей механізм у суді ще не перевіряли.

Що саме дозволили: ШІ ставить діагноз і виписує рецепт сам

Сервіс називається Nolla Health. Компанію заснували в Норвегії, згодом головний офіс переїхав до Нью-Йорка, а гроші на розвиток вона взяла з одного венчурного раунду від фонду General Catalyst. Дозвіл, який вона отримала, раніше не видавали нікому: до цього штучний інтелект в американській медицині працював помічником, і підпис під призначенням завжди ставила людина.

Тепер підпису людини немає. Застосунок приймає фотографії, ставить діагноз, обирає препарат і відправляє рецепт в аптеку, яку вказав пацієнт.

Чому саме акне, а не будь-яка інша хвороба

Акне добре підходить під автономне рішення. Діагноз ставлять на вигляд, без аналізів і апаратних досліджень. Тяжкість виражається числом за шкалою, якою дерматологи користувалися й до появи ШІ. Перелік зовнішніх засобів короткий, і всі вони відносно безпечні навіть при помилці на один крок дози.

Через це задача стає перевірюваною зовні. Коли результат агента можна порівняти з рішенням фахівця за однією шкалою, у регулятора з'являється спосіб міряти якість без довіри до заяв розробника. Там, де результат неоднозначний, такої можливості немає.

Шкала тяжкості акне — не вигадка сервісу. Дерматологи оцінюють стан шкіри в балах давно, тому агент працює в готовій системі координат.

Що сервіс продає насправді: швидкість замість місяців очікування

Головна цінність тут організаційна, а медична частина другорядна. Очний прийом дерматолога у США доводиться чекати тижнями, а в Юті черга ще довша за середню по країні. Сервіс видає рецепт за кілька хвилин після того, як людина сфотографувала обличчя й заповнила анкету.

Як це працює: від фото обличчя до рецепта в аптеці

Шлях користувача короткий. У застосунку він фотографує обличчя з кількох ракурсів і заповнює анкету історії хвороби. Далі система оцінює тяжкість у балах. Якщо оцінка нижча за поріг і протипоказань немає, агент обирає один засіб із короткого переліку зовнішніх препаратів, і рецепт іде в аптеку.

Що бачить система і що вона вирішує

Вхідні дані бідні: кілька фотографій і відповіді на питання анкети. Саме через бідність входу регулятор і звузив задачу до одного діагнозу, який справді читається з вигляду шкіри.

Рішень у системи теж небагато. Вона визначає бал тяжкості, вирішує, чи випадок узагалі її, і обирає препарат із готового списку. Дозування й форму вона бере з готового протоколу лікування.

Де в системи стоп-кран і що його вмикає

Стоп-кран у такій схемі важить більше за саму модель. Він автоматичний і спрацьовує за двома умовами, які не залежать від того, наскільки впевнено агент оцінив фотографію.

Поріг тяжкості та перелік станів, за яких випадок іде до лікаря

Перша умова — бал тяжкості вище порогового. Шкала коротка, поріг стоїть у її верхній половині, і все, що вище, автоматично йде до живого лікаря.

Друга умова — перелік станів в анкеті. Вагітність, період лактації, тяжкі захворювання печінки або нирок зупиняють процес незалежно від того, що система побачила на фотографії. Тут немає зважування й пошуку компромісу: такі випадки просто передають людині.

Межа тут числова й перевірювана, тому її можна контролювати зовні. Регулятору не доводиться вірити заявам компанії про якість моделі: достатньо подивитися, скільки випадків система віддала людині й чи не почала вона занижувати оцінки, щоб не переходити поріг.

Три етапи допуску: як регулятор поступово знімав людський контроль

Дозвіл не видали одним документом. Автономію відкривали етапами, і кожен наступний етап розширював коло пацієнтів та зменшував участь лікаря.

На першому етапі працювали з першою сотнею пацієнтів щонайменше чотири тижні, і кожен рецепт перевіряли та затверджували два ліцензовані лікарі. На другому коло розширили до кількох сотень, агент почав виписувати сам, а лікар переглядав рішення раз на тиждень. На третьому етапі людина дивиться лише невелику вибірку випадків раз на місяць, тому більшість рецептів доходить до пацієнта без жодного людського погляду.

Умови переходу, без яких автономію не підвищують

Між етапами стоять три умови, і виконати треба всі одночасно: рівень збігу рішень агента з рішеннями лікаря не нижче встановленого, жодної тяжкої несприятливої події за час етапу, письмовий дозвіл уряду штату. Невиконання будь-якої з них залишає сервіс на тому самому етапі без обмеження за часом.

Що насправді означає заявлений збіг рішень з лікарями

Головний показник у цій історії — частка випадків, у яких ліцензовані лікарі погодилися з рекомендацією агента на останній великій виборці реальних призначень. Компанія подала цю частку регулятору як доказ готовності до автономної роботи.

Урізана половина цитати, яка змінює масштаб ризику

У переказах цю цифру зазвичай обрізають по комі. Повне формулювання з документа додає, що розбіжності обмежувалися одноступеневим коригуванням дози в межах того самого класу препаратів.

Різниця між двома читаннями велика. Якщо розбіжність означає, що агент обрав інший препарат, це помилка діагностики з прямим ризиком для людини. Якщо вона означає, що лікар зменшив або збільшив дозу того самого засобу на один крок, це рутинне уточнення, яке трапляється й між двома лікарями на одному випадку.

Чому вага цих показників нижча, ніж здається

Джерело цієї цифри одне: документ, який компанія сама подала регулятору. Незалежної перевірки немає, повторити розрахунок на тих самих даних сторонній спостерігач не може, методику теж ніхто зовні не бачив.

Збіг рішень і сам по собі слабкий доказ правильності. Дві системи можуть однаково помилятися й бути при цьому цілком згодні між собою. Ми вже розбирали цей механізм на прикладі моделей, які погоджуються одна з одною, але помиляються разом.

Хто відповідає, якщо ШІ помилився

У звичайній медицині ланцюжок простий: лікар оглянув, лікар призначив, лікар відповідає. Автономний агент цей ланцюжок розриває, бо підпису людини під призначенням немає взагалі.

Компанія замість лікаря і пункт про належну обачність

Угода з регулятором називає відповідальним саму компанію. Туди ж додали пункт про обов'язок належної обачності: якщо рецепт зашкодив пацієнтові, суд може оцінити, чи зробила компанія розумні запобіжні дії.

Юридичний мостик побудований, але ним ще ніхто не ходив. Жодна справа за цим пунктом поки не дійшла до рішення, тому реальну ціну такої відповідальності ніхто не знає. Статків у компанії при цьому небагато: вона живе з одного венчурного раунду.

Дві угоди з протилежним змістом

Паралельно існує друга угода, яку підписує сам пацієнт у застосунку. У Nolla Health вона досі не опублікована, хоча застосунок уже завантажили в десятках штатів і кількість завантажень давно перевалила за сотню тисяч.

Як така угода зазвичай виглядає, видно по сусідньому пілоту того ж штату. Там користувацькі умови знімають з компанії відповідальність за точність системи та за шкідливі наслідки, а ще звільняють її від обов'язку створювати й зберігати медичну картку пацієнта. Людина, якій агент продовжив не той препарат, не може навіть підняти власну історію звернень, щоб щось доводити.

Дві угоди описують протилежні речі, і одночасно правдивими вони бути не можуть. Регулятору компанія каже, що відповідає за наслідки. Користувачеві в тому ж продукті вона каже, що не відповідає ні за що.

Чому попередні пілоти того ж штату рухалися значно повільніше

Nolla Health стала третім за ліком дозволом цього штату. Перші дві спроби пустити агента в медицину виглядали значно скромніше.

Від повторного рецепта до першого призначення

Перший пілот називається Doctronic і займається повторними рецептами. Повторний рецепт — це коли людина вже була в лікаря, діагноз поставлений, стан стабільний, і агент лише виписує той самий препарат знову, без нового діагнозу й без нових призначень.

Другим став Legion Health з повторними рецептами на психіатричні препарати підтримки, і теж із короткого переліку засобів низького ризику. Технологію йому дав той самий Doctronic.

І лише третім з'явився дозвіл на перше призначення, де агент ставить діагноз з нуля. Відстань між «продовжити старий рецепт» і «поставити новий діагноз» велика, і штат пройшов її не одним стрибком.

Найцікавіше в цій послідовності — швидкість першого пілота. Doctronic працює вже близько року й досі стоїть на першому етапі: кожне продовження рецепта потребує авторизації ліцензованого лікаря. Той самий набір умов переходу, який на папері виглядає формальністю, на практиці не дав сервісу зрушити з місця жодного разу.

Коли ШІ повірив підробленому документу: інцидент безпеки і його межі

Приблизно за два місяці після запуску першого пілота зовнішня команда з безпеки перевірила його публічного чат-бота. Вона подала боту підроблену регуляторну настанову, бот прийняв її за справжню й порадив утричі підняти дозу сильного опіоїдного болезаспокійливого. Така доза здатна вбити.

Межі цього тесту треба назвати чесно. Перевіряли публічного чат-бота, а не систему виписування рецептів. Згаданий препарат контрольований і до переліку пілоту не входить. Сама компанія заявила, що зламали демонстраційну версію, і робоча система не постраждала.

Висновок з інциденту все одно залишається. Найслабше місце автономного агента лежить у вхідних даних, яким він довіряє без перевірки: достатньо підсунути документ, що виглядає офіційним. Про цей самий механізм ми писали, розбираючи цикл дій і перевірок, який визначає поведінку агента.

Той самий трюк працює й за межами медицини. Агенту, який читає вхідні листи, можна надіслати лист із «новою інструкцією від керівництва», і він виконає її, якщо ніхто не передбачив перевірки джерела.

Окремо варто подивитися, звідки взялися дані про якість першого пілота. Вони прийшли з препринту по іншому продукту, без незалежного рецензування, та ще й на пацієнтах екстреної допомоги. Перевіряли їх фахівці, яких запросила сама компанія.

Що каже медична спільнота і чому її заперечення не формальність

Керівник Американської медичної асоціації John Whyte сформулював позицію коротко: такі інструменти можуть бути дуже корисними, але провадити медичну практику самостійно вони не повинні.

Члени ліцензійної комісії штату підписали спільний лист із вимогою призупинити пілот. Голова комісії Alan Smith пояснив заперечення одним реченням: препарат, який призначали раніше, не означає, що він доречний зараз.

Це заперечення стосується механіки, а не статусу лікарів як професії. Агент зіставляє поточний випадок з історичними даними, а стан людини змінюється. Препарат, що підходив рік тому, сьогодні може шкодити.

Що з цього брати у власну роботу з ШІ-агентами

Медичний кейс цікавий не медициною. У ньому видно повний набір умов, за яких регулятор узагалі погодився зняти людину з процесу, і цей набір переноситься майже без змін на інші відповідальні процеси.

Пʼять елементів, без яких автономія агента не працює

• Вузька задача. Один тип результату, одна шкала оцінки, короткий список можливих дій. Широку задачу перевірити зовні неможливо.
• Явна межа передачі людині. Числовий поріг або перелік умов, за яких агент зупиняється сам. Межа перевіряється до того, як агент почне діяти, і не залежить від його впевненості.
• Вимірюваний збіг з експертом. Рішення агента треба регулярно порівнювати з рішеннями фахівця на тих самих випадках, дивлячись на характер розходжень.
• Поетапне зняття контролю. Спершу людина перевіряє все, потім вибірку, потім рідку вибірку. Кожен крок відкривається лише після виконаних умов.
• Названий відповідальний. Має бути людина або підрозділ, який відповідає за наслідки роботи агента.

Ці пʼять елементів складаються в ту саму конструкцію, яку ми описували як три рівні контролю для надійних AI-агентів. Медичний пілот показав її там, де ціна помилки видна відразу.

Чи стосується це України

Прямо не стосується. Дозвіл видав конкретний американський штат у межах свого пілотного режиму, і на інші країни він не поширюється. В Україні штучний інтелект не має права самостійно ставити діагноз чи виписувати рецепт, а сервіс, про який ідеться, тут не працює.

Переноситься інше: сама схема допуску. Якщо ви ставите агента на процес, де помилка коштує грошей, здоров'я або репутації, корисно описати для себе ті самі пʼять пунктів ще до запуску. Робота нудна, зате дешевша за розбір наслідків.