Gemma проти шахраїв: ШІ ловить обман у чаті на телефоні

DeepMind разом із державною технологічною агенцією GovTech Singapore дообучили відкриту модель Gemma розпізнавати шахрайські розмови. Працює вона просто на телефоні: текст переписки не йде на зовнішні сервери. Якщо в чаті з'являється тиск і прохання переказати гроші, користувач бачить попередження з порадою не поспішати.

Для звичайного користувача смартфона тут змінюється сама точка, де ловлять обман. Обман ловить програма в самому телефоні, яка читає розмову разом з вами.

DeepMind і GovTech Singapore взяли відкриту модель Gemma й дообучили її під одне завдання: розпізнавати шахрайську розмову в переписці. Модель працює локально, тобто обчислення йдуть на самому пристрої, і текст чату не передається на зовнішні сервери. Доступ до повідомлень вона отримує лише за явною згодою користувача і тільки в межах того додатка, куди її вбудували. Замість блокування людина бачить попередження: не поспішати з переказом коштів або даних. Розробку представили на заході Singapore International Cyber Week.

Що саме зробили DeepMind і GovTech Singapore

Партнерство тут незвичне. З одного боку дослідницька лабораторія Google, з другого державна технологічна агенція Сингапуру, яка відповідає за цифрові сервіси для громадян. Разом вони взяли Gemma, відкриту модель Google, і дообучили її під розпізнавання шахрайських розмов. Результат вузький за задумом: детектор ознак обману в чаті.

Важлива деталь у тому, де виконується робота. Модель не відправляє переписку на перевірку, а рахує все на пристрої користувача. Саме це перетворює ідею з чергового антифрод-сервісу на функцію телефона.

Ланцюжок виходить короткий. Повідомлення приходить у чат. Модель на телефоні читає текст і шукає ознаки тиску та прохання про гроші. Якщо вони є, користувач бачить попередження й отримує паузу перед переказом. Якщо ознак немає, чат працює як звичайно, і людина про модель навіть не згадує.

Gemma простими словами: відкрита модель під одне завдання

Gemma це родина відкритих моделей Google. Відкрита означає, що її можна завантажити й доналаштувати під власну задачу, не питаючи дозволу щоразу. Саме доналаштування називають дообученням: моделі показують багато прикладів потрібного типу, і вона починає впевненіше розпізнавати саме їх.

Через це вузькі задачі часто закривають відкритою моделлю, а не найбільшою доступною. Маленька модель, навчена на одному типі розмов, влазить у телефон і не потребує хмари. Про вигоди такого підходу ми писали в розборі, чому відкрита архітектура виграє у швидких релізів.

Чим дообучена модель відрізняється від чат-бота і від чорного списку номерів

Чат-бот універсальний: він відповідає на будь-який запит і не має власної задачі в розмові. Чорний список працює з іншого боку, бо дивиться, хто пише, і реагує на вже відомі номери. Дообучена модель дивиться, як пише співрозмовник.

Модель не встановлює, хто саме по той бік. Вона оцінює текст розмови й ознаки тиску в ньому, тому шахрай із новим номером для неї не виняток.

Чому обробка просто на телефоні — інша історія для приватності

Серверна перевірка переписки виглядає інакше. Текст треба відправити на чужу машину, там його обробляють і повертають вердикт. Так з'являється місце, де чати лежать бодай короткий час. Локальна обробка такого місця не створює взагалі.

• Де лежить текст. При локальній обробці він залишається в пам'яті телефона; при серверній їде на чужу машину.
• Чи потрібен інтернет для перевірки. Локальній моделі з'єднання не потрібне; серверна без нього не працює.
• Що можна зламати або запросити. Бази чатів при локальній обробці немає; при серверній вона існує й стає окремою мішенню.
• Хто бачить розмову. Локально ніхто, крім користувача; на сервері доступ має той, хто цим сервером керує.

Що це означає на практиці: немає бази чатів, яку можна зламати

Питання «а хто ще прочитає мої повідомлення» тут закрите конструкцією, а не обіцянкою в політиці конфіденційності.

Різницю добре видно на знайомому прикладі. Коли сервіс обробляє запити в хмарі, приватність зводиться до налаштувань і до того, наскільки ви їм довіряєте. Як це влаштовано у звичайних чатах з моделями, ми розбирали в матеріалі про те, хто читає ваші чати з ChatGPT.

Локальна обробка не означає, що додаток взагалі нічого не надсилає назовні. Вона означає, що для цієї конкретної перевірки текст чату залишається на пристрої.

За якими ознаками модель бачить обман у розмові

Шахрайська розмова має пізнаваний каркас, і саме він цікавить модель.

• Тиск. Співрозмовник не дає подумати й повертає розмову до одного рішення. Що робити: вийти з темпу розмови й відповісти пізніше.
• Штучна терміновість. Усе горить, вікно можливості закривається, рішення треба «негайно». Що робити: перевірити строк в офіційному джерелі.
• Прохання переказати гроші. Рахунок, реквізити, посередник, «тимчасова» картка. Що робити: не переказувати до перевірки іншим каналом.
• Прохання передати особисті дані. Код із повідомлення банку, пароль, дані картки. Що робити: не надсилати нікому, хто б як не назвався.

Чому шахраї майже завжди тиснуть на час

Поспіх вимикає перевірку. Людина, яка має хвилину на роздуми, подзвонить родичу або зайде в застосунок банку. Людина, якій сказали «вирішуйте негайно», цього не зробить. Тому терміновість у переписці для моделі така ж сильна ознака, як пряме прохання про гроші.

Заведіть собі одне правило: прохання про гроші чи код перевіряється через окремий канал, який ви знайшли самі. Номер із того ж повідомлення не підходить.

Що побачить користувач: попередження замість блокування

Модель не розриває розмову й не скасовує платіж. Вона вставляє паузу: попередження з порадою не поспішати з переказом коштів або даних.

Рішення залишається за людиною, і це важить для довіри до такої функції. Відповідальність за гроші нікуди не переїжджає, а користувач отримує рівно те, чого бракує під тиском: кілька секунд на думку.

Хто отримує доступ до повідомлень і за якою згодою

Межі тут вузькі. Доступ до повідомлень модель отримує лише за явною згодою користувача і тільки в межах того додатка, куди її вбудовано. Системного перегляду всього телефона в цій схемі немає: поза своїм додатком модель нічого не читає.

Якщо тема особистих даних турбує вас ширше, у нас є окремий розбір, чи може ШІ знайти вашу особисту інформацію.

Межі технології: чого локальна модель не вміє

• Не блокує платіж. Попередження приходить у чат, а гроші йдуть через банк або застосунок переказів.
• Не замінює банківський антифрод. Перевірка переказів на стороні банку працює за іншими даними й лишається на місці.
• Не викриває підробний голос чи відео. Задача дообученої моделі стосується тексту розмови.
• Помиляється в обидві сторони. Можливий і пропущений шахрай, і попередження на звичайній переписці з родичем, який справді просить грошей.

Останній пункт варто тримати в голові. Попередження працює як привід перевірити співрозмовника іншим каналом. Цінність функції тримається на поверненій паузі, а точність вердикту тут другорядна.

Singapore International Cyber Week: чому такий інструмент показує держава

Розробку представили на Singapore International Cyber Week, великому заході з кібербезпеки. Разом із лабораторією її показувала державна технологічна агенція як співавтор моделі. Для громадян це сигнал про напрям: захист від шахрайства починають вбудовувати в масові додатки.

Відкрита основа робить такий шлях повторюваним. Інша країна чи окремий сервіс може взяти Gemma й дообучити її на власних сценаріях обману, бо українські схеми відрізняються від сингапурських і деталями, і мовою.

Що з цього вже може зробити український читач

Чекати, що подібна модель сама з'явиться у вашому телефоні, не варто: вона працює там, куди її вбудували розробники додатка. Корисна частина новини інша. Ознаки, за якими модель шукає шахрая, доступні людині без будь-якого ШІ.

Логіка дій не змінюється від того, чи є в телефоні детектор. Якщо попередження з'явилося, це привід на паузу. Якщо попередження немає, а на вас тиснуть і просять переказ, пауза потрібна так само.

Звички, які працюють без будь-якого ШІ

• Пауза на перевірку. Прохання про гроші відкладається хоч на кілька хвилин, навіть коли співрозмовник нервує.
• Другий канал. Співрозмовника перевіряють через контакт, який ви знайшли самі в застосунку банку чи в довіднику.
• Коди нікому. Код із повідомлення банку не передають навіть людині, яка назвалася співробітником банку.
• Розмова з близькими. Шахраї часто виграють там, де жертві соромно спитати пораду в сім'ї.

Gemma в цій історії цікава механікою: вузька задача, відкрита основа, обчислення на пристрої. Таким самим шляхом ШІ раніше зайшов у переклад і диктування, тепер черга дійшла до безпеки переписки.