Голосового агента, який відповідає на дзвінки українською, приймає замовлення й записує клієнтів, тепер можна підняти за один вечір. Mistral AI випустила Voxtral 3 — родину моделей, де розпізнавання мовлення, мислення, виклик зовнішніх систем і синтез голосу працюють одним потоком. Готовий SDK знімає потребу писати код.
Для малого бізнесу тут є практичний бік. Прийом замовлень і запис на послугу можна віддати агенту, не наймаючи колцентр і не шукаючи окремого підрядника під кожну мову.
Voxtral 3 від Mistral AI — це єдиний стек для голосових агентів: модель розпізнавання мовлення, мовна модель, модель синтезу мовлення і SDK, який тримає розмову в реальному часі. Розпізнавання працює для понад пів сотні мов, серед них українська; синтез — для понад трьох десятків мов і близько півсотні діалектів з емоційною адаптацією. Агент може звернутися до календаря, бази замовлень чи CRM просто посеред розмови з клієнтом. Стек ставиться на власний сервер або працює через API з хостингом у ЄС, і тоді записи розмов не покидають Європи. Технічна частина забирає вечір, а сценарій передачі розмови живому адміністратору забере більше.
Що таке Voxtral і чому це не просто ще одна модель
Донедавна голосовий бот збирався з трьох окремих сервісів. Один слухав і перетворював мову на текст, другий думав над відповіддю, третій озвучував її голосом. Склеювати їх доводилося вручну, і на кожному стику губилися секунди: клієнт чув паузу й починав перепитувати.
Voxtral 3 зібраний як один конвеєр. Слухання, мислення, виклик зовнішніх інструментів і мовлення живуть у ньому разом та працюють потоково. Агент починає відповідати, не дочекавшись кінця фрази, тому розмова звучить живо, без відчуття обміну репліками через рацію.
Анонс вийшов цієї осені, і головне в ньому саме складання стека в одне ціле.
Що відбувається під час одного дзвінка
- Клієнт говорить
- Розпізнавання мовлення
- Мовна модель розуміє
- Синтез мовлення
- Клієнт чує відповідь
- Мовна модель розуміє
- потрібні даніКалендар або база замовлень
- Мовна модель розуміє
- Мовна модель розуміє
- питання не для агентаПередача адміністратору
З чого складається стек: хто слухає, хто думає, хто говорить
Частин чотири, і кожна робить свою роботу.
| Складова | Що робить | Що з цього потрібно бізнесу |
|---|---|---|
| Voxtral Small Transcribe 3 | Перетворює мову клієнта на текст у реальному часі | Перевірена якість розпізнавання української на ваших типових дзвінках |
| Мовна модель | Розуміє запит, тримає контекст розмови й вирішує наступний крок | Сценарій: що агент відповідає, що уточнює, коли передає людині |
| Voxtral Mini TTS 3 | Озвучує відповідь голосом з емоційною адаптацією | Голос, який не дратує ваших клієнтів |
| SDK голосового агента | Тримає весь обмін одним потоком і дає доступ до зовнішніх систем | Готова обв'язка замість власного коду |
Розпізнавання мовлення: агент чує клієнта
Цю роботу робить Voxtral Small Transcribe 3. Модель слухає потік з телефонної лінії й віддає текст далі по конвеєру. Саме тут ламається більшість голосових ботів: шум у залі, два голоси одночасно, назва вулиці, яку клієнт вимовляє скорочено.
Мовна модель: агент розуміє і вирішує, що робити
Мовна модель читає розшифровку й вибирає наступний хід: відповісти, уточнити, звернутися до календаря або передати розмову людині. Її поведінку задає ваш сценарій — звичайний текст, де описано, що агент робить у типових ситуаціях.
Синтез мовлення: агент відповідає живим голосом
Voxtral Mini TTS 3 озвучує готову відповідь. Підтримка понад трьох десятків мов і близько півсотні діалектів з емоційною адаптацією означає, що голос можна підібрати під свою аудиторію замість єдиного роботизованого тембру.
SDK голосового агента: усе це тримається одним потоком
SDK — готова обв'язка, яка з'єднує три моделі з телефонною лінією й тримає таймінг розмови. Побудований він на LiveKit, технології для живого аудіо, знайомій усім, хто колись робив відеозв'язок у браузері. Для вас це означає, що власний транспорт для звуку писати не доведеться.
Чи розмовляє агент українською — і що перевірити до запуску
Так, українська входить у покриття: розпізнавання заявлене для понад пів сотні мов, синтез для понад трьох десятків. Заявлене покриття й реальна якість на ваших дзвінках усе одно речі різні.
Візьміть десяток власних записів розмов, причому найгірших: вечірня зміна, фоновий шум, клієнт поспішає. Проженіть їх через розпізнавання й подивіться розшифровку очима. Імена, адреси, назви послуг і вставлені англійські слова ламаються першими.
окремо перевірте, як модель чує ваші власні назви. Якщо салон називається складно, додайте підказку в сценарій: агент має просити клієнта повторити ім'я по літерах у момент запису, а не вгадувати його.
Запуск по кроках: від вибору розгортання до першого тестового дзвінка
Чверть години, обіцяна в заголовку, стосується самого агента. Телефонія, інтеграція з календарем і правки сценарію живуть окремо й займуть більше.
15 хвилин запуску по кроках
- Вибір способу розгортання
- Доступ до стека
- Запуск SDK голосового агента
- Сценарій розмови українською
- Тестовий дзвінок
- Тестовий дзвінок
- агент не зрозумів фразуПравка сценарію
- Тестовий дзвінок
- Тестовий дзвінок
- Підключення номера телефонії
- Перший живий клієнт
Крок перший: вибрати, де житиме стек
Варіантів два: власний сервер або API з хостингом у ЄС. Від цього вибору залежить усе інше, тому його роблять до першого рядка сценарію.
Крок другий: підняти готовий SDK голосового агента
Тут нічого вигадувати не треба. SDK запускається як готовий застосунок, а ви лише вказуєте йому доступ до моделей.
Крок третій: написати сценарій розмови українською
Сценарій — це текст. Опишіть, як агент вітається, які питання ставить, що робить, коли клієнт просить людину, і чим закінчує розмову. Коротше краще: довгий сценарій плутає модель так само, як плутає нового адміністратора.
Крок четвертий: подзвонити своєму агенту самому
Перший тестовий дзвінок робіть власним голосом і в найневигідніших умовах: з вулиці, з машини, зі включеним телевізором. Почуєте одразу все, що не працює.
Як агент звертається до календаря, замовлень і бази просто під час розмови
Це головна відмінність від автовідповідача. Агент може викликати зовнішню систему прямо посеред діалогу: подивитися вільні вікна, записати клієнта, перевірити статус замовлення, назвати суму в рахунку.
З боку бізнесу потрібне те, до чого можна звернутися. Календар, CRM чи база замовлень мусять мати API, тобто інтерфейс для програм, а не лише екран для людини. Якщо запис у вас ведеться в паперовому зошиті, починати доведеться з цього зошита.
дайте агенту рівно ті права, які потрібні для розмови. Подивитися вільні вікна й створити запис — так. Видаляти чужі записи або бачити історію всіх клієнтів — ні.
Власний сервер чи API в ЄС: що вибрати під свої дані
Обидва шляхи робочі, і вибір тут не технічний, а про дані.
Де розгортати Voxtral 3 — у себе чи через API в ЄС?
- Записи розмов не можуть покидати ваш серверВласна інфраструктура: стек ставите у себе
- Своєї технічної команди немаєAPI з хостингом у ЄС: дані лишаються в Європі
- Хочете перевірити ідею вже сьогодніAPI з хостингом у ЄС: найшвидший старт
- Дзвінків багато й щодняЧи є вже власний сервер під навантаження?
- Єпереносьте стек до себе
- Немаєпочинайте з API в ЄС
Власний сервер означає, що аудіо й розшифровки не покидають вашої інфраструктури. Ціна рішення — своє залізо та людина, яка його обслуговує.
API з хостингом у ЄС знімає залізо з вас і лишає обробку в Європі, під європейськими правилами захисту персональних даних. Для салону, клініки чи сервісу це зазвичай достатня гарантія, а старт виходить швидший.
Як дзвінки доходять до агента: телефонія й номер
Сам стек не має номера телефону. Дзвінки приводить телефонія: ваш оператор або сервіс віртуальних номерів, який уміє передавати аудіопотік застосунку. Налаштовується це окремо від агента, і найчастіше саме тут люди застрягають.
Якщо такий шлях ви проходите вперше, подивіться наш розбір того, як налаштувати телефонного бота на прийом дзвінків: механіка підключення номера там описана по кроках і не залежить від того, яка модель стоїть за агентом.
Коли розмову мусить забрати людина
Передача людині — не аварійний вихід, а частина нормального сценарію. Опишіть її так само докладно, як вітання.
Агент не розпізнав запит, повторює «не зовсім вас зрозумів» по колу, клієнт кидає слухавку. Розмова втрачена, і ви про неї навіть не дізнаєтеся.
Після другої невдалої спроби агент каже, що передає розмову адміністратору, ставить дзвінок у чергу й лишає запис із розшифровкою. Клієнт говорить з людиною, а ви бачите, на чому агент спіткнувся.
Чим це замінює колцентр, а чим ні
Агент добре закриває повторювані розмови. Усе, де потрібне рішення людини, лишається людям.
| Задача | Агент | Людина |
|---|---|---|
| Прийняти замовлення за готовим переліком | Так | Контроль вибірково |
| Записати клієнта на послугу | Так | Якщо потрібен складний графік |
| Назвати години роботи, адресу, статус доставки | Так | Ні |
| Скарга або повернення коштів | Прийняти й передати | Так |
| Торг, знижка, нестандартна умова | Ні | Так |
| Постійний клієнт, який прийшов «до свого» майстра | Ні | Так |
Межі технології: шум, мішана мова, імена й адреси на слух
Чесний перелік того, де агент спіткнеться:
- Шум і накладені голоси. Салон у годину пік або кухня за спиною різко псують розпізнавання.
- Мішана мова в одній фразі. «Запишіть мене на нейл-дизайн» модель почує, а от назву процедури англійською впереміш з українською може вгадати неправильно.
- Імена, адреси й номери на слух. Їх варто проговорювати повторно й підтверджувати, інакше запис піде з помилкою.
- Затримка. Потокова робота стека ховає більшість пауз, але довгий виклик до повільної CRM чути в розмові.
- Сценарій, якого немає. Модель не вигадає правила вашого бізнесу: що не описано, те й поведеться непередбачувано.
Останній пункт найчастіше й ламає впровадження. Про те, чому проблема зазвичай сидить не в моделі, ми розбирали окремо в матеріалі про три рівні контролю для надійних агентів.
Юридичний бік: попередження про ШІ, записи розмов і персональні дані
Три речі, які закривають питання до того, як воно виникне. Перша: клієнт має почути на початку розмови, що говорить з ШІ. Друга: якщо дзвінки записуються, потрібна законна підстава для запису й зберігання. Третя: доступ до розшифровок усередині компанії варто обмежити тими, кому вони потрібні по роботі.
розшифровка розмови — такі самі персональні дані, як номер телефону в базі. Ризики, які виникають, коли такі дані розповзаються, ми розбирали в матеріалі про пошук особистої інформації за допомогою ШІ.
Як зрозуміти, що агент працює: за чим дивитися в перший тиждень
Дивіться не на технічні логи, а на розмови. У скількох дзвінках агент дійшов до запису або замовлення. Скільки обірвалося посеред діалогу. На яких фразах клієнт перепитував двічі. Скільки розмов агент передав людині й чи встигла людина взяти.
Прослухайте десяток записів особисто. Це нудно, і це єдиний спосіб побачити, де сценарій бреше.
Чеклист готовності перед запуском
- Спосіб розгортання вибраний. Власний сервер або API з хостингом у ЄС, рішення ухвалене свідомо.
- Номер і телефонія готові. Є канал, який приведе дзвінок до застосунку.
- Доступ до календаря чи бази є. З правами тільки на потрібні дії.
- Сценарій написаний. Разом з гілкою передачі людині й текстом попередження про ШІ.
- Людина на підхваті. Хтось бере розмову, коли агент її передає.
- Десяток своїх записів прогнаний. Якість розпізнавання перевірена на власному матеріалі, а не на демонстрації.
Коли ці шість пунктів закриті, вечора справді досить.