Eleven Realtime: голосовий ШІ з паузою в півсекунди

ElevenLabs випустила дві моделі Eleven Realtime: вони перетворюють голос одразу в голос, без проміжного тексту, і відповідають приблизно за півсекунди. Старша версія v1 Max тримає майже дев'яносто дев'ять відсотків правильних відповідей на галузевому тесті розуміння мовлення. Молодша v1 Mini розрахована на прості розмови за меншу вартість. Обидві працюють через платформу ElevenAgents або сумісний Realtime API.

Eleven Realtime — дві моделі перетворення мовлення в мовлення для живих діалогів: звук заходить, звук виходить, проміжного тексту немає. Саме тому відповідь приходить приблизно за півсекунди, і розмова перестає відчуватися як спілкування з автоматом. v1 Mini беруть під прості сценарії на кшталт підтвердження замовлення чи мовного тренажера, а v1 Max беруть під складніші, як підтримка клієнтів. Підключитися можна двома шляхами: через готову платформу ElevenAgents без програмування або через сумісний з OpenAI Realtime API. Оплата рахується за хвилину розмови плюс токени.

Короткий словник

• Перетворення мовлення в мовлення — модель приймає звук і відразу віддає звук, без перекладу в текст посередині.
• Затримка — пауза між тим, як людина договорила, і тим, як агент почав відповідати.
• Realtime API — спосіб підключити модель до своєї програми для роботи в живому діалозі.
• Бенчмарк — стандартний набір завдань, на якому порівнюють моделі між собою.

Що саме випустила ElevenLabs

Запуск складається з двох моделей під спільною назвою Eleven Realtime. Обидві створені для живих розмов, тобто для ситуації, коли людина говорить у слухавку й чекає відповіді зараз, а не для обробки заздалегідь записаних файлів. Це помітна межа застосування: якщо у вас лежить архів інтервʼю, який треба озвучити іншим голосом, Eleven Realtime під цю задачу не брали.

Дві моделі під різні задачі

v1 Mini зібрали під природні діалоги за меншу вартість. v1 Max націлений на складніше: підтримку клієнтів, де агент має розібратися в нестандартній ситуації й не загубити нитку розмови.

У рейтингу швидкості та точності голосових моделей v1 Max стоїть у лівому верхньому куті графіка, і це означає поєднання високої точності з низькою затримкою. Сама ElevenLabs заявляє, що станом на запуск жодна інша модель у цьому рейтингу не є одночасно і швидшою, і точнішою. Заяву розробника варто читати з датою: рейтинг оновлюється, і через місяць картина може бути іншою.

Перетворення мовлення в мовлення: чому зникає пауза перед відповіддю

Голос заходить у модель і виходить із неї голосом. Проміжного тексту немає.

Як це працювало раніше

Звичайний голосовий бот працює ланцюжком із трьох кроків: розпізнати мовлення в текст, згенерувати текстову відповідь, озвучити її. Кожен крок забирає час, і паузи додаються одна до одної. Саме через це розмова з телефонним ботом відчувається ватною: ви договорили, а в слухавці тишина, і ви вже не впевнені, чи вас почули.

Перетворення мовлення в мовлення прибирає проміжні кроки. Звідси й затримка близько півсекунди.

Цифри запуску і як їх читати

Що перевіряє тест Big Bench Audio

Big Bench Audio — бенчмарк, на якому перевіряють, чи модель правильно відповідає на голосові запити. Майже дев'яносто дев'ять відсотків у v1 Max означають, що на завданнях цього набору вона майже не помиляється.

бенчмарк не обіцяє, що модель добре впорається з сильним акцентом, шумом у слухавці чи поганим звʼязком. Він не міряє і якість роботи з конкретною мовою. Висока оцінка на тесті дає підставу спробувати, але не дає підстави пускати агента на клієнтів без власної перевірки.

Чому відповідь менш як за секунду змінює відчуття розмови

У живій розмові пауза між репліками коротка, приблизно півсекунди. Коли агент влучає в цей темп, мозок перестає чути машину й починає чути співрозмовника. Різниця між паузою в півсекунди та паузою в дві секунди не зводиться до арифметики, бо вона змінює саму поведінку людини: на довгій паузі клієнт перепитує або кидає слухавку.

Яку модель брати під свою задачу

Орієнтир простий: складність діалогу, а не різниця у вартості. Якщо агент підтверджує замовлення, записує на послугу чи відповідає на типові питання, вистачить меншої моделі. Якщо він має розібратися у скарзі, звірити кілька умов і прийняти рішення, потрібна старша.

Починати дешевше з v1 Mini: ви побачите, де сценарій ламається, і перейдете на v1 Max уже з розумінням, чого саме не вистачало.

Модель чує, коли ви договорили

v1 Mini вміє відрізняти завершену думку від короткого підтакування на кшталт «мм-гм». Для голосових ботів це була найдратівніша поломка: людина робить паузу, щоб підібрати слово, а бот уже перебиває.

Де це взяти: платформа ElevenAgents і сумісний Realtime API

Шлях без програмування

ElevenAgents — готова платформа, де сценарій агента збирають в інтерфейсі. Власнику кав'ярні чи автосервісу цього шляху достатньо: описати, що агент має питати й відповідати, підключити номер, протестувати на собі.

Шлях через API для тих, у кого вже є інтеграція

Якщо у вас працює чат-бот або власна система обробки звернень, голос додається через Realtime API, сумісний з інтерфейсом OpenAI. Переписувати логіку з нуля не доведеться: змінюється постачальник моделі, а структура виклику залишається знайомою.

Як рахується оплата за голосового агента

Рахунок складається з двох частин: хвилини розмови та токени. Старша модель дорожча за молодшу.

така схема означає, що витрата залежить від того, скільки й як довго з вами говорять, а не від кількості зареєстрованих користувачів. Для бізнесу з потоком коротких дзвінків це вигідно. Для сценарію з довгими консультаціями рахунок зростає швидко, тому його варто порахувати на реальній середній тривалості дзвінка.

Практичні сценарії для малого бізнесу й викладачів

Прийом замовлень по телефону та голосовий FAQ

Найочевидніший сценарій: дзвінки, на які нікому відповідати. Агент бере типовий потік (години роботи, наявність, запис на час, підтвердження адреси) і звільняє людину для складних випадків. Схожу задачу ми вже розбирали покроково в матеріалі про те, як за годину налаштувати телефонного бота без коду.

перші дні тримайте запис розмов і слухайте їх самі. Місця, де агент не зрозумів клієнта, видно одразу, і зазвичай справа не в моделі, а в тому, що сценарій не передбачив звичайного питання.

Розмовний тренажер із мови

Викладачі отримують співрозмовника, який відповідає в темпі живої людини й не перебиває. Для учня це важливіше за ідеальну вимову: страх говорити зникає, коли діалог не розсипається на паузах.

Межі застосування: де голосовий агент ще не замінить оператора

Агент добре закриває передбачуване. Скарга, спірна оплата, нестандартна домовленість — це все ще робота людини, і сценарій має вміти передати дзвінок оператору.

Швидкість і точність моделі не рятують, якщо навколо неї немає перевірок. Ми писали про це окремо: три рівні контролю для надійних ШІ-агентів працюють і для голосу.

Що це означає для українського користувача

Про якість роботи саме з українською мовою з даних запуску нічого не відомо: там ідеться про точність і швидкість загалом, без розбивки за мовами. Тому перевірка лягає на вас.

Якщо результат не влаштував, Eleven Realtime не єдиний варіант: голосового агента українською можна зібрати й на Voxtral 3. Порівняти обидва на власних дзвінках дешевше, ніж обирати за таблицями бенчмарків.