Голосовий агент на Gemini Live: телефонний бот без коду

Телефонного голосового ШІ-агента на Gemini Live збирають із трьох частин: модель, місток до телефонії і сценарій-промпт. Писати код не треба: усе налаштовується у браузері кліками й текстом. Години вистачає, щоб агент прийняв перший дзвінок на реальний номер і відповів голосом українською.

Порядок нижче такий самий, як роблять руками: доступ до моделі, місток, вхідний номер, промпт, тестовий дзвінок самому собі. Далі йдуть деталі, на яких такі проєкти ламаються найчастіше: затримка відповіді, перебивання, якість української мови, передача дзвінка живому оператору і запис результату в CRM.

Голосовий ШІ-агент на Gemini Live тримається на трьох цеглинках: модель у режимі native audio (діалог звук-у-звук), місток до телефонії і сценарій-промпт із правилами розмови. Власного телефонного номера в моделі немає, тому вхідний номер беруть окремо: у місцевого українського оператора або як закордонний із переадресацією. Місток можна взяти готовий (Vapi, Retell AI, Synthflow, ElevenLabs Agents, LiveKit) або підключити власний SIP-транк, якщо у вас уже є АТС. Головна умова, без якої нічого не працює: коротке перше речення, дозвіл перебивати агента і явне правило передачі дзвінка людині. Рахунок за хвилину розмови виставляють кілька постачальників одночасно, тож у розрахунок беруть їхню суму.

Короткий словник

• Native audio — режим, у якому модель чує звук і одразу відповідає звуком, без проміжного перетворення в текст.
• Виклик функцій — уміння моделі просто під час розмови звернутися до зовнішнього сервісу: подивитися вільний час у календарі або створити запис.
• Ефемерний токен — тимчасовий ключ доступу з коротким строком життя, який видають замість постійного.
• SIP-транк — канал, яким телефонні дзвінки від оператора приходять у ваш сервіс через інтернет.
• Вебхук — HTTP-запит, який один сервіс сам надсилає іншому, коли щось сталося.

Коротка відповідь: три цеглинки і порядок, у якому їх з'єднують

Цеглинок три, і міняти їх місцями не вийде.

• Модель. Gemini Live у режимі native audio: приймає звук абонента і віддає звук у відповідь, тримаючи одну сесію на весь дзвінок.
• Місток до телефонії. Сервіс, який приймає телефонний дзвінок і в реальному часі гонить звук до моделі та назад. Він же вмикає запис, транскрипт, перемикання на оператора і вебхуки.
• Сценарій-промпт. Текст із роллю агента, першим реченням, межами і правилами: чого не обіцяти, що перепитати, коли передати дзвінок людині.

Спершу підключають модель до містка, бо без цього нічого не перевірити. Потім чіпляють номер: доти агент живий тільки у веб-демо на сайті платформи. Промпт доводять останнім, коли вже чути реальний звук у слухавці, інакше правки доводиться вигадувати наосліп.

Що технічно змінилося в Gemini Live і чому код став необов'язковим

Діалог звук-у-звук замість ланцюжка «розпізнавання → модель → синтез»

Раніше голосового бота складали з трьох окремих сервісів. Один розпізнавав мову й перетворював її на текст, другий думав над текстом, третій синтезував відповідь голосом. Кожен стик між ними хтось мусив написати й підтримувати, а до затримки додавалася черга з трьох очікувань. Саме ця склейка й вимагала програміста.

Native audio прибирає проміжні перетворення: модель приймає потік звуку і відповідає потоком звуку в одній сесії. Разом зі словами до неї доходить те, що в тексті не збереглося: темп мовлення, паузи, інтонація питання. Відповідь теж іде голосом одразу, без окремого етапу синтезу.

Для власника бізнесу наслідок простий: зникла робота, заради якої наймали розробника. Лишилося налаштування, яке роблять у формах.

Виклик функцій просто під час розмови

Агент, який тільки говорить, майже марний. Користь починається там, де він під час дзвінка може подивитися вільні вікна в календарі, створити запис, перевірити статус замовлення за номером.

Це і є виклик функцій. Ви описуєте функцію словами: назва, коли її викликати, які поля збирати. Місток надсилає ці поля вебхуком у ваш сценарій у Make чи Zapier, звідти дані потрапляють у CRM або таблицю, а відповідь повертається моделі, і вона веде розмову далі вже з новими даними. Опис функції — звичайний текст у формі.

Ефемерні токени: чому ключ доступу не має жити на сторінці

Постійний ключ доступу до моделі — це пароль до вашого рахунку за обчислення. Якщо вставити його у код вебсторінки з мікрофоном, його побачить будь-хто, хто відкриє вихідний код сторінки.

Ефемерний токен вирішує це: сервер видає тимчасовий пропуск із коротким строком життя і обмеженими правами, і саме пропуск потрапляє до браузера. У готових платформах-містках постійний ключ узагалі лежить на їхньому боці, вам достатньо вставити його один раз у налаштуваннях акаунта.

Ключ доступу до моделі не можна класти у публічний no-code-сценарій, у код сторінки чи у спільну таблицю. Витік такого ключа зазвичай помічають уже за рахунком за обчислення. Якщо робите вебдемо з мікрофоном самі, віддавайте у браузер ефемерний токен.

Місток до телефонії: готовий конектор чи власний SIP-транк

Модель не вміє приймати дзвінки і не має номера. Хтось має підняти слухавку, перетворити телефонний звук на потік, зрозумілий моделі, і повернути відповідь назад у лінію. Це й робить місток.

Що беруть на себе готові платформи: Vapi, Retell AI, Synthflow, ElevenLabs Agents, LiveKit

Готова платформа закриває всю технічну частину: тримає з'єднання з моделлю, стежить, коли абонент почав і закінчив говорити, дає перебити агента, пише запис і транскрипт, вміє перекинути дзвінок на живий номер і надіслати вебхук після розмови. Номер там або беруть у самому інтерфейсі, або підключають свій через SIP.

Vapi, Retell AI, Synthflow і ElevenLabs Agents ближчі до конструктора: акаунт, кілька форм, вибір моделі й голосу. LiveKit ближчий до інфраструктури: більше контролю над медіа і більше налаштувань, у які треба вникати. Різниця відчувається на другому тижні, коли починаються нетипові сценарії.

Коли має сенс тягнути власний SIP-транк і що це вимагає

Власний SIP-транк беруть тоді, коли номер уже працює в компанії і його нікуди не хочеться переносити, або коли дзвінки мають далі йти на внутрішні номери відділу. Оператор видає дані для під'єднання, ви вписуєте їх у місток.

Чесно про межу: тут «без коду» закінчується. Треба розуміти налаштування АТС, кодеки, поведінку за NAT і фаєрволом. Якщо у вас є людина, яка адмініструє телефонію, це півгодини її роботи. Якщо такої людини немає, готовий конектор з'їсть менше нервів.

Звідки взяти вхідний номер для агента

Український номер: що дає місцевий оператор і які документи знадобляться

Місцевий номер абонент упізнає і бере слухавку. Для підключення оператори зазвичай просять договір і документи ФОП або компанії, іноді окрему заяву на активацію SIP. Українські VoIP-оператори видають дані для SIP-під'єднання, і саме ці дані ви вставляєте в місток.

Окрема історія — перенесення чинного номера до іншого оператора. Поки перенесення триває, дзвінки нікуди не діваються, але тестувати агента на робочому номері в цей момент не варто.

Перший тиждень тримайте агента на окремому тестовому номері, а на робочий поставте переадресацію лише в неробочі години. Так ви побачите живі дзвінки і нічим не ризикуєте. Основний номер перемикають після десятка нормальних розмов.

Закордонний номер із переадресацією: швидкий старт і приховані мінуси

Закордонний номер оформлюють у кілька кліків на міжнародній платформі, без паперів. За це платять трьома незручностями. Перша: людина бачить чужий код країни і часто не бере слухавку. Друга: переадресація додає ще одну ділянку маршруту, а разом із нею і затримку. Третя: після переадресації агент часто бачить номер переадресації замість номера того, хто телефонує, і в CRM падає сміття.

Покроково за годину: від реєстрації акаунта до першого прийнятого дзвінка

Підготовка: доступ до моделі, платформа-місток і тестовий номер

Найдовше зазвичай тягнуться доступ до моделі і номер. Решта складається з форм, які заповнюють швидше, ніж читають інструкцію до них.

Сценарій-промпт: роль агента, межі, перше речення й фінал розмови

Промпт замінює не побажання, а посадову інструкцію: хто агент, що він знає, чого не робить, якими словами вітається, чим закінчує розмову і за яких умов кличе людину.

Дві сторінки такого тексту роблять для розмови більше, ніж будь-яке налаштування голосу. Фінал розмови теж пропишіть: чим агент прощається і що робить, коли питання вичерпані.

Перший тестовий дзвінок і швидкі правки за гарячими слідами

Дзвоніть як клієнт, а не як тестувальник. Не диктуйте чітко, перебивайте, змінюйте рішення посеред фрази, спитайте щось поза сценарієм. Саме на цьому агент і сиплеться.

Потім послухайте запис і прочитайте транскрипт поруч. У транскрипті видно, що модель почула насправді, і половина дивних відповідей пояснюється тим, що вона почула інше слово. Правок після першого дзвінка зазвичай дві-три, і всі вони в промпті.

Як отримати скіл «AI Telephony Demo» від videosdk-community і запустити його в себе

Звідки береться цей скіл і що всередині

Це публічний репозиторій спільноти videosdk: https://github.com/videosdk-community/ai-telephony-demo

Усередині лежить демонстраційна збірка ШІ-телефонії разом із папкою скіла, яку підключають до Claude Code. Скіл корисний тим, що дає готову структуру: як дзвінок доходить до моделі, які частини за що відповідають, у якому порядку їх з'єднують. Читати код для цього не обов'язково.

Що зробити, щоб почати ним користуватися

Завантажте репозиторій кнопкою Download ZIP або командою:

git clone https://github.com/videosdk-community/ai-telephony-demo

Потім покладіть папку зі скілом у каталог .claude/skills і перезапустіть Claude Code. Після перезапуску скіл видно у списку доступних, і його можна викликати у звичайному чаті.

З чого складається вартість хвилини розмови

Окремі рахунки, які треба скласти в один

Хвилина розмови з агентом коштує стільки, скільки виставлять чотири незалежні постачальники разом. Вхідна телефонія: номер і хвилини від оператора. Місток: з'єднання і передача медіа. Модель: аудіо на вхід і аудіо на вихід тарифікуються окремо. Транскрипція, запис і зберігання файлів: іноді входять у тариф містка, іноді ні.

Сесія з моделлю тарифікується весь час, поки вона відкрита, включно з паузами, коли абонент мовчить чи шукає документ. Тому довгі очікування в сценарії дорожчі, ніж здається за транскриптом.

Приклад розрахунку для малого, середнього та великого потоку дзвінків

Формула однакова для будь-якого обсягу: кількість дзвінків, помножена на середню тривалість і на суму тарифів за хвилину. Множник, який недооцінюють, це середня тривалість: агент, який перепитує і повторює, тримає лінію довше за живого адміністратора.

Малий потік у десятки дзвінків на день майже не відчувається в бюджеті, і рахувати його достатньо раз на місяць. Сотні дзвінків уже показують різницю між містками, тож двох постачальників варто прогнати на однакових сценаріях. На тисячах дзвінків починає окупатися власний SIP-транк і предметна розмова з оператором про тариф.

Як порахувати власний обсяг хвилин, не вгадуючи

Дані вже є у вашій АТС або в деталізації від мобільного оператора. Візьміть звіт за минулий місяць, залиште тільки вхідні у робочі години, складіть тривалості. Потім відніміть дзвінки, які агент точно не братиме: постачальники, кур'єри, свої.

Окремо порахуйте частку дзвінків, у яких агент доведе справу до кінця сам. Решта припадає на передачі оператору, і ці хвилини теж тарифікуються.

Затримка і якість звуку: за що бореться голосовий агент

Час до першої репліки та з чого складається бюджет затримки

Пауза перед відповіддю складається з кількох ділянок, і модель відповідає лише за одну з них. Дзвінок іде від оператора до містка, місток пакує звук і шле його до моделі, модель думає й починає віддавати звук, потім усе повертається назад у телефонну лінію. Плюс буфер, який згладжує нерівний інтернет.

Коли пауза стає довшою за звичайну паузу в живій розмові, абонент починає повторювати питання, і агент отримує ще одну фразу поверх власної відповіді. Тому зайві секунди шукають спершу в маршруті дзвінка.

Регіон дата-центру і маршрут, яким іде дзвінок

Вибирайте європейський регіон і для моделі, і для містка. Кожен зайвий переліт через океан додається до кожної репліки в обидва боки. Закордонний номер із переадресацією накидає ще одну ділянку поверх усього іншого. У налаштуваннях містка знайдіть, де стоять його медіасервери; іноді достатньо перемкнути один пункт у формі.

Вузькосмуговий телефонний звук проти широкосмугового в моделі

Телефонна лінія передає вужчу смугу частот, ніж мікрофон ноутбука. Через це шиплячі, глухі приголосні й схожі за звучанням числа втрачаються ще до того, як звук дійде до моделі. Демо у браузері звучить бездоганно, а той самий агент у слухавці плутає «шість» і «сім».

Звідси практичний висновок: приймальні тести роблять тільки живими дзвінками з мобільного, з вулиці й з машини.

Перебивання і паузи: як зробити розмову схожою на людську

Детектор мовлення і тиша, після якої агент починає відповідати

Детектор мовлення вирішує, коли абонент почав говорити і коли замовк. Від порога тиші залежить уся динаміка розмови. Поставите короткий поріг: агент влізе в середину фрази, щойно людина зробить паузу перед прізвищем. Поставите довгий: у слухавці висітиме мовчання, і абонент перепитає «алло».

Шум ламає цей механізм швидше за все інше. Дзвінок із машини, з вулиці, з залу салону детектор читає як мовлення, і агент починає відповідати в порожнечу.

Підхоплення початку фрази та боротьба з ехом власного голосу

Агент має замовкати на першому складі абонента. Якщо цього немає, людина повторює голосніше, і двоє говорять одночасно, поки хтось не здасться.

Друга біда — ехо. Голос агента повертається до нього через лінію, детектор чує мовлення і вирішує, що його перебили. Агент замовкає сам від себе. У платформах це лікується придушенням ехо і чутливістю детектора; обидва пункти зазвичай є у формі налаштувань дзвінка.

Українська на практиці: чого чекати від агента в реальних дзвінках

Суржик, англійські терміни й назви брендів у мовленні співрозмовника

Суржик модель тримає непогано: змішані слова вона розуміє за змістом фрази. Проблеми починаються на власних назвах. Марки авто, назви процедур, моделі запчастин, прізвища майстрів приходять у транскрипт спотвореними, і агент перепитує там, де людина вже все сказала.

Лікується це списком. Випишіть у промпт два-три десятки назв, з якими працюєте, і те, як вони звучать у розмові. Додайте правило перепитувати назву, якщо впевненості немає.

Диктування телефонів і адрес, вимова чисел, дат і сум

Номер телефону агент має повторити вголос і дочекатися підтвердження. Те саме з адресою і часом візиту. Без цього помилка в одному символі з'ясується тоді, коли клієнт не прийде.

Дати краще проговорювати словами і разом із днем тижня. Формат вимови теж пропишіть у промпті, інакше агент прочитає номер суцільним числом, і на слух його ніхто не впізнає.

Правило в промпті: коли отримав номер телефону, повтори його парами цифр і спитай, чи правильно записано; коли отримав час, назви день тижня і час словами. У транскрипті це виглядає надлишково, у слухавці — рятує запис.

Передача дзвінка живому оператору

Теплий переказ: що агент каже перед перемиканням і що передає далі

Теплий переказ означає, що оператор бере слухавку вже підготовленим. Перед перемиканням агент говорить фразу-місток на кшталт «з'єдную з менеджером, зачекайте, будь ласка». Одночасно вебхук кладе в CRM картку з номером, ім'ям і суттю звернення однією фразою.

Холодний переказ виглядає для клієнта як початок спочатку: оператор питає те саме, що людина щойно розповіла агенту. Різницю чути в першій же секунді розмови.

Робочі години та план Б, якщо слухавку ніхто не бере

Правило передачі має три умови: робочий час, вільний оператор, обмежене число гудків. Якщо хоч одна умова не виконується, агент пропонує альтернативу: записати номер для зворотного дзвінка або оформити запис самому.

Неробочі години пропишіть окремо, разом зі святами. Агент, який о другій ночі обіцяє з'єднати з менеджером, псує враження сильніше за пропущений дзвінок.

Куди падає результат дзвінка: CRM, Google Sheets і Google Calendar

Виклик функцій і вебхуки простими словами

Ланцюжок такий: агент під час розмови викликає функцію, місток надсилає вебхук у ваш сценарій, сценарій створює запис і повертає відповідь, агент озвучує її абоненту. Усе це триває секунди, поки людина в слухавці чекає.

Сценарій зручно зібрати там, де ви вже щось збирали. Готові зв'язки описані у гайді про сценарії Zapier для Gemini, а підключення календаря та інших робочих сервісів розібране у матеріалі про Gemini Connected Apps.

Які поля збирати, щоб запис про дзвінок був справді корисним

• Номер абонента. Саме той, з якого телефонували; після переадресації туди легко потрапляє службовий номер.
• Ім'я і суть звернення однією фразою. Щоб оператор зрозумів картку за пару секунд.
• Послуга і бажаний час. Два поля, які найчастіше й потрібні для запису.
• Результат дзвінка. Записався, передзвонити, передано оператору, не цільовий.
• Посилання на запис і транскрипт. Без них розібратися у спірному дзвінку неможливо.

Коли щось іде не так: таймаути, обриви й ліміти

Обрив сесії, повторне під'єднання та німа лінія

Найгірший сценарій не помилка, а тиша. Сесія з моделлю обірвалася, лінія жива, абонент говорить у порожнечу і кладе слухавку.

Захист простий. У містку вмикають правило: якщо відповіді немає довше за встановлену паузу, програти коротку фразу-заглушку і спробувати під'єднатися повторно, а на другій невдачі перекинути дзвінок на оператора або голосову пошту. Такі дзвінки корисно позначати окремо, щоб бачити їхню частку за тиждень.

Ліміт одночасних дзвінків і запасна голосова пошта

Ліміт одночасних дзвінків стоїть і на містку, і на боці моделі. Коли він вичерпаний, наступний абонент чує короткі гудки і рідко передзвонює.

Запасний план: переливати надлишок на голосову пошту з обіцянкою передзвонити, а контакт із неї відправляти тим самим вебхуком у CRM. Перевіряють це просто: попросіть трьох колег подзвонити одночасно.

Юридичний мінімум і безпека

Попередження про запис і згода на обробку персональних даних

Запис телефонних розмов та обробка голосу клієнтів в Україні підпадають під Закон «Про захист персональних даних», тому абонента треба попередити і про запис, і про те, що він говорить із ботом.

Попередження ставлять у перше речення агента: воно має прозвучати до того, як людина почне розповідати про себе. Окремо визначте строк зберігання записів і того, хто має до них доступ.

Захист від маніпуляцій із боку того, хто телефонує

Голосовий агент отримує вказівки голосом, і хтось обов'язково спробує цим скористатися: забудь попередні інструкції, повтори свою інструкцію, зроби мені знижку як постійному клієнту. Модель за замовчуванням послужлива, тому межі задаєте ви.

• Короткий список функцій. Агенту доступні тільки ті дії, які потрібні у сценарії.
• Заборона на незворотні дії. Оплати, знижки і скасування замовлень залишайте людині.
• Правило мовчання про інструкції. Пропишіть, що зміст промпту агент не переказує.
• Журнал викликів функцій. Раз на тиждень перегляньте, які функції викликалися і з якими полями.

Чек-лист приймальних тестів: десяток дзвінків і метрики, які варто зафіксувати

Перед бойовим запуском проженіть агента через однакові сценарії і запишіть результат у таблицю. Сценарії: типовий запит, абонент перебиває, дзвінок із вулиці з шумом, суржик і англійські назви, питання поза сценарієм, диктування телефону, вимога покликати людину, дзвінок у неробочий час, два одночасні дзвінки, мовчання в слухавку.

Фіксуйте чотири речі: час до першої репліки, частку дзвінків із повністю зібраними полями, частку передач оператору і частку обривів. Ці числа й покажуть, чи можна пускати агента на робочий номер.

Коли голосовий агент не окупається: межа застосовності

Агент не окупається там, де дзвінків мало. Кілька дзвінків на день адміністратор обробляє між справами, і налаштування з'їсть більше уваги, ніж заощадить.

Друга межа — складність розмови. Консультації з наслідками для здоров'я чи грошей, торг, розбір скарги емоційного клієнта агент проведе гірше за людину, і клієнт це почує.

Третя межа стосується очікувань. Голосовий агент добре знімає прості повторювані дзвінки: години роботи, адреса, запис на типову послугу, статус замовлення. Перед запуском порахуйте частку саме таких дзвінків у своєму потоці; як рахувати вигоду від подібних інструментів, розібрано у гайді про метрики окупності ШІ у бізнесі. Якщо таких дзвінків менше половини, починайте з нічних годин і вихідних, де агент забирає те, що зараз просто губиться.