Компанія Apple анонсувала революційний інструмент доступності (accessibility) для операційних систем iOS 17 та iPadOS 17. Нова функція під назвою Personal Voice («Особистий голос») дозволяє користувачам створювати точну цифрову копію свого власного голосу безпосередньо на iPhone або iPad. Технологія створена на базі передового машинного навчання на пристрої, що забезпечує конфіденційність даних без надсилання аудіозаписів на сервери компанії.
Головне призначення функції — допомогти людям, які перебувають під загрозою поступової або повної втрати мовлення через прогресуючі хвороби.
Як працює створення та використання цифрового голосу
Для генерації цифрового клону користувачеві достатньо приділити пристрою близько 15 хвилин. Протягом цього часу необхідно прочитати вголос серію випадкових текстових підказок на екрані смартфона чи планшета. Процесор пристрою самостійно аналізує тембр, інтонації та особливості вимови, створюючи персоналізовану модель голосу.
Надалі інструмент працює в парі з іншою новою функцією — Live Speech («Живий голос»):
- Користувач може вводити текст на екрані пристрою під час телефонних розмов, відеодзвінків FaceTime або навіть живого спілкування в кімнаті.
- iPhone озвучуватиме написані речення згенерованим голосом власника.
- Часто використовувані фрази можна заздалегідь зберігати в обране для миттєвого відтворення за допомогою ярликів.
Нововведення орієнтоване на пацієнтів із діагнозом бокового аміотрофічного склерозу (БАС) та інших нейродегенеративних захворювань, які з часом руйнують мовленнєвий апарат. Філіп Грін, активіст організації Team Gleason, який бореться з БАС з 2018 року, поділився своїми емоціями: «Зрештою, найважливіше — мати можливість спілкуватися з родиною та друзями. Змога сказати близьким, що ви їх любите, голосом, який звучить як ваш власний — це справжнє диво».
| Нова функція доступності | Принцип роботи та вимоги | Основне цільове призначення |
|---|---|---|
| Personal Voice (Особистий голос) | Запис 15 хвилин читання тексту, генерація ШІ-моделі голосу на процесорі пристрою | Створення цифрового клону голосу для людей під загрозою втрати мовлення |
| Live Speech (Живий голос) | Озвучення введеного тексту власним цифровим голосом під час дзвінків чи особисто | Альтернативне спілкування без використання голосових зв’язок |
| Point and Speak (Вкажи та промов) | Камера розпізнає жести та озвучує текст під пальцем (потрібен сканер LiDAR) | Допомога людям із вадами зору при роботі з фізичними кнопками та приладами |
Додаткові інструменти та контекст анонсу
Окрім клонування голосу, Apple представила інструмент Point and Speak («Вкажи та промов»), інтегрований у фірмовий додаток «Лупа». Завдяки камері та лазерному сканеру LiDAR пристрій може розпізнавати пальці користувача, коли той вказує на об’єкти реального світу (наприклад, кнопки мікрохвильової печі або панель ліфта), та озвучувати супутні текстові підписи. Функція підтримується виключно преміальними моделями пристроїв Apple Pro-серії, які обладнані сенсором LiDAR.
Анонс цих інновацій відбувся напередодні Всесвітньої конференції розробників WWDC 2023, де Apple також готується вперше показати свою гарнітуру змішаної реальності Apple Vision Pro.
Підсумок
Компанія Apple анонсувала функцію Personal Voice в iOS 17, яка дозволяє створювати цифровий клон голосу користувача за 15 хвилин читання тексту на пристрої. У парі з Live Speech користувачі, які втрачають здатність говорити (наприклад, через БАС), зможуть спілкуватися текстом, що озвучуватиметься їхнім власним голосом під час дзвінків чи FaceTime. Також анонсовано функцію Point and Speak, яка за допомогою сканера LiDAR озвучує тексти під пальцем користувача.
