Нові моделі ChatGPT стали точнішими у міркуваннях, але частіше вигадують факти. Експерти шукають способи зменшити кількість помилок. Про це пише Digital Trends.
Минулого тижня OpenAI опублікувала дослідження про свої нові моделі o3 і o4-mini. Вони значно перевершують попередників за рівнем логічного мислення, мультизадачності та можливостями: тепер можуть генерувати зображення, шукати інформацію в Інтернеті, автоматизувати завдання, пам’ятати минулі розмови і вирішувати складні проблеми.
Проте з новими можливостями прийшли й неочікувані побічні ефекти — частіші “галюцинації”, тобто вигадування фактів.
OpenAI використовує тест PersonQA для вимірювання кількості “галюцинацій”. Він базується на перевірці фактів про відомих людей. Для прикладу: модель o1 2023 року мала точність 47% і рівень галюцинацій 16%.
Нові результати вражають:
- o4-mini показала 48% галюцинацій.
- o3 продемонструвала 33% галюцинацій, що вдвічі більше, ніж у o1.
Причиною високого рівня помилок у o4-mini є менший обсяг знань через обмежений розмір моделі. Щодо o3, хоч модель має високу точність, вона частіше робить припущення, що й призводить до вигадування фактів.
Галюцинації — це ситуації, коли ШІ вигадує інформацію без джерела. Це не просто помилки через неправильні дані (наприклад, жартівливі пости на Reddit, що потрапили в результати пошуку Google), а вигадування відповідей в умовах невизначеності.
Великі мовні моделі тренуються не на розумінні інформації, а на ймовірнісному передбаченні слів у реченнях. Вони не мають поняття правди або брехні — лише статистичні патерни на основі величезних обсягів даних. Тому замість того, щоб “відмовитися” відповідати, вони часто вигадують інформацію.
Це фундаментальна проблема існуючих архітектур ШІ, і виправити її не так просто.
Нові можливості ChatGPT захоплюють, але збільшення кількості “галюцинацій” несе серйозні ризики. Користувачам важливо пам’ятати про необхідність фактчекінгу та критично ставитися до відповідей ШІ. Особливо тоді, коли рішення базується на отриманій інформації.
