У сфері дитячих іграшок AI уже займає відчутне місце — і разом із цим приносить нові ризики. Нещодавно некомерційна організація Public Interest Research Group (PIRG) опублікувала звіт про неналежну поведінку AI-ведмедика Kumma від сингапурської компанії FoloToy, що призвело до блокування доступу виробника до моделей OpenAI і тимчасового зняття іграшок із продажу.
Що виявили дослідники PIRG
Як повідомляє Gizmodo посилаючись на данні звіту PIRG, AI-ведмедик Kumma, що працював на базі GPT-4o та інших мовних моделей, під час тестування демонстрував небезпечну поведінку: він пояснював, де можна знайти потенційно шкідливі предмети на кшталт ножів чи сірників, відповідав на запитання про наркотики та переходив до тем сексуального характеру, інколи супроводжуючи відповіді формальними попередженнями, але все одно надаючи дитячій аудиторії неприйнятну інформацію.
Після оприлюднення звіту OpenAI заблокувала FoloToy доступ до своїх моделей через порушення правил безпеки неповнолітніх, а сама компанія тимчасово зупинила продажі всіх іграшок та оголосила про проведення повного аудиту. OpenAI в свою чергу наголосила, що суворо забороняє будь-яке використання своїх сервісів, яке може завдати шкоди дітям чи сприяти їх експлуатації.
