ШІ-моделі порівнюють за результатами в Pokémon, але різні умови тестування ставлять під сумнів чесність таких бенчмарків.
Про це пише Tech Times.
Ігри Pokémon стали неочікуваним майданчиком для суперечок у світі штучного інтелекту. Все почалося з допису в X, де стверджувалося, що модель Gemini від Google перевершила Claude від Anthropic у проходженні класичних Pokémon-ігор. На стрімі Gemini дійшов до Лавандер-тауна, тоді як Claude все ще перебував у Гірі Місяця (Mount Moon).
Gemini is literally ahead of Claude atm in pokemon after reaching Lavender Town
— Jush (@Jush21e8) April 10, 2025
119 live views only btw, incredibly underrated stream pic.twitter.com/8AvSovAI4x
Однак пізніше з’ясувалося, що в тестуванні Gemini використовувався спеціальний міні-карта — інструмент, який значно спрощував гру. Завдяки цьому AI міг розпізнавати ключові об’єкти, зокрема дерева, які можна зрізати, не покладаючись лише на аналіз скриншотів. Claude ж таких покращень не мав.
Ця ситуація викликала хвилю критики з боку спільноти розробників ШІ, адже вона показала, наскільки нестандартизованими можуть бути умови тестування. Це призводить до спотворення результатів та ускладнює об’єктивне порівняння між моделями.
Наприклад, модель Claude 3.7 Sonnet демонструє різні показники на відомому бенчмарку SWE-bench Verified, який оцінює здатність моделі до програмування. Без жодних додаткових покращень Claude набирає 62,3%, однак із власною “системою шаблонів” (scaffold system) від Anthropic результат підвищується до 70,3%.
Цей приклад, як і випадок із Pokémon, демонструє, наскільки результати залежать від зовнішніх факторів. Умовні «покращення» чи нестандартні інструменти можуть суттєво вплинути на продуктивність, створюючи ілюзію переваги тієї чи іншої моделі.
Фахівці закликають до створення єдиних стандартів у тестуванні ШІ-моделей, з відкритим кодом та однаковими умовами для всіх учасників. Це дозволить уникнути спотворених порівнянь і справді оцінити реальні можливості кожної моделі.
Скандал із Pokémon підкреслив, що веселі ігри можуть викрити серйозні проблеми у серйозній науці. І поки не буде стандартизованого підходу, будь-які порівняння моделей — лише гра з несправедливими правилами.
