Штучний інтелект все ще погано справляється з пошуком багів — дослідження Microsoft

Консоль з кодом

Попри стрімкий розвиток ШІ, нове дослідження Microsoft показало — штучний інтелект все ще слабо справляється з реальними задачами зневадження коду.

Про це пише ArsTechnica.

Штучний інтелект активно використовується в автоматизації написання коду, однак з відлагодженням (debugging) у нього великі проблеми. Про це свідчить нове дослідження Microsoft Research, в якому протестували дев’ять провідних мовних моделей.

Для перевірки використовували SWE-bench Lite — бенчмарк із 300 реальних задач на зневадження. Найкращий результат показала модель Claude 3.7 Sonnet від Anthropic, яка змогла розв’язати лише 48,4% задач. Для порівняння: GPT-4 від OpenAI (у версії o1) справилась з 30,2%, а o3-mini — з 22,1%.

У Microsoft виділили дві основні причини, чому моделі ШІ дають слабкий результат:

1. Не вміють користуватись інструментами. Багато моделей не можуть ефективно застосовувати інструменти для дебагу, зокрема Python-налагоджувачі, або не знають, коли їх слід використовувати.

2. Нестача даних про реальні сценарії дебагу. Моделі не мають доступу до логів або сесій реальних розробників, де видно послідовність дій при пошуку та виправленні помилок.

Дослідники вважають, що ситуацію можна покращити, якщо навчати моделі на спеціалізованих логах, які фіксують роботу програміста з дебагером у режимі реального часу. Це допоможе ШІ моделювати покроковий процес пошуку помилок.

Попри всі труднощі, ШІ вже сьогодні корисний при виявленні простих багів. Але для складних випадків, де потрібне розуміння контексту й креативність, участь людини залишається критичною.

Точну ціну впровадження моделей типу Claude чи GPT в робочий процес залежить від провайдера, але базова інтеграція API може коштувати від 50 до 200 доларів на місяць залежно від обсягів запитів. В корпоративних рішеннях — ще дорожче.

Схожі Новини
Google Earth

Google додає історичні знімки Street View у Google Earth

Google оновив Google Earth, щоб включити історичні знімки Street View — раніше доступні лише в Google Maps, тепер їх можна переглядати безпосередньо в Earth. Це нововведення запущено до 20-річчя платформи, дозволяє досліджувати зміни міських і природних ландшафтів як з Bird’s eye, так і на рівні вулиці
Детальніше
Робот Humanoid Apollo - одна з платформ, що підтримуються в робототехніці Gemini.

Google випустив автономну AI-модель для роботів, яка працює без Інтернету

Google DeepMind представив Gemini Robotics On‑Device — автономну модель для керування роботами, яка працює без підключення до хмари. Це серйозний прорив у сфері робототехніки: тепер роботи можуть швидко реагувати на команди, не потребуючи мережевого з'єднання.
Детальніше