Microsoft випустила ASSERT: новий інструмент для «дресирування» та тестування ШІ
Корпорація Microsoft анонсувала інструмент із відкритим вихідним кодом ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing). Новинка автоматично перевіряє, чи поводиться штучний інтелект так, як від нього вимагає бізнес, і чи не порушує він встановлені правила.
Головна фішка -для створення тестів не потрібно писати код. Достатньо завантажити звичайний текстовий опис із правилами.
Як це працює?
Процес тестування повністю автоматизований і складається з трьох кроків:
- Аналіз ТЗ: Ви пишете правила природною мовою (наприклад: «не надсилати листи стороннім компаніям» або «показувати фінансові звіти лише топменеджерам»). ASSERT перетворює це на чіткі списки дозволеного й забороненого.
- Генерація «пасток»: Система сама створює каверзні сценарії, щоб спробувати спровокувати ШІ на помилку.
- Аудит: Інструмент тестує модель, фіксує кожен її крок (включно із проміжними думками та викликами сторонніх сервісів) і показує, де саме система схибила.
Навіщо це потрібно? Standard-тести оцінюють загальні знання ШІ, але не здатні перевірити унікальні корпоративні правила. За словами Сари Берд (директорки з продуктів Responsible AI в Microsoft), без розуміння точної поведінки ШІ неможливо створити безпечний комерційний продукт.
Фреймворк ASSERT можна використовувати як під час розробки ШІ-агентів, так і для безперервного моніторингу вже запущених систем. Код проєкту вже відкритий для спільноти.