Перевіряйте якість відповідей і стійкість до провокаційних запитів — без ручного прогону листування.
Автоматизація тестування та QA · Оцінка та вибір AI
Репозиторій на GitHub (GitHub)QA LLM Lab автоматизує перевірку AI-чатботів просто в Telegram. Ви задаєте тестові запитання та критерії оцінки, а система надсилає повідомлення боту, отримує відповіді й зберігає результати у звіти. Перевіряється не ізольована модель, а бот через той самий канал, яким користуються люди.
Функціональні тести перевіряють відповідність очікуваній поведінці, а AI-оцінювач аналізує відповіді за заданими критеріями. Окремі перевірки безпеки досліджують реакцію на промпт-ін’єкції, спроби обходу обмежень та інші провокаційні запити.
Функціональні перевірки. Звичайні запитання, межові випадки та небажані сценарії.
AI-оцінка відповідей. Перевірка за смисловими критеріями, а не лише за збігом тексту.
Тестування безпеки. Автоматичні спроби змусити бота порушити задані правила.
Наочні результати. Інтерактивний перегляд функціональних тестів і HTML-звіти.
Повторне використання. Один підхід можна застосовувати до різних Telegram-ботів.
Полегшений варіант. Перевірки через n8n з тест-кейсами та очікуваними відповідями в Google Sheets.
Такий підхід підходить для регулярної перевірки поведінки бота після зміни інструкцій, моделі чи логіки обробки запитів.
Оцінка та вибір AI
Однакові завдання для різних моделей — якість і швидкість в одній таблиці.
Вибір локальної LLM за результатами тестів з єдиними критеріями, а не за враженням від кількох відповідей.
Автоматизація процесів та інтеграції · Автоматизація тестування та QA
Команда працює в Jira — керівники отримують зрозуміле зведення без ручного перенесення даних.
Автоматичне зведення багів для QA, менеджерів та інших команд замість ручного скорочення тікетів.
Результат Усунено ручне перенесення даних під час формування зведення
Голос і зустрічі · Автоматизація тестування та QA
Розкажіть про помилку в Telegram — отримайте оформлений звіт і завдання в Jira.
Голосові нотатки тестувальника перетворюються на структуровані баг-репорти англійською мовою.
Результат Створення баг-репорту за 60 секунд
Опишіть, що зараз робиться вручну, які дані задіяно і який результат ви хочете отримати. Технічне завдання чи обрана модель для початку не потрібні.
Будь ласка, не передавайте комерційну таємницю, вихідний код або чутливі персональні дані до підписання NDA (Угоди про нерозголошення).
