Проверяйте качество ответов и устойчивость к провокационным запросам — без ручного прогона переписки.
Автоматизация тестирования и QA · Оценка и выбор AI
Репозиторий на GitHub (GitHub)QA LLM Lab автоматизирует проверку AI-чатботов прямо в Telegram. Вы задаёте тестовые вопросы и критерии оценки, а система отправляет сообщения боту, получает ответы и сохраняет результаты в отчёты. Проверяется не изолированная модель, а бот через тот же канал, которым пользуются люди.
Функциональные тесты проверяют соответствие ожидаемому поведению, а AI-оценщик анализирует ответы по заданным критериям. Отдельные проверки безопасности исследуют реакцию на промпт-инъекции, попытки обхода ограничений и другие провокационные запросы.
Функциональные проверки. Обычные вопросы, пограничные случаи и нежелательные сценарии.
AI-оценка ответов. Проверка по смысловым критериям, а не только по совпадению текста.
Тестирование безопасности. Автоматические попытки заставить бота нарушить заданные правила.
Наглядные результаты. Интерактивный просмотр функциональных тестов и HTML-отчёты.
Повторное использование. Один подход можно применять к разным Telegram-ботам.
Облегчённый вариант. Проверки через n8n с тест-кейсами и ожидаемыми ответами в Google Sheets.
Подобный подход подходит для регулярной проверки поведения бота после изменения инструкций, модели или логики обработки запросов.
Оценка и выбор AI
Одинаковые задания для разных моделей — качество и скорость в одной таблице.
Выбор локальной LLM по результатам тестов с едиными критериями, а не по впечатлению от нескольких ответов.
Автоматизация процессов и интеграции · Автоматизация тестирования и QA
Команда работает в Jira — руководители получают понятную сводку без ручного переноса данных.
Автоматическая сводка багов для QA, менеджеров и других команд вместо ручного сокращения тикетов.
Результат Устранён ручной перенос данных при формировании сводки
Голос и встречи · Автоматизация тестирования и QA
Расскажите об ошибке в Telegram — получите оформленный отчёт и задачу в Jira.
Голосовые заметки тестировщика превращаются в структурированные баг-репорты на английском языке.
Результат Формирование баг-репорта за 60 секунд
Опишите, что сейчас делается вручную, какие данные задействованы и какой результат вы хотите получить. Техническое задание или выбранная модель для начала не нужны.
Пожалуйста, не передавайте коммерческую тайну, исходный код или чувствительные персональные данные до подписания NDA (соглашения о неразглашении).
