Одинаковые задания для разных моделей — качество и скорость в одной таблице.
Оценка и выбор AI
Репозиторий на GitHub (GitHub)Автоматизированный стенд для оценки языковых моделей на реальных рабочих сценариях. Помогает выбирать локальную LLM не по впечатлению от нескольких ответов, а по результатам тестов с едиными критериями.
Вы добавляете задания и требования к ответам в Google Sheets. Система отправляет запросы тестируемой модели, сохраняет ответы и измеряет производительность. Затем GPT-4.1 выступает AI-оценщиком: проверяет результат по заданным критериям, выставляет балл и объясняет оценку.
Повторяя набор тестов для разных моделей, команда получает основу для сравнения: кто лучше соблюдает инструкции, формирует корректный JSON или решает задачи с кодом — и с какой скоростью. Ответы, метрики и оценки остаются в общей таблице для дальнейшего анализа.
Тесты под свои процессы. От клиентской поддержки и подготовки текстов до QA, программирования и логических задач.
Оценка по единым критериям. Соблюдение инструкций, полнота ответа, структура данных и признаки выдуманных фактов.
Понятный результат проверки. Оценка по пятибалльной шкале с объяснением.
Измерение производительности. Время ответа, скорость генерации и количество токенов.
История прогонов. Модель, задание, исходный ответ, метрики и оценка сохраняются вместе.
Повторные проверки. Один набор сценариев можно использовать при смене модели или настроек, чтобы отслеживать изменения качества.
Автоматизация тестирования и QA · Оценка и выбор AI
Проверяйте качество ответов и устойчивость к провокационным запросам — без ручного прогона переписки.
Автоматическая проверка AI-чатботов в Telegram: функциональные тесты, AI-оценка ответов и проверки безопасности.
Автоматизация процессов и интеграции · Базы знаний и RAG
Работайте с OpenAI API в браузере — с полным контролем запроса и понятным отображением ответа.
Работа с моделями OpenAI без командной строки и кода: видно, что отправлено в API и что получено.
Автоматизация процессов и интеграции · Автоматизация тестирования и QA
Команда работает в Jira — руководители получают понятную сводку без ручного переноса данных.
Автоматическая сводка багов для QA, менеджеров и других команд вместо ручного сокращения тикетов.
Результат Устранён ручной перенос данных при формировании сводки
Опишите, что сейчас делается вручную, какие данные задействованы и какой результат вы хотите получить. Техническое задание или выбранная модель для начала не нужны.
Пожалуйста, не передавайте коммерческую тайну, исходный код или чувствительные персональные данные до подписания NDA (соглашения о неразглашении).
