Где происходит обработка AI — это проектное решение. На этой странице описаны варианты, что подтверждают текущие проекты и что пока остаётся разработкой или R&D.
Два наших проекта работают с локальной обработкой.
Auto LLM Benchmark сравнивает локальные модели на ваших задачах.
Что делает: Одинаковые задания запускаются на локальных моделях; ответы, скорость и оценки качества собираются в одной таблице.
Примечание: Сравниваемые модели работают локально; AI-оценщик (OpenAI GPT-4.1) — внешняя модель.
Auto LLM BenchmarkРасшифровывает длинные аудиозаписи на вашем компьютере.
Что делает: Распознавание работает с ускорением на GPU и полностью офлайн после первоначальной настройки.
Примечание: Дополнительный сценарий обработки текста (AI-структурирование в статью Google Docs) использует AI-модель и Google Docs.
Локальная транскрипция больших аудиофайловЭто основания рассмотреть её, а не основания считать её решением.
Локальное по умолчанию не дешевле, не быстрее и не точнее. Каждый из этих пунктов нужно измерить для вашей задачи.
Сравнение того, где происходит обработка, а не рейтинг.
| Подход | Где происходит обработка | Что проверить сначала | Что остаётся внешним |
|---|---|---|---|
| Облачный AI | У внешнего провайдера | Условия провайдера, какие данные отправляются, доступность | Модель и инфраструктура провайдера |
| Local AI | В определённой локальной среде | Оборудование, качество модели для задачи, усилия на сопровождение | Любой другой удалённый шаг процесса |
| Гибридный | Часть шагов локально, часть снаружи | Какие данные куда идут и как это контролируется | Каждый внешний шаг |
Эти термины часто путают.
Первый подход, который стоит оценить для каждого типа потребности. Подходы можно сочетать.
| Потребность | Первый подход для оценки |
|---|---|
| Стабильный формат результата | Промпты, примеры, конфигурация, проверка по схеме |
| Меняющиеся внутренние знания | Retrieval / RAG |
| Действия в системах организации | Инструменты, API, ограниченные процессы с агентами |
| Поведение, специфичное для домена | Оценить, нужна ли адаптация |
| Устойчивое изменение поведения, достаточно подходящих данных, более простых подходов не хватает | Эксперимент с fine-tuning |
| Детерминированная задача | Обычная автоматизация |
Fine-tuning — не неизбежный конечный пункт.
Каждый этап с его границами и тем, насколько текущая работа его подтверждает.
Подтверждено экспериментами по сравнению локальных моделей.
Локальное выполнение лабораторного масштаба, не промышленный хостинг.
Измерения поддерживаются; системная оптимизация развивается.
Развивающееся направление.
Запланированный R&D по LoRA / QLoRA.
Подтверждено проектами. Результаты «до и после» fine-tuning не заявляются.
Опыт наших проектов; границы зависят от каждого проекта.
Будущий эксплуатационный этап, требующий отдельной оценки.
Отдельная лабораторная вычислительная среда для AI — это концепция для разработки и демонстрации решений. Это не доступный управляемый сервис.
Концепция для демонстрации Концепция для демонстрации — оборудование, модели, мощность и аптайм не заявляются
Сервер приложений или автоматизации (сайт, Telegram, n8n, CRM) может обращаться к серверу AI-инференса через API. Это могут быть разные системы в разных местах.
Иллюстративная архитектура — не задокументированная реализация
Что существует: лабораторные локальные эксперименты, задокументированные в проектах, такие как сравнение локальных моделей и локальная расшифровка.
Успешное решение впоследствии можно воспроизвести в среде самой организации. В зависимости от требований это может быть:
Модели работают в определённой локальной среде.
Архитектура с контролем доступа, изоляции, хранения и передачи данных.
Развёртывание в инфраструктуре самой организации.
Часть шагов локально, часть снаружи.
Обработка через внешнего провайдера.
Приложение и инференс работают на разных системах.
Это варианты для оценки. Лаборатория в настоящее время не продаёт и не эксплуатирует их все.
Что дают проекты с локальной обработкой.
Одинаковые задания для разных локальных моделей — качество и скорость в одной таблице.
В одном из запусков около 60 часов лекций обработаны примерно за 5 часов на GPU.
Это направления, а не доступные услуги.
Запланированное направление AI Model Engineering и R&D. Это не запущенная стандартная коммерческая услуга.
Перед любым будущим экспериментом с fine-tuning мы потребуем:
Прайс-листа и возможности купить fine-tuning нет.
Нет. Private AI — это контроль доступа, изоляции, хранения и передачи данных. Локальное выполнение лишь одна из его возможных частей.
Не по умолчанию. Стоимость, скорость и точность нужно измерить для вашей задачи.
Пока не как отдельная услуга. Мы создаём решения, которые работают в вашей среде или в облаке — локально, в облаке или гибридно, в зависимости от требований.
Нет. LoRA / QLoRA — запланированный R&D, а сначала оцениваются более простые подходы.
Опишите, что сейчас делается вручную, какие данные задействованы и какой результат вы хотите получить. Техническое задание или выбранная модель для начала не нужны.
Пожалуйста, не передавайте коммерческую тайну, исходный код или чувствительные персональные данные до подписания NDA (соглашения о неразглашении).
