Резервный ИИ, который работает на нашем собственном сервере

ИИ-инструменты Kreaza работают с облачной моделью. Отныне, если она не отвечает, короткие тексты, такие как описание товара и ответы помощника магазина, пишет небольшая модель (Gemma 3, размера 4B), которая работает на собственном сервере Kreaza, а данные его не покидают. Мы проверили её на сервере: описание товара на иврите примерно за 5 секунд и около 20 секунд в первый раз после паузы. Память модели ограничена, чтобы она не вредила остальной системе, и освобождается после пяти минут без использования. Для построения целой страницы или длинной статьи по-прежнему нужна облачная модель.

Новое 1

  • Локальная ИИ-модель, которая обрабатывает короткие тексты, когда облачная модель недоступна.

Улучшено 1

  • Описания товаров и помощник магазина продолжают работать при сбое у ИИ-провайдера.