IA reserva que roda no nosso próprio servidor

As ferramentas de IA do Kreaza funcionam com um modelo na nuvem. A partir de agora, se ele não responder, textos curtos como a descrição de um produto e as respostas do assistente da loja são escritos por um modelo pequeno (Gemma 3, tamanho 4B) que roda no próprio servidor do Kreaza, e os dados não saem dele. Testamos no servidor: uma descrição de produto em hebraico em cerca de 5 segundos, e cerca de 20 segundos na primeira vez depois de uma pausa. A memória do modelo tem um limite para não prejudicar o resto do sistema, e é liberada depois de cinco minutos sem uso. Montar uma página inteira ou um artigo longo ainda precisa do modelo na nuvem.

Novo 1

  • Um modelo de IA local que cuida de textos curtos quando o modelo na nuvem está indisponível.

Melhorado 1

  • As descrições de produtos e o assistente da loja continuam funcionando durante uma queda do provedor de IA.