Inferência
Portais de IA
Conceitos de Gateway de IA
Conceitos do Gateway de IA
Um Gateway de IA armazena uma configuração de inferência reutilizável. Passe o ID ou slug do gateway no campo …
Nomes de Modelos e Gateways
Nomes de modelos e gateways
O campo model de /v1/chat/completions seleciona o que executa a solicitação. Ele aceita três tipos de valor: …
Usando um Gateway de IA
Usando um Gateway de IA
Crie um gateway no painel ou com a API, e chame-o por meio do endpoint chat/completions compatível com OpenAI, …
Usando Gateways de IA por meio de SDKs
Usando Gateways de IA via SDKs
O endpoint de inferência segue o formato de conclusões de chat do OpenAI, portanto, os SDKs compatíveis com o …
Levando um Gateway de IA para Produção
Levando um Gateway de IA para produção
Comece com uma configuração conservadora: instruções de sistema claras, um modelo que suporte as …
Inferência
Conceitos de Inferência
Conceitos de inferência
A AIVAX expõe uma API chat/completions compatível com OpenAI, com parâmetros adicionais da AIVAX. As adições são …
Contexto do lado do servidor
Contexto do lado do servidor
chat/completions é sem estado: cada solicitação carrega a conversa que precisa, e o AIVAX não mantém um …
Reutilização de Sessão
Reutilização de sessão
A reutilização de sessão permite que um cliente chat/completions sem estado mantenha o contexto do lado do servidor …
Inferência com Gateways de IA
Inferência com Gateways de IA
Um Gateway de IA pré-configura uma inferência. Quando model é um ID ou slug de gateway, a solicitação que você …
Pipeline de Processamento
Pipeline de processamento
Quando uma solicitação utiliza um AI Gateway, o AIVAX executa uma sequência fixa de etapas antes, durante e após a …
Entrada e Multimodalidade
Entrada e multimodalidade
Envie a conversa em messages, utilizando os papéis do OpenAI system, user, assistant e tool. Com um Gateway de IA, …
Armazenamento em cache
Caching
Vários caches afetam uma solicitação de inferência. O cache de prompt reduz o custo da entrada que o provedor já processou. Outros …
Ferramentas
Ferramentas
As ferramentas permitem que o modelo solicite ações e dados. O AIVAX suporta dois modelos de execução, e uma única solicitação …
Funções do MCP e Protocolos na Inferência
MCP e funções de protocolo na inferência
As ferramentas MCP e as funções de protocolo são ferramentas do lado do servidor que chamam seus …
Saída Estruturada
Saída estruturada
Use respostas estruturadas quando seu aplicativo precisar de uma saída JSON que corresponda a um esquema. O AIVAX oferece …
Ferramentas Integradas sob Demanda
Ferramentas integradas sob demanda
Use builtin_tools para habilitar as ferramentas integradas do AIVAX em uma solicitação direta, sem criar …
Streaming
Streaming
Defina stream: true para receber a resposta como eventos enviados pelo servidor (SSE) enquanto ela é gerada. Cada evento é uma …
Corpo da Solicitação do Provedor Personalizado
Corpo da solicitação do provedor personalizado
Use extra_body para enviar opções específicas do provedor. Quando um gateway usa sua própria …
Pré-processamento Multimodal
Pré-processamento multimodal
Use multimodal_resolver quando o modelo principal deve receber uma descrição textual da mídia em vez do objeto …
Truncamento de Contexto
Truncamento de contexto
O truncamento de contexto mantém conversas longas dentro de um tamanho máximo de entrada. Um Gateway de IA pode …
Moderação
Moderação
A moderação aplica a política de segurança às solicitações dos usuários antes que o modelo principal as responda. Utilize-a para …
Interpretador de Funções (Descontinuado)
Interpretador de funções (descontinuado)
Descontinuado. O interpretador de funções é mantido apenas para gateways existentes. Não o utilize …
Limites de Inferência
Limites de inferência
Esta página lista os limites aplicáveis às solicitações chat/completions. As taxas de solicitação e os limites do …
Solução de Problemas de Inferência
Solução de problemas de inferência
A AIVAX utiliza dois estilos de resposta:
Endpoints compatíveis com OpenAI retornam um objeto error no …
Roteamento
Configuração de Roteamento do Provedor
Configuração de roteamento de provedores
Alguns modelos integrados estão disponíveis por meio de mais de um provedor. O roteamento de …
Roteamento Inline
Roteamento inline no nome do modelo
Um nome de modelo integrado aceita um sufixo de roteamento após o #. Use-o quando seu cliente puder …
Provedores de Retenção Zero de Dados
Apenas provedores com retenção zero de dados
Ative a opção Apenas provedores com retenção zero de dados nas configurações da conta no painel …
Provedores Especiais
Provedores especiais
Alguns modelos integrados também são oferecidos por provedores especiais, que os fornecem a preços com desconto sob …
Respostas Estruturadas
Conceitos de Respostas Estruturadas
Conceitos de respostas estruturadas
A AIVAX pode gerar JSON estruturado por meio de dois caminhos:
response_schema: A AIVAX valida a saída …
Cura em JSON
Cura de JSON
A Cura de JSON (JSON Healing) é o recurso do AIVAX que faz qualquer modelo retornar um JSON compatível com um esquema, …
Respostas Estruturadas com Raciocínio e Ferramentas
Raciocínio e ferramentas
Uma solicitação estruturada pode usar um modelo de raciocínio e ferramentas. O modelo raciocina e chama ferramentas …
Respostas Apenas em JSON
Respostas apenas em JSON
Defina json_only: true quando o cliente deve receber apenas o JSON gerado:
JSON
{ "model": …
Renderização da resposta
Orientações para Apresentação de Chat
Orientações para apresentação do chat
Uma resposta de assistente transmitida em streaming pode conter raciocínio, atividade de ferramentas …
Exemplo de múltiplas rodadas bruto
Exemplo bruto de múltiplas rodadas
O exemplo abaixo mostra a estrutura de uma resposta em streaming quando o raciocínio do lado do servidor …
Explicações das Ferramentas
Explicações de ferramentas
Use explicações de ferramentas quando seu cliente mostrar aos usuários por que uma ferramenta do lado do servidor …
Clientes de Chat
Visão Geral dos Clientes de Chat
Visão geral dos clientes de chat
Um cliente de chat publica uma AI Gateway para os usuários finais. Ele oferece um local para conversar com …
Gerenciando Sessões do Cliente de Chat
Gerenciando sessões do cliente de chat
Uma sessão é uma única conversa entre um cliente de chat e um usuário final. Ela armazena o histórico …
Cliente de Chat Web
Cliente de Chat Web
O cliente web é a parte do cliente de chat voltada para o navegador. Você pode usá-lo de duas maneiras:
Chat web …
Integrações do Cliente de Chat
Integrações de Cliente de Chat
As integrações conectam um cliente de chat a aplicativos de mensagens, permitindo que os usuários conversem …
Modelos de Assinatura
Visão Geral dos Modelos de Assinatura
Modelos de assinatura
Os modelos de assinatura são modelos de texto incluídos nos planos Pro, Max e Ultimate. Seus nomes começam com …
Integração com Harness
Integração com harness
Agentes de codificação e outros harnesses acessam os modelos de assinatura pela mesma API de Chat Completions …
Inferência
Testes Agênticos
Testes Agênticos
Testes Agênticos avaliam como um Gateway de IA se comporta ao longo de uma conversa completa e orientada a objetivos, em …
Voz e Tempo Real
Voz e Tempo Real
A Sessão de Voz é a API de voz com baixa latência e estado persistente da AIVAX. Use-a para uma conversa falada ao vivo. …
Trabalhadores de Gateway
Gateway Workers
Os Gateway Workers são hooks HTTP que permitem ao seu serviço controlar um AI Gateway enquanto uma solicitação está em …
Habilidades
Habilidades
As habilidades (também conhecidas como capacidades) são instruções que seu agente carrega sob demanda para realizar tarefas …
Processamento em Lote
Processamento em Lote (Batch)
O Batch executa o mesmo fluxo de trabalho de IA sobre muitos itens independentes. Ele transforma uma lista de …
