Inferência

Inferência

Conceitos de Inferência Conceitos de inferência A AIVAX expõe uma API chat/completions compatível com OpenAI, com parâmetros adicionais da AIVAX. As adições são … Contexto do lado do servidor Contexto do lado do servidor chat/completions é sem estado: cada solicitação carrega a conversa que precisa, e o AIVAX não mantém um … Reutilização de Sessão Reutilização de sessão A reutilização de sessão permite que um cliente chat/completions sem estado mantenha o contexto do lado do servidor … Inferência com Gateways de IA Inferência com Gateways de IA Um Gateway de IA pré-configura uma inferência. Quando model é um ID ou slug de gateway, a solicitação que você … Pipeline de Processamento Pipeline de processamento Quando uma solicitação utiliza um AI Gateway, o AIVAX executa uma sequência fixa de etapas antes, durante e após … Entrada e Multimodalidade Entrada e multimodalidade Envie a conversa em messages, utilizando os papéis do OpenAI system, user, assistant e tool. Com um Gateway de IA, … Cache Caching Vários caches afetam uma solicitação de inferência. O cache de prompt reduz o custo da entrada que o provedor já processou. Outros … Ferramentas Ferramentas As ferramentas permitem que o modelo solicite ações e dados. O AIVAX suporta dois modelos de execução, e uma única solicitação … Funções do MCP e Protocolos na Inferência MCP e funções de protocolo na inferência As ferramentas MCP e as funções de protocolo são ferramentas do lado do servidor que chamam seus … Saída Estruturada Saída estruturada Use respostas estruturadas quando seu aplicativo precisar de uma saída JSON que corresponda a um esquema. O AIVAX oferece … Ferramentas Integradas sob Demanda Ferramentas integradas sob demanda Use builtin_tools para habilitar as ferramentas integradas do AIVAX em uma solicitação direta, sem criar … Streaming Streaming Defina stream: true para receber a resposta como eventos enviados pelo servidor (SSE) enquanto ela é gerada. Cada evento é uma … Corpo da Solicitação do Provedor Personalizado Corpo da solicitação do provedor personalizado Use extra_body para enviar opções específicas do provedor. Quando um gateway usa sua própria … Pré-processamento Multimodal Pré-processamento multimodal Use multimodal_resolver quando o modelo principal deve receber uma descrição textual da mídia em vez do objeto … Truncamento de Contexto Truncamento de contexto O truncamento de contexto mantém conversas longas dentro de um tamanho máximo de entrada. Um Gateway de IA pode … Moderação Moderação A moderação aplica a política de segurança às solicitações do usuário antes que o modelo principal as responda. Use-a para … Interpretador de Funções (Descontinuado) Interpretador de funções (descontinuado) Descontinuado. O interpretador de funções é mantido apenas para gateways existentes. Não o utilize … Limites de Inferência Limites de inferência Esta página lista os limites aplicáveis às solicitações chat/completions. As taxas de solicitação e os limites do … Solução de Problemas de Inferência Solução de problemas de inferência A AIVAX utiliza dois estilos de resposta: Os endpoints compatíveis com OpenAI retornam um objeto error no …