AIVAX

Esta página foi traduzida automaticamente do inglês e pode estar desatualizada. Leia o original

Roteamento inline no nome do modelo

Um nome de modelo integrado aceita um sufixo de roteamento após o #. Use-o quando seu cliente puder alterar apenas a string model, como em uma ferramenta ou SDK compatível com OpenAI que não envia campos extras no corpo da requisição:

Nome do modeloEfeito
@openai/gpt-6-luna#cheapestUsa a preferência Cheapest. Qualquer preferência de roteamento funciona, sem distinção entre maiúsculas e minúsculas.
@openai/gpt-6-luna#azure-usUsa apenas o provedor com a tag azure-us, como "allowed_providers": [ "azure-us" ].

Um sufixo que corresponde a um nome de preferência é interpretado como uma preferência; qualquer outro valor é interpretado como uma tag de provedor. Uma tag de provedor não possui fallback com "*", portanto, a solicitação falhará caso esse provedor não esteja disponível. Apenas um sufixo é suportado por nome.

JSON
{
    "model": "@openai/gpt-6-luna#fastest",
    "messages": [
        {
            "role": "user",
            "content": "Summarize this incident report."
        }
    ]
}

O sufixo também funciona no nome do modelo salvo em um Gateway de IA e nos nomes dos modelos do roteador de complexidade, para que cada modelo roteado possa ter seu próprio roteamento:

JSON
{
    "name": "Cost-optimized assistant",
    "parameters": {
        "baseAddress": "@integrated",
        "modelName": "@openai/gpt-6-luna#cheapest"
    }
}

O sufixo é resolvido em tempo de execução, em cada solicitação. Ele tem precedência sobre o routingOption e os allowedProviders salvos pelo gateway, mas as routing_options em chat/completions permanecem como a última sobrecarga. Por exemplo, "model": "@openai/gpt-6-luna#cheapest" com "routing_options": { "preset": "Quality" } usa Quality. O model retornado nas respostas é o nome do modelo sem o sufixo.

Digite para pesquisar na documentação.