MCP e funções de protocolo na inferência

As ferramentas MCP e as funções de protocolo são ferramentas do lado do servidor que chamam seus sistemas. O AIVAX lista ou carrega suas definições, as oferece ao modelo e chama seu servidor quando o modelo seleciona uma delas. Seu aplicativo cliente não as executa e não vê suas chamadas como mensagens.

Onde configurá-los #

As fontes MCP e as funções de protocolo são configuradas em um AI Gateway. A solicitação chat/completions não possui campo para adicioná-los, portanto, chame o gateway por seu ID ou slug para usá-los.

Um worker pode adicionar uma fonte MCP ou uma ferramenta para uma única solicitação durante o evento message.received. Use-o quando as ferramentas disponíveis dependerem do usuário, como ferramentas vinculadas à conta do usuário.

O que acontece durante a solicitação #

1. Antes que o modelo seja executado, o AIVAX carrega as definições das ferramentas. As listas de ferramentas MCP e as fontes de função são armazenadas em cache; consulte Armazenamento em cache.
2. Quando o modelo chama uma dessas ferramentas, o AIVAX chama seu servidor com os argumentos.
3. O resultado é adicionado à conversa e o modelo continua.
4. Com streaming, cada chamada produz eventos servertool com os estados Created, seguidos por Completed ou Failed; consulte Streaming.

As chamadas de ferramentas e os resultados não são retornados como mensagens. Envie o mesmo conversation_token na próxima rodada para que o modelo mantenha seus resultados; consulte Contexto do lado do servidor.

Retorne texto de erro claro de sua ferramenta quando uma ação não puder ser concluída, para que o modelo possa explicar a falha ou tentar outro caminho. Um worker pode substituir o resultado de uma chamada de ferramenta através do evento tool.called.

Chaves públicas #

Solicitações autenticadas com uma chave de API pública não usam as fontes MCP ou funções de protocolo do gateway. Chame um gateway com essas ferramentas do seu servidor usando uma chave privada, ou por meio de um cliente de chat.