Pré-processamento multimodal

Use multimodal_resolver quando o modelo principal deve receber uma descrição textual da mídia em vez do objeto de mídia original. Isso é útil para modelos focados em texto ou quando você deseja que a AIVAX normalize os arquivos antes da inferência principal. O objeto escolhe um mecanismo (engine) para cada tipo de conteúdo; os tipos omitidos ou null são enviados ao modelo principal inalterados.

{
    "model": "@meta/llama-3.3-70b",
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Descreva este arquivo brevemente."
                },
                {
                    "type": "file",
                    "file": {
                        "filename": "document.pdf",
                        "file_data": "data:application/pdf;base64,<BASE64_PDF_CONTENT>"
                    }
                }
            ]
        }
    ],
    "multimodal_resolver": {
        "imageEngine": "InferenceLow",
        "audioEngine": "Stt",
        "fileEngine": "InferenceHigh"
    }
}

Inference é aceito como um alias de InferenceLow. Os mecanismos funcionam da seguinte maneira:

• InferenceLow descreve o conteúdo com um modelo multimodal menor e de custo mais baixo.
• InferenceHigh descreve o conteúdo com um modelo multimodal maior, mais preciso e de custo mais elevado.
• Ocr extrai o texto de imagens e arquivos usando o mesmo serviço de extração do Fetch and OCR, cobrado em Unidades de Processamento. Aceita dados URI base64 e URLs públicos.
• Stt transcreve a fala no áudio usando o modelo padrão de speech-to-text e é cobrado por segundo de áudio. Música e sons ambientes não são descritos.

Com InferenceLow ou InferenceHigh, fileEngine envia PDFs para o modelo multimodal e converte outros tipos de arquivo com OCR. Com Ocr, todo arquivo, incluindo PDFs, é convertido com OCR.

Os resultados são armazenados em cache por conteúdo e mecanismo para reutilização, portanto, a mesma mídia resolvida com o mesmo mecanismo não é cobrada novamente. Alterar o mecanismo processa e cobra o conteúdo novamente. Consulte Caching.

Escolher um mecanismo #

O modelo principal recebe apenas o texto resultante, portanto, não pode responder a perguntas sobre detalhes que a descrição omitiu. Se os usuários fizerem perguntas de acompanhamento sobre a mesma mídia, um modelo que aceita a mídia diretamente geralmente fornece melhores respostas. Para definir os mecanismos para todas as solicitações, configure-os em um AI Gateway como multimodalResolverParameters.

multimodal_preprocess obsoleto #

As flags multimodal_preprocess continuam sendo aceitas para compatibilidade, mas estão obsoletas. Use multimodal_resolver em vez disso; quando ambas são enviadas, multimodal_resolver é usado. As flags mapeiam para os novos mecanismos da seguinte forma:

Como um único mecanismo agora cobre todos os tipos de arquivo, OtherFiles sozinho também converte PDFs com OCR, e File sozinho também converte arquivos não-PDF com OCR. Anteriormente, os tipos de arquivo fora da flag selecionada eram enviados ao modelo principal inalterados.