Com o lançamento do Aspose.Words for .NET 25.7, agora você tem a opção poderosa de integrar o self-hosted Large Language Models (LLMs) para processamento de documentos aprimorado com AI, oferecendo maior privacidade, flexibilidade e controle, evitando hospedagem de terceiros APIs.

Image

Por que optar pela auto-hospedagem LLM?

  • Data Sovereignty: Mantenha documentos confidenciais inteiramente dentro de sua própria infraestrutura
  • Cost Control: Hospede modelos em seu próprio hardware, evitando taxas adicionais de provedores
  • Customization: Integre perfeitamente endpoints personalizados ou implantações de modelos locais

Como aproveitar a hospedagem própria LLM com Aspose.Words

Aspose.Words oferece suporte a vários recursos AI, como tradução de documentos, resumo e verificação gramatical, fornecidos pelo Aspose.Words.AI namespace. Embora você possa usar modelos hospedados (por exemplo, OpenAI, Google), a biblioteca também oferece suporte a modelos auto-hospedados personalizados.

Para alternar para um LLM auto-hospedado, use o seguinte:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Casos de uso do mundo real

  • Enterprise Documents: Traduza documentos jurídicos ou financeiros confidenciais sem expor os dados a fontes externas APIs
  • Offline Deployment: Use customização pesada LLMs (por exemplo, modelos de código aberto ajustados) em ambientes de alta segurança ou redes isoladas
  • Cost-Sensitive Scenarios: Execute inferência no GPUs local para economizar em custos de serviço em nuvem

Esse recurso permite que você mantenha os recursos robustos do AI Aspose.Words enquanto mantém total propriedade e controle sobre sua infraestrutura AI.

Veja também