Con il rilascio di Aspose.Words for .NET 25.7, ora hai la potente opzione di integrare self-hosted Large Language Models (LLMs) per l’elaborazione dei documenti migliorata da AI, offrendo maggiore privacy, flessibilità e controllo, evitando al contempo APIs ospitato da terze parti.

Image

Perché scegliere l’auto-ospitato LLM?

  • Data Sovereignty: Conserva i documenti sensibili interamente all’interno della tua infrastruttura
  • Cost Control: Ospita modelli sul tuo hardware, evitando costi aggiuntivi da parte dei provider
  • Customization: Integra senza problemi endpoint personalizzati o distribuzioni di modelli on-premise

Come sfruttare l’auto-ospitato LLM con Aspose.Words

Aspose.Words supporta varie funzionalità basate su AI come la traduzione di documenti, la sintesi e il controllo grammaticale, basate su Aspose.Words.AI namespace. Sebbene sia possibile utilizzare modelli ospitati (ad esempio, OpenAI, Google), la libreria supporta anche modelli personalizzati auto-ospitati.

Per passare a un LLM auto-ospitato, utilizzare quanto segue:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Casi d’uso nel mondo reale

  • Enterprise Documents: Traduci documenti legali o finanziari riservati senza esporre i dati a soggetti esterni APIs
  • Offline Deployment: utilizzare personalizzazioni pesanti LLMs (ad esempio, modelli open source ottimizzati) in ambienti ad alta sicurezza o reti air-gapped
  • Cost-Sensitive Scenarios: esegui l’inferenza su GPUs locale per risparmiare sui costi del servizio cloud

Questa funzionalità ti consente di mantenere le solide funzionalità AI di Aspose.Words mantenendo al contempo la piena proprietà e il controllo sulla tua infrastruttura AI.

Vedi anche