Mit der Veröffentlichung von Aspose.Words for .NET 25.7 haben Sie jetzt die leistungsstarke Option, self-hosted Large Language Models (LLMs) für eine AI-erweiterte Dokumentenverarbeitung zu integrieren, was mehr Datenschutz, Flexibilität und Kontrolle bietet und gleichzeitig das Hosting von APIs durch Drittanbieter vermeidet.

Image

Warum selbst gehostet werden LLM?

  • Data Sovereignty: Bewahren Sie vertrauliche Dokumente vollständig in Ihrer eigenen Infrastruktur auf
  • Cost Control: Hosten Sie Modelle auf Ihrer eigenen Hardware und vermeiden Sie so zusätzliche Gebühren von Anbietern
  • Customization: Nahtlose Integration benutzerdefinierter Endpunkte oder On-Premise-Modellbereitstellungen

So nutzen Sie selbst gehostete LLM mit Aspose.Words

Aspose.Words unterstützt verschiedene AI-basierte Funktionen wie Dokumentübersetzung, Zusammenfassung und Grammatikprüfung, unterstützt durch die Aspose.Words.AI Namespace. Sie können zwar gehostete Modelle verwenden (z. B. OpenAI, Google), die Bibliothek unterstützt jedoch auch benutzerdefinierte selbst gehostete Modelle.

Um zu einem selbstgehosteten LLM zu wechseln, verwenden Sie Folgendes:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Anwendungsfälle aus der Praxis

  • Enterprise Documents: Übersetzen Sie vertrauliche juristische oder finanzielle Dokumente, ohne die Daten externen Zugriffen preiszugeben APIs
  • Offline Deployment: Verwenden Sie stark benutzerdefinierte LLMs (z. B. fein abgestimmte Open-Source-Modelle) in Hochsicherheitsumgebungen oder Air-Gap-Netzwerken
  • Cost-Sensitive Scenarios: Führen Sie Inferenz auf dem lokalen GPUs aus, um Kosten für Cloud-Dienste zu sparen

Diese Funktion ermöglicht es Ihnen, die robusten AI-Funktionen von Aspose.Words beizubehalten und gleichzeitig die volle Kontrolle über Ihre AI-Infrastruktur zu behalten.

Siehe auch