Dzięki wydaniu Aspose.Words for .NET 25.7 masz teraz dostęp do potężnej opcji integracji self-hosted Large Language Models (LLMs) w celu ulepszonego przetwarzania dokumentów AI, co zapewnia większą prywatność, elastyczność i kontrolę, a jednocześnie eliminuje konieczność hostowania APIs przez podmioty trzecie.

Image

Dlaczego warto wybrać hosting własny LLM?

  • Data Sovereignty: Przechowuj poufne dokumenty wyłącznie w obrębie własnej infrastruktury
  • Cost Control: Hostuj modele na własnym sprzęcie, unikając dodatkowych opłat od dostawców
  • Customization: Bezproblemowa integracja niestandardowych punktów końcowych lub wdrożeń modeli lokalnych

Jak wykorzystać samodzielnie hostowaną usługę LLM z usługą Aspose.Words

Aspose.Words obsługuje różne funkcje obsługiwane przez AI, takie jak tłumaczenie dokumentów, podsumowania i sprawdzanie gramatyki, Aspose.Words.AI przestrzeń nazw. Chociaż możesz używać modeli hostowanych (np. OpenAI, Google), biblioteka obsługuje również niestandardowe modele hostowane samodzielnie.

Aby przełączyć się na LLM hostowany samodzielnie, użyj następującego polecenia:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Przykłady zastosowań w świecie rzeczywistym

  • Enterprise Documents: Tłumaczenie poufnych dokumentów prawnych lub finansowych bez udostępniania danych osobom trzecim APIs
  • Offline Deployment: Użyj ciężkiego niestandardowego LLMs (np. precyzyjnie dostrojonych modeli open-source) w środowiskach o wysokim poziomie bezpieczeństwa lub sieciach odizolowanych od sieci
  • Cost-Sensitive Scenarios: Uruchom wnioskowanie na lokalnym GPUs, aby zaoszczędzić na kosztach usług w chmurze

Dzięki tej możliwości możesz zachować solidne funkcje AI Aspose.Words, zachowując jednocześnie pełną własność i kontrolę nad infrastrukturą AI.

Zobacz także