Med lanseringen av Aspose.Words for .NET 25.7 har du nu det kraftfulla alternativet att integrera self-hosted Large Language Models (LLMs) för AI-förbättrad dokumentbehandling, vilket ger större integritet, flexibilitet och kontroll, samtidigt som du undviker tredjepartshostade APIs.

Image

Varför välja egenhosting LLM?

  • Data Sovereignty: Förvara känsliga dokument helt inom din egen infrastruktur
  • Cost Control: Hosta modeller på din egen hårdvara och undvik extra avgifter från leverantörer
  • Customization: Integrera sömlöst anpassade slutpunkter eller lokala modelldistributioner

Hur man utnyttjar egenhostad LLM med Aspose.Words

Aspose.Words stöder olika AI-drivna funktioner som dokumentöversättning, sammanfattningar och grammatikkontroll, med stöd av Aspose.Words.AI namnrymd. Även om du kan använda värdbaserade modeller (t.ex. OpenAI, Google), stöder biblioteket även anpassade självhostade modeller.

För att byta till en självhostad LLM, använd följande:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Verkliga användningsfall

  • Enterprise Documents: Översätt konfidentiella juridiska eller finansiella dokument utan att exponera data för externa APIs
  • Offline Deployment: Använd tunga anpassade LLMs (t.ex. finjusterade modeller med öppen källkod) i miljöer med hög säkerhet eller nätverk med begränsat utrymme.
  • Cost-Sensitive Scenarios: Kör inferens på lokal GPUs för att spara på molntjänstkostnader

Den här funktionen ger dig möjlighet att underhålla de robusta AI funktionerna i Aspose.Words samtidigt som du behåller fullt ägande och kontroll över din AI infrastruktur.

Se även