S vydáním Aspose.Words for .NET 25.7 máte nyní k dispozici výkonnou možnost integrace self-hosted Large Language Models (LLMs) pro AIvylepšené zpracování dokumentů, které nabízí větší soukromí, flexibilitu a kontrolu a zároveň se vyhýbá hostování APIs třetích stran.

Image

Proč zvolit vlastní hosting LLM?

  • Data Sovereignty: Uchovávejte citlivé dokumenty výhradně ve vlastní infrastruktuře
  • Cost Control: Hostujte modely na vlastním hardwaru a vyhněte se tak dodatečným poplatkům od poskytovatelů
  • Customization: Bezproblémová integrace vlastních koncových bodů nebo nasazení modelů v místních podmínkách

Jak využít vlastní hosting LLM s Aspose.Words

Aspose.Words podporuje různé funkce AI, jako je překlad dokumentů, shrnování a kontrola gramatiky, a to díky Aspose.Words.AI jmenný prostor. I když můžete použít hostované modely (např. OpenAI, Google), knihovna podporuje i vlastní samostatně hostované modely.

Chcete-li přepnout na vlastní hostovaný LLM, použijte následující:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Případy použití v reálném světě

  • Enterprise Documents: Překládejte důvěrné právní nebo finanční dokumenty bez vystavení dat externímu APIs
  • Offline Deployment: Používejte náročné vlastní LLMs (např. jemně vyladěné modely s otevřeným zdrojovým kódem) ve vysoce zabezpečených prostředích nebo sítích s omezenou ochranou.
  • Cost-Sensitive Scenarios: Spusťte inferenci na lokálním GPUs a ušetřete tak náklady na cloudové služby.

Tato funkce vám umožňuje udržovat robustní funkce AI platformy Aspose.Words a zároveň si zachovat plné vlastnictví a kontrolu nad vaší infrastrukturou AI.

Viz také