Aspose.Words for .NET 25.7 sürümüyle birlikte, artık AI geliştirilmiş belge işleme için self-hosted Large Language Models (LLMs) entegrasyonunu kullanma seçeneğiniz var. Bu sayede, üçüncü tarafça barındırılan APIs’den kaçınırken daha fazla gizlilik, esneklik ve kontrol elde edersiniz.

Image

Neden Kendi Kendine Barındırılan Bir Siteye Geçmelisiniz LLM?

  • Data Sovereignty: Hassas belgeleri tamamen kendi altyapınız içinde tutun
  • Cost Control: Sağlayıcılardan ek ücretler almaktan kaçınarak modelleri kendi donanımınızda barındırın
  • Customization: Özel uç noktaları veya şirket içi model dağıtımlarını sorunsuz bir şekilde entegre edin

Aspose.Words {#how-to-leverage-self-hosted-llm-with-aspose-words} ile Kendinden Barındırılan LLM’yi Nasıl Kullanabilirsiniz?

Aspose.Words, belge çevirisi, özetleme ve dil bilgisi denetimi gibi çeşitli AI destekli özellikleri destekler. Aspose.Words.AI namespace. Barındırılan modelleri (örneğin, OpenAI, Google) kullanabilmenize rağmen, kitaplık özel, kendi kendine barındırılan modelleri de destekler.

Kendinden barındırılan LLM’a geçmek için aşağıdakileri kullanın:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Gerçek Dünya Kullanım Örnekleri

  • Enterprise Documents: Verileri dışarıya ifşa etmeden gizli hukuki veya finansal belgeleri çevirin APIs
  • Offline Deployment: Yüksek güvenlikli ortamlarda veya hava boşluklu ağlarda ağır özel LLMs (örneğin, ince ayarlı açık kaynaklı modeller) kullanın
  • Cost-Sensitive Scenarios: Bulut hizmeti maliyetlerinden tasarruf etmek için yerel GPUs üzerinde çıkarım çalıştırın

Bu yetenek, AI altyapınız üzerinde tam mülkiyet ve kontrolü elinizde tutarken Aspose.Words’ın güçlü AI özelliklerini korumanıza olanak tanır.

Ayrıca bakınız