Dengan dirilisnya Aspose.Words for .NET 25.7, Anda kini memiliki opsi hebat untuk mengintegrasikan self-hosted Large Language Models (LLMs) untuk pemrosesan dokumen yang ditingkatkan AI, menawarkan privasi, fleksibilitas, dan kontrol yang lebih besar, sekaligus menghindari APIs yang dihosting pihak ketiga.

Image

Mengapa Memilih Self-Hosted LLM?

  • Data Sovereignty: Simpan dokumen sensitif sepenuhnya dalam infrastruktur Anda sendiri
  • Cost Control: Hosting model pada perangkat keras Anda sendiri, hindari biaya tambahan dari penyedia
  • Customization: Integrasikan titik akhir kustom atau penerapan model lokal dengan mulus

Cara Memanfaatkan Self-Hosted LLM dengan Aspose.Words

Aspose.Words mendukung berbagai fitur bertenaga AI seperti penerjemahan dokumen, peringkasan, dan pemeriksaan tata bahasa, didukung oleh Aspose.Words.AI namespace. Meskipun Anda dapat menggunakan model yang dihosting (misalnya, OpenAI, Google), pustaka ini juga mendukung model yang dihosting sendiri secara kustom.

Untuk beralih ke LLM yang dihosting sendiri, gunakan yang berikut ini:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Kasus Penggunaan di Dunia Nyata

  • Enterprise Documents: Terjemahkan dokumen hukum atau keuangan rahasia tanpa mengekspos data ke pihak eksternal APIs
  • Offline Deployment: Gunakan LLMs kustom yang berat (misalnya, model sumber terbuka yang disetel dengan baik) di lingkungan keamanan tinggi atau jaringan bercelah udara
  • Cost-Sensitive Scenarios: Jalankan inferensi pada GPUs lokal untuk menghemat biaya layanan cloud

Kemampuan ini memungkinkan Anda mempertahankan fitur AI yang tangguh di Aspose.Words sambil tetap mempertahankan kepemilikan dan kontrol penuh atas infrastruktur AI Anda.

Lihat Juga