Với bản phát hành Aspose.Words for .NET 25.7, giờ đây bạn có tùy chọn mạnh mẽ để tích hợp self-hosted Large Language Models (LLMs) để xử lý tài liệu nâng cao AI, mang lại quyền riêng tư, tính linh hoạt và khả năng kiểm soát tốt hơn, đồng thời tránh được APIs do bên thứ ba lưu trữ.

Image

Tại sao nên tự lưu trữ LLM?

  • Data Sovereignty: Giữ các tài liệu nhạy cảm hoàn toàn trong cơ sở hạ tầng của riêng bạn
  • Cost Control: Lưu trữ các mô hình trên phần cứng của riêng bạn, tránh các khoản phí bổ sung từ nhà cung cấp
  • Customization: Tích hợp liền mạch các điểm cuối tùy chỉnh hoặc triển khai mô hình tại chỗ

Cách tận dụng tính năng tự lưu trữ LLM với Aspose.Words

Aspose.Words hỗ trợ nhiều tính năng được hỗ trợ bởi AI như dịch tài liệu, tóm tắt và kiểm tra ngữ pháp, được hỗ trợ bởi Aspose.Words.AI không gian tên. Mặc dù bạn có thể sử dụng các mô hình được lưu trữ (ví dụ: OpenAI, Google), thư viện cũng hỗ trợ các mô hình tự lưu trữ tùy chỉnh.

Để chuyển sang LLM tự lưu trữ, hãy sử dụng lệnh sau:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Các trường hợp sử dụng thực tế

  • Enterprise Documents: Dịch các tài liệu pháp lý hoặc tài chính bí mật mà không tiết lộ dữ liệu cho bên ngoài APIs
  • Offline Deployment: Sử dụng LLMs tùy chỉnh nặng (ví dụ: các mô hình nguồn mở được tinh chỉnh) trong môi trường bảo mật cao hoặc mạng không có kết nối
  • Cost-Sensitive Scenarios: Chạy suy luận trên GPUs cục bộ để tiết kiệm chi phí dịch vụ đám mây

Khả năng này cho phép bạn duy trì các tính năng AI mạnh mẽ của Aspose.Words trong khi vẫn giữ toàn quyền sở hữu và kiểm soát cơ sở hạ tầng AI của mình.

Xem thêm