З випуском Aspose.Words for .NET 25.7 у вас тепер є потужна можливість інтегрувати self-hosted Large Language Models (LLMs) для AI-покращеної обробки документів, що забезпечує більшу конфіденційність, гнучкість та контроль, водночас уникаючи використання APIs, розміщеного на сторонніх ресурсах.

Image

Чому варто використовувати власний хостинг LLM?

  • Data Sovereignty: Зберігайте конфіденційні документи повністю у власній інфраструктурі
  • Cost Control: Розміщуйте моделі на власному обладнанні, уникаючи додаткових платежів від постачальників
  • Customization: Безперешкодна інтеграція користувацьких кінцевих точок або локальних розгортань моделей

Як максимально ефективно використовувати власний хостинг LLM разом із Aspose.Words

Aspose.Words підтримує різні функції, що працюють на базі AI, такі як переклад документів, підсумовування та перевірка граматики, що працюють на базі Aspose.Words.AI простір імен. Хоча ви можете використовувати розміщені моделі (наприклад, OpenAI, Google), бібліотека також підтримує власні власні моделі.

Щоб перейти на власний хостинг LLM, скористайтеся наступним:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Реальні приклади використання

  • Enterprise Documents: Перекладайте конфіденційні юридичні або фінансові документи без розкриття даних зовнішнім APIs
  • Offline Deployment: Використовуйте потужні кастомізовані LLMs налаштування (наприклад, точно налаштовані моделі з відкритим кодом) у середовищах з високим рівнем безпеки або мережах з обмеженим доступом.
  • Cost-Sensitive Scenarios: Виконайте висновок на локальному GPUs, щоб заощадити на хмарних сервісах

Ця можливість дозволяє вам підтримувати надійні функції AI Aspose.Words, зберігаючи при цьому повне право власності та контроль над вашою інфраструктурою AI.

Див. також