С выпуском Aspose.Words for .NET 25.7 у вас появилась мощная возможность интегрировать self-hosted Large Language Models (LLMs) для AI-улучшенной обработки документов, предлагая большую конфиденциальность, гибкость и контроль, избегая при этом стороннего размещения APIs.

Image

Зачем выбирать собственное размещение LLM?

  • Data Sovereignty: Храните конфиденциальные документы исключительно в своей собственной инфраструктуре.
  • Cost Control: Размещайте модели на собственном оборудовании, избегая дополнительных сборов от поставщиков.
  • Customization: Простая интеграция пользовательских конечных точек или локальных развертываний моделей

Как использовать LLM, размещенный на собственном сервере, с помощью Aspose.Words

Aspose.Words поддерживает различные функции на базе AI, такие как перевод документов, реферирование и проверка грамматики, работающие на основе Aspose.Words.AI Пространство имён. Хотя вы можете использовать размещённые модели (например, OpenAI, Google), библиотека также поддерживает пользовательские модели, размещённые самостоятельно.

Чтобы переключиться на размещенный самостоятельно LLM, используйте следующее:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Реальные примеры использования

  • Enterprise Documents: Переводите конфиденциальные юридические или финансовые документы, не раскрывая данные внешним APIs
  • Offline Deployment: Используйте сложные пользовательские LLMs (например, тонко настроенные модели с открытым исходным кодом) в средах с высоким уровнем безопасности или изолированных сетях
  • Cost-Sensitive Scenarios: Запустите вывод на локальном GPUs, чтобы сэкономить на расходах на облачные услуги

Эта возможность позволяет вам поддерживать надежные функции AI Aspose.Words, сохраняя при этом полное владение и контроль над вашей инфраструктурой AI.

Смотрите также