Aspose.Words for .NET 25.7 のリリースにより、self-hosted Large Language Models (LLMs) を統合して AI 強化のドキュメント処理を実現できる強力なオプションが利用できるようになりました。これにより、サードパーティがホストする APIs を回避しながら、プライバシー、柔軟性、制御性が向上します。

Image

セルフホスト型にする理由 LLM?

  • Data Sovereignty: 機密文書を自社のインフラストラクチャ内に完全に保管します
  • Cost Control: プロバイダからの追加料金を回避し、独自のハードウェアでモデルをホストします
  • Customization: カスタムエンドポイントまたはオンプレミスモデルのデプロイメントをシームレスに統合します

セルフホスト型 LLM を Aspose.Words {#how-to-leverage-self-hosted-llm-with-aspose-words} で活用する方法

Aspose.Wordsは、ドキュメントの翻訳、要約、文法チェックなど、さまざまなAIベースの機能をサポートしています。 Aspose.Words.AI名前空間。ホストされたモデル（例：OpenAI、Google）を使用することもできますが、ライブラリはカスタムのセルフホストモデルもサポートしています。

自己ホスト型の LLM に切り替えるには、次を使用します。

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

実際の使用例

  • Enterprise Documents: 外部にデータを公開せずに、機密の法的または財務的文書を翻訳します。APIs
  • Offline Deployment: セキュリティの高い環境やエアギャップネットワークでは、高度なカスタム LLMs（例: 微調整されたオープンソース モデル）を使用します。
  • Cost-Sensitive Scenarios: クラウド サービスのコストを節約するために、ローカル GPUs で推論を実行します

この機能により、AI インフラストラクチャの完全な所有権と制御を維持しながら、Aspose.Words の堅牢な AI 機能を維持できるようになります。

参照