Avec la sortie de Aspose.Words for .NET 25.7, vous disposez désormais de la puissante option d’intégrer self-hosted Large Language Models (LLMs) pour un traitement de documents amélioré par AI, offrant une plus grande confidentialité, flexibilité et contrôle, tout en évitant les APIs hébergés par des tiers.

Image

Pourquoi opter pour l’auto-hébergement LLM ?

  • Data Sovereignty : Conservez les documents sensibles entièrement au sein de votre propre infrastructure
  • Cost Control : Hébergez des modèles sur votre propre matériel, évitant ainsi des frais supplémentaires auprès des fournisseurs
  • Customization : Intégrez de manière transparente des points de terminaison personnalisés ou des déploiements de modèles sur site

Comment tirer parti de l’auto-hébergement LLM avec Aspose.Words

Aspose.Words prend en charge diverses fonctionnalités basées sur AI, telles que la traduction de documents, le résumé et la vérification grammaticale, optimisées par le Aspose.Words.AI espace de noms. Bien que vous puissiez utiliser des modèles hébergés (par exemple, OpenAI, Google), la bibliothèque prend également en charge les modèles auto-hébergés personnalisés.

Pour passer à un LLM auto-hébergé, utilisez ce qui suit :

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Cas d’utilisation réels

  • Enterprise Documents : Traduisez des documents juridiques ou financiers confidentiels sans exposer les données à des tiers APIs
  • Offline Deployment : Utilisez des LLMs personnalisés lourds (par exemple, des modèles open source affinés) dans des environnements de haute sécurité ou des réseaux isolés
  • Cost-Sensitive Scenarios : Exécutez l’inférence sur le GPUs local pour économiser sur les coûts des services cloud

Cette capacité vous permet de conserver les fonctionnalités robustes AI de Aspose.Words tout en conservant la propriété et le contrôle complets de votre infrastructure AI.

Voir aussi