Con el lanzamiento de Aspose.Words for .NET 25.7, ahora tiene la poderosa opción de integrar self-hosted Large Language Models (LLMs) para un procesamiento de documentos mejorado con AI, lo que ofrece mayor privacidad, flexibilidad y control, al mismo tiempo que evita el alojamiento de APIs de terceros.

Image

¿Por qué optar por un alojamiento propio LLM?

  • Data Sovereignty: Mantenga los documentos confidenciales completamente dentro de su propia infraestructura
  • Cost Control: Aloje modelos en su propio hardware, evitando cargos adicionales de los proveedores
  • Customization: Integre sin problemas puntos finales personalizados o implementaciones de modelos locales

Cómo aprovechar el alojamiento propio LLM con Aspose.Words

Aspose.Words admite varias funciones impulsadas por AI, como traducción de documentos, resúmenes y verificación gramatical, impulsadas por el Aspose.Words.AI Espacio de nombres. Si bien se pueden usar modelos alojados (p. ej., OpenAI, Google), la biblioteca también admite modelos personalizados autoalojados.

Para cambiar a un LLM autohospedado, utilice lo siguiente:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

Casos de uso del mundo real

  • Enterprise Documents: Traducir documentos legales o financieros confidenciales sin exponer los datos a información externa APIs
  • Offline Deployment: Utilizar modelos personalizados LLMs (por ejemplo, modelos de código abierto optimizados) en entornos de alta seguridad o redes aisladas
  • Cost-Sensitive Scenarios: Ejecute la inferencia en el GPUs local para ahorrar costos en el servicio en la nube

Esta capacidad le permite mantener las sólidas características AI de Aspose.Words y al mismo tiempo conservar la propiedad y el control total sobre su infraestructura AI.

Ver también