Aspose.Words for .NET 25.7이 출시됨에 따라 이제 **self-hosted Large Language Models (LLMs)**을 통합하여 AI 향상된 문서 처리를 위한 강력한 옵션을 사용할 수 있으며, 타사에서 호스팅하는 APIs를 피하면서 더 큰 개인 정보 보호, 유연성 및 제어 기능을 제공합니다.

Image

셀프 호스팅을 선택하는 이유는 무엇입니까?LLM?

  • Data Sovereignty: 민감한 문서를 전적으로 자체 인프라 내에 보관하세요.
  • Cost Control: 공급업체의 추가 비용을 피하고 자체 하드웨어에서 모델을 호스팅하세요.
  • Customization: 사용자 정의 엔드포인트 또는 온프레미스 모델 배포를 원활하게 통합합니다.

Aspose.Words {#how-to-leverage-self-hosted-llm-with-aspose-words}를 사용하여 셀프 호스팅 LLM를 활용하는 방법

Aspose.Words는 문서 번역, 요약, 문법 검사와 같은 다양한 AI 기반 기능을 지원합니다. Aspose.Words.AI 네임스페이스. 호스팅된 모델(예: OpenAI, Google)을 사용할 수 있지만 라이브러리는 사용자 지정 자체 호스팅 모델도 지원합니다.

자체 호스팅 LLM으로 전환하려면 다음을 사용하세요.

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

실제 사용 사례

  • Enterprise Documents: 외부에 데이터를 노출하지 않고 기밀 법률 또는 재무 문서를 번역합니다. APIs
  • Offline Deployment: 고도의 보안 환경이나 에어갭 네트워크에서 고도로 사용자 정의된 LLMs(예: 미세 조정된 오픈 소스 모델)을 사용합니다.
  • Cost-Sensitive Scenarios: 클라우드 서비스 비용을 절감하기 위해 로컬 GPUs에서 추론을 실행합니다.

이 기능을 사용하면 AI 인프라에 대한 완전한 소유권과 제어권을 유지하면서도 Aspose.Words의 강력한 AI 기능을 유지할 수 있습니다.

또한 참조