ด้วยการเปิดตัว Aspose.Words for .NET 25.7 ตอนนี้คุณมีตัวเลือกอันทรงพลังในการรวม self-hosted Large Language Models (LLMs) สำหรับการประมวลผลเอกสารที่ได้รับการปรับปรุงของ AI ซึ่งให้ความเป็นส่วนตัว ความยืดหยุ่น และการควบคุมที่มากขึ้น ในขณะที่หลีกเลี่ยงการโฮสต์ APIs ของบุคคลที่สาม

Image

เหตุใดจึงต้องโฮสต์ด้วยตนเอง LLM?

  • Data Sovereignty: เก็บเอกสารสำคัญไว้ภายในโครงสร้างพื้นฐานของคุณเอง
  • Cost Control: โฮสต์โมเดลบนฮาร์ดแวร์ของคุณเอง หลีกเลี่ยงค่าธรรมเนียมเพิ่มเติมจากผู้ให้บริการ
  • Customization: บูรณาการจุดสิ้นสุดที่กำหนดเองหรือการปรับใช้แบบจำลองภายในสถานที่ได้อย่างราบรื่น

วิธีใช้ประโยชน์จากโฮสต์ด้วยตนเอง LLM ด้วย Aspose.Words

Aspose.Words รองรับฟีเจอร์ต่างๆ ที่ขับเคลื่อนด้วย AI เช่น การแปลเอกสาร การสรุป และการตรวจสอบไวยากรณ์ ซึ่งขับเคลื่อนโดย Aspose.Words.AI เนมสเปซ แม้ว่าคุณจะใช้โมเดลที่โฮสต์ไว้ได้ (เช่น OpenAI, Google) แต่ไลบรารียังรองรับโมเดลที่โฮสต์เองแบบกำหนดเองอีกด้วย

หากต้องการเปลี่ยนไปใช้ LLM ที่โฮสต์ด้วยตนเอง ให้ใช้สิ่งต่อไปนี้:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

กรณีการใช้งานในโลกแห่งความเป็นจริง

  • Enterprise Documents: แปลเอกสารทางกฎหมายหรือทางการเงินที่เป็นความลับโดยไม่เปิดเผยข้อมูลต่อภายนอก APIs
  • Offline Deployment: ใช้ LLMs ที่กำหนดเองอย่างหนัก (เช่น โมเดลโอเพ่นซอร์สที่ปรับแต่งอย่างละเอียด) ในสภาพแวดล้อมที่มีความปลอดภัยสูงหรือเครือข่ายที่แยกจากกัน
  • Cost-Sensitive Scenarios: รันการอนุมานบน GPUs ในพื้นที่เพื่อประหยัดค่าใช้จ่ายบริการคลาวด์

ความสามารถนี้ช่วยให้คุณสามารถรักษาคุณลักษณะ AI ที่แข็งแกร่งของ Aspose.Words ไว้ได้ในขณะที่ยังคงความเป็นเจ้าของและการควบคุมเต็มรูปแบบเหนือโครงสร้างพื้นฐาน AI ของคุณ

ดูเพิ่มเติม