עם שחרורו של Aspose.Words for .NET 25.7, כעת יש לך אפשרות רבת עוצמה לשלב את self-hosted Large Language Models (LLMs) לעיבוד מסמכים משופר AI, המציע פרטיות, גמישות ושליטה רבות יותר, תוך הימנעות משימוש ב-APIs על ידי צד שלישי.

Image

למה לבחור באחסון עצמי LLM?

  • Data Sovereignty: שמור מסמכים רגישים לחלוטין בתוך התשתית שלך
  • Cost Control: אירוח דגמים על גבי החומרה שלך, תוך הימנעות מעמלות נוספות מצד ספקים
  • Customization: שילוב חלק של נקודות קצה מותאמות אישית או פריסות מודל מקומיות

כיצד למנף אתרים עצמאיים LLM עם Aspose.Words

Aspose.Words תומך במגוון תכונות המופעלות על ידי AI כמו תרגום מסמכים, סיכום ובדיקת דקדוק, המופעלות על ידי Aspose.Words.AI מרחב שמות. אמנם ניתן להשתמש במודלים מתארחים (למשל, OpenAI, גוגל), אך הספרייה תומכת גם במודלים מותאמים אישית המתארחים באופן עצמאי.

כדי לעבור ל-LLM המאוחסן בעצמו, השתמשו בפעולות הבאות:

public void SelfHostedModel()
{
    Document doc = new Document(MyDir + "Big document.docx");

    string apiKey = Environment.GetEnvironmentVariable("API_KEY");
    // Use OpenAI generative language models.
    AiModel model = new CustomAiModel().WithApiKey(apiKey);

    Document translatedDoc = model.Translate(doc, Language.Russian);
    translatedDoc.Save(ArtifactsDir + "AI.SelfHostedModel.docx");
}

// Custom self-hosted AI model.
internal class CustomAiModel : OpenAiModel
{
    protected override string Url
    {
        get { return "https://localhost/"; }
    }

    protected override string Name
    {
        get { return "my-model-24b"; }
    }
}

מקרי שימוש מהעולם האמיתי

  • Enterprise Documents: תרגום מסמכים משפטיים או פיננסיים סודיים מבלי לחשוף נתונים בפני גורמים חיצוניים APIs
  • Offline Deployment: השתמש במודלים מותאמים אישית כבדים LLMs (למשל, מודלים קוד פתוח מכווננים עדינים) בסביבות אבטחה גבוהות או ברשתות עם פער אוויר
  • Cost-Sensitive Scenarios: הפעל הסקה על GPUs מקומי כדי לחסוך בעלויות שירותי ענן

יכולת זו מאפשרת לך לשמור על התכונות החזקות של AI תוך שמירה על בעלות ושליטה מלאות על התשתית שלך.

ראה גם