בינה מלאכותית ניתנת להסבר לאוטומציה של שאלוני אבטחה

שאלוני אבטחה הם שלב קריטי בתהליך סינון במכירות SaaS B2B, הערכות סיכון של ספקים ובדיקות רגולטוריות. גישות ידניות מסורתיות איטיות ונוטות לטעויות, ולכן נוצר גל של פלטפורמות מבוססות AI כגון Procurize שיכולות לצרוך מסמכי מדיניות, לייצר תשובות, ולהפנות משימות באופן אוטומטי. בעוד שהמנועים האלה מצמצמים משמעותית זמן תגובה, הם גם מעלים חשש חדש: אמון בהחלטות של ה‑AI.

הגיעה בינה מלאכותית ניתנת להסבר (XAI) – סט של טכניקות שהופכות את המבנה הפנימי של מודלים ללימוד מכונה לשקוף לבני אדם. על‑ידי הטמעת XAI ישירות באוטומציה של שאלונים, ארגונים יכולים:

• לבקר כל תשובה שנוצרה עם נימוק ניתן למעקב.
• להדגים ציות למבקרים חיצוניים שדורשים ראיות לניסיון נאות.
• להאיץ משא ומתן חוזיים כי צוותים משפטיים וביטחוניים מקבלים תשובות שהם יכולים לאמת מיד.
• לשפר באופן רציף את מודל ה‑AI באמצעות משוב שהתקבל מההסברים האנושיים.

במאמר זה נעבור על ארכיטקטורת מנוע שאלונים המופעל על‑ידי XAI, נסמן שלבים פרקטיים ליישום, נציג דיאגרמת Mermaid של זרימת העבודה, ונדון ב‑best‑practice עבור חברות SaaS המעוניינות לאמץ טכנולוגיה זו.

1. למה ניתנות להסבר חשובה בציות

הציות אינו רק על מה אתה משיב, אלא על איך הגעת לתשובה. תקנות כמו GDPR ו‑ISO 27001 דורשות תהליכים שניתנים להדגמה. XAI מספקת את ה‑“איך” על‑ידי חשיפת חשיבות תכונות, מקוריות, וניקוד אמון לצד כל תשובה.

2. רכיבים מרכזיים של מנוע שאלונים עם XAI

להלן מבט ברמה גבוהה של המערכת. דיאגרמת Mermaid מציגה את זרימת הנתונים ממסמכי המדיניות עד לתשובה מוכנה לביקורת.

  graph TD
    A["מאגר מדיניות<br/>(SOC2, ISO, GDPR)"] --> B["צריכת מסמכים<br/>(NLP Chunker)"]
    B --> C["בונה גרף ידע"]
    C --> D["חנות וקטורים (הטמעות)"]
    D --> E["מודל יצירת תשובות"]
    E --> F["שכבת ניתנת להסבר"]
    F --> G["תצוגת רמז של אמון וייחוס"]
    G --> H["ממשק ביקורת משתמש"]
    H --> I["יומן audit וחבילת ראיות"]
    I --> J["ייצוא לפורטל מבקר"]

כל תוויות הצמתים עטופות במרכאות כפולות כנדרש ל‑Mermaid.

2.1. מאגר מדיניות וצריכה

• שמור את כל המסמכים הרלוונטיים לצייתנות באחסון בלתי ניתן לשינוי שמנוהל בגירסאות.
• השתמש במפרק טקסט מרובה‑שפות כדי לפצל מדיניות למשפטים אטומיים.
• הוסף מטה‑נתונים (מסגרת, גרסה, תאריך תחולה) לכל משפט.

2.2. בנאי גרף ידע

• המרת משפטים לקודקודים וקשרים (לדוגמה, “הצפנה של נתונים” דורש “AES‑256”).
• השתמש בזיהוי ישויות בשם כדי לקשר בקרים לסטנדרטים בתעשייה.

2.3. חנות וקטורים

• הטמע כל משפט בעזרת מודל Transformer (למשל RoBERTa‑large) ושמר וקטורים במאגר FAISS או Milvus.
• מאפשר חיפוש סמנטי כאשר השאלון מבקש “הצפנה במנוחה”.

2.4. מודל יצירת תשובות

• LLM מותאם בעזרת Prompt‑Tuning (לדוגמה GPT‑4o) מקבל את השאלה, וקטורי המשפטים הרלוונטיים, ומידע מטא‑נתוני החברה.
• מייצר תשובה תמציתית בפורמט המבוקש (JSON, טקסט חופשי, או מטריצה של ציות).

2.5. שכבת ניתנת להסבר

• הקצאת תכונות: שימוש ב‑SHAP/Kernel SHAP כדי לדרג אילו משפטים תרמו ביותר לתשובה.
• יצירת קונטרפקטואליות: מציג איך תשובה משתנה אם משפט מסוים ישתנה.
• ניקוד אמון: משלב לוג‑סיכויים של המודל עם ניקוד דמיון וקטורי.

2.6. ממשק ביקורת משתמש

• מציג את התשובה, טיפ‑רמז עם חמשת המשפטים המרכזיים, וסרגל אמון.
• מאפשר למבקרים לאשר, לערוך, או לדחות את התשובה עם נימוק – המשוב מזין את לולאת האימון.

2.7. יומן audit וחבילת ראיות

• כל פעולה נרשמת באופן בלתי ניתן לשינוי (מי אישר, מתי, למה).
• המערכת מרכיבה באופן אוטומטי חבילה של PDF/HTML עם ציטוטים למחלקות המדיניות המקוריות.

3. יישום XAI ברכישה הקיימת שלך

3.1. התחל עם עטיפה מינימלית של ניתנות להסבר

אם כבר יש לך כלי AI לשאלונים, ניתן לשלב XAI בלי redesign מלא:

from shap import KernelExplainer
import torch

def explain_answer(question, answer, relevant_vectors):
    # מודל פרוקסי פשוט המשתמש בדמיון קוסינוס כשפונקציית דירוג
    def model(input_vec):
        return torch.nn.functional.cosine_similarity(input_vec, relevant_vectors, dim=1)

    explainer = KernelExplainer(model, background_data=np.random.randn(10, 768))
    shap_values = explainer.shap_values(question_embedding)
    top_indices = np.argsort(-np.abs(shap_values))[:5]
    return top_indices, shap_values[top_indices]

הפונקציה מחזירה את האינדקסים של חמשת הסעיפים המשפיעים ביותר, שניתן להציג בממשק.

3.2. אינטגרציה עם מנועי זרימת עבודה קיימים

• הקצאת משימות: כאשר אמון < 80 % , הקצה אוטומטית למומחה ציות.
• שרשור תגובות: צרף את פלט הניתנת להסבר לשרשור ההערות כך שמבקרים יוכלו לדון בהיגיון.
• הוקים של שליטת גרסאות: אם סעיף מדיניות מתעדכן, הפעל מחדש את צינור הניתנת להסבר לכל תשובות מושפעות.

3.3. לולאת למידה רציפה

1. איסוף משוב: תעד “אושר”, “נערך”, או “נדחה” יחד עם טקסט חופשי.
2. אימון מחדש: עדכן את ה‑LLM על‑פיו על‑ידי fine‑tuning על מערך הנתונים הממוּן של Q&A מאושרות.
3. רענון הקצאות: חשב מחדש ערכי SHAP לאחר כל מחזור fine‑tuning כדי לשמור על הסברים תואמים.

4. יתרונות בכימות

הנתונים מהפיילוט (ביצע חברה SaaS בינונית) מראים שניתנת להסבר לא רק משפרת את האמון, אלא גם מגבירה את היעילות הכוללת.

5. רשימת בדיקות של שיטות מיטביות

• שליטה בנתונים: שמור קבצי מדיניות מקוריים בלתי ניתנים לשינוי עם חותמת זמן.
• עומק ניתנת להסבר: ספק לפחות שלושה רמות – סיכום, הקצאת מפורטת, וקונטרפקטואליות.
• אדם‑ב‑הלולאה: אף על פי שמדובר במנוע מהיר, אל תפרסם תשובות באופן אוטומטי עבור פריטים באפיון גבוה.
• התאמה רגולטורית: תעדף הקצאות ניתנת להסבר לדרישות ספציפיות של ביקורת (למשל “הוכחת בחירת בקרה” ב‑SOC 2).
• מעקב ביצועים: מדוד ניקוד אמון, שיעור משוב, ועיכוב זמן ההסבר.

6. מבט עתידי: מניית ניתנות להסבר למודל Explainability‑by‑Design

הגל הבא של AI לציות ישלב XAI ישירות בארכיטקטורת המודלים (למשל, מודלים מבוססי‑attention עם עקבות שקופה) במקום שכבת post‑hoc. פיתוחים צפויים כוללים:

• LLM‑אוטומטי מתעד שמייצר ציטוטים באופן מובנה בזמן האינפרנס.
• ניתנת להסבר פדרטיבית עבור סביבות מרובות‑שוכרים שבהן גרף המדיניות של כל לקוח נשאר פרטי.
• תקני XAI רגולטוריים (ISO 42001 המתוכנן לשנת 2026) שיאלצו עומק מינימלי של הקצאת ניתנות להסבר.

ארגונים שמתיישמים XAI היום יהיו מוכנים לאמץ תקנים אלו בקלות, ויהפכו את הציות ממרכז עלות למתחרה אסטרטגית.

7. התחלת עבודה עם Procurize ו‑XAI

1. הפעלת תוספת ניתנת להסבר בלוח הבקרה של Procurize (הגדרות → AI → ניתנת להסבר).
2. העלאת מאגר המדיניות בעזרת אשף “סינכרון מדיניות”; המערכת תבנה באופן אוטומטי את גרף הידע.
3. הפעלת פיילוט על קבוצת שאלונים בעלת סיכון נמוך ובדוק את רמזי ההקצאות.
4. חזרה: השתמש במשוב לביצוע fine‑tuning של ה‑LLM ולשיפור דיוק ה‑SHAP.
5. הרחבה: פרוס לכל שאלוני ספקים, ביקורות, ואפילו לבחינות מדיניות פנימיות.

על‑ידי שלבים אלו, תוכל להפוך מנוע AI מהיר בלבד למנוע שקוף, מבוקר, ובונה אמון.

ראה Also

• ISO 42001:2026 Explainable AI Standard (draft)
• SHAP – A Unified Approach to Interpreting Model Predictions