איך באמת צריך לבצע AI Validation?

בכל שבוע מתפרסם מחקר חדש, מושק מודל חדש או מתפרסם מבחן ביצועים נוסף. מודלי הבינה המלאכותית הופכים למהירים יותר, זולים יותר ומרשימים יותר. במקביל, יותר ויותר ארגונים משלבים AI בתהליכי העבודה שלהם – החל מכתיבת תוכן, דרך שירות לקוחות ועד קבלת החלטות עסקיות.

אבל דווקא עכשיו, כשהטכנולוגיה הופכת לחלק בלתי נפרד מהעסק, עולה שאלה אחת חשובה יותר מכל השאר:

איך באמת צריך לבצע AI Validation?

בשנה האחרונה קראתי עשרות מחקרים, Benchmarks ומסמכי מדיניות של חברות AI כמו OpenAI, Anthropic, Google וארגוני מחקר עצמאיים. 

למרות ההבדלים ביניהם, כמעט כולם מגיעים לאותה מסקנה: שימוש בבינה מלאכותית דורש ולידציה. כך למשל, OpenAI מחייבת בדיקות מקדימות לכל מודל במסגרת Preparedness Framework שלה. Anthropic הגדירה רמות בטיחות מחייבות ב-Responsible Scaling Policy שלה. Google DeepMind פרסמה מסגרת עצמאית בשם Frontier Safety Framework. דו"ח בינלאומי עצמאי מ-2025 מצא שלמעלה מ-12 חברות אימצו מסגרות דומות. בנקודה אחת אני חושב שהתעשייה עדיין מפספסת.

רוב הדיון מתחיל בשאלה כיצד בני אדם צריכים לבדוק את הפלט של ה-AI.

אני חושב שהוא צריך להתחיל הרבה קודם.

האם בכלל בדקנו אם מודלי ה-AI המובילים מסכימים ביניהם?

לא במקרה, זו גם הפילוסופיה שעליה בנויה MachineTranslation.com, שמטרתה אינה לבחור את מודל ה-AI "הטוב ביותר", אלא לספק שכבת ביטחון נוספת באמצעות השוואה בין מספר מודלים מובילים.

מודלי AI לא תמיד מסכימים

זו אינה סיסמה שיווקית.

זו מציאות שכל מי שעובד עם ChatGPT, Claude, Gemini, DeepL או מודלים אחרים מכיר היטב.

תנו בדיוק את אותה המשימה לחמישה מודלים שונים.

לעיתים תקבלו תשובות כמעט זהות.

אבל פעמים רבות תקבלו ניסוחים שונים, סדרי עדיפויות שונים, רמות פירוט שונות ולעיתים גם מסקנות שונות לחלוטין.

האם אחד מהם בהכרח טועה?

לא.

מודלי שפה גדולים אינם פועלים כמו מחשבון.

הם מאומנים על מאגרי מידע שונים, עוברים תהליכי Fine-tuning שונים, משתמשים בארכיטקטורות שונות ומבצעים חיזוי הסתברותי של הטוקן הבא.

גם כאשר כל המודלים איכותיים מאוד, אין שום סיבה לצפות שהם תמיד יגיעו לאותה מסקנה.

וזו בדיוק הנקודה.

השאלה איננה האם קיימים הבדלים.

השאלה היא כיצד אנחנו משתמשים במידע שההבדלים האלה מספקים.

הבעיה היא לא איזה מודל טוב יותר

בשנים האחרונות כמעט כל מבחני ההשוואה בין מודלים מנסים לענות על אותה שאלה.

מי ניצח?

GPT או Claude?

Gemini או DeepL?

Llama או Mistral?

אני מבין למה השאלה הזו מושכת תשומת לב.

קל למדוד ביצועים.

קל לבנות Leaderboard.

קל להכריז על "המנצח".

אבל בעיניי, עבור רוב הארגונים, זו בכלל לא השאלה החשובה.

השאלה האמיתית היא:

עד כמה אני יכול לסמוך על הפלט שקיבלתי?

כי בסופו של דבר, מנהל כספים, עורך דין, רופא, מנהל מוצר או מנהל שיווק אינם צריכים לדעת איזה מודל קיבל עוד שתי נקודות במבחן Benchmark.

הם צריכים לדעת האם אפשר לקבל החלטה על סמך התוצאה שמונחת מולם.

אמינות אינה שחור או לבן

אנחנו נוטים לחשוב על תשובות AI במונחים של "נכון" או "לא נכון".

בפועל, המציאות הרבה יותר מורכבת.

יש תשובות שמעניקות ביטחון גבוה מאוד.

יש תשובות שמעוררות סימני שאלה.

ויש תשובות שמאותתות מיד שצריך לעצור ולבדוק.

במילים אחרות, Validation אינו אירוע בינארי.

הוא תהליך של הערכת רמת אמון.

וככל שאני חושב על הנושא, כך אני משתכנע שהשיח צריך לעבור מהמונח Accuracy למונח Confidence.

כי בסופו של דבר, ארגונים אינם מנהלים סיכונים באמצעות אמת מוחלטת.

הם מנהלים אותם באמצעות הסתברות, ביטחון והערכת סיכון.

קונצנזוס הוא Reliability Signal

כאן מגיע הרעיון שלדעתי חסר ברוב הדיונים.

חשוב לי לדייק.

אני לא טוען שקונצנזוס בין מודלים מוכיח שהתשובה נכונה.

הוא לא.

גם חמישה מודלים יכולים לטעות.

אבל אני בהחלט טוען שקונצנזוס הוא Reliability Signal.

חשוב להדגיש שגם קונצנזוס אינו ערובה לנכונות. מודלים עלולים להגיע לאותה טעות משום שהם נשענים על מקורות דומים או על דפוסי חשיבה דומים. לכן אני רואה בקונצנזוס אינדיקציה לרמת אמון, לא הוכחה לאמת. 

כאשר מספר מודלים מובילים, שפותחו על ידי חברות שונות, אומנו על דאטה שונה ועברו תהליכי Fine-tuning שונים, מגיעים באופן בלתי תלוי לאותה מסקנה – רמת הביטחון שלנו עולה.

כאשר הם חלוקים בצורה משמעותית, זו אינדיקציה חשובה.

לא בהכרח שהתשובה שגויה.

אלא שכדאי לעצור.

לבדוק.

להצליב מקורות.

או לערב מומחה אנושי.

בעיניי, זהו מידע יקר ערך.

לא בגלל שהוא מחליף שיקול דעת.

אלא בגלל שהוא מוסיף שכבת מידע נוספת לפני שמקבלים החלטה.

Consensus First

זו הסיבה שאני מאמין בגישה שאני מכנה:

Consensus First.

במקום להתחיל את תהליך ה-Validation בבדיקה אנושית, מתחילים במדידת רמת ההסכמה בין מודלים.

אם רוב המודלים מגיעים לאותה מסקנה, רמת הביטחון הראשונית עולה.

אם קיימות מחלוקות משמעותיות, מקבלים איתות מוקדם שיש צורך בבדיקה מעמיקה יותר.

זהו לא פסק דין.

זהו מנגנון Prioritization.

הוא עוזר לנו להבין היכן כדאי להשקיע את הזמן האנושי.

והיכן ייתכן שאין בכך צורך.

גם המחקר מצביע על כך שאמינות היא האתגר המרכזי

לאחרונה קראתי את המחקר המקיף של RAND, שבחן מדוע פרויקטי AI רבים אינם מצליחים למרות ההשקעות האדירות בתחום. המסקנה שלו מעניינת מאוד.

ברוב המקרים, הבעיה אינה רק איכות המודל.

הבעיה היא שהארגון אינו בונה תהליך נכון סביב השימוש במודל.

החוקרים מציינים שוב ושוב את החשיבות של:

• הגדרת מטרות ברורה.

• הבנת מגבלות ה-AI.

• ניהול סיכונים.

• בניית תהליכי Validation.

• Human Oversight.

אני מסכים עם כל אחת מהמסקנות הללו.

אבל לדעתי, חסרה שם עוד שכבה אחת.

לפני שבני אדם בודקים את הפלט, כדאי להבין עד כמה מודלי ה-AI עצמם מסכימים עליו.

בעיניי, זו אינדיקציה שכמעט ואינה מנוצלת כיום.

Human in the Loop עדיין חיוני

חשוב לי להבהיר נקודה נוספת.

אני ממש לא מציע להחליף מומחים אנושיים.

להפך.

יש תחומים שבהם אין שום תחליף לידע מקצועי.

מסמכים משפטיים.

דוחות כספיים.

מידע רפואי.

פטנטים.

רגולציה.

החלטות אסטרטגיות.

בכל אחד מהמקרים האלה, האחריות גדולה מכדי להסתמך על AI בלבד.

אבל באותה מידה, גם אין היגיון לשלוח כל פלט לבדיקה אנושית.

זה יקר.

זה איטי.

ולעיתים פשוט מיותר.

Validation צריך להיות תהליך מדורג

לדעתי, נכון יותר לחשוב על Validation כעל משפך קבלת החלטות.

שלב ראשון:

בודקים האם קיימת הסכמה רחבה בין מודלים.

שלב שני:

מעריכים את רמת הסיכון של המשימה.

שלב שלישי:

אם מדובר בנושא רגיש או אם קיימת מחלוקת משמעותית בין המודלים, מפעילים Human in the Loop.

גישה כזו מאפשרת לארגונים לנצל טוב יותר את המשאב האנושי.

במקום לבדוק הכול.

בודקים את מה שבאמת דורש בדיקה.

כך אנחנו מיישמים את זה

זו בדיוק הגישה שבחרנו ליישם ב־MachineTranslation.com.

במקום להסתמך על מודל AI יחיד, הפלט מושווה בין מספר מודלים מובילים.

לאחר מכן מוצגת למשתמש אינדיקציה לרמת ההסכמה ביניהם.

המטרה איננה לקבוע מי "צודק".

המטרה היא לספק עוד שכבת ביטחון לפני קבלת החלטה.

כאשר יש קונצנזוס רחב, רמת הביטחון עולה.

כאשר אין קונצנזוס, המשתמש מקבל איתות שכדאי לבדוק שוב, לבצע מחקר נוסף או לערב מומחה אנושי.

אני מאמין שזו גישה מציאותית יותר.

לא משום שהיא מבטיחה דיוק מושלם.

אלא משום שהיא עוזרת להבין מתי רמת אי-הוודאות גבוהה.

זו גם המגמה שאליה התעשייה הולכת

לאחרונה כתבתי גם על כך שחברות תרגום אינן הופכות רק לחברות המשתמשות ב-AI.

הן הופכות לחברות שמנהלות איכות AI.

כבר לא מספיק להפעיל מודל.

צריך לדעת למדוד אמינות.

לבצע Validation.

לבנות Workflow.

לנהל סיכונים.

ולהחליט מתי יש צורך בהתערבות אנושית.

כתבתי על כך בהרחבה כאן. 

לדעתי, זהו שינוי עמוק הרבה יותר מאשר עוד שיפור במהירות או בעלות של מודל כזה או אחר.

העתיד של AI Validation

אני מאמין שבעוד מספר שנים, הדרך שבה ארגונים יבצעו AI Validation תהיה שונה מאוד מזו שאנו מכירים היום.

היא לא תתחיל במודל אחד.

היא גם לא תתחיל במומחה אנושי.

היא תתחיל במדידת רמת ההסכמה בין מספר מודלים.

משם תמשיך להערכת רמת האמון.

ורק כאשר רמת אי-הוודאות תהיה גבוהה, או כאשר מדובר בהחלטה בעלת סיכון משמעותי, יתבצע Human Review.

במילים אחרות, בני האדם לא ייעלמו מהתהליך.

אבל הם יופעלו בצורה חכמה יותר.

המסקנה

בסופו של דבר, השאלה אינה איזה מודל AI הוא הטוב בעולם.

גם לא מי ניצח בעוד Benchmark.

השאלה החשובה באמת היא:

מתי אפשר לסמוך על הפלט שקיבלנו?

לדעתי, התשובה לא תגיע ממודל אחד.

היא תגיע משילוב של שלושה מרכיבים:

• קונצנזוס בין מודלים.

• הערכת רמת אמון.

• Human in the Loop כאשר באמת נדרש.

זו אינה הבטחה לאמת מוחלטת.

אבל בעיניי, זו דרך הרבה יותר אחראית, יעילה ומעשית להשתמש בבינה מלאכותית.

וככל שה-AI יהפוך לחלק עמוק יותר מהחלטות עסקיות, אני מאמין שזה גם יהיה הכיוון שאליו התעשייה כולה תתקדם.