תרגום AI נראה מושלם. איך יודעים שהוא טועה?

קיבלתם תרגום AI של חוזה, של מצגת למשקיעים או של הוראות שימוש, והוא נקרא מצוין. העברית תקינה, המשפטים זורמים ואין שום דבר שצורם. דווקא כאן מתחילה הבעיה: טעויות בתרגום AI לא תמיד נראות כמו טעויות.

עבודת דוקטורט שפורסמה באוניברסיטת מרילנד ב-2024 מצאה שקוראים שאינם מכירים את שפת המקור שופטים את אמינות התרגום במידה רבה לפי מידת השטף שלו, ושמערכות נוירוניות עלולות לייצר תרגום שוטף שאינו נאמן למקור. במילים אחרות, דווקא טקסט שנשמע טבעי ומשכנע עלול להקשות על זיהוי הטעות.

בשנים שאני מנהלת את פעילות טומדס בישראל, רבים מהתיקונים שאני רואה בתרגומי AI שהגיעו לבדיקה לא נמצאים במשפטים המסורבלים. הם נמצאים במשפטים היפים. המדריך הזה מסביר אילו טעויות מסתתרות שם, איך אפשר לחפש אותן גם בלי לדעת היטב את שפת המקור, ומתי כבר נדרשת בדיקה מקצועית של אדם.

עיקרי הדברים

• שטף לשוני אינו הוכחה לדיוק. תרגום AI יכול להישמע טבעי גם כשהמשמעות שלו אינה נאמנה למקור.

• בין הטעויות שכדאי לחפש במיוחד: השמטות, היפוך שלילה, שינוי מספרים ותאריכים, מינוח מקצועי שגוי וחוסר עקביות במגדר או במספר.

• השוואה בין פלטים של מערכות תרגום שונות יכולה לעזור לזהות משפטים חשודים ולהעריך טוב יותר את התרגום.

• מודלי שפה גדולים יכולים לייצר הזיות מסוגים שונים ממערכות תרגום מסורתיות, כולל תרגום לשפה הלא נכונה, הוספת תוכן וניסיון תרגום שלא הושלם.

• ככל שמחיר הטעות גבוה יותר, כך גדל הצורך בבדיקה אנושית מקצועית מול המקור.

למה תרגום AI נשמע נכון גם כשהוא שגוי?

תרגום AI יכול להישמע נכון משום שמערכות מודרניות מסוגלות לייצר טקסט טבעי מאוד בשפת היעד. אצל הקורא, שטף לשוני יוצר תחושה של אמינות, גם כאשר לא ניתן לבדוק ישירות אם המשמעות נשמרה במלואה.

במערכות תרגום ישנות, טעויות רבות היו בולטות לעין: סדר מילים שבור, מילה שלא תורגמה או משפט שקשה להבין. במערכות של היום, גם משפט שגוי יכול להישמע טבעי לחלוטין.

המחקר של אוניברסיטת מרילנד בדק בדיוק את הפער הזה. החוקרת Marianna Martindale מצאה שמערכות נוירוניות היו מועדות יותר ממערכות סטטיסטיות מוקדמות לפלט שוטף אך לא נאמן, וששטף מסביר חלק מרכזי מהאופן שבו משתמשים חד-לשוניים מעריכים את אמינות התרגום. 

גם הסבירות של משמעות המשפט משפיעה, ולכן טעות שנשמעת הגיונית עלולה לעבור מתחת לרדאר.

אילו טעויות בתרגום AI הכי קשה לזהות?

הטעויות שקשה במיוחד לזהות הן אלה שמשאירות אחריהן משפט תקין ומשנות רק את המשמעות: השמטה, היפוך שלילה, מספר שהשתנה, מונח מקצועי לא מתאים או בחירה שגויה במין ובמספר. אף אחת מהן לא חייבת לפגוע בזרימת הטקסט, ולכן העין לא תמיד נעצרת עליה.

השמטות

משפט ארוך במקור יכול לצאת קצר יותר בתרגום, כאשר פרט מסוים נעלם בדרך. בחוזה זה יכול להיות סייג כמו "בכפוף לאישור מראש ובכתב". בלעדיו, הסעיף עדיין יכול להיות קריא לחלוטין, אבל המשמעות המשפטית שלו עלולה להשתנות.

היפוך שלילה

מילים כמו "לא", "אין", "אלא אם" ו"למעט" יכולות לשנות משפט שלם. "המוצר אינו מתאים לשימוש ילדים" ו"המוצר מתאים לשימוש ילדים" נבדלים במילה אחת. שני המשפטים תקינים מבחינה לשונית, אבל משמעותם הפוכה.

מספרים, תאריכים ויחידות

סכום שהופך מ-1.5 מיליון ל-15 מיליון, תאריך שמתפרש אחרת בגלל פורמט אמריקאי או ישראלי, או יחידת מידה שמשתנה יכולים להפוך טעות קטנה לכאורה לבעיה משמעותית.

בעברית נוסף גם האתגר של שילוב מספרים ותווים לטיניים בתוך טקסט מימין לשמאל, במיוחד כאשר תוכן מועתק בין מערכות וקבצים שונים.

מונח מקצועי שהפך למילה כללית

"Consideration" בהקשר חוזי עשוי להיות "תמורה", ולא התרגום היומיומי "התחשבות". "Adverse event" בניסוי קליני הוא מונח מקצועי בעל משמעות מוגדרת, ולא בהכרח פשוט "אירוע שלילי".

תרגום מילולי או כללי יכול להישמע מצוין לקורא שאינו מכיר את התחום, אבל להיות לא מדויק בהקשר המקצועי.

זכר ונקבה, יחיד ורבים

אנגלית אינה מסמנת מגדר דקדוקי באותה מידה כמו עברית. כאשר ההקשר אינו ברור, מערכת AI עשויה לבחור מגדר בעצמה ולעיתים אף לשנות את הבחירה לאורך המסמך.

בטופס הסכמה רפואי, בחוזה או במכתב רשמי, חוסר עקביות כזה אינו רק עניין סגנוני.

מחקר שפורסם ב-Transactions of the Association for Computational Linguistics ובחן יותר ממאה כיווני תרגום מצא שמודלי שפה גדולים מייצרים הזיות השונות באופיין מאלה של מערכות NMT מסורתיות. בין התופעות שנצפו היו תרגום לשפה שאינה שפת היעד, יצירת תוכן עודף וניסיונות תרגום שלא הושלמו.

איך בודקים תרגום AI בלי לדעת את שפת המקור?

גם מי שאינו שולט היטב בשפת המקור יכול לבצע כמה בדיקות ראשוניות שמטרתן לאתר סימני אזהרה: להשוות בין מערכות שונות, לבדוק מספרים ושמות, לחפש שלילות ולבחון עקביות. הבדיקות האלה אינן מוכיחות שהתרגום נכון, אבל הן יכולות להראות היכן כדאי לעצור ולבדוק.

1. השוו בין כמה מערכות תרגום. תרגמו את אותו טקסט במערכות שונות ושימו לב למשפטים שבהם התוצאות אינן מסכימות. המחקר מאוניברסיטת מרילנד מצא שהצגת פלט ממערכת NMT נוספת שיפרה את ביצועי המשתמשים במשימות מסוימות של הערכת התרגום. כלי כמו MachineTranslation.com, שטומדס פיתחה, מאפשר להשוות תוצאות ממודלי AI ומנועי תרגום שונים ולזהות היכן קיימת הסכמה או מחלוקת ביניהם.

2. בדקו כל מספר בנפרד. עברו על המקור והתרגום והתמקדו רק בספרות: סכומים, תאריכים, אחוזים, מספרי סעיפים ויחידות מידה.

3. חפשו את מילות השלילה. אתרו במקור מילים כמו "not", "no", "unless" ו-"except" ובדקו שהמשמעות שלהן נשמרה בתרגום.

4. תרגמו חזרה לשפת המקור. תרגום חוזר אינו מוכיח שהתרגום נכון, אבל שינוי משמעות בולט בדרך חזרה הוא סימן שכדאי לבדוק את המשפט מול המקור.

5. השוו את האורך. הבדל באורך אינו מוכיח שקיימת השמטה, משום ששפות שונות מבטאות אותו תוכן באורכים שונים. עם זאת, פסקה שהתקצרה בצורה חריגה יכולה להצדיק בדיקה נוספת.

6. בדקו עקביות של מונחים חוזרים. אם מונח מרכזי מתורגם בכמה דרכים שונות במסמך אחד, זה לא אומר בהכרח שאחד התרגומים שגוי. ההקשר עשוי להצדיק תרגומים שונים. אבל זה בהחלט סימן שכדאי לבדוק את המינוח ואת העקביות לאורך המסמך.

מתי תרגום AI מספיק ומתי צריך מתרגם אנושי?

תרגום AI יכול להספיק כאשר המטרה היא להבין טקסט לשימוש פנימי וההשלכות של טעות קטנות. ככל שהמסמך מחייב משפטית, משפיע על בריאות, מוגש לרשות או מייצג את החברה מול לקוחות, כך עולה החשיבות של בדיקה מקצועית.

השאלה הנכונה אינה רק "עד כמה התרגום נראה טוב?", אלא גם "מה יקרה אם הוא טועה?".

ההבחנה החשובה היא בין מי שקורא את התרגום כדי להבין לבין מי שמסתמך עליו כדי לקבל החלטה, לחתום, להגיש מסמך או לפעול לפיו.

מה ההבדל בין תרגום AI, עריכה אנושית ותרגום אנושי מלא?

תרגום AI הוא פלט שנוצר באמצעות מערכת תרגום ללא בדיקה אנושית מקצועית. עריכה אנושית של תרגום מכונה, המכונה בתעשייה MTPE או Post-Editing, היא תהליך שבו מתרגם מקצועי בודק את הפלט מול המקור ומתקן אותו.

בתרגום אנושי מלא, המתרגם אחראי לתהליך התרגום עצמו ואינו נדרש לעבוד על בסיס טיוטת מכונה, גם אם הוא נעזר בכלים טכנולוגיים כחלק מתהליך העבודה.

גם בתוך Post-Editing קיימות רמות שונות. עריכה קלה מתמקדת בדרך כלל בטעויות שפוגעות בהבנה ובשימושיות. עריכה מלאה בוחנת באופן יסודי יותר דיוק, מינוח, סגנון ועקביות מול המקור.

תקן ISO 18587 מגדיר דרישות לתהליך Post-Editing של פלט תרגום מכונה ולכישורים הנדרשים מהעורכים המבצעים אותו. טומדס מוסמכת לפי התקן.

בפרויקט שביצענו עבור פלטפורמת E-Learning בינלאומית, למשל, שילבנו AI עם Post-Editing אנושי ובקרת איכות רב-לשונית כדי לשמור על מינוח ואחידות לאורך מאות מודולי הדרכה. אפשר לקרוא על פרויקט הלוקליזציה ושילוב ה-AI וה-Post-Editing כמקרה בוחן של תהליך כזה בפועל.

מי שמזמין תרגום מסמכים מקצועי צריך לדעת מראש איזה תהליך בדיקה יקבל, משום שההבדל בין פלט AI, Post-Editing ותרגום מקצועי מלא אינו רק הבדל במחיר. הוא משקף רמות שונות של בדיקה, אחריות והתאמה למטרת המסמך.

האם כלי בדיקה אוטומטיים מספיקים כדי לתפוס טעויות?

לא. כלי בדיקה אוטומטיים יכולים לזהות בעיות רבות, במיוחד חריגות במספרים, מינוח, עקביות או מבנה, אבל הם אינם יכולים להבטיח שכל שינוי משמעות בתוך משפט שוטף יזוהה.

כלי QA יכולים לשמש שכבת בדיקה חשובה: להשוות בין מקור לתרגום, לסמן חריגות ולהפנות את תשומת הלב של העורך למשפטים חשודים. אבל את ההחלטה אם מונח מסוים נכון בהקשר משפטי, רפואי או טכני עדיין צריך לקבל מי שמבין את השפה ואת התחום.

אותו עיקרון חל כאשר מבקשים ממודל AI לבדוק תרגום שנוצר על ידי מודל AI אחר. מחקרים ממשיכים לבחון את היכולת להשתמש במודלים ובמערכות שונות כדי לזהות ולצמצם שגיאות, אבל בדיקה אוטומטית אינה שקולה לאחריות מקצועית על המסמך.

כשאני מסבירה ללקוחות למה מסמך שתורגם ב-AI עדיין עשוי להזדקק לעורך, אני לא מדברת רק על איכות המנוע. אני מדברת על אחריות. כאשר מישהו עומד לקבל החלטה על סמך התרגום, חשוב לדעת מי בדק אותו ומי עומד מאחוריו.

שאלות נפוצות

האם אפשר לסמוך על תרגום AI למסמכים רשמיים?

לא על תרגום AI לבדו. הדרישות למסמכים רשמיים משתנות לפי סוג המסמך והגוף המקבל. במקרים מסוימים נדרש תרגום מקצועי, תרגום מוסמך, הצהרת מתרגם או אישור נוטריוני. לפני הגשת מסמך חשוב לבדוק את הדרישות הספציפיות של הרשות, בית המשפט, השגרירות או הגוף שמקבל אותו.

מהי הזיה בתרגום מכונה?

הזיה היא פלט תרגום הכולל תוכן שאינו מעוגן כראוי במקור. היא יכולה להתבטא בתוכן שנוסף, חזרה חריגה, תרגום לשפה הלא נכונה או פלט שמתרחק משמעותית מהטקסט המקורי. מחקרים מצאו שמודלי שפה גדולים ומערכות NMT עשויים לייצר סוגים שונים של הזיות.

כמה זמן לוקחת עריכה אנושית של תרגום AI?

זה תלוי בהיקף הטקסט, בתחום, באיכות הפלט וברמת העריכה הנדרשת. עריכה קלה יכולה להתמקד בטעויות שפוגעות בהבנה, בעוד Post-Editing מלא דורש בדיקה שיטתית מול המקור. לכן הערכת זמן אמינה ניתנת רק לאחר בדיקת המסמך והפלט הקיים.

האם תרגום חוזר מוכיח שתרגום AI נכון?

לא. תרגום חוזר אינו הוכחה לדיוק, משום שמערכת התרגום יכולה לשנות או אפילו לתקן בדרך חזרה טעות שנוצרה בדרך הלוך. הוא כן יכול לשמש כלי איתור ראשוני: אם המשמעות משתנה בצורה בולטת, יש סיבה לבדוק את המשפט מול המקור.

תרגום AI הוא כלי עבודה יעיל מאוד, אבל שטף לשוני אינו תעודת אחריות. ככל שהמסמך חשוב יותר והמחיר של טעות גבוה יותר, כך חשוב יותר לבדוק לא רק איך התרגום נשמע, אלא האם הוא באמת אומר את מה שהיה כתוב במקור.

אם יש לכם מסמך שתורגם ב-AI ואתם לא בטוחים אם אפשר להשתמש בו, צוות טומדס בישראל יכול לבדוק אותו מול המקור ולהמליץ על רמת הבדיקה או העריכה המתאימה.