שיטת העבודה החדשנית שמוכיחה ששינוי אמיתי אכן קרה.

הנתונים לא מעניינים, השאלה כן

מספר כניסות למערכת אומר שמישהו הגיע. ציון שביעות רצון אומר שזה לא הפריע לו. אף אחד מהשניים לא אומר שהתכנית שינתה אצלו משהו.

מה שנמדד כאן הוא הדבר הקשה יותר שמתחת לשניהם: האם חדשנות, מבוססת בינה מלאכותית או לא, באמת משרתת את המטרה האנושית שלשמה היא נבנתה. מה המטרה הזאת משתנה לפי מה שנבדק. בתכנית Rowad-Tech, תכנית לפיתוח תפיסה של קריירת הייטק בקרב תלמידים מהחברה הערבית, השאלה היא האם תלמיד באמת מצליח לדמיין לעצמו קריירת הייטק ומתחיל לפעול לפיה: בחירה במתמטיקה מוגברת, הצטרפות לחוג טכנולוגי, מהלך קונקרטי שציון שביעות רצון לעולם לא תופס.

ארגוני ספורט הם, לרוב, עמותות בעצמם: עם משאבים מוגבלים, ומחפשים יותר ויותר טכנולוגיה ובינה מלאכותית כדי לפעול ביעילות רבה יותר, בדיוק כמו עמותת חינוך.

אותו עולם עמותות כולל גם תכניות שלא קשורות לטכנולוגיה בכלל. תכנית דו-קיום בכדורגל כמו Tzav Pius או The Equalizer היא דוגמה כזו: השאלה שם היא האם זמן אימונים משותף באמת משנה איך נער יהודי ונער ערבי מתייחסים זה לזה אחר כך, מחוץ למגרש בדיוק כמו עליו.

בצד הספורט-טק באופן ספציפי, אותה שאלה היא מה אפליקציית אימונים, מכשיר לביש, או פלטפורמת ביצועים אמורים בעצם לעשות: לשנות איך ספורטאי מתאמן או איך מאמן מחליט, בהוכחה מהתנהגות אמיתית ברגע שיש הטמעה חיה למדוד.

אימוץ הוא המספר הקל לדיווח. זה המספר שבאמת אומר אם זה עבד. עבור תכנית מימון, זהו החצי השני של מה שביקורת אמיתית בודקת: הוכחה שהקול הקורא סיפק את מה שהובטח, לצד תיעוד הכסף עצמו.

למה בינה מלאכותית חשובה כאן

בינה מלאכותית מתקדמת מהר, והיא משנה את כל סביבת העבודה והפעילות שלנו. היא מעצבת מחדש כיתות, מגרשי אימונים, ואת האופן שבו ארגונים מכל סוג מבצעים את העבודה שלהם. התייחסות אליה כאל אופנה חולפת או רק כדי לסמן וי מפספסת את מה שבאמת קורה.

בדיוק בגלל זה השאלה הופכת לחשובה עוד יותר. בינה מלאכותית לא נבחנת בפני עצמה. היא נבחנת, לצד כל טכנולוגיה אחרת שתכנית מסוימת פועלת איתה, לפי מה שהיא הזיזה בפועל: איך תלמיד לומד, איך מורה מלמד, איך ספורטאי מתאמן. תכנית 720 היא דוגמה טובה: טכנולוגיית למידה מותאמת אישית על פני ארבע פלטפורמות שונות, רק חלק ממנה בינה מלאכותית במובן הצר שרוב האנשים מתכוונים אליו כשהם אומרים את המילה. מה שנבדק הוא ההשפעה בפועל של הטכנולוגיה, לא האם היא מתויגת כבינה מלאכותית.

לבינה מלאכותית יש גם תפקיד נוסף בשיטת העבודה. היא משמשת לאימות והצלבה של כלי מדידה זה מול זה, וקידוד תשובות פתוחות, מאות מהן, תוך ימים במקום השבועות שמעבר ידני היה דורש.

הכלים שמאחורי כל מספר

העבודה מבוססת מחקר, ונשענת על מתודולוגיה מבוססת גם בחינוך וגם בספורט. בצד החינוך זה אומר עיצוב מחקר של קבוצות מותאמות לפני-אחרי, הבנוי על כלים מאומתים, בהם סולמות התפיסה העצמית של Dweck והעבודה של Hattie ו-Timperley על משוב, מותאמים ולא מיושמים כמו שהם. בצד הספורט העבודה מבוססת על STRN Sports Technology Quality Framework. אף כלי בודד, גם אם מבוסס ביותר, לא יכול לספר את כל הסיפור בעצמו.

דיווח עצמי נמצא שם: שאלה ישירה איך מישהו מרגיש, במה הוא מאמין, מה הוא היה עושה. כך גם סימולציות, משימות התנהגותיות שמראות מה מישהו באמת עושה בתנאי נתון, ולעיתים קרובות מספרות סיפור שונה מהדיווח העצמי לצידן. במקום שבו שום דבר קיים לא מתאים, נבנים כלים חדשים: יומן שמשתתף ממלא במשך שבועות, תיעוד של שימוש או כניסות למערכת, תוכנה שאוספת נתוני התנהגות בשקט ברקע בזמן שהתכנית פועלת. חלק מזה קורה עוד קודם לכן, בתוך עיצוב המוצר עצמו: ייעוץ לסטארטאפ על אילו נתוני משתמשים המוצר שלו צריך לאסוף, ואיך, עוד לפני שיש בכלל מה להעריך.

כל זה לא אומר עוד שאלונים. זה אומר פחות, וכל אחד כזה צריך להצדיק את מקומו: מורה עמוס או צוות עמותה דחוק בזמן לא יסיימו שאלון ארוך, ושאלון ארוך גם ככה מודד פחות טוב. חלק מהכלים הבנויים בהתאמה אישית והכלים שפועלים ברקע שתוארו למעלה קיימים בדיוק כדי להוריד את העומס ממושאי המחקר.

שיטות מעורבות, במובן רחב יותר ממה שהמונח בדרך כלל מרמז: איכותני וכמותי, דיווח עצמי, סימולציה ותצפית, כלים מן המדף וכלים בהתאמה אישית, משולבים ונבדקים זה מול זה, כי זה מה שבאמת חושף התנהגות אמיתית במקום תמונה יחידה ומחמיאה שלה.

ארבע נקודות, כמה שיחות שצריך

כל ליווי מתנהל סביב ארבע נקודות, וכל נקודה מטופלת בכמה שיחות שצריך.

הראשונה עוסקת בהיכרות הדדית: מה התכנית מנסה לעשות, למי היא מיועדת, מה כבר נאסף, והאם אנחנו באמת מתאימים לעבוד יחד. השנייה קובעת את ההיקף ואת לוח הזמנים: מה נמדד, לאורך איזו תקופה. השלישית בונה את המודל: ישיבה משותפת כדי להסכים איך שינוי אמיתי ייראה כאן בפועל, ומה היעדים הקונקרטיים. הרביעית היא הדיווח: הממצאים, המצגת, המסקנות והדוח, עוברים יחד עליהם.

ברקע בין ארבע הנקודות האלה מתרחשת העבודה עצמה: איסוף נתונים, ניתוח, בדיקה של מה שבאמת מחזיק ומעמיק את ההבנה. לכל ליווי יש קו סיום ברור, תוצר מוגדר שנמסר בתאריך מוסכם.