על ה'כשלון' בדו"ח הקריאה הבינלאומי
בפרק הקודם (גללו למטה) סיפרתי איך ב-Ynet לקחו דו"ח שבעיקרון מצביע על כשל בחינוך במגזר הערבי והפכו אותו לדו"ח על כישלון מתמשך בחינוך בכלל. כזכור, בגוף הידיעה צוין שהמגזר היהודי, לו נלקח לבדו, היה מגיע למקום ה-11 (למעשה התשיעי, ראו שם), ורק התוצאות הנמוכות של המגזר הערבי גררו אותו למקום נמוך יחסית.

אבל גם אחרי שהבנתי את כל זה, התוצאות עדיין הציקו לי. איך ייתכן שהמגזר הערבי - בקושי 20% מאזרחי ישראל - גרם לכזה שינוי במיקום? מה מתחבא מאחורי הנתונים? אז שינסתי מותניים והורדתי למחשב את הדו"ח המלא של PIRLS, הגוף שיצר את המבחן. מסתבר שבניגוד לצה"ל, להם אין בעיה לפרסם נתונים מסודרים.
חיפוש מהיר הביא אותי אל הטבלה הראשית, טבלת הציונים של המדינות (והמחוזות) שהשתתפו. לעיני קפצה מיד עובדה מעניינת: אף כי ישראל מדורגת במקום ה-31 מתוך 45, הציון הממוצע של תלמידי ישראל *גבוה* במקצת מהממוצע המשוקלל של כל המדינות (512 לעומת 500). לסטטיסטיקאים שבינינו ברור מיד שמדובר בהתפלגות א-סימטרית, שבה החציון גבוה מהממוצע; את שאר הקוראים, לעומת זאת, איבדתי בדרך.

כדי שכולם יהיו אתי, אנסח עכשיו הסבר קצר; מי שמכיר כבר את המושגים מוזמן לעבור פסקה קדימה.
אז ככה: ממוצע וחציון הן שתי דרכים לדעת מה 'האמצע' של קבוצה מסוימת של תוצאות. החציון הוא התוצאה שמעליה נמצאות בדיוק חצי מהתוצאות ומתחתיה בדיוק חצי; הממוצע הוא סכום התוצאות מחולק במספר המשתתפים. למרות ששניהם מהווים הערכה ל'אמצע', הם יכולים להיות מאוד שונים: למשל, אם לפנינו 6 שחקני כדורסל בגובה 1.95-2.05 וארבעה גמדים בגובה 1.00-1.20, ממוצע הגובה יהיה בסביבות 1.65, אבל החציון יהיה בערך 1.95 (בסביבות הגובה של שחקן הכדורסל הנמוך ביותר). במקרה כזה, אגב, ייתכן בהחלט מצב שהמיקום בטבלה לא אומר הרבה על הגובה: הכדורסלן הנמוך ביותר (נקרא לו מוטי סל) ידורג במקום השישי והגמד הגבוה ביותר (נקרא לו טובטוב) ידורג במקום השביעי - ממש צמודים, למרות שביניהם מפרידים 75 ס"מ.
מצב דומה קרה במבחן הבינלאומי המדובר. 45 המשתתפים כוללים קבוצה גדולה של מדינות מערביות או אירופיות, שזכו לציונים די קרובים זה לזה, ועוד כמה מדינות 'מתפתחות' (ביניהן איראו, אינדונזיה ומרוקו) שבהן הציונים נמוכים בהרבה. כדי להמחיש: המדינה במקום הראשון, רוסיה, זכתה ב-565 נקודות, רק 53 נקודות יותר מישראל; המדינה האחרונה בדירוג, דרום אפריקה, השיגה 302 נקודות - 210 נקודות פחות מישראל. ישראל, אגב, אפילו לא ממוקמת אחרונה בגוש 'המדינות המוצלחות' - הקפיצה הגדולה מתרחשת בין רומניה במקום ה-36 למקדוניה במקום ה-38. סמוך לישראל, עם ציונים שאין הבדל סטטיסטי בינם לציון הישראלי, ממוקמות איסלנד, פולין וספרד - לא חברה רעה במיוחד.
הצפיפות הזו בצמרת (לעומת פערי הענק מול המדינות בתחתית) לא רק מבהירה שה'מיקום' במבחן הזה לא ממש רלוונטי, אלא גם מסבירה את ההבדל האדיר בין המיקום של ישראל למיקום של 'המגזר היהודי' בנפרד. שהרי אם הטבלה צפופה כל-כך, הבדל די זעום בנקודות יכול לייצר הבדל אדיר במיקום (לחובבי כדורגל - דמיינו מצב שבו לקבוצה במקום השישי יש רק שתי נקודות פחות מאשר למובילה). עכשיו שהבנתי איך זה קרה, חיפשתי בדו"ח את הנתונים המדויקים על פילוג לפי מגזרים בישראל. וכאן ציפתה לי ההפתעה השנייה.
מאחר שלא רציתי לקרוא 430 עמ', עברתי על תוכן העניינים בחיפוש אחרי פרק שבו עשויים הנתונים האלה להופיע, ולא מצאתי; נראה שהפילוג היחיד לאזורים במחקר היה של קנדה ובלגיה. אחר-כך התחלתי לחפש לפי מילות מפתח, ולאחר זמן קצר התברר לי כמעט בוודאות ש*הנתון הזה כלל אינון מופיע בדו"ח* (אלא אם מישהו הצליח לנסח אותו בטקסט או בטבלה מבלי להשתמש באף אחת מהמלים Jew, Jewish, Hebrew או Arab, Arabic. אני בספק). בהמשך חקרתי גם את המסמכים הנלווים והעליתי חרס בידי (חרס יפה מהתקופה הרומית המאוחרת, אבל בכל זאת, חרס).
אז מאיפה לקח כתב Ynet את הנתון המרתק הזה? מאחר שהוא מתאים לתוצאות (תיכף אסביר איך בדקתי זאת), נראה שההסבר הפשוט ביותר הוא שמי שהעביר לכתב את הידיעה (כנראה איש משרד החינוך) החזיר בידו גרסה מפורטת יותר של הדו"ח, ובה פילוח של תוצאות המבחן לפי מגזרים. גם כאן, אם כך, מדובר בהפצת נתונים מגמתית - אולי של מישהו שקיווה לצמצם קצת את התהודה השלילית של הדו"ח (והצליח - הרי בזכות הנתון הזה התחלתי את חקירתי).

בלי הנתון המדויק, נותר רק להסיק מה שאפשר מהמידע שבידינו. שכן בגלל הצפיפות בטבלה אפשר לדעת בצורה כמעט מדויקת איזה ציון נדרש כדי להיות במקום ה-11 בטבלה; לפי הנתון הזה, על הציון הממוצע של המגזר היהודי להיות בדיוק 549 נקודות, 37 נקודות יותר מהציון הממוצע הכולל של ישראל; ומכאן (בהתחשב בכך שבתי הספר הערביים היו 26% מהנבחנים, נתון שמופיע במקום אחר בדו"ח), נקבל שהציון הממוצע בבתי הספר הערביים היה נמוך ב- 101 נקודות מהציון הכללי בישראל, כלומר עמד על 411 נק'. ואכן, הציון הזה שם את המגזר הערבי הישראלי במקום ה-40 בדיוק - ממש כפי שנכתב ב-Ynet (מה שמאשר את התוצאות).

האם עלינו להזדעק, אם כך, על מצב החינוך במגזר הערבי? במקום מסוים, כן. כשהערבים במדינת ישראל ה'מערבית' וה'מודרנית' מקבלים ציונים נמוכים יותר בקריאה מאשר אלה שבאיראן, אולי יש מקום לדאגה. עם זאת, יש לזכור את ההבדל העצום בין הערבית המדוברת לכתובה. לדוברי ערבית, לימוד הקריאה הוא למעשה לימוד של שפה חדשה יחד עם לימוד הקריאה; מבחינה זו כדאי לציין שהערבים אזרחי ישראל זכו במבחן לציון טוב יותר מכל המדינות דוברות הערבית שנבחנו (קטאר, כווייות, ומרוקו), ובהפרש גדול (60 נקודות על קטאר). באיראן, אגב, נבחנו בפרסית.

במלים אחרות: לא כישלון ולא נעליים. תוצאות המבחן קובעות למעשה ש:
1. המגזר היהודי בישראל מתמודד היטב בליגה המערבית (ולמעשה מקדים מדינות כמו גרמניה, אנגליה, צרפת וארה"ב)
2. בעולם המערבי הציונים בסה"כ די קרובים זה לזה, והפערים קטנים;
3. רמת הקריאה של הערבים אזרחי ישראל רחוקה עדיין מהמקובל בעולם המערבי, אבל טובה משמעותית מאשר של אחיהם במדינות ערב (וקטאר, כווייות ומרוקו נחשבות בד"כ בין המובילות במדינות ערב).

סה"כ חדשות די טובות, רק שמישהו ב-Ynet החליט לעשות מהם סנסציה. "שוב ישראל בתחתי הרשימה". עאלק.
שמור   בטל

נכתב על ידי רונן א. קידר, 29/11/2007 21:56, ושייך לקטגוריות סטיות אישיות, אקטואליה
תגיות בטכנורטי: סטיות אישיות, אקטואליה
27 תגובות   הוספת תגובה     הצגת תגובות כאן     0 הפניות (TrackBack) לכאן     קישור ישיר לקטע     שלח ל'שווה קריאה'     הוסף למומלצים שלי
התגובה האחרונה היתה של רונן א. קידר ב-4/12/2007 16:00

---

משקרים לכם בפנים

There are three kinds of lies: lies,
damn lies and statistics

האמרה המצוטטת לעיל, ומיוחסת למארק טוויין, היא אמירה חשובה
שרבים מתעלמים ממנה: נתונים סטטיסטיים, כאלה שמוגשים לנו חדשות לבקרים, קלים מאוד למניפולציות שגורמות לדברים להיראות כמו שמגישי הנתונים רוצים שהם יראו, גם אם בפועל המצב שונה לגמרי. להלן שתי דוגמאות אקטואליות:

הראשונה היא הודעת צה"ל על גידול דרמטי במספר המשתמטים משירות. אחוז המשתמטים, כך קובעת הכותרת, טיפס מ-21% אצל ילידי 1981 ל-28% אצל ילידי 1989, המתגייסים השנה. זהו אחוז מאוד גדול ומרשים, עד שפורטים אותו לפרוטות; אז מתברר שהמספר הזה כולל 11.2% ש'תורתם אמנותם', 7.3% מקבלי פטור רפואי, 4% שבחו"ל, 3% שאינם מגויסים על רק פלילי ו-2% שאינם מגויסים בשל נכות או כי נפטרו (באמת נורא. לא יכלו לקום מהקבר ולהתגייס?). רק 5%, קובעים אנשי Ynet, הם "משתמטים במובן הרגיל של המילה". נשאלת השאלה, מה הוא המובן הרגיל של 'משתמטים', ומה יש בקבוצה הזו שלא נכנס בשאר הקטגוריות? העניין נעשה תמוה עוד יותר כשמחברים את המספרים ומקבלים שבחיבור כל הקבוצות יש דווקא 32% לא-מתגייסים, ולא 28% כפי שנכתב בכתבה. האם מישהו שם לא יודע לחבר?
את הפתרון, אגב, סיפקה אותה ידיעה באתר אחר, שם נכתב הנתון הנכון לגבי הקבוצה האחרונה - 0.5%. טעות או הטעיה מכוונת? לא נדע. בכל מקרה, אם מסתכלים על הנתונים אפשר להבין שה'משתמטים' עליהם מדברים כל הזמן הם אותם 0.5% - ואולי עוד כמה ממקבלי הפטור הרפואי, הכולל את הפטורים הנפשיים. מה שאומר, שרוב מוחלט מבני ה-18 שיכולים להתגייס ולא מתגייסים עושים זאת מטעמי דת - אבל זו כותרת שבצה"ל לא רצו להדגיש, כנראה.
נקודה מעניינת לא פחות היא עניין הגידול במספר ה'משתמטים'. לאור העובדה שהיה גידול ניכר במספר הפונים ל'תורתם אמנותם' בשנים האחרונות, האם ייתכן שזו הסיבה העיקרית לגידול במספר הלא-מתגייסים, ולא איזה גל עכור של 'משתמטים'? הכתבה לא מקלה על המעוניינים לגלות את המקור לאותו גידול דרמטי: בעוד שהנתונים על אחוז הלא-מתגייסים הכללי נתונים לפי שנתוני לידה (1989, 1985, 1981), הרי שהנתון על השינויים ב'תורתם
אמנותם מבוסס על שנת הגיוס , ומשום מה עוסק בשנת 1991 - לפני 16 שנה ולא לפני שמונה שנים כמו הנתונים הכלליים.
אבל עדיין אפשר ללמוד מזה משהו: מהנתונים אנו מקבלים שהעלייה בשיעור 'תורתם אמנותם' (מ-4.9 ל-11.2) והעלייה בשיעור הפטורים הרפואיים (מ-4.3 ל-7.3) מסתכמים יחד לעלייה של 9.3% בשיעור הלא-מתגייסים; ואם נניח ששאר הנתונים קבועים (מה שנראה סביר) נקבל שכנראה מאז 1991 יש עלייה של 9.3% בשיעור הלא-מתגייסים, מתוכה 7% בשמונה השנים האחרונות - הגיוני. ואם זה המצב, הנה המסקנה העולה מהדו"ח: *לפחות* 70% מהעלייה במספר הלא-מתגייסים מוסברת ע"י הסדר 'תורתם אמנותם'; פטורים רפואיים (שייתכן וחלקם פיקטיביים) מסבירים פחות משליש מהעלייה הזו. אבל זה לא מפריע, כמובן, לתקוף 'משתמטים' ולהציג 'נתונים מדאיגים'.

מהביטחון לחינוך, ולידיעה שהתפרסמה היום, שוב ב-Ynet. הפעם מזדעקות הכותרות על כך שמחקרבינלאומי מיקם את תלמידי ישראל במקום ה-31 בקריאה. "שוב ישראל בתחתית הרשימה" נזעקו לציין שם, ופירטו: "מתוך 45 מדינות ומחוזות דורגה ישראל במקום ה-31". כמו-כן מציינת הכתבה שבדירוג בין מדינות בלבד היתה ישראל במקום ה-27 מתוך 40.

נשאלת השאלה, מה זה 'מדינות ומחוזות'? התשובה (תחילה מהכתבה ואח"כ מהמחקר עצמו) הוא שהמחקר בדק בנפרד חמישה מחוזות של קנדה, וכן חילק משום מה בין בלגיה הצרפתית לבלגיה הפלמית; מאחר שקנדה היא מהמדינות המובילות בעולם (ובמחקר זה) בחינוך, חלוקת קנדה הורידה אוטומטית את הדירוג של ישראל, כך שהדירוג שיש להתייחס אליו ברצינות הוא זה שבין המדינות - 27 מ-40 - ולא זה שבמחקר הכללי. אלא שזה פחות סנסציוני, לפחות לפי כתבי Ynet.
גם מקום 27 מ-40 זה לא הכי נעים, הרי זה בחצי התחתון של הטבלה. אבל נשאלת השאלה - יחסית למי? 45 מדינות הן ודאי לא כלל המדינות בעולם, ואפשר לתהות עד כמה המדגם מייצג; מקום 27 ברשימה של מדינות שרובן מערביות (וזה המצב בדו"ח הזה) הוא פחות נורא ממקום ברשימה אקראית של מדינות העולם.
אבל בלי קשר להשוואה ממתין לנו בכתבה עוד נתון מרתק, לפיו אם היו מתחשבים רק במערכת החינוך במגזר היהודי, ישראל היתה מדורגת במקום ה-11 (ואילו הציון של בתי-הספר הערביים מדרג אותם במקום ה-40). בכתבה לא מספרים אם הדירוגים האלה הם בטבלת המדינות בלבד או ה'מדינות+מחוזות',אבל נראה סביר להניח שהשני נכון (כי יש רק 40 מדינות ועד כמה שהחינוך במגזר הערבי כושל, לא סביר שהוא ממוקם אחרון, אחרי איראן ומרוקו). בכתבה מופיעות גם המובילות ברשימה, מתוכן שלושה מחוזות של קנדה; פירוש הדבר שבדירוג לפי מדינות בלבד, המגזר היהודי בישראל היה מגיע למקום התשיעי, מעל מדינות כמו גרמניה, ארה"ב ואנגליה.במלים אחרות, המבחן כלל אינו עדות לבעיה בחינוך באופן כללי בישראל, אלא לבעיה קשה בחינוך במגזר הערבי - עניין שכלל אינו מוזכר בכתבה!

כדאי גם לשים לב לכך שלמרות הטון הרומז ל'הידרדרות החינוך בישראל', המבחן הבינלאומי מעיד למעשה על *התקדמות* קלה מאז 2001 - עלייה של מקום אחד, מהמקום ה-21 ל-20, בקרב המדינות שהשתתפו במבחן בשתי שנים אלה. כמובן, ב-Ynet עסוקים בלסייג את התוצאה החיובית הזו ("שיפור קל מאוד", "28 מדינות בלבד" - כאילו שזה משנה).
המממ.... הפוסט הזה מתחיל להיות ארוך מאוד ואני לא בטוח עד כמה זה מעניין אנשים; אני חושב שאעצור כאן, ובפוסט הבא אספר מה גיליתי כאשר הורדתי מהאינטנרנט את הדו"ח הגולמי של המבחן הבינלאומי המדווח. צפויות הפתעות.


שמור   בטל

נכתב על ידי רונן א. קידר, 28/11/2007 21:21, ושייך לקטגוריות סטיות אישיות, אקטואליה
8 תגובות   הוספת תגובה     הצגת תגובות כאן     1 הפניות (TrackBack) לכאן     קישור ישיר לקטע     שלח ל'שווה קריאה'     הוסף למומלצים שלי
התגובה האחרונה היתה של רונן א. קידר ב-29/11/2007 21:55

---