בינה מלאכותית – האמנם?

[dtown]

שרשור תגובות לכתבה: https://www.dtown.co.il/is-it-really-ai

 

[exupgh12]

על זה נאמר:

i want AI to do my laundry and dishes so that I can do art and writing, not for AI to do my art and writing so that I can do my laundry and dishes

 

[Tamir Ivan]

הי גיא, הזכרת לי סרטון של ברקוני שהמסקנה שלו שבסוף המיקצועות היחידים שישארו לבני האדם הן עבודות הכפיים .

 

[pruym]

כבר שנים שאני טוען שלואו טק זה העתיד
במקצוע שלי זה הכי בולט…

 

[Tamir Ivan]

@pruym
חשבת להשאיר אותנו במתח?
תשתף מה המקצוע שלך ומהן התוכניות שלך לגביו?

 

[ליאור]

הי, כמה הבהרות בנוגע למשפט הבא "לדוגמא, Co-Pilot, הבינה המלאכותית של מיקרוסופט, שואבת את הנתונים ממיליארדי פרמטרים שקיימים ב-ChatGPT. כלים אחרים שואבים את המידע שלהם מסריקת מיליארדי אתרי אינטרנט ומסמכים שנמצאים ברשת האינטרנט."

co-pilot של מיקרוסופט בנוי מעל התשתית (המודלים השפתיים) של openAI (שמציעה את שירות chatGPT), הוא אינו ניגש ל chatGPT ואינו שואב ממנו דבר בזמן פעולתו. אני לא יודע על אילו פרמטרים מדובר בטח שלא על מליארדים מהם. אני מעריך שזה פשוט ניסוח שאינו ברור (לי) דיו (כנראה שהתכוונת למערך נתונים - dataset).
מיקרוסופט מגינה על המשתמשים שלה והארגונים שמשתמשים בה, ועל המידע שלהם, זאת בשעה שמידע שמגיע ל chatGPT באמצעות אימון, שאלות, הפניות לאתרים, פידבק וכו.. נכנס לשירות הכללי וזמין לכל (כמו הפאשלה של סמסונג שבטעות חשפה את הקוד הפרטי שלה לעולם..).


בכל מקרה, למען הסדר הטוב: "סריקת מיליארדי אתרי אינטרנט ומסמכים שנמצאים ברשת האינטרנט" זו פעולה שבמודל שפה (או מודל למידת מכונה באופן כללי) נקראת "אימון" (training), כשה dataset (מערך נתונים - ביטוי שאני לא מכיר מי שמשתמש בו בעברית..) הוא אותם "מליארדיי..". הואיל ו co-pilot של מיקרוסופט משתמש בתשתית של openAI, אז בדיוק כמו אותם "כלים אחרים" הוא אומן באמצעות "מליארדי אתרי אינטרנט ..." (בגדול אותו dataset).
ההבדל הוא שבנוסף הוא מקבל כקלט (ללמידה, או "אימון" מתמשך), את המסמכים שהמשתמש מייצר ב 365 (אקסל, וורד וכו...), וגם את המסמכים (365) של כלל הארגון. זה מייצר קונטקסט ספציפי ל co-pilot, כשבשונה ממנו chatGPT עצמו, מתיימר להיות שירות מודל שפה כללי.

אגב, יש מוצר נוסף מודל שפה נוסף שנקרא Copilot של ארגון github , שגם הוא בנוי מעל המודלים של openAI, קרי גם הוא "אומן" באופן דומה למי שבנוי מעל המודלים של openAI, אבל הוא גם אומן בקוד של מאות אלפי פרוייקטים שמנוהלים דרכו מה שמייצר קונטקסט ספציפי, והוא כלי לא רע (שלא לומר מצויין) למפתחים (או לארגונים שרוצים לקצץ במשרות ג'וניור. אמיתי.).
להייטקיסטים, גם Stack overflow בחגיגה כשמסתמא הכלי שלהם עבר אימון מעל מליוני שו"ת במסד הנתונים של האתר.

 

[pruym]

@pruym
חשבת להשאיר אותנו במתח?
תשתף מה המקצוע שלך ומהן התוכניות שלך לגביו?

לא מתח אבל המקצוע שלי הוא מהנדס מכונות והוא לא קשור בשום צורה לתחומי העניין בפורום.
בתחומים שאני בקיא בהם בדקתי האם יש לבינה המלכותית תשובות סבירות והגעתי למסכנה מאוד חד משמעית שלא…

 

[Tamir Ivan]

הי ליאור,
אנו אמנם סוטים מהפואנטה של הכתבה, אבל אשמח לדייק איתך את הכתוב.
בנוגע להתייחסותך ל"אני לא יודע על אילו פרמטרים מדובר בטח שלא על מליארדים מהם", לדעתי אתה מבלבל בין שורות קוד לפרמטרים, או במילים המיקצועיות "מישקלים". הקוד עצמו לא גדול, אבל הפרמטרים (מישקלים) רבים מאד. לכן גם האימון לוקח המון משאבי דיסק לשמור לעבד את התוצאות ובסוף מוציא קובץ משקלים.

copilot משתמש לא רק בתשתית של chat GPT, אלא משתמש במאגר שנוצר בעקבות האימון שלו. המודל של open AI הוא מאגר סגור ש- open AI סוחרת בו. זה המודל הכלכלי שלהם.

co-pilot של מיקרוסופט אכן בנוי מעל התשתית של openAI. הוא אכן אינו ניגש ל chatGPT ואינו שואב ממנו דבר בזמן פעולתו, אבל הוא משתמש במודל שנוצר לאחר תהליך האימון שעבר Chat GPT ב- Open AI. לא לחינם מיקרוסופט השקיעו סכומים אדירים ב-Open AI. אגב, Open AI מכרה את זכויות השימוש במודל שלהם גם לאפל, וגם היא תשתמש במודל שיצרה Open AI ל-Chat GPT, תעשה לו fine tuning, והנה עוד AI נולד.

גם אתה יכול לשלם להם והם יאפשרו לך להשתמש ב- API שלהם לצרכי פיתוח עתידי. אל תשכח שהמאגר של open AI מאד רגיש לקונטקסט. לכן יתכן שגם copilot עשו אימון בעצמם כדי לעשות fine tune לתוצאה של שאילתא שתיתן להם, אבל הם מסתמכים על האימון הבסיסי של open AI. אימון זה תהליך מאד יקר ואיטי, ולכן ברור ש-copilot לא יתחילו לאמן מההתחלה.

אנו סוטים לחלוטין מהנושא, אבל חשוב להבין את הדברים ולדייק אותם.
מוסכם?

 

[ליאור]

הואיל ו co-pilot של מיקרוסופט משתמש בתשתית של openAI, אז בדיוק כמו אותם "כלים אחרים" הוא אומן באמצעות "מליארדי אתרי אינטרנט ..." (בגדול אותו dataset).

הוא אכן אינו ניגש ל chatGPT ואינו שואב ממנו דבר בזמן פעולתו, אבל הוא משתמש במודל שנוצר לאחר תהליך האימון שעבר Chat GPT ב- Open AI.

1.די בפירוש כתבתי ששניהם מבוססים על אותו dataset.
2. לא ברור לי עד הסוף מה הנושא, לא כל שכן מדוע יש כאן סטיה מוחלטת ממנו. עם זאת, כתבה שלך, נקבל הערתך ונמשיך הלאה.
3. לגבי "פרמטרים" אולי זה לא המקום להיכנס לדיון על העקרונות של רשתות ניורונים (שזה מבנה הנתונים התשתיתי של רוב הפרוייקטים). יחד עם זאת חשדתי ואף כתבתי "אני מעריך שזה פשוט ניסוח שאינו ברור (לי) דיו (כנראה שהתכוונת למערך נתונים - dataset)" שהרי בכל מקרה המודל עבר אימון מכמות עצומה של מקורות.
הניסוח בכתבה הותיר בי את הרושם (המוטעה) כאילו הטכנולוגיה של מיקרוסופט "שואבת את הנתונים ממיליארדי פרמטרים שקיימים ב-ChatGPT", לעומת "כלים אחרים שואבים את המידע שלהם מסריקת מיליארדי אתרי אינטרנט ומסמכים שנמצאים ברשת האינטרנט".
זאת בשעה שמיקרוסופט בהחלט עברה את אותו הטריינינג, שזה היה כל המסר.
עכשיו אני חושב, שבכלל התכוונת לכלי AI שמבצעים חיפוש "חי" באינטרנט לפני מתן תשובות (כמו Arya).

4. ככל שאני משתדל לנחש מה הנושא (האם לסווג חלק מהכלים שהוזכרו כ"בינה מלאכותית"), אז אני אכן לא מסכים עם התזה כלל ועיקר.
לא כי כתוב משהו לא נכון עובדתית, אלא שהמסקנות שלי לגבי הטכנוטלוגיות האלה שונות למדי.

 

[Tamir Ivan]

ליאור,
נושא הכתבה הוא האמנם השימוש במונח בינה מלאכותית אכן ראוי למגוון המוצרים והיישומים אליהם אנו נחשפים כיום.
כמבוא לכתבה הצגתי את העיקרון עליו עובדים המנועים כדוגמת Chat GPT. בכתבה התייחסתי לכך שלהבנתי מדובר ביצירת כלי שמחקה באופן משכנע התבטאות אנושית שכולנו מתפעלים ממנה, ואפילו משתכנעים ממהימנותה, אבל כשיורדים לפרטים, אין כאן לדעתי באמת בינה ובוודאי שלא תבונה.
הכתבה פתוחה לדיון בפורום בדיוק על מנת שכל אחד יוכל להתייחס ולקיים דיון. תבוני

 

[shushu]

אחת הבעיות המרכזיות של מודלי שפה, כדוגמת gpt, היא ״הזיות״. המודלים ״מחרטטים חופשי״ כמו ילד בן 12 שרוצה לרצות את ההורים באופן כזה שנותן תשובות לא נכונות הנשמעות הגיוניות (למשל שדרייבר קראמי עדיף ). יש תחום שנקרא prompt engineering שבתכלס מנסה להנדס את השאילתות באופן כזה שיגרום למנוע ״לחרטט פחות״ ואפילו לתת תשובות יותר דטרמניסטיות כששואלים את אותה השאלה שוב ושוב

ישנם כלים שונים היום שמשתלבים עם מודלי שפה
לדוגמא נניח המודל צריך לבצע פעולה מתמטית, במקום לחרטט בעצמו הוא יפעיל מחשבון, יקבל תשובה מדויקת וישלב אותה בשאר הטקסט. או לדוגמא מודל שאימנו לפני שנה, שיקבל שאילתה על סיכויי טראמפ לזכות בבחירות, יכול להפנות את עצמו לסקרים שונים שלא התאמן עליהם ולהסיק מסקנה כלשהי ״מחומר פתוח״ שלא ראה קודם. זוהי כמובן לא תבונה אנושית, אבל היכולות מתקדמות די מהר.

כיום בעיקר חברות מאוד גדולות מסוגלות לאמן מודלי שפה. העסק דורש הרבה כסף וכח מחשוב. המודלים עובדים על סמך ההסתברות ״להגריל״ את המילה הבאה במשפט על סמך רצף המילים הקודם. למרות שנשמע אידיוטי, כמה פעמים שמעתם יצור אנושי מוציא משפט כמו ״שרה שרה שיר בורקס?״

ניתן להכניס כשאילתה למודלי שפה טקסטים שהם לעולם לא ראו או התאמנו, ולבקש לתמצת, או למצוא טעויות או סתירות פנימיות, ממש כמו מבחן עם ״חומר פתוח״. למשל סטרטאפ שבודק מבחנים בהסטוריה.. מכניסים את תוכן הספר, את התשובה של התלמיד ומבקשים מהמודל למצוא סתירות בטקסט... אם יש סתירות התלמיד לא ענה נכון.

המאמר שפרץ את הדרך למודלים של openAI נכתב בכלל על ידי Google... הם פרסמו אותו אבל לא האמינו שחברה אחרת תכנס בכל הכח.

עד כאן לשעת ליילה מאוחרת זו... מי שעדיין לא הפנים, החרא הזה שינה את העולם, והעסק רק יתגבר. יש הרבה סכנות, לא בטוח שהאנושות בכלל מבינה את כולן כרגע.

 

[ליאור]

ליאור,
נושא הכתבה הוא האמנם השימוש במונח בינה מלאכותית אכן ראוי למגוון המוצרים והיישומים אליהם אנו נחשפים כיום.
כמבוא לכתבה הצגתי את העיקרון עליו עובדים המנועים כדוגמת Chat GPT. בכתבה התייחסתי לכך שלהבנתי מדובר ביצירת כלי שמחקה באופן משכנע התבטאות אנושית שכולנו מתפעלים ממנה, ואפילו משתכנעים ממהימנותה, אבל כשיורדים לפרטים, אין כאן לדעתי באמת בינה ובוודאי שלא תבונה.
הכתבה פתוחה לדיון בפורום בדיוק על מנת שכל אחד יוכל להתייחס ולקיים דיון. תבוני

אני מסתכל על כל העולם של בינה מלאכותית בצורה פחות דטרמיניסטית, או לפחות פחות כאילו יש רף* (נתייחס בהמשך) שבמידה ונחצה אותו אז נוכל להגדיר את הטכנולוגיה כ'בינה מלאכותית'.
כמו שאני תחפס את הנושא, ככול שמערכת AI עושה עבודה יצירתית (לאו דווקא יצרנית), שבעבר רק בני אדם היו עושים אותה, ועושה את זה טוב, אז מבחינתי לפחות זו בינה.
למשל: אם אני מבקש מ DaLL e2 לצייר משהו ע"פ תיאור בע"פ של רעיון, אז היא תעשה עבודה טובה, מהר מאוד, וצורה הרבה יותר משכנעת מהרבה מאוד אנשים.
אם אתה מבקש מ chatGPT לנסח מכתב רשמי, הוא יעשה את זה טוב יותר מהרבה מאוד אנשים.
אם אתה מבקש ממנו לכתוב מסמך אקדמאי, הוא יעשה את זה טוב. יותר מכמה וכמה בוגרי תואר שני.
אם אתה מבקש ממנו לייצר קוד תוכנה, אז הוא יעשה את זה בצורה יחסית משכנעת, גם אם כרגע הוא לא יצליח לעשות דברים יותר מדי מורכבים. בנושא זה של "עבודה יצירתית הנדסית" הוא עוד לא שם.
הרבה פעמים, כאשר יש משהו שאנו חושבים ש"רק בן אנוש יכול", ואז תוכנה עושה את זה' אנו חדלים לסווג את זה כ'בינה מלאכותית'. אולי זה נכון טכנית. אבל מבחינתי אני שומר על 'קונטקסט היסטורי' (אין לי ביטוי אחד כרגע) וכן מזהה את זה כבינה מלאכותית.
למשל, לפני שלושים שנה, היו מספרים לסטודנטים להנדסה ש"מחשב לא יכול לזהות גיל של בן אדם, וזה משהו שכל ילד בן 5 יכול לעשות". ובכן, זה כבר לא הכי מדוייק.
היה אתגר אדיר בכל הנושא של "הבנת שפה טבעית" (natural language understanding), ובפרט בניהול שיחה אנושית, ובימינו גם היום ה"רף האנושי" הזה נחצה. או לפחות בדרך הבטוחה להחצות (זוכר את מבחן טיורינג? משנות ה 50..?).

סה"כ, כל אחד מחליט אחרת היכן עובר הגבול בין 'אוטומציה', בה מחשב מבצע עבודה אנושית טריוויאלית, רק מהר מאוד ובאופן יעיל ואף על אנושי, או 'בינה', בה מחשב מבצע עבודה יצירתית שבעבר היתה 100% אנושית. זה שאתה מבין כיצד עובדת רשת ניורונים, וכיצד מאמנים דאטה סט אדיר, ועוד נושאים טכניים לגבי כיצד המנוע מתפקד, זה לא משנה את המבחן הפשוט שלי: האם העבודה היצירתית מתחרה במשהו שבן אנוש יעשה.


* הרף, לפחות מבפרי מדע בדיוני, זה כשבינה מלאכותית תגיע למודעות לעצמה (consciousness), ואז היא עשויה (או עלולה לפי הפסימיים) לפתח אג'נדה. ואולי האג'נדה שלה יהיה לשרוד. קצת skynet אבל לך תדע..
בכל מקרה, עד שיהיה לנו מחשב קוונטי אמין וזמין, נראה לי שאנו יחסית "בטוחים". אמנם הרבה משרות בסכנה, ויכולת החשיבה העצמית של אנשים תידרדר מעצלנות, אבל זה 'בחזקת לא נעים לא נורא'.

 

[pruym]

אם אתה מבקש מ chatGPT לנסח מכתב רשמי, הוא יעשה את זה טוב יותר מהרבה מאוד אנשים.

או הספד יותר טוב מ:
לאה יא לאה
היית מאה מתוך מאה
איך כולם בבאסה עליה
ואיך נמשיך פה בלעדיה

וואלק לא יודע
וואלה לא יודע
אל יופיה המשגע
אל קולה וחמוקיה