חיפוש "חדש" בגוגל. מה חדש?

Image via CrunchBase

החדשות הגדולות לכאורה היום במדורי הטכנולוגיה הם הידיעה על החיפוש הסמנטי החדש של Google שאמור להיכנס לשימוש בחודשים האחרונים. מקור הידיעה היא לא אחת מאתרי הטכנולוגיה הפופולריים כמו  Mashable, Techcrunch ודומיהם אלא אתר ה Wall Street Journal.

בארץ קצת התלהבו מזה וכולם מתייחסים לכתבה.

חיפוש סמנטי זה לא דבר חדש. עובדים על זה כבר המון זמן. 

את תחום הרשת הסמנטית חוקרים ומפתחים כבר יותר מעשור. ברור היה לכולם שכל העבודה הקשה נועדה בין היתר ואולי בעיקר כדי לאפשר חיפוש מידע יעיל יותר ברשת. מנועי החיפוש ובראשם Google נכנסו לשוק הזה לפני כמה שנים והם מנצלים טכנולוגיות סמנטיות כבר היום.

הרעיון הוא שמנוע החיפוש "יבין" את מה שאנחנו רוצים ויוכל לתת לנו לינקים לאתרים רלוונטיים, וזאת למרות שהוא מתעלם ממילת המפתח (הלא מוצלחת שלנו).

בדרך כלל מנוע חיפוש מחפש מילים. אבל חיפשו למשל את צמד המילים social network. מעבר לתוצאות הצפויות כמו קישור לסרט וההגדרה של ויקיפדיה, אנו מקבלים גם לינק לפייסבוק ול My Space. זה קורה כי גוגל יודע שאלו הם אתרי רשתות חברתיות ויתכן שזה מה שאנו מחפשים. הוא לא התייחס במקרה זה לצמד המילים אלא למשמעות שלהם. קיבלנו תוצאה נכונה ולא אתר אינטרנט שפשוט מופיעים בה שני המילים. הקלידו את המילה tweet ומיד תופנו לאתר של Twitter למרות שהמילה tweet לא מופיע שם.

בעתיד יהיה אפשר להקליד מילים כמו "ירוק בחוץ ואדום בפנים" ולהגיע לאתרים על אבטיחים. מנוע החיפוש הסמנטי פשוט יודע את נתוני הצבע של הפרי המתוק הזה ויבין למה אנו מתכוונים. זה קורה כי כל המידע מובנה כבסיס נתונים. על אבטיח יהיה מידע:
צבע בחוץ - ירוק
צבע בפנים- אדום
משקל -1ק"ג-5ק"ג
אקלים - ...
מידע תזונתי- ...
וכו'.
אם כל המידע הזה אפשר לבנות שאלות מתוחכמות ולקבל מידע מדויק.

כך עובדים הקטלוגים שלנו בספריות. אני מחפש "מחבר: ש"י עגנון", ומקבל כתוצאה רשימה של ספרים שהוא כתב. אני לא מקבל רשימה של ש"י עגנון" אלא רשימה של ספרים כי הגדרתי אותו כמחבר של X ואני רוצה את X.

בכתבה הדגישו שתי נקודות: קבלת נתונים לגבי נושא השאילתא, ומענה על שאלות.

בעבר היה אפשר להקליד ב Google שם של סרט, ומיד היה מתקבל לא רק לינקים לאתרים אלא פירוט של מידע לגביו ומקומות ושעות ההקרנה. כנ"ל לגבי מידע ביבליוגרפי על ספרים ומסעדות. הנתונים הללו כבר קיימים באתרים, מה שגוגל עשה זה להבין למה המספרים האלה מתייחסים (שעה, כתובת וכו') ולהציג אותם במקום ברור ברשימת התוצאות. משום מה אפשרות זאת לא כל כך קיימת היום.
ב Yahoo זה גם עובד. הקלדתי את המילים War Horse ובמקום לקבל קישורים לאתרים, קיבלתי המון מידע מתוך האתר הרלוונטי.

הדוגמא המובאת בכתבה ב WSJ היא בעצם אותו דבר. נכתוב מילה כמו שם של מקום ובמקום קישורים לאתרים, נקבל מידע.

לגבי מענה על שאלות על זה כבר דיברנו בעבר. יש הרבה אתרים טובים כמו cha cha או Ask וחלקם פועלים על טכנולוגיה סמנטית כמו True knowledge.

השיפור בתוצאות החיפוש קיים כבר כיום אבל לא תמיד אנו שמים לב אליו. התרגלנו למידע איכותי יותר.
לא יהיה לגוגל מנוע חיפוש חדש-סמנטי. פשוט מאחורי הקלעים הוא יעבוד עם טכנולוגיות סמנטיות היכולות להניב תוצאות טובות יותר. המעבר יהיה הדרגתי ואולי לא נרגיש בו בכלל.

המצב כבר יותר טוב ממה שהיה לפני חמש או עשר שנים וזה למרות שיש הרבה יותר דפי רשת. אולי בחודשים הקרובים תוצאות החיפוש ישתפרו עוד יותר.

הנה כתבה מצוינת של דני סליבן מ Search Engine land שגם הגיב היום לכתבה ב WSJ.
בסוף, עמית סינגהל שראוין בכתבה, הגיב לדברים הקצת מלהיבים מדי של ה WSJ גם כן.

מאגר "השכלה" ו Semantic Media Wiki - יום עיון

Image by eranbe via Flickr

ביום חמישי ביקרתי בספריה הלאומית בירושלים במסגרת יום עיון מעניין שהיה שם.

היום הוקדש לפרויקט חדש המחשבר בין מאגר "השכלה" ל Semantic Media Wiki.

מאגר "השכלה" הוא מאגר שניבנה בשנים האחרונות על ידי אוניברסיטת תל אביב, בר אילן ופרנקפורט. המאגר הוא בעצם קטלוג של פרסומים שונים של יהודים משכילים בסוף המאה ה-18 והמאה ה-19. בעזרת המאגר, חוקרים יכולים לחפש מידע מגוון לגבי ספרים, מו"לים מחברים ועוד.

לאחרונה, בעזרת דב ווינר מ Judaica Europeana, נוצר קשר בין צוות המאגר לבין ירון קורן, יליד חיפה שגר היום בניו יורק. ירון מתעסק הרבה שנים בתחום ה wiki והגיע לארץ למפגש ה Wikimania.

בין היתר, מנהל ירון את Referata, אתר מבוסס על Media Wiki אבל המשלב גם תוסף סמנטי. Semantic Wiki הוא בעצם wiki כמו וויקיפדיה אבל הוא מאפשר הוספת מידע לפי שדות להבדיל מוויקי רגיל המאפשר רק הוספה פשוטה של טקסט. בצורה זו אפשר אחר כך לבצע שאילתות מורכבות ולקבל תשובות מדויקות. 

כפי שהזכרנו בעבר, הרשת הסמנטית מזכירה (לנו כספרנים) קיטלוג של ספר או מאמר. יש המון שדות כמו מחבר, כותר, נושאים, דפוסת וכד' אבל העבודה הרבה של המקטלג, מאפשר אחר כך לחוקר או ליועץ לבצע שאילתות מדויקות יותר. למשל: מאמר של 10 עמודים בספרדית בנושא תחנות חלל שפורסמו כ PDF בכתבי עת ספציפיים בין 2005-2008 על ידי חוקר ששמו הפרטי הוא משה... 

בעזרת Referata אפשר לבנות וויקים סמנטים בכל תחום. ירון הדגים מספר וויקים כאלה, לדוגמא וויקי בנושא מאמרים אקדמיים. אפשר בוויקי זה לחפש מאמרים לפי מחבר, נושא כ"ע וכו'. זה כמובן לא מתחרה מול מאגרי המידע שלנו אבל הוויקי הזה מאפשר לכל אחד, להוסיף מאמרים מומלצים משלו ולהיות חלק מפרויקט שימושי.

לפני שנתיים שיחקתי עם וויקי סמנטי אחר בשם Food Find. זהו מאגר של מסעדות ברחבי העולם. אפשר בקלות להוסיף מסעדה מומלצת למאגר, לסווג אותה לפי מחיר, אוכל, המלצות, כשרות, סגנון וכו' ולמקם אותה במפה. זכיתי להוסיף את המסעדה השלישית בישראל.

ירון יחד עם הצוות של מאגר השכלה, עובדים על העברת תוכן המאגר לתשתית של semantic wiki. זה ייעל את העבודה והחיפוש.

אחר הצהריים ירון העביר סדנא על הקמת וויקי כזה. בהתחלה זה היה נראה קל יחסית. מילוי תפסים/תבניות מקוונים, בחירת שדות והוספת נתונים. זה התחיל להסתבך כשראינו שעל כמעט כל שינוי בתבניות שהכנו, צריך להיכנס ל syntax ולתקן ידנית בשפת ויקי את הדברים. ירון הבטיח שתוך מספר ימים אפשר ללמוד את זה וזה לא מסובך כפי שזה נראה.

לדעתי היתרון הוא שבקלות (יחסית) ובמהירות אני יכול לבנות בעצמי מאגר מידע. רוב אתרי ה Web 2.0 מאפשרים לנו להוסיף מידע לאתרים קיימים. התשתית של וויקי סמנטי מאפשר לי לבנות מאגר.

לאחר יום העיון ראינו סרט קצר על הספריה הלאומית (שאירחה אותנו). גליה ריכטר מהספריה נתנה הרצאה קצרה על תולדות הספריה ואז לקחה אותנו לספריית המפות. היא הוציאה לנו כל מיני מפות עתיקות ומיוחדות מהאוסף הנפלא שלהם. שאלתי אותה איפה אפשר לקנות העתקים של המפות הללו (תמיד רציתי לתלות אחד על הקיר בבית). לצערי לא הספקתי להגיע לחנות המזכרות של הספריה. אחר כך ראינו מספר פריטי תרבות מיוחדים מהארכיון של הספריה. בין היתר מכתב בכתב ידו של הרצל. ספר בכתב ידו של שי עגנון ופרס הנובל שקיבל ש"י עגנון ב 1966.

אחר כך נשארתי עוד שעה כדי לקרוא כמה ספרים שהזמנתי מהמחסן. 

יום מעניין ומוצלח.

הרשת הסמנטית - הסבר קצר

מצאתי ב slideshare את המצגת המצורפת. השנה, בעקבות ההרצאה שלי, התעסקנו הרבה בנושא הרשת הסמנטית (עם דגש על השילוב בין יישומי web 2.0 לטכנולוגיות סמנטיות).

המצגת מסבירה בצורה ברורה ופשוטה שהרעיון הכללי הוא לאחד ולחבר בין כל ה data-נתונים המתפרסם ברשת. השאיפה היא להפוך את כל הרשת לבסיס נתונים אחד גדול ואז יהיה אפשר לבנות שאילתאות מורכבות מאד ולקבל תוצאות מדויקות.

Introduction to Linked Data

View more presentations from juansequeda.

מה זה FOAF?

אחת הטכנולוגיות הסמנטיות שבעזרתן אפשר להבין את החשיבות והכח של הרשת הסמנטית היא FOAF.
שם קצת מוזר וכבר היה מישהו שטען שזה נשמע כמו שם של מנה אחרונה איומה.

FOAF הוא ראשי תיבות של Friend of a Friend חבר של חבר. חבר של חבר הוא בן אדם שאתה לא מכיר אבל הוא אחד שיוכל לעזור לך בדרך כלשהו. זה קשור לתאוריות של Stanley Milgram משנות ה-60 לגבי הקשרים בין בני האדם. בעזרת חבר של חבר של חבר... אפשר להגיע בסוף (לאחר 6 חברים) לכל אחד על פני כדור הארץ.

טכנולוגית FOAF יכולה לקשר בינינו לבין חברים של חברים אבל היא יכולה לעשות הרבה יותר מזה. למה ללכת רחוק היא קודם כל מחברת בינינו לבין חברינו שלא ידענו על קיומם (באותה מסגרת). היא יכולה למצוא תחומי העיסוק, מקומות עבודה משותפים בינינו לבין אנשים שאנו לא מכירים.

FOAF היא טכנולוגיה סמנטית וליתר דיוק אנטולוגיה הבנויה בעזרת RDF ו OWL.
הפרויקט התחיל בשנת 2000 ובשנים האחרונות נהיה מאד פופולרי. הראיון הוא שלכל אדם יהיה קובץ FOAF בו הוא יתאר את עצמו, עבודה, התענינויות, חברים, כינויים וכד', בצורה ושפה שהמחשב (יישומים סמנטיים) יבינו. הקובץ נשמר ברשת ומזהה אותי בכל אתר בו אני מבקר. אם אני מבקר ברשת חברתית שמזהה את הטכנולוגיה הזאת, היא אמורה להודיע לי שחברים המופיעים בקובץ FOAF שלי, הם גם חברים באותה רשת ויקשר ביננו.
הרשת החברתית LiveJournal נעזר ב FOAF אבל אני עדין לא שמתי לב לכך. גם Twine עושה שימוש ב FOAF ומציע לי אנשים שאולי יעניינו אותי (הרחבה על Twine).

איך בונים קובץ?
זה באמת מאד פשוט. יש כלים אוטומטיים שיוצרים את הקובץ. אני צריך רק למלא את הפרטים שלי בטופס. הכלי המוכר ביותר הוא http://www.ldodds.com/foaf/foaf-a-matic

כך נראה קובץ ה FOAF שלי

אפשר לראות שבקטגוריה של name מופיע השם שלי, דף הבית של מקום העבודה תחת workplaceHomepage, התענינויות תחת interest וכו'. יש עוד הרבה קטגוריות שניתן להוסיף. ככל שהמערכת תזהה יותר קטגוריות, התועלת תגדל. לדוגמא, אם אוכל לציין foaf:favouritefood כל פעם שאחפש "מסעדות" ברשת, המערכת תחפש לי לפי התפריט המועדפת עלי ולא לפי האתרים הפופולאריים ביותר.
את הקובץ הזה אני שומר עם סיומת rdf ומעלה לרשת.

יש המון פוטנציאל בטכנולוגיה זו. יהיה מעניין לראות בעתיד עוד יישומים שימושיים שיכולים להתאים לי מידע או חברים בעזרת קובץ ה FOAF האישי שלי.

מילה על אונטולוגיות

להרצאה שלי בכנס טלדן הכנתי מספר שקופיות בנושא השימוש באנטולוגיות וליתר דיוק השילוב התיאורטי בין אונטולוגיה לפולקסונומיה. המצגת היתה ארוכה מדי והחלטתי לוותר על נושא זה כי הוא דרש התיחסות קצת יותר עמוקה והזמן שעמד לרשותי לא הספיק.

אונטולוגיות הם אחד מעמודי התווך של הרשת הסמנטית. הרשת הסמנטית כאמור היא רשת שתבין את התוכן של עצמה ואת השאלות שאנו שואלים. היא תעשה זאת בין היתר בעזרת אונטולוגיות. תפקיד האונטולוגיה הוא לתאר מונחים ואת הקשרים שלהם עם מונחים אחרים. נכון, גם טקסונומיה פשוטה עושה את זה. ההבדל הוא בעומק ובפירוט התיאור.

טקסונומיה מתארת מונח דרך מבנה (עץ) היררכי. אני יכול ללמוד מהם המונחים הצרים, הרחבים והקרובים של כל מונח. זה טוב אבל זה לא ממש נותן לי תיאור של המונח אלא לאיזה קטגוריות הוא שייך או אם הוא עומד בראש קטגוריה, אלו פריטים יוצאים ממנו.

לדוגמא:
נניח שיש טקסונומיה בנושא אוכל. ניקח את המונח "קוקה קולה". נקבל
מונח רחב - משקאות קלים
מונח קרוב -פפסי
מונח צר -....

לעומת זאת באונטולוגיה נקבל
צבע - חום
שנת הופעה - 1886
ממציא - גון פמברטון
נוצר מ - עלה קוקה, אגוז קולה
משרד ראשי - אטלנטה
קלוריות - 281 בליטר

כשאונטולוגיה כזה נמצאת ברשת, נוכל לשאול איזה משקה חום הומצא בשנת 1886 ונקבל תשובה. הרשת הסמנטית תבין בדיוק מה זה קוקה קולה.

הרשת העתידית (הסמנטית) תהיה "רשת של נתונים" לעומת "רשת של מסמכים" כפי שהיא היום. עם נתונים אפשר לעשות הרבה דברים חכמים ולהגיע לתובנות חדשות. יש היום הרבה מידע ברשת אבל אנחנו צריכים לסנן אותו ולנסות למצוא מידע רלוונטי ויעיל. הרשת הסמנטית אמורה לחסוך לנו את כל המאמץ הזה.
בעוד כמה שנים...