להבין את מנוע החיפוש של גוגל לעומק

החיפוש בגוגל נראה לכולנו פשוט, כותבים שאילתה בשדה החיפוש, מקליקים על “חפש” ובום, מופיעות תוצאות אורגניות וממומנות בנושאים שחיפשנו. האמת היא שמנוע החיפוש מאוד מורכב מאחורי הקלעים, ועצם זה שהשימוש בו כל כך פשוט לא ממעיט מערכו. כשאנחנו מבצעים חיפוש בגוגל, בפועל אנחנו מבקשים ממנוע החיפוש לבדוק בבסיס הנתונים, באינדקס האתרים של גוגל, איזה אתר הכי עונה על השאלה שלנו. התוצאות שמוצגות בפנינו הן מה שגוגל מתעדף על בסיס פרמטרים חישוביים שעל פיהם עובד אלגוריתם החיפוש.

גוגל סורק את האתרים שצורפו אליו לאינדקס בתדירות משנתה, שנקבעת על פי תעדוף של האלגוריתם. התעדוף נקבע לפי משתנים שונים בהם קצב רענון התוכן באתר, הסמכות של האתר וסוג האתר (למשל אתר חדשות יסרק באופן כמעט רציף). כלל הנתונים מעובדים ונשמרים בסוג של ארכיון, שממנו מנוע החיפוש שולף מידע, כאשר אנו מחפשים משהו בגוגל. מה שהכי מדהים זה שגוגל שולף את הנתינים בחלקיק שניה ואפילו תוך כדי הקלדה, ולכך מספר סיבות. האחת, בינה מלאכותית ושמירת נתוני גלישה. גוגל אוסף מידע עלינו ועל כלל הגולשים באינטרנט, מנתח את הנתונים ומציג בפנינו תוצאות רלוונטיות על פי הפרופיל שסטטיסטית יתאים לאזור ממנו אנו גולשים באינטרנט, למכשיר בו אנו משתמשים, ובגדול ינסה לשער ולספק לנו את חוויית המשתמש הטובה ביותר שניתן. סיבה נוספת היא הדרך בה מנוע החיפוש אוגר נתונים ושולף נתונים, האחסון של המידע בשרתים ואחזור המידע, נעשים בזמן אמת מהאינדקס. כלומר, הדרך שבה המידע נשמר ואוחסן בשרתים ואלגוריתם לשליפת המידע הינם מיטביים ומאפשרים זמטן ריצה קצר מאוד, כך שאנחנו מקבלים פלט תוך מאית השניה, מדויק וממוקד לשאילתת החיפוש.

 

איך גוגל סורק ומוסיף אתרים לאינדקס?

כל אתר מאופיין בצורה שונה, ולכן הוא גם בעל חשיבות אחרת בעיניי גוגל. אתרים שמתעדכנים לעיתים תכופות יותר, יקבלו עדיפות עם הזמן לסריקה באופן תדיר, לעומת אתרים שמעדכנים אחת לחודש, שככל הנראה ייסרקו בהתאמה על ידי הזחלנים של מנוע החיפוש. אתרים חדשים נסרקים לעיתים פחות תכופות, מכיוון שגוגל עדיין לא יודע מה טבעם של האתרים וגוגל עדיין לומד אותם. יכול להיות שאתרים שרק הוקמו יסרקו אחת לשבוע ואפילו אחת לחודש. אתרי חדשות פופולאריים נסרקים כל הזמן, מיד כשמתפרסמת כתבה חדשה כמעט היא תתווסף לאינדקס של גוגל ותופיע בתוצאות החיפוש. יש אפשרות לבקש מגוגל לסרוק עמודי אתר באופן מיידי, באמצעות הקונסול, הכלי של גוגל לבעלי אתרים.

גוגל משתמש ב”זחלנים” (Crawlers), בוטים(Bots), “עכבישים” (Spiders) שעוברים על האתרים הקיימים באינדקס של גוגל, וכשהם רואים קישור חדש, הם נכנסים אליו, ומוסיפים אותו לאינדקס, וכך ממשיכים הלאה לקישורים נוספים. אותו עמוד אינטרנט חדש שהתווסף לאינדקס של גוגל מקבל דירוג ומקוטלג על פי מעל ל-200 פרמטרים שונים, ולאחר העדכון הבא של האינדקס, הוא יוצג בתוצאות החיפוש האורגניות, כאשר מעכשיו אותו דף שהתווסף יקרא על ידי גוגל ויתחיל להמדד מול המתחרים שלו.

אפשרות נוספת של הוספת דפים היא בצורה ידנית. כלומר אם הקמת אתר חדש וגוגל לא מכיר אותו, תוכל לדרוש בעלות על האתר בקונסול של גוגל, ולבקש לאנדקס אותו. באינדקס של גוגל יש טריוליוני עמודי אינטרנט ובכל יום האינדקס ממשיך לגדול.

ה”זחלנים” וה”עכבישים” של מנוע החיפוש כיום יודעים להבין את הנושא שבו עוסק כל דף אינטרנט על פי התוכן שלו, ויחד עם מאגר המידע שנקרא Knowledge Graph, גוגל מסוגל להחזיר תשובה מדוייקת עבור כל שאילתת חיפוש. גוגל משתמש במאות קריטריונים כדי לקבוע את הדירוג של עמודי האינטרנט השונים, עבור כל שאילתת חיפוש. האלגוריתם של גוגל ממשיך להתעדכן כל הזמן, ולכן תוצאות החיפוש רלוונטיות ומדוייקות מאוד ברוב המקרים.

 

חנות כלבו ושמה גוגל

כדי להבין טוב יותר איך גוגל עובד, אפשר לתאר את המנגנון של מנוע החיפוש כחנות כלבו גדולה, כשכל מבקר בה שואל שאלה בכניסה ומקבל את המיקום אליו הוא צריך ללכת על מנת למצוא את מה שהוא מחפש, כשהמיקום נקבע על פי מה שאותו אדם מצפה למצוא, על פי מה שאחרים לפניו חיפשו וקיבלו מענה באותו המיקום, ולפי הרקע של אותו לקוח בחנות על פי הרישומים של כרטיס המועדון שלו. למשל אם אותו לקוח אוהב רוכש מוצר של חברה קבועה, כשהוא יחפש מוצר שהחברה הזו מייצרת נפנה אותו למיקום של המוצר של החברה שהוא רוכש ממנה בדרך כלל. במידה והוא לא רכש מוצרים שמתאימים לתיאור או לחברה שמייצרת אותם, נפנה אותו למיקום שהכי סביר שיתאים על פי לקוחות אחרים שהיו מרוצים.