אתר יכול להיות פתוח לגולשים ובכל זאת לחסום סורק של שירות AI מסוים. לעיתים הסיבה היא כלל ב־robots.txt, ולעיתים בקשה נחסמת בחומת אש, ב־CDN, בשרת או בשכבת התחברות. מנגד, עצם העובדה שבדיקה פשוטה עם שם סורק מחזירה 200 אינה הוכחה שסורק אמיתי הצליח להגיע לעמוד. כדי להבין מה קורה, צריך לבדוק איזה סורק רלוונטי למטרה, באיזה מסלול הוא עובר ומה נרשם בשרת.
התשובה בקצרה: בחרו עמוד ציבורי חשוב, הגדירו אם אתם בודקים חיפוש, בדיקת מודעה או גישה לצורך אחר, וקראו את ההנחיות הרשמיות של השירות. בדקו את כללי robots.txt עבור הסורק הנכון, אחר כך את תגובת דף היעד ואת יומני ה־CDN והשרת לבקשות מאומתות. שנו רק כלל שמונע מטרה רצויה, ולא את מדיניות האבטחה של כל האתר על סמך השערה.
קודם מזהים את סוג הסורק
הביטוי ״סורק AI״ מסתיר כמה מטרות שונות. שירות עשוי להשתמש בסורק שמגלה עמודים להצגתם בחיפוש, בבקשה שנשלחת כאשר משתמש מבקש לקרוא עמוד, בסורק שנועד לאימון מודלים או בסורק שבודק דף נחיתה של מודעה. הרשאה לאחד מהם אינה מחייבת הרשאה לאחר. החלטת גישה צריכה להתחיל במטרה העסקית ובמדיניות התוכן של האתר, לא ברשימת שמות בוטים שמצאתם בפורום.
לפי התיעוד הרשמי של OpenAI לסורקי האתר, OAI-SearchBot משמש להצגת אתרים בחיפוש של ChatGPT, ואילו GPTBot קשור לסריקת תוכן שעשוי לשמש באימון מודלי יסוד. אפשר לאפשר את הראשון ולחסום את השני. ChatGPT-User קשור לפעולה שביקש משתמש, ו־OpenAI מציינת שכללי robots.txt עשויים שלא לחול על בקשות כאלה באותו אופן. OAI-AdsBot נועד לבדוק דפי יעד של מודעות, ואינו מיועד לאימון מודלי היסוד.
Perplexity מתעדת בנפרד את PerplexityBot להצגת קישורים בתוצאות שלה ואת Perplexity-User לבקשות שמופעלות בעקבות משתמש. גם שם אין להסיק מתנועת סורק אחד על פעולת השני. עבור Google, הנחיות AI Overviews מבהירות ש־Googlebot והכשירות לחיפוש Google הם הבסיס להופעת קישור תומך בתכונות AI של החיפוש. Google-Extended הוא בקרת שימוש נפרדת למוצרי Gemini מסוימים ואינו אות דירוג לחיפוש Google.
| מטרה | דוגמת סורק או בקרה | מה בודקים |
|---|---|---|
| הופעה בחיפוש ChatGPT | OAI-SearchBot | גישה לעמודים הציבוריים הרצויים |
| אימון מודלי OpenAI | GPTBot | החלטת מדיניות עצמאית של בעל האתר |
| בדיקת דף מודעה ב־ChatGPT | OAI-AdsBot | גישה לכתובת היעד שהוגשה |
| חיפוש Perplexity | PerplexityBot | כללי גישה ותגובות שרת לדפי תוכן |
| תכונות AI בחיפוש Google | Googlebot | כשירות סריקה ואינדוקס לחיפוש |
הטבלה היא מפת אבחון, לא רשימת בוטים שיש לאפשר לכולם. שמות, טווחי IP והנחיות עשויים להשתנות; לפני שינוי מדיניות בדקו את התיעוד הרשמי העדכני של כל שירות.
מה robots.txt יכול ללמד
קובץ robots.txt נמצא בדרך כלל בשורש האתר ומצהיר אילו נתיבים מותר לסורק אוטומטי לבקש. בדקו את הכתובת המדויקת של האתר, כולל שם המארח והפרוטוקול שבהם העמוד מוגש. לאחר מכן קראו את הקבוצות הרלוונטיות ל־user-agent הרצוי ואת כללי Allow ו־Disallow החלים על הנתיב. בדקו גם אם הקובץ עצמו זמין ואינו מוחזר עם שגיאה או גרסה ישנה במטמון.
הכרעה אינה תמיד ״Allow: /״ או ״Disallow: /״. אפשר שהעמודים הציבוריים פתוחים, אך ספריית תמונות או נתיב חשוב אחר חסומים. אפשר גם שההגדרה הכללית שונה מההגדרה הספציפית לסורק. אם אין לכם ודאות כיצד הסורק מפרש את הכללים, השתמשו בתיעוד הרשמי או בכלי בדיקה אמין ואל תשנו את הקובץ על בסיס קריאה שטחית בלבד.
חשוב להבין ש־robots.txt אינו מנגנון אבטחה. הוא מגדיר העדפת סריקה עבור סורקים שמכבדים את הכללים, ואינו מונע בהכרח גישה ישירה של אדם או תוכנה אחרת לכתובת. אם תוכן חייב להיות פרטי, נדרשת בקרת גישה אמיתית. גם noindex הוא עניין אחר: הוא יכול להשפיע על אינדוקס, אך סורק צריך בדרך כלל להצליח לקרוא את העמוד כדי לראות הוראת noindex. אל תערבבו חסימת סריקה, אי־אינדוקס והגנת מידע.
מקרה Google AI Overviews
Google מסבירה שעמוד צריך להיות מאונדקס וכשיר להצגה בחיפוש עם קטע תצוגה כדי להיות זכאי להופיע כקישור תומך ב־AI Overviews או AI Mode. חסימת Googlebot ב־robots.txt עלולה למנוע את הסריקה הנדרשת לחיפוש. לעומת זאת, Google-Extended עוסק בבקרות שימוש אחרות ואינו קובע את הכללת האתר בחיפוש Google. אל תבטיחו הופעה בתשובת AI רק משום שהסורק יכול לגשת לעמוד.
בדיקת תגובת העמוד והמשאבים
לאחר קריאת הכללים, בדקו את העמוד הציבורי עצמו: האם הוא מחזיר 200, מפנה לכתובת תקינה, דורש התחברות, מציג שגיאה או דף אתגר? עקבו אחרי שרשרת הפניות עד היעד. דף בית פתוח אינו מוכיח שעמוד השירות או המאמר המסוים פתוחים. בדקו גם אם התוכן המרכזי מופיע ב־HTML הזמין לסריקה, ולא רק לאחר פעולה שמצריכה משתמש מחובר.
בדיקה עם דפדפן רגיל אינה שקולה לבקשת סורק. מנגד, שליחת בקשה ידנית עם user-agent דומה אינה מוכיחה שאתם הסורק המקורי; חלק מן המערכות בודקות גם כתובת IP, מוניטין או התנהגות. השתמשו בבקשת בדיקה כדי לזהות חסימה אפשרית, וביומנים כדי לאמת את הבקשות האמיתיות. אם מתקבלת 403, 429 או אתגר JavaScript, תעדו מתי, באיזה נתיב ומאיזו שכבה הגיעה התגובה לפני שינוי כלל כלשהו.
תמונות, קובצי סגנון וסקריפטים עשויים להיות חשובים להבנת העמוד או להצגת נכסי מודעה. לכן בדקו אם משאבים חיוניים חסומים בנפרד מדף ה־HTML. אין צורך לפתוח תיקיות ניהול, גיבויים או קבצים רגישים כדי לאפשר סריקה של עמוד ציבורי. ההחלטה צריכה להיות מצומצמת לנתיבים ולמטרות הנדרשות.
חומת אש, CDN ואימות זהות
גם אם robots.txt מאפשר גישה, חומת אש או מערכת הגנת בוטים יכולה לחסום את הבקשה. חפשו ביומני ה־CDN, ה־WAF והשרת את נתיב העמוד, סטטוס התגובה, כלל האבטחה שהופעל ושעת הבקשה. לעיתים מערכת אבטחה מזהה תעבורה אוטומטית כחשודה ומחזירה 403 או דורשת CAPTCHA. לעיתים ההפניה מגיעה לשרת אך התוסף באתר חוסם אותה. יש לתקן את השכבה שחסמה בפועל.
אל תסתפקו בשם ה־user-agent כדי להחליט שמדובר בבוט אמיתי. שמות כאלה ניתנים לזיוף. תיעוד OpenAI ו־Perplexity מפרסם טווחי IP לשימוש בבדיקות; Google מפרסמת שיטות לאימות סורקים. צוות התשתיות יכול להשוות את הבקשות לטווחים העדכניים ולכללים הקיימים. אם יש חריגה, צרו חריג ממוקד ומוגבל רק לאחר אימות, תוך שמירה על הגנות מפני תעבורה זדונית.
תרשים נקודות החסימה במאמר מציג שלוש תחנות אפשריות: כללי robots, הגנת תעבורה והשרת. סימון אדום ליד תחנה פירושו ״כאן עלולה להיות תקלה לבדיקה״, לא שכל שלוש התחנות חסומות באתר מסוים. בודקים כל שכבה בנפרד ומצליבים בין התוצאות, במקום לנחש לפי תצוגה אחת של כלי חיצוני.
תהליך אבחון מדורג
- הגדירו עמוד, שירות וסוג שימוש רצוי: חיפוש, פעולה של משתמש או בדיקת מודעה.
- בדקו בתיעוד הרשמי מהו הסורק או בקרת הגישה הרלוונטיים. רשמו תאריך בדיקה וקישור לתיעוד.
- קראו את robots.txt בכתובת הציבורית ואת הכללים החלים על הנתיב. אל תערכו עדיין.
- בדקו את תגובת העמוד למבקר לא מחובר ואת שרשרת ההפניות. רשמו סטטוס ותוכן שהתקבלו.
- בדקו יומני CDN, WAF ושרת לבקשות אמיתיות של הסורק, כולל אימות זהות כאשר נדרש.
- אם נמצאה חסימה, העריכו האם היא מכוונת. תקנו רק את הכלל הנקודתי לאחר גיבוי ותיאום עם בעל האתר.
- בדקו שוב את אותו נתיב ותעדו תוצאה. לאחר מכן עקבו אם השירות אכן סורק בהמשך, בלי להבטיח הצגה בתוצאות.
רשימת הצעדים הזאת אינה מחייבת לפתוח כל בוט. היא גם אינה מחליפה שיקול אבטחה, פרטיות או זכויות שימוש בתוכן. אתר יכול לבחור לאפשר חיפוש ולהגביל אימון, או לבחור מדיניות אחרת. החשוב הוא שההחלטה תהיה מודעת ושהיא תיושם בשכבה הנכונה.
טעויות והחלטות מדיניות
טעות ראשונה היא לראות 403 בבדיקה ידנית ולהצהיר ש״ChatGPT חסום״. ייתכן שהבדיקה עצמה נחסמה כי אינה מגיעה מטווח IP רשמי, בעוד שסורק אמיתי מקבל גישה. האפשרות ההפוכה קיימת גם היא: הבדיקה המקומית מצליחה, אך ה־CDN חוסם את הבקשה האמיתית ממדינה או מרשת אחרת. לכן מחפשים ראיה ביומנים.
טעות שנייה היא לשנות robots.txt כדי לתקן חסימה שנוצרת ב־WAF. הכלל ברובוטס עשוי להיות תקין, והשינוי לא יעזור. טעות שלישית היא לאפשר את GPTBot בהנחה שזה מה שדרוש לחיפוש ChatGPT. בתיעוד OpenAI מטרתו שונה מזו של OAI-SearchBot. טעות רביעית היא לפתוח את כל מערכות ההגנה מפני בוטים רק מפני שרוצים לבדוק עמוד פרסום אחד.
גם כאשר הכול פתוח, אין הבטחה שעמוד ייסרק בזמן מסוים, יאונדקס או יצוטט בתשובה. נגישות היא תנאי טכני רלוונטי, לא אסטרטגיית תוכן שלמה. אם התוכן חלש, ישן או לא מתאים לשאלת משתמש, תיקון חומת האש לבדו לא יפתור זאת. בדיקה של הנראות בפועל בתשובות AI משלימה את האבחון הטכני.
דוגמה להמחשה
דוגמה להמחשה בלבד, לא ממצא באתר מסוים: אתר ייעוץ מגיש מודעה עם קישור לעמוד שירות. בדפדפן רגיל הדף נפתח, אך מערכת הפרסום מסמנת קושי בבדיקת היעד. בעל האתר בודק את robots.txt ורואה שאין חסימה לנתיב. ביומן ה־CDN מופיעה בקשה מאומתת של OAI-AdsBot שנענתה באתגר, בעוד שביקורי אדם קיבלו 200. במקרה כזה הדיון צריך להיות עם צוות האבטחה על כלל האתגר לנתיב המדויק, לא על פתיחה גורפת של GPTBot או שינוי של canonical.
בדוגמה אחרת, האתר רוצה שהמאמרים הציבוריים יופיעו בחיפוש ChatGPT, אך robots.txt אוסר את הנתיב עבור OAI-SearchBot. כאן ייתכן שהכלל עצמו חוסם מטרה רצויה. לפני הסרתו בודקים מי הגדיר אותו ולמה, האם קיימת מדיניות תוכן, ומה יישאר חסום לאחר שינוי ממוקד. לאחר השינוי מתעדים את הגרסה החדשה ואת תוצאת הגישה. אין הבטחה שהמאמר יופיע בתשובה מיד.
שאלות ותשובות
האם צריך לאפשר את כל סורקי AI כדי להופיע בחיפוש?
לא. קודם מזהים את השירות ואת הסורק שמשמש למטרה הרצויה. סורקי חיפוש, אימון ובדיקת מודעות שונים זה מזה. פתיחה גורפת עלולה לסתור מדיניות תוכן או אבטחה בלי לפתור בעיה אמיתית.
מה ההבדל בין OAI-SearchBot ל־GPTBot?
לפי OpenAI, הראשון קשור להצגת אתרים בחיפוש ChatGPT, ואילו השני סורק תוכן שעשוי לשמש לאימון מודלי יסוד. אפשר לקבוע כללים נפרדים לכל אחד מהם ב־robots.txt.
האם חסימת Google-Extended מונעת הופעה ב־AI Overviews?
Google מתעדת ש־Google-Extended אינה קובעת הכללה בחיפוש Google ואינה אות דירוג לחיפוש. עבור AI Overviews שבחיפוש, Googlebot, אינדוקס וכשירות להצגת קטע תצוגה הם הרלוונטיים.
האם בדיקה ידנית עם שם סורק מוכיחה שהסורק עובד?
לא. אפשר לשנות user-agent בבקשה ידנית, ובחלק מהאתרים קיימות בדיקות IP, מדינה או התנהגות. השתמשו בתוצאה כסימן אבחון, והצליבו אותה עם בקשות סורק מאומתות ביומנים.
מה עושים אם robots.txt מאפשר אבל עדיין מופיע 403?
בודקים את חומת האש, ה־CDN, הגנת הבוטים, שכבת ההתחברות והשרת. תעדו את נתיב הבקשה, השעה, כלל החסימה ותגובת המערכת. תקנו את המקור שנמצא, לא את הקובץ הראשון שנראה לעין.
האם ChatGPT-User ו־Perplexity-User מצייתים תמיד ל־robots.txt?
התיעוד של השירותים מסביר שבקשות שמופעלות בעקבות משתמש עשויות להתנהג אחרת מסריקה אוטומטית. לכן אין להשתמש ב־robots.txt לבדו כבקרת פרטיות עבור תוכן שאסור לחשוף. השתמשו בהרשאות אמיתיות כאשר התוכן פרטי.
האם גישה תקינה מבטיחה הופעה או ציטוט?
לא. גישה מאפשרת בדיקה וסריקה בתנאים המתאימים, אך השירותים מחליטים מה לסרוק, לאנדקס או להציג. בדקו גם איכות תוכן, התאמה לשאלת המשתמש ומקורות מידע, והימנעו מהבטחות ודאיות.
סיכום והצעד הבא
בחרו נתיב ציבורי אחד, סוג סורק אחד ומטרה אחת. אספו ראיות מ־robots.txt, מתגובת הדף ומיומני התשתית. רק כאשר ברור מה חסום ולמה, החליטו אם לשנות כלל נקודתי. אם תרצו לשלב את הבדיקה הטכנית עם שיפור תוכן ומקורות לחיפוש ChatGPT, עמוד השירות קידום ב־ChatGPT מציג את מסגרת העבודה הרחבה יותר.
