למה בכלל מכינים אתר למנועי AI
קונה שמחפש חברת פיתוח שואל היום גם את ChatGPT, Gemini, Perplexity, Copilot ו-Claude. מנוע שלא רואה אותנו לא ימליץ עלינו, ולכן קבענו כמטרה מוצהרת שהאתר יהיה קל לקריאה ולציטוט. חשוב להיות ישירים לגבי מה שעדיין לא ידוע: איננו מציגים כאן תוצאות. הבדיקה החודשית הראשונה שלנו, שבודקת אם המנועים מזכירים אותנו, מתוכננת לתחילת דצמבר 2026. מה שנכתב כאן הוא מה שעשינו ולמה, ולא הבטחה לתוצאה.
1/7 פרקים מאחוריכם · נותרו כ-6 דק'
צעד 1: תשובה ישירה בראש כל עמוד
מנוע גנרטיבי מצטט משפט שעומד בפני עצמו. לכן כל מאמר אצלנו נפתח בתשובה קצרה לשאלה שהכותרת שואלת, בשתיים או שלוש שורות. ברוב עמודי הפתרונות, הענפים והשימושים יש גם שאלות ותשובות מסודרות, והתשובות נכתבות כעובדות שלמות ולא כרמזים שדורשים לקרוא את שאר העמוד. מי שקורא את המאמר הזה רואה את התבנית: הפסקה הראשונה למעלה היא התשובה.
2/7 פרקים מאחוריכם · נותרו כ-5 דק'
צעד 2: סימון מבני, וגרף אחד לכל האתר
סימון מבני (schema.org) הוא תיאור במבנה קבוע של מה העמוד הוא. אצלנו הארגון, האתר והמייסדים מוגדרים פעם אחת בכל עמוד, וכל ישות ראשית, כמו פתרון, פרויקט, מאמר או מונח במילון, מצביעה עליהם. כך מנוע שקורא עמוד אחד מקבל את התמונה המלאה: מי כתב, מי מפרסם ועל מה העמוד. כל אינדקס מסומן כאוסף עם רשימת הפריטים שלו, ועמודי "מי אנחנו" ו"בואו נדבר" מסומנים כסוגם. כל מאמר חתום בשם המחבר שלו, שמסומן כאדם ולא כשם כללי, כי מקור עם שם הוא מקור שאפשר לייחס אליו.
יש כאן גם כלל של איפוק. Google כותבת שאם ארגון שולט בביקורות על עצמו, עמודיו לא זכאים לכוכבי הביקורת בתוצאות. לכן ההמלצות על אוברסייט באתר שלנו מוצגות כתוכן גלוי ולא מסומנות כביקורות. סימון שמתאר משהו שאינו כפי שנראה בעמוד מזיק יותר ממה שהוא מועיל.
3/7 פרקים מאחוריכם · נותרו כ-5 דק'
צעד 3: כל התוכן ב-HTML של השרת
לפי ניתוח של Vercel מדצמבר 2024, הסורקים של OpenAI ו-Anthropic אינם מריצים JavaScript. תוכן שמופיע רק אחרי שהדפדפן מריץ קוד, למשל רשימה שנטענת בהדרגה או אקורדיון שנפתח בלחיצה, עלול להיות בלתי נראה להם. אצלנו רשימות מרונדרות במלואן בשרת. אחרי הטעינה הן נחתכות למנה קטנה למשתמש, אבל מי שקורא את ה-HTML רואה הכול: למשל, עמוד ההמלצות החזיר קודם בשרת רק את 12 הראשונות, והיום מחזיר את כולן. זו בדיקה שכל עסק יכול לעשות: לפתוח "הצג מקור" ולחפש בו את הטקסט החשוב.
4/7 פרקים מאחוריכם · נותרו כ-4 דק'
צעד 4: Markdown ו-llms.txt לסוכנים
כל עמוד פתרון, ענף, פרויקט, מיזם, שימוש, מאמר ומונח נגיש גם בגרסת Markdown נקייה, בכתובת עם הסיומת .md, או באותה כתובת כשהבקשה מציינת Accept: text/markdown. התוכן זהה לתוכן שבעמוד, מאותו מקור, בלי עיצוב. זה מכוון: גרסה מיוחדת לבוטים שונה מהעמוד לגולש היא הסוואת תוכן, ואנחנו לא עושים אותה. עמודי ה-Markdown מסומנים noindex, כדי שלא יתחרו בעמוד עצמו.
הקובץ llms.txt הוא הצעה של Jeremy Howard מ-3 בספטמבר 2024: קובץ Markdown בשורש האתר שמוביל סוכנים אל התוכן החשוב, בכותרת, תקציר ורשימות קישורים. חשוב לדעת שזה אינו תקן, ושלפי Google אין בו צורך כדי להופיע בחיפוש שלה. בחרנו בו כי העלות נמוכה: הקובץ נגזר אוטומטית ממפת האתר, כך שהוא תמיד מעודכן, ופריט מוסתר או בארכיון לא מופיע בו.
5/7 פרקים מאחוריכם · נותרו כ-4 דק'
צעד 5: מדיניות סורקים מפורשת
קובץ robots.txt קובע מי נכנס. החלטנו לאפשר לכולם, כי מטרת האתר היא להיות מצוטט. שמות הסורקים נבדקו מול התיעוד של כל ספק, ושמות אלה נרשמים במפורש. OpenAI מפרידה בין OAI-SearchBot, שמזין את החיפוש ב-ChatGPT, לבין GPTBot, שאוסף תוכן שעשוי לשמש לאימון, ולבין ChatGPT-User, שפועל בהוראת משתמש ושלפי OpenAI כללי robots לא בהכרח חלים עליו. גם Anthropic מפרידה בין ClaudeBot (אימון), Claude-SearchBot (אינדוקס לחיפוש) ו-Claude-User (אחזור לבקשת משתמש).
בנוסף הוספנו הצהרת Content-Signal, מנגנון ש-Cloudflare פרסמה בספטמבר 2025. שלושה ערכים, כל אחד כן או לא: search (אינדקס חיפוש), ai-input (הזנת תוכן למודל לצורך תשובה) ו-ai-train (אימון). אצלנו כולם "כן". זו הצהרת העדפה ולא חסימה טכנית, ו-Cloudflare עצמה כותבת שיש מי שיתעלם ממנה. ועוד נקודה שמפתיעה עסקים: ספקי אחסון ו-CDN, בהם Cloudflare, יכולים לחסום סורקי AI או להוסיף robots.txt משלהם. לכן בודקים את זה בלוח הבקרה, ולא רק בקובץ.
לבסוף, הכנו את האתר לפרוטוקול IndexNow, שמאפשר להודיע למנועי חיפוש שתומכים בו על עמודים חדשים או שהשתנו, בלי לחכות לסריקה הבאה. טפסי הפנייה שלנו גם מצהירים על עצמם לסוכנים בניסוי של Chrome, כך שסוכן יכול למלא אותם, וגולש אנושי הוא שמאשר ושולח. זה ניסוי ולא מרכיב מרכזי, והוא אינו משנה דבר עבור הגולש.
6/7 פרקים מאחוריכם · נותרו כ-2 דק'
מה כל עסק יכול לאמץ, לפי סדר עדיפות
רשימה לבעל אתר
0 מתוך 7 סומנו
הסימון נשמר בדפדפן שלכם בלבד, ואפשר לחזור ולהמשיך מאותה נקודה.
שני הצעדים הראשונים נותנים את רוב הערך, ואינם דורשים בנייה מחדש. התוצאה גם לא נעצרת במנועי AI: עמוד עם תשובה ברורה, מבנה נקי ותוכן שנטען במלואו משרת גם את Google הרגילה, את שיתוף העמוד ב-WhatsApp ואת מי שקורא אותו בקורא מסך. Markdown ו-llms.txt הם תוספת למי שיש לו תשתית שמאפשרת לגזור אותם אוטומטית, ולא כדאי לכתוב אותם ביד. ואם יש לכם אתר שנבנה בכלי שמרנדר הכול בצד הלקוח, שווה לבדוק את זה לפני כל השקעה אחרת: זה החסם הנפוץ ביותר.
האם קובץ llms.txt משפר דירוג בגוגל או ב-ChatGPT?
אין אישור שמנועי החיפוש הגדולים משתמשים בו. Google כותבת במפורש שאין צורך בקבצי טקסט ייעודיים ל-AI כדי להופיע ב-AI Overviews וב-AI Mode. הקובץ מיועד בעיקר לסוכנים וכלים שקוראים אתרים בזמן אמת, והוא שווה אם אפשר לייצר אותו אוטומטית.
האם כדאי לחסום סורקי AI?
זו החלטה עסקית. עסק שרוצה שיצטטו אותו וימליץ עליו צריך לאפשר את סורקי החיפוש והציטוט. מי שמעוניין למנוע שימוש בתוכן לאימון יכול לחסום בנפרד את סורקי האימון, כמו GPTBot ו-ClaudeBot, כי הספקים מפרידים ביניהם.
כמה זמן לוקח עד שמנועי AI מתחילים להזכיר אתר?
אין מספר אמין. אנחנו עצמנו עדיין במדידת בסיס. מה שכן ניתן לבדוק הוא כל מה שבשליטתכם: שהעמודים נסרקים, שהתוכן נראה ב-HTML ושהתשובות ישירות. את ההשפעה מודדים אחר כך, בבדיקה קבועה ולא בתחושה.
האם צריך לבנות אתר חדש כדי להיערך למנועי AI?
לא בהכרח. רוב הצעדים הם בדיקות והתאמות לאתר קיים: להוסיף תשובות ישירות בראש עמודים חשובים, לוודא שהתוכן נראה ב-HTML, לתקן את ה-robots ולהוסיף סימון מבני שמתאים לעמוד. אתר שמרנדר את כל התוכן רק בצד הלקוח הוא החריג שבו נדרשת עבודה גדולה יותר.





