קובץ בשורש האתר שמנחה סורקים אילו חלקים לא לסרוק.
הקובץ מנהל סריקה, לא הסתרה: עמוד שחסום בו עדיין יכול להופיע בתוצאות אם מקושרים אליו. להסתרה אמיתית משתמשים בהנחיה אחרת או בהרשאה.
זו גם אחת התקלות היקרות שיש: שורה אחת שנשארה מסביבת הפיתוח יכולה לחסום אתר שלם מהאינדקס.
בחנות עם 8,000 מוצרים החיפוש הפנימי מייצר אלפי כתובות שונות. ב-robots.txt חוסמים נתיב חיפוש ונתיב עגלה, והסורק מפסיק לבזבז זמן עליהם ועובר לעמודי המוצרים.
עמוד התודה שאחרי רכישה צריך להישאר מחוץ לתוצאות, אבל חסימה ב-robots.txt לא מספיקה: הסורק לא ייכנס, ולכן לא יראה הנחיית noindex. משאירים אותו פתוח לסריקה ומסמנים noindex.
הערך הבא במילון
מה שלא נענה כאן נשלח ב-WhatsApp לחבר צוות, עם שם המונח, וחוזר עם תשובה של מי שעובד עם זה כל יום.