منشئ ملف Robots.txt

يخبر ملف robots.txt زواحف محركات البحث بالروابط التي يمكنهم الوصول إليها. تشمل الاستخدامات الشائعة:

الإعدادات

اسم وكيل المستخدم

استخدم * لجميع الروبوتات، أو حدد: Googlebot، Bingbot، إلخ.

المسارات غير المسموح بها (واحد في كل سطر)

المسارات التي لا يجب على الروبوتات الزحف إليها

المسارات المسموح بها (واحد في كل سطر)

المسارات التي يمكن للروبوتات الزحف إليها (تتجاوز عدم السماح)

تأخير الزحف (بالثواني)

التأخير بين الطلبات بالثواني (اختياري)

روابط خريطة الموقع (واحد في كل سطر)

الروابط الكاملة لملفات خريطة الموقع الخاصة بك