ساخت Robots.txt

با ابزار بصری، قوانین User-agent، Allow/Disallow، Crawl-delay و آدرس Sitemap را تنظیم کنید و فایل robots.txt بسازید.

ابزار ساخت Robots.txt به‌صورت بصری فایل کنترل خزش سایت را می‌سازد. تعیین کنید ربات‌ها به کجا دسترسی داشته باشند و به کجا نه.

با ابزار بصری، قوانین User-agent، مسیرهای Allow و Disallow، مقدار Crawl-delay و آدرس Sitemap را تنظیم کنید تا فایل robots.txt استاندارد ساخته شود.

این فایل به موتورهای جستجو می‌گوید کدام بخش‌های سایت خزیده شوند و کدام بخش‌ها (مثل صفحه‌های مدیریت) نادیده گرفته شوند.

مدیران سایت از این ابزار برای مدیریت بودجه‌ی خزش و جلوگیری از ایندکس بخش‌های غیرضروری استفاده می‌کنند. پس از ساخت، با تست robots.txt صحت آن را بررسی کنید و ساخت Sitemap را هم ببینید.

سوالات متداول

فایل robots.txt کجا باید قرار بگیرد؟

این فایل باید در ریشه‌ی دامنه و با آدرس نمونه‌ی yoursite.com/robots.txt در دسترس باشد تا ربات‌ها آن را بخوانند.

آیا Disallow باعث حذف صفحه از گوگل می‌شود؟

خیر، Disallow فقط جلوی خزش را می‌گیرد؛ برای حذف قطعی از نتایج باید از تگ noindex استفاده کنید.

Crawl-delay چه کاری می‌کند؟

Crawl-delay فاصله‌ی زمانی بین درخواست‌های ربات را تعیین می‌کند تا فشار خزش روی سرور کاهش یابد.

ابزارهای مرتبط

ساخت اسلاگ فارسیتبدیل متن فارسی به اسلاگ استاندارد URL — حفظ فارسی، فینگلیش، و فینگلیش هوشمند (AI). دو حالت اول کاملاً در مرورگر شما اجرا می‌شود.
استخراج تایتل و متاتایتل، متا دیسکریپشن، تگ‌های Open Graph و canonical هر صفحه را با طول کاراکترها استخراج کنید.
ردیابی مسیر ریدایرکتزنجیره‌ی کامل ریدایرکت‌های یک آدرس را قدم‌به‌قدم ببینید — کد وضعیت هر پرش، مقصد نهایی و تعداد پرش‌ها.
استخراج anchor text لینک‌های خارجیهمه‌ی لینک‌های خارجی یک صفحه را با متن anchor، rel و وضعیت nofollow/dofollow استخراج کنید.
بررسی گروهی وضعیت URLکد وضعیت، زمان پاسخ و مقصد نهایی تا ۵۰ آدرس را هم‌زمان بررسی کنید.
استخراج Schema (داده‌ی ساخت‌یافته)همه‌ی داده‌های ساخت‌یافته‌ی JSON-LD و microdata یک صفحه را استخراج و به‌صورت JSON نمایش دهید.