تست robots.txt

robots.txt هر سایت را تجزیه کنید، sitemap های آن را ببینید و بررسی کنید آیا یک آدرس مشخص برای Googlebot مجاز است یا نه.

⚠️ اندازه‌گیری از سمت سرور ما انجام می‌شود، نه مرورگر شما.

ابزار تست robots.txt فایل کنترل خزش یک سایت را تجزیه می‌کند و می‌گوید یک آدرس برای گوگل مجاز است یا نه. برای عیب‌یابی خزش کاربردی است.

آدرس سایت و مسیر موردنظر را وارد کنید تا محتوای robots.txt تجزیه شود، سایت‌مپ‌های معرفی‌شده نمایش داده شوند و مشخص شود آیا آن آدرس برای Googlebot مجاز است.

این بررسی کمک می‌کند مطمئن شوید صفحه‌های مهم به‌اشتباه مسدود نشده‌اند و صفحه‌های غیرضروری از خزش کنار مانده‌اند.

کارشناسان سئو هنگام عیب‌یابی مشکلات ایندکس از این ابزار استفاده می‌کنند. برای ساخت یا اصلاح فایل از ساخت Robots.txt کمک بگیرید.

سوالات متداول

چرا صفحه‌ام ایندکس نمی‌شود؟

یکی از دلایل رایج، مسدودشدن آدرس در robots.txt است؛ این ابزار به شما می‌گوید آیا مسیر موردنظر برای گوگل مجاز است یا نه.

اگر robots.txt نداشته باشم چه می‌شود؟

در نبود این فایل، موتورهای جستجو معمولاً همه‌ی صفحات قابل‌دسترس را می‌خزند؛ داشتن فایل کنترل بیشتری به شما می‌دهد.

تفاوت مسدودکردن در robots و noindex چیست؟

robots.txt جلوی خزش را می‌گیرد اما noindex جلوی نمایش در نتایج را؛ برای حذف قطعی از گوگل باید از noindex استفاده کنید.