robots.txt

فایل robots.txt با کمک وبمسترها، به عنوان راهنمای روبات‌های وب عمل می‌کند. استفاده بدون آگاهی کافی از Robots.txt می‌تواند برای وب سایت شما فاجعه به بار بیاورد. در حقیقت، اگر آن را به اشتباه در بخش مهمی از سایت خود ایجاد کنید، ربات‌های موتور جستجو آن صفحه را نخواهند دید. بنابراین، دانستن ارزش، هدف و استفاده صحیح از یک فایل Robots.txt برای سئو ضروری است.