فایل Robots.txt چیست؟

به زبان ساده، فایل robots.txt برای جلوگیری از فهرست‌بندی نواحی انتخابی یک وب سایت، توسط خزنده‌های موتور جستجو، استفاده می‌شود. در واقع این فایل ربات‌های موتور جستجو را از صفحاتی که نمی‌خواهید در آنها خزیده شود، هدایت می‌کند. به عنوان مثال، اگر یک تریدر نخواهد ویدیوهای خاصی در وب سایتش، توسط گوگل یا سایر موتورهای جستجو فهرست شود، می‌تواد به راحتی با استفاده از یک فایل آنها را مسدود کند.

مزایای فایل robots.txt

Robots.txt به مدیران سایت در راهنمایی موتورهای جستجو برای بازدید از صفحات یا فهرستی خاص، کمک می‌کند. این فایل‌ها این آزادی را دارند که به ربات‌های خاصی اجازه دهند در صفحات منتخب یک سایت بخزند. Robots.txt شامل URL نقشه سایت است که به موتورهای جستجو راهنمایی می‌کند تا مکان‌ها را در نقشه سایت شما، به راحتی پیدا کنند.

همچنین به شما کمک خواهد کرد تا از موتورهای جستجو در موارد زیر جلوگیری کند:

• عدم فهرست بندی مناطق خاصی یا کل یک وب سایت
• عدم فهرست بندی پرونده‌های خاصی (مانند تصاویر، فیلم و PDF)
• جلوگیری از نمایش صفحات با محتوای تکراری در SERP
• عدم فهرست بندی کل بخش‌های یک سایت خصوصی ( به عنوان مثال staging site یا سامانه‌های کارمندی)

اگر شما robots.txt داشته باشید برای موتورهای جستجو پیدا کردن جدیدترین محتواهای سایت‌تان آسان می‌شود و دیگر نیازی به این نخواهند داشت که تمام صفحات سایت شما را بخزند. اگر سایت شما عملکرد خوبی نداشته باشد و صفحات وب به درستی فهرست‌بندی نشوند، موقعیت‌تان در نتایج موتورهای جستجو به خطر می‌افتد. برای اجتناب از چنین مسائلی و اطمینان از عدم مسدود شدن هیچ یک از صفحات وب، از یک متخصص کمک بگیرید.

نکات مهم برای ایجاد فایل robots.txt

اگر وب سایت شما فایل robots.txt ندارد، در اسرع وقت یک فایل برای آن ایجاد کنید. و اگر می‌خواهید خودتان این کار را انجام دهید، مراحلی که در زیر به آن اشاره خواهیم کرد را طی کنید:

• یک فایل متنی با عنوان “robots.txt”  ایجاد و ذخیره کنید. از برنامه Notepad در ویندوز یا Textedit در مک استفاده کنید، قبل از ذخیره آن را به عنوان فایل text-delimited ذخیره نمایید.
• فایل ذخیره شده را باید در روت دایرکتوری سایت‌تان بارگذاری کنید. روت دایرکتوری یک پوشه سطح روت است که “htdocs” یا “www” نامگذاری شده است و مستقیما پس از نام دامنه شما نمایش داده می‌شود.
• اگر از ساب دامین استفاده می‌کنید باید برای هر زیر دامنه یک فایل robots.txt ایجاد کنید.
• توجه داشته باشید که txt به حروف بزرگ و کوچک حساس است و مطمئن شوید که نام فایل با حروف کوچک و به این صورت robots.txt نوشته شده باشد.
• این فایل به صورت عمومی در دسترس است. کافی است به انتهای هر دامنه‌ای /robots.txt را اضافه نمایید تا دستورالعمل‌های آن وب سایت را مشاهده نمایید. و این یعنی اینکه هر کسی می‌تواند ببیند شما چه صفحاتی را می‌خواهید یا نمی‌خواهید که خزیده شوند و در نتیجه از آن برای پنهان کردن اطلاعات خصوصی کاربران استفاده نکنید.
• بهتر است مکان نقشه سایت مرتبط با دامنه‌تان را در پایین فایل robots.txt نشان دهید.