فایل robot.txt چیست و چرا باید از آن استفاده کرد ؟

فایل robot.txt چیست و چرا باید از آن استفاده کرد ؟
 

موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته .
صفحات موجود در سایتهای مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه . برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید :

ادامه در ادامه مطلب...

1 User-agent: *

علامت * میگه که همه ی ربات های پیمایشگر ، این دستورات براشون اعمال بشه . مثلا اگه بخواید بگید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :

1 User-agent: googlebot

در اینجا میتونید لیست همه ی روبوت های موجود و معروف رو ببینید . اگر فایل فقط حاوی این خط باشه همچنان پیمایشگران محترم موتورهای جستجو بدون محدودیت به ایندکس کردن همه صفحات ادامه می دن . Disallow برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه . بزارید چندتا مثال بزنیم :

1 User-agent: googlebot 2 Disallow: /

1 User-agent: googlebot 2 Disallow: /
این دوخط فوق باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه:

1 User-agent: * 2 Disallow: /admin.php

در مثال فوق همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه admin.php رو نداشته باشند .

1 User-agent: * 2 Disallow: /cgi-bin/ 3 Disallow: /images/ 4 Disallow: /private.html

1 User-agent: * 2 Disallow: /cgi-bin/ 3 Disallow: /images/ 4 Disallow: /private.html
در این مثال هم همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند . البته میتونید برای روبوت های مختلف محدودیت های مختلف تعیین کنید.

1 User-agent: * 2 Disallow: /cgi-bin/ 3 Disallow: /admin/ 4 Disallow: /private.html 5 6 User-agent: googlebot 7 Disallow: /images/ 8 9 User-agent: BadBot 10 Disallow: /

1 User-agent: * 2 Disallow: /cgi-bin/ 3 Disallow: /admin/ 4 Disallow: /private.html 5 6 User-agent: googlebot 7 Disallow: /images/ 8 9 User-agent: BadBot 10 Disallow: /
Allow از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . مثال زیر رو ببینید :

1 User-agent: * 2 Disallow: /files/ 3 Allow: /files/public/

1 User-agent: * 2 Disallow: /files/ 3 Allow: /files/public/
در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره ! robot.txt برای سایت های وردپرسی ! در زیر یک فایل مناسب برای استفاده وب سایت هایی که با وردپرس ساخته شدند آوردم . می تونید ازش استفاده کنید . میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین ها و … اجازه دسترسی داده نشده.

1 User-agent: * 2 3 Disallow: /feed/ 4 Disallow: /trackback/ 5 Disallow: /wp-admin/ 6 Disallow: /wp-content/ 7 Disallow: /wp-includes/ 8 Disallow: /xmlrpc.php 9 Disallow: /wp- 10 Sitemap: http://www.loxabzar.ir/Sitemap.xml

1 User-agent: * 2 3 Disallow: /feed/ 4 Disallow: /trackback/ 5 Disallow: /wp-admin/ 6 Disallow: /wp-content/ 7 Disallow: /wp-includes/ 8 Disallow: /xmlrpc.php 9 Disallow: /wp- 10 Sitemap: http://www.7Learn.com/Sitemap.xml
همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . انشاءالله در آینده در مورد فایل sitemap و دلایل استفاده از اون هم صحبت خواهیم کرد . robot.txt برای سایت های پیاده سازی شده با جوملا !

1 User-agent: * 2 Disallow: /component

1 User-agent: * 2 Disallow: /component

در آخر هم بد نیست یه نگاهی به فایل robot.txt خود سایت گوگل بکنید !

http://www.google.com/robots.txt

در رزبلاگ هم سایت ها اینطوری هستند:

http://www.loxabzar.ir/robots.txt