فایل robot.txt چیست و چرا باید از آن استفاده کرد ؟

          امیر 
            بازدید : 450
          جمعه 27 بهمن 1391
           نظرات (0)
        

موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته .
صفحات موجود در سایتهای مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه . برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید :

ادامه در ادامه مطلب...

درباره آموزش های تصویری , آموزش های سئو و بهینه سازی ,

ادامه مطلب ...

عنوان	پاسخ	بازدید	توسط
درخواست معرفی هاست	1	676	yegane271
نظر شما	5	1087	tanhatarin
حرفه ای ها بیان تو	2	932	tanhatarin
سئو و بهینه سازی رایگان قالب های رزبلاگ برای کاربران قالب وبلاگ	3	1158	tanhatarin
اخبار انجمن قالب وبلاگ	3	946	tanhatarin
قوانین جدید انجمن قالب وبلاگ	18	2079	tanhatarin
قالب فارسی karma برای وردپرس	1	897	sun2rise
درخواست طراحی قالب به صورت اختصاصی ( رایگان ) + جایزه	7	2052	sun2rise