از robots استفاده ی موثر کنید

خانه / آموزشی / از robots استفاده ی موثر کنید

از robots استفاده ی موثر کنید

von طراحی سایت منسیکس Facebook Google+
در آموزشی

robots

robots ، از خزیدن جایی که با robots.txt نیازی نیست خودداری کنید.
یک فایل “robots.txt” به موتورهای جست و جو می گوید که آیا آن ها می توانند دستیابی داشته باشند. و بنابراین در میان قسمت های طراحی سایت شما بخزند. (1) این فایل که باید “robots.txt” نام گذاری شود، در فهرست اصلی سایت شما جاگذاری می شود (2).

ممکن است شما نخواهید قسمت مشخصی از سایتتان خزیده شود. به این خاطر که ممکن است آن قسمت ها برای کاربران زمانی که در نتایج جست و جویشان می بینند مفید نباشند.

اگر واقعا می خواهید از این که موتورهای جست و جو در صفحات شما بخزند جلوگیری کنید. ابزار سازندگان طراحی سایت در کرج گوگل یک robots.txt generator خوشایند دارد. که به شما کمک می کند تا این فایل ها را ایجاد کنید.

توجه کنید اگر سایت شما از زیر دامنه ها استفاده می کند و شما می خواهید که صفحات شخصی خزیده نشده روی یک زیر دامنه ی خاص داشته باشید.

شما مجبور خواهید شد یک فایل “robots.txt” جداگانه برای آن زیر دامنه ایجاد کنید. برای اطلاعات بیش تر از robots.txt، ما این راهنمای مرکز کمک سازندگان وب طراحی سایت در کرج را پیشنهاد می کنیم using robots.txt files.

راه های کم دیگری هم وجود دارند تا از ظاهر شدن متن در نتایج جست و جو جلوگیری کنید. مثل اضافه کردن  “NOINDEX” به robots meta tag تان، استفاده از .htaccess برای پسورد فهرست های حفاظت، و ز ابزار سازندگان وب گوگل تا متنی که در حال حاضر خزیده شده را از بین ببرید.

از متدهای مطمئن تری برای متن های حساس استفاده کنید

شما نباید حس خوبی (راحتی) از استفاده از robos.txt برای مسدود کردن موضوعات سری یا حساس داشته باشید. یکی از دلایلش این است که موتورهای جست و جو هنوز می توانند URLهایی که شما مسدود کردید را ارجاع بدهند.

(نشان دادن تنها URL، نه عنوان و نه تکه ی توضیحی) اگر آنجا لینک شود. به آن URLها، جایی در اینترنت (like referrer  logs). همچنین موتورهای جست و جویی که ب صورت سرکش استفاده نمی کنند.

(مخرب) و Robots Exclution Standard را تأیید نمی کنند. می توانند از دستورالعمل های robots.txt شما سرپیچی کنند. در آخر، یک کاربر کنجکاو می تواند فهرست ها و زیر فهرست ها را در فایل robots.txt شما کشف کند.

و URL متنی که شما نمی خواهید دیده شود را حدس بزند. رمزگذاری یا حفاظت پسوردی متن با .htaccess انتخاب های مطمئن تری هستند.
اجتناب ها:
• اجازه دادن ؟
– کاربران ترک کردن یک صفحه ی نتیجه ی جست و جو و آمدن روی صفحه ی نتیجه ی دیگر که مقدار قابل توجهی برای آن ها استفاده نمی کند را دوست ندارند.
• اجازه دادن این که URLها به عنوان نتایج طراحی سایت کرج هایی که رمز عبور نیاز دارند تا بتوان داخلشان خزید، ایجاد شوند.

لطفا به این نوشته امتیاز دهید
[کل: 2 میانگین: 5]