حتما برای شما این سوال پیش آمده که robot.txt چیست ؟ امروزه صاحبان وب سایت ها با استفاده از فایل robots.txt قادر خواهند بود تا سطح دسترسی ربات ها به سایت خود را مشخص و یا حتی در صورت وجود موارد حساس ، قادر خواهند بود از دسترسی ربات ها به آن صفحه جلوگیری کنند .در واقع وظیفه فایل robots.txt ، محدود کردن دسترسی google robot و سایر موتورهای جستجو ، به محتوای وب سایت شما خواهد بود .
این روبات ها بصورت کاملا خودکار عمل می کنند و قبل از ورود به هر وب سایت ، از وجود فایل robots.txt بر روی آن اطمینان حاصل می کنند . تمامی روبات های استاندارد در اینترنت ، طبق این قوانین ، از صفحات وب سایت شما بازدید می کنند .
معمولا روبات های اسپم توجهی به robots.txt نخواهند داشت . پس اگر تمایل به حفظ امنیت محتوای خاص و یا پنهان کردن آن از دید روبات های اینترنتی دارید ، بهتر است از رمزگذاری صفحات ، استفاده کنید .
همانطور که در عکس بالا مشاهده می فرمایید ، در وب سایت هایی که از فایل robot.txt استفاده نشود ، روبات های جستجو که به spider ، robot و یا crawler معروف هستند ، همه ی صفحات را ایندکس می کنند .
این در حالیست که می شود این ایندکس شدن ها را بر روی پوشه های مختلف ، کاملا کنترل کرد . همچنین از این فایل برای جلوگیری از ایندکس شدن تکراری صفحات ، با url های مختلف استفاده کرد .
چگونه می توان فایل robots.txt ایجاد کرد ؟
نحوه ی قرار گرفتن این فایل در هاست ویدوز در پوشه ی wwwroot ، هاست لینوکس در public_html و در سرور مجازی نیز در دایرکتوری روت می باشد . در واقع فایل در پوشه ی روت سایتتان قرار خواهد گرفت .
برای رسیدن به این مهم شما می توانید هم بصورت دستی و هم با استفاده از برنامه های ROBOTS.TXT GENERATOR اقدام کنید .
