آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس
با سلام. در این مطلب آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس را برای دوستان عزیز سورس باران به اشتراک گذاشته ایم. فایل robots.txt در وردپرس، نقش مهمی در سئو و رتبه بندی موتور جستجو دارد. این فایل به شما کمک می کند که از ایندکس کردن و خزیدن رباتهای موتور جستجو در بخش هایی از سایت خود جلوگیری کنید . هر چند، گاهی اوقات ممکن است پیکربندی اشتباه فایل robots.txt سایت شما را کاملا از دسترس موتورهای جستجو خارج کند . بنابراین، این مهم است که پس از انجام تغییرات ، فایل robots.txt به خوبی بهینه سازی شود و دسترسی به بخش مهم سایت شما را مسدود نکند. فایل robots.txt کمک می کند تا ربات موتور جستجو به صفحاتی که باید ایندکس کند هدایت شود. هنگامی که ربات یا اسپایدر موتور جستجو برای ایندکس صفحات به سایت شما وارد میشود ابتدا به دنبال فایل robots.txt میگردد و مسیر این فایل را برای ایندکس کردن صفحات وب سایت شما دنبال خواهد کرد . اگر از وردپرس استفاده میکنید ، فایل robots.txt را میتوانید در روت وردپرس خود بیابید . در وب سایت های استاتیک، اگر این فایل توسط شما یا برنامه نویس وب سایت تان ایجاد شده باشد، آن را در پوشه روت خود پیدا خواهید کرد. در غیر اینصورت میتوانید با استفاده از notepad به سادگی یک فایل ایجاد کرده و با نام robots.txt آن را ذخیره کنید . سپس این فایل را با استفاده از FTP به دایرکتوری روت دامنه خود ارسال کنید.
جهت مشاهده آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس به ادامه مطلب مراجعه نمایید.
آموزش بهینه سازی فایل robots.txt وردپرس :
ایجاد فایل robots.txt :
همانطور که قبلا ذکر شد، robots.txt به طور کلی نام یک فایل متنی است. بنابراین، اگر این فایل را در وب سایت خود نداشته باشید، با استفاده از ویرایشگر متن مورد نظر خود (به عنوان مثال: notepad ) آن را با یک یا چند رکورد ایجاد کنید. هر رکورد حاوی اطلاعات مهمی برای موتور جستجو است. به عنوان مثال:
|
1 2 |
User-agent: googlebot Disallow: /cgi-bin |
اگر این خط در فایل robots.txt نوشته شود ، اجازه می دهد ربات گوگل همه صفحات سایت شما را به جز پوشه cgi-bin در دایرکتوری روت ایندکس کند. این بدان معناست که ربات گوگل ، پوشه cgi-bin را ایندکس نخواهد کرد . با استفاده از گزینه Disallow شما می توانید هر ربات و یا اسپایدر موتور جستجو را برای ایندکس کردن هر صفحه یا پوشه محدود کنید. سایت های بسیاری هستند که این فایل را به گونه ای تنظیم میکنند که پوشه Archive و یا صفحاتی که حاوی محتوای تکراری هستند ایندکس نشوند.
وارد کردن نام ربات موتور جستجو :
اگر می خواهید بازدید کنندگان زیادی از موتورهای جستجو داشته باشید، باید به هر ربات جستجو اجازه دهید صفحات سایت شما رو ایندکس کنند. مطابق مثال زیر با قرار دادن مقدار * برای User-agent به هر ربات جستجو اجازه ایندکس صفحات را خواهید داد :
|
1 2 |
User-agent: * Disallow: /cgi-bin |
نکات مهم :
- در فایل robots.txt از comment استفاده نکنید.
- در ابتدای هر خط و یا بین حروف هر کلمه خط فاصله قرار ندهید. به عنوان مثال:
غلط :
|
1 2 |
User-agent: * Dis allow: /support |
صحیح :
|
1 2 |
User-agent: * Disallow: /support |
- قواعد و ترتیب دستورات را تغییر ندهید:
غلط :
|
1 2 |
Disallow: /support User-agent: * |
صحیح :
|
1 2 |
User-agent: * Disallow: /support |
- اگر می خواهید چند پوشه توسط موتور های جستجو ایندکس نشود، آنها را به صورت پشت سر هم قرار ندهید :
غلط :
|
1 2 |
User-agent: * Disallow: /support /cgi-bin /images/ |
صحیح :
|
1 2 3 4 |
User-agent: * Disallow: /support Disallow: /cgi-bin Disallow: /images |
- از حروف بزرگ وکوچک به درستی استفاده کنید، به عنوان مثال شما می خواهید دایرکتوری “Download” ایندکس نشود و در فایل robots.txt آن را به صورت “download” می نویسید، این باعث اشتباه ربات موتور جستجو خواهد شد.
- اگر می خواهید تمام صفحات و دایرکتوری سایت شما ایندکس شوند ، رکوردهای زیر را قرار دهید :
12User-agent: *Disallow:
- اما اگر می خواهید هیچ یک از صفحات و دایرکتوری سایت شما ایندکس نشوند ، رکوردهای زیر را قرار دهید :
12User-agent: *Disallow:/
پس از ویرایش از طریق FTP فایل robots.txt را در روت یا صفحه اصلی دایرکتوری سایت خود آپلود کنید.
فایل robots.txt برای وردپرس :
شما می توانید فایل robots.txt وردپرس خود را با ورود به اکانت FTP سرور ویرایش کنید و یا در داشبورد وردپرس از پلاگین هایی مانندRobots meta برای ویرایش این فایل استفاده کنید. موارد دیگری هم وجود دارند که به همراه آدرس sitemap باید در فایل robots.txt اضافه شوند. اضافه کردن آدرس sitemap کمک می کند تا موتور جستجو برای پیدا کردن آن در سایت شما و ایندکس کردن صفحات سریع تر عمل کند.
در اینجا یک فایل robots.txt نمونه را مشاهده میکنید:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
sitemap: http://www.shoutmeloud.com/sitemap.xml User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /archives/ disallow: /*?* Disallow: *?replytocom Disallow: /wp-* Disallow: /author Disallow: /comments/feed/ User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / |
هم اکنون تغییراتی در فایل robots.txt خود ایجاد کرده اید و باید مطالبی که تحت تاثیر آپدیت این فایل قرار گرفته اند را بررسی کنید. شما می توانید از ابزار گوگل وب مستر ” Fetch as bot tool ” برای بررسی در دسترس بودن مطالب توسط فایل robots.txt استفاده کنید.
موفق و پیروز باشید.
راستی! برای دریافت مطالب جدید در کانال تلگرام یا پیج اینستاگرام سورس باران عضو شوید.
- انتشار: ۲ شهریور ۱۳۹۴
دسته بندی موضوعات
- آموزش ارز دیجیتال
- آموزش برنامه نویسی
- آموزش متنی برنامه نویسی
- اطلاعیه و سایر مطالب
- پروژه برنامه نویسی
- رپورتاژ
- فروشگاه
- فیلم های آموزشی
- ++C
- ADO.NET
- Adobe Flash
- Ajax
- AngularJS
- apache
- ARM
- Asp.Net
- ASP.NET MVC
- AVR
- Bootstrap
- CCNA
- CCNP
- CMD
- CSS
- Dreameaver
- EntityFramework
- Go
- HTML
- IOS
- jquery
- Linq
- Mysql
- Oracle
- PHP
- PHPMyAdmin
- Rational Rose
- silver light
- SQL Server
- Stimulsoft Reports
- Telerik
- UML
- VB.NET&VB6
- WPF
- Xml
- آموزش های پروژه محور
- اتوکد
- الگوریتم تقریبی
- امنیت
- اندروید
- اندروید استودیو
- بک ترک
- بیسیک فور اندروید
- پایتون
- جاوا
- جاوا اسکریپت
- جوملا
- دلفی
- دوره های رایگان پیشنهادی
- زامارین
- سئو
- ساخت CMS
- سی شارپ
- شبکه و مجازی سازی
- طراحی الگوریتم
- طراحی بازی
- طراحی وب
- فتوشاپ
- فریم ورک codeigniter
- فلاتر
- کانستراکت
- کریستال ریپورت
- لاراول
- معماری کامپیوتر
- مهندسی اینترنت
- هوش مصنوعی
- یونیتی
- کتاب های آموزشی
- Android
- ASP.NET
- AVR
- LINQ
- php
- Workflow
- اچ تی ام ال
- بانک اطلاعاتی
- برنامه نویسی سوکت
- برنامه نویسی موبایل
- پاسکال
- پایان نامه
- پایتون
- جاوا
- جاوا اسکریپت
- جی کوئری
- داده کاوی
- دلفی
- رباتیک
- سئو
- سایر کتاب ها
- سخت افزار
- سی اس اس
- سی پلاس پلاس
- سی شارپ
- طراحی الگوریتم
- فتوشاپ
- مقاله
- مهندسی نرم افزار
- هک و امنیت
- هوش مصنوعی
- ویژوال بیسیک
- نرم افزار و ابزار برنامه نویسی
- وردپرس
سلام چرا فایل آموزشی رو جهت دانلود نذاشتید
سلام. کل توضیحات ذکر شده