عناوین مطالب
متا تگ ها از عناصر یک وب سایت هستن و با توجه به نقش و اهمیتی که دارن ممکنه وجودشون ضروری یا انتخابی باشه.
این تگ ها کدهای HTML هستن که در قسمت هدر سایت قرار می گیرن و توسط موتورهای جستجو خونده میشن.
هدف اصلی از نوشتن متا تگ ها، توصیف بهتر محتواست و چون بعضی از این تگ ها برای موتورهای جستجو اهمیت زیادی دارن، در نتیجه در رتبه بندی سایت هم تاثیر زیادی می گذارن.
متا تگ های زیادی وجود دارن که فقط تعدادی از اونها برای موتورهای جستجو اهمیت داشته که یکی از این متا تگ های مهم، متاتگ ربات (meta robots) هست که با استفاده از این تگ، می تونین گوگل و موتورهای جستجو را کنترل کنین تا صفحاتی از وب سایت تون که شما میخواهید را پیمایش یا صفحات را ایندکس کنن.
اگر همه این مواردی که بهتون گفتم به نظرتون شبیه به فایل Robots.txt میاد، بهتره ادامه مطلب را هم بخونین چون حتما تفاوتهای این دو را هم توضیح خواهم داد. البته اگر هنوز با فایل Robots.txt آشنا نیستین بهتره قبل از خوندن این مقاله، سری به مقاله فایل Robots.txt چیست و چطور ساخته می شود ویکی دمی بزنین و دوباره به اینجا برگردین.
همچنین مقاله ای جدا هم واستون قرار دادیم در مورد تفاوت فایل robot.txt و meta robots که مطالعه اون مقاله هم کمک خیلی زیادی به شما میکنه.
متاتگ Robots چی هست و چرا اهمیت داره؟
meta robots یک تگ HTML است که در قسمت هدر صفحه قرار می گیره و دستورالعمل هایی را برای بات های جستجو، آماده میکنه. این تگ مثل فایل Robots.txt به کراولرهای (خزنده های) موتور جستجو اعلام می کنه که آیا اجازه دارن یک صفحه را ایندکس کنن یا نه.
برای دیدن این متا تگ ها روی یک صفحه وب، راست کلیک کنین و بر روی گزینه View Source کلیک کنین و در قسمت بالای صفحه ای که باز شده به دنبال اسم Robots بگردین. قسمت هدر صفحه باید چیزی شبیه به این باشه:
<meta name='robots' content='noindex' />
<meta name='googlebot' content='noindex' />
<meta name='googlebot-news' content='noindex' />
<meta name='slurp' content='noindex' />
<meta name='msnbot' content='noindex' />
در مثال بالا، خط اول برای همه موتورهای جستجو نوشته شده در حالیکه 4 مورد دیگه برای agent های خاص نوشته شدن. در این مثال متاتگ Robots به موتورهای جستجو اعلام می کنه که اجازه ندارن این صفحه را ایندکس کنن، البته بات های جستجو همچنان می تونن لینک هایی که داخل این صفحه پیدا می کنن را دنبال کنن که دلیلش را حتما تو این مقاله بهتون میگم.
در تصویر بالا مشاهده می‌کنید که به چه صورت از meta robots استفاده شده است. این تصویر متعلق به صفحه اصلی قوی ترین فروشگاه اینترنتی ایران است و همانطور که می‌بینید از دستور index و follow استفاده کرده است.
یکی از تفاوت های متاتگ Robots اینه که، یک لایه محافظتی بیشتر به فایل متنی Robots اضافه می کنه. وقتی کراولر (خزنده) یک لینک خارجی را دنبال میکنه و به یکی از صفحات شما میرسه که در لیست No Index شماست، می تونه صفحه شما را پیمایش کنه چون هنوز فایل متنی Robots سایت شما را ندیده، اما متا تگ های Robots از وقوع این پیمایش و ایندکس سازی می تونن جلوگیری کنن.
خوب حالا می تونیم تفاوت بین متاتگ و فایل متنی Robots را بهتر درک کنیم: متاتگ روبات (meta robots tag) فقط روی صفحه ای که در اون قرار گرفته اعمال میشه اما فایل متنی روباتس (Robots.txt files) روی کل وب سایت تاثیر داره.
متاتگ Robots چطور کار می کنه؟
همونطور که در مثال بالا دیدین، هر تگ دو قسمت داره. قسمت اول: name=””، و قسمت دوم: content=””
در قسمت نام تگ باید نام User Agent موردنظرتون را مشخص کنین، درست شبیه به همون کاری که در فایل متنی Robots انجام میدادیم مثلا اسم یک بات جستجو را مشخص می کردیم. البته برخلاف فایل متنی که اسم خاصی برای موتورهای جستجو باید نوشته میشد اینجا کافیه “Robots” را بنویسین. خوب پس اسم متاتگ مشخص شد. قسمت دوم content جاییه که شما به بات های جستجو اعلام می کنین که چه کاری باید انجام بدن.
کد های دستوری در قسمت content متاتگ Robots
مقادیر متفاوتی هستن که در این قسمت متاتگ Robots قرار می گیرن و هر کدوم از اونها کار متفاوتی را انجام میدن. در ادامه همه مقادیری که می تونین تو این قسمت استفاده کنین را بهتون توضیح میدم:
Index
به موتورهای جستجو اعلام می کنه که این صفحه را ایندکس کنن. البته ممکنه استفاده از این تگ بی دلیل به نظر بیاد چون به صورت پیش فرض موتورهای جستجو این کار را انجام میدن، اما اگر بخواهید فقط به موتورهای جستجوی خاصی اجازه بدین که صفحه وب شما را ایندکس کنن این دستور به دردتون میخوره.
NoIndex
به موتورهای جستجو اعلام می کنه که این صفحه را ایندکس نکنن که در نتیجه در لیست نتایج جستجو قرار نگیره.
NoImageIndex
این دستور به موتورهای جستجو میگه که تصاویری که در این صفحه هستن را ایندکس نکنه. البته توجه داشته باشین اگر کسی از این عکسها در جای دیگه ای از وب استفاده کنه گوگل همچنان این تصاویر را ایندکس میکنه و در لیست نتایج نمایش میده.
None
این دستور در واقع یک میانبر هست که به جای “NoIndex” و “NoFollow” استفاده میشه و به موتورهای جستجو اعلام می کنه که این صفحه را ندید بگیرن و وانمود کنن که اصلا صفحه را ندیدن.
Follow
به موتورهای جستجو اعلام می کنه که لینک هایی که در صفحه هستن را دنبال کنه. درست شبیه به “Index” این مورد هم یک وضعیت پیش فرض هست یعنی اگر یک بات این تگ را هم نبینه باز هم لینک های صفحه را به صورت پیش فرض دنبال می کنه.
NoFollow
به موتورهای جستجو اعلام می کنه که به هیچ وجه لینک های موجود در این صفحه را دنبال نکنن. می تونین این مقدار را برای فقط یک لینک خاص هم استفاده کنین.
NoArchive
به موتورهای جستجو اعلام می کنه که نسخه های ذخیره شده از این صفحه را به کاربران نشون ندن.
NoCache
مورد استفاده شبیه یه NoArchive که فقط برای MSN و Live استفاده میشه
NoSnippet
این دستور، از اینکه موتورهای جستجو قطعه ویژه از این صفحه یا اسنیپت را در نتایج جستجو نشون بده جلوگیری می کنه و همینطور از ذخیره کردن این صفحه هم جلوگیری می کنه.
اگر در مورد اسنیپت ها اطلاعی ندارین باید بهتون بگم که این قطعه های ویژه همون جواب های گوگل هستن که در قالب یک کادر یا باکس در صفحه اول و ابتدای نتایج گوگل دیده میشه. یک نمونه از اسنیپت های گوگل را می تونین در تصویر زیر ببینین:
NoTranslate
به موتورهای جستجو اعلام می کنه که نسخه ترجمه شده این صفحه را در نتایج جستجو پیشنهاد ندن.
Unavailable_after
به موتورهای جستجو اعلام می کنه بعد از یک تاریخ خاص، دیگه این صفحه را در لیست نتایج جستجو نمایش ندن.
NoYDir
به موتور جستجو اعلام می کنه که در قطعه ویژه (اسنیپت) از توضیحات صفحه دایرکتوری یاهو (Yahoo!) استفاده نکنه.
NoODP
این دستور هم از اینکه موتورهای جستجو در قطعه ویژه از توضیحات صفحه مربوط به DMOZ استفاده کنن جلوگیری می کنه. ODP یک انجمنه که دایرکتوری های DMOZ رو نگهدای می کنه.
دو مورد آخر در این لیست یعنی NoYDir و NoODP این روزها کاربردی ندارن. درواقع دیگه چیزی به اسم دایرکتوری یاهو یا DMOZ وجود نداره، هرچند ممکنه وقتی در حال گشت زدن در وب هستن اثری از اونها ببینین.
فقط یک مورد پیچیدگی در این مورد وجود داره که باید بهش دقت کنین، همه موتورهای جستجو از همه این دستورات پشتیبانی نمی کنن. ممکنه این موضوع باعث گیج شدن شما بشه، بخاطر همین یک جدول براتون آماده کردم که نشون میده هر کدوم از این مقادیر توسط کدوم یکی از موتورهای جستجو شناسایی میشن:
مورد دیگه ای که در نوشتن متا تگ Robots می تونین ازش استفاده کنین اینه که با استفاده از ویرگول، یک متا تگ چندمنظوره بنویسین به جای اینکه در هر بخش یک تگ ایجاد کنین. درواقع این اتفاق زیاد میفته بخاطراینکه تقریبا بسیاری از متا تگ های Robots از مقادیر NoFollow, NoIndex استفاده می کنن:
<meta name='robots' content='noindex, nofollow' />چطور میشه از متاتگ روبات برای سئو استفاده کرد؟
خوب رسیدیم به بخش جذاب این مقاله، اینکه متا تگ Robots چه تاثیری میتونه در سئوی سایت ما داشته باشه!
یکی از مهمترین کارهایی که در مدیریت سایت تون باید لحاظ کنین اینه که مطمئن بشین صفحات بی ارزش سایت شما توسط موتورهای جستجو ایندکس نمی شن و فقط صفحاتی به لیست نتایج جستجو میرسن که از نظر سئو، مناسب و باارزشن. صفحات بی ارزش به صفحاتی میگیم که محتوای خاصی به مخاطب شما ارائه نمیدن، مثلا صفحات مدیریتی سایت شما فقط به درد ادمین سایت تون میخوره و یا صفحه لیست مخاطبین، فقط برای شخص شما مهمه و برای کاربران سایت شما اهمیتی نداره. اگر از ایندکس شدن صفحات کم ارزش جلوگیری کنیم، در واقع به افزایش چیزی که به عنوان crawl demand (درخواست پیمایش) سایت شناخته میشه کمک کردیم یعنی این موضوع باعث میشه که سایت شما بیشتر توسط کراولرها پیمایش بشه.
خوب طبق توضیحات قبلی که در این مقاله بهتون دادم، یکی از راه حل های این موضوع استفاده از متا تگ Robots برای جلوگیری از ایندکس شدن صفحات بی ارزشه.
علاوه بر این، متا تگ Robots یک لایه محافظتی دیگه برای صفحاتی که از طریق فایل Robots.txt مسدود شدن اضافه می کنه. اگر گوگل با یک لینک خارجی به صفحه ای از وب سایت شما برسه میتونه صفحه را ایندکس کنه حتی اگر تو فایل متنی Robots مسدودش کرده باشین و متاتگ Robots با یک مقدار NoIndex میتونه از این اتفاق جلوگیری کنه. برای اینکه بتونین از ایندکس شدن صفحات و دنبال کردن لینک ها جلوگیری کنین باید یک متا تگ به شکل زیر در صفحه تون بنویسین:
<meta name=” robots” content=” noindex, nofollow”>NoIndex و NoFollow دو تا از مقادیر بسیار پرکاربرد هستن که در متا تگ Robots استفاده میشن، هرچند بقیه مقادیری هم که تو لیست بالا بهتون معرفی کردم برای سئو ارزشمند هستن:
NoImageIndex: این دستور به موتورهای جستجو میگه که عکسهای این صفحه را پیمایش نکنن.
None: این دستور برابره با استفاده از ترکیب دو دستور NoFollow, NoIndex است که به موتورهای جستجو میگه این صفحه را پیمایش نکنن و لینک های داخل صفحه را دنبال نکنن.
NoArchive: این دستور به موتورهای جستجو میگه که نسخه های قبلی و قدیمی صفحات را ذخیره نکنن. با استفاده از این دستور می تونین مطمئن شین که کاربران همیشه آخرین نسخه از محتوای شما را می بینن. MSN و LIVE به جای این دستور از “NoCache” استفاده می کند.
NoSnippet: این دستور هم از نمایش قطعه ویژه سایت شما که در واقع همون نسخه ذخیره شده هست در صفحه نتایج جلوگیری می کند.
با توجه به توضیحاتی که تابحال داشتیم، اینجا به یک تناقض می رسیم. طبق تعریف کلی، هدف اصلی سئو بردن صفحات یک وب سایت به لیست نتایج جستجو است پس چطور متا تگ هایی که از ایندکس شدن صفحات جلوگیری می کنن میتونن برای سئو یک وب سایت مفید باشن؟ جواب به این سوال شامل چند مورد میشه که به ترتیب براتون توضیح میدم:
- با استفاده از متا تگ Robots فایل ها و صفحات خصوصی (مثل یک آلبوم عکس) مسدود میشن و در نتیجه جستجوها دیده نمی شن. در حالت کلی بهتره که مطالب خاص و خصوصی را روی وب سایت تون منتشر نکنین یا اینکه از اونها محافظت کنین. به هر حال اگر به هر دلیلی مجبور بودین که این کار را انجام بدین می تونین با استفاده از متا تگ Robots اونها را مسدود کنین تا توسط گوگل خونده نشن.
- با استفاده از متا تگ Robots به موتورهای جستجو کمک می کنین که سایت شما را به صورت خیلی مفید و اثربخش پیمایش کنن. روبات های جستجو ظرفیت محدودی برای پیمایش دارن، بنابراین بهتره تمام ظرفیت خودشون رو برای پیمایش صفحاتی از سایت شما صرف کنن که ارزش بالایی دارن، صفحاتی که به بهبود رتبه سایت شما کمک می کنن. در واقع مسدود کردن آدرس های بی ارزش، کراولرها رو راهنمایی می کنه که سریعتر به صفحات باارزش شما برسن.
- اگر صفحه ای در وب سایت تون دارین که موفق شده لینک های زیادی به دست بیاره اما شما به دلایلی علاقه ندارین که این صفحه ایندکس بشه، می تونین از دستور Follow استفاده کنین تا لینک ها را به صفحات دیگه سایت تون منتقل کنین.
خوب دوستان ویکی دمی امیدوارم این مقاله برای شما مفید بوده باشه. اینجا در انتهای مقاله می تونیم به یک جمع بندی کلی برسیم. درسته که منتشر کردن اطلاعات حساس در وب سایت اصلا توصیه نمی شه، اما گاهی اوقات بنا به دلایلی این اتفاق میفته و مسدود کردن این URL ها از طریق فایل Robots.txt میتونه باعث بشه هرکسی که این فایل متنی را میخونه کنجکاو بشه نگاهی به اون صفحات بندازه. با اضافه کردن NoIndex به متاتگ، این صفحات را خارج از دسترس موتورهای جستجو نگه دارین تا در هیچ لیستی نمایش داده نشه و در نتیجه کسی نتونه اونها را پیدا کنه.
توجه کنین که استفاده درست، مهمترین موضوعیه که در استفاده از متا تگ Robots باید بهش توجه کنین. خیلی پیش میاد بخاطر اینکه شخصی به صورت تصادفی، تگ NoIndex را به کل سایت اضافه کرده، یک سایت اصلا توسط موتورهای جستجو پیمایش و در نتیجه ایندکس نمی شه. بنابراین درک درست چگونگی استفاده از متا تگ Robots برای سئو کاملا ضروری و حیاتیه.
اگر بعد از خوندن این مقاله سوالی براتون پیش اومد یا نظری داشتین، می تونین تو بخش نظرات سوال خودتون رو مطرح کنین یا نظرات تون را با ما به اشتراک بذارین.