تفاوت متا تگ robots با فایل robots.txt و تاثیر هرکدام در سئو

قبل از مطالعه ی این مقاله ی مهم لازم است شما مقاله فایل robots.txt و مقاله متا تگ robots را دقیق مطالعه کرده باشید و با این موضوعات کاملا آشنایی داشته باشید.

بسیاری این دو فاکتور را در سئو با هم اشتباه میگیرند و یا وجه تمایز هر کدام از آنها را به خوبی نمی توانند درک کنند به همین دلیل ما در ویکی دمی تصمیم گرفتیم تا مقاله ی کوتاهی در این مورد برای شما آماده کنیم.

سعی کنید در یک وب سایت تست تمامی مواردی که یاد می گیری درا تست کنید و به صورت عملی برسی کنید تا درک بهتری از مفاهیمی یاد می گیرید داشته باشید.

در سئو هیچ آموزشی به اندازه تجربه نمی تونه به شما کمک کنه و ما در ویکی دمی تصمیم داریم تمامی تجربه ی خودمون رو واستون به صورت رایگان قرار بدیم اما باز هم شما باید در یک محیط عملی تست کنید تا مستقیم این موارد را درک کنید.

بعد از مطالعه این مقاله شما باید تصمیم بگیرید که در شرایطی که سایت شما دارد کدام مورد بهتر است.پس مستقیم به سراغ تفاوت robots.txt با متا تگ robots میرویم :

متا تگ robots با فایل robots.txt چه فرقی دارد

1. برای جلوگیری از index شدن تعداد زیادی صفحه بهتر است از txt استفاده کنید و برای مسدود کردن یک صفحه از متا تگ robots استفاده کنید. یعنی به صورت کلی فایل robot.txt برای جلوگیری از ایندکس تعداد صفحات بالا کاربرد دارد و برای جلوگیری از ایندکس یک صفحه ی خاص از این فایل استفاده نمیکنند و از متا تگ robots استفاده میکنند.
2. txt به صورت یک فایل واقعی در سایت وجود دارد و به شکل wikidemy.ir/robot.txt قابل مشاهده میباشد اما متا تگ robots فقط یک تگ درون فایل html ما میباشد که درون بخش head سایت ما قرار میگیرد. همچنین ما در فایل robots.txt امکان معرفی سایت مپ را هم داریم اما سایت مپ را با متا تگ روبوت نمیتوانیم معرفی کنیم.
3. روبات های گوگل یا هر موتور جستجوی دیگر قبل از اینکه بخواهند صفحه ای را Index کنند ابتدا فایل txt را برسی میکنند پس این فایل از اولویت بالاتری نسبت به متا تگ robots قرار دارد. ربات ها عموما بعد از اینکه فایل robots.txt و سایت مپ سایت ها را برسی میکنند به این متا تگ میرسند یعنی به این شکل میباشد که هنگام ورود به یک صفحه ی خاص روبات های موتور های جستجو وارد کد های صفحه میشوند و از بالا به پایین سورس سایت و محتوای آن را برسی میکنند و در این لحظه میباشد که با متا روبوت برخورد میکنند.
4. در ادامه ی بخش سوم گاهی موتور های جستجو از ورودی های دیگری وارد سایت میشوند. در این حالت ممکن است اصلا فایل txt ما را مشاهده نکنند و دستورات و محدودیت هایی که آنجا ایجاد کرده ایم را نبینند. در این حالت برای مسدود سازی یک صفحه و جلوگیری از ایندکس کردن آن بهتر است از متا تگ روبوت استفاده کنیم چون اطمینانی تر است و در هیچ شرایطی امکان ندارد که موتور های جستجو آن را نبینند زیرا از هر ورودی که به سایت ما برسند باید سورس سایت ما را برسی کنند . به صورت کلی این متا تگ برای noindex کردن بهتر از فایل robots.txt میباشد. زیرا این فایل بسیار انعطاف پذیر تر میباشد و چون دستورات گوناگونی دارد توصیه میکنیم که از متا تگ robots استفاده کنید

آیا میتوان هم از فایل robots.txt استفاده کرد و هم از متا تگ robots ؟

میگن کار از محکم کاری عیب نمیکنه.

قطعا استفاده همزمان از هر دو این موارد بهتری هم هست و قابل اعتماد تر مخصوصا در شرایطی مانند مورد ۴ که روبات های موتور های جستجو ممکن است از جایی دیگر وارد سایت شوند.

استفاده بهینه و حرفه ای از فایل robots.txt مقداری سخت تر از meta robots است. توصیه میکنیم حتما مقاله ای که در بالا به شما پیشنهاد دادیم را مطالعه کنید تا به صورت کامل به دستورات فایل robots.txt آشنا بشید.

طبق یکی از تجربه های جدیدمون در ویکی دمی که روی یه سایت کار می کردیم چند تا از بخش های مختلف را با فایل robots.txt مسدود کردیم تا ربات گوگل نتونه واردش بشه و این صفحه هارو برسی کنه.

اما بعد از حدود ۳ هفته فهمیدیم که بعضی از این صفحه ها ایندکس شدن و ما فراموش کرده بودیم که همزمان از meta robots هم در کد های HTML استفاده کنیم و این موضوع برای ما مشکل ساز شد پس شما هم مراقب ایت موضوع باشید.

همچنین صفحه هایی وجود دارد که شما تمایل به ایندکس شدن آن صفحه ندارید اما لینک هایی که داخل آن صفحه قرار داند برای شما مهمه و میخواهید وفتی ربات گوگل به این صفحه ها سر زد بتونه لینک های داخلی رو ایندکس کنه و فقط اون صفحه مسدود شه باشه.

خب در این حالت و با این جزئیات شما باید از متا robots استفاده کنید و به ربات های دستور بدید که صفحه ایندکس نشه اما حتما فالو بشه و وارد صفحه های داخلی بشه.

تحت این شرایط ما به ربات گوگل میفهمونیم که صفحه ی پیش روش باید مسدود باشه و ایندکس نکنه اما وارد صفحه بشه و بدون اینکه خود اون صفحه رو ایندکس کنه به برسی لینک هایی که داخل اون صفحه قرار داره بپردازه و اونارو ایندکس کنه.

در آینده مقاله جامعی در مورد تمامی دستورات meta robots واستون قرار میدیم که به صورت کامل روی این موضوع مسلط بشید

امیدواریم از مطالعه این بخش آموزی لذت برده باشید. اگر سوالی دارید در بخش نظرات مطرح کنید. فقط لطفا توجه داشته باشید این مقاله فقط در مورد تفاوت های این دو روبات بود و برای آشنایی کامل در مورد هر کدام از آنها باید مقاله های اختصاصی آنها را مطالعه کنید.