اگر صفحهای ایندکس نشود، حتی با عصای جادویی سئو هم نمی‌توان رتبه برای صفحه وب به دست آورد. بنابراین مهم است که در طی بررسی عملکرد سئو ابتدا مطمئن شوید صفحات وب می‌توانند ایندکس شوند.
ایندکس شدن واقعا اولین گام در هر بررسی عملکرد سئو (SEO audit) می‌باشد. چرا؟
اگر سایت شما ایندکس نشود، اساسا توسط گوگل و بینگ خوانده نشده است و اگر موتورهای جستجو نتوانند سایت را بیایند و بخوانند، هیچ جادو یا بهینه‌سازی موتور جستجویی (SEO) رتبه‌بندی صفحات وب شما را بهبود نخواهد داد. بنابراین برای رتبه‌بندی، سایت ابتدا باید ایندکس شود.
آیا سایت شما ایندکس شده است؟
ابزارهای در دسترس زیادی وجود دارند که به شما کمک می‌کنند تا تعیین کنید که آیا وبسایت ایندکس شده است یا خیر. ایندکس شدن در مرکز خود فرایندی در سطح صفحه است. به عبارت دیگر، موتورهای جستجو، صفحات را می‌خوانند و آنها را به طور جداگانه فهرست می‌کنند. یک روش سریع برای بررسی اینکه که آیا صفحه توسط گوگل ایندکس شده است یا خیر، استفاده از سایت: operator با جستجوی گوگل است. فقط دامنه را مانند آنچه که در تصویر زیر آمده است وارد کنید، در نتیجه به شما همه صفحات دامنه که توسط گوگل ایندکس شده است را نشان خواهد داد. همچنین می‌توانید URL صفحه خاصی را وارد کنید تا ببینید که صفحه به صورت تکی ایندکس شده است یا خیر.
هنگامی که صفحهای ایندکس نمی‌شود؛
اگر سایت یا صفحهای ایندکس نشده است، بیشترین متهم معمول این است که متا تگ robots در صفحه استفاده شده است یا استفاده نابجا از disallow در فایل robots.txt شده است. هر دو متاتگ‌هایی که در سطح صفحه و نیز robots.txt هستند، دستورالعمل‌هایی برای ربات‌های ایندکس موتور جستجو در مورد نحوه برخورد با محتوای صفحه یا وبسایت شما می‌دهند. (Disallow برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه)
تفاوت این است که متاتگ‌های robots بر روی صفحهای جداگانه نمایش داده می‌شوند، در حالیکه فایل robots.txt دستورالعمل‌هایی برای سایت به طور کلی ارائه می‌دهد. با این حال در فایل robots.txt، می‌توانید صفحات یا دایرکتوری‌ها را مشخص کنید و اینکه چگونه باید ربات‌ها در زمان ایندکس شدن با این نواحی رفتار کنند. در ادامه بررسی می‌کنیم که چگونه از هر کدام استفاده کنیم.
Robots.txt
اگر مطمئن نیستید که آیا سایت شما از فایل robots.txt استفاده کرده یا خیر، یک روش ساده برای بررسی وجود دارد. دامنه خود را در یک مرورگر و به دنبال آن /robots.txt را وارد کنید. در اینجا مثالی با استفاده از سایت آمازون آورده شده است (https://www.amazon.com/robots.txt).
همچنین کنسول جستجوی گوگل یک ابزار تستر robots.txt مناسب دارد که به شما کمک می‌کند خطاها را در فایل robots خود شناسایی کنید. همچنین می‌توانید صفحهای را در سایت با استفاده از نوار پایین تست کنید که آیا فایل‌های robots شما در فرم رایج آن مسدود کننده ربات گوگل است یا خیر.
اگر یک صفحه یا دایرکتوری در سایت disallowed باشد (یا ایندکس نشده باشد)، پس از Disallow در فایل robots ظاهر خواهد شد. همانطور که در مثال بالا نشان داده شده است، فولدر صفحه فرود (/lp/) از ایندکس شدن با استفاده از فایل robots رد (disallowed) شده است؛ به عبارت دیگر این فولدر ایندکس نشده است. اینکار هر صفحهای را که در دایرکتوری وجود دارد از ایندکس شدن آن توسط موتور جستجو جلوگیری می‌کند.
گزینه‌های جالب و پیچیده بسیاری وجود دارند که می‌توانید فایل robots را به کار برید. سایت توسعه دهندگان گوگل دارای خلاصه همه روش‌های عالی است که می‌توانید از فایل robots.txt استفاده کنید. در اینجا چند تایی آورده شده است:
متاتگ Robots
متاتگ robots در هدر (header) یک صفحه قرار می‌گیرد. به طور معمول نیازی به استفاده از هر دوی متا تگ robots و فایل robots.txt وجود ندارد تا از ایندکس شدن صفحه خاصی جلوگیری کنید.
کنسول جستجو در تصویر بالا، لازم نیست متاتگ robots را به همه صفحات فرود در فولدر صفحه فرود (/lp/) اضافه کنید تا گوگل از ایندکس شدن آنها جلوگیری کند، زیرا این فولدر از ایندکس شدن با استفاده از فایل robots.txt جلوگیری شده است. همچنین متاتگ robots دارای عملکردهای دیگری می باشد. برای مثال، می‌توانید به موتورهای جستجو بگویید که لینک‌های موجود در کل صفحه نباید برای اهداف بهینه‌سازی موتور جستجو دنبال شوند. این کار می‌تواند در شرایط خاصی مانند صفحات منتشر کننده مطبوعات اعمال شود.
شاید دو دستورالعملی که اغلب برای سئو با این تگ‌ها استفاده می‌شوند noindex/index و nofollow/follow هستند:
- Index follow: به طور پیش فرض می‌باشد. ربات‌های ایندکس موتور جستجو باید اطلاعات مرتبط با صفحه را ایندکس کنند. ربات‌های ایندکس موتور جستجو باید لینک‌های موجود در این صفحه را دنبال کنند.
- Noindex nofollow: موتورهای ایندکس موتور جستجو نباید اطلاعات موجود در صفحه را ایندکس کنند. ربات‌های ایندکس موتور جستجو نباید لینک‌های موجود در این صفحه را دنبال کنند.
سایت توسعه دهنده گوگل همچنین توضیح کاملی در مورد استفاده از متاتگ‌های robots دارد.
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
تبلیغات میان متنی/
درب شیشه ای چیست؟ا یکی از ملزومات دکوراسیون لوکس و مدرن ساختمان های امروز به حساب می آیند. قیمت درب شیشه ای را در سایت قائم الکتریک مشاهده کنید. همچنین درب ورودی ساختمان ها نیز برای حفظ امنیت عبور و مرور نیازمند تجهیزات راهبند است. قیمت راهبند را از قائم الکترونیک به راحتی دریافت کنید. تیم نکته عمومی و عامیانه این است که در شیشه ای یا همان درب شیشه ای به درب اتوماتیک شیشه ای اشاره دارند. درب شیشه ای در انواع مختلف را از قائم الکترونیک بخواهید.
تبلیغات میان متنی
------------------------------------------------------------------------------------------------------------------------------------------------------------
نقشه‌های سایت XML
هنگامی که صفحه جدیدی در سایت دارید، به طور معمول میخواهید موتورهای جستجو صفحه را پیدا کرده و به سرعت ایندکس کند. یکی از راه‌های کمک برای انجام این کار استفاده از نقشه سایت XML و ثبت آن با موتورهای جستجو است. XML مخفف eXtensible markup language یا زبان نشانه‌گذاری قابل توسعه است.
نقشه‌های سایت XML به موتورهای جستجو کمک می‌کنند تا هوشمندانه‌تر با صفحات سایت شما برخورد کنند و بنابراین سرعت پیدا کردن صفحات سایت و شانس نمایش صفحات در موتور جستجو افزایش پیدا خواهد کرد. این مخصوصا در زمانی مفید است که شما محتوای جدیدی دارید که احتمالا لینک‌های ورودی (بک‌لینک) بسیاری که به آن اشاره شده، ندارد و برای ربات‌های موتور جستجو سخت‌تر می‌شود تا لینکی را دنبال کنند و آن محتوا را بیابند. در حال حاضر سیستم‌های مدیریت بسیاری از محتوا قابلیت ساخت نقشه سایت XML یا دسترسی از طریق یک پلاگین مانند پلاگین Yoast SEO برای وردپرس را دارند.
مطمئن شوید که یک نقشه سایت XML دارید و آن از طریق کنسول جستجوی گوگل و ابزار وبمستر بینگ ثبت شده است. این تضمین می‌کند که گوگل و بینگ می‌دانند در کجا نقشه سایت قرار گرفته و می‌تواند به طور مداوم برای ایندکس به آن مراجعه کند. چگونه سریع می‌تواند محتوای جدید با استفاده از این متد ایندکس شود؟ تستی انجام شد و معلوم شد که محتوای جدیدی توسط گوگل تنها در 8 دقیقه ایندکس شده است و این در زمانی بود که تب‌های مرورگر تغییر داده شد، دستور site: operator را اجرا کنید. بنابراین خیلی سریع است!
جاوا اسکریپت
در سال 2011، گوگل اعلام کرد قادر به اجرای جاوا اسکریپت و ایندکس برخی از عناصر دینامیک است، با این حال، گوگل همیشه قادر نیست تا همه جاوا اسکریپت‌ها را اجرا و ایندکس کند. در کنسول جستجوی گوگل، ابزار the Fetch and Render می‌تواند به شما کمک کند که ببینید آیا ربات گوگل قادر است محتوای شما در جاوا اسکریپت را ببیند یا خیر.
در این مثال، وبسایت دانشگاه از ترکیب جاوا اسکریپت و XML ناهمگام (AJAX) استفاده می‌کند که شکلی از جاوا اسکریپت است. این کار برای ایجاد منویی از دوره است که به قسمت‌های خاصی از موضوع تحصیلی لینک می‌شود.
ابزار Fetch and Render به ما نشان می‌دهد که ربات گوگل قادر نیست تا محتوا و لینک‌های مشابه را ببیند؛ این بدان معناست که ربات گوگل نمی‌تواند لینک‌ها در جاوا اسکریپت برای صفحات دوره عقب‌تر در سایت ببیند.
