موتور جستجو چگونه کار می کند؟ | خزیدن، ایندکس و رتبه‌بندی

آموزش سئو را با مطلب سئو چیست؟ شروع کردم و قول دادم به همان مطلب (هرچند پروپیمان) بسنده نکنم. در واقع قرار است تمام مفاهیم سئو را به ترتیب تأثیرگذاری برایتان شرح دهم و امروز در ادامۀ بحث قبلی سراغ معرفی موتور جستجو و نحوۀ عملکردش خواهم رفت. لازم به ذکر است که راهنمای من در گردآوری مطالب این مبحث آموزش‌های وب‌سایت MOZ بوده‌اند و سعی کرده‌ام ترتیب مطالب این وب‌سایت را اینجا هم رعایت کنم. پس اگر به دیجیتال مارکتینگ و سئو یا بهینه‌سازی موتورهای جستجوگر علاقه دارید و تازه می‌خواهید در موردش اطلاعات کسب کنید، ابتدا مطلب دیجیتال مارکتینگ چیست؟ و سپس مطلب سئو چیست؟ را مطالعه کرده و سپس این متن را بخوانید.

مقدمه

همان‌طور که قبلاً گفتیم، موتورهای جستجو در واقع ماشین‌های پاسخگویی هستند! آنها وجود دارند که محتوای اینترنت را کشف، درک و سازمان‌دهی کنند تا بهترین و مرتبط‌ترین نتایج را به جستجو کنندگان ارائه دهند. پس محتوای شما باید برای حضور در لیست صفحه نتایج برای موتورهای جستجوگر قابل کشف باشند. این در واقع مهم‌ترین قسمت از پازل سئو است: اگر وب‌سایت شما پیدا نشود، به‌هیچ‌عنوان در SERP یا صفحه نتایج جستجو نمایش داده نخواهد شد.

در این مطلب مطالعه خواهید کرد:

• موتورهای جستجوگر چگونه کار می‌کنند؟
• خزیدن: موتورهای جستجو می‌توانند برگه‌های شما را پیدا کنند؟
• چگونه به موتور جستجوگر بگوییم وب‌سایت ما را کراول کند؟
• ایندکس: موتور جستجو چگونه برگه‌های ما را ترجمه و ذخیره‌سازی می‌کند؟
• چگونه به موتور جستجو بگویم وب‌سایت ما را ایندکس کند؟
• رنکینگ: موتورهای جستجو چگونه URLهای ما را رتبه‌بندی می‌کنند؟
• سیر تکاملی موتورهای جستجوگر

موتورهای جستجو چگونه کار می‌کنند؟

موتور جستجو بر پایۀ سه تابع اولیه کار می‌کند:

• خزیدن (Crawling): جستجو در اینترنت برای یافتن محتوا و نگاه‌کردن به کدها یا محتوای هر URL و لینکی که پیدا می‌شود.
• ایندکس کردن (Indexing): انبارکردن و سازمان‌دهی محتواهایی که در طول پروسۀ خزیدن پیدا شده‌اند. زمانی که یک برگه ایندکس می‌شود، تازه وارد مسابقۀ طاقت‌فرسای رسیدن به بالاترین رتبه در صفحۀ نتایج جستجو شده است.
• رتبه‌بندی یا رنکینگ (Ranking): فراهم‌آوردن نزدیک‌ترین اطلاعات و محتواها به کلمات کلیدی جستجو شده توسط کاربران که به معنی رتبه‌بندی مطالب (به ترتیب از مرتبط‌ترین به بی‌ربط‌ترین) است.

خزیدن موتور جستجو چیست؟

خزیدن یا کراولینگ را می‌توان پروسۀ کشف نامید. طی این عملیات موتورهای جستجوگر گروهی از ربات‌ها (که به خزنده یا عنکبوت معروف هستند) را در سطح اینترنت رها می‌کنند تا محتواهای جدید یا محتواهای به‌روزرسانی شده را پیدا کنند. محتواها دسته‌های مختلفی دارند و می‌توانند یک برگه، تصویر، ویدئو، فایل PDF و… باشند. اما فرمت محتوا مهم نیست؛ همۀ محتواها توسط یک لینک یا URL کشف می‌شوند.

گوگل بات (خزنده) ابتدا چند برگۀ وب‌سایت را فچ کرده و سپس لینک‌های درونش را برای یافتن URLهای جدید دنبال می‌کند. فچ کردن یعنی کشاندن ربات گوگل به یک مسیر خاص برای بازبینی و ایندکس کردن آن. پس وقتی می‌گوییم ربات‌ها فلان برگه را فچ کرده‌اند، منظورمان این است که آنها برای ایندکس شدن در رادار ربات قرار گرفته‌اند. سپس با جستجو در میان این لینک‌ها، خزنده قادر است محتواهای جدید را پیدا کرده و آنها را به لیست ایندکس خود که به کافئین (Caffeine) معروف است بیفزاید تا در آینده وقتی یک کاربر کلمۀ کلیدی خاصی را جستجو می‌کند مرتبط‌ترین نتایج را دریافت کند.

ایندکس کردن موتور جستجو چیست؟

موتورهای جستجوگر اطلاعاتی که طی پروسۀ خزیدن کشف کرده‌اند را در یک ایندکس پردازش و ذخیره می‌کنند. در واقع ایندکس یک دیتابیس عظیم از همۀ محتواهایی است که برای نمایش داده شدن به کاربران جستجو کننده مناسب هستند.

رتبه‌بندی یا رنکینگ موتورهای جستجو

وقتی که یک کاربر عبارتی را سرچ می‌کند، موتور جستجو ایندکس خود را برای یافتن نزدیک‌ترین پاسخ به پرسش کاربر زیرورو خواهد کرد. مرتب کردن نتایج از نظر مرتبط بودن با جستجوی کاربر را رتبه‌بندی یا رنکینگ می‌نامند. پس در کل می‌توان فرض کرد قرارگرفتن یک وب‌سایت در صدر فهرست صفحۀ نتایج جستجو بدین معنی است که موتور جستجو باور دارد این وب‌سایت نزدیک‌ترین پاسخ را به سؤال کاربر داده است. باقی مطالب این لیست هم به همین ترتیب مرتب شده‌اند و رتبۀ بالاتر به معنی مرتبط‌تر بودن با سؤال کاربر است.

شما این قابلیت را دارید که دسترسی خزنده‌ها به یک بخش از وب‌سایت (حتی کل وب‌سایت) را ببندید. حتی می‌توانید به موتورهای جستجوگر دستور دهید از ذخیره کردن برگه‌های مشخصی از وب‌سایت شما در ایندکس خودداری کند. اما با اینکه ممکن است برای چنین کاری دلیل قانع‌کننده‌ای داشته باشید، اگر می‌خواهید کاربران شما را پیدا کنند باید مطمئن شوید که وب‌سایت شما برای خزنده‌ها در دسترس و از همه مهم‌تر قابل ایندکس شدن باشد. در غیر این صورت در دنیای اینترنت کاملاً نامرئی خواهید بود.

کراولینگ (خزیدن): موتورهای جستجو می‌توانند برگه‌های شما را پیدا کنند؟

همان‌طور که گفتم اطمینان حاصل کردن از اینکه وب‌سایت شما توسط خزنده‌ها پیدا شده و ایندکس می‌شود پیش‌نیاز حضور در صفحه نتایج جستجوی گوگل است. اگر از قبل یک وب‌سایت دارید، بهترین کار این است که ابتدا ببینید چند مورد از برگه‌های وب‌سایتتان ایندکس شده‌اند. این کار می‌تواند بینش خوبی از وضعیت وب‌سایت به شما داده و مشخص کند آیا خزنده‌های گوگل برگه‌های شما را کشف و ایندکس می‌کنند یا خیر.

یک روش ساده برای این کار این است که این عبارت را در گوگل جستجو کنید:

Site:yourdomain.com

البته واضح است که به‌جای yourdomain.com باید آدرس وب‌سایت خود را جای‌گذاری کنید. بدین صورت گوگل به‌مانند تصویر زیر لیستی از برگه‌های ایندکس شده از وب‌سایت شما را به نمایش می‌گذارد:

عددی که در قسمت about x results به‌جای حرف x نوشته شده است دقیق نیست، اما به شما خواهد فهماند که چه تعداد از صفحات سایت در گوگل ایندکس شده‌اند و گوگل در حال حاضر آنها را به چه صورت نمایش می‌دهد.

برای دریافت نتایج دقیق‌تر لازم است که از گزارش‌های سرچ کنسول گوگل استفاده کنید. استفاده از گوگل سرچ کنسول رایگان است پس هر چه سریع‌تر یک اکانت ساخته و کار خود را آغاز کنید. با این ابزار می‌توانید برای سایت خود سایت مپ تعریف کنید و دقیقاً متوجه شوید چه تعداد از صفحات ارسال شده به گوگل به لیست ایندکس گوگل افزوده شده‌اند.

اگر هیچ‌کدام از صفحات وب‌سایت شما در صفحه نتایج گوگل نبودند، ممکن است مشکلات زیر برای وب‌سایت رخ داده باشند:

• سایت خیلی نوپا است و هنوز توسط خزنده‌ها کراول نشده است.
• لینک‌های خارجی از دیگر وب‌سایت‌ها دریافت نکرده‌اید.
• وب‌سایت شما برای مسیریابی خزنده‌ها بهینه‌سازی نشده و آنها نمی‌توانند به‌صورت مؤثر به خزیدن در آن بپردازند.
• وب‌سایت دارای کدهایی است که در حال بلاک کردن خزیدن ربات‌ها هستند.
• وب‌سایت شما به دلیل استفاده از تاکتیک‌های اسپم محور یا تکنیک‌های سئو کلاه‌سیاه توسط گوگل جریمه شده است. (به‌اصطلاح به این اتفاق پنالتی خوردن می‌گویند.)

چگونه به موتور جستجو بگوییم وب‌سایت ما را کراول کند؟

اگر بعد از انجام روش‌های بالا متوجه شدید برخی از برگه‌های مهم شما ایندکس نشده‌اند یا برخی از برگه‌هایی که نمی‌خواستید ایندکس شوند به‌اشتباه در لیست گوگل حضور دارند چطور؟ در این بخش با یکدیگر روش‌های بهینه‌سازی خاصی را مرور می‌کنیم که می‌توانید با انجام‌دادنشان به گوگل بات‌ها بگویید چگونه محتوای شما را کراول کنند. با این کار کنترل بهتری روی محتواهای لیست ایندکس گوگل خواهید داشت.

خیلی از مردم تنها می‌خواهند از اینکه گوگل وب‌سایتشان را پیدا کرده است مطمئن شوند و به‌راحتی فراموش می‌کنند که برخی از برگه‌ها نیز نباید ایندکس شوند! منظورم چیزهایی مثل URLهای قدیمی با محتوای بدردنخور، URLهای تکراری، کدهای تبلیغاتی ویژه، برگه‌های تستی و اولیۀ وب‌سایت و… است. یادتان نرود که باید برای جلوگیری از این اتفاق غم‌انگیز، برخی برگه‌ها را از دسترس گوگل بات‌ها خارج کنیم و برای این کار از robots.txt استفاده خواهیم کرد.

Robots.txt چیست؟

فایل‌های robots.txt در روت دایرکتوری (root directory) یا همان اولین صفحۀ اصلی هاست وب‌سایت (برای مثال yourdomain.com/robots.txt) قرار دارند. در این فایل‌ها به گوگل گفته شده است که کدام برگه‌ها را ایندکس کرده و از ایندکس کردن کدام یک از آنها چشم‌پوشی کند. همچنین با دستورالعمل‌های خاصی به موتور جستجو گفته می‌شود که با چه سرعتی شروع به خزیدن در وب‌سایت کند.

حالا این سؤال پیش می‌آید که گوگل بات چه کاری با فایل‌های robots.txt انجام می‌دهد؟ و جوابش هم این است:

• اگر گوگل بات نتواند فایل txt را در وب‌سایت شما پیدا کند شروع به خزیدن در وب‌سایت می‌کند.
• اگر چنین فایلی در وب‌سایت خود داشته باشید، گوگل بات معمولاً طبق پیشنهاداتی که در فایل ارائه کرده‌اید عمل کرده و سپس شروع به ایندکس کردن وب‌سایت می‌کند.
• اگر گوگل بات هنگان دسترسی به txt با مشکلی مواجه شود، نمی‌تواند موجودیت این فایل را تشخیص دهد و در نتیجه عملیات خزیدن را انجام نخواهد داد.

بودجه خزش (crawl budget) را بهینه‌سازی کنید!

موتورهای جستجو منابع نامحدودی ندارند و گاهی مجبور می‌شوند طبق یک اولویت‌بندی خاص تمرکز خود را بین میلیون‌ها وب‌سایت تقسیم کنند. اختصاص دادن بودجه خزش برای هر وب‌سایت، موتور جستجو را در انجام این کار کمک می‌کند. در مبحث سئو بودجه خزش تعداد صفحاتی است که گوگل در یک بازۀ زمانی مشخص (به‌عنوان‌مثال در یک روز) می‌تواند کراول کند. یعنی گوگل بسته به اندازه، بدون باگ بودن وب‌سایت و قدرتمند بودن سرور به هر وب‌سایت یک بودجه خزش اختصاص داده و شروع به ایندکس کردن محتوای آن می‌کند.

پس بار دیگر با یکدیگر مرور کنیم: بودجه خزش یا کراول باجت متوسط تعداد URLهایی است که گوگل بات قبل از ترک کردن وب‌سایت کراول می‌کند. پس بهینه‌سازی بودجه خزش باعث می‌شود سهمیه‌ای که گوگل برای سایت شما در نظر گرفته با خزیدن در برگه‌های بی‌اهمیت هدر نرود. بودجه کراول در وب‌سایت خیلی بزرگ اهمیت ویژه‌ای دارد؛ اما کار از محکم‌کاری عیب نمی‌کند! اگر کمی وقت گذاشته و دسترسی گوگل بات را به برخی از برگه‌ها که هیچ اهمیتی برای شما ندارند ببندید ضرر نخواهید کرد.

فقط مطمئن شوید برگه‌هایی که دارای دستورالعمل‌های دیگری مثل تگ‌های کنونیکال و نو ایندکس هستند را بلاک نکنید. اگر گوگل را از یک برگه بلاک کنید، قادر به دیدن دیگر دستورالعمل‌های آن نیز نخواهد بود.

خزنده‌ها به محتوای مهم شما دسترسی دارند؟

حالا که تاکتیک‌های مهمی برای اطمینان حاصل کردن از عدم دسترسی خزنده‌ها به محتوای بی‌اهمیت خود فرا گرفتید، وقتش رسیده بهینه‌سازی دسترسی موتور جستجو به محتوای مهم خود را آغاز کنید. گاهی اوقات موتورهای جستجوگر بخش‌هایی از وب‌سایت را با خزیدن پیدا می‌کنند؛ اما به دلایل متنوعی ممکن است دسترسی به بخش یا بخش‌هایی از وب‌سایت مختل شود. پس مهم است که مطمئن شویم تمامی محتوای وب‌سایت ما (نه فقط صفحه اصلی) توسط گوگل ایندکس شده باشند.

از خود این سؤال را بپرسید: ربات‌ها می‌توانند بدون مزاحمت درون وب‌سایت گشت‌وگذار کنند یا ورود به وب‌سایت حکم یک بن‌بست را برای آنها دارد؟ برای جواب به این سؤال باید موارد زیر را مدنظر قرار دهید.

محتوای پشت فرم‌های ورود (لاگین فرم)

اگر وب‌سایت شما به‌گونه‌ای طراحی شده که مخاطبین برای دسترسی به بخش‌های خاصی از محتوا باید وارد وب‌سایت شده یا فرم خاصی را پر کنند باید نگران چنین موضوعی باشید. موتورهای جستجو نمی‌توانند به این برگه‌ها دسترسی داشته باشند چرا که یک خزنده مطمئناً نمی‌تواند فرم ورود به وب‌سایت را پر کرده و وارد آن شود.

اتکا به فرم‌های جستجو

ربات‌ها نمی‌توانند از فرم‌های جستجوی درون وب‌سایت استفاده کنند. برخی از مدیران وب‌سایت خیال می‌کنند اگر یک فرم جستجو در سایت ایجاد کنند، موتور جستجو می‌تواند همۀ چیزهایی که مخاطبین در آن جستجو می‌کنند را پیدا کند.

بیشتر بخوانید:

معرفی کتاب اصول تولید محتوای متنی

استفاده بیش از حد از محتوای غیر متنی

شما نباید برای قسمت‌هایی از متن خود که برای سئو اهمیت دارند به‌جای نوشته از فرم‌های غیر متنی (تصاویر، ویدئو، گیف و…) استفاده کنید. با اینکه موتورهای جستجوگر هر روز در خواندن عکس‌های هوشمندتر می‌شوند هنوز هم نمی‌توانند تصاویر را کاملاً درک کنند.

امکان دنبال‌کردن ناوبری وب‌سایت برای موتور جستجو

خزنده‌ها همان‌طور که برای کشف کردن وب‌سایت شما به لینک‌هایی از دیگر وب‌سایت‌ها متکی هستند، برای گشت‌وگذار در وب‌سایت و دنبال‌کردن یک‌به‌یک برگه‌ها نیز به یک مسیر مشخص و راهنما نیاز دارند. اگر برگه‌ای دارید که می‌خواهید ایندکس شود؛ اما از هیچ یک از برگه‌های دیگر خود به آن لینک نداده‌اید، در واقع آن برگه را کاملاً از دید خزنده‌های پنهان کرده‌اید.

مشکلات متداول در سیستم ناوبری وب‌سایت به شرح زیر هستند:

• داشتن یک ناوبری موبایل که نتایج متفاوتی نسبت به ناوبری نسخه دسکتاپ ارائه می‌دهد.
• هر مدل ناوبری که آیتم‌های منوی آن در HTML آورده نشده باشند. مثل ناوبری‌های جاوا اسکریپت که هنوز هم کاملاً برای گوگل قابل‌فهم نیستند. پس بهترین راه برای مطمئن شدن از اینکه محتوایی توسط گوگل درک و ایندکس شود استفاده از HTML است.
• شخصی‌سازی یا نشان‌دادن یک ناوبری خاص برای برخی از کاربران به‌خصوص که می‌تواند تکنیک کلاه‌سیاه تلقی شده و باعث متضرر شدن وب‌سایت شود.
• فراموش‌کردن لینک‌دهی به برگه‌های اصلی وب‌سایت در ناوبری (فراموش نکنید که لینک‌ها مسیر حرکت خزنده‌ها به برگه‌های جدید هستند.)

به این دلایل است که داشتن یک ناوبری شفاف و ساختار فولدربندی URL به‌دردبخور برای وب‌سایت شما حیاتی است.

معماری اطلاعات نامساعد

عملیات سازماندهی و برچسب زدن محتوای روی وب‌سایت جهت بهبود بهره‌وری و قابلیت یافتن محتوا برای کاربران را معماری اطلاعات می‌نامند. بهترین معماری اطلاعات شهودی‌ترین حالت آن است. به زبان ساده یک کاربر نباید برای حرکت کردن در وب‌سایت یا یافتن یک محتوای خاص سردرگم شود.

استفاده صحیح از سایت مپ یا نقشه سایت

نقشه سایت لیستی از URLهای وب‌سایت است که خزنده‌های موتور جستجو می‌توانند از آن برای ایندکس کردن مطالب استفاده کنند. یکی از بهترین و راحت‌ترین کارهای برای اطمینان حاصل کردن از ایندکس شدن برگه‌های وب‌سایت، ساختن یک نقشه سایت استاندارد و قراردادن آن در سرچ کنسول گوگل است. با اینکه معرفی یک نقشۀ سایت به گوگل نمی‌تواند جایگزین ناوبری سایت شود، اما تأثیر مثبتی روی رفتار خزنده‌ها به جهت دنبال‌کردن مسیر درست و ایندکس صفحات مهم دارد.

ارور گرفتن خزنده‌ها به هنگام تلاش برای دسترسی به URLها

در کل می‌توان گفت ارورهایی که ممکن است برای خزنده‌ها به وجود بیاید دو نوع ارورهای ۴xx و ارورهای ۵xx  هستند. منظور از xx اعداد متغیری است که در هرکدام از ارورهای متفاوت خواهند بود. ارورهای ۵xx که با نام server error یا ارورهای سرور هم شناخته می‌شوند زمانی رخ می‌دهند که خزنده‌های موتور جستجو به دلیل بروز یک مشکل در سرور نتوانند به محتوای شما دسترسی پیدا کنند.

اما ارورهای ۴xx یا client errors زمانی رخ می‌دهند که خزنده‌ها به دلیل یک مشکل کلاینت نمی‌توانند محتوای شما را پیدا کنند. یکی از مهم‌ترین انواع این ارورها هم ارور ۴۰۴ not found است که حتماً با آن آشنایی دارید. چنین اروری ممکن است به دلیل یک اشتباه در تایپ URL، پاک‌کردن برگه‌ها یا یک ریدایرکت ناموفق به وجود بیاید.

ایندکس: موتور جستجو چگونه برگه‌های ما را ترجمه و ذخیره‌سازی می‌کند؟

حالا که مطمئن شدیم وب‌سایت ما برای گوگل بات قابل خزیدن است، زمان آن رسیده که از ایندکس شدن آن هم اطمینان حاصل کنیم. چرا که قابلیت خزیدن به‌تنهایی باعث ایندکس شدن برگه‌های ما در گوگل و دیگر موتورهای جستجوگر نمی‌شود. در بخش قبلی در مورد اینکه موتور جستجوگر چگونه وب‌سایت شما را کراول می‌کند حرف زدیم. حالا باید بدانید ایندکس در واقع جایی است که صفحات کشف شده ذخیره می‌شوند. بعد از اینکه یک خزنده برگه‌ای را پیدا می‌کند، موتور جستجوگر شروع به پردازش آن کرده و تمام اطلاعاتش را در ایندکس خود ذخیره می‌کند.

آیا برگه‌ها ممکن است از ایندکس پاک شوند؟

بله ممکن است برگه‌ها از ایندکس پاک شوند. برخی از دلایل پاک شدن برگه از ایندکس هم به شرح زیر هستند:

• لینک URL یک ارور ۴xx یا ۵xx دریافت کرده است. این اتفاق می‌تواند تصادفی (برگه جابه‌جا شده؛ اما ریدایرکتی برای آن قرار نداده‌ایم) یا عمدی (از عمد آن را پاک کرده‌ایم تا از لیست ایندکس پاک شود) رخ دهد.
• لینک URL یک متاتگ نو ایندکس داشته است. صاحبان وب‌سایت‌ها می‌توانند برای حذف کردن یک برگه از ایندکس از این متاتگ استفاده کنند.
• لینک URL به دلیل نقض کردن رهنمودهای موتور جستجو مورد جریمه قرار گرفته و در نتیجه از ایندکس پاک شده است.
• لینک URL به دلیل اضافه‌شدن رمز ورود به برگه دیگر برای خزنده‌ها در دسترس نیست.

چگونه به موتور جستجو بگویم وب‌سایت ما را ایندکس کند؟

با استفاده از عملیات زیر می‌توانید به موتورهای جستجو بگویید چگونه وب‌سایت شما را ایندکس کنند:

دستورالعمل ربات‌های متا Robots Meta Directives

این دستورالعمل‌های قطعه کدهای کوتاهی هستند که درخواست‌های شما مبنی بر چگونگی خزیدن داخل صفحات مختلف را به ربات‌ها اعلام می‌کنند. این دستورالعمل‌ها را در اینجا به دو دستۀ متاتگ ربات و X-Robots-Tag تقسیم کرده‌ایم.

متاتگ ربات Robots Meta Tag چیست؟

متاتگ ربات که با نام برچسب‌های ربات نیز شناخته می‌شود، قطعه‌ای کد HTML است که در بخش head برگه‌ها اضافه می‌شود. در ادامه به معرفی برخی از مهم‌ترین دستورالعمل‌های متای ربات‌ها و دلیل استفاده از آنها خواهم پرداخت.

ایندکس/نو ایندکس (index/noindex): به موتور جستجو می‌گوید باید کدام برگه‌های خزیده و از کراول کردن کدام‌یک از آنها چشم‌پوشی کند. در این متاتگ‌ها اگر «نو ایندکس» را انتخاب کنیم در واقع به خزنده‌ها فرمان داده‌ایم که این برگه‌ها را از نتایج جستجو حذف کند. همۀ موتورهای جستجوگر به‌صورت پیش‌فرض تصور می‌کنند باید تمام برگه‌های وب‌سایت را ایندکس کنند پس استفاده از فرمان «ایندکس» ضروری نیست.

• کجا باید استفاده شود؟ زمانی که می‌خواهید جلوی ایندکس شدن برخی برگه‌های کم محتوا را بگیرید. برگه‌هایی مثل پروفایل کاربران وب‌سایت که باید در دسترس کاربران باشند؛ اما ایندکس شدن آنها برایتان اهمیتی ندارند.

فالو/نو فالو (follow/nofollow): به موتور جستجو می‌گوید باید لینک‌های برگه را دنبال کند یا بی‌خیال آنها شود. فالو بدین معنی است که ربات‌ها باید لینک‌های درون برگه را دنبال کرده و اهمیتی برایشان در نظر بگیرد. اما نو فالو بدین معنی است که موتورهای جستجو حق ندارند لینک‌های درون برگه را دنبال کنند. تمام برگه‌ها به‌صورت پیش‌فرض روی حالت فالو قرار دارند.

• کجا باید استفاده شود؟ از این قابلیت معمولاً در کنار نو ایندکس استفاده می‌شود. یعنی برگه‌هایی که اهمیت چندانی برای شما نداشته و نمی‌خواهید لینک‌های درونشان نیز توسط ربات‌ها دنبال شوند.

نو آرشیو (noarchive): زمانی استفاده می‌شود که بخواهید موتور جستجو را از ذخیره کردن یک کپی کش شده از برگه باز دارید. موتورها به‌صورت پیش‌فرض کپی‌هایی قابل نمایش از همۀ برگه‌هایی که ایندکس کرده‌اند پیش خود حفظ می‌کنند و به هنگام جستجو در دسترس جستجوگران قرار می‌دهند.

• کجا باید استفاده شود؟ اگر یک وب‌سایت فروشگاهی دارید و قیمت‌های محصولات به‌صورت مداوم در حال تغییر هستند باید از تگ نو آرشیو استفاده کنید تا جستجوگران قیمت‌های قبلی و قدیمی را مشاهده نکنند.

X-Robots-Tag چیست؟

از X-Robots-Tag در قسمت هدر سایت استفاده می‌شود. این مدل از دستورالعمل ربات‌های متا به نسبت متاتگ‌ها انعطاف‌پذیری بیشتری دارد؛ چرا که می‌توانید دستورالعمل‌های خود را در مقیاس بزرگ‌تر پیاده‌سازی کنید. به هنگام استفاده از X-Robots-Tag می‌توانید فایل‌های غیر HTML را هم بلاک کرده و از تگ‌های نو ایندکس به‌صورت یک جا در کل وب‌سایت استفاده کنید.

درک کردن روش‌های مختلف تأثیرگذاری روی خزیدن و ایندکس کردن به شما کمک می‌کند از دام‌های متداولی که می‌تواند باعث عدم پیداشدن برگه‌های مهم شما شود جلوگیری کند.

رنکینگ: موتورهای جستجو چگونه URLهای ما را رتبه‌بندی می‌کنند؟

موتور جستجو چگونه مطمئن می‌شود مردم با جستجوی عبارات کلیدی به نتایج دلخواه و مناسب می‌رسند؟ به این پروسه رتبه‌بندی یا رنکینگ می‌گویند که در واقع به معنی مرتب‌سازی نتایج جستجو از مرتبط‌ترین به نامرتبط‌ترین است.

موتورهای جستجو برای تشخیص این ارتباط از الگوریتم‌های به خصوصی استفاده می‌کنند: یک پروسه یا فرمول که اطلاعات ذخیره شده را فراخوانی کرده و به ترتیب برای جستجو کننده لیست می‌کند. این الگوریتم‌ها برای بهترشدن کیفیت نتایج جستجو طی سال‌های گذشته تغییرات زیادی کرده‌اند. برای مثال گوگل هر روز در حال به‌روزرسانی آنها است.

موتور جستجو چه می‌خواهد؟

موتورهای جستجوگر همیشه یک چیز خواسته‌اند: فراهم‌آوردن بهترین پاسخ‌ها برای سؤالات جستجوگران در فرمت‌های به‌دردبخور. اما اگر این پاسخ صحیح است، چرا سئو به نسبت سال‌های گذشته دستخوش تغییرات زیادی شده است؟

فرض کنید در حال فراگرفتن یک زبان جدید هستید. مسلماً درک شما از این زبان در روزهای اول بسیار ابتدایی است. در طول زمان درک شما عمیق‌تر شده و مفاهیم را یاد می‌گیرید. در نهایت با تمرین کافی به دانش کافی از آن زبان رسیده و حتی نکات ظریف آن را هم فرا خواهید گرفت و می‌توانید پاسخ سؤالات نامفهوم و ناتمام را هم بدهید. همین اتفاق برای موتورهای جستجو نیز رخ داده است.

در ابتدا زمانی که موتورهای جستجوگر در حال آموختن زبان ما بودند، به‌جای تمرکز روی کیفیت به ترفندها و تاکتیک‌های دیگر توجه می‌کردند. برای مثال کیورد استافینگ (keyword stuffing) را در نظر بگیرید. آن روزها می‌توانستید برای رتبه گرفتن در یک عبارت کلیدی خاص، آن را بارها در متن خود تکرار کرده و امیدوار باشید رتبۀ خوبی در گوگل دریافت می‌کنید. تکنیکی که باعث تجربۀ کاربری بسیار بدی شد. خیلی از وب‌سایت‌ها آن‌قدر از کلمه کلیدی‌های مختلف در متون خود استفاده می‌کردند که خواندن متن برای مخاطب بسیار سخت بود. این تاکتیک شاید در گذشته برای موتورهای جستجو خوب بود؛ اما امروزه چیزی نیست که آنها بخواهند!

نقشی که لینک‌ها در سئو بازی می‌کنند چیست؟

وقتی از لینک‌ها سخت می‌گوییم ممکن است منظورمان دو چیز باشد. لینک‌های خارجی (Backlink یا Inbound Link) که از دیگر وب‌سایت‌ها دریافت می‌کنیم و لینک‌های داخلی (Internal Links) که محتوای وب‌سایت ما را به یکدیگر متصل می‌کند.

لینک‌ها نقش بزرگی در سئو ایفا می‌کنند. تا همین چند وقت پیش موتورهای جستجو برای تشخیص ارزشمند بودن URLها دچار مشکل بودند؛ اما با حساب کردن تعداد لینک‌های خارجی و داخلی یک وب‌سایت این مشکل را حل کردند. بک‌لینک‌ها یا لینک‌های خارجی عملکردی بسیار مشابه با تبلیغات دهان‌به‌دهان خودمان دارند.

به همین دلیل بود که پیج رنک خلق شد. پیج رنک (بخشی از هستۀ اصلی الگوریتم گوگل) یک الگوریتم آنالیز لینک است که میزان اهمیت یک برگه را با اندازه‌گیری کیفیت و کمیت لینک‌هایی که به آن داده شده است می‌سنجد. فرض اصلی این الگوریتم بر این است که هر چه برگه مرتبط‌تر، مهم‌تر و ارزشمندتر باشد، لینک‌های بیشتری به آن داده شده است. پس هر چه لینک‌های خارجی باکیفیت‌تری از وب‌سایت‌های مورد اعتماد گوگل دریافت کنید، احتمال گرفتن رتبۀ بهتر در صفحه نتایج گوگل برای مطالب شما بیشتر می‌شود.

نقشی که محتوا در سئو بازی می‌کند چیست؟

لینک‌ها همانند مسیرهای میان‌بری هستید که ما را به مقصد مشخصی می‌رسانند. اما اگر مقصدی وجود نداشته باشد، جاده به چه درد می‌خورد؟ مقصدی که در این مثال از آن یاد کردیم در واقع همان محتوا است. محتوا تنها به معنی چند کلمه که کنار یکدیگر چیده شده‌اند نیست؛ بلکه هر چیزی که برای مصرف مخاطبان آماده شده باشد را محتوا می‌نامیم. علاوه بر متن، انواع مختلف محتوا مثل محتوای ویدئویی، محتوای تصویری و… نیز وجود دارند. اگر موتور جستجو را ماشین پاسخگویی می‌دانیم، محتوا ابزاری است که توسط آن به سؤالات پاسخ داده می‌شود.

موتور جستجو همۀ محتواها را بررسی کرده و در نهایت در نظر می‌گیرد که کدام محتوا بهترین جواب را برای عبارتی که کاربر جستجو کرده در دل خود دارد. به زبان دیگر، آیا این برگه با عبارتی که جستجو شده است همخوانی دارد و پاسخ سؤال کاربر را به‌درستی می‌دهد؟

در واقع به‌خاطر تمرکز شدید موتورهای جستجوگر روی رضایت کاربر هیچ معیار سختگیرانه‌ای روی طول و تعداد کلمات مطلب، تکرار کلمات کلیدی یا نوشتن عنوان و هدر وجود ندارد. همۀ این گزینه‌ها می‌توانند در رتبه‌بندی وب‌سایت مؤثر باشند؛ اما تمرکز شما در تولید محتوا باید روی کاربرانی باشد که قرار است محتوا را ببینند و بخوانند.

امروزه با ظهور بیش از هزاران سیگنال رتبه‌بندی، سه مورد اصلی نسبتاً استوار و بدون تغییر باقی‌مانده‌اند:

• لینک‌هایی که به وب‌سایت شما سرازیر می‌شوند (لینک‌های خارجی)
• محتوای مفید داخل صفحات وب‌سایت (محتوایی که نیازهای کاربران را برآورده می‌کند)
• الگوریتم رنک برین RankBrain

الگوریتم رنک برین چیست؟

به طور خلاصه رنک برین یک الگوریتم بر پایۀ هوش مصنوعی است که برای دقیق‌تر شدن پیش‌بینی‌هایش همیشه در حال یادگیری از طریق مشاهدات و دیتاهای آموزشی است. به زبان دیگر، رنک برین همیشه در حال تلاش برای بهترشدن است و در نتیجه نتایج جستجو نیز همواره هوشمندانه‌تر می‌شوند.

برای مثال اگر رنک برین متوجه شود که یک URL با رتبۀ پایین نسبت به URLهای دارای رتبۀ بالاتر جواب بهتری به سؤال کاربران داده است، سریعاً وارد کار شده و جابه‌جایی رتبۀ URLها را انجام می‌دهد.

اما ممکن است این سؤال پیش بیاید که چه بر سر سئویی که می‌شناختیم خواهد آمد؟ به دلیل اینکه گوگل به استفاده از رنک برین ادامه خواهد داد، باید بیشتر از همیشه روی برآورده کرده انتظارات کاربران تمرکز کنیم. باید بهترین اطلاعات ممکن را فراهم آورده و بهترین تجربه را برای کاربرانی که وارد وب‌سایت ما می‌شوند رقم بزنیم. با این کارها می‌توان دل رنک برین را به دست آورد و رتبۀ خوبی در نتایج جستجو گرفت.

نقشی که معیارهای تعامل یا انگیجمنت در سئو بازی می‌کنند

معیارهای تعاملی به معنی اطلاعاتی است که از تعامل کاربران با وب‌سایت ما به دست می‌آید و شامل موارد زیر است:

• کلیک‌ها (Clicks): تعداد کلیک‌های ارگانیکی که روی مطالب ما در صفحۀ نتایج جستجو می‌شود.
• زمانی سپری شده روی صفحه (Time on page): مقدار زمانی که کاربران قبل از ترک کردن وب‌سایت در صفحۀ ما می‌گذرانند.
• بانس ریت یا نرخ پرش (Bounce rate): درصد دفعاتی که کاربران تنها یک برگه از وب‌سایت را دیده و سپس آن را ترک کرده‌اند.
• پوگو استیکینگ (Pogo-sticking): وقتی که یک کاربر روی لینک ما در صفحه نتایج کلیک کرده و سپس سریعاً به صفحه SERP بازمی‌گردد تا لینک دیگری را هم انتخاب کند.

با اینکه گوگل هیچ‌گاه به طور مستقیم از معیارهای تعاملی به‌عنوان سیگنال مستقیم رنکینگ یاد نکرده است، اما بارها نشان داده که از اطلاعات مربوط به کلیک‌ها برای رتبه‌بندی برخی از کلمات کلیدی استفاده می‌کند. به‌عنوان‌مثال یکی از مسئولان کیفیت جستجوی سابق گوگل در این باره گفته است:

رنکینگ از اطلاعات مربوط به کلیک‌ها تأثیر می‌پذیرد. اگر متوجه شویم که به هنگام جستجوی یک عبارت کلیدی خاص ۸۰ درصد از مردم روی لینک دوم کلیک می‌کنند و تنها ۱۰ درصد سراغ لینک شماره یک می‌روند، احتمالاً بعد از مدتی جای این دو نتیجه را با یکدیگر عوض خواهیم کرد. یودی منبر (Udi Manber) – مدیر سابق کیفیت جستجوی گوگل

ازآنجاکه طبق این شواهد گوگل از معیارهای تعاملی برای بالابردن کیفیت صفحه نتایج خود استفاده می‌کند، واضح است که باید مطالب خود را به‌گونه‌ای سئو کنیم که برای گرفتن انگیجمنت از مخاطبین بهینه‌سازی شده باشند. تعامل کیفیت صفحۀ شما را تغییر نمی‌دهد؛ اما ارزش آن را برای کاربران مشخص می‌کنند. به همین خاطر هم هست که اگر کاربران تعامل خوبی با صفحۀ شما نداشته باشند، در صفحه نتایج جستجوی گوگل سقوط خواهید کرد.

سیر تکاملی موتور جستجو

در گذشته و زمانی که موتورهای جستجو پیچیدگی‌های امروز خود را نداشتند، صفحه نتایج آنها تنها در ۱۰ لینک آبی‌رنگ خلاصه می‌شد. هر بار که عبارت کلیدی خاصی جستجو می‌شد، گوگل یک لیست با ده لینک آبی‌رنگ تحویل کاربر می‌داد که همیشه یک فرمت خاص داشت.

آن دوران پس از قرارگرفتن در رتبۀ اول صفحۀ SERP به‌یک‌باره احساس یک پادشاه بزرگ را داشتید. اما سپس اتفاق دیگری رخ داد. گوگل شروع به اضافه‌کردن و نمایش دادن نتایج در فرمت‌های جدید کرد. فرمت‌هایی مثل:

• تبلیغات پولی (Paid advertisements)
• اسنیپت‌های ویژه (Featured snippets)
• باکس‌های «مردم همچنین پرسیده‌اند» (People Also Ask boxes)
• پکیج محلی (نقشه) (Local (map) pack)
• پنل دانش (Knowledge panel)
• سایت لینک‌ها (Sitelinks)

تعداد این فرمت‌های جدید همواره در حال بیشترشدن است و به دو دلیل ترس بزرگی به دل جامعۀ سئوکاران انداخته است. دلیل اول اینکه با اضافه‌شدن این فرمت‌ها، نتایج ارگانیک همواره در حال پایین‌تر رفتن در صفحه نتایج جستجوی گوگل هستند. دلیل دوم هم اینکه مردم در حال حاضر کمتر روی نتایج ارگانیک کلیک می‌کنند؛ چرا که سؤالات آنها در همان فرمت‌های ویژه پاسخ داده می‌شود.

پس چرا گوگل این کار را کرده است؟ جواب این سؤال به تجربۀ کاربری بازمی‌گردد. رفتار کاربران نشان می‌دهد که بعضی از عبارات کلیدی جستجو شده با فرمت‌های محتوایی مختلف بهتر پاسخ داده می‌شوند. البته در بخش سوم آموزش سئوی وب‌سایت ذولیشو بیشتر در مورد نیت گوگل صحبت خواهیم کرد. در حال حاضر تنها باید بدانید نتایج جستجو می‌توانند به اشکال مختلفی توسط گوگل به نمایش در بیایند. پس ساختار محتوای شما می‌تواند شما در یکی از این فرمت‌ها قرار دهد.

سخن آخر

لازم نیست از تمامی رفتارهای الگوریتم گوگل که هنوز هم یکی راز است باخبر باشید. در حال حاضر اطلاعات بسیار پایه و مهمی از اینکه موتور جستجو چگونه محتوا را پیدا، ترجمه، ذخیره و رتبه‌بندی می‌کند پیدا کرده‌اید. حالا با این دانش سراغ انتخاب کلمات کلیدی یا کیورد ریسرچ در بخش سوم آموزش سئو می‌رویم.

ترجمه و تألیف این مطلب چیزی حدود سه روز زمان از من گرفت. شاید گفتن این نکته حرفه‌ای نباشد؛ اما من همیشه راه خودم را در تولید محتوا رفته‌ام. می‌توانستم با این سه روز کارهای خیلی مهم‌تری انجام دهم؛ اما آن را وقف ترجمۀ متن از وب‌سایت MOZ و اضافه‌کردن اطلاعات اضافی که لازم به توضیح بیشتر داشتند کردم. خودم هم در این مسیر برخی اطلاعات مفید کسب کردم و امیدوارم شما هم تجربۀ خوبی از خواندنش داشته باشید.

خوشحال می‌شوم اگر نظر خود را راجع به نکاتی که در این مطلب مطالعه کردید با من در میان بگذارید. به‌علاوه تمام سؤالات شما در بخش کامنت‌های این پست پاسخ داده خواهند شد. پس هر چیزی که برایتان گنگ باقی مانده است را زیر همین مطلب از من بپرسید.