الگوریتم های جستجو چگونه کار می کنند؟

کراولینگ موتورهای جستجو چیست؟

کراولینگ پروسه کشفی است که موتورهای جستجو انجام می دهند. موتورهای جستجو تیمی از ربات ها که به عنوان کراولرها(crawlers) و عنکبوت ها(spiders) شناخته می شوند را برای کشف و اپدیت محتوا می فرستد. محتوا در اینترنت از همدیگر متفاوت هستند. یک محتوا می تواند صفحه ی وب، عکس، ویدیو، PDF و غیره باشند. اما در کل محتوا صرف نظر از فرمت آن ها با لینک پیدا می شوند.برای خرید رپورتاژ لطفا کلیک کنید

به گفته پلتفرم رپورتاژ  تسمینو، ربات ها شروع می کنند که چند صفحه وب را بررسی کنند، سپس به دنبال لینک های موجود در آن صفحه می روند تا اینکه URLهای جدید را پیدا می کنند. این پروسه به همین نحو ادامه پیدا می کند و محتوای  کراولر ها می توانند هر لحظه محتوای جدیدی را کشف کنند و آن را یه ایندکس خود اضافه می کنند. حال پایگاه داده ای بسیار عظیم از URL ها کشف و ذخیره شده است و بعدا زمانی که یک جستجو کننده به دنبال اطلاعاتی می گردد، موتور های جستجو گر بتوانند محتوای موجود بر روی URL را برای کاربر بازیابی کنند.

ایندکس موتورهای جستجو چیست؟

موتور های جستجو سعی می کنند که اطلاعات فوق العاده زیادی را که در مرحله ی پیش به کشف کرده اند را دسته بندی و ذخیره کنند و محتوای را که به اندازه ی کافی مناسب هستند را برای کاربران عرضه می کنند.

رنکینگ موتور جستجو

وقتی یک نفر جستجویی را انجام می دهد، موتور جستجو صفحه ی اول خود را برای مرتبط ترین محتوا اماده می کند سپس این صفحه را بر اساس مرتبط ترین محتوا مرتب می کند به امید اینکه بتواند در پرسش کاربر را به درستی جواب بدهد. این مرتب سازی نتایج جستجو بر اساس مرتبط ترین محتوا را رنکینگ می گویند. در کل می توان فهمید هر سایتی که بالاتر قرار گرفته است موتور جستجو فکر می کند بهترین جواب برای جستجوی شما است.

امکان این وجود دارد که شما ربات و کراولرهای موتور جستجو را بلاک کنید که به بخش یا کل سایت شما دسترسی نداشته باشند و نتوانند آن قسمت ها را ایندکس کنند. تا زمانی که شما بخواهید موتور های جستجو از سایت شما دور باشند مشکلی نیست و موتور های جستجو نمی توانند محتوای شما را ایندکس کنند و لی در غیر این صورت شما باید مطمئن باشید که سایت شما به جستجو گر ها اجازه ی ورود می دهد.

در کل ما می خواهیم به شما یاد بدیم چگونه با موتور های جستجو کار کنید نه اینکه با آن ها مقابله کنید!

نکته: همه‌ي موتورهای جستجو مشابه عمل نمی کنند

بسیاری از افراد وقتی راجب به سئو و موتور جستجو حرف زده می‌شود تنها به گوگل فکر می کنند، البته حق دارند از هر کسی بپرسید موتور جستجوگر چیست می گوید گوگل ولی نباید سایت های دیگر مانند بینگ و یاهو را به کلی از خاطر برد. بیش از ۳۰ موتور جستجو در دنیا وجود دارد ولی کل جامعه ی سئو فقط به گوگل فکر می کند شاید بپرسید چرا؟ جواب کوتاه است همه ازگوگل استفاده می کنند. هر چیزی که ما در اینترنت به دنبال آن هستیم را از گوگل می خواهیم، برای عکس سراغ Google Images می رویم برای نقشه سراغ Google Maps می رویم و برای فیلم نیز YouTube(از دارایی های گوگل) را باز می کنیم. بیش از ۹۰٪ جستجوی های اینترنت توسط گوگل انجام می شود، که تقریبا ۲۰ برابر سهم بینگ و یاهو به هم است!

کراولینگ: آیا موتورهای جستجو می تواند سایت شما را پیدا کند؟

همانطور که قبلا گفتیم، اطمینان حاصل کنید که سایت شما crawled ایندکس می شود، اولین و اصلی ترین شرط برای نمایش سایت شما در SERPها. برای فهمیدن اینکه کدام صفحه شما ایندکس شده است باید به استاد بزرگ گوگل مراجعه کنید، سپس در کادر جسجتو عبارت «site:yourdomain.com» را جستجو کنید فقط مانند زیر yourdomain را با دامنه خود عوض کنید.

این کار به شما نشان می دهد که گوگل کدام صفحه از دامنه وارد شده را ایندکس کرده است.

عددی که در کادرنمایش داده می شود(About 583 results) تعداد صفحه های ایندیکس شده است اما این تعداد قابل اطمینان نیست و صفحه های ایندکس شده ی شما می‌تواند از این کمتر ویا بیشتر باشد، در کل یک ایده به شما در باره تعداد صفحات ایندکس شده می دهد.

برای نتایج دقیق تر می توانید از کنسول جستجوی گوگل استفاده کنید در انجا می توانید نظارت بیشتر بر گذارش های ایندکس سایت خود داشته باشید، همچنین در انجا می توانید نقشه ی سایت خود را نیز وارد کنید و ببینید چه صفحه های ایندکس شده است. برای استفاده از این سرویس شما باید اکانت در داشته باشید که خوشبختانه ثبت نام آن رایگان است.

اگر سایت شما در هیچ جایی نمایش داده نمی شود چندین دلیل می تواند وجود داشته باشد:

• سایت شما کاملا جدید است و هنوز توسط ربات های کراولر پیدا نشده است.
• سایت شما هیچ پیوند خارجی ندارد.
• نحوه ی ناوبری در سایت شما برای ربات ها سخت است و نمی توانند به راحتی صفحه ها را پیدا کنند.
• سایت شما حاوی قطعه کد های ساده ای است که از ورود ربات ها و کراولر های موتور جستجو جلوگیری می کند.
• سایت شما به دلیل استفاده از تاکتیک های اسپم پنالتی شده است.

اگر سایت شما هیچ لینک خارجی ندارد نگران نباشید با ثبت XML نقشه سایت خود در Google Search Console می توانید ایندکس کنید همچنین می توانید . البته هیچ زمانتی وجود ندارد که سایت شما سریعا ایندکس شود ولی بهتر است این راه را هم امتحان کنید.

ایندکسینگ: موتورهای جستجو چگونه سایت را درک و بیاد می آوردند؟

زمانی که فهمیدید سایت شما کراول شده است وقت آن می رسد که کاری کنید صفحه ها و محتوای شما ایندکس شود. کشف و بررسی شدن محتوای شما توسط کراولرهای موتور جستجو به معنی ایندکس شدن آن ها نیست.در بخش قبلی در باره‌ی چگونگی کشف و بررسی محتوا شما توسط کراولرهای موتور جستجو بحث کردیم. حال ایندکس به عملی گفته می شود که محتوای کشف و بررسی شده ی شما ذخیره می شود.

بعد از آن که که کراولر یک صفحه را پیدا می کند موتورهای جستجو دقیقا آن را مانند یک مرورگر رندر می کنند. در میان این پروسه موتورهای جستجو محتوای وب را نیز انالیز می کنند و در این میان اطلاعاتی ذخیره می شود به این اطلاعات ذخیره شده ایندکس می گویند. در باره‌ی اینکه چگونه ایندکسیگ کار می کند مطالعه کنید و مطمئن شوید سایت شما هم به این دیتابیس راه پیدا می کند.

آیا من می‌توانم بفهمم ربات کراولر گوگل چگونه صفحه‌ی من را می‌بیند؟

بله، اخرین باری که یک ربات گوگل از سایت شما بازدید می کند یک نسخه از صفحه نیز کش می شود.

گوگل صفحات وب را در فرکانس های مختلفی کش می کند. سایت های قدیمی و بیشتر شناخته شده که بطور مداوم بروزرسانی می شوند به محض انتشار یک پست سایت آن ها بررسی و ایندکس می شود ولی سایت ها تازه کار و کمتر شناخته شده و سایت هایی که دیر بروزرسانی می شوند دیرتر توسط کراولر ها بررسی و ایندکس می شوند.

شما می توانید با کلیک بر روی فلش کشویی و انتخاب «Cached» که در نتایج صفحه ی جستجو وجود دارد کشی که گوگل از صفحه ی شما ذخیره کرده است را نگاه کنید. همچنین شما می توانید نسخه ی متنی کش سایت خود را ببینید و مطمئن شوید که ایا قسمت های مهم محتوای شما نیز بررسی و کش شده است؟

آیا ممکن است صفحات از ایندکس حذف شوند؟

جواب مثبت است، امکان حذف صفحات از ایندکس وجود دارد. بعضی دلایل حذف URL از ایندکس در زیر اورده شده است:

• URL خطای (4XX) not found یا خطای سرور (5XX) را باز می گرداند ‌– این خطا ها می توانند اتفاقی باشند. مثلا ممکن است که صفحه منتقل شده باشد و هنوز ری‌دایرکت ۳۰۱ نصب نشده باشد گاها هم می تواند عمدی باشد مثلا مدیر سایت صفحه را کلا حذف کرده است.
• به URL مگاتگ noindex اضافه شده باشد – ‌این تگ به احتمال زیاد توسط مدیر سایت اضافه شده است و مدیر سایت از موتور جستجو می خواهد که صفحه را از نتایج حذف کند.
• URL توسط موتور جستجو پنالتی شده است به این دلیل که دستور العمل های مربوط به وبمستران موتور جستجو را نقض کرده است که نتیجه ی آن حذف از نتایج است.
• URL به دلیل نیاز داشتن به رمز عبور کراولر ها را بلاک کرده است در این مورد سایت قبل از نمایش محتوا به کاربران از آن ها در خواست رمز می کند.

اگر که یکی از URL شما که قبلا در نتایج گوگل وجود داشت و الان دی ایندکس شده است و بعد از بررسی موتجه شدید هیچ مشکلی ندارد به کنسول جستجوی گوگل مراجعه کنید و بصورت دستی URL را ثبت کنید.

رنکینگ: موتورهای جستجو چگونه به URLها رنک می‌دهند؟

چگونه موتورهای جستجو اطمینان داشته باشند زمانی که یک کاربر پرسشی را در کادر جستجو وارد می کند مرتبط ترین پاسخ را دریافت کند؟ این پروسه که موتور جستجو نتایج را بر اساس مرتبط ترین جواب به پرسشها رتبه بندی می کند به عنوان رنکینگ شناخته می شود.

برای این کار، موتور های جستجو از الگوریتم‌ها استفاده می کنند، فرایند و فرمول هایی که اطلاعات ذخیره شده را باز یابی می کند به نحوی آن را مرتب می کند که معنی دار شوند. این الگوریتم ها در طول سال تغییرات زیادی را تجربه کرده اند و این تغییرات برای بالا بردن کیفیت نتایج جستجو ها ایجاد شده است.برای مثال گوگل، هر روز تنظیمات الگوریتمی جدید را اعمال می کند بعضی از این بروزرسانی ها کمی کیفیت الگوریتم را بهبود می بخشند، در حالی که بقیه بروزرسانی ها برای حل مشکلات خاصی در الگوریتم ها اعمال می شوند. مانند الگوریتم پنگوئن برای مقابله با لینک های اسپم.

چرا الگوریتم ها بصورت مداوم تغییر می کنند؟ درحالی که اغلب گوگل مشخصات بروزرسانی های جدید را بر ملا نمی کند و نمی گوید چرا و برای چی این بروز رسانی را عرضه کرده است. تنها چیزی که ما میدانیم این است که گوگل با این بروز رسانی ها می خواهد بهبود نتایج کلی را روز به روز بهبود ببخشد.اگر سایت شما بعد از بروز رسانی ضربه خورده است، می توانید به و یا مراجعه کنید هر دو به شما می گویند که موتور های جستجو از شما چی می خواهند.

موتورهای جستجو از شما چه می خواهند؟

موتورهای جستجو همواره یک موضوع را می خواهد: اینکه بهترین جواب را به بهترین نحو برای جستجو کنندگان فراهم کند. شاید بپرسید پس چرا سئو ی الان با چند سال پیش فرق دارد؟

شما فکر کنید موتور های جستجو مانند فردی هستند که دارد زبان جدید یاد میگیرد.

در ابتدا درک موتورهای جستجو بسیار ابتدایی بود — هر سایتی را در نتایج نمایش می داد. در طول زمان درکشان قوی تر و عمیق تر شد و آن ها معنا شناسی یاد گرفتند.ان ها به مرور معنی که در پشت زبان ها قرار را فهمیدند و ارتباط میان کلمات و جمله ها را درک کردند. در نهایت، با تمرین کافی، دانش اموز به اندازه کافی زبان را یاد گرفته است به حدی که نکات ظریف را نیز درک می کند، و می تواند سوال های ناقص و مبهم را نیز جواب دهد.

زمانی که موتورهای جستجو تازه شروع به یادگیری زبان ما کردند، بسیار راحت تر بود که با سیستم دستورالعمل های موتور جستجو بازی بکنید وان ها را با استفاده از ترفند ها و تاکتیک های خاص فریب دهید. به عنوان مثال کلمه ی کلیدی مانند «جوک خنده دار» را مد نظر قرار می دهیم. شما این کلمه ی کلیدی را چندین بار در سایت خود قرار می دهید و امید وارید که با برجسته نشان دادن این کلمه موتور جستجو رنک محتوای و سایت شما را بهبود ببخشد.

به جوک خنده دار خوش امدید! ما جالب ترین جوک های دنیا را می گوییم. جوک های خنده دار سرگرم کننده و دیوانه هستند. جوک خنده دار در انتظار شما است. بشینید و جوک های خنده دار را بخوانید زیرا جوک های خنده دار می توانند شما را خوشحال و سرگرم  بکنند. بعضی از خنده دار ترین و محبوب ترین جوک های خنده دار.

این تاکتیک تجربه کاربری بسیار وحشتناکی را فراهم می اورد. به جای خندیدن به جک خنده دار کاربران با جملات ناراحت کننده که خواند آن هم سخت و زننده است بمباران می شوند. در قدیم این تاکتیک ها کار می کردند ولی موتور های جستجو هیچ وقت نمی خواستند اینگونه شود.

سیر تکاملی نتایج جستجو

در زمانی موتور های جستجو به اندازه ی امروز پیچیده نبودند. SERPها صرفا ۱۰ لینک آبی بود که در نتایج نمایش داده می شدند. هر زمانی که یک کاربر جسجتویی را انجام می داد، گوگل فقط ۱۰ نتیجه ی ارگانیک را برای آن ها بر می گرداند. در این چشم انداز جستجو، داشتن رتبه ی اول هدف تمام سئو کارها است. اما بعدا اتفاق جدیدی افتاد، گوگل به نتایج یک سری فرمت جدیدی اضافه کرد که به آن ویژگی SERP می گفت. بعضی از ویژگی های SERP را در زیر مشاهده می کنید:

• تبلیغات پولی
• ویژگی اسنپِتس
• جعبه ی همچنین مردم پرسیدند
• بسته ی نقشه ی محلی
• پنل اطلاعات
• لینک سایت ها

و هر روز گوگل قابلیت های جدید دیگری را اضافه می کند. حتی در حال آزمایش SERPهای نتیجه صفر است، یک پدیده که در آن فقط یک نتیجه از گراف دانش در SERP نمایش داده شد که نتیجه ی در زیر آن وجود ندارد بجز یک گزینه به نام «نمایش نتایج بیشتر».

بعد از اعلام این خبر وحشت های زیادی به دو دلیل به وجود آمد. یکی از دلایل این است که نتایج موجود در SERPها بیش از پیش پایین کشیده می شوند. دلیل دوم آن این است که با توجه به ویژگی SERPها بیشتر سوالات کاربران در صفحه ی نتایج جواب داده خواهد شد پس دیگر کاربری بر روی صفحات کلیک نمی کند.

چرا گوگل باید این کار را انجام بدهد. این داستان به تجربه کاربری جستجو کنندگان بر می گردد. رفتار کاربر نشان می دهد که نمایش برخی جستجو ها به صورت فرمت فعلی راضی کننده است. توجه داشته باشید که چگونه نوع های مختلف ویژگی SERPها انواع مفاهیم پرس و جو ها را پوشش می دهند.

منبع: geoxis.co