» » » چطور موتورهای جستجو کار می‌کنند؟







نگاهی به گجت‌های دنیای فوتبال به بهانه‌ی جام جهانی ۲۰۱۸

این روز‌ها جام جهانی ۲۰۱۸ به فکر و ذکر مردم دنیا تبدیل شده و خواب و خوراک را از آنها گرفته است. این مسابقات که در واقع پرطرفدارترین مسابقات ورزشی جهان به شمار می‌رود، هر ۴ سال یکبار، میلیارد‌ها نفر ...

چگونه از ابزار Refine Edge فوتوشاپ استفاده کنیم؟

در یکی دیگر از سری آموزش‌های فوتوشاپ به سراغ ابزار Refine Edge رفته‌ایم و می‌خواهیم ببینیم که با آن چطور می‌توان یک سلکت بی‌نقص داشت. به طور کلی استفاده درست از ابزار سلکت فوتوشاپ، تنها راهی است که ...

مترجم گوگل چطور کار می کند؟

مترجم گوگل که اولین بار در ماه آوریل 2006 (فروردین تا اردیبهشت سال 85) عرضه شد، اکنون بیش از 500 میلیون کاربر روزانه در سراسر جهان دارد و خدمات ترجمه خود را به 103 زبان دنیا ارائه می دهد. اما مترجم ...

تزریق تکنولوژی به بازار مسکن؛ راهکاری که می‌تواند خرید خانه را آسان‌تر کند

جستجو و یافتن مسکن هیچ گاه کار آسانی نبوده، اما طی سال‌های اخیر با تزریق تکنولوژی به این حوزه و روی کار آمدن اپلیکیشن های خرید خانه در ایران شاهد تسهیل این کار و ایجاد شفافیت بیشتر در معاملات ملکی ...

تحول بازار خودرو و استخدام پلیس راهنمایی و رانندگی زن؛ نتیجه صدور مجوز رانندگی برای بانوان عربستانی

رانندگی زنان عربستان برای سال ها یکی از دغدغه های شهروندان این کشور بوده است. از زمان تأسیس این کشور، ممنوع بوده و این ممنوعیت در طی سال‌ ها تداوم یافته ‌است. برخی نمایندگان مجلس شورا در این سال‌ ها ...

قابلیت Screen Time آی او اس حتی تیم کوک را هم شوکه کرده است

اگر پیگیر اخبار iOS 12 بوده‌اید، حتما با Screen Time آشنا هستید. این قابلیت که کمک می‌کند زمان سپری شده پای آیفون و آیپد و اپلیکیشن‌ها را بسنجید، قرار است پاییز امسال با آپدیت سیستم عامل به دست ...

پیگیری دیجیاتو؛ پرداخت الحاقیه حق بیمه پس از افزایش قیمت خودرو اجباری است؟

تاثیرات افزایش قیمت خودرو تنها محدود به بازار خودرو نیست بلکه صنعت بیمه هم ازین نوسانات سهم برده است. به تازگی برخی بیمه‌گذاران پیامی از سوی شرکت بیمه‌گر دریافت کردند که از آنها می‌خواهد به دلیل ...

روزیاتو: ۱۹ نکته ساده اما جالب در مورد جام جهانی فوتبال که از آن ها اطلاعی نداشتید

اگر چه هر دوره اتفاقات جالب و غیرمنتظره ای در مسابقات جام جهانی رخ داده و در همین مدت کوتاه نیز شاهد برخی از این اتفاقات جالب در جام جهانی ۲۰۱۸ روسیه بوده ایم  اما در روزیاتو در این مطلب خود شما را ...

تصویری از فضاپیمای Crew Dragon اسپیس اکس در حال آزمایش توسط ناسا منتشر شد

ایلان ماسک به تازگی تصویری از فضاپیمای Crew Dragon به همراه بخش مخصوص حمل محموله های آن در حال سپری کردن فرایند آزمایش را منتشر کرده است. Crew Dragon در کنار استارلاینر بوئینگ قرار است در ماه های آتی ...

۴ عادت انکارناپذیر مدیران موفق و فوتبالیست های حاضر در جام جهانی ۲۰۱۸

چند وقتی است که میلیون‌ها نفر به تماشای مسابقات جام جهانی پرداخته و تلاش روز افزون بسیاری از ستارگان دنیا را مشاهده می‌کنند. در این مسابقات، فوتبالیست هایی که میلیارد‌ها دلار درآمد دارند، برای ...

در انتظار پایانی خوش در لیگ ملت‌های 2018/ گزارش زنده از سالن آزادی؛‌ ایران 1 – آلمان 1

تیم ملی والیبال ایران در آخرین بازی خود از هفته پنجم لیگ ملت های والیبال 2018 به مصاف آلمان رفت.

امید ابراهیمی تنها بازیکن مخفی تیم ملی

هافبک تیم ملی امروز در شرایط عجیبی تمرین خود را پیگیری کرد.

شجاعی و جهانبخش به دنبال بازگشت به ترکیب

دو ستاره تیم ملی که در دیدار مقابل اسپانیا از ترکیب اصلی خارج شده بودند، در تمرینات امروز با روحیه مناسبی تمرین می کردند.

بعد از درخشش در بازی‌های دوم؛/ اینبار کسی چمدان‌ها را به تهران نمی‌فرستد

مهدی مهدوی کیا مدعی شد پیش از جدال سوم تیم 98 مسوولان وقت چمدان‌های بازیکنان را راهی فرودگاه کردند و به این شکل ناامیدی را در بین بازیکنان شکل دادند اما اینبار چنین اتفاقی رخ نخواهد داد و شاید مسیر ...

هدف: فرار از مانشافت و سلسائو/ انگلیس - بلژیک؛ هر دو منتظر سرنوشت آلمان

تیم ملی انگلستان باتوجه به یک کارت زرد کمتر در صدر جدول گروه 7 قرار دارد اما شاگردان ساوت گیت ممکن است صدرنشینی را به صورت عمدی از دست بدهند.


چطور موتورهای جستجو کار می‌کنند؟

وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جستجو ارایه می‌شود، کاربران در واقع نتیجه کار بخش‌های متفاوت موتور جستجوگر را می‌بینند.
موتور جستجوگر قبلاً پایگاه داده‌اش را آماده کرده است و این گونه نیست که درست در همان لحظه‌ی جستجو، تمام وب را بگردد.[مفاهیم: ادبیات موتورهای جستجو چیست؟]

بسیاری از خود می‌پرسند که چگونه ممکن است گوگل در کمتر از یک ثانیه تمام سایت‌های وب را بگردد و میلیون‌ها صفحه را در نتایج جستجوی خود ارایه کند؟

گوگل و هیچ موتور جستجوی دیگری توانایی انجام این کار را ندارند. همه آنها در زمان پاسخ‌گویی به جستجوهای کاربران، تنها در پایگاه داده‌ای که در اختیار دارند به جستجو می‌پردازند و نه در وب! موتور جستجوگر به کمک بخش‌های متفاوت خود، اطلاعات مورد نیاز را قبلاً جمع‌آوری، تجزیه و تحلیل می‌کند، آنرا در پایگاه داده‌اش ذخیره می‌نماید و به هنگام جستجوی کاربر تنها در همین پایگاه داده می‌گردد. بخش‌های مجزای یک موتور جستجوگر عبارتند از:
Spider یا عنکبوت
Crawler یا خزنده
Indexer یا بایگانی کننده
Database یا پایگاه داده
Ranker یا سیستم رتبه‌بندی

الف: Spider (عنکبوت)
اسپایدر یا روبوت (Robot) نرم افزاری است که کار جمع‌آوری اطلاعات مورد نیاز یک موتور جستجو را بر عهده دارد. اسپایدر به صفحات مختلف سر می‌زند، محتوای آنها را می‌خواند، لینک‌ها را دنبال می‌کند، اطلاعات مورد نیاز را جمع‌آوری می‌کند و آنرا در اختیار سایر بخش‌های موتور جستجوگر قرار می‌دهد. کار یک اسپایدر، بسیار شبیه کار کاربران وب است. همانطور که کاربران، صفحات مختلف را بازدید می‌کنند، اسپایدر هم درست این کار را انجام می‌دهد با این تفاوت که اسپایدر کدهای HTML صفحات را می‌بیند اما کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را.

اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می‌گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می‌توانید مشخص کنید که اسپایدر کدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیت‌های اصلی که در SEM انجام می‌شود تحلیل آمار همین دید و بازدیدها است.

اسپایدرها کاربردهای دیگری نیز دارند، به عنوان مثال عده‌ای از آنها به سایت‌های مختلف مراجعه می‌کنند و فقط به بررسی فعال بودن لینک‌های آنها می‌پردازند و یا به دنبال آدرس ایمیل (E-mail) می‌گردند.

ب: Crawler (خزنده)
کراولر، نرم‌افزاری است که به عنوان یک فرمانده برای اسپایدر عمل می‌کند. کراولر مشخص می‌کند که اسپایدر کدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می‌گیرد که کدام یک از لینک‌های صفحه‌ای که اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممکن است همه آنها را دنبال کند، بعضی‌ها را دنبال کند و یا هیچ کدام را دنبال نکند.

کراولر، ممکن است قبلاً برنامه‌ریزی شده باشد که آدرس‌های خاصی را طبق برنامه در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال کردن لینک‌های یک صفحه به این بستگی دارد که موتور جستجو چه حجمی از اطلاعات یک سایت را می‌تواند (یا می‌خواهد) در پایگاه داده‌اش ذخیره کند. همچنین ممکن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

شما به عنوان دارنده سایت، همان طور که دوست دارید موتورهای جستجو اطلاعات سایت شما را با خود ببرند، می‌توانید آنها را از بعضی صفحات سایت‌تان دور کنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می‌کند و از حقوق دسترسی خود اطلاع می‌یابد. تنظیم میزان دسترسی موتورهای جستجو به محتوای یک سایت توسط پروتکل Robots انجام می‌شود. به عمل کراولر، خزش (Crawling) می‌گویند.
نسخه ی قابل چاپ
نویسنده: فرض اله باقرزاده بازدیدها: 94 نظرات: 0
2018

KHORSHID E SHAB