زمانی که یک سایت روی اینترنت قرار می گیرد فقط افرادی می توانند به آن دسترسی داشته باشند که آدرس سایت یا همان نام دامنه را بدانند. قبل از بوجود آمدن موتورهای جستجوگر و لینکستانها این مسئله بسیار عادی بود اما با پیدایش آنها عمده بینندگان سایتها از این طریق از سایت هدف بازدید می کنند به عنوان مثال برای یک سایت معمولی در بدترین حالت گوگل در حدود روزانه 50 نفر بازدید کننده ارسال می کند.

موتورهای جستجو از یک نرم افزار به نام ربات یا خزنده استفاده می کنند به عنوان مثال ربات یا خزنده گوگل "GoogleBot" نام دارد. این رباتها با دنبال کردن پیوندها سایتهای مختلف را بازدید می کنند و اطلاعات مورد نظر خود را دریافت کرده و به سرور اصلی ارسال می کنند. سرور یا سرورهای اصلی با ذخیره سازی و پردازش آنها بانک اطلاعاتی مورد نظر خود را ایجاد می کنند. محتوای این بانکهای اطلاعاتی در میان موتورهای جستجوی مختلف متفاوت است اما همه آنها الگوریتمی دارند که براساس اطلاعات دریافتی از رباتهای خود و داده های پردازش شده به هر صفحه نسبت به یک کلمه خاص - که به "کلمات کلیدی" مشهورند - امتیاز میدهد. این امتیاز نمایانگر مقدار نزدیکی محتوای سایت به کلمه کلیدی است. بر همین اساس زمانی که فردی به دنبال یک موضوع خاص می گردد موتورهای جستجو به بانک اطلاعاتی خود مراجعه کرده و به ترتیب نزدیکترین سایتها از لحاظ نزدیکی محتوای سایت به کلمه یا کلمات کلیدی استفاده شده را به وی پیشنهاد می دهند.

از آنجا که هر موتور جستجوگر الگوریتم "وبکاوی" مخصوص به خود را دارد بنابر این امتیاز یک صفحه نسبت به یک کلمه کلیدی ممکن است در موتورهای جستجوی مختلف متفاوت باشد. البته اکثر این الگوریتمها از یکسری اصول اولیه و ایتدایی مشترک استفاده می کنند.

از آنجا که پایه همه این تصمیم گیری ها بر اساس هوش مصنوعی و رباتهای جستجوگر است در بسیاری از مواقع زمانی که مدیران سایتها (صاحبان سایتها) نسبت به قوانین موتورهای جستجو بی تفاوت باشند و سعی در سازگاری سایتهای خود با موتورهای جستجوی بزرگ نکنند، رباتها اطلاعات ناقص یا اشتباهی را مخابره می کنند و سایت امتیازی پایین تر از آنچه که شایسته است می گیرد و این یعنی رتبه پایین تر، بازدید کننده کمتر و نهایتا بی استفاده ماندن سایت.

شعار نیست اگر بگوییم سایتی که با موتورهای جستجو سازگار نباشد و حداقل در صفحات یک تا پنج از چند جستجوگر مهم دنیا ظاهر نشود بودن یا نبودن آن تفاوتی ندارد. هیچکس برای جستجوی یک مورد خاص به صفحات بعد از پنجم یعنی به طور معمول نتایج با رتبه کمتر از پنجاهم رجوع نمی کند و معمولا جواب در همان صفحه اول و دوم است.