Интернет търсачките използват роботи (crawlers) /специализирани програми/, които индексират /търсят и събират информация/ в интернет, сайт след сайт, страница по страница. Как интернет търсачките извършват тази забележителна работа? Когато роботът на някоя търсачка посети web страница той прочита нейното съдържание, след което следва хипервръзките и така намира страница след страница. Вероятността
интернет търсачките да намерят даден интернет сайт е по-голяма, ако много други сайтове съдържат връзки към него. Googlebot, ZyBorg, Slurp, Scooter, Zealbot, Ia_archiver, и FAST-WebCrawler са сред най-честите посетители на web сайта ни.
Най-добре разбираеми за
интернет търсачките са обикновените статични HTML страници. Търсачките не могат да индексират съдържание от бази данни, нито да попълват формуляри от какъвто и да е вид. Динамичните страници блокират а "frames" объркват търсачките в мрежата. Интернет търсачките не могат да индексират снимки и графики, ако няма ALT текст, за да опише съдържанието им. Ако страниците са много сложни, е възможно да се получи прекъсване преди робота да индексира целия текст. Даден интернет сайт няма да бъде включен в индекса на търсачка, ако не е индексиран, заради проблеми с мрежата или хостинга. Ето защо
за добро класиране в търсачките е нужен
оптимален web дизайн на сайта. Цялата информация, която
интернет търсачките индексират се събира в каталозите им, техните бази данни. Тези каталози (index) съдържат копие на всяка индексирана страница. Веднъж попаднал в каталога сайтът се индексира периодично от робота на търсачката. Щом роботът открие промени в съдържанието на някоя страница, той обновява каталога на търсачката с новата намерена информация.
Софтуерът /програмата/ за търсене и класиране е последната, но съществена част от тези знаменити web сайтове. Този софтуер претърсва огромната база-данни от запазени web страници в каталога на търсачката, за да намери онези от тях съответстващи най-добре с Вашето запитване, след което ги
класира по значимост.
