Il primo è un software, dal nome che da i brividi, come spider (ragno), ant (formica) o bot (parassita) che striscia all'interno della rete e visita le pagine. Questi ragni poi prendono le informazioni e le portano alla base, che costituisce la seconda parte: il database o index.

L'index, è una sorta di catalogo e contiene una copia per ogni singola pagina che lo spider riporta. Quando uno spider ritorna sulla tua pagina e riporta i cambiamenti fatti al catalogo, quest'ultimo viene aggiornato. Tuttavia, la realtà è che in molti motori di ricerca , l'index o database non indicizza tutte le pagine riportate dallo spider.

Di conseguenza, anche se nei log risulta che uno spider ha visitato e ha richiesto certe pagine, non è sempre sicuro che quelle pagine sono state indicizzate. E' meglio cercare all'interno dei motori di ricerca il tuo URL per essere sicuro di essere stato indicizzato.

Il terzo componente è il meccanismo di classificazione. Questo è il Software che abbina le parole chiave del navigatore con le pagine del database e poi mostra gli abbinamenti sullo schermo del navigatore. Più alta è la tua posizione sullo schermo del navigatore, più alta è la possibilità di essere trovati. Questo perchè nel 93% dei casi gli utenti di internet non vanno oltre le prime tre pagine del risultato di ricerca.

Questi sono i comuni denominatori fra i diversi motori di ricerca. Dal momento che i motori di ricerca appartengono a diverse compagnie, i loro spider presentano delle differenze. Di seguito vengono riportate le differenze che li caratterizzano.