Tutto WebMaster - Ottimizzazione e posizionamento siti - http://www.tuttowebmaster.eu
Come funzionano i spider dei motori di ricerca?
http://www.tuttowebmaster.eu/art/3/1/Come-funzionano-i-spider-dei-motori-di-ricerca.html
Da Mr Kiko
Pubblicato il 07/11/2006
 
Sfrutta le abitudini degli spider per rendere il tuo sito più appetibile.

Il percorso dello spider
C'è una cosa che bisogna assolutamente imparare sui robot dei motori di ricerca, non hanno assolutamente una logica di comportamento. La maggior parte dei motori sono stupidi e vagano a caso. Il 50% dei motori che troverà il tuo sito, andrà a cercare la pagina robots.txt (che probabilmente hai dimeticato ad inserire), e poi se ne andrà senza cercare nient'altro. Ritornerà solo dopo qualche settimana a chiedere esattamente la stessa cosa e poi se ne andrà via di nuovo. E questo succederà ripetutamente per mesi. Ma perché? Se voleva controllare che il sito esiste o no poteva semplicemente ricorrere ad un ping, un metodo sicuramente più veloce ed efficace. Raramente i robot vanno a cercare altre pagine e se lo fanno cercano una pagina ogni due a ciascuna visita.

Perciò non hai motivo di preoccuparti per i robot. Ci mettono 6 mesi prima di trovare un numero sufficiente di pagine. Per questo motivo, pensa solo a costruire tutte le tue pagine correttamente e se hai uno scambio reciproco di link con qualche altro sito, i robot ti troveranno un giorno.

Controlla i tuoi link reciproci: vai su Altavista e digita nella casella di ricerca l'Url del tuo sito senza http://www. Ti apparirà la lista dei link reciproci al tuo sito. Di fronte ad una lista molto lunga di link, il robot si convincerà che il tuo sito è molto popolare altrimenti non avrebbe tutti questi link al suo sito su siti simili. Ricorda però che solitamente solo siti simili che trattano argomenti simili hanno link reciproci.

Vai quindi sui siti con un traffico sostenuto che sono simili al tuo per argomento e usa Altavista per trovare quanti link reciproci hanno. Il risultato ti dimostrerà che ho ragione.

I motori di ricerca non sono altro che dei link reciproci al tuo sito. L'unico problema è che devi continuamente lavorare per posizionarti all'interno della lista delle risultati.
Quindi lascia perdere, lascia sprecare agli altri 10 ore al giorno per cercare di fregare tutti. Smetti di competere con le grandi organizzazioni che si possono permettere di spendere un sacco di soldi per farsi pubblicità.

Scordati assolutamente dei motori di ricerca una volta che hai fatto l'indicizzazione e preoccupati invece dei link reciproci. A quel punto i motori di ricerca si convinceranno che il tuo sito viene visitato molto ed è vero. In quel momento ti sarai guadagnato il traffico che ti meritavi.

I visitatori dei motori di ricerca spesso non sono dei visitatori esperti. Moltissimi visitatori rimangano sulla tua pagina 5 secondi e poi se ne vanno. Capita a tutti quelli che usano i motori di ricerca. O perchè non hanno trovato le informazioni che stavano cercando o perchè il sito trovato ha troppa grafica ed è troppo pesante da caricare. Questi visitatori non dovrebbero fare numero ed invece la loro visita viene contata come 12-18 hits al tuo server di log. Le hits sono richieste fatte al server. La richiesta di una pagina può generare numerosi hits: richieste alla pagina stessa più gli elementi di grafica contano nell'insieme come un hit.

I link reciproci al contrario attirano visitatori esperti. Per visitatori esperti si intendono i visitatori che sono già su un sito che tratta argomenti legati al tuo. Questi visitatori hanno già una idea chiara di che tipo di sito hai; per questo verranno a visitarti e ci rimarranno per un po'. Il loro valore è così grande che gli dovrebbe essere attribuito un punteggio triplo.

A questo punto non ci sono più dubbi su quali visitatori dovresti preferire.

Come fai a convincere le persone a volere un tuo link sul loro sito? Semplicemente perché trattate gli stessi argomenti. Siete simili ma non in competizione.

Il comportamento illogico dei robot insegna che devi rendere la navigazione sul tuo sito così semplice che il visitatore partendo dalla tua home page può trovare qualsiasi pagina in due click.
Un modo per raggiungere questo risultato è quello di inserire dei DotLinks nascosti (i DotLinks sono delle frasi brevi collegate ad altre pagine che passano inosservate all'occhio umano ma sono comunque link che i robot seguono). Una volta inseriti i DotLinks, i robot trovano le tue pagine più facilmente e più velocemente.


Dai ai robot ciņ che vogliono

Come pensi di ottenere dai motori di ricerca un posizionamento migliore di quello ottenuto da altri milioni di siti web che cercano di fare la stessa cosa? Semplicemente dando al motore di ricerca ciò che vuole. Puoi raggirarlo o fargli pensare che sei migliore di quello che sei veramente. Pensa ad una visita fatta con gli occhi di un robot. Il robot trova la pagina, generalmente grazie a dei link nascosti all'interno di pagine web, e poi carica il contenuto trovato in prima pagina.

A questo punto, il robot cerca i META tags ed estrae le keywords (parole chiave) e la descrizione. Se non le trova prende le prime 200 parole circa del testo e le usa come descrizione.

Successivamente, il Robot estrae il testo dalla pagine eliminando il codice HTML. Elimina dal testo le parole comuni lasciando quelle che pensa siano le Keywords (Molti robot non fanno quest'ultimo passo).

Infine estrae i link raggruppandoli in due categorie: i link che sono interni al sito e i link che sono esterni (questi ultimi li visiterà dopo, è questo infatti il modo in cui trova nuovi siti)

Farà lo stesso con gli indirizzi di posta.

Passa quindi alle pagine successive finchè non ha visitato tutte le pagine del tuo sito. Alla fine immagazzina tutte le informazioni. In questo modo sa quante pagine ha il tuo sito, quanti link esterni e può dare al tuo sito un punteggio sulla base di com'è organizzato. Questi sono gli elementi di base del funzionamento dei Robot dei Motori di Ricerca.

Cosa ci fanno delle informazioni?
Quando qualcuno va a cercare una frase o una keyword, entra in funzione un altro programma, quello di ricerca, che usa le informazioni trovate dal robot. Una persona digita le keywords e il programma di ricerca risponde con 256.000 pagine che corrispondono alle keywords. Ma i motori di ricerca prendono in considerazione anche altri elementi: quanti anni ha il sito o da quanto tempo il motore di ricerca lo conosce? Quanto è grande il sito? E' stato costruito bene? Quanti link ad altri siti ci sono? E la cosa più importante: quanti link al tuo sito ci sono su altri siti. Più vecchio e meglio costruito è il sito più link ci saranno.