Il file robots.txt serve per indicare agli spider dei motori di ricerca se analizzare o saltare un determinato file o addirittura un'intera directory. Se ad esempio volessimo che non venissero indicizzate le immagini del nostro archivio presenti nella directory image non faremmo altro che dirgli di saltare tale directory. Ricordiamoci che, come per il meta tag ROBOTS, questa è una richiesta e non è detto che lo spider la consideri.
Ma come va realizzato il file robots.txt?
Basta aprire un qualsiasi editor di testo e creare un nuovo file chiamato 'robots.txt'.
Il file è composto dall'istruzione 'User-agent:' che indica il nome dello spider seguita dall'istruzione 'Disallow:' che dice allo spider dove non passare.
Se vogliamo evitare il passaggio solo allo spider di Google scriveremo 'User-agent: googlebot'; in questa maniera eviteremmo il passaggio solo dello spider di Google per la pagina o la directory che indicheremmo. Se volessimo evitare il passaggio a tutti gli spider di qualsiasi motore di ricerca scriveremmo 'User-agent: *'.
Per indicare allo spider o agli spider di non analizzare la pagina 'pippo.html' scriveremmo 'Disallow: pippo.html' mentre se volessimo che gli spider saltassero la directory image scriveremmo 'Disallow: /image/'.
Ecco alcuni esempi:
User-agent: Googlebot
Disallow: pippo.html
in questo caso viene chiesto solo allo spider di Google di saltare il file pippo.html
User-agent: *
Disallow: /image/
in questo caso viene chiesto a tutti gli spider di saltare la cartella image
Ma dove va posizionato il file robots.txt?
Il file robots.txt deve essere uno solo e deve essere messo nella cartella principale.
Lezione 1: Introduzione
Lezione 2: Descrizione dei motori di ricerca
Lezione 3: Spider e analisi siti web
Lezione 4: I frame, cosa non fare
Lezione 5: Il titolo della pagina web
Lezione 6: I meta tag
Lezione 7: Le keywords
Lezione 8: Il file robots.txt
Lezione 9: I link e la navigabilità di un sito web
Lezione 10: I contenuti
Lezione 11: Le cose maggiormente da evitare
Lezione 12: Promozione di un sito web
Lezione 13: Come rimanere ai primi posti nei motori di ricerca
La presente guida è di proprietà di Merelli Renzo, è vietato distribuirla o modificarla senza il consenso dello stesso.
Se volete pubblicare questa guida all'interno del vostro sito, chiedete l'autorizzazione mandando una mail all'indirizzo websolutions@softwaremerelli.it.
Per chiedere maggiori informazioni
utilizzare l'area Contatti
inviare una mail all' indirizzo websolutions@softwaremerelli.it
contattare il numero 338.5378313 (sig. Renzo Merelli)
inviare un fax al numeto 041.95.06.68
