Intervento tecnico interessante. Chiaro e utile per dissolvere diversi dubbi. - William Olivieri

Mi associo al mio "compagno di banco" nel complimentarmi per la chiarezza e l'utilità dell'intervento. In aggiunta vorrei -in colpevole ritardo- postare una domanda: nel parlare del comando disallow si è detto che è come se ci fosse un wild card * sottointeso in fondo alla stringa, per intenderci, se non ho capito male: Disallow: /news è uguale a scrivere Disallow: /news* La mia domanda: vale per la dir news e tutto quello che c'è dentro o anche per i file/dir che contengono news all'inizio del nome? Cioè, per capirci, se inserisco Disallow: /news Il motore non parserà nemmeno la dir /newsletter il file /newspaper.html ? Grazie e complimenti di nuovo. - Raffaele Acerbi

Ciao William e Raffaele e grazie per i complimenti! @Raffaele nella domanda che poni è più utile ragionare in termini di URL invece che di directory e file. Dunque la direttiva: User-agent: * Disallow: /news Bloccherà l'accesso agli spider per le URL che iniziano con "news" come: www.example.org/news www.example.org/newspaper www.example.org/news/milano/ non verrà invece bloccata la URL www.example.org/local/news/ Per fare un altro esempio, la direttiva: User-agent: * Disallow: /*spam* Bloccherà qualunque URL che contiene il termine "spam". Quindi saranno bloccate le seguenti URL: www.example.org/spam/ www.example.org/egg/spam/ www.example.org/egg/spam/bacon Spero che ora sia chiaro anche se friendfeed incasina la formattazione ;) Alessandro - es@urito

Grazie Alessandro. - Raffaele Acerbi