Es interesante que los buscadores nos indexen con facilidad y rapidez, muchas veces sin ellos estariamos perdidos, pero no siempre queremos que todo nuestro contenido esté listado en google, altavista, yahoo…es más, no es recomendable que direcctorios como config o modules, aparezcan en los buscadores.
Pues bien, esto es una manera sencilla de evitarlo. Crea un archivo robots.txt, si no lo tienes todavia es buen momento para hacerlo.
Escribe en el lo siguiente:
User-agent: *
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /contact-form.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /zoom.php
Disallow: /manufacturer.php
Disallow: /supplier.php
Disallow: /*manufacturer.php?
Disallow: /*supplier.php?
Disallow: /*best-sales.php?
Disallow: /*new-products.php?
Disallow: /*prices-drop.php?
Disallow: /*search.php?
Disallow: /*category.php?id_category=
Disallow: /*product.php?id_product=
Guarda el archivo y súbelo al directorio raiz de tu tienda. Con esto les estás diciendo a los buscadores que no indexen el contenido que aparece en este archivo. En la última parte, si tienes activadas las url amigables, evitarás que se duplique el contenido.

Hola
Voy a seguir este paso a ver si con esto consigo arreglar el problema que tengo. La web estaba ya online, y entonces active las Url amigables. El problema es que ahora mismo haciendo la busqueda en google de site:http://www.nosologames.net/shop , me encuentra tanto amigables como no amigables. Y ademas en Google tools master me da 1400 errores de rastreo como “No se ha encontrado” y creo que google me esta penalizando porque deberia aparecer entre los primeros puestos para unas palabras y no lo hago.
Bueno, espero que me sirva de ayuda, muchas gracias
Hola javICO, primero que nada disculpa por no haber respondido antes. Estabamos de vacaciones. Ya hemos vuelto.
Para el problema que nos detallas mira a ver esta solución, igual ya lo tienes activado.
En módulos—Canonical URL v1.3.
Actívalo y después configúralo de la siguiente manera:
Pon la dirección de tu página con o sin las www. Así evitarás que se duplique contenido.
Después bájate el módulo de google-sitemap-para-prestashop y generá tu sitemap. Envíaselo a google desde Master Tols y listo. Solo te queda esperar. Pronto verás como los errores se resuelven.
Otra cosa que deberias tener en cuenta, es que si te da error en descripciones cortas o títulos duplicados, tendrías que revisar toda tu tienda y ponerle imaginación a los títulos etc… Para no repetirte y que indexe todo correctamente.
Esperamos haberte ayudado.
Hola, es posible que ademas, los robots al no rastrear todos estos directorios tarden menos tiempo en hacerlo y consuman menos recursos y ancho de banda de nuestro servidor ??
gracias.
Así es, tal como tú lo has explicado