Robot.txt: dile a GoogleBot qué es lo que quieres

GoogleBot es una herramienta ya conocida por cualquier webmaster que quiera posicionar su sitio Web. ¿Pero qué pasa si por alguna razón no queremos que GoogleBot rastree una parte o todo nuestro sitio?

El generador Robot.txt fue diseñado especialmente para esta causa, y además se maneja de forma sencilla, evitando que nos “atasquemos” en alguna configuración que no entendamos. Tan simple como ingresar los directorios o archivos que no queremos que sean rastreados.

¿Cómo creamos un Robot.txt? bien fácil, sólo necesitamos el bloc de notas de Windows (por dar un ejemplo, cualquier editor de textos funciona), crear determinados códigos que mostraremos a continuación, guardarlo como “robot.txt“, y finalizando subiendo el archivo resultante al directorio raíz de nuestra Web.

Si necesitamos impedir que los robots accedan a determinadas secciones del sitio, escribiremos los siguientes comandos:

• User-agent: *
• Disallow: /cgi-bin/
• Disallow: /misc/sitestats/

Si lo que queremos que los robots rastreen sólo una parte de nuestra Web:

• User-agent:slurp.so/
• Disallow: /cgi-bin/
• Disallow: /secure/
• Disallow: /products/
• Disallow:/misc/sitestats/

También tenemos la opción de permitir el acceso a sólo un robot de nuestra preferencia, evitando el ingreso de los otros:

• User-agent: Googlebot/1.0
• Disallow:
• User-agent: *
• Disallow: /

Si lo que queremos es que ningún robot rastree nuestra página:

• User-agent: *
• Disallow: /

Antes de generar este último código, debemos estar bien seguros de que es éso lo que queremos, porque con el mismo, nuestra página no figurará en ningún buscador.

Pequeñas cosas que deberemos tener en cuenta:

No todos los motores de búsqueda reconocen el archivo robot.txt. A pesar de que la mayoría lo hace, algunos no.

robots.txt es sólo una petición. Hay algunos robots que de manera inescrupulosa pasan por alto al archivo, y rastrearán nuestro sitio de todas maneras. Si queremos evitar esto, deberemos proteger nuestra Web con una buena contraseña, en lugar de confiar en robots.txt.

Escrito por Marcelo Avero el 9 de Abril de 2008 con 1 comentario
Enviar a un amigo por E-Mail
Lee más artículos sobre Tutoriales.

Google realiza mejoras a iGoogle Gadgets

El mes pasado Google lanzaba el iGoogle Gadgets en su Webmaster Tools, que entre otras cosas, nos permite adicionar tableros (dashboards) en nuestra Web.

Según su blog oficial, Google ha pasado varias semanas trabajando en diversas áreas. La actualización más importante es para aquellos que poseen varios sitios. Cuando se añade una nueva tabla de gadgets, éstos estarán por defecto en el sitio que estemos mirando al momento de añadirlo a la página de iGoogle. Otra mejora es que el tamaño de los gadgets se ajusta automáticamente a la resolución de la pantalla.

Quizás esto no tenga demasiada importancia, pero han acortado el nombre de la aplicación, que ahora se llama sólo “Webmaster Tools“, dejando de esta forma, más espacio en la página de iGoogle. Además, han agregado una marca de agua con el logo para así diferenciar un grupo de gadgets de otro.

A pesar de que varios usuarios instaron a Google para que la información se mostrara en cuatro columnas, Google ha dicho que existen varias URLs que por su extensión, se verán más cómodamente en tres columnas, así que la opción de cuatro no está más disponible. Pero algunos usuarios molestos por este cambio han dicho que no hay problemas en pantallas panorámicas.

Escrito por Marcelo Avero el 9 de Abril de 2008 con 4 comentarios
Enviar a un amigo por E-Mail
Lee más artículos sobre Recursos Webmasters.