robots punto txt

Posted: 2009/12/09 in source

El archivo de texto robots.txt es un estandar en Internet desde el 94.

Indica a los bots qué pueden indexar y qué no.

Su estructura es:

User-agent: Nombre-del-bot

Disallow: Lo que no quieres que indexe.

Tras la polémica surgida con varios periódicos Google ha decidido crear un bot  especializado en indexar noticias, el Googlebot-News

Nuevo agente de usuario (user-agent) para Noticias

Anuncis

Deixa un comentari

Fill in your details below or click an icon to log in:

WordPress.com Logo

Esteu comentant fent servir el compte WordPress.com. Log Out / Canvia )

Twitter picture

Esteu comentant fent servir el compte Twitter. Log Out / Canvia )

Facebook photo

Esteu comentant fent servir el compte Facebook. Log Out / Canvia )

Google+ photo

Esteu comentant fent servir el compte Google+. Log Out / Canvia )

Connecting to %s