El documento robots.txt es una herramienta fundamental para toda sitio web que busca ser bien indexada por los motores de búsqueda como Bing. Opera como un directorio para los bots, indicándoles https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html