El documento robots.txt es el herramienta clave para toda página web que busca estar bien vista por los rastreadores como Bing. Opera como un instructivo para los rastreadores , indicándoles qué áreas de tu plataforma pueden están crawleadas y cuáles se deben excluir . La óptima configuración de este documento puede a prevenir problemas de