El archivo robots.txt es una herramienta esencial para toda sitio que pretende ser bien vista por los buscadores como Google . Opera como un mapa para los rastreadores , indicándoles qué áreas de tu web pueden están crawleadas y cuáles no . Una correcta configuración de este archivo sirve a preve