Cómo evitar que los bots y el software automatizado rastreen mi sitio en busca de datos/imágenes sin bloquear los motores de búsqueda
TL;DR: añadiendo reglas en tu archivo robots.txt y utilizando una trampa honeypot (como en este ejemplo: Utiliza un simple bottrap para bloquear los bots malos) Si asumimos que los bots seguirán tus reglas robots.txt, deberías crear un archivo robots.txt en tu directorio raíz y añadir lo siguiente: User-agent: GooglebotDisallow: Agente-usuario: googlebot-imageDisallow: Agente-usuario: googlebot-mobileDisallow: Agente-usuario: bingbotDisallow: … Leer más