# Quelle http://seo-scout.org/wordpress/wordpress-robotstxt.html # http://seo2feel.de/2009/05/wordpress-robotstxt-fuer-suchmaschinen-optimiert/ # http://www.ein-uwe.de/seo/getunte-wordpress-robotstxt/ # http://www.askapache.com/seo/updated-robotstxt-for-wordpress.html # letzte zeile sitemap anpassen !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! # Datei robots.txt im Hauptverzeichnis der Domain User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / # digg mirror User-agent: duggmirror Disallow: / # Falls eine sitemap.xml erzeugt wurde # Sitemap: http://www.meinedomain.de/sitemap.xml