# # robots.txt generic for new sites # 2004.11.12 # first disallow - fill in here which directories should NOT be spidered! # zuerst verbieten - welche Verzeichnisse duerfen NICHT besucht werden (gespidered)! User-agent: * # common directories - allgemeine Verzeichnisse #Disallow: /cgi-bin #Disallow: /usage2 #Disallow: /tools #Disallow: /test # mambo related - spezielle Mamboverzeichnisse Disallow: /administrator/ #Disallow: /cache/ #Disallow: /components/ #Disallow: /editor/ #Disallow: /help/ #Disallow: /images/ #Disallow: /includes/ #Disallow: /language/ Disallow: /mambots/ #Disallow: /media/ #Disallow: /modules/ #Disallow: /templates/ #Disallow: /installation/ # post here special for robots # hier spezielle angaben fuer suchmaschinen # 1. eintrag fuer google (MUSS gesetzt werden wenn google-ad.words oder google-ad.sense verwendet wird!!) User-agent: Mediapartners-Google* #Disallow: