# www.rsg.tu-freiberg.de

User-Agent: *
Disallow: /
Sitemap: http://www.rsg.tu-freiberg.de/sitemap.xml

# Googlebot
User-Agent: Googlebot
Disallow: /twiki/
Disallow: /*.gif$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*?*
Disallow: /*~*
Disallow: /*Headlines$
Disallow: /*Template$
Disallow: /*User$
Disallow: /twiki/bin/view/Main/User*
Disallow: /twiki/bin/view/Main/Web*
Disallow: /twiki/bin/view/Main/TWiki*
Allow: /sitemap.xml$
Allow: /twiki/bin/view/Main/WebHome
Allow: /twiki/bin/view/Main/

# Yahoo Slurp
User-Agent: Slurp
Disallow: /twiki/
Disallow: /*.gif$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*?*
Disallow: /*~*
Disallow: /*Headlines$
Disallow: /*Template$
Disallow: /*User$
Disallow: /twiki/bin/view/Main/User*
Disallow: /twiki/bin/view/Main/Web*
Disallow: /twiki/bin/view/Main/TWiki*
Allow: /sitemap.xml$
Allow: /twiki/bin/view/Main/WebHome
Allow: /twiki/bin/view/Main/

# Msnbot
User-Agent: msnbot
Disallow: /twiki/
Disallow: /*.gif$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*?*
Disallow: /*~*
Disallow: /*Headlines$
Disallow: /*Template$
Disallow: /*User$
Disallow: /twiki/bin/view/Main/User*
Disallow: /twiki/bin/view/Main/Web*
Disallow: /twiki/bin/view/Main/TWiki*
Allow: /sitemap.xml$
Allow: /twiki/bin/view/Main/WebHome
Allow: /twiki/bin/view/Main/




# AskJeeves
User-Agent: Teoma
Disallow: /twiki/
Disallow: /*.gif$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*?*
Disallow: /*~*
Disallow: /*Headlines$
Disallow: /*Template$
Disallow: /*User$
Disallow: /twiki/bin/view/Main/User*
Disallow: /twiki/bin/view/Main/Web*
Disallow: /twiki/bin/view/Main/TWiki*
Allow: /sitemap.xml$
Allow: /twiki/bin/view/Main/WebHome
Allow: /twiki/bin/view/Main/

# Nutch
User-Agent: Nutch
Disallow: /twiki/
Disallow: /*.gif$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*?*
Disallow: /*~*
Disallow: /*Headlines$
Disallow: /*Template$
Disallow: /*User$
Disallow: /twiki/bin/view/Main/User*
Disallow: /twiki/bin/view/Main/Web*
Disallow: /twiki/bin/view/Main/TWiki*
Allow: /sitemap.xml$
Allow: /twiki/bin/view/Main/WebHome
Allow: /twiki/bin/view/Main/

# Alexa
User-Agent: ia_archiver
Disallow: /twiki/
Disallow: /*.gif$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*?*
Disallow: /*~*
Disallow: /*Headlines$
Disallow: /*Template$
Disallow: /*User$
Disallow: /twiki/bin/view/Main/User*
Disallow: /twiki/bin/view/Main/Web*
Disallow: /twiki/bin/view/Main/TWiki*
Allow: /sitemap.xml$
Allow: /twiki/bin/view/Main/WebHome
Allow: /twiki/bin/view/Main/