Robots.txt ist eine Textdatei auf Ihrem Server, die Anweisungen an den Crawler der Suchmaschinen enthält. Vereinfacht gesagt bestimmt der Webmaster bzw. der Eigentümer der Seite,…