Analyse der robots.txt-Datei

Hello Engines! analysiert die robots.txt-Datei Ihrer Website. Die Datei wird von den Crawlern der Suchmaschinen gesucht und gelesen. Mit der Datei können Sie Anweisungen an Crawler geben und zum Beispiel bestimmen, welche Seiten Ihrer Website indexiert werden sollen und Seiten, an denen noch gearbeitet wird, verbergen.