Meta Robots-Tag:
Der Meta Robots-Tag befindet sich im so genannten Header einer Internetseite, also ganz oben. Dieser dient dazu, die Suchmaschinen in Bezug auf das Spidern zu „manipulieren“ oder eher gesagt zu steuern. Geprüft werden Dinge wie der Index oder der Follow und zahlreiche andere. Sofern kein Meta Robots-Tag verfügbar ist, prüft der Spider nicht nur ein paar, sondern alle angegeben Links. Hierdurch wird die Website in den Datenbestand einer Suchmaschine aufgenommen.
