Google adaugă următoarele linii

  • File - Caracteristici și aplicații
    Robots.txt - un fișier pentru a restricționa accesul la site-ul de conținut roboți motor de căutare situat la http-server. Fișierul robots.txt trebuie să fie localizat în directorul rădăcină al site-ului care au un nume relativ cale a site-ului: /robots.txt).