No, urobili sme čaj, teraz môžeme pokračovať, a aby Google našiel a indexoval všetky vaše stránky, odporúča sa vytvoriť jeden veľmi dôležitý súbor vo vašom projekte. Mapa stránok je súbor, ktorý by mal obsahovať informácie o všetkých vašich nových a zmenených webových stránkach. Veľmi dôležitým bodom je, že všetky URL v tomto súbore musia byť presne rovnaké ako vaše, inak bude stránka ťažko indexovateľná, čo v budúcnosti spôsobí mnoho problémov a mätúcich situácií.
Určite sa môžete pýtať, prečo zakazovať skenovanie stránok, ale odpoveďou na túto otázku je odporúčanie spoločnosti Google v tomto prípade je stránka, ktorá sa neodporúča skenovať:
Otázkou však môže byť, ako to urobiť? Všetko je to už dávno vyriešené, musíte použiť súbor robots.txt. Môžete si ho nainštalovať z oficiálnej stránky Google a prečítať si aj návod na jeho používanie. Majte však na pamäti, že tento súbor vám nepomôže skryť stránky s citlivými informáciami, ale túto úlohu možno vyriešiť pomocou značky noindex, ale vo všeobecnosti sa odporúča na takéto stránky umiestniť vhodný spôsob autorizácie pomocou hesla alebo ich úplne odstrániť z webu.