Архив / Вебмастеру

Что такое robots.txt?

robots.txt

Файл robots.txt предназначен указания поисковым ботам куда можно заглянуть,  а куда соваться не стоит. Все это можно регулировать с помощью двух директив allow (позволить) и disallow (запретить)

Не надо думать что robots.txt это что-то сложное, и нужны навыки программирования.

В этом видео все подробно и кратко рассказано. » Далее…