Robots.txt — создать, заполнить, запретить

Владелец: yacinema
Опубликован: 8 августа 2011
Доступный рассказ о файле robots.txt — что это, для чего это и как это работает. Составление простейшего файла robots.txt в режиме реального времени.