Robots.txt — создать, заполнить, запретить

Доступный рассказ о файле robots.txt — что это, для чего это и как это работает. Составление простейшего файла robots.txt в режиме реального времени.