Инструкция по robots.txt от Яндекса

Яндекс на пальцах объясняет что такое robots.txt и с чем его едят.

И поподробнее в справке Яндекса.