Яндекс на пальцах объясняет что такое robots.txt и с чем его едят.

И поподробнее в справке Яндекса.