Существует для сайта некий посредник непосредственно между ним и поисковыми системами — это файл robots.txt. Он является очень важным, ведь при индексации способен указать поисковому роботу массу необходимой информации. Так как же составить файл robots.txt грамотно и с максимальной пользой для веб-ресурса?