Многие люди, проводящие время в сети за продвижением собственного сайта, хоть раз, но слышали или читали о файле robots.txt. Это небольшой файл способен стать эффективным инструментом в руках умелого вебмастера. Обо всех (о многих секретах синтаксиса мы сегодня и поговорим. О тонкостях в работе с файлов читайте в моей следующей статье.
Что такое robots.txt

Судя по расширению — это файл. Простой текстовый файл, который создаётся за пару секунд в любом текстовом редакторе. С помощью этого файла владелец сайта может активно влиять как на качество, так и на длительность индексации поисковиками его сайта. Представьте себе — всего один крохотный файл, а выполняет столько нужной работы!
Этот файл может сообщить роботу поисковой системы, который индексирует страницы, что ему нельзя индексировать определенные страницы. Таким образом, Вы можете формировать страницы для поисковика А и сообщать роботу поисковика Б, чтобы он их игнорировал. Файл должен находиться обязательно в корневом каталоге. Всё гениальное — просто! Перейдём к синтаксису.

Одно могу сказать читайте в 10-м выпуске журнала что да как. Там аж 2 статьи есть по этому поводу. Всё о robots.txt часть 1 и часть 2.

А запрещая определённые страницы к индексированию, это для ПС "железный" аргумент?? прост у мя там спрятан неуникальный контент, если робот несмотря на все дизэллоу проиндексирует то сами знпете что. В этом смысле можно считать robots.txt панацеей?? на главной у мя контент уникален, её я и буду индексиовать.

Кто знает подскажите плиз

Спасибо за ссылку, почитал. Вроде, если сайт маленький - то можно оставить роботс.тхт пустым, так? Или даже мне стоит запретить что то индексировать (мой сайт в подписи - кто посмотрит, надо ли что то запрещать - спасибо, и если надо - сообщите плиз)
Заранее благодарен