Форум о web-дизайне, графике

Автор: Lenka_X 30.10.2006, 19:47

при анализах разных своих и не своих сайтов
наблюдаю наличие robots.txt
естественно хотелось б знать как его создавать
где размещать что туда вносить и в какой форме
- чтоб полезнее было для ресурса

Заранее Благодарю за ответы

Автор: nikitar 30.10.2006, 19:54

Одно могу сказать читайте в 10-м выпуске журнала что да как. Там аж 2 статьи есть по этому поводу. Всё о robots.txt часть 1 и часть 2.

Автор: Lenka_X 31.10.2006, 1:43

говоришь нужно писать.. отвечать... давать много инфы -
а сам не отвечаешь

а я действительно это хотелаб узнать....

Автор: Рsi 31.10.2006, 1:59

Чё за журнал-то

Автор: nikitar 31.10.2006, 2:22

Вот начало статьи

Цитата

Многие люди, проводящие время в сети за продвижением собственного сайта, хоть раз, но слышали или читали о файле robots.txt. Это небольшой файл способен стать эффективным инструментом в руках умелого вебмастера. Обо всех (о многих

секретах синтаксиса мы сегодня и поговорим. О тонкостях в работе с файлов читайте в моей следующей статье.
Что такое robots.txt

Судя по расширению — это файл. Простой текстовый файл, который создаётся за пару секунд в любом текстовом редакторе. С помощью этого файла владелец сайта может активно влиять как на качество, так и на длительность индексации поисковиками его сайта. Представьте себе — всего один крохотный файл, а выполняет столько нужной работы!
Этот файл может сообщить роботу поисковой системы, который индексирует страницы, что ему нельзя индексировать определенные страницы. Таким образом, Вы можете формировать страницы для поисковика А и сообщать роботу поисковика Б, чтобы он их игнорировал. Файл должен находиться обязательно в корневом каталоге. Всё гениальное — просто! Перейдём к синтаксису.

Там ещё 5 страниц текста с разбором синтаксиса и прочим и прочим, всё это будет в 10-м выпуске журнала, который выйдет наверно в пятницу.
Последний выпуск можно у меня из подписи скачать.

Автор: psi 1.11.2006, 21:24

Цитата(nikitar @ 30.10.2006, 19:54)

Одно могу сказать читайте в 10-м выпуске журнала что да как. Там аж 2 статьи есть по этому поводу. Всё о robots.txt часть 1 и часть 2.

ну тут Никит ты не прав и я полностью на стороне Lenka_X. Во-первых информция нужна не в какой то день, выхода журнала, причем неизвестный, а как обычно срочно и сейчас

А во вторых может не ей одной это интересно.

на самом деле эту инфу мона найти в самих поисковиках т.е. в их факах. Счас времени нет, но попохже скину тут информацию

Автор: psi 1.11.2006, 22:25

собственно здесь должно быть все http://robotstxt.org.ru/ . Если будут вопросы спрашивай.

Автор: NooBcheG 22.4.2008, 17:51

А запрещая определённые страницы к индексированию, это для ПС "железный" аргумент?? прост у мя там спрятан неуникальный контент, если робот несмотря на все дизэллоу проиндексирует то сами знпете что. В этом смысле можно считать robots.txt панацеей?? на главной у мя контент уникален, её я и буду индексиовать.

Кто знает подскажите плиз

Автор: psi 22.4.2008, 18:08

Цитата(NooBcheG @ 22.4.2008, 18:51)

А запрещая определённые страницы к индексированию, это для ПС "железный" аргумент?? прост у мя там спрятан неуникальный контент, если робот несмотря на все дизэллоу проиндексирует то сами знпете что. В этом смысле можно считать robots.txt панацеей?? на главной у мя контент уникален, её я и буду индексиовать.

Кто знает подскажите плиз

да, если ты правильно все пропишешь то поисковый робот на запрещенные страницы заходить не будет

Автор: NooBcheG 23.4.2008, 0:08

Ну у вас в журнале свё прекрасно написано - звучит жуткоо а там и есть-то написать 3 строчки и весь файл готов)) Спасибо в общем))

Автор: Hippy 2.5.2008, 22:51

Спасибо за ссылку, почитал. Вроде, если сайт маленький - то можно оставить роботс.тхт пустым, так? Или даже мне стоит запретить что то индексировать (мой сайт в подписи - кто посмотрит, надо ли что то запрещать - спасибо, и если надо - сообщите плиз)
Заранее благодарен

Автор: psi 3.5.2008, 18:12

Цитата(Hippy @ 2.5.2008, 23:51)

Спасибо за ссылку, почитал. Вроде, если сайт маленький - то можно оставить роботс.тхт пустым, так? Или даже мне стоит запретить что то индексировать (мой сайт в подписи - кто посмотрит, надо ли что то запрещать - спасибо, и если надо - сообщите плиз)
Заранее благодарен

нет, ничего не надо на сайтек запрещать... итак страниц мало

Версия для печати темы

Нажмите сюда для просмотра этой темы в обычном формате