Еще помогите плз с роботс.тхт

[poltava]

помогите плз как его сделать куда впихнуть и что там лучше всего прописовать,какие станички запрещать, пожалуйста)))

[vladimir]

помогите плз как его сделать куда впихнуть и что там лучше всего прописовать,какие станички запрещать, пожалуйста)))

http://www.google.com/search?client=opera&rls=ru&q=robots.txt&sourceid=opera&ie=utf-8&oe=utf-8

[poltava]

пасибки,щас буду ознакамливаться))

[Kot]

Кстати очень актуальная темка, раньше года три назад я начал ознакамливаться с этим файлом, почитав сайты, где это всё описываеться и примеры приводяться, почитав тыковку и плюнул на всё так ничего и невкурил, а вот сейчас, вернее вчера опять для себя поднял тему, потому как много ошибок 404 оказываеться, да и других дебильных запросов делают роботы, хотя оно им там и ненужно, есть ли у меня в шаблоне эта картинка, убрал ли я ссылку и многое другое. Ну так вот, набросал я себе для движка ДЛЕ следующее.
Создаём текстовый файл, обзываем его robots.txt и туда пихаем это.
User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Это означает, что для роботов эти папки закрыты и нех им савать туды нос.
Ниже добавляем это.
User-agent: *
Allow: /
Host: www.сайт.com
С этого следует, что мы разрешаем роботам смотреть наш сайт полностью.
Мож я ещё что то упустил или недопонял, тут нужно ещё покумекать, но при проверке инстрементом мне выдало.
Запрещающие правила:

/backup/
/engine/
/language/
/templates/
/uploads/
А
Разрешающие правила:
/
/
Если кто ещё полее продвинутей поясните или дополните, так же мож что и не правильно я написал.
Но вроде всё и это касаеться ДЛЕ. но использовать robots.txt нужно всегда и везде, так как у роботов задача сначала искать этот файлик. И робот постоянно колбасит на сайте в поисках, а его нима и потом выдаёт опять же таки 404 ошибку змей.

[vladimir]

Круто. Сам почитал. Мне понравилось

[poltava]

а зачем запрещать аплоад,енджайн и т.д?чем они мешают роботом?

[vladimir]

Наверное на всякий случай. Вдруг у тебя включится листинг директорий? Тогда яндекс запросто выдаст структуру сайта. А это не есть хорошо.

[myst1cal]

Ну я еще так думаю, если стоит к примеру галерея (например Coppermine Photo Gallery), то наверное нужно добавить и ее
User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /gallery/bridge/
Disallow: /gallery/cgi-bin/
Disallow: /gallery/docs/
Disallow: /gallery/images/
Disallow: /gallery/include/
Disallow: /gallery/lang/
Disallow: /gallery/logs/
Disallow: /gallery/plugins/
Disallow: /gallery/sql/
Disallow: /gallery/themes/
User-agent: *
Allow: /
Host: www.сайт.com

И если форум то также и его наверное.

[Kot]

По поводу Форума, то это незя делать, разве что там папки какието, а вот по поводу запрещения, то в некоторых папках картинки, в некоторых файлы, в общем или юзаете или не задавайте глупых вопросов. Тут стараешся помочь, а не расписывать вам, зачем и почему. Учите СЕО и читайте сами мануалы.
 

[poltava]

По поводу Форума, то это незя делать, разве что там папки какието, а вот по поводу запрещения, то в некоторых папках картинки, в некоторых файлы, в общем или юзаете или не задавайте глупых вопросов. Тут стараешся помочь, а не расписывать вам, зачем и почему. Учите СЕО и читайте сами мануалы.
 

так за это вам огромное спасибо,но хотелось бы знать для чего ты это делаешь,знание без понимания,не есть хорошо

[myst1cal]

Да нет Кот. Я же не имел ввиду все форумные папки закрывать. В разных форумах по разному.

[logo]

Здравствуйте.
Немного непонятно с разрешающей инструкцией
User-agent: *
Allow: /
Host: www.имя.ru
на сайте robotstxt.org утверждают, что

Инструкции Allow не существует!
Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает!

Есть ли какие то мненния по этому поводу?

[vladimir]

http://www.google.com/support/webmasters/bin/answer.py?answer=40364&query=allow&topic=&type=
А вот гугл говорит что этот оператор ему знаком!)