Ишу хак

[Maxter]

Подскажите плиз, был такой хак , который ограничивал сканирование сайта от поисковиков, доступ настраивался с промежутками. Перелопатил несколько сайтов, и немогу найти. А яндекс с гуглом достали сканировать, грузят сайт пипец.

[Lion__]

а создать файл robots.txt не подойдёт?

[Maxter]

А там вроде через роботс, это я обозвал хак, подскажи что прописать, чтоб секунды через три обращался.

[Kuzia]

C секундами врятли получиться. Почитай тут

[Lion__]

типо задержка?

User-agent: *
 Crawl-delay: 10

[Maxter]

типо задержка?

User-agent: *
 Crawl-delay: 10

Плять как недоперло самого, спасибо и плюс в карму. Kuzia тоже +.

[Lion__]

так боты всё равно щя многие задержку делают в 2-3сек)

[Maxter]

У меня вчера ваще повесили сайт, гоша, яша и китайский олень, весь день сканировали, я просто с доменами баловался, дабы с агс-17 соскочить, вот соскочил, сайт вернул и они с таким упоением его насиловали вчера, ваще пипец.

[Dimko]

так боты всё равно щя многие задержку делают в 2-3сек)

Аха... Данная функция в robots.txt читается только Яндексом, Гугл и прочие трогать даже не будут этот Crawl-delay

[Dimko]

У меня вчера ваще повесили сайт, гоша, яша и китайский олень, весь день сканировали, я просто с доменами баловался, дабы с агс-17 соскочить, вот соскочил, сайт вернул и они с таким упоением его насиловали вчера, ваще пипец.

К чему данный пост? Гоша и китайский ОЛЕНЬ знать не знают АГС-17, это фильтр Яндекса и только яндекс возвращает или наоборот выкидывает из индекса все страницы, оставляя не больше 10 в индексе...

[Lion__]

Аха... Данная функция в robots.txt читается только Яндексом, Гугл и прочие трогать даже не будут этот Crawl-delay

обломись _http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html

[Dimko]

Crawl-delay: 10 работает только в яндексе. Но и для других есть свои методы
_http://www.webmasterworld.com/forum93/768.htm

Только для других нах не надо ставить ничего, лично я как и многие другие работаю только с Яндексом, а траф который с гугла и прочих прёт не интересен... Идёт он, да и бог с ним...

Аха, ну и толк от того что яхууууу читает? Яху помёр лет так пять назад...

[Lion__]

умер? Жив и будет жить... Яндекс, Google, Rambler, Yahoo! самые популярные. И если они имеют эту функцию, то и другие будут иметь.. Ну кроме msn...

[Dimko]

умер? Жив и будет жить... Яндекс, Google, Rambler, Yahoo! самые популярные. И если они имеют эту функцию, то и другие будут иметь.. Ну кроме msn...

Лично для меня умер. Rambler, Yahoo - ето гавно самое популярное? Пользователей по РФ и СНГ в целом с гугла и яндекса хватает, а с рамы яху нах не надо...

[Lensmen]

Умники по Яхоо отслеживаются обратные ссылки, беки откуда смотрите ?