User-agent: Yandex Disallow: /link.php User-agent: Googlebot Disallow: /link.php User-agent: Slurp Disallow: /link.php User-agent: StackRambler Disallow: /link.php User-agent: Scooter Disallow: /link.php User-agent: Yahoo-MMCrawler Disallow: /link.php User-agent: Googlebot-Image Disallow: /link.php Sitemap: http://omore.com.ua/sitemap.xml # управляем нагрузкой от поисковиков # пауза в 5 секунд между запросами от поискового робота Crawl-delay: 5 # директивы из расширенного стандарта Robots.txt - работают ли(?) # http://www.conman.org/people/spc/robots2.html # загружать не более одной страницы за пять секунд Request-rate: 1/5 # загружать страницы только в промежуток с часу ночи до 8:00 по Гринвичу. Visit-time: 0100-0800