User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *
Disallow: /cgi-bin/
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды