我确信您知道“Crawl-Delay”是什么，但您可能不知道，并非所有搜索引擎爬虫都支持这个好东西。

对于那些不遵守指令的爬虫该怎么办？它们会耗尽您所有的每月 Mbits 流量，或者拖慢您的网络服务器。好吧，之前唯一的选择是使用 url.access-deny 来禁止它们。但是您不想将您的页面从这些愚蠢的搜索引擎索引中移除，不是吗？

这里为您提供了另一个选择：通过这个补丁，您可以将指定请求的处理延迟几秒钟。配置示例：

$HTTP[“user-agent”] =~ “stupid-crawler” { connection.delay-seconds = 2 }

好的，这里是补丁 lighttpd-2296-request-handle-delay.patch 的链接，它适用于 branches/lighttpd-1.4.x@2296

请注意，此补丁在提交到仓库之前需要经过审核。