下列选项中,表示Robots协议禁止网络爬虫访问的是()。


下列选项中,表示Robots协议禁止网络爬虫访问的是()。

A.User-agent

B.Disallow

C.Allow

D.Sitemap

正确答案:A


Tag:爬虫 协议 网络 时间:2023-02-17 19:46:30