robots如何屏蔽指定目录?比如我不想让百度蜘蛛抓取/resource/geojson2,这个目录。
好的,在你提供的 robots.txt
文件基础上,我们需要添加一条指令来禁止百度爬虫抓取 /resource/geojson2/
目录。修改后的 robots.txt
文件如下:
Disallow: /go/
# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:
Sitemap: https://www.wanjunshijie.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK
# 禁止百度爬虫抓取 /resource/geojson2/ 目录
User-agent: Baiduspider
Disallow: /resource/geojson2/
这样,百度爬虫(Baiduspider)将不会抓取 /resource/geojson2/
目录下的内容,而其他爬虫仍然可以按照 Yoast SEO 插件的默认配置进行抓取。