robots如何屏蔽指定目录?

blender yekong 75℃

robots如何屏蔽指定目录?比如我不想让百度蜘蛛抓取/resource/geojson2,这个目录。

好的,在你提供的 robots.txt 文件基础上,我们需要添加一条指令来禁止百度爬虫抓取 /resource/geojson2/ 目录。修改后的 robots.txt 文件如下:

Disallow: /go/
# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:

Sitemap: https://www.wanjunshijie.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

# 禁止百度爬虫抓取 /resource/geojson2/ 目录
User-agent: Baiduspider
Disallow: /resource/geojson2/

这样,百度爬虫(Baiduspider)将不会抓取 /resource/geojson2/ 目录下的内容,而其他爬虫仍然可以按照 Yoast SEO 插件的默认配置进行抓取。

喜欢 (0)