Robots.txt

你可能会说

请让爬虫少抓重复筛选路径,但不要把 robots.txt 当成管理页的访问权限。

放在站点根目录、告诉自动爬虫哪些路径可以抓取的规则文件购物车和重复筛选路径可能浪费爬虫请求,可以在根目录的 robots.txt 中写抓取规则。它只表达对遵守规则的爬虫的抓取建议,不会阻止普通用户打开页面,也不能代替登录、权限或敏感数据保护。
也常被叫作robots 文件Robots Exclusion Protocol

你可以这样告诉 AI Agent

可直接复制给 Cursor / Claude Code / Codex
精准结构化 Prompt

请在站点根目录生成 robots.txt,只限制重复筛选路径的抓取,保留正常商品页;检查文件位置、规则匹配和普通浏览器仍可访问。管理页和客户数据必须另用认证授权,不要用 Disallow 代替权限。

想让 Agent 自动把口语描述改写成精准术语?免费安装 VibeHub Skill →
延伸阅读 · 权威出处