课程目录（点击展开）
第 07 章 · 技术 SEO 第 02 节
抓取控制：robots.txt 与爬虫管理
🚧 本课正在撰写中
以下是本课的小节提纲，完整正文即将上线。
本课将覆盖
- robots.txt语法速成：User-agent、Disallow、Allow、Sitemap 指令
- 五个真实世界的误封事故：后台目录、静态资源、环境配置残留
- robots.txt vs meta robots vs X-Robots-Tag：三种指令的层级与适用
- 抓取预算管理：大站如何避免浪费抓取额度
- 用服务器日志看爬虫的真实行为
进入本页即已记录为「已学完」，进度只保存在你自己的浏览器里。