爬取：搜索引擎如何发现网页

互联网上没有一个「总目录」登记所有网页。搜索引擎想知道世界上存在哪些页面，只能派程序自己去探索——这类程序就是爬虫，也常被叫做蜘蛛（Spider）、机器人（Bot）。Google 的爬虫叫 Googlebot，百度的叫 Baiduspider。

爬虫的工作循环

爬虫的逻辑朴素得惊人，就是一个永不停歇的循环：

1. 从一堆已知 URL 出发（这些种子地址来自历史积累、站长提交等渠道）；
2. 下载其中一个页面的 HTML；
3. 解析出页面上所有的链接，把新 URL 放进待访问队列；
4. 回到第 2 步。

可以把它想象成一个人逛迷宫：每走到一个房间，就把房间里所有门都记下来，然后一间一间推开继续走。链接就是门。如果一个房间没有任何门通向它，这个人永远不知道它存在。

这直接推出 SEO 的第一条铁律：

页面必须能通过链接被访问到，否则对搜索引擎来说它就不存在。

影响爬取的关键因素

1. 入口与内链结构

新站没有任何外部链接时，主动提交 XML 站点地图 和使用搜索平台的站长工具（如 Google Search Console）是最快的「报名」方式。站内则要保证重要页面距离首页的点击层级不要太深。

2. robots.txt 与 meta 标签

robots.txt 是放在网站根目录的一份「访客须知」，可以声明整个目录不允许抓取；页面级的 Noindex 等指令则在更细的粒度上控制行为。它们是管理爬取的核心工具——但一旦配错，也会让整站从搜索中消失，第七章技术 SEO 会专门展开。

3. 抓取预算

搜索引擎不会无限度地抓你的站。给每个站点分配的资源额度叫抓取预算。小站基本感知不到它的存在；但页面数以万计的大型站点如果充斥着无价值的筛选页、参数页，真正重要的页面反而可能得不到抓取机会。

4. 服务器状态

爬虫频繁吃到超时、500 错误或过慢的响应，会降低抓取频率——服务器稳定本身就是 SEO 的地基之一。

如何查看自己网站的抓取情况

Google Search Console 的「索引 → 网页」报告会列出未被收录的 URL 及原因（已抓取未编入索引、被 robots.txt 屏蔽、发现即未抓取等）；服务器日志分析能看到更原始的爬虫访问记录。定期看一眼这两个地方，很多「为什么没收录」的疑问当场就有答案。

本课小结

• 爬虫沿链接循环发现网页：链接是唯一的门，孤岛页面不可见。
• 新站的官方入场券：sitemap 提交 + 站长工具验证。
• robots.txt 控制「能不能来读」，不等于「会不会出现在结果里」。

下一步：页面被抓走了，搜索引擎怎么读懂并存下它？这就是索引要做的事。