索引：搜索引擎如何读懂网页

爬虫把 HTML 原样搬回服务器，但这堆代码本身并不能直接回答「用户搜跑步鞋哪个牌子好」。在抓取和排名之间，还有一个承上启下的环节：索引。只有进入索引数据库的页面，才有资格出现在搜索结果里。

索引阶段发生了什么？

可以粗略拆成四步：

1. 渲染：现代网页大量依赖 JavaScript，搜索引擎会像浏览器一样执行代码、画出完整页面，才能看到全部内容；
2. 解析：提取标题标签、正文、图片、链接等元素，理解「这个页面的主体内容是什么」；
3. 去重：互联网上大量内容互相抄袭或仅改头换面，搜索引擎会识别出重复内容组，只保留最权威的版本参与排序；
4. 入库：为页面建立倒排条目——记录它包含哪些词、出现在哪些位置、权重如何，供检索时毫秒级调用。

「已抓取，未编入索引」

Google Search Console 里最常见的状态之一就是：页面被抓取了，却没进索引。官方解释是「质量信号不足」——搜索引擎认为这个页面价值不够，暂时不值得存储。

触发这种情况的典型原因：

• 内容与其他页面高度雷同（采集、模板化严重的页面）；
• 内容过于单薄，比如两三句话拼凑的商品描述；
• 站点整体信任度低，新站尤其常见，需要时间和持续产出；
• 页面价值极低的参数变体、打印版本等。

对策不是「反复提交」，而是回头提升页面独特性与站点整体质量。

怎么检查页面是否被索引？

最快的办法是搜索 site:你的域名/具体路径，能返回结果通常意味着已入索引；更严谨的做法是在 Search Console 中用「网址检查」工具查看该 URL 的确切状态。

本课小结

• 索引 = 渲染 → 解析 → 去重 → 入库，不进索引就没有排名资格。
• 核心内容尽量写在初始 HTML 中，别把命脉全交给 JavaScript。
• 「已抓取未索引」本质是质量判断：提高独特性比重复提交有用得多。

下一课进入本章压轴环节：面对索引里的亿万页面，排名是怎么决定的。