无论您的网站的大小，您都不会停止对其进行更改。它永远不会被“完成”。您可以（也是应该）通过一直爬行您的网站来监控您的网站变更和整体网站健康。

当您的网站增长时，挑战是，比较这些变化和进展变得更加困难。

对于企业网站来说，通过比较两次爬网的变化来分析爬网数据实在是太繁琐了。

此外，通过多个团队进行网站，您需要有一个集中的位置，以便每个人都从相同的数据源工作。

如果你是一个小团队的成员，你很可能没有时间或资源来手动完成这个过程。

比较抓取数据的能力允许您在并排视图中随着时间的推移分析爬虫趋势，所有这些都努力扩展您的技术SEO。

推荐阅读：成功抓取企业站点指南

用爬行比较法测量场地健康

在接下来的演示中，我将使用seoClarity收集的数据内置履带。

＃1。监控页面深度

使用爬网比较功能进行比较爬行深度两个爬行。

这有助于识别爬虫在哪里找到您的页面。因为我们的爬虫工作就像谷歌的，你会希望你最重要的页面是容易访问。

如果你看到一个剧烈的变化，(比如页面被进一步往下推)，这就会促使你深入研究这些变化。如果您更改了站点分类法中的某些内容以使某些页面更具可访问性，则该视图还允许您进行确认。

# 2。检查新的和删除页之间的爬行

跟踪新页面（即最近爬网中的新页面）并删除页面（即在珍贵的爬网中发现的最近爬网中找不到的页面）;plus查看与这些页面相关的所有SEO问题。

了解新页面和删除页面的数量(以及它们各自的问题数量)可以让您知道您的站点是否存在任何明显的问题。

新页面尚未索引，但您关心它们。（有一个原因在您的网站上发布了它们！）您想要确保没有技术搜索引擎优化问题这可以阻止他们从执行。

删除的页面可能已被故意弃用，或者可能是因为页面是孤立的。Orphan页面是您网站上没有其他页面链接的页面。

它们无法爬行，因为爬虫依赖于网站的内部链接结构来导航和收集信息。

＃3。查看编辑间内容变化

查看H1，H2，描述，标题和单词计数等页面内容因子的更改。

确认您的编辑变化已生效，并在您的网站上正确反映。相反，捕获编辑错误 - 在规模 - 并分配指定团队成员的变化。通过企业网站，许多人可以访问CMS，因此错误可能是常见的。

# 4。跟踪重定向数量的变化

使用爬网比较功能跟踪重定向数量的更改。

如果它是意外的，则站点的重定向数量的增加可能是一个问题。

在某些情况下，重定向是必要的——例如，处理带有或不带尾随斜杠的url，或者在站点迁移时，您希望确保旧页面现在重定向到新页面。

但是，比较和跟踪重定向数量的意外增加或减少有助于捕获和审计重定向设置中的任何错误。

＃5。查看协议或响应状态的更改

监控您网站的可访问性更改。

跟踪2xx页面的变化或错误页面的增加(4xx或5xx)非常重要，以确保站点的可访问性得到维护，搜索引擎和用户能够访问您的站点。为了可用性的目的，还应该监视协议的更改。

# 6。请参阅检测到的问题数量摘要

查找技术问题增加或减少的页面，或查看两个抓取日期之间问题计数没有变化的页面。

当每个URL出现问题时，要知道您正在修复页面上的问题。相反，要知道页面是否产生了需要注意的新问题。对于未改变的问题，这可能有助于优化页面，因为这些页面在两次爬行之间没有收到任何更改。

# 7。确认标准标签

请参阅Canonical标记实现的更改。

规范化对于确保搜索引擎索引正确的页面非常重要。如果规范化错误的页面或规范化文件没有正确设置，您可能会受到惩罚。例如，如果您的站点已经完成了迁移，并且您正在比较迁移前和迁移后的爬行，这可以帮助您确认规范已经正确设置。

# 8。机器人头部的变化

机器人标题为GoogleBot提供参数指南，页面爬行。

笔记：上面的截图没有反映出机器人头部的变化之间的比较爬行。

由于robots标头控制页面的索引，因此监视对robots标头的更改非常重要。比较爬行和监视robots标题中的更改是一种快速方法，可以确保站点中没有不必要的和意外的页面反索引。

下一个步骤

如您所见，在许多情况下，了解站点随时间的变化对您有好处。

建议每月或每两周检查一次这些变化。为了帮助自动化这个过程，你可以设置重复抓取——这只是SEO平台允许你这样做的一个例子自动化你的搜索引擎优化。

检查这些爬行比较，以确保所有工作都符合现场正在进行的工作的期望。

笔记：如果你计划迁移你的站点，一个爬行比较前和迁移后是必要的!