SEO的爬行深度：如何增加爬网效率

页面越受欢迎（按页面层次结构测量和指向它的链接数）越多，搜索引擎越多且索引其内容。

这也表明，爬虫将跳过不那么流行的页面，并且不会经常爬网。

乍一看，这似乎似乎不是一个主要问题。好吧，至少在您更新其中一些较低的权限页面之前，并希望Google爬上它们。

在这篇文章中，我们将向您展示如何实现它。我们将讨论爬虫深度的想法，以及如何确保较少的流行页面通常也索引。

但首先，让我们快速回顾一下谷歌爬行和索引企业网站。

内容如何最终在SERPS中

搜索引擎在SERPS中查找和包括网页的过程包括四个步骤：

• 爬网，搜索引擎Bot通过网站来发现其内容。通常，它们通过以下内部链接来执行此操作，尽管爬虫也可以使用该目的的站点地图。
• 渲染，在哪个阶段，爬网程序呈现每个页面以识别和分析其内容。这一步骤是关于学习页面关于和评估其内容（以及其他内容）以确定其质量和权限的内容。
• 当搜索引擎包括（或更新）其索引中的这些页面的信息时，索引。
• 排名，所有这些都是关于在Google搜索结果中为特定查询的相关位置相关联的页面。

在整个过程中，在这篇文章中，我们涉及第一步：爬行。因为除非搜索引擎可以访问，发现和抓取网站的资产，否则它将对相关关键字进行排名的能力将受到严重影响。

但是，确保了克赖力性该网站只是第一步。要考虑的另一个SEO问题正在让履带程序定期访问在网站内的不那么受欢迎的内容爬行预算同样，这就是爬行深度的问题。

什么是爬行深度？

术语爬网深度是指搜索引擎的机器人在单个爬网中的网站上访问和索引的页面。

具有高爬网深度的网站看到他们的许多页面爬行和索引。爬行深度低的人通常会有许多在长时间爬出的页面。

爬行深度涉及该网站的架构。如果您考虑最常见的架构，在层次结构顶部的主页和从中链接到其中的内页，那么爬行深度定义了爬行者将会进入的程度深入。

推荐阅读：最好的两个网站分类方法来提升SEO

爬行深度通常与页面深度混淆。这两个不一样，虽然我可以了解混淆来自哪里。

术语深度定义用户需要从主页到达特定页面的点击数量，当然是使用最短路径。

使用上图作为示例，主页处于深度0，就在顶部。

下面的页面它将在深度1，右下方，深度2，等等。这就是它在我们的清晰度UI中反映的方式。因此，直接连接到主页的页面更接近站点架构的顶部。

通常，深度3和更低的页面通常会在有机搜索结果中执行较差。这是因为在网站分配的爬网预算中，搜索引擎可能会产生达到和爬行的问题。

这为我们带来了另一个问题：爬行优先级。

什么是爬行优先级？

我们讨论了搜索引擎如何找到，爬网和索引内容。我们还讨论了网站架构和页面深度如何影响过程。

但是我们必须触及另一件事，网站架构与页面权限之间的相关性（或者以不同的方式放置，页面获得最多的链接。）

通常，主页将获得大多数网站的链接。不幸的是，第2层和3的页面赚了很少的联系。但是，当您考虑这些页面的内容时，这不应该令人意外，产品类别，产品页面，金钱页等。所有这些都不是可联系的资产，也不是网站管理员会经常引用其内容。页面进一步下降 - 博客和其他信息内容 - 可以赚取更多链接。

例如，分析ugmonk.com的链接简介，服装店，我可以看到大多数链接指向商店的主页。授予，其中一些链接引用了HTTP URL，但它仍然是同一个主页。

为什么这个这么重要？好吧，因为有更多链接指向它们的页面似乎更受欢迎。因此，它们将比具有较少或没有链接的页面具有更高的爬网优先级。这些页面还可以作为爬行者的入口点。

简而言之，这些流行的页面更频繁地爬行，而且，在主页之后为爬虫提供另一个入口点。

推荐阅读：首页SEO：如何搞定，最后

但剩下的呢？好吧，这就是问题。除非其他资产与流行页面相关联，否则他们的机会将定期贬低大大。

当然，这并不意味着爬虫永远不会访问这些页面（尽管在网站的架构中非常深的资产可能是真的。）但正如所说，他们的爬行潜力可能会明显更小。

那么该怎么办？如何增加爬行效率并优先考虑不那么流行的内容？

首先，优化你的内部链接结构。减少要达到的页面所需的点击次数更频繁地爬行。

确定与流行内容的目标页面链接的机会。使用Seoclarity的内部链接分析功能，评估到页面的当前链接。下面的屏幕截图显示了深度3的页面的分析。

请注意，所有这些资产只有一个指向它们的内部链接，建议在网站的层次结构中将更高的机会带来一些聪明的策略。

推荐阅读：内部链接策略，在SEO构建网站权威

此外，如果在CMS中，使用类别和标签，可以提供额外的结构可以追随爬虫来发现此内容。

创建和更新XML网站地图通常 - 这充当了包含搜索引擎索引的所有URL列表的类型的目录，以及关于何时更新页面时的信息。通常，搜索引擎将比其他人更频繁地爬网站地图中的网址，因此，通过保持网站地图新鲜，您可以增加这些目标页面的机会爬行。

笔记：Seoclarity内置现场履带允许您根据收集的信息创建站点地图。

最后，增加页速。快速站点将减少爬虫访问和渲染页面所需的时间，从而在爬网预算期间访问更多资产。

（快速注意：Seoclarity运行页速分析基于灯塔数据来提供最相关的见解来推动您的策略。）

关键的外卖

• 带有更多链接的页面更频繁地爬行。
• 页面的深度越大，在网站爬网预算中爬出的机会越低。
• 为了增加较少权威页面的爬虫频率，改进网站的体系结构，定期更新站点地图，加快网站。