通过内部链接优化爬网预算

如果你想把你的页面保存在SERP中，你必须确保它们经常被索引。

那么，有数千个页面，你如何确保机器人访问你网站上最重要的页面呢？特别是考虑到他们只花有限的时间在你的网站上爬行？

解决方案:抓取预算优化。

在这篇文章中，我将着重于改进您的内部链接和标页码作为一种确保机器人为您认为最重要的页面编制索引的方法。

我们将回顾：

• 预算的重要性
• 使用分页和内部链接优化爬网预算

建议阅读：充分利用可用预算的5种策略

预算的重要性

正如Mitul在早些时候关于可用爬网预算:

“爬网预算不是我们SEO经常考虑的事情。而且，如果你不熟悉“爬网预算”这个术语，它并不意味着钱是可用的”。

而预算可能不会对您的指标或结果产生如此直接的影响,浪费的爬网预算会严重影响页面在SERP中的可见性，进而严重影响其他工作。

建议阅读：关于爬行预算你需要知道些什么

为了证明这一点，谷歌机器人在抓取一个站点时会经历一个过程，根据谷歌的说法:

这不仅是一个复杂的过程，而且还有许多因素可以阻止机器人索引特定的URL。在图中，谷歌将其称为爬网模式--因素:

“[…]禁止爬网程序跟踪和索引特定URL。”(源)

我们可以很容易地假设搜索引擎指的是网站管理员故意阻止机器人访问网站的行为robots.txt文件.但是，还有其他方面也会影响爬行。

人气这是其中一个因素。根据许多SEO的说法，流行域名被爬网的频率更高。

新鲜是另一个因素，w这和我说的受欢迎程度有关。谷歌总是希望包含关于页面的最新信息。这意味着你更新内容的频率越高，内容被抓取的可能性就越大。

撇开新鲜感和受欢迎度不谈，有一点是明确的：

站点结构不良（由于分页和链接不正确）
可能会阻止搜索引擎对您的网站进行爬网和索引。

需要考虑的另一个问题是什么？重复内容。

您的爬网预算受到站点上重复内容的不利影响。我们一次又一次地提到重复的内容会如何扼杀您的搜索性能。要解决重复内容，请从我们关于301重定向vs.Rel=规范标记。本主题入门将帮助您解决与重复内容相关的爬网问题。

建议阅读：可爬行性问题和如何找到它们

让我们看看如何通过爬行预算o来解决这些问题P胆小会有帮助的P提高你的能见度。

使用优化您的爬网预算我攻的链接

事实：内部链接提升用户体验。

他们向网络访问者提供他们可能会发现有用的其他内容的参考。在此过程中，内部链接通知谷歌你的网站上其他相关页面的排名，甚至是你希望它们排名的关键词。

但是，他们也帮助你的索引和爬行预算。方法如下:

#1.分析内部链接可以移除履带式路障

这是不言而喻的——断开的链接和长的重定向链将阻止机器人继续前进。但你可能没有意识到的是，与此同时，发送机器人追踪根本不存在的URL将浪费宝贵的爬网预算。

让我透视一下这个问题的严重性。

假设您的站点有100000个URL。现在，你的谷歌搜索控制台显示，搜索引擎通常每天抓取1000个URL（其中一些URL，比如主页，比其他URL更频繁）

一个简单的计算表明它需要超过3个月，只需索引一次所有内容。

现在，就像我们之前说的，你可以优化你的网站充分利用这个爬行预算. 这通常涉及阻止对某些内容进行爬网。而且，删除断开的链接和重定向也会将爬虫发送到不存在的URL。

即使是一个简单的内部链接审计也可以帮助您识别和修复URL问题，例如包含可能导致爬行和索引问题的相对URL的超链接。

反过来，防止机器人在它们不应该关注的页面上浪费时间。

(seoClarity的透明度审计显示站点上相对URL问题的报告。）

#2.互联帮助机器人更快地指向关键页面

看看一个典型的、分层的站点结构。这是组织网站数据最流行的方式之一。

快速浏览一下就会发现，访问URL的机器人最有可能访问主页和下一级内容。但之后它是否会访问任何内容，这完全取决于机会，不是吗？

好吧，那还是有用的互连策略.

因为通过将机器人与最权威的内容链接，可以帮助机器人访问位于站点结构更深处的关键页面。

机器人在互联网站上运行。所以，通过引用关键页面或者类别级资产，您可以更快地将机器人指向它们，并确保更快的爬网，而不考虑爬网预算。

#3.分析内部链接有助于识别内部链接过多的页面

现在，对于页面上应该或不应该包含的内部链接的数量没有一套规则。

有三个内部链接的内容可以轻松地与有数百个链接的内容排名相同。

（虽然，作为一般规则，您每页的内部引用不应超过100个。这当然是我们在网站审计能力“清晰性审计”中验证的问题之一。）

这就是排名和你的搜索可见性。当涉及到爬行时，问题就完全不同了。

首先，过多的URL可能会分散机器人的注意力，将其发送到各个方向，而不是您希望它更快索引的站点部分。用我们的内置爬行器和现场审计技术您可以快速识别包含太多内部链接的页面，这些链接可能会将搜索引擎的爬网指向错误的方向。

#4.互联支持站点结构，确保机器人访问权威页面

这是不言而喻的，不是吗？你网站上最受欢迎的内容比其他内容有更多的链接。因此，从那些高度权威的内容链接到低性能页面，至少会将部分可信度传递给他们。

但反过来，它也会向谷歌推荐这些页面机器人爬网和索引。

很简单，对吧？不幸的是，这里有一个陷阱：

由于有数千个页面，识别并链接到少数你希望搜索引擎索引的薄弱页面几乎是不可能的。

相反，您需要以某种方式分发内部链接，以便它能够深入架构中的页面。

目标是顶级内容，如分类页面、顶级产品页面等。来自主页和其他权威内容的内部链接将加强这些内容，进而支持整个网站结构。

为了大规模应用，我们提供内部链接分析要查找没有内部链接的页面数量，请优化锚文本，查找断开的内部链接，等等。

封闭的思想

爬行预算虽然很重要，但对大多数seo来说并不是很令人担忧。也就是说，当爬行问题出现时，你的排名和搜索能见度将面临负面影响。

幸运的是，你可以通过分析你的内部链接结构，修复障碍，并将Googlebot指向你希望更定期索引的网站相关部分，来提高你可用预算的抓取率。