站点审核工具中的“问题”选项卡

[shakilhasan15]

此标签对于重复页面或您想要保密的其他页面特别有用。

虽然机器人会继续抓取这些页面来查看标签，但它们会记下来并限制将来的抓取。

要告诉搜索引擎不要索引特定页面，请使用带有“noindex”属性的 robots 元标记。

将以下标签插入到页面的 head <> 中：
减少重定向
重定向会自动将机器人从一个网页发送到另一个网页。如果机器人访问已被移动或删除的页面，重定向会将其带到该页面的新位置或解释原始页面不再可用的原因的页面。

重定向需要机器人提供更 立陶宛移动数据库 多的资源，因为它们访问了比必要更多的页面。

转到站点审核的“问题”选项卡。

警告部分将告诉您有多少个 URL 具有临时重定向。

临时重定向的“为什么以及如何修复”部分的示例
大多数浏览器在抓取过程中最多遵循五条重定向链。

如果您使用重定向，请确保它们是合乎逻辑的。

假设某个体育网站上有一篇关于去年一场足球比赛的文章，其。
这将创建一系列重定向，浪费资源并损害网站的抓取效率。

修复损坏的链接
断开的链接是机器人无法访问的页面。它们损害了可爬行性和用户体验。

如果机器人无法访问某个页面，它们就无法抓取和索引该页面。过多的此类错误会减慢抓取过程并消耗您的抓取预算。

例如，亚马逊上的 404 错误如下所示。