为什么Google会停止从我们的sitemap.xml索引网页?

我们看到一些网页存在于我们的sitemap.xml中但却令人费解的错过了谷歌的公共搜索索引。

您无法下载和安装https://superuser.com/sitemap.xml - 我们屏蔽了这些文件,因为之前实际上已经有人担心 - 但googlebot可以。 我们实际上已经使用Google网站管理员工具验证了sitemap.xml文档今天已被删除,并且在没有错误的情况下排名为ALRIGHT(环境友好的复选标记)。

sitemap.xml有一个清单,列出了我们网站上被询问的最后50,000个查询。 举个例子,这个询问......

https://superuser.com/questions/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links

...存在于sitemap.xml中......

<url>
<loc>https://superuser.com/questions/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

搜索“如何看待一长串符号链接的终结”只为questionhub.com提供了一个结果,它正在抓取我们的信息(整个各种麻烦)。

您可以增加查询事项编号并对查询标题进行特定查找,您也一定会看到这种模式。

这些链接是 sitemap.xml然而他们在谷歌的索引中令人失望 - 而且他们却出现在那些划破我们富有想象力的公共信息的网站上。 为什么会这样呢?

0
2019-05-13 03:56:38
资源 分享
答案: 6

它类似谷歌今天出现了一些技术爬行的麻烦 非常 就像我们经历的那样:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

似乎没有人能够免受谷歌索引的麻烦,因为有几个网站所有者感到沮丧。 博客网站以及互联网网站,无论是大型还是小型网站,都没有像通常那样及时编入索引 - 如果它们被编入索引的话。

...

来自Google的John回应了网站管理员论坛中的字符串声称:

需要明确的是,我实际仔细评估过的这一字符串的问题不是因为我们的计划调整或公式的调整; 它们源于我们这方面的技术问题,当然会尽快明确解决 (虽然可能会占用所有网站,但可能会占用几天时间)

0
2019-05-18 09:17:42
资源

Google不会对站点地图中的网页进行索引进行任何形式的交易或保证。

我的经验实际上是需要连接一个网页 - 从(从一些权威的网页)连接到。 该页面/问题是否直接/间接地从具有某些权限的网页连接?

例如,如果superuser.com主页(可能有几个链接)直接连接到此查询,或通过各种其他网页间接连接到它,之后您可以预期它将被编入索引。

来自谷歌:

Google不保证我们会对您的每个网址进行爬网或编制索引。 尽管如此,我们利用您站点地图中的信息来了解有关您的网站框架的更多信息,这肯定会让我们提升我们的蜘蛛时间表,并且还可以在将来更好地工作。 大多数时候,网页设计师肯定会从Sitemap条目中获益,而且在任何情况下都肯定会因此而受到惩罚。

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184

0
2019-05-17 15:30:14
资源

它显示谷歌提到46,514发送了网络链接 在索引中。 可能是一个关注(我鄙视声称它)但网页位置? 抓挠网站可能会做得更好,交叉连接等,也被评为更高。 只是一个想法。

此搜索site:superuser.com如何查看长链符号链接的结尾另外似乎适当地带来了您的sitemap.xml,尽管没有返回预期的结果。

0
2019-05-17 15:23:44
资源

我认为谷歌可能很难将你的网站编入索引,50.000很多。 所以我的指针肯定会失败你的站点地图直接进入项目

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

如果你失败了,那么将这些50.000链接编入索引肯定会有更好的好运。

Sitemaps.org关注的描述

您可以提供大量站点地图文档,但您提供的每个站点地图文档必须超过50,000个URL,且不得超过10MB(10,485,760字节)。 如果您确实如此,可以使用gzip压缩Sitemap文档以降低传输容量需求; 尽管如此,一旦未压缩,站点地图文档必须不超过10MB。 如果您打算详细说明超过50,000个URL,则必须创建大量Sitemap文档。

如果您确实提供了大量站点地图,则需要在Sitemap索引文档中详细说明每个Sitemap文档。 站点地图索引文档可能不会详细说明超过50,000个站点地图,也不得超过10MB(10,485,760字节),也可以按下。 您可以拥有多个Sitemap索引文档。 Sitemap索引文档的XML布局实际上与Sitemap文档的XML布局相当。

http://sitemaps.org/protocol.php

0
2019-05-17 15:16:20
资源

前几天简单询问了询问 - 提供googlebot的机会,你不是网上唯一一个他需要爬网的网站你认识:)

如果查询通常在一天内被索引,并且还有一周通过哪一个仍然没有编入索引,之后我可能会担心。 但绝对不会在1天后。

0
2019-05-17 15:13:33
资源

有了这一点,就有很多可能的解决方案。

我肯定会首先询问你实际拥有的网页数量。 (你发送了一个快速网站的50,000个URL:superuser.com显示125,000索引你认为你只有50K的URL并且还发送它们中的每一个但是Google正在找到每个网页的2-3个副本?或者你可能有1Mil的URL并且只有12.5%正在获得索引)获得大图像帮助路由寻找问题的地方。

如果第一个动作绝对没有任何错误,我肯定会重新定位到网页内容,它类似于QH在他们的网页上有更多的网页内容,并且还链接了几个其他各种“来源”,尽管他们的所有网页内容都被划掉了谷歌认为他们的网页更好是可行的,因为他们为客户提供了更多的资源/信息。 如果他们被考虑到权威以及您的所有网络内容都与他们自己一致,那么尽管您是最初的,谷歌也不会为您自己编制索引。

如果你被鼓励不是关注构建一些优质的网站链接,博客网站这个询问一些首选的工作人员博客网站或问一些亲密的朋友博客有关它,可能如果你有SEO亲密朋友,运行首选的博客网站,他们肯定会写一个关于它的研究等

如果你获得了大量可靠的网络链接,并且它仍然没有获得索引的搜索因素,那么它可能会受到惩罚(大多数时候这不会引起关注,但它从来没有损害过检查)。

如果在9次中断10次之后没有这个功能,这是一个被遗忘的直接技术问题(机器人豁免或类似的东西)。

如果您在遇到此问题后仍然没有解决方案,请询问Google,并希望他们为您提供解决方案。

0
2019-05-17 03:30:09
资源