|
|
因为 Google 现在使用了移动优先索引，所以这个请求很可能来自移动用户代理。你可以通过站长工具中的链接检查工具来了解 Google 是如何抓取你的网站的。当你对某个链接执行这个流程时，查看“当时所用的用户代理”，它可以告诉你索引时使用的是桌面版本还是已经使用移动优先版本了。 1.search console crawled as 这些请求大部分来自美国加州的山景城，但是在抓取一些地区性适应的页面时，这些请求会来自美国以外的地区。我提到这一点是因为有的网站会屏蔽或者区别对待来自特定国家或者使用特定 IP 地址的访客，这会导致 Google 爬虫无法读取你的内容。 有些网站可能还会使用用户代理侦测来向特定的爬虫展示（特定的）内容。尤其是对 JavaScript 站点来说，Google 读取到的内容可能和用户看到的有区别。这就是为什么站长工具中的网址检查工具、移动友好性测试工具和富媒体搜索结果测试工具对解决 JavaScript SEO 问题非常重要。
他们可以显示 Google 读取到的内容是什么，这对查看 Google 爬虫是 美国手机号码列表 否被屏蔽以及他们是否可以读取网页的内容很有帮助。因为在下载的 GET 请求、渲染的页面、甚至测试工具间存在着一些关键的区别，我将在渲染器一节中介绍如何测试。 同样需要注意的是，虽然上图中 Google 将抓取过程的输出称为“HTML”，但实际上他们抓取并存储了页面生成所需的全部资源，包括 HTML 页面、Javascript 文件、层叠样式表、XHR 请求、应用程序接口端点等等。 2. 处理 许多系统都被图片中的“处理”一词混淆了。这里我介绍几种与 JavaScript 相关的处理。 资源和链接 Google 不会像用户那样从一个页面导航至另一个页面。“处理”的部分工作是检查页面中指向其他页面的链接以及生成页面所需的文件。这些链接被提取并放入抓取队列中，Google 接着会确立优先级并安排页面抓取计划。
Google 会从 <link>等标签中提取生成页面所需要的资源链接（层叠样式表、JS 等）。然而，指向其他页面的链接必须是特定的格式才能被 Google 视作链接。内部链接和外部链接必须是带有href属性的 <a> 标签才可以。对于使用了搜索不友好的 JavaScripit 用户来说，有许多方法来使链接工作。 可以：，没有链接，没有链接不是正确的 HTML 元素不行，错误的 HTMl 元素没有链接</a> Button, ng-click, there are many more ways this can be done incorrectly. 按钮、ng 点击，错误的做法还有很多。
|
|
发新帖
