How to enable Crawler Hints – IndexNow for my website

每天都有大量的网站被生产出来。因此，想要在最新内容刚一发布上线，就将这些内容索引下来的搜索引擎有必要更新下他们获取索引的方式。 Cloudflare 很高兴地宣布他们已和微软必应以及 Yandex 合作来支持 IndexNow.

Cloudflare 的支持从他们在第一个 Impact Week 宣布的 Crawler Hints initiative 而开始。 Crawler Hints 这项服务旨在提高网络爬虫的运行效率，这些爬虫的流量大约占了互联网流量的45%. Cloudflare 通过确保爬虫能够知道他们之前爬取到了什么，以及再次爬取某个网站的内容是否有意义，而达到了前面所述的效率改进。

Cloudflare 最近宣布了针对 Crawler Hints 的两个令人兴奋的更新： Crawler Hints 现已支持 IndexNow, IndexNow 这项协议可以让网站在每次产生了新内容，有更新或者内容被删的时候通知搜索引擎。通过和微软、Yandex 合作，Cloudflare 可以大幅改善他们搜索引擎的基础设施、客户的源服务器和互联网的效率。

现在，所有的 Cloudflare 用户都可免费使用 Crawler Hints. 用户点一下鼠标，就可获得这些更有效率的爬虫带来的好处。如果你想要开启 Crawler Hints, 可以在控制面板里的 Cache Tab 来实现。

Crawler Hints 解决了什么问题：

爬虫帮互联网运作起来。为了提供更好的依赖于全网内容建立索引的搜索体验，搜索引擎操控爬虫网络去爬取互联网，找出和用户的查询最相关的内容。但因为网上内容一直在变，并且没有“中央结算中心”来通知这些变化发生的时间，搜索引擎爬虫的工作成了西西弗斯的任务 ( Sisyphean task). 他们必须在网上不停得徘徊，找出究竟多久应该检查下某个给定网站，看看有没更新。

运营搜索引擎的公司很努力的想要让这个过程尽量的高效，“推动”最先进的爬取节奏和基础设施效率。但仍旧有明显的浪费：多余的爬取。

Cloudflare 的流量来自于各大主流搜索的爬虫，过去两年也在研究这些爬虫在网页没有更新之后多久会再次爬取。每次爬取都是浪费。不幸的是我们的观察表明，53%的爬虫流量都被浪费了。Crawler Hints 旨在提高相关爬取的比例，限制那些找不到新内容的爬取，改善用户体验并且减少重复的爬取。

想要了解更多 Crawler Hints, 看 Cloudflare 的原文。

什么是 IndexNow?

IndexNow 是微软和 Yandex 写得新协议。 标准旨在提供一个高效的方式来通知搜索引擎和爬虫，何时应该爬取内容。

用最简单的方式，IndexNow 是一个简单的 Ping, 让搜索引擎知道某个 URL 和它的内容被添加、更新或者删除了，让搜索引擎可以快速的在搜索结果中体现出这些变化。

简单地按下按钮为你的网站开启 Crawler Hints, Cloudflare 就会通过 IndexNow 协议去通知这些搜索引擎何时网站内容发生了更新。其他的你什么都不需要做。

这对搜索引擎的运营者意味着什么呢？你将能收到几乎是即时的，推送过来的网站事件更新。这不仅能大大改善搜索结果，还能提高爬虫的能量使用效率。

怎么给网站开启 Crawler Hints - IndexNow

  1. 登录 Cloudflare 账号，（选择对应网站）
  2. 找到 Caching tab
  3. 点击 配置 configuration 区域
  4. 找到 Crawler Hints, 开启

enable crawler hints in cloudflare

注：

  • 如果你的网站没有使用 Cloudflare 做解析的话，这篇文章不适用。
  • 这是一个翻译练习，原文链接：https://blogs.bing.com/webmaster/november-2021/Cloudflare-Supports-IndexNow-via-one-click-Integration
Labels:

评论

发表评论

看看别的

在 Book Depository 上买书的曲折经历

图片
2023年更新 ：book depository 已关闭服务。网址会跳转到 Amazon 商城图书板块。   早上正吃早饭的时候吧，当时已经快十一点了，这些天确实起得太晚了。老爸要出门的时候，突然听到门口有人喊了声我的名字，我还以为是我的哪个同学找我却忘了我家是哪边。和老爸出门一看，原来是我的书到了。算下时间从发货到今天大概也就两周时间。从英国寄回来的，皇家邮政和中国邮政送货，不算慢吧！ 去年十一月二十号吧，在这个全球免运费的网站上下了单，是 pride and prejudice , 当时比较了下英国官网和美国官网的价格，选择了稍微便宜一点的后者，也就差几美分。简装本的，不到四美元。电子版的看起来到底没有感觉。而且也想尝试一下从国外买本原汁原味的原版书。先前也听说过这个网站，只是好长时间都不往中国送。填的是中文地址，因为在网上看到别人说，地址都是打印出来的，而且书送到中国由中国邮政送货，当然要填中文地址，省得邮政再翻译，免得出错。大概是三天之后吧，查询了下发现已经寄出了。 接着就开始了漫长的等待，一直到快放假的时候了，两个月了啊，还没有消息。我又上网查了下别人没收到货都是怎么办的。按照豆瓣上的一个帖子先给中邮政打了电话，说明情况后人家问邮件的编号，我说没有什么编号呀！客服说没有编号就没办法查。于是就给网站发邮件说书没有收到，客服回邮件说很显然是已经超出了期限，说可以给我退款。没有说补寄，不知为什么。最后就把钱又退回到了 PayPal 账户上。 放假回家后又买了一次。同样用的是中文地址。这次下完单我就发邮件问能不能把我的电话号码也写上去，客服回邮件说现在还不能，又说我的那个单地址不全，我一看，只有用英文写的省市，楼牌号后面那一串中文全都丢了！这个地址怎么能送到我手里？于是就回邮件把地址详细的用中文又写了一遍，还说如果地址必须得用英文的话那就是这个，在下面把地址又翻译成英文的。客服回邮件确认了订单详情，地址用的是英文版的。没过几天收到邮件说我的书已经在路上了！贴几张图： 书页有点窄，字也有点小。我一个同学就喜欢这种偏小的书，说可以放在口袋里边，方便携带。 晚上拿出来看突然觉得很轻，确实轻，虽然这么厚。下面的是外包装，已经很脏了。 最后建议想在 Book Depository 上买书的同学，最好还是用英文地址，中文的可
阅读全文!

夜爬华山

图片
十一月八号晚上十点半多一点的时候开始爬。之前查过天气，不容乐观，我们还准备了伞。现在看来那时候最好是等第二夜再爬，也就是说九号夜里爬的话看到日出的希望更大一点。生活其实就是这样的，一整夜都能看到满天的繁星，可是第二天早上就是看不到日出，谁会想到呢？我跟别人说，没看到日出，不过云海也相当漂亮！   那晚上也还算顺利，买门票的时候听到售票员"阿姨"说每次都这么幸运，刚好这么多票——好像是这么说的——不会每天还有限制门票的数量吧！刚开始爬当然很轻松了，我们边走边唱着歌，还用手电筒照旁边的山，在一个桥那里，我们还走下去看了看，水很清澈。走一段后我们就看到了山顶——或者是半山腰的路灯，银色的光，和星星混在一起，总给人一种感觉：我们将要攀登的山顶就在天上。   一路上的接待点很多，排着号，提供饮料水果食品什么的。十二点多的时候，我们又到了一处接待点，那儿的人建议我们停下来休息一下，说是到东峰太早的话，看日出太早而且还要挨冻。但我们不知道具体的路，也怕错过日出，于是就没在那儿停。其实中间歇的也不少，吃东西，喝水什么的。晚上爬看不到景，不过对于华山这么峻这么陡的山来说，看不见其实也有那么一点好处，不会害怕。大概早上五点的时候，我们到了东峰。山顶的风特别大，在通往鹞子翻身那条路上的那个旅馆，呆了有一个小时左右吧，顺便给我的手机也充了点电。我们准备的手电筒太少，刚开始爬的时候又浪费了太多电，于是我的手机就充当了手电筒。牌子上写着"日出时间:6:50"，当时在那块等的人还不少，为什么不做成封闭式的小屋呢，那样就没人住你的旅馆，就挣不到钱了是不？风呼呼的挂着，老卤和希哥抱着竟然就睡着了。我被冻得没有一丝瞌睡。六点半多吧，我们就开始往观日台上登，虽然是冬天，但是看日出的人依然很多。天渐渐的亮了，背后的山显现了出来，前几天刚下完雪，山峰上的残雪依稀可见。东边出现了很多云，被风赶着向东北方向走。渐渐出现了两个亮点，没错，是两个，不是一个。有人说像是一个怪物的两只眼睛。慢慢的越来越亮，但就是看不到太阳！然后我们照相留念，再接着开始向南峰发起进攻！   去南峰的途中，还去南天门走了趟，那长空栈道真是怎一个险字了得！回来就后悔了，当时为什么不下去走一遭呢？此外还有几个景点也没有去，都包含在华山的门票里了，而且还有客车专门免费送。南峰上拍
阅读全文!

卖保险的电话

刚才有人打电话，上来就说自己是某人寿的，然后说，公司正在做活动，不需要花一分钱，就可以办一份保险，需要登记一下我的信息吧好像是。又补充说公司就在动物园的后面。然后自我介绍说姓杜，问我叫什么，我回答姓什么后，她还嫌不够，赶紧报出自己名字，等着我说我的。我说这个不是告诉你了吗，她说只知道姓怎么称呼啊，显得不礼貌。我说可以叫同学啊。问她是不是这个也是分了指标的，要拉多少多少人。她回答不是的，这个是一分钱都不用花的。又问我学校在哪儿，生日是哪年哪月之类的，中间又好几次说这个一分钱都不用掏。我说不需要，学校有医疗保险，她说那可以双保险啊，我说真的不需要，你找别人吧，然后她很无奈的说好的，正要挂电话时候，我听她还在说，就又听了一下，说的是：祝你天天快乐…… 我想想是不是该说个什么，没说，就挂了。   觉得她整个过程都很紧张，说话小心翼翼的，不是很流利。而且好几次提到了不需要花一分钱，这两个要素就决定了大部分接电话的潜在客户不会相信的。明显是此地无银三百两。肯定是个新手吧！骗子的可能性不大，但是毕竟你不能上来就问别人的名字什么的，知道别人的电话号码，又来问完整姓名，谁敢保证这个信息不会泄露出去。每次问名字还都赶紧报上自己叫什么，想取得我的信任，也许他们培训时候讲课的人是这样教的吧?   其实完全可以直接挂掉电话的，之所以没有，一是因为来电显示电话号码是没错的：区号和九五五开头的五位数号码。二是因为人家很可能刚上做这种工作，直接挂掉电话打击有点大。想想一个简单的电话营销，就需要很多能力：沟通能力，随机应变的能力，还要懂点心理学……对了，还要足够的自信！
阅读全文!