上次挖站否分享了利用Huginn抓取任意网站RSS和微信公众号更新,不少的朋友留言说Huginn配置太难,并且还没有现成的scenarios库,很多的抓取规则都需要自己摸索和自定义,难度比较大。最重要的是搭建Huginn还需要自己支付一笔主机费用。
今天就分享的Feed43就是相当于Huginn的RSS抓取订阅功能了。Huginn功能强大,如果你只是想用用Huginn的RSS订阅,不妨换成Feed43这个免费的订阅任意网站更新的在线服务。无论是使用网站,只是可以用浏览器访问的网页就可以被Feed43订阅到。
Feed43有免费套餐,6个小时抓取一次,所以Feed43不适合更新特别频繁网站订阅。Feed43可以将任意网站生成RSS订阅源,然后你可以将这个订阅源放在自己的RSS阅读器,或者你也可以配合iFTTT、fivefilters、freefullrss实现RSS全文阅读、邮箱通知和手机APP提醒。
更多的实用工具,你还可以看看:
- 三个命令工具Rsync,SCP,Tar-快速解决VPS远程网站搬家与数据同步
- 利用Huginn抓取任意网站RSS和微信公众号更新-打造一站式信息阅读平台
- 三大免费工具助你检测VPS服务器真伪-VPS主机性能和速度测试方法
PS:2018年1月31日更新,除了使用第三方的RSS订阅服务,有自己的服务器或者主机的朋友也可以深度自建RSS阅读器,参考:两款优秀的开源RSS阅读器工具:Miniflux和Tiny Tiny RSS-自建在线RSS阅读器。
一、用Feed43订阅任意网站RSS方法
官网:
- http://feed43.com/
进入网站先注册一个账号,Feed43支持随时管理和编辑自己的订阅源。
接着,你就可以添加自己想要订阅的网站了。 如果有乱码的话,在后面的Encoding填入:utf-8或者gbk。
然后,Feed43会输出网页Html源码了。在 Item (repeatable) Search Pattern*: 处填写你要抓取的规则。有两个参数:{%}
和{*}
。{%}
代表变量,{*}
表示省略。仔细观察一下,如果我们要抓取标题,复制标题的Html标签,替换变量,不要的就省略。
参考我抓取的wzfou.com首页的最新文章的规则,如下图:
点击Extract后如果显示没有内容,你可以先从最简单的标签开始,例如先只抓取H标签的,然后再添加其它内容标签。确定之后,就是确定RSS模板了,主要就是标题、内容、链接了。根据上面抓取的{%}
内容分别填入。
最后点击预览一下你就可以看到RSS订阅源已经成功了。
用浏览器打开这个.xml地址,我们就能看到RSS更新的内容了。你可以用RSS阅读器订阅此RSS地址了。
当然,你也可以随时修改或者删除此RSS订阅源。
二、免费与自制实现RSS Feed全文阅读
2.1 RSS全文订阅在线网站
只要你填写RSS订阅地址,就可以使用以下几个网站将实现RSS全文订阅了:
- http://fetchrss.com
- http://fivefilters.org
- http://fullcontentrss.com/
- https://www.freefullrss.com/
其中,freefullrss是完全免费的,输入你的RSS订阅地址。
然后,freefullrss就会生成RSS全文了。
这个地址你又可以拿给RSS阅读器订阅了,在RSS阅读器看到的就是我们订阅的全文了。(点击放大)
2.2 自制RSS全文订阅服务
项目地址:
- bitbucket:https://bitbucket.org/fivefilters/full-text-rss
- Github:https://github.com/Dither/full-text-rss
Full-Text RSS的bitbucket的项目貌似有更新,你可以直接使用git clone https://bitbucket.org/fivefilters/full-text-rss.git来下载最新的。Full-Text RSS就一个PHP程序,也不需要数据库。所以你下载Full-Text RSS后,解压直接上传到服务器发即可。
接着,打开网址,你就可以进入到Full-Text RSS界面了,输入你想要获取全文的RSS地址。
解析后,就会在浏览器看到RSS全文内容了。
Full-Text RSS还提供了抓取任意网站RSS的功能。不过,你需要先制定好抓取规则,Full-Text RSS官网也提供了网友自己做好的上千个网站规则,有些是中文的,我们可以直接拿来用。方法是:
- 进入到目录:site_config/standard/
- 删除目录内所有的内容
- 执行命令:
git clone https://github.com/fivefilters/ftr-site-config.git .
- Git 会开始下载最新的 site config 文件
- 想要更新重复上面的操作即可, 也可以使用
git pull
.
当然,我们也可以使用Full-Text RSS提供的在线生成RSS订阅源:http://createfeed.fivefilters.org/,输入你想要订阅的网站地址。
然后选择网页更新内容,这时fivefilters就会生成网站抓取规则了,你直接点击下载即可。
将下载下来的配置文件上传到site_config/standard/ 即可。
三、IFTTT:实现RSS邮件通知和APP提醒
RSS订阅与IFTTT结合起来就会变得十分强大了,IFTTT可以将RSS订阅的内容推送到你的邮箱、手机、电脑等任意终端设备中。
在IFTTT中添加了RSS订阅地址后,然后就可以在手机APP中接收提醒了。
另外,Blogtrottr支持关键字筛选并推送RSS,这样你只会收到自己感兴趣的RSS订阅内容了:https://blogtrottr.com/。
四、总结
Feed43是一个非常强大的抓取工具,它可以订阅到任意网站并转成RSS地址,只可惜免费用户只能每6个小时更新一次。免费的RSS Feed全文阅读服务限制都比较多,在些服务还不是很稳定,还不如自建一个。
到目前来看,唯一的问题就是希望Feed43不要关闭了。毕竟是免费的第三方服务,况且现在RSS也不景气。一劳永逸的办法挖站否建议还是利用Huginn抓取任意网站RSS和微信公众号更新-打造一站式信息阅读平台。