这东西谁搭建过吗？采集各大网站热榜

aipage · 发表于 2021-1-3 20:29:13

https://github.com/pangxiaobin/CrawlerHot

liuxu · 发表于 2021-1-3 20:33:17

说来也巧，我做过，没什么意思

aipage · 发表于 2021-1-3 20:35:04

liuxu 发表于 2021-1-3 20:33
说来也巧，我做过，没什么意思

收录怎么样？是不是要本地运行PYTHON？

Yime · 发表于 2021-1-3 20:35:59

没做过

teardrops · 发表于 2021-1-3 20:37:41

可以参考 dz的 cron .

第一个访客激活条件, 瞬时抓取 json 缓存1小时 (或你想要的时间)

liuxu · 发表于 2021-1-3 20:44:23

aipage 发表于 2021-1-3 20:35
收录怎么样？是不是要本地运行PYTHON？

恩，用scrapy写的爬虫，跑了两个月没打理就下线了，除了WB热搜5分钟1次，其他的半天1天或者一周访问一次就可以了

黄阿玛 · 发表于 2021-1-3 20:47:39

似乎挺好玩的

aipage · 发表于 2021-1-3 20:50:07

liuxu 发表于 2021-1-3 20:44
恩，用scrapy写的爬虫，跑了两个月没打理就下线了，除了WB热搜5分钟1次，其他的半天1天或者一周访问一次 ...

好像我见过上次谁搭了，也有爬LOC的热榜。

liuxu · 发表于 2021-1-3 20:57:05

aipage 发表于 2021-1-3 20:50
好像我见过上次谁搭了，也有爬LOC的热榜。

其实都还算好爬，就是没什么用，没必要，之前有个搞聚合热搜上了app，然后被下线了

myseil · 发表于 2021-1-3 20:57:36

宝塔应该也可以搭建等着试试！

		自动登录	找回密码
密码			注册