前两天刷论坛看见有人讨论xiao8微博动向，突然想起来我也好久没关注这老哥了。正好最近在研究数据抓取，寻思干脆整个自动监控的小工具试试水。
第一步：抄起python开干
直接打开pycharm新建文件，二话不说先import requests。想着不就个微博嘛复制粘贴个链接就能解决的事。结果刚跑完代码就傻眼了——返回的全是乱码！仔细一瞅发现微博页面全是js动态加载的，requests压根抓不到正文。
临时改方案：上浏览器
翻出压箱底的selenium，调chrome浏览器模拟登录。结果刚输完账号密码就跳出验证码，还是滑动拼图那种！折腾半小时才用第三方打码平台混过去，光这一步就废了五块钱。
- 坑1：微博登录必须绑定手机号
- 坑2：频繁登录触发风控
- 坑3：滑块验证成功率不到三成
换个路子硬刚API
掏出F12抓网络请求，还真找到个带xiao8用户ID的接口。这回学乖了，把cookie和headers参数全复制进去。刚开始能返回十几条数据，美滋滋做了个json解析。结果第二天再跑直接403，得，IP又被封了！
气得我直接买了付费代理池，每秒切五次IP继续冲。刚跑两分钟手机响了，供应商警告我触发DDoS防护，账号当场冻结。得，二十块钱又打水漂。
最终土办法搞定
凌晨三点气得睡不着，突然想起以前用过的自动化工具。干脆打开按键精灵写脚本：
- 手动登录好网页版微博
- 设置每半小时自动按F5刷新
- 用截图工具裁切动态区域
- 调用OCR识别文字内容
折腾到天蒙蒙亮总算跑通了，就是这土法子太费电。早上九点发现电脑死机了——合着半夜开的脚本还在循环截图，256G硬盘全塞满了！老老实实调成每小时抓一次，挂到云服务器才算消停。
血泪教训：
现在每次看到命令行就想起烧掉的二十块钱代理费。要我说还不如直接下载微博国际版，开特别关注推送省事。但自己挖的坑总得填完不是？目前这破脚本还在跑着，前天刚抓到xiao8半夜两点晒火锅，配文”教练压力大”——这算不算意外收获？
声明：本站所有文章，均为网友汇总上传，若有侵犯您的版权或利益，请留言，会及时删除。