[知识总结] 【抖音爬虫】千万数据量产生的binlog直接撑爆了服务器的硬盘
作者:CC下载站 日期:2021-09-08 09:35:00 浏览:46 分类:编程开发
接着之前爬抖音的数据讲
参数破解后的持久化工作
在成功破译了抖音请求的加密参数(主要是 x-gorgon )之后,首先是通过 go 编写程序不断的监控直播间,获取直播间信息、观众信息,差不多启了 100 多的 go 的监控程序,部署在 4 台服务器上( go 程序开销是真滴小, java 哭晕在厕所)。
这是数据爬取方面的。
我编写的后端程序用来持久化 100 多个 go 监控程序发来的信息,我这边还要在 redis 里建个池子来保存正在监控的直播间 id ,供 go 程序获取,整体设计还是比较复杂的。
由于我们需要爬取的数据越多越好,那么当然希望持久化接口的 QPS 越大越好,但是后端持久化接口的处理速度会越来越慢(数据库里的数据越来越多,插入更新速度减慢),导致之后的 QPS 也随之降低。
但其实服务器的 cpu 利用率只有 10%~20% ,很显然服务器没使出来全部性能。之后这里我用了消息队列,创建了几十个消费者去做持久化工作(其实也就相当于多线程吧),接口的 QPS 也确实上来了,服务器 cpu 的利用率也上来了。
看着数据库表里的数据量每天增长几百万,一遍高兴,一遍也开始焦虑起来,那就是也查询越来越慢了。
binlog撑爆了服务器硬盘?
程序还没跑个几天,发现 redis 出问题了,接口报错,远程 redis 连接不上。
我登陆服务器查看了日志后发现程序一直在报 redis 无法持久化数据的错(我开启了 redis 的持久化,就是没空间了),我就纳闷了,我输入df -h
一看磁盘容量,我去,Avail 没了??
并且发现 mysql 占用了几乎 90% 的容量,我立马去 mysql 目录下查了一下发现了大批大批的 binlog 文件,一个就 1G ,原来是这玩意把服务器磁盘撑满了。
之后把老的 binlog 清除了之后程序算是恢复正常了。8.0的数据库是默认开启 binlog 的,而且为了之后配置主从我还是打开了 binlog ,只不过设置了一个过期时间是1天,这样应该就没有磁盘方面的问题了。
查询优化
虽然配置了主从复制和读写分离,但其实感觉还是有些治标不治本,查询速度仍然没有上来。
之后使用了EXPLAIN看了一下执行计划,发现 type 竟然是 ALL!哎呦,我真是老糊涂忘记加上索引了
但是 WHERE 中是一个 BETWEEN AND 范围查询,即使给字段加了索引,有时候走索引(type是range),有时候不是,这个调研了之后看有说是 mysql 会基于查询的条数来判断范围查询是否会走索引,看来这个还是个概率问题。
当我们的单表数据量快要达到两千万的时候我们的策略是直接水平分库,保证表结构不变,把新数据直接持久化到新的数据库中,然后保证每次单表达到一千万左右的时候就换新库。(因为我们每次需要的是近1天的数据,老数据几乎不用)
目前的一个查询速度还算乐观,导出10w条数据在几秒钟的时间。
后续策略——ClickHouse
当然虽说老库的数据不用了,但是万一使用了就麻烦了,我需要根据查询条件定位到特定的数据库,这块肯定还需要去配置 sharding-jdbc ,但是这块的查询时间还有待考量。
我的一个想法是使用ClickHouse
,一个面向列的非关系型数据库,把原先mysql中的多个表冗余为一张宽表(避免 ck 的关联查询),然后把老数据转移到 ClickHouse 中进行查询分析,这样便不用担心数据量和查询时间的一个问题,绝对比 MySQL快,而且不是一丁点。
(当然这一块还需要去学习实践再落地。)
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[课程] 女性必备护肤课,带你轻松养出逆龄好肌肤【完结】
[课程] 《风水 算命系列课程》九合集 新年顺风顺水[pdf.mp4]
[短剧] 下架短剧小合集
[动画] 功夫熊猫4 Kung Fu Panda 4.2024.HD 英语中字 [MP4/MKV]
[影视] 诺克斯离开了 WEB-DL版下载 2023 Knox Goes Away 10.01G
[资料] 抗战阵亡将士资料+续编
[教程] 国宴大师教做菜(120道菜大合集)
[音乐] 60-90年代经典老歌1100首,你想听的这里都有
[网赚] 赏颜阁-剪辑、变现全套教学
[报刊] 大中时报(天津)PDF
[资料] [大学期末救急课] 猴博士+高斯课堂+斐多课堂,全集视频合集
[云资源] 价值2万元的老男孩Python教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[云资源] 花了一千多元买的私人健身教程
[下载工具] Internet Download Manager 6.42.7 (IDM)
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[即时通讯] 腾讯QQ PC版9.7.22.29315去广告绿色纯净版
[开发环境] PhpStorm2023中文激活版v2023.3.3 正式版
[资料] 3000 套电影电视剧 LOGO 宣传片常用音效合集包
[安卓软件] 酷我音乐APP_v10.7.6.4 去广告破解豪华VIP版
[云资源] 价值2万元的老男孩Python教程
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[云资源] 花了一千多元买的私人健身教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[资料] 抗战阵亡将士资料+续编
[电视剧] 三体 (2024) 全8集 网飞版本 中文字幕 合集
[剧集] 繁花 (2023)[全30集][打包]
[影视] 三大队 WEB-DL版下载/Endless Journey/请转告局长,三大队任务完成了 2023 三大队 6.7G
[纪录片] 河西走廊【10集 国语 中文字幕 1080P 10.8G MP4】
[安卓软件] OfficeSuite中文版APP v14.2.50872.0破解版
- 最新评论
-
谢谢楼主xiaoqi 评论于:04-12 勿在线解压,勿手机解压,请在电脑上用最新款压缩软件解压!推荐360压缩或者好压CC下载站 评论于:04-10 无法解压啊,客服能不能给个解压教程ravengrey 评论于:04-10 谢谢支持!!CC下载站 评论于:03-26 很棒的资源,感谢分享云体风身 评论于:03-26 感谢分享,好东西云体风身 评论于:03-26 谢谢支持!CC下载站 评论于:03-14 央视精品,感谢付出提供。qwer9009 评论于:03-14 谢谢支持!!!CC下载站 评论于:03-13 谢谢分享!Ypc9182 评论于:03-12
- 热门tag