[大数据] 分布式系统
作者:CC下载站 日期:2020-04-21 20:48:13 浏览:60 分类:涨姿势
集群的到来
你为什么要使用集群? 如果一个问题可以在单机上解决,那就使用单机的方法,在使用分布式解决问题前,要充分尝试别的思路,因为分布式系统会让问题解决变得复杂
并行、容错、通信、安全/孤立
难以解决的局部错误
人们设计分布式系统的根本原因是为了获得更高的性能,你的集群到底发挥了多大的能力?1000台发挥了1000倍的能力吗?
如果一个系统,只需要提高几倍的机器的数量,就可以提高几倍的性能或者吞吐量,这就是一个巨大的胜利,因为不需要花高价雇程序员
并行
比方有一个web服务器,一夜之间火了,上亿的人来访问,就需要更多的web服务器,可是当你的web服务器的数量增大以后,数据库又成为了瓶颈,限制了性能,你可以尝试更多的数据库,但是这又会问到其他问题。
容错
假设每台计算机一年只坏一次,那么1000台计算机的集群,每天坏3台,计算机崩溃成为了常见的错误,各种问题,网络,交换机,计算机过热,错误总会发生,
可用性
某个系统经过精心设计,在某些错误下,系统可以正常运行,提供完整的服务,就想没有发生错误一样,比如多个备份,即使一个备份出错,但是另一个备份是正常的
我们的可用性是在一定的条件下的,并非所有的错误都不怕
修复
系统在修复前无法继续工作,当恢复后会正常工作,这一点非常重要,这就是最重要的指标,
非易失性储存
他们更新起来昂贵,构建高性能容错系统非常繁琐,聪明的办法是避免写入非易失性储存
使用复制
管理复制来实现容错,这也很复杂,你需要保证一致性,
强一致性
get得到的值一定是最新的put的值
弱一致性
某人put,你可能看到的是旧值,但一段时间以后他会变成新值,我们不保证时间。我们要避免通信,所以我们更加倾向于弱一致性,强一致性太麻烦了,代价太高
把所有备份放到一个机房,放到一个机架上,这非常糟糕,要是有人不小心绊倒了电源线,就糟糕了,位了让副本更好的容错,人们希望将不同的副本尽可能的分开远放,例如放在不同的城市,
副本在几千英里以外,想抱着强一致性特别困难,你要去等待多个服务器来给你反馈,等个20-30毫秒,这难忍受,并浪费了资源。
MapReduce
要在TB数量的数据中分析,需要大量的并行计算,我们会把输入分成多份,对每一份进行map,他会生成一堆keyvalue,然后是数据移动,按照key合并,并交给reduce处理,不同的reduce输出不同的结果
MapReduce最大的瓶颈是网络,我们要尽量避免数据的传输,
shuffle
map之后的数据,传给reduce,往往意味着由行储存变为列储存,
链接
分布式系统
猜你还喜欢
- 03-29 [摄影课堂] 电光火石间的决定
- 03-29 [摄影相关] UV镜不要随便将就
- 03-29 [摄影技巧] 抗光害滤镜 | 还原城市最美夜景 城市夜空的色彩救星!
- 03-29 [设计] 无边泳池是怎么设计的?以及它的原理介绍
- 03-29 [摄影] 我们应该怎么去看待摄影的能力?
- 03-27 [涨姿势] 爆冷的最强事业编,活少钱多,一年只有5个月在上班…
- 03-27 [涨姿势] 70年代中国打飞机教程:姿势全面内容详细!
- 03-25 [摄影] 使用除雾带后镜头起雾结霜一样能驰骋沙场
- 03-22 [摄影] 郁金香花朵怎么拍好看 注意这几点就可以了 花卉摄影技巧教程
- 03-06 [关于AI] 天天用AI还不知道AI是怎么反馈的?一文了解生成模型常见损失函数Python代码实现+计算原理解析
- 02-01 [AI绘图] “比较详细”的免费绘制爱好图的教程,我所体验到的开源中最佳效果
- 01-04 [涨姿势] 选择葡萄酒做为礼物的注意事项
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[编程相关] 熊猫脚本助手_吾爱专版 V1.9
[办公辅助] Office AI 助手免费版 v0.2.01
[配音工具] 一点红语音合成2.0版本 -吾爱专版
[电影] 2024年国产动作片《天坑鹰猎 电影版》HD国语中字
[电影] 2010年国产经典武侠片《镖行天下前传之燃眉危机》HD国语中字
[电影] 2021年国产动作片《妙手神探之鬼门十三针》HD国语中字
[课程] Procreate元计划板绘入门系统课程
[课程] DK图解数学动画课程
[有声读物] 儿童汉语分级读物《小羊上山》第1-4季PDF电子版+精读视频+MP3音频
[电影] 2023年国产爱情片《不要走散好不好》HD国语中字
[资料] [大学期末救急课] 猴博士+高斯课堂+斐多课堂,全集视频合集
[云资源] 价值2万元的老男孩Python教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[云资源] 花了一千多元买的私人健身教程
[下载工具] Internet Download Manager 6.42.7 (IDM)
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[即时通讯] 腾讯QQ PC版9.7.22.29315去广告绿色纯净版
[开发环境] PhpStorm2023中文激活版v2023.3.3 正式版
[图像制作] Adobe Illustrator 2024 v28.1.0.141 破解版
[资料] 3000 套电影电视剧 LOGO 宣传片常用音效合集包
[云资源] 价值2万元的老男孩Python教程
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[云资源] 花了一千多元买的私人健身教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[安卓软件] Android GIF助手 v3.9.7 GIF图片编辑器破解版
[电视剧] 三体 (2024) 全8集 网飞版本 中文字幕 合集
[剧集] 繁花 (2023)[全30集][打包]
[影视] 三大队 WEB-DL版下载/Endless Journey/请转告局长,三大队任务完成了 2023 三大队 6.7G
[纪录片] 河西走廊【10集 国语 中文字幕 1080P 10.8G MP4】
[安卓软件] OfficeSuite中文版APP v14.2.50872.0破解版
- 最新评论
-
好yinhq693 评论于:04-02 谢谢支持!!CC下载站 评论于:03-26 很棒的资源,感谢分享云体风身 评论于:03-26 感谢分享,好东西云体风身 评论于:03-26 谢谢支持!CC下载站 评论于:03-14 央视精品,感谢付出提供。qwer9009 评论于:03-14 谢谢支持!!!CC下载站 评论于:03-13 谢谢分享!Ypc9182 评论于:03-12 谢谢支持!!CC下载站 评论于:03-11 感谢本网站收集和提供这么多的资料,谢谢!Ypc9182 评论于:03-10
- 热门tag