当前位置:网站首页 > 更多 > 编程开发 > 正文

[编程技术] 后端开发除了增删改查还有什么?

作者:CC下载站 日期:2021-11-30 14:00:51 浏览:5 分类:编程开发

背景

很多刚接触后端开发的同学,会发现,后端开发不就是增删改查吗?的确,如果你做的东西只是一个很小的流量的一个网站/平台的后端,用户量低,每秒钟访问量低,对数据的一致性和服务的稳定性要求也没那么高。那就是简单的增删改查,一台服务器连接数据库,API直接读写数据库。 可是日子久了,你发现你的网站/平台用户量和流量都上来了,代码越来越复杂,这就涉及到服务扩展,业务拆分,架构设计。

很多人找工作,公司会要求,高并发工作经验者优先,可是只做过几千几万人的服务,只是简单的增删改查,根本没接触过高并发。怎么办?

本人目前在新加坡 某电商平台 做后端开发,服务十亿级别用户,数据量百亿级别,QPS 千万级别,说一下我的经验。

后端开发,说到底,就是增删改查。但是一千用户的小网站的增删改查,和10亿用户的增删改查,是两件事情。

后端开发

起步

比如很多计算机专业的学生,大学的时候做过 图书馆管理系统,我们当那是最简单的增删改查。 这个有多简单呢,网页连接一台服务器连接数据库查询。 这就是最简单的后端,性能,一致性,扩展性,并发性都不需要考虑。数据正确就行了。

分布式

一台机器不够用了,需要多台服务器,需要分布式集群吧。

负载均衡

数据库

使用什么数据库,MySQL, TiDB, Redis等等。

部署

Jenkins

容器技术

Docker/K8s

性能监控/报警

需要监控很多东西,服务的内存/CPU/带宽使用,QPS,错误率,延迟等等。Prometheus+Grafana

日志平台

当我们的分布式部署之后,怎么统一的查看日志来定位问题。怎么把日志收集在一起,用什么储存方便搜索。ES?

微服务

业务解耦,比如登陆注册业务和订单业务就可以解耦,通过调用来获取数据。 服务注册与发现

数据拆分

服务拆分隔离了,那么数据库也要开始拆分了。 怎么拆分,分库分表,水平切分,垂直切分。

数据库性能优化

数据库性能瓶颈了,需要怎么优化,读的瓶颈怎么优化,写的瓶颈怎么优化。

缓存设计

当DB有读写性能压力的时候,需要加缓存,怎么保存缓存的一致性。

消息队列设计

同时使用人数过多,是不是有些地方可以异步,比如异步DB存储。有很多消息队列,RabbitMQ/RocketMQ/ActiveMQ/Kafka,各自怎么实现的,用哪种。

数据实时性

websocket/netty了解下。

热点数据

比如微博热点新闻,双十一0点流量。这种热点数据,你用缓存一样的解决不了,怎么办。上内存缓存吧。数据分散,担心内存太大,LRU吧。

服务限流

上游某个业务突然流量增大,影响了其他核心业务的调用,

最终保证

作为后端人员,不仅仅停留在用户端侧体验以及交互形式,更重要的是从用户的数据模型、业务场景、业务模型、系统架构设计、领域建模、业务流程以及高并发、高可靠、规模化等稳定性角度,去提升产品整体的体验和价值,解决用户的诉求。

我们只需要写好SQL语句,去数据库查到数据,返回到页面中展示就可以。

如果你经历从0到亿级别的数据增长,你一定会面临很多挑战,重构和优化,因为当我们从0开始的时候,一定不会考虑一亿的时候怎么设计。考虑的太远,严重浪费资源和增加复杂度,一定是业务量带动需求。随着系统承载的瓶颈,来带动我们对增删改查的优化。

比如如何设计?

如何设计表结构。 用户增长之后,读的瓶颈如何解决,写的瓶颈如何解决。 怎么提升缓存命中率,分库分表的原则是什么,读写分离怎么设计。 热点数据怎么储存。 数据不一致怎么保证。 服务怎么拆分,数据怎么拆分。 大促的时候更新QPS超出DB的性能瓶颈,怎么处理。流量削峰怎么设计,MQ怎么使用。 1千用户增长到1百万用户,你的数据怎么处理。DB查询速度会不会变慢,10个亿的用户呢。 为什么我明明设置了索引,却没生效? 怎么处理高并发?

1万QPS的时候怎么处理。 1百万QPS的时候怎么处理。 1千万QPS的时候怎么处理。 大促期间(双十一)的流量增长怎么解决? 微博突发热点(明星出轨)怎么保证服务器不挂? 在你增删改查的过程中,怎么去实现一些方案:

实现一个分布式ID生成方案。ID需要保证全剧唯一。 实现一个在亿级数据里面支持分页查询。(最简单的例子,朋友圈分页去查看好友动态)。 如何实现高可用?一台机器宕机之后不影响其他机器和的运行和整个服务的可用性。 如何实现服务降级和服务限流。 写增删改查简单,写好增删改查却不容易。作为后端程序员,你我要学的都还有很多。

您需要 登录账户 后才能发表评论

取消回复欢迎 发表评论:

关灯