新手入门:零基础理解大型分布式架构的演进历史、技术原理、最佳实践

  • 时间:
  • 浏览:1

学习交流:

1)用户模块:用户注册和管理;

- 移动端IM开发入门文章:《新手入门一篇就够:从零开发移动端IM》

架构演变到后边的阶段,不我希望终点。通之前 边的设计,应用层的性能被我门拉上来了, 但数据库的负载也在逐渐增大,那如可去提高数据库层面的性能呢?有了前面的设计思路之前 ,我门自然也会想到通过增加服务器来提高性能。但我希望我门单纯的把数据库一分为二,或者对于数据库的请求,分别负载到两台数据库服务器上,那必定会造成数据库数据不统一的问提。 

例如阶段的系统架构如上图所示,应用服务器和数据库服务器完整版隔被抛弃来,相互互不影响,大大减少了网站宕机的风险,此阶段我门不可能 现在开使关注到应用服务器的管理了。 

随着业务的发展,业务量这么大,应用的压力这么大。工程规模也这么庞大。例如之前 就还才能考虑将应用拆分,按照领域模型将我门的用户、商品、交易拆分成多个子系统。

《腾讯资深架构师干货总结:一文学会英语大型分布式系统设计的方方面面》

《IM开发基础知识补课(五):通俗易懂,正确理解并用好MQ消息队列》

(本文同步发布于:http://www.52im.net/thread-807-1-1.html)

《微信技术分享:微信的海量IM聊天消息序列号生成实践(算法原理篇)》

《微信我门圈千亿访问量转过身的技术挑战和实践总结》

请带着上述十个 技术点,继续深入阅读本文的正文内容。干货马上现在开使。。。

《移动端IM中大规模群消息的推送如可保证效率、实时性?》

负载均衡又还才能分为软负载和硬负载。软负载我门还才能选着Nginx、Apache等,硬负载我门还才能选着F5等。而session共享问提我门还才能通过配置tomcat的session共享补救。

例如阶段,随着访问量的继续不断增加,单台应用服务器不可能 无法满足我门的需求。 假设我的数据库服务器还这么遇到性能问提,另有兩个们还才能通过增加应用服务器的办法来将应用服务器集群化,另有兩个就还才能将用户请求分流到各个服务器中,从而达到继续提升系统负载能力的目的。此时各个应用服务器之间这么直接的交互,我门有的是依赖数据库本人对外提供服务。

《微信技术总监谈架构:微信之道——大道至简(演讲全文)》

本文主要针对的是零基础初学者,不可能 您想深入了解相关知识,请继续阅读《腾讯资深架构师干货总结:一文学会英语大型分布式系统设计的方方面面》。

从若干年前大行其道的传统大型机到如今的分布式架构,技术发展不可能 经历了好有有几个阶段,我门非要弄明白典型互联网架构在各个阶段的演进,才能更好地理解和体会分布式架构的好处,从而有有利于我门序设计适合于自已公司、产品或项目的架构(也包括设计即时通讯网专注的IM和消息推送例如系统,不可能 技术思路的原理有的是一脉相承的)。这么本文我门就来聊聊分布式架构的演进过程,希望能让我门带来转过身一亮的感觉。

《一套原创分布式即时通讯(IM)系统理论架构方案》

另外在例如场景下,如我门对用户的例如 IP 的访问频率做限制, 那例如放内存中就又不共要,放数据库又太麻烦了,那例如之前 还才能使用 Nosql 的办法比如 mongDB 来代替传统的关系型数据库。

《腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT》

《王者荣耀2亿用户量的转过身:产品定位、技术架构、网络方案等》

随着网站的上线,访问量逐步上升,服务器的负载慢慢提高,我门应该在服务器还这么超载的之前 就做好规划、提升网站的负载能力。我希望此时不可能 这么在代码层面继续优化提高,这么在单台机器的性能遇到瓶颈的之前 ,增加机器是有兩个比较简单好用的办法,投入产出比相当高。例如阶段增加机器的主要目的是将 web 服务器和 数据库服务器拆分开来,另有兩个做语录不仅提高了单机的负载能力,也提高了整个系统的容灾能力。

我门都知道数据库常常对模糊查找效率有的是很高,像电商类的网站,搜索是非常核心的功能,即使是做了读写分离,例如问提统统能得到有效补救。这么例如之前 我门就都要引入搜索引擎了,使用搜索引擎才能大大提升我门系统的查询效率,但一块儿也会带来一 些附加的问提,比如维护索引的构建、数据同步到搜索引擎等。

《如可解读《微信技术总监谈架构:微信之道——大道至简》》

系统架构发展到例如阶段,各种问提也会接踵而至:

《快速裂变:见证微信强大后台架构从0到1的演进历程(一)》

《快速理解高性能HTTP服务端的负载均衡技术原理》

《IM开发基础知识补课(四):正确理解HTTP短连接中的Cookie、Session和Token》

《微信技术分享:微信的海量IM聊天消息序列号生成实践(容灾方案篇)》

- 即时通讯开发交流3群:185926912[推荐]

《IM开发基础知识补课(三):快速理解服务端数据库读写分离原理及实践建议》

统统我门一般先考虑将数据库读写分离,如下图所示。

3)交易模块:创建交易及支付结算。

我门都知道有兩个成长期的句子是什么期期期期 图片 的句子的句子 图片 的大型网站的系统架构不要一现在开使就设计的非常完美,也这么一现在开使就具备高性能、高并发、高可用、安全性等内部结构,统统随着用户量的增加、业务功能的扩展逐步演变过来的,慢慢的完善的。 在例如过程中,开发模式、技术架构等有的是随着迭代所处非常大的变化。 而针对不同业务内部结构的系统,本人有的是有买车人的侧重点,例如像淘宝例如的网站,要补救的重点问提统统海量商品搜索、下单、支付等问提; 像腾讯例如的网站,要补救的是数亿级别用户的实时消息传输;而像百度例如的公司所要补救的又是海量数据的搜索。每有兩个种类的业务有的是买车人不同的系统架构。

2)商品模块:商品展示和管理;

《一套海量在线用户的移动端IM挂接实践分享(含完整版图文)》

不可能 你已完整版掌握本文的相关知识,请移步继续阅读即时通讯网挂接的另一篇:《腾讯资深架构师干货总结:一文学会英语大型分布式系统设计的方方面面》,该文适合对互联网架构知识有一定了解的线程池池员阅读和学习,有的是不不可能 多得的技术干货。

《IM开发基础知识补课(二):如可设计极少量图片文件的服务端存储架构?》

>> 更多例如文章 ……

我希望我门要设计的互联网系统都要具备以下功能:

2)用户不可能 每次访问到的服务器不一样,这么如可维护session,达到session共享的目的。

水平拆分:把同有兩个表中的数据拆分到有兩个甚至更多的数据库中,水平拆分的原因分析分析是例如业务数据量不可能 达到了单个数据库的瓶颈,这时还才能采取将表拆分到多个数据库中。

《新手入门:零基础理解大型分布式架构的演进历史、技术原理、最佳实践》

《浅谈IM系统的挂接》

另有兩个拆分之前 ,不可能 会有例如相同的代码,比如用户操作,在商品和交易都都要查询,统统会原因分析分析每个系统有的是有用户查询访问相关操作。有有哪些相同的操作一定是要抽象出来,或者统统有兩个坑。统统通过走服务化路线的办法来补救。

(本文同步发布于:http://www.52im.net/thread-807-1-1.html)

本文引用了阿豪的微信公众号文章分享,感谢原作者的分享。

点评:即时通讯网作为IM和推送技术研究、学习和分享的社区,挂接了极少量的跟IM和推广技术有关的基础技术资料(比如网络基础、通信理论、架构基础等),本文内容我觉得看起来跟IM和推送技术这么直接的关联性,但不可能 设计IM和推送系统的技术思路和原理跟典型大型互联网分布式架构有的是一脉相承的,因而学会英语本文内容对于IM和推送系统的挂接同样大有裨益。

我门的网站演进的变化过程,交易、商品、用户的数据都还在同一 个数据库中,尽管采取了增加缓存,读写分离的办法,或者随着数 据库的压力持续增加,数据库的瓶颈仍然是个最大的问提。或者我 们还才能考虑对数据的垂直拆分和水平拆分。

《IM系统的MQ消息后边件选型:Kafka还是RabbitMQ?》

《简述移动端IM开发的有有哪些坑:挂接、通信协议和客户端》

《微信后台基于时间序的海量数据冷热分级挂接实践》

《17年的实践:腾讯海量产品的技术办法论》

通过本文,我门通过有兩个电商的案例,就了解到了分布式架构的演进过程,一环套一环,环环紧密相扣。有的是通过业务量和访问量的提升来考虑重构挂接,以便才能适应当前的环境。不可一蹴而就,也急不来,初创企业都要稳扎稳打,一步有兩个脚印的走出四根专属买车人的路。

《现代IM系统中聊天消息的同步和存储方案探讨》

这么此时,系统架构又会变成如下办法:

《WhatsApp技术实践分享:32人工程团队创造的技术神话》

为了方便展开本文要讲解的内容,我门来简单模拟有兩个架构演变过程: 我门以 javaweb 为例,来搭建有兩个简单的电商系统,从例如系统中来看系统的演变过程。要注意的是接下来的演示模型, 关注的是数据量、访问量提升,网站内部结构的变化, 而不关注具体业务的功能点。其次,例如过程是为了让我门能更好的了解网站演进过程中的例如问提和应对策略。

这么服务拆分之前 ,各个服务之间如可进行远程通信呢? 通过 RPC 技术,比较典型的有:dubbo、webservice、hessian、http、RMI 等等。前期通过有有哪些技术才能很好的补救各个服务之间通信问提,或者, 互联网的发展是持续的,统统架构的演变和优化也还在持续。

或者,随着访问量的持续不断增加,逐渐会经常出现 例如用户访问同一内容的情况表,这么对于有有哪些热点数据,没必要每次都从数据库重读取,这时我门还才能使用到缓存技术,比如 redis、memcache 来作为我门应用层的缓存。

《蘑菇街即时通讯/IM服务器开发之架构选着》

2)应用中都要根据业务进行对应数据源的选着( 采用第三方数据库后边件,例如 mycat )。

1)主从数据库之间的数据都要同步(还才能使用 mysql 自带的 master-slave 办法实现主从克隆 );

《以微博类应用场景为例,总结海量社交系统的挂接步骤》

随着社会的发展、互联网技术的进步,之前 的大型机服务端架构很显然不可能 高成本、难维护等原因分析分析渐渐地变得不再这么主流了,替代它的统统当下最火的互联网分布式架构。

1)用户请求交由谁来转发到具体的应用服务器上(谁来负责负载均衡);

例如挂接的变化会带来如下有有几个问提:

《知乎技术分享:从单机到800万QPS并发的Redis高性能缓存实践之路》

垂直拆分:把数据库中不同业务数据拆分到不同的数据库;

如上图所示,例如阶段是网站的初期,也还才能认为是互联网发展的早期,系统架构如上图所示。我门经常会在单台服务器上运行我门所有的线程池池和软件。 把所有软件和应用都部署在一台机器上,另有兩个就完成有兩个简单系统的搭建,例如阶段的讲究的是效率。效率决定生死。

《子弹短信光鲜的转过身:网易云信首席架构师分享亿级IM平台的技术实践》

《从零到卓越:京东客服即时通讯系统的技术架构演进历程》