您的位置: 旅游网 > 社会

听云APMConOracle数据库性能优

发布时间:2019-08-13 15:24:52
听云APMCon:Oracle数据库性能优化 中国应用性能管理行业盛宴2016中国应用性能管理大会(简称APMCon 2016)于8月18日至19日在北京新云南皇冠假日酒店隆重召开。APMCon由听云、极客邦和InfoQ联合主办的作为国内APM领域最具影响力的技术大会,首次举办的APMCon以驱动应用架构优化与创新为主题,致力于推动APM在国内的成长与发展。 云和恩墨创始人 盖国强于数据库性能优化专场发表了题为《从传统银行到互联金融--Oracle数据库架构设计与性能优化实践》的演讲,现场分享了从传统银行到互联金融的架构规划与性能优化的实践案例。 以下为演讲实录: 大家好!我今天分享给大家的主题是《从传统银行到互联金融 Oracle数据库架构设计与性能优化实践》。我会通过两个案例把我的一些经验分享给大家。刚刚主持人跟我讲,说上学的时候看过我的书,今天还来跟大家分享这个知识,可能是我比较年长了。 稍微介绍下我自己,还有我的职业生涯,其实就是一句话,就是O2O。 我前半部分就是线上完成的。我们和ITPUB这个论坛一起成长,今天这个论坛是数据库方面最大的论坛。我们伴随着它的成长,它也帮助我们获得了成长,所以,那里是我们这一伙人的精神家园。我的经历可能对大家有一些借鉴,前面是在互联上学习技术,帮助他人,然后在帮助他人的过程中帮助了自己,这是我真实的体验。 我还写作出版过一系列的书,通过书帮助其他的读者学习技术,我们还会去分享这些技术。Oracle ACE 总监是Oracle公司给予的最高荣誉,总监这个称号到今天就10位,10年时间,每年会有一位授予这个称号,这是我的一段线上生涯。 线下生涯,非常荣幸把我们线上结识的一些朋友,最终聚集到一起创办了一个公司,为用户提供服务。这个互联时代带给我最大的帮助,或者是说,它让我走到了一个不一样的人生里面去。我可以说,我生活里面绝大多数的朋友、伙伴,甚至是一部分人变成了家人,这些人,这些朋友,甚至是我们一些家人都是通过互联的方式认识的,最后走到了一起,这是我线上线下走过的两段历程。 今天我们来看一下,无论是互联技术在蓬勃发展,还是传统企业,技术都是在不断地进步。所有的,不论前端使用各种各样的应用,最终是要在数据库里面。数据是核心资产,这个方向变革越来越快。 我总结了一下,企业级数据应用的现状,或者是发展的历程,就是合久必分,分久必合。大家可以思考一下企业级数据库应用是不是走过这样一些路,我稍微展开了一下,大概就是这样一些历程:企业构建一个IT系统,后端有数据库承载企业级数据。这个数据库不断地积累,数据量膨胀带来一些问题,甚至性能上的衰减。出现这些问题的时候,企业开始做一些优化和变革,这些优化和变革包括什么?可能通过分表的方式去提升性能,更进一步地使用分布式数据库,或者拆分成多个数据库去解决并发的问题。再到今天,互联技术蓬勃发展,有别于传统的一些架构去承载业务。 还有一些企业级数据环境变化,是业务驱动导致的。比如,一个金融机构,由于监管需要,要求把各种各样的业务拆分成多套独立环境。有一些和企业目标相违背,企业要求系统是稳定的、高效的、成本最优的,但是,如果我们将数据库拆分、分散分布、分布式部署,往往耗费更高的成本。这里面存在着很多的矛盾。 在这样一种场景之下,国内很多企业开始走向了自然而然的数据整合。传统的企业在过去很长时间内,系统是处于村落式建设的状态。用户一套应用上线的时候,就部署一套独立的IT系统,这里面不仅仅有数据库,还有存储,有应用,就是一套完善的IT假酒。那么,经历十几年或者二十几年IT建设以后,国内很多企业现状都是这样的。 我列举一些客户案例。企业IT环境里面系统丛生,无数的IT系统,无数的数据库。这里我举个例子,这个是我们的几个客户,客户授权了的。有各种各样的系统,有数据仓库、门户,没有一个业务应用,就是构建一套IT系统。到今天现状是什么?企业有大量的系统,有大量的数据库为他们带来了大量的成本负担。 我们有一个非常典型的用户,可以跟大家分享一下。09年的时候,我们为这个用户做了咨询的服务,做了优化。当时用户只有一套核心系统,一套核心数据库,存在一些问题,我们为他提供了服务,为他做了优化。2015年的时候,他找到我们,他现在有50套了。集中式的拆分成50套,带来一些问题: 第一,成本攀升了。原来一套各种知识产权的问题,硬件的问题,现在变成了50套。 第二,故障率提升了。原来一套数据库,现在变成50套。 因为存在这样一些问题,用户通过思考,通过整合降低投入,改善运维,这是一个自然而然的情况。 当用户有50套IT环境的时候,这个系统整体上非常非常的复杂。数据库版本和操作系统不一样,数据库结构不同。所以,我们打一个比喻,就像管理一个动物园一样,每一个系统的标准都不统一,运维成本和管理成本都是非常高的。就像有不同的动物,脾气禀性习惯不一样,今天这些动物都是走向集中的一个时代。 我举一个例子,这是我们的一个客户,是我亲自执行的一个项目,大约在几年前做的,来自于邮政储蓄银行。他们是一家传统的金融机构,传统的银行。它最初的企业级IT架构是什么样子的呢?31个省市,每一个城市有一套独立IT系统,分布式部署。每一个城市是独立运营的,最后数据再汇总。这种架构很明显,不管是运维还是成本上存在很多的问题,在几年以前还是走向整合集中。那么,这样一个企业级的数据环境走向整合,面对的第一个问题是什么?就是容量规划。如果我们最初是分布式的架构,如果我将它整合成几套数据库,数据层来讲,需要什么样的软硬件架构才可以支持这样的一个集中式系统?所以,这是第一个被考虑到的因素。那么,如何去规划这样的容量?希望选择什么样的IT技术架构来支撑它?我介绍一下支撑这个项目做出来的整体方案。 第一,我们必须通过科学的数据去量化,整合以后系统的负载压力,根据负载和压力去选择我们的技术设施。如何量化这些数据?这跟今天大会的主题非常吻合,就是APM应用性能管理,数据库也是一种应用软件: 第一,就是将所有数据库系统的这些数据汇总起来,然后绘制动态趋势。比如,我将一个长期趋势绘制出来。 第二,将31套系统的性能数据进行整合和叠加。将它融合在一起,来推测整合之后的系统容量。? 所以,我觉得在今天,不管是在过去还是今天,一个系统建设过程中科学的、量化的容量推演计算,实际上是非常重要的。 那么,数据库里面如何实现我刚刚讲的性能的推演或者容量规划?其实很简单,Oracle数据库拥有非常非常完善的自我监控和信息采集系统。我们要做的是什么?就是持续地记录,收集Oracle自身这些指标,然后将这些指标的趋势推演出来就可以了。Oracle有两组这样相关的指标。第一组,是 Stat信息,第二组是Event,就是等待,是客观的、统一的指标。这两者将它们抽取出来,然后,获得长期的趋势,最后就可以通过叠加,迁移得出来一个整体的趋势。 这里给大家展示一个CPU的维度。 我们通过31套数据环境,将它进行整合以后,推演出来的CPU指标是什么?大家可以看到这个峰值120个C,如果进行线性整合,偏移120个CPU,峰值的时候可以承载整个系统的压力,这个是对于现的压力。 那么,如果我希望在峰值的时候,我的系统负载只有50%,我需要对这个资源乘以2倍。3年以内,在这个系统的生命周期以内,系统容量还会增长多少?我可以继续得出未来的那个值。所以,通过这样一些性能数据的计算推演,就可以科学得出一个系统的容量规划。因此,在我们面对这样一个大型应用系统整合的过程当中就可以做出数据化、量化、科学化的推测。 这个系统峰值承载多少IOPS,直接影响到需要配置什么样的存储支撑这样的业务系统。当我们面对一个系统整合的项目,进行容量规划时,即使是一个单系统,一个新系统,也应当遵循这样一些量化指标。 进一步,我跟大家分享一下,传统的金融企业向新时代迈进过程当中会经历什么阶段?这同样来自于刚刚提的中国邮政储蓄银行系统建设过程。大约分三步: 1、物理集中。就是把全国分散的服务器系统搬到北京来,建立一个集中式数据中心,现实生活就是这样做的。而且,他们不仅搬迁了服务器,把人也搬到北京来了,把各省运维人员带到北京来,构建一个集中式数据中心。 2、数据集中。将后端分散的数据库整合起来,数据集中了以后,才可以发展。 3、应用集中。数据集中起来了以后,能够通过应用重构为一家银行提供更快捷的统计输出决策支持。 这三个步骤和今天的云的三个阶段非常相似:第一个阶段,几乎就是构建一个IaaS,然后是PaaS,然后是SaaS。所以,传统企业走过的这样一个历程,把今天最流行的技术进行了一个推演。 邮政这个项目,受到了国家的高度重视。工信部称之为开放式支持系统、支持银行交易的一个突破。为什么这样讲?大家知道,我们国家几大银行里,前四大行,核心都是使用大型机在支撑。邮储银行做了一个突破,是非常独特的一家银行。 前面跟大家分享的,是在这样的一个整合过程中,我们需要注意的一些要素以及如何进行性能规划和容量推演。 这个是第一步,系统整合起来后,是不是还会遇到其他的一些问题?那么,在现实当中会变成什么样子?那从前期的设计,到后期的落地,我跟大家分享一下第二阶段的故事。 系统整合以后,大概的呈现是这样的,我稍微把它细致一点分享给大家: 第一,整个系统治疗中风后遗症的药
小孩老是流鼻血是什么原因
幽门螺旋杆菌感染会传染吗
儿童小便黄的3大原因
猜你会喜欢的
猜你会喜欢的