当前位置:首页 > 网站源码 > 正文内容

支付中台架构图(数据中台组织架构)

网站源码2年前 (2023-02-10)504

今天给各位分享支付中台架构图的知识,其中也会对数据中台组织架构进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

数字化转型一定要做数据中台吗?

对于寻求数字化转型的企业而言,要如何管理公司的数据资源,让数据产生价值,有效服务前端业务呢?在2019年,呼声最高的答案无疑是“数据中台”。

一、什么是数据中台?

(一)前台、中台与后台

前台,即指由各类前台系统组成的前端平台。每个前台系统就是一个用户触点,即企业的最终用户直接使用或交互的系统,是企业与最终用户的交点。

后台,即指由后台系统组成的后端平台。每个后台系统一般管理了企业的一类核心资源(数据计算),例如财务系统,产品系统,客户管理系统,仓库物流管理系统等,这类系统构成了企业的后台。

前台与后台就像是两个不同转速的齿轮,前台由于要快速响应前端用户的需求,讲究的是快速创新迭代,所以要求转速越快越好;而后台由于面对的是相对稳定的后端资源,而且系统陈旧复杂,甚至还受到法律法规等相关合规约束,所以往往是稳定至上,越稳定越好,转速也自然是越慢越好。

随着企业务的不断发展,这种“前台后台”的齿轮速率“匹配失衡”的问题就逐步显现出来。而中台就像是在前台与后台之间添加了一组“变速齿轮”,将前台与后台的速率进行匹配,是前台与后台的桥梁,它为前台而生,易于前台使用,将后台资源顺滑流向用户,响应用户。

(二)“数据中台”的由来

“数据中台”并不是一个专业术语,简单来说,它是指通过数据技术,对海量数据进行采集、计算、存储、加工,且进行统一标准和口径,以达到对企业的数据资产进行管理及应用为目的的平台。数据中台把数据统一后,形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。

“数据中台”的概念是由阿里巴巴于2015年首次提出。阿里巴巴认为,数据中台是集方法论、工具、组织于一体的“快”、“准”、“全”、“统”、“通”的智能大数据体系。阿里人通过多年不懈的努力,在业务的不断催化滋养下,将自己的技术和业务能力沉淀出一套综合能力平台,具备了对于前台业务变化及创新的快速响应能力。

阿里巴巴中间件首席架构师、《阿里巴巴中台战略思想与架构实践》作者钟华表示,在用阿里技术推动企业数字化转型、建立数字中台的过程中,第一大挑战是业务、其次才是技术。所谓业务挑战,就是从业务视角,把共性的业务模块沉淀到共享业务中台,把个性化的业务剥离出去后形成前台,形成“大中台,小前台”的新格局。

阿里巴巴发展数字中台的核心经验是将原有的共享IT部门必须要找到极强的互联网业务作为抓手,把自己变成核心业务部门,才能够真正转型成为企业的共享业务事业部,而不是某种变形的、换汤不换药的共享IT部门,这也就是阿里共享业务事业部所讲的“业务滋养”的概念。

二、企业为何要布局数据中台?

数据中台的核心价值,在于帮助企业将琐碎的业务数据进行统一的规划、管理、整合,形成符合企业特征的价值实现通道——即企业的“数字资产”。在此过程中,数据中台所瞄准的主要问题是提高企业的数据管治能力、提供数据管理工具、提升数据利用效率。

对于传统企业来说,要把能力中心构建起来,光做一个端还不够,需要把这些端打通。一个“特种兵”没有用处,它真正需要的是把自己的炮火和雷达能力都建立起来。数据中台最终的目标是让“一切业务数据化,一切数据业务化”,将所有的数据汇聚到数据中台来,打通各个业务线的数据流转、数据链路,了解企业数据现状。

在为数据应用提供数据服务的时候,减少数据平台的重复开发,减少数据重复的存储,从而减少企业成本。同时,建立统一的数据存储、数据使用模型中心、能力中心,将相关业务领域的数据做汇聚,解决了数据互联互通的诉求,实现数据价值上的一加一大于二。

以阿里巴巴为例,其数据中台系统由多元数据采集和接入、公共数据中心、统一数据服务三个核心板块构成,成功在新零售、金融、物流、营销、旅游、健康、大文娱、社交等阿里商业生态中,实现了业务数据化和数据业务化,为业务前台和云端双向赋能。

阿里巴巴对外开放的数据中台,2018年曾帮助海底捞旗下的云上捞APP的会员猛涨,更智能的是应用能够对每位用户精准画像,记得住每一位用户的口味和喜好,进而实现个性化、定制化的"千人千锅"服务。公开数据显示,截止目前云上捞注册会员已达到4500万人,较之2018年增长50%。此外,已经享受阿里数据中台服务的还有央视、华硕、大润发等。

阿里旗下的支付宝已经从金融支付工具变成了数字生活开放平台,不仅能购买金融服务、电子支付、借款、还信用卡,还新增了外卖、果蔬商超等便民生活板块。支付宝想做的就一件事,那就是成为人们生活的一部分。要实现这个目标,靠的就是中小企业向数字化经营的转型。

三、企业如何布局数据中台?

从企业应用的角度而言,如何应用数据中台管理业务数据、挖掘数据价值并非易事。数据化中台对企业来说主要有四个过程:

(一)连接

对内,企业需要把前端与前端、前端和后端供应链、制造系统相互打通。对外,对全业务场景中的人与人、人与物、物与物的数据链接进行识别和规划,结合企业特征方向梳理业务数据需求场景。

(二)沉淀核心能力

对分散的业务数据进行统一规划、搜集、存储,建立数据资产目录,为业务数据化管治奠定基础。每个企业实际的竞争能力是不一样的,有些是以产品制胜,有些是以成本制胜。但这些核心能力必须要沉淀下来,才能赋能给新业务。

(三)把数据变成资产

根据阿里讲的“数字化运营”,就是业务数据化,数据资产化。以前连消费者是谁都不知道,这些数据沉淀的非常少。现在的技术已经可以让你做到业务数据化了,但很多企业的数据积累起来之后怎么用?中台解决的就是这个问题,把数据资源利用起来,变成数据资产。搭建数据中台,生产加工、物流运输、财务管控、市场营销、客户管理等各业务线形成快速稳健的数据价值加工通道。

(四)让资产发挥价值

数据变成资产之后,需要找到一个场景把它用起来。举个简单的例子,星巴克是靠什么挣钱?附餐。咖啡本身往往是不挣钱的,只是一个流量生意。但它通过场景化的东西,想办法给你推荐附餐。这就是数据资产场景化的过程。

再比如共享单车,本身也不见得会多挣钱,但收集数据以后,可以通过数据服务挣钱。对于在线下开店的企业来说,就更是如此了。在线下培养一个好的店长是非常难的,但如果你有很多数据,就可以用人工智能来替代店长的很多工作,因为店长不外乎补货和选品。

在未来,数据中台将会是数字化经营的重要依托。通过数据的沉淀和技术手段,为用户提供更优质的服务,数据中台就是基于这个理念而诞生的。通过数据中台,提升企业的效能,持续提高用户的响应力,实现数据化的运营,更好地支持业务发展和创新。

如今,数据中台对很多企业来说,是一个非常有吸引力的数字化解决方案,但企业需要以业务需求来推动数字化进程,而不能一知半解就盲目进行,当企业在明确的业务需求驱动下,搭配完善的数字化解决方案,才能降低转型失败的几率。

什么是产品平台?

中台源于大型数字化企业。经过10多年的发展,且伴随着移动互联网的崛起,企业服务用户已达10亿级别,服务产品多达上百个,涉及信息化系统模块上千个,功能应用更是数不胜数,系统信息化结构错综复杂,牵一发而动全身,造成工作效率逐步降低,服务成本直线上升,而市场竞争变化却日趋激烈,客户需求海量增长,体验要求也在不断提高。为应对市场变化,解决效能低下,“企业中台”概念及“技术中台”应用被快速吸收和采纳。

腾讯、阿里是“中台”概念的提出者和先行者,并在获取成效后开始大肆宣导。一些传统实体企业和中小企业也纷纷效仿,参与到“中台”建设和应用中,可最终却是劳师动众,收获甚微。我认为主要原因是大家没有真正的理解“中台”的概念,真正的中台应该是“产品平台”,通过调整组织架构及协同机制,面向市场和消费者,从后勤保障,到产品研发、生产、交付等环节全面构建“产品平台”,提升服务能力。“产品平台”即产品构建的潜在基础、技术框架、基础架构及各个组件。产品平台能提供共通性,因此在一个产品组合中能实现更高水平的标准化。这种标准化能提供更大的规模经济,并在产品设计和造型中增加灵活性,以迎合不同的细分市场及消费者的需求。

为产品提供标准化能力的是企业,因此我们将企业视为产品平台。企业为应对多变的市场环境和多元化需求,逐步的演化出了前台、中台、后台的组织架构,如图1-1所示,以支撑产品的规模化生产及交付,满足市场和消费者的需求。

图1-1 企业产品平台与产品结构

以阿里巴巴集团为例,向市场提供阿里巴巴(B2B商城)、淘宝(C2C商城)、天猫(B2C商城)、聚划算(促销商城)、支付宝(金融服务)、菜鸟(物流服务)等上百个产品服务,且各个业务存在较强的关联性,为避免重复建设,缩短研发周期,快速应对市场变化,满足消费者多样化需求,降低经营成本,必须采用“产品平台”来解决产品管理问题。由于阿里巴巴向市场提供的产品主要为技术服务,因此常被称之为“技术中台”,平台架构见图1-2。

图1-2 阿里巴巴“技术中台”架构

“技术中台”架构的结合自身产品特点和需要进行搭建。在马克梅尔和阿尔文·莱纳德的《产品平台的力量》一书中提到:“产品平台必须得到妥善管理,如果一个产品平台无法获得更新,其衍生产品将会被淘汰,因为它在职能及价值上无法满足客户需求。如果一个公司的产品平台能够得到定期更新,重新设计,以融合新职能、组件及材料,那其产品家族将一直保持健壮的生命力。”然后接着说道:“富有生命力的产品平台并不是偶然产生的,它是独特的方法论的结果,是长期设计、发展和战略更新的结果。”

高频交易支付架构并不复杂

支付系统是整个交易系统中相当核心的一部分功能,以我们的交易中台为例,通过领域方式的拆分,支付架构隶属于订单团队,在整个用户下单之后进行支付,支付之后成单进入交易履约流程。

支付系统由于本身和金融相关,不像其他高频系统面对海量请求可以大量使用缓存,异步mq等方式解决三高问题。支付系统对数据一致性要求更高,所以对于其架构设计原则还是有自己特点的。

构建一个支撑每秒十万只读系统并不复杂,无非是通过一致性哈希扩展缓存节点,水平扩展web服务器等。每秒钟数十万数据更新操作,在任何数据库上都是不可能的任务,首先需要对订单表进行分库分表。

在进行数据库操作时,一般会用ID(UID)字段,所以选择以UID进行分库分表。

分库策略我们选择了“二叉树分库”,所谓“二叉树分库”指:在进行数据库扩容时,以2倍数进行扩容。比如:1台扩容2台,2台扩容4台,以此类推。最后把Order库分了8个库中,每个库10个表。

根据uid计算数据库编号:

分库信息 = (uid / 10) % 8 + 1

根据uid计算表编号:

表编号 = uid %10

订单系统的ID必须具有全局唯一的特征,简单的方式是利用数据库的序列,每操作一次就能获得一个全局唯一的自增ID,如果支持每秒10w订单,那每秒至少需要生成10w订单ID,通过数据库自增ID显然无法完成上述请求。所以通过内存计算获取全局唯一的订单ID。

JAVA领域著名的唯一ID应该是UUID了,不过UUID太长且包含字母,不适合做订单ID。

通过反复比较筛选,借鉴Twitter的算法实现全局唯一ID。

三部分组成:

最终订单结构:

分库分表信息 + 时间戳 + 机器号 + 自增序号

还是按照第一部分根据uid计算数据库编号和表编号的算法,当uid=9527时,分库信息=1,分表信息=7,将他们进行组合,两位的分库分表信息即为”17”。

我们通过对order表uid维度的分库分表,实现了order表的超高并发写入与更新,通过uid和订单ID查询订单信息。

上面方案虽然简单,但是保持两个order表机器的数据一致是很麻烦的事情。

两个表集群显然是在不同的数据库集群中,如果写入与更新中引入强一致性的分布式事务,这无疑会大大降低系统效率,增长服务响应时间,这是我们所不能接受的,所以引入了消息队列进行异步数据同步,为了实现数据的最终一致性。

当然消息队列的各种异常会造成数据不一致,所以我们又引入了实时服务监控,实时计算两个集群的数据差异,并进行一致性同步。

所谓数据库高可用指的是:

当数据库由于各种原因出现问题时,能实时或快速的恢复数据库并修补数据。

从整体集群角度看,就像没有出任何问题一样,需要注意的是,这里的恢复数据库服务并不一定是指修复原有数据库,也包括将服务切换到另外备用的数据库。

数据库高可用的主要工作是数据恢复月数据修补,一般我们完成这两项工作的时间长短,作为衡量高可用好坏的标准。

我们认为,数据库运维应该和项目组分开,当数据库出现问题时,应由DBA实现统一恢复,不需要项目组操作服务,这样便于做到自动化,缩短服务恢复时间。

如上图所示,web服务器将不再直接连接从库DB2和DB3,而是连接LVS负载均衡,由LVS连接从库。

这样做的好处是LVS能自动感知从库是否可用,从库DB2宕机后,LVS将不会把读数据请求再发向DB2。

同时DBA需要增减从库节点时,只需独立操作LVS即可,不再需要项目组更新配置文件,重启服务器来配合。

再来看主库高可用结构图:

如上图所示,web服务器将不再直接连接主库DB1,而是连接KeepAlive虚拟出的一个虚拟ip,再将此虚拟ip映射到主库DB1上,同时添加DB_bak从库,实时同步DB1中的数据。

正常情况下web还是在DB1中读写数据,当DB1宕机后,脚本会自动将DB_bak设置成主库,并将虚拟ip映射到DB_bak上,web服务将使用 健康 的DB_bak作为主库进行读写访问。

这样只需几秒的时间,就能完成主数据库服务恢复。

组合上面的结构,得到主从高可用结构图:

数据库高可用还包含数据修补,由于我们在操作核心数据时,都是先记录日志再执行更新,加上实现了近乎实时的快速恢复数据库服务,所以修补的数据量都不大,一个简单的恢复脚本就能快速完成数据修复。

支付系统除了最核心的支付订单表与支付流水表外,还有一些配置信息表和一些用户相关信息表。如果所有的读操作都在数据库上完成,系统性能将大打折扣,所以我们引入了数据分级机制。

我们简单的将支付系统的数据划分成了3级:

使用本地内存缓存有一个数据同步问题,因为配置信息缓存在内存中,而本地内存无法感知到配置信息在数据库的修改,这样会造成数据库中数据和本地内存中数据不一致的问题。

为了解决此问题,我们开发了一个高可用的消息推送平台,当配置信息被修改时,我们可以使用推送平台,给支付系统所有的服务器推送配置文件更新消息,服务器收到消息会自动更新配置信息,并给出成功反馈。

举个简单的例子,我们目前订单的处理能力是平均10万下单每秒,峰值14万下单每秒,如果同一秒钟有100万个下单请求进入支付系统,毫无疑问我们的整个支付系统就会崩溃,后续源源不断的请求会让我们的服务集群根本启动不起来,唯一的办法只能是切断所有流量,重启整个集群,再慢慢导入流量。

我们在对外的web服务器上加一层“粗细管道”,就能很好的解决上面的问题。

请看上面的结构图,http请求在进入web集群前,会先经过一层粗细管道。入口端是粗口,我们设置最大能支持100万请求每秒,多余的请求会被直接抛弃掉。出口端是细口,我们设置给web集群10万请求每秒。

剩余的90万请求会在粗细管道中排队,等待web集群处理完老的请求后,才会有新的请求从管道中出来,给web集群处理。

这样web集群处理的请求数每秒永远不会超过10万,在这个负载下,集群中的各个服务都会高校运转,整个集群也不会因为暴增的请求而停止服务。

如何实现粗细管道?nginx商业版中已经有了支持,相关资料请搜索

nginx max_conns,需要注意的是max_conns是活跃连接数,具体设置除了需要确定最大TPS外,还需确定平均响应时间。

微服务架构图

项目微服务架构图

微服务架构根据目前产品存在的问题,针对快速开发、海量用户、大量数据、低延迟等互联网应用的实际需要,通过对业务架构、系统架构、基础架构、技术架构进行设计,彻底解决系统解耦、性能低下等问题,而且支持云计算部署,可以满足高并发、高可用、高稳定。微服务并没有一个官方的定义,可以理解为一种架构风格 。

大数据管理数据处理过程图

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。大数据处理,大...

产品开发流程图

产品开发流程(Product Development Process)产品开发流程是指企业用于想像、设计和商业化一种产品的步骤或活动的序列。产品开发流程涉及的人员从产品经理到设计师、前端、后端等等一系列人员,这篇文章主要关于产品开发的完整流程,希望对各个工作岗位上的人有借鉴意义。很多产品经理不...

阿里巴巴数据中台全景图

阿里是数据中台概念的首先提出者,其案例更具分析意义。从阿里巴巴数据中台全景图可以看出,阿里的数据中台包括了计算与存储平台、数据资产管理、智能数据研发、统一数据中心中间件(OneService)四大模块,最上层支撑着阿里数据、数据大屏、生意参谋等大数据应用。阿里数据中台架构。数据中台建设理论、方...

Web开发技术架构图

大型web系统架构动态应用,是相对于网站静态内容而言,是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件,比如论坛、网络相册。1、学习Web开发原理,包括MVC/MTV等Web框架; 2、学习Django Web框架,从技术原理到项目实践; 3、学习Djan...

互联网工作原理拓扑图

互联网工作原理拓扑图模板,计算机网络是由很多台计算机组成的, 要实现网络之间传输数据, 必须要做两件事, 数据传输目的地址和保证数据迅速可靠传输的措施。计算机网络是由许多计算机组成的,要实现网络的计算机之间传输数据,必须要作两件事,数据传输目的地址和保证数据迅速可靠传输的措施。拓扑图用于计算机...

管理业务流程图

业务管理是网路管理中比较重要的部分,涉及的面也比较广泛。在这一管理层,大多数的管理信息直接在GSM系统的各网路单元与GSM网路管理设施之间交换。这些管理信息还包括由AuC管理的安全性数据,由HLR管理的客户数据,由MSC管理的费率和计费数据等。业务管理(Business Management)...

电商知识图谱

知识图谱(Knowledge Graph/Vault,以下简称KG)本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。电商就是电子商务的简称,在互联网上销售产品而进行的商业活动,是把现实生活中的商业活动,搬到虚拟的世界当中电商这一特殊领域的知识图谱构建过程中,...

 

树状网络拓扑图

树型拓扑(tree topology):一种类似于总线拓扑的局域网拓扑。树型网络可以包含分支,每个分支又可包含多个结点。树状拓扑结构是一种分级结构。在树状结构的网络中,任意两个节点之间不产生回路,每条通路都支持双向传输、这种结构的特点是扩充方便、灵活,成本低,易推广,适合于分主次或分等级的层级...

云平台整体架构图

云计算的体系结构由5部分组成,分别为应用层,平台层,资源层,用户访问层和管理层,云计算的本质是通过网络提供服务,所以其体系结构以服务为核心。公认的云架构是划分为基础设施层、平台层和软件服务层三个层次的,对应名称为IaaS,PaaS和SaaS。

电商组织架构及职责?

总负责人:应该就是你

其余分成两个大板块

内容产出与内容发布两个板块

内容产出:文案策划,1人!推广物料,1人!视频输出,1人!这三个人主要负责拍摄剪辑文案编写页面制作软文编辑(就是内容产出)

广告投放1人,负责把制作出来的内容发布到对应内容平台上即可!

这就是最简单的配置!

支付中台架构图的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于数据中台组织架构、支付中台架构图的信息别忘了在本站进行查找喔。

扫描二维码推送至手机访问。

版权声明:本文由我的模板布,如需转载请注明出处。


本文链接:http://2565999.com/post/3355.html

分享给朋友:

“支付中台架构图(数据中台组织架构)” 的相关文章

php模板引擎的功能(php模板引擎的功能有哪些)

php模板引擎的功能(php模板引擎的功能有哪些)

今天给各位分享php模板引擎的功能的知识,其中也会对php模板引擎的功能有哪些进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: 1、PHP引擎程序是什么? 2、...

进口商品查真伪扫一扫(进口商品查真伪扫一扫软件)

进口商品查真伪扫一扫(进口商品查真伪扫一扫软件)

本篇文章给大家谈谈进口商品查真伪扫一扫,以及进口商品查真伪扫一扫软件对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 本文目录一览: 1、国外小样为什么验真假要用支付宝扫 2、怎么查商品的真...

京东茅台溯源码在哪(京东茅台溯源码在哪看)

京东茅台溯源码在哪(京东茅台溯源码在哪看)

本篇文章给大家谈谈京东茅台溯源码在哪,以及京东茅台溯源码在哪看对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 本文目录一览: 1、茅台溯源码是什么意思 2、哪里买的茅台酒没有溯源码 3...

手机全球通用顶级域名注册局(手机全球通用顶级域名注册管理机构)

手机全球通用顶级域名注册局(手机全球通用顶级域名注册管理机构)

今天给各位分享手机全球通用顶级域名注册局的知识,其中也会对手机全球通用顶级域名注册管理机构进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: 1、.xyz是哪里的域名...

电脑怎么下载APK文件(电脑下载的apk文件怎么安装)

电脑怎么下载APK文件(电脑下载的apk文件怎么安装)

今天给各位分享电脑怎么下载APK文件的知识,其中也会对电脑下载的apk文件怎么安装进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: 1、apk文件怎么安装到电脑上...

做短视频需要的软件小海豚(做短视频需要的软件小海豚是什么)

做短视频需要的软件小海豚(做短视频需要的软件小海豚是什么)

本篇文章给大家谈谈做短视频需要的软件小海豚,以及做短视频需要的软件小海豚是什么对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 本文目录一览: 1、小海豚是拿里干嘛用的 2、小海豚视频剪辑软...