技术实际| 基于Flink技术组件，助力实时数仓建设

随着互联网的发展进入下半场，数据的时效性对企业的精密化运营越来越沉要。商场如战场，在每天产生的海量数据中，若何实时挖掘有价值的信息并急剧触达客户，对企业的运营决策调整、用户履历提升等都有很大援手。为了让数据更高效的反哺业务、更实时地支持决策，最大化阐扬数据价值，企业起头索求通过构建实时数仓来满足急剧获取数据的需要。

实时数据仓库集实时数据采集、实时数据处置、离线数据校对和数据定造化展示4大职能一体，可支持实时经营分析、实时营销、实时风控等场景的需要。新场景的出现催产出新的技术，新一代实时推算引擎Flink的鼓起，在超高机能、数据一致性保险、SQL化编程方式等特点下也推动了实时数仓的发展�；贔link架构的实时数仓为各类实时利用场景提供数据基础，在数据中台系统中起着至关沉要的作用。

不朽情缘科技作为金融科技当先企业，也对实时数仓建设做了大量的尝试和实际。本文将以不朽情缘科技参加建设的某城商行实时数仓建设项目为引子，分享基于Flink技术组件建设实时数仓的经验。

某城商行实时数仓建设规划

实时数仓建设在保障数据正确性的情况，最优先思考的问题就是若何保障数据的实时性，因而Kafka、Hbase这类读写效能较高的技术组件成为实时数仓数据互换组件的首选。凭据选型组件的个性以及实时性的要求，实时数仓架构分层需把稳以下几点：

· 简化链路，尽可能缩减数据处置链路，最大化保障数据实时性；

· 实时数仓数据流转在Kafka去结构化新闻队列，数仓各层需分工明确，方便操作人员对数据进行回溯、定位；

· 筹备离线数据对实时数据的校验，预防推算谬误或者遗漏的情况；

· 由于实时数仓工作均为7x24不间断运行，若是出现意表情况某一层链路终端，实时数仓就会出现断数的情况，这时辰必要离线数据保障查问服务能够正常返回数据。

2022110747877

综上所述，实时数仓构建分为4层，各层具体注明如下：

· RTL：技术解析层，通过数据采集工具网络各个业务源数据，数据结构维持一致；

· ROL：贴源层，分为实时区和离线区两个区域，实时区存放经过肯定洗濯/尺度化的数据，离线区存放逐日同步的离线维度数据；

· RCL：汇总共享层，存放轻度汇总和能够共享的数据，数据依照肯定规定进行分类，达到能够复用的主张；

· RDL：数据服务层，将RCL层数据进行指标化加工，蕴含分析、利用汇总类指标以及明细数据；分为实时区和离线区，实时区存放实时指标了局，离线区存放逐日离线指标了局，用于数据保底与实时数据校验。

分歧场景下的实时数据处置链路

实时数据利用蕴含实时指标推算、流式传输、实时风控、实时营销、实时对客等多种业务场景�；贔linkSQL+OLAP的出产链路，实时数据通过采集工具同步至新闻队列进行承载，再经由实时数仓进行业务加工后，落地到各类存储，最后由下游业务系统接管处置或者由数据服务平台推送给各类终端进行展示，整条链路两全了数据的时效性与查问的高效性。

在某城商行实时数仓建设项目中，其重要业务场景蕴含实时资产负债、实时治理驾驶舱以及实时监管数据监测等。

2022110737013

场景一：实时资产负债：实时获取各业务系统用户动账后的余额，通过关联有关维度信息补充数据到了局表，后续由前端查问实时了局表返回数据；

通过构建实时、离线两张Hbase了局表并实时比对的方式应对用户对实时买卖、不动帐的实时查问需要，相迸宗采取“昨日离线余额+今日实时产生额”的原始查问规划，更能提升查问了局的时效性，躲避了逐日日切功夫与跑批功夫段的空窗期数据时效性的问题。

场景二：实时治理驾驶舱：通过实时获取买卖动账，对全行级此外资金流入流出金额、客户资产、申贷金额及人数等指标进行实使毓示；

以实时资金流入流出统计为例，对当日买卖动账数据依照指标粒度进行分组聚合，保障每个粒度在RDL层rowkey一样，每获取到一条动账信息，推算出最新的资金金额后凭据rowkey实时更新hbase表了局数据。

场景三：实时监管数据监测：凭据造订的监管射中逻辑对当日买卖流水进行监控，切合射中逻辑的数据发送到下游进行买卖限度等处置；

以涉赌涉诈需要为例，监管射中逻辑为在非柜面系统中，陆续产生涉及5个分歧用户名及以上的收款、转账等资金买卖，且每笔买卖距离不超过3分钟、每笔金额在0.01-10元。此类场景可基于Flink的over窗口职能与事务功夫，通过推算买卖流水前后一段功夫内敌手客户数量及买卖金额，判断是否满足射中逻辑，从而打上射中象征发往下游系统。

通过选取Flink技术构建实时数仓，我们将数据出产的各个环节抽象化形成实时数仓的各层架构，实现了全栈实时数据利用的数据源统一，保险了利用数据指标和维度的口径一致，助力获取实时数据的便捷性和时效性大大提升，从而提升客户的整体运营效能。

结语：

在当前数字化转型大潮中，实时数据仓库的建设作为数据中台系统的沉要组成部门，对金融机构而言意思沉大。而不朽情缘科技在实时数据处置领域有丰硕的执行经验，已为中国银杏注南京银杏注柳州银行等分歧规模的银行提供了实时数据处置解决规划。将来，不朽情缘科技将在实时数仓领域索求更多新业务状态的落地，助力客户高效挖掘数据价值、反哺业务发展！

技术专栏 | 全篇干货！不朽情缘科技企业级微前端利用实际

金融科技

2023.01.04

DevOps实际｜践行火快迭代，让研发团队高效合作

金融科技

2022.08.05

有关新闻

数据资产价值实现（四）| 企业数据集成驱动价值最大化

热点聚焦

2025.06.24

数据资产价值实现（三）| 优化数据治理生态

金融科技