人大金倉完成新疆農(nóng)村信用社數(shù)據(jù)倉庫國產(chǎn)化
2021-03-22 16:42:24 來源:財訊網(wǎng)
隨著國家“新基建”戰(zhàn)略的推進,國產(chǎn)軟硬件迎來跨越式發(fā)展,在金融、政務(wù)、電信等核心領(lǐng)域均具備不斐實踐。作為我國信息化程度最高的行業(yè)之一,金融行業(yè)是我國信息化建設(shè)的重點領(lǐng)域。近年來,隨著全球化逆流加劇,金融行業(yè)IT建設(shè)國產(chǎn)化進入加速期。
近日,在新疆農(nóng)村信用社(以下簡稱“新疆農(nóng)信”)數(shù)據(jù)倉庫國產(chǎn)化替代項目中,人大金倉順利完成由IBM Netezza數(shù)據(jù)庫到金倉分布式分析型數(shù)據(jù)庫系統(tǒng)KingbaseAnalyticsDB(以下簡稱“KADB”)的遷移,遷移后,客戶的數(shù)據(jù)庫使用及服務(wù)成本節(jié)省10倍,數(shù)據(jù)庫加載速度與分析性能顯著提升。
項目背景
新疆農(nóng)信ODS業(yè)務(wù)核心數(shù)倉接入其 “核心”、“網(wǎng)銀”、“財管”、“銀聯(lián)”、“信貸”、“前置”和農(nóng)信銀等重要業(yè)務(wù)系統(tǒng);
每天高密度、結(jié)構(gòu)化數(shù)據(jù)的批量加載、處理、分析:數(shù)倉存儲數(shù)據(jù)量壓縮后近20TB,每日運行批量加工過程500+,每日入庫量30GB+,全天數(shù)據(jù)加工處理流程時間<3小時(清洗/裝載、匯總、報表);
流水型業(yè)務(wù)場景:整個過程需要通過集中控制平臺以定時任務(wù)的形式將每日增量數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫中,并通過多層模型清洗轉(zhuǎn)換基礎(chǔ)數(shù)據(jù),每一層需依賴上層轉(zhuǎn)化好的數(shù)據(jù),最終完成所有業(yè)務(wù)操作后將最終結(jié)果上報到總行。
原數(shù)據(jù)庫性能及服務(wù)無法滿足需求:原有數(shù)據(jù)庫為基于一體機架構(gòu)體系下的數(shù)據(jù)分析和數(shù)據(jù)存儲平臺。采用Netezza構(gòu)建ODS,隨著數(shù)據(jù)量的增大,Netezza在性能及各方面表現(xiàn)日趨下降,已不能滿足新疆農(nóng)村信用社使用需求。2019年,IBM停止Netezza的服務(wù)支持,新疆農(nóng)信ODS業(yè)務(wù)陷入無數(shù)據(jù)庫原廠提供服務(wù)保障的困境。
客戶痛點
安全風(fēng)險:原數(shù)據(jù)庫IBM Netezza采用的是基于一體機架構(gòu)體系下的數(shù)據(jù)分析和數(shù)據(jù)存儲平臺,整體從硬件到軟件都由IBM提供,對硬件要求非常高,整體架構(gòu)不適用于目前場景;且系統(tǒng)相對封閉,產(chǎn)品代碼層面不可控。
業(yè)務(wù)運行風(fēng)險:壓縮后約20TB的數(shù)據(jù)庫歷史存量,每日30GB+數(shù)據(jù)增量,導(dǎo)致數(shù)據(jù)庫負載壓力巨大,數(shù)據(jù)庫性能提升刻不容緩。
原廠服務(wù)保障風(fēng)險:銀行系統(tǒng)對于響應(yīng)的要求近乎苛刻,需要時刻保證數(shù)據(jù)庫安全穩(wěn)定運行,數(shù)據(jù)庫廠商最好能夠提供7*24小時本地化服務(wù)。
金倉方案
人大金倉采用分布式可擴展架構(gòu)對客戶原來的一體機架構(gòu)進行替換,經(jīng)過KADB國產(chǎn)化替代后,架構(gòu)如下:
原Netezza數(shù)據(jù)倉庫體系架構(gòu)如下:
金倉價值
開放架構(gòu):采用shared-nothing架構(gòu)的MPP技術(shù)路線,金倉分析型數(shù)據(jù)庫系統(tǒng)KingbaseAnalyticsDB產(chǎn)品特性助力,在滿足高性能、高擴展性、低成本的基礎(chǔ)上,同時滿足金融架構(gòu)的高可用、低風(fēng)險、強管控要求;
數(shù)據(jù)庫遷移:通過金倉數(shù)據(jù)庫遷移工具,完成600多個控制任務(wù)、200多張拉鏈及增量表、近20TB存量數(shù)據(jù)的自動化遷移,節(jié)省了大量的時間及人力成本。
性能優(yōu)化提升:通過分布式架構(gòu)的并行計算能力,將數(shù)據(jù)分布在所有節(jié)點上,減輕了單臺服務(wù)器的存儲壓力,通過高度并行的計算框架,加速每個節(jié)點的計算效率,完成數(shù)據(jù)庫集群整體性能提升。最優(yōu)化的I/O處理能力:無共享MPP架構(gòu),能夠滿足所有節(jié)點同時進行并行處理,無I/O沖突;
極速數(shù)據(jù)加載能力,智能加載,無需通過冗余節(jié)點,性能極高;
高效數(shù)據(jù)存儲能力:支持主流高效率壓縮算法,壓縮比可達1:20,協(xié)助用戶獲得最佳存儲效率;
大規(guī)模并行能力:集群支持將計算任務(wù)分發(fā)給各個主機并行執(zhí)行,可最大程度利用集群中的計算資源完成任務(wù);
數(shù)據(jù)庫加載速度與分析性能較Netezza顯著提升。
近日,該項目已正式上線且運行穩(wěn)定,本次項目實現(xiàn)了新疆維吾爾族自治區(qū)銀行類業(yè)務(wù)國產(chǎn)化替代由0到1的飛躍,為新疆農(nóng)村信用社將來全面實現(xiàn)國產(chǎn)化替代注入了一劑強心針,為更多金融信息安全領(lǐng)域企業(yè)使用國產(chǎn)數(shù)據(jù)庫奠定了信心!
免責(zé)聲明:市場有風(fēng)險,選擇需謹慎!此文僅供參考,不作買賣依據(jù)。
關(guān)鍵詞:
相關(guān)閱讀
- 健康科普教育傳播促進聯(lián)盟正式成立 —...
- 不僅有動力操控,還能經(jīng)濟實惠,傳祺GS3...
- 星星冷柜“新鮮守味”,全年不打烊
- 南崗區(qū)人大代表到文景社區(qū)慰問低困群眾...
- 北京城市副中心率先入局元宇宙,這個信...
- 產(chǎn)品權(quán)益為盾,生活場景為矛,招行高端...
- 農(nóng)發(fā)行三明市分行領(lǐng)導(dǎo)到永安市支行開展...
- 農(nóng)發(fā)行永安市支行召開黨史學(xué)習(xí)教育專題...
- 多重黑科技加持,捷途X90子龍都有哪些神...
- 2021年度中國開放數(shù)林指數(shù)發(fā)布
- 迪麗熱巴同款“神器”:萊克天狼星一體...
- 2022數(shù)智化轉(zhuǎn)型峰會線上分論壇 數(shù)字化...
精彩推薦