針對吉林油田上述實(shí)際需求，美創(chuàng)科技通過自主研發(fā)的數(shù)據(jù)支撐平臺實(shí)現(xiàn)數(shù)據(jù)清洗、轉(zhuǎn)換、同步和加載工作。該平臺通過對業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，向數(shù)據(jù)倉庫或大數(shù)據(jù)平臺提供高質(zhì)量數(shù)據(jù)，支持異構(gòu)數(shù)據(jù)遷移、基于數(shù)據(jù)庫日志的數(shù)據(jù)實(shí)時復(fù)制、ETL開發(fā)、分布式處理等功能。具體如下：
數(shù)據(jù)清洗人物配置管理模塊
清洗模塊是整個清洗工具的控制中心，實(shí)現(xiàn)清洗數(shù)據(jù)源的連接信息、清洗表的設(shè)置，并且記錄清洗信息。
清洗規(guī)則管理模塊
包含各類清洗算法的運(yùn)行參數(shù)、數(shù)據(jù)質(zhì)量指標(biāo)等，如重復(fù)記錄清洗算法的閾值、異常值檢測的標(biāo)準(zhǔn)、基于業(yè)務(wù)規(guī)則的清洗算法的業(yè)務(wù)邏輯等。
清洗算法管理模塊
對重復(fù)數(shù)據(jù)檢測算法、不完整數(shù)據(jù)檢測算法和字段匹配算法、異常值檢測算法等進(jìn)行靈活定義和配置。
擴(kuò)展模塊管理
通過擴(kuò)展模塊允許向數(shù)據(jù)清洗工具中加入完全定制化的清洗方法和流程，負(fù)責(zé)將編譯好的擴(kuò)展清洗方法及描述信息保存到擴(kuò)展模塊配置中，清洗任務(wù)可以靈活的選擇相應(yīng)的擴(kuò)展清洗方法。
清洗日志管理
實(shí)現(xiàn)清洗動作的可追溯性，清洗任務(wù)會自動保存到清洗日志表中，不能自動清洗的為異常。通過清洗日志管理模塊可以對清洗任務(wù)進(jìn)行查詢，并對異常數(shù)據(jù)進(jìn)行手工處理。
算法和規(guī)則配置管理
通過選擇不同的清洗方法和規(guī)則實(shí)現(xiàn)數(shù)據(jù)清洗的需求。算法庫管理：通過配置管理界面，將已實(shí)現(xiàn)算法編譯后的類加載到算法庫，并在算法庫中維護(hù)算法的描述信息便于以后的配置管理；規(guī)則庫管理：工具中的清洗規(guī)則都維護(hù)在系統(tǒng)規(guī)則表中，將規(guī)則代碼和規(guī)則相對應(yīng)管理。
擴(kuò)展清洗模塊
增強(qiáng)數(shù)據(jù)清洗工具和數(shù)據(jù)類型的靈活性，在滿足擴(kuò)展模塊接口的前提下，定制數(shù)據(jù)清洗流程進(jìn)行數(shù)據(jù)清洗工作。
安全測評
系統(tǒng)上線前開展代碼安全測評，并出具第三方測評機(jī)構(gòu)出具評測報(bào)告。
浙公網(wǎng)安備 33010502006954號 
