自古以來,知易行難。雖然許多企業(yè)已經(jīng)認(rèn)識到了數(shù)據(jù)治理很重要,但能真正地建立科學(xué)的數(shù)據(jù)戰(zhàn)略、組織機制、管理流程,制定完備的制度規(guī)范、規(guī)則標(biāo)準(zhǔn),規(guī)劃好數(shù)據(jù)治理體系架構(gòu),并腳踏實地的落實到實處的企業(yè)很少。
每家企業(yè)都希望能把數(shù)據(jù)治理做好,但要對企業(yè)的數(shù)據(jù)治理進(jìn)行成熟度評估,那么有很多企業(yè)的數(shù)據(jù)治理都是存在問題的。如有些企業(yè)搭建了BI智能分析系統(tǒng),深入了解后得知該系統(tǒng)實際上僅僅被用作簡單呈現(xiàn)信息的報表工具。該系統(tǒng)搭配了炫目的智慧大屏,實際上獲取到的數(shù)據(jù)因統(tǒng)計口徑不一致而無法準(zhǔn)確反映業(yè)務(wù)實際,無法根據(jù)統(tǒng)計的圖表去層層下鉆、撥云見日以及探查異常指標(biāo)出現(xiàn)的根本性原因,更別談能持續(xù)性、系統(tǒng)性、自動化地改善數(shù)據(jù)質(zhì)量,以及智能化地對經(jīng)營分析的發(fā)展趨勢進(jìn)行預(yù)測。
數(shù)據(jù)之痛主要集中在數(shù)據(jù)應(yīng)用、數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量、數(shù)據(jù)隱私和安全,以及數(shù)據(jù)管理與治理等多方面。企業(yè)只有采取措施來解決和避免這些問題,才能實現(xiàn)數(shù)據(jù)的價值與應(yīng)用效果。1、數(shù)據(jù)應(yīng)用:在數(shù)據(jù)應(yīng)用過程中,會遇到技術(shù)不足、展現(xiàn)方式不合理、數(shù)據(jù)指標(biāo)模型的統(tǒng)計口徑與實際業(yè)務(wù)脫節(jié)等問題。這會導(dǎo)致數(shù)據(jù)應(yīng)用效果不佳或無法達(dá)到預(yù)期的效果。
2、數(shù)據(jù)孤島:不同部門、系統(tǒng)或組織之間建設(shè)了ERP系統(tǒng)、CRM系統(tǒng)、PLM(Product Lifecycle Management,產(chǎn)品生命周期管理)系統(tǒng)、DMS(Dealer Management System,經(jīng)銷商管理系統(tǒng))等眾多業(yè)務(wù)系統(tǒng),這些業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)信息孤立,導(dǎo)致數(shù)據(jù)分析和應(yīng)用困難、低效。例如,由于存在數(shù)據(jù)孤島,企業(yè)無法準(zhǔn)確、及時地進(jìn)行產(chǎn)銷協(xié)同。
3、數(shù)據(jù)質(zhì)量:數(shù)據(jù)質(zhì)量會影響數(shù)據(jù)的準(zhǔn)確性、完整性和一致性等。如果數(shù)據(jù)質(zhì)量不高,則將影響數(shù)據(jù)分析和應(yīng)用的可靠性與準(zhǔn)確性。例如,在醫(yī)療領(lǐng)域,醫(yī)學(xué)圖像的數(shù)據(jù)質(zhì)量不高,可能會導(dǎo)致誤診和治療錯誤。
4、數(shù)據(jù)隱私和安全:在使用或處理不當(dāng)?shù)那闆r下,企業(yè)的數(shù)據(jù)可能會出現(xiàn)泄露、被竊取或濫用等問題,致使企業(yè)的聲譽受損。
5、數(shù)據(jù)管理與治理:來自多元異構(gòu)系統(tǒng)的數(shù)據(jù)如果沒有經(jīng)過標(biāo)準(zhǔn)化過程,則會存在冗余、重復(fù)、丟失或不一致等諸多問題,嚴(yán)重影響數(shù)據(jù)應(yīng)用的效率和準(zhǔn)確性。
數(shù)據(jù)治理依據(jù)不同數(shù)據(jù)的特性,通過規(guī)范化的管理手段來持續(xù)提升數(shù)據(jù)質(zhì)量、釋放數(shù)據(jù)價值。常見的數(shù)據(jù)類型可以分為元數(shù)據(jù)、參考數(shù)據(jù)、主數(shù)據(jù)、事務(wù)型數(shù)據(jù)、分析型數(shù)據(jù)。
企業(yè)在不同的數(shù)字化發(fā)展階段,進(jìn)行數(shù)據(jù)治理的主要關(guān)注點會發(fā)生變化。企業(yè)數(shù)據(jù)治理項目關(guān)注點大體上集中在質(zhì)量、時效、消費、安全、成本等方面。
● 質(zhì)量:改善數(shù)據(jù)質(zhì)量是企業(yè)進(jìn)行數(shù)據(jù)治理的基礎(chǔ)性要求,主要在于改進(jìn)數(shù)據(jù)的穩(wěn)定性、準(zhǔn)確性、完備性、唯一性、一致性、有效性等。
● 時效:數(shù)據(jù)產(chǎn)生的時效問題,影響了后續(xù)所有數(shù)據(jù)處理的及時性和數(shù)據(jù)價值。比如,在營銷返利的場景中,企業(yè)每天都會計算營收情況,產(chǎn)生各個交易方的返利數(shù)據(jù)。如果數(shù)據(jù)產(chǎn)生不及時,則可能無法達(dá)到預(yù)期的激勵效果。
● 消費:數(shù)據(jù)要容易被查詢,并且能夠被理解。另一個比較重要的方面是數(shù)據(jù)可復(fù)用,復(fù)用可以放大數(shù)據(jù)價值。
● 安全:數(shù)據(jù)權(quán)限的管理、敏感數(shù)據(jù)的分級處理與應(yīng)用應(yīng)滿足各種數(shù)據(jù)政策和法規(guī)的要求。
● 成本:在數(shù)據(jù)的生產(chǎn)、處理及價值挖掘等環(huán)節(jié)相對完善之后,圍繞數(shù)據(jù)體系的總體成本進(jìn)行優(yōu)化,將會是企業(yè)的重點考慮方向。
1、 改善數(shù)據(jù)質(zhì)量
案例:某公司的客戶信息存在多種問題,如姓名拼寫錯誤、地址缺失、電話號碼的格式不統(tǒng)一等。這些問題如果不及時加以處理,就會導(dǎo)致數(shù)據(jù)不準(zhǔn)確、重復(fù)和不完整。
分析:通常,引發(fā)數(shù)據(jù)質(zhì)量問題的原因是多方面的,如下所述。
● 原始數(shù)據(jù)本身不完整,執(zhí)行操作不規(guī)范。
● 數(shù)據(jù)提取技術(shù)不穩(wěn)定,管理職責(zé)不明確。
● 數(shù)據(jù)處理過程中出現(xiàn)錯誤,數(shù)據(jù)標(biāo)準(zhǔn)沒有被執(zhí)行。
● 內(nèi)部數(shù)據(jù)不統(tǒng)一,外部數(shù)據(jù)有缺失。
2、優(yōu)化數(shù)據(jù)時效
案例:某零售企業(yè)面臨市場競爭和消費者需求變化等挑戰(zhàn),需要及時獲取并分析消費者行為數(shù)據(jù)以支持決策。
分析:該企業(yè)可以進(jìn)行數(shù)據(jù)治理以提升數(shù)據(jù)的時效性,其中包括對數(shù)據(jù)源、格式和質(zhì)量進(jìn)行規(guī)范化及標(biāo)準(zhǔn)化,以減少數(shù)據(jù)獲取和清理的時間與工作量。此外,該企業(yè)還可以建立實時數(shù)據(jù)流管道和實時數(shù)據(jù)倉庫等技術(shù)架構(gòu),以提高數(shù)據(jù)的及時性和準(zhǔn)確性,支持快速的數(shù)據(jù)分析與決策;使用更智能化的數(shù)據(jù)采集工具,縮短數(shù)據(jù)同步的時間,實現(xiàn)數(shù)據(jù)同步故障的自動化解決。
3、提升數(shù)據(jù)消費
數(shù)據(jù)只有被有效地使用才能產(chǎn)生業(yè)務(wù)價值。從數(shù)據(jù)消費的場景出發(fā),以終為始,增強數(shù)據(jù)的可用性,賦能業(yè)務(wù),這是一種很常見的數(shù)據(jù)治理項目的開展方式。
在營銷、研發(fā)、供應(yīng)鏈、質(zhì)量、財務(wù)等業(yè)務(wù)領(lǐng)域,企業(yè)可以利用數(shù)據(jù)挖掘分析來優(yōu)化自身的決策能力,如圖1-3所示。
案例:某在線教育平臺啟動了客戶體驗改善計劃,讓教師和學(xué)生能夠自主地查詢與分析教學(xué)數(shù)據(jù),以支持教學(xué)及學(xué)習(xí)決策。
分析:該教育平臺可進(jìn)行數(shù)據(jù)治理以實現(xiàn)數(shù)據(jù)的自助消費,其中包括建立自助式數(shù)據(jù)查詢和分析工具。
4、貫徹數(shù)據(jù)標(biāo)準(zhǔn)
案例:某電商平臺的商品分類存在多種問題。比如,有的分類使用中文,有的分類使用英文;有的分類命名方式不規(guī)范;有的分類過于精細(xì)或過于寬泛等。這些問題如果不加以處理,就會導(dǎo)致商品分類混亂、搜索結(jié)果不準(zhǔn)確。該公司為了解決分類命名不規(guī)范的問題,建立了統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。選擇一種主要語言作為所有分類的基礎(chǔ),所有分類名稱都遵循同一套明確的命名規(guī)則。制定分類標(biāo)準(zhǔn),保證每個類別既不過于細(xì)致也不過于泛化。同時,該公司利用數(shù)據(jù)字典工具來維護(hù)分類標(biāo)準(zhǔn),并開發(fā)自動化工具來檢測和糾正不符合標(biāo)準(zhǔn)的分類。
5、降低持有成本
案例:某制造業(yè)公司面臨經(jīng)濟下行和市場競爭壓力,需要降低IT運維總體成本。
分析:該公司的數(shù)據(jù)治理包括優(yōu)化數(shù)據(jù)存儲和管理方式,完善數(shù)據(jù)的備份機制,使用更適合業(yè)務(wù)需求的存儲技術(shù)和方法,減少數(shù)據(jù)存儲和管理成本。該公司可在IT基礎(chǔ)架構(gòu)中引入容器化、虛擬化技術(shù),從而更好地共享硬件資源;采用數(shù)據(jù)歸檔、壓縮和刪除等方式,減少數(shù)據(jù)存儲和維護(hù)成本。同時,該公司還可通過數(shù)據(jù)治理改善數(shù)據(jù)備份和恢復(fù)策略,在確保數(shù)據(jù)安全和可用性的前提下,降低數(shù)據(jù)持有總體成本。
6、完善治理組織
假如人人都對數(shù)據(jù)質(zhì)量負(fù)責(zé),反而會出現(xiàn)“三不管地帶”。因為人人負(fù)責(zé)實質(zhì)等同于人人都不負(fù)責(zé),真正出現(xiàn)問題后肯定會出現(xiàn)相互推諉、“甩鍋”的情況。
數(shù)據(jù)治理體系的建設(shè)過程包括數(shù)據(jù)治理組織機構(gòu)的資源、流程、權(quán)責(zé)的明確,即清晰地界定出來“誰有數(shù)據(jù)的擁有權(quán),誰有數(shù)據(jù)的使用權(quán),誰有數(shù)據(jù)的管理權(quán)”等。出現(xiàn)數(shù)據(jù)問題如果不知道該找誰,必然導(dǎo)致許多質(zhì)量問題得不到解決。在數(shù)據(jù)治理項目的執(zhí)行過程中,企業(yè)應(yīng)建立良好的組織保障機制,推動項目的各項工作得到落實。
數(shù)據(jù)治理的重要性在于確保數(shù)據(jù)的質(zhì)量、安全、一致性和可信度,為智能化的數(shù)據(jù)分析與決策提供基礎(chǔ)性的高質(zhì)量數(shù)據(jù)保障,支持?jǐn)?shù)據(jù)消費場景深度和廣度的拓展,確保企業(yè)數(shù)據(jù)的價值得到最大化體現(xiàn),助力企業(yè)在競爭激烈的市場中立于不敗之地。同時,了解數(shù)據(jù)痛點問題及數(shù)據(jù)資產(chǎn)特征,有助于企業(yè)更好地了解和管理數(shù)據(jù)資產(chǎn),從而降低數(shù)據(jù)相關(guān)風(fēng)險、提高數(shù)據(jù)價值、增強競爭力,并在數(shù)據(jù)治理的實踐中不斷探索與創(chuàng)新,積極迎接數(shù)智化時代的挑戰(zhàn)和機遇。