6月29日，阿里巴巴宣布成立專注企業(yè)數(shù)智服務的子公司瓴羊智能服務公司。Dataphin作為瓴羊的開發(fā)云核心產(chǎn)品之一，是阿里巴巴集團OneData數(shù)據(jù)治理方法論基于內部實踐的產(chǎn)品化輸出，致力于幫助各企業(yè)用中臺方法論治理企業(yè)級好數(shù)據(jù)，構建起質量可靠、消費便捷、生產(chǎn)安全經(jīng)濟的企業(yè)級數(shù)據(jù)中臺。
隨著各行業(yè)數(shù)字化戰(zhàn)略的開展落地，越來越多企業(yè)開始越發(fā)重視數(shù)據(jù)體系的構建與完善。Dataphin（智能數(shù)據(jù)建設與治理）支持在多種大數(shù)據(jù)架構之上構建數(shù)據(jù)中臺，具備一站式數(shù)據(jù)采、建、管、用全生命周期管理能力，顯著提升數(shù)據(jù)治理水平，在計算引擎利舊降本基礎上滿足企業(yè)多元化數(shù)智應用需求，為企業(yè)上云用數(shù)賦智夯實數(shù)字化能力底座。
1分鐘了解DataphinV3.5升級亮點
本次發(fā)布的V3.5版本中，Dataphin圍繞數(shù)據(jù)資產(chǎn)建設、數(shù)據(jù)資產(chǎn)治理、基礎平臺等三大功能板塊進行了完備性、安全行、研發(fā)效率、開放性、穩(wěn)定性、易用性、可交付性等優(yōu)化和升級。
基于最新版本的Dataphin產(chǎn)品能力，企業(yè)將在數(shù)據(jù)中臺建設過程中獲得更大的助力。如通過多平臺多引擎適配能力，以及高效的數(shù)據(jù)集成，完成一站式數(shù)據(jù)匯聚處理，降低中臺建設起步成本。
其次，在企業(yè)重點關注的數(shù)據(jù)治理領域，通過數(shù)據(jù)研發(fā)賦能及治理實踐產(chǎn)品化輸出，企業(yè)可以通過阿里方法論（OneData）指導數(shù)據(jù)研發(fā)與治理。
除此之外，此次版本升級讓Dataphin平臺易用性獲得了大幅提升，能夠加速企業(yè)數(shù)字能力建設，例如通過內置幫助文檔優(yōu)化新手使用體驗，智能運維診斷提升人員工作效能，同時支持客制自由化需求，與企業(yè)現(xiàn)有系統(tǒng)完成更佳融合。
在下一個版本中，我們將圍繞資產(chǎn)建設平臺的易用性及可交付性、資產(chǎn)治理平臺的完備性以及基礎平臺的穩(wěn)定性和開放性進行持續(xù)迭代，敬請期待！
10項能力升級，覆蓋多場景妙用
特性1：多租戶能力
應用場景：支持多個計算平臺的納管，充分利用已有資產(chǎn)，降低中臺建設起步成本
很多客戶在升級到數(shù)據(jù)中臺前，已經(jīng)開始了部分數(shù)據(jù)資產(chǎn)的建設，在不同的部門或業(yè)務中使用Hadoop集群或者星環(huán)TDH的集群用于離線數(shù)據(jù)研發(fā)。在升級到企業(yè)級的數(shù)據(jù)中臺后，若能利用原有集群的計算能力，逐步遷移到新的計算平臺，將更好的利用已有的資產(chǎn)，降低企業(yè)建設數(shù)據(jù)中臺的起步成本。
在新版本中，Dataphin將支持以MaxCompute或Hadoop（包括CDH5、CDH6、CDP、星環(huán)Inceptor等）為元倉，支持利用Dataphin的多租戶的能力，用不同的租戶納管不同的計算平臺，一套平臺統(tǒng)一數(shù)據(jù)研發(fā)平臺，統(tǒng)一研發(fā)體驗。
應用場景：支持租戶間數(shù)據(jù)共享和推送，靈活進行集團/子公司數(shù)據(jù)資產(chǎn)管控和沉淀
大型集團公司往往有公共資產(chǎn)建設及統(tǒng)一平臺的訴求，而旗下子公司有保留相對獨立的管控及數(shù)據(jù)資產(chǎn)管理的空間的訴求。利用Dataphin提供的多租戶的能力，集團和子公司分別使用不同的租戶，通過數(shù)據(jù)集成的能力共享數(shù)據(jù)到集團租戶，集團也可通過數(shù)據(jù)集成的能力將公共數(shù)據(jù)推送到子公司的租戶中。這樣的架構形式既能統(tǒng)一管理沉淀集團公共層數(shù)據(jù)，又能讓子公司保留相對的獨立，進行更加靈活的管控和研發(fā)。
特性2：湖倉一體
應用場景：通過MaxCompute + DLF 進行統(tǒng)一的元數(shù)據(jù)管理，更高效清晰管理企業(yè)數(shù)據(jù)資產(chǎn)
最近幾年，湖倉一體的解決方案逐漸出現(xiàn)在客戶的應用場景中。Dataphin也對這一場景進行了支持。通過數(shù)據(jù)倉庫MaxCompute和數(shù)據(jù)湖構建（DLF）將綁定映射了DLF元數(shù)據(jù)庫的MaxCompute的外部項目注冊到Dataphin的項目計算引擎，Dataphin可將數(shù)據(jù)湖中的元數(shù)據(jù)讀取到Dataphin中，進行統(tǒng)一的元數(shù)據(jù)管理。
基于MaxCompute能力的湖倉一體的方案支持以下的產(chǎn)品特性：
基礎離線研發(fā)：基于MaxCompute SQL可對數(shù)據(jù)湖內的數(shù)據(jù)進行加工處理
統(tǒng)一元數(shù)據(jù)管理：可查詢檢索湖倉中的表、字段，并根據(jù)任務中自動血緣解析進行溯源追蹤
資產(chǎn)治理：可對湖倉內的數(shù)據(jù)進行數(shù)據(jù)質量稽核校驗，并可支持安全識別及脫敏
通過以上產(chǎn)品能力，企業(yè)在數(shù)據(jù)入湖、入倉之后，能夠對海量數(shù)據(jù)進行存儲和加工，幫助企業(yè)完成更清晰易用的數(shù)據(jù)資產(chǎn)管理，高效支撐后續(xù)的數(shù)據(jù)調取、數(shù)據(jù)處理、數(shù)據(jù)消費需求，快速應對快速變化的數(shù)字化應用挑戰(zhàn)。
特性3：建模研發(fā)優(yōu)化
應用場景：派生指標基于最大分區(qū)的計算 ，可節(jié)約存儲資源，保障數(shù)據(jù)強一致性
維度邏輯表, 累積快照事實表, 周期快照事實表的每一個分區(qū)都是截止分區(qū)時間的全量數(shù)據(jù), 最后一個分區(qū)完全覆蓋前面所有分區(qū)的數(shù)據(jù). 建模原來的設計中, 指標生產(chǎn)讀取的是指標時間對應的邏輯表分區(qū), 為了滿足補數(shù)據(jù)的需要, 必須保留邏輯表很長一段時間的歷史分區(qū), 帶來了存儲的浪費. 3.5 版本支持在使用最新分區(qū)補任意過去時間的數(shù)據(jù), 且默認使用這種設置.
特性4：數(shù)據(jù)標準
應用場景：為數(shù)據(jù)標準建設提供統(tǒng)一的產(chǎn)品化能力，讓數(shù)據(jù)流通通暢無歧義
數(shù)據(jù)標準是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務規(guī)則，通常從業(yè)務、技術、管理三方面進行定義，使組織內外部使用和交換的數(shù)據(jù)是一致且準確的。然而，數(shù)據(jù)標準需求缺乏統(tǒng)一管理、不同系統(tǒng)間標準制定依據(jù)各異、資產(chǎn)建設缺乏和標準的關聯(lián)，使得數(shù)據(jù)標準的建設和應用都面臨很大困難。
Dataphin全新上線的數(shù)據(jù)標準功能，旨在為數(shù)據(jù)標準建設提供統(tǒng)一的產(chǎn)品化能力，并通過上線審批等環(huán)節(jié)加強標準質量的審核。V3.5版本中，核心支持了以下能力;
標準目錄管理：支持最多五級目錄樹管理，可以按照業(yè)務組織結構對標準進行分級管理
標準集管理：標準集是一系列規(guī)范相似或一致、業(yè)務含義相關的一組標準的合集。標準集不定義標準，而是基于標準集屬性，定義歸屬這個標準集都應該統(tǒng)一遵循的規(guī)范和約束。數(shù)據(jù)標準屬性繼承歸屬的標準集屬性。
數(shù)據(jù)標準管理：支持數(shù)據(jù)標準創(chuàng)建、審批、發(fā)布上線、修訂、下線等
后續(xù)，Dataphin將進一步拓展標準和質量監(jiān)控規(guī)則的關聯(lián)能力以支持研發(fā)鏈路的落標稽核能力，以及參考數(shù)據(jù)管理等能力。
特性5：權限審計
應用場景：權限現(xiàn)狀及變動隨時掌握，實現(xiàn)敏感數(shù)據(jù)精細化合規(guī)管理
數(shù)據(jù)資產(chǎn)化已是大勢所趨，各行各業(yè)在大力拓展數(shù)據(jù)儲備的同時，對于敏感數(shù)據(jù)權限的管理也提出了更高的要求：敏感表授權給了哪些用戶？轉崗用戶擁有哪些敏感權限需要回收？不合理的高危權限究竟是誰授權和審批的？如何應對合規(guī)性要求？
DataphinV3.5新增權限審計模塊，能夠幫助企業(yè)更加直觀高效地對各類型敏感數(shù)據(jù)進行精細化管理，實現(xiàn)數(shù)據(jù)權限千人千面，保障數(shù)據(jù)被合適的對象消費：
支持對當前系統(tǒng)的權限詳情（表授權給哪些用戶，某個用戶有哪些表權限）、權限操作（申請、授權等）進行詳情審計，詳細了解權限系統(tǒng)的現(xiàn)狀和變動。支持對審計詳情進行下載存檔，用于程序化檢查或者合規(guī)檢查。
特性6：內置幫助文檔
應用場景：縮短產(chǎn)品使用適應周期，幫助新手用戶快速上手開展數(shù)據(jù)建設工作
Dataphin功能眾多，使用鏈路復雜，對于新手用戶來說，通常需要參照用戶指南進行操作。V3.5版本，新增內置幫助文檔，可以在操作頁面一鍵呼出，隨時查閱功能說明及操作引導，同時支持自定義調整窗口位置和大小，大大增強了易用性，減少產(chǎn)品版本和用戶指南版本不一致、查閱困難的問題。
特性7：查詢加速
應用場景：即席查詢提升至秒級，不卡頓無需等待，讓研發(fā)體驗更順滑
Dataphin 3.5 針對MaxCompute引擎的即席查詢, 默認啟用了查詢加速MCQA（MaxCompute Query Acceleration）功能. MCQA自動識別查詢作業(yè)大小, 自動分配小作業(yè)到獨立資源組, 將原來分鐘級的查詢優(yōu)化提升到秒級. 該功能為默認設置, 無須用戶介入開啟。
特性8：運行診斷
應用場景：自動化分析定位問題，提升運維人員修復效率，降低人工運維成本
任務為什么還未開始運行？需要處理的最上游節(jié)點是那個？為何某個任務被限流、命中了哪些限流規(guī)則？長時間等待調度資源，是分配不合理還是可用余量不足？...對于運維人員來說，常常被這些問題困擾，人工排查難度大、準略率較低，影響了任務恢復進度，還可能阻礙下游業(yè)務數(shù)據(jù)產(chǎn)出。
V3.5新增的離線任務運行診斷能力，支持：
自動化問題排查：按照上游依賴、定時時間、限流規(guī)則、調度資源、實例運行5個流程，對實例運行結果進行自動化分析，幫助用戶快速識別并定位問題
智能診斷建議：提示問題產(chǎn)生的可能原因和修復建議，降低運維人員的人工分析成本，提升問題修復效率
特性9：調度資源優(yōu)化
應用場景：提升SQL任務在調度系統(tǒng)的吞吐量，避免因SQL任務阻塞影響業(yè)務進程
任務只有在調度資源充足的情況下才會被下發(fā)到計算引擎。對于SQL任務來說，主要消耗計算資源而非調度資源，因此調度資源通常不會成為SQL任務運行的瓶頸。
然而歷史版本中，調度系統(tǒng)未針對SQL任務預留單獨的調度資源組，從而導致SQL任務常常因為其他消耗資源多、運行時間久的任務阻塞下發(fā)，影響業(yè)務進程。V3.5版本中，Dataphin針對SQL任務預留了單獨的調度資源組，提升了資源分配的合理性
特性10：審批系統(tǒng)接入
應用場景：通過接入企業(yè)統(tǒng)一的審批中心，提升審批效率及易用性
Dataphin內置了簡單的審批系統(tǒng)，可支持在Dataphin內部進行如權限申請、業(yè)務上線等審批的申請、審核和流轉。也有部分的客戶希望將Dataphin的審批任務集成在已有的審批系統(tǒng)中，以及根據(jù)組織關系及企業(yè)內部的流程規(guī)范進行更加自由及客制化的審批規(guī)則定義，如對于低敏感等級的數(shù)據(jù)對某些項目進行開放，無需審批，而對于敏感數(shù)據(jù)的使用，則需要配置三級審批，降低安全合規(guī)的風險。
DataphinV3.5版本支持了對接外部審批系統(tǒng)的功能，客戶可經(jīng)過簡單的代碼及配置，即可將Dataphin的審批任務發(fā)送到外部審批系統(tǒng)中，完成審批后，將審批結果同步給Datpahin，進行后續(xù)的處理從而大幅提升審批工作流的效率和易用性。
關于瓴羊：
瓴羊是一家專注企業(yè)數(shù)智服務的DaaS公司，由阿里巴巴集團數(shù)據(jù)中臺、業(yè)務中臺、客服系統(tǒng)、供應鏈服務等多個部門融合升級而來，沉淀了阿里十年來數(shù)字化實踐的經(jīng)驗與能力，是“阿里巴巴最佳實踐”完整、系統(tǒng)、產(chǎn)品化地全面對外輸出。
瓴羊擁有著深度的行業(yè)洞見，專業(yè)的數(shù)字化團隊就企業(yè)數(shù)字化轉型中的關鍵問題提供咨詢服務，針對數(shù)據(jù)治理和分析、營銷、銷售、服務、供應鏈等企業(yè)核心經(jīng)營領域，推出了分析云、營銷云、產(chǎn)銷云、客服云、開發(fā)云等智能產(chǎn)品矩陣。通過持續(xù)的陪跑服務，打造客戶成功保障體系，幫助企業(yè)實現(xiàn)多云多平臺的數(shù)字化增長。
瓴羊致力于幫助不斷求“新”的企業(yè)實現(xiàn)全方位的數(shù)字化，至今已成功服務了LVMH、現(xiàn)代斗山、紅星美凱龍、小鵬汽車、漢高、老板電器、麥當勞、一汽奧迪、海底撈、泡泡瑪特等企業(yè)的數(shù)字化建設項目，幫助客戶在數(shù)據(jù)資產(chǎn)、會員價值、貨品效率、客戶體驗等方面帶來突破性增長。
評論前必須登錄！
注冊