背景信息

阿里云數(shù)據(jù)湖構(gòu)建產(chǎn)品（DLF）提供的統(tǒng)一元數(shù)據(jù)服務(wù)，通過完善各種引擎/表格式生態(tài)解決了數(shù)據(jù)湖場景下多引擎面臨的數(shù)據(jù)孤島和元數(shù)據(jù)一致性問題，實現(xiàn)了開源大數(shù)據(jù)引擎及數(shù)據(jù)湖格式元數(shù)據(jù)的統(tǒng)一視圖，避免了各引擎訪問湖上數(shù)據(jù)其中額外的ETL成本并降低了業(yè)務(wù)處理鏈路的延時。但同時另一個問題隨之產(chǎn)生即不同的引擎可能有不同的權(quán)限模型和用戶模型，這導(dǎo)致在不同的引擎上用戶和權(quán)限無法真正做到互通，如果能夠在統(tǒng)一元數(shù)據(jù)的基礎(chǔ)上實現(xiàn)集中式的權(quán)限校驗，一次權(quán)限配置多引擎生效，實現(xiàn)引擎級的權(quán)限互通，將極大的提高湖上數(shù)據(jù)訪問的安全性，同時將降低權(quán)限管理的復(fù)雜性。

實現(xiàn)數(shù)據(jù)湖統(tǒng)一權(quán)限服務(wù)方案的要點

因為不同的引擎/表格式在權(quán)限方案上/用戶模型上存在著差異，例如在用戶模型上EMR Hive/Spark 等開源引擎的用戶模型可能是 LDAP，但阿里云的其他產(chǎn)品如MaxCompute、Holo 等是阿里云賬號/RAM體系，又比如在權(quán)限方案上 EMR hive/Spark/Presto 等或沒有自己的安全體系或借助其他平臺實現(xiàn)、特別是一些開源體系的表格式 Hudi/iceberg/delta 等目前完全沒有權(quán)限控制，而在 Maxcompute/Holo 則有自己的一套權(quán)限控制體系，即使開源引擎都能夠進(jìn)行權(quán)限控制，但權(quán)限的數(shù)據(jù)、模型和權(quán)限校驗的行為也根本不可能做到一致，所以在統(tǒng)一的元數(shù)據(jù)視圖的基礎(chǔ)上，實現(xiàn)統(tǒng)一的權(quán)限服務(wù)，需要解決四個重要問題

• 不同引擎的用戶體系互通問題
• 實現(xiàn)不同引擎的不同的用戶體系能夠進(jìn)行互轉(zhuǎn)
• 不同引擎的權(quán)限體系互通問題
• 各引擎和格式使用同一套權(quán)限校驗體系
• 通過元數(shù)據(jù) API 訪問/引擎訪問，鑒權(quán)一致性的問題
• 元數(shù)據(jù) API 訪問也要使用同樣的鑒權(quán)體系
• 保持不同引擎能夠在現(xiàn)有使用方式上
• 在解決上述兩個問題的基礎(chǔ)上，能夠保持現(xiàn)有用戶使用方式、產(chǎn)生的元數(shù)據(jù)不變

數(shù)據(jù)湖構(gòu)建之統(tǒng)一權(quán)限服務(wù)方案介紹

數(shù)據(jù)湖構(gòu)建統(tǒng)一權(quán)限服務(wù)方案依托于數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)，是整個數(shù)據(jù)湖構(gòu)建基礎(chǔ)服務(wù)的一部分。整體方案一方面通過將不同引擎的用戶體系映射至同一套用戶體系來解決用戶識別問題，另一方面通過將數(shù)據(jù)湖統(tǒng)一權(quán)限校驗機制與開源體系的 EMR Hive/spark/Presto/Databricks 等引擎、數(shù)據(jù)湖格式 Hudi/Delta 等以及與 MaxCompute/Holo（進(jìn)行中）等引擎集成來解決不同引擎權(quán)限數(shù)據(jù)一致性和互通問題，從而開源引擎訪問湖上數(shù)據(jù)時有了統(tǒng)一的元數(shù)據(jù)視圖及權(quán)限校驗機制。

• 開源引擎/數(shù)據(jù)湖格式代理鑒權(quán)機制

數(shù)據(jù)湖構(gòu)建產(chǎn)品是采用類 Ranger Pugin 方案來支持引擎?zhèn)辱b權(quán)，其方式首先是通過將引擎訪問的賬號在RAM平臺授予 AliyunDLFFullAccess 權(quán)限同時將引擎賬號添加至 DLF 互信權(quán)限名單中（互信權(quán)限可通過 Setting API 添加），實現(xiàn)引擎與 DLF 元數(shù)據(jù)產(chǎn)品的互信，這樣當(dāng)各引擎接受到用戶的請求時，這些 Plugin 將攔截該請求并可在引擎?zhèn)劝l(fā)起該用戶的代理鑒權(quán)調(diào)用，同時在引擎?zhèn)葘⑦M(jìn)行用戶模型轉(zhuǎn)換，例如在數(shù)據(jù)湖構(gòu)建平臺上使用阿里云賬號/Ram子賬號機制，在引擎?zhèn)葘?LDAP 用戶與云賬號進(jìn)行映射（可采用 LDAP 賬號與 RAM 賬號同名映射方式簡化），鑒權(quán)請求在服務(wù)端鑒權(quán)之后，引擎將鑒權(quán)結(jié)果返回給用戶，此種模式下用戶需要具備元數(shù)據(jù)資源的訪問權(quán)限即可，權(quán)限獲取可以通過數(shù)據(jù)湖構(gòu)建產(chǎn)品-數(shù)據(jù)權(quán)限頁面進(jìn)行授權(quán)獲取。

引擎?zhèn)日w鑒權(quán)流程如下：

• DLF 元數(shù)據(jù)訪問鑒權(quán)機制

對于直接訪問 DLF 元數(shù)據(jù)的用戶將采用雙層鑒權(quán)模型，亦即用戶需要同時具備 DLF 元數(shù)據(jù) API 訪問權(quán)限（在 RAM 上配置）及元數(shù)據(jù)資源訪問權(quán)限。前者需要在 Ram平臺進(jìn)行授權(quán)（如下圖所示），后者跟引擎代理鑒權(quán)模式相同需要通過數(shù)據(jù)湖構(gòu)建產(chǎn)品-數(shù)據(jù)權(quán)限頁面進(jìn)行授權(quán)獲取。

在 Ram 訪問控制平臺上可選擇用戶添加權(quán)限，如果用戶只讀元數(shù)據(jù)可以授予 AliyunDLFReadOnlyAccess 權(quán)限。

元數(shù)據(jù)訪問整體鑒權(quán)流程如下：

數(shù)據(jù)湖構(gòu)建之統(tǒng)一權(quán)限服務(wù)實踐

• 前提條件
• 已開通數(shù)據(jù)湖構(gòu)建產(chǎn)品，目前統(tǒng)一權(quán)限服務(wù)已在所有數(shù)據(jù)湖構(gòu)建產(chǎn)品所在region上線。
• 已開通EMR 3.40/5.60及以上版本的集群，如已有其他低版本的EMR請?zhí)峤还温?lián)系阿里云工程師進(jìn)行咨詢解決。
• 已開啟數(shù)據(jù)湖權(quán)限服務(wù)端鑒權(quán)，可通過如下方式開通
• 需提交工單聯(lián)系阿里云工程師進(jìn)行咨詢解決
• 通過Settings API（調(diào)用 Settings API 需要 DLF Ram Api "dlf:UpdateCatalogSettings"及 DLF admin 角色的權(quán)限）
• 未來頁面將開放 Settings 配置給用戶自行配置

具體內(nèi)容及操作步驟

• 采用阿里云主賬號對阿里云Ram子賬號(也可對Ram角色)進(jìn)行admin/super_administrator 角色授權(quán)，以進(jìn)行分權(quán)管理。
• 對其他業(yè)務(wù)阿里云 Ram 子賬（Ram角色）在數(shù)據(jù)湖構(gòu)建平臺集中實施 database及 table 權(quán)限的管理
• 對其他業(yè)務(wù)阿里云 Ram 子賬（Ram 角色）通過角色在數(shù)據(jù)湖構(gòu)建平臺集中實施 database 及 table 權(quán)限的管理
• 在數(shù)據(jù)湖構(gòu)建平臺、EMR引擎中分別訪問有權(quán)限的表和沒有權(quán)限的表
• 數(shù)據(jù)湖構(gòu)建平臺提供豐富的權(quán)限 api 供應(yīng)用產(chǎn)品集成，用戶可以加入自己的權(quán)限申請、審批流程

1. 采用阿里云主賬號對阿里云 Ram 子賬號進(jìn)行admin/super_administrator 角色授權(quán)，以進(jìn)行分權(quán)管理。

導(dǎo)航至數(shù)據(jù)湖構(gòu)建-數(shù)據(jù)權(quán)限-角色頁面，點擊右側(cè)添加用戶按鈕，選擇待授權(quán)的 RAM 子賬號，點擊確定，進(jìn)行子賬號 admin 角色授權(quán)，如圖：

完成后，子賬號 test1 將擁有 admin 角色權(quán)限，test1 將從 admin 角色獲得所有資源的訪問和授權(quán)權(quán)限。后續(xù)可以通過 test1賬號進(jìn)行其他賬號權(quán)限的管理。

2.使用 test1 賬號登錄，對子賬號直接授權(quán)

導(dǎo)航至數(shù)據(jù)湖構(gòu)建-數(shù)據(jù)權(quán)限-數(shù)據(jù)授權(quán)頁面，點擊新增授權(quán)，對子賬號 data 授權(quán) db1 的 Describe、CreateTable 權(quán)限，并授予該 db1 下所有除 Drop 外的表權(quán)限，在授權(quán)頁面選擇 data 用戶并完成如下授權(quán)

完成后，data 將具備上述權(quán)限。

3.使用test1賬號登錄，創(chuàng)建角色，對角色授權(quán)，并將角色授予用戶

創(chuàng)建數(shù)據(jù)湖構(gòu)建角色test，并將該角色授予給子賬號 datamigrator，同時給角色test 授權(quán) db1 的 Describe 權(quán)限，并授予該 db1 下所有除 Select 外的表權(quán)限

此時各賬戶具備如下權(quán)限：

4.在數(shù)據(jù)湖平臺上進(jìn)行權(quán)限驗證

在數(shù)據(jù)湖構(gòu)建平臺上使用 data 子賬號訪問相關(guān)元數(shù)據(jù)進(jìn)行權(quán)限的驗證，例如創(chuàng)建表，刪除表，查詢表.

1) 可正常創(chuàng)建表 test_create_table_from_data

2) 可正常刪除自己創(chuàng)建的表 test_create_table_from_data

3) 刪除其他用戶創(chuàng)建的表 test_table，將報權(quán)限錯誤

4) 使用數(shù)據(jù)探索訪問另一個db下的表，將報權(quán)限錯誤

5）用戶可自行完成 datamigrator 權(quán)限的測試，此處不再過多演示。

5.在 EMR 集群進(jìn)行權(quán)限的驗證

1) 通過 Settings API（近期實現(xiàn)自動化），將EMR集群角色（可在 EMR 集群基礎(chǔ)信息頁面-ECS應(yīng)用角色部分找到），添加為互信賬號(修改之前通過 GetCatalogSettingsAPI 查看 Settings 內(nèi)容，避免誤修改):

{
  "Config": {
   "auth.super.principal": "acs:ram::[aliyunAccountId]:role/AliyunECSInstanceForEMRRole"
  }
}

2）在 EMR 集群上，選擇 DLF-Auth 組件并按下圖所示，啟用 hive/Presto/Spark 的鑒權(quán)

3）對鑒權(quán)進(jìn)行驗證

使用 data 用戶通過 beeline 訪問 Hiveserver 執(zhí)行元數(shù)據(jù)操作，用戶可自行進(jìn)行其他語句的測試

6.其他應(yīng)用及平臺與數(shù)據(jù)湖元數(shù)據(jù)/權(quán)限 API 集成

數(shù)據(jù)湖構(gòu)建平臺提供豐富的權(quán)限 API 供應(yīng)用產(chǎn)品集成，用戶可以加入自己的權(quán)限申請、審批流程權(quán)限 API 列表見鏈接， 用戶可選擇將元數(shù)據(jù) API 及權(quán)限 API 集成至自有權(quán)限審批平臺，以完成自己的業(yè)務(wù)訴求。

總結(jié)

目前權(quán)限能力陸續(xù)在生態(tài)上進(jìn)行集成，能夠滿足一部分場景需求，但還有一些局限，比如授權(quán)操作僅 admin 角色可進(jìn)行資源授權(quán)，基于此我們將在近期推出 Grantable 權(quán)限，屆時可以將資源的 Grant 權(quán)限授予給其他角色和用戶，進(jìn)一步實現(xiàn)權(quán)限分治，降低管理壓力。另外數(shù)據(jù)湖構(gòu)建產(chǎn)品未來將繼續(xù)在多引擎生態(tài)、數(shù)據(jù)安全上發(fā)力，讓數(shù)據(jù)湖構(gòu)建產(chǎn)品具備更完善的生態(tài)和企業(yè)級的特性！

原文鏈接：http://click.aliyun.com/m/1000346409/

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。