背景信息

阿里云數(shù)據(jù)湖構(gòu)建產(chǎn)品（DLF）提供的統(tǒng)一元數(shù)據(jù)服務(wù)，通過(guò)完善各種引擎/表格式生態(tài)解決了數(shù)據(jù)湖場(chǎng)景下多引擎面臨的數(shù)據(jù)孤島和元數(shù)據(jù)一致性問(wèn)題，實(shí)現(xiàn)了開源大數(shù)據(jù)引擎及數(shù)據(jù)湖格式元數(shù)據(jù)的統(tǒng)一視圖，避免了各引擎訪問(wèn)湖上數(shù)據(jù)其中額外的ETL成本并降低了業(yè)務(wù)處理鏈路的延時(shí)。但同時(shí)另一個(gè)問(wèn)題隨之產(chǎn)生即不同的引擎可能有不同的權(quán)限模型和用戶模型，這導(dǎo)致在不同的引擎上用戶和權(quán)限無(wú)法真正做到互通，如果能夠在統(tǒng)一元數(shù)據(jù)的基礎(chǔ)上實(shí)現(xiàn)集中式的權(quán)限校驗(yàn)，一次權(quán)限配置多引擎生效，實(shí)現(xiàn)引擎級(jí)的權(quán)限互通，將極大的提高湖上數(shù)據(jù)訪問(wèn)的安全性，同時(shí)將降低權(quán)限管理的復(fù)雜性。

實(shí)現(xiàn)數(shù)據(jù)湖統(tǒng)一權(quán)限服務(wù)方案的要點(diǎn)

因?yàn)椴煌囊?表格式在權(quán)限方案上/用戶模型上存在著差異，例如在用戶模型上EMR Hive/Spark 等開源引擎的用戶模型可能是 LDAP，但阿里云的其他產(chǎn)品如MaxCompute、Holo 等是阿里云賬號(hào)/RAM體系，又比如在權(quán)限方案上 EMR hive/Spark/Presto 等或沒(méi)有自己的安全體系或借助其他平臺(tái)實(shí)現(xiàn)、特別是一些開源體系的表格式 Hudi/iceberg/delta 等目前完全沒(méi)有權(quán)限控制，而在 Maxcompute/Holo 則有自己的一套權(quán)限控制體系，即使開源引擎都能夠進(jìn)行權(quán)限控制，但權(quán)限的數(shù)據(jù)、模型和權(quán)限校驗(yàn)的行為也根本不可能做到一致，所以在統(tǒng)一的元數(shù)據(jù)視圖的基礎(chǔ)上，實(shí)現(xiàn)統(tǒng)一的權(quán)限服務(wù)，需要解決四個(gè)重要問(wèn)題

• 不同引擎的用戶體系互通問(wèn)題
• 實(shí)現(xiàn)不同引擎的不同的用戶體系能夠進(jìn)行互轉(zhuǎn)
• 不同引擎的權(quán)限體系互通問(wèn)題
• 各引擎和格式使用同一套權(quán)限校驗(yàn)體系
• 通過(guò)元數(shù)據(jù) API 訪問(wèn)/引擎訪問(wèn)，鑒權(quán)一致性的問(wèn)題
• 元數(shù)據(jù) API 訪問(wèn)也要使用同樣的鑒權(quán)體系
• 保持不同引擎能夠在現(xiàn)有使用方式上
• 在解決上述兩個(gè)問(wèn)題的基礎(chǔ)上，能夠保持現(xiàn)有用戶使用方式、產(chǎn)生的元數(shù)據(jù)不變

數(shù)據(jù)湖構(gòu)建之統(tǒng)一權(quán)限服務(wù)方案介紹

數(shù)據(jù)湖構(gòu)建統(tǒng)一權(quán)限服務(wù)方案依托于數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)，是整個(gè)數(shù)據(jù)湖構(gòu)建基礎(chǔ)服務(wù)的一部分。整體方案一方面通過(guò)將不同引擎的用戶體系映射至同一套用戶體系來(lái)解決用戶識(shí)別問(wèn)題，另一方面通過(guò)將數(shù)據(jù)湖統(tǒng)一權(quán)限校驗(yàn)機(jī)制與開源體系的 EMR Hive/spark/Presto/Databricks 等引擎、數(shù)據(jù)湖格式 Hudi/Delta 等以及與 MaxCompute/Holo（進(jìn)行中）等引擎集成來(lái)解決不同引擎權(quán)限數(shù)據(jù)一致性和互通問(wèn)題，從而開源引擎訪問(wèn)湖上數(shù)據(jù)時(shí)有了統(tǒng)一的元數(shù)據(jù)視圖及權(quán)限校驗(yàn)機(jī)制。

• 開源引擎/數(shù)據(jù)湖格式代理鑒權(quán)機(jī)制

數(shù)據(jù)湖構(gòu)建產(chǎn)品是采用類 Ranger Pugin 方案來(lái)支持引擎?zhèn)辱b權(quán)，其方式首先是通過(guò)將引擎訪問(wèn)的賬號(hào)在RAM平臺(tái)授予 AliyunDLFFullAccess 權(quán)限同時(shí)將引擎賬號(hào)添加至 DLF 互信權(quán)限名單中（互信權(quán)限可通過(guò) Setting API 添加），實(shí)現(xiàn)引擎與 DLF 元數(shù)據(jù)產(chǎn)品的互信，這樣當(dāng)各引擎接受到用戶的請(qǐng)求時(shí)，這些 Plugin 將攔截該請(qǐng)求并可在引擎?zhèn)劝l(fā)起該用戶的代理鑒權(quán)調(diào)用，同時(shí)在引擎?zhèn)葘⑦M(jìn)行用戶模型轉(zhuǎn)換，例如在數(shù)據(jù)湖構(gòu)建平臺(tái)上使用阿里云賬號(hào)/Ram子賬號(hào)機(jī)制，在引擎?zhèn)葘?LDAP 用戶與云賬號(hào)進(jìn)行映射（可采用 LDAP 賬號(hào)與 RAM 賬號(hào)同名映射方式簡(jiǎn)化），鑒權(quán)請(qǐng)求在服務(wù)端鑒權(quán)之后，引擎將鑒權(quán)結(jié)果返回給用戶，此種模式下用戶需要具備元數(shù)據(jù)資源的訪問(wèn)權(quán)限即可，權(quán)限獲取可以通過(guò)數(shù)據(jù)湖構(gòu)建產(chǎn)品-數(shù)據(jù)權(quán)限頁(yè)面進(jìn)行授權(quán)獲取。

引擎?zhèn)日w鑒權(quán)流程如下：

• DLF 元數(shù)據(jù)訪問(wèn)鑒權(quán)機(jī)制

對(duì)于直接訪問(wèn) DLF 元數(shù)據(jù)的用戶將采用雙層鑒權(quán)模型，亦即用戶需要同時(shí)具備 DLF 元數(shù)據(jù) API 訪問(wèn)權(quán)限（在 RAM 上配置）及元數(shù)據(jù)資源訪問(wèn)權(quán)限。前者需要在 Ram平臺(tái)進(jìn)行授權(quán)（如下圖所示），后者跟引擎代理鑒權(quán)模式相同需要通過(guò)數(shù)據(jù)湖構(gòu)建產(chǎn)品-數(shù)據(jù)權(quán)限頁(yè)面進(jìn)行授權(quán)獲取。

在 Ram 訪問(wèn)控制平臺(tái)上可選擇用戶添加權(quán)限，如果用戶只讀元數(shù)據(jù)可以授予 AliyunDLFReadOnlyAccess 權(quán)限。

元數(shù)據(jù)訪問(wèn)整體鑒權(quán)流程如下：

數(shù)據(jù)湖構(gòu)建之統(tǒng)一權(quán)限服務(wù)實(shí)踐

• 前提條件
• 已開通數(shù)據(jù)湖構(gòu)建產(chǎn)品，目前統(tǒng)一權(quán)限服務(wù)已在所有數(shù)據(jù)湖構(gòu)建產(chǎn)品所在region上線。
• 已開通EMR 3.40/5.60及以上版本的集群，如已有其他低版本的EMR請(qǐng)?zhí)峤还温?lián)系阿里云工程師進(jìn)行咨詢解決。
• 已開啟數(shù)據(jù)湖權(quán)限服務(wù)端鑒權(quán)，可通過(guò)如下方式開通
• 需提交工單聯(lián)系阿里云工程師進(jìn)行咨詢解決
• 通過(guò)Settings API（調(diào)用 Settings API 需要 DLF Ram Api "dlf:UpdateCatalogSettings"及 DLF admin 角色的權(quán)限）
• 未來(lái)頁(yè)面將開放 Settings 配置給用戶自行配置

具體內(nèi)容及操作步驟

• 采用阿里云主賬號(hào)對(duì)阿里云Ram子賬號(hào)(也可對(duì)Ram角色)進(jìn)行admin/super_administrator 角色授權(quán)，以進(jìn)行分權(quán)管理。
• 對(duì)其他業(yè)務(wù)阿里云 Ram 子賬（Ram角色）在數(shù)據(jù)湖構(gòu)建平臺(tái)集中實(shí)施 database及 table 權(quán)限的管理
• 對(duì)其他業(yè)務(wù)阿里云 Ram 子賬（Ram 角色）通過(guò)角色在數(shù)據(jù)湖構(gòu)建平臺(tái)集中實(shí)施 database 及 table 權(quán)限的管理
• 在數(shù)據(jù)湖構(gòu)建平臺(tái)、EMR引擎中分別訪問(wèn)有權(quán)限的表和沒(méi)有權(quán)限的表
• 數(shù)據(jù)湖構(gòu)建平臺(tái)提供豐富的權(quán)限 api 供應(yīng)用產(chǎn)品集成，用戶可以加入自己的權(quán)限申請(qǐng)、審批流程

1. 采用阿里云主賬號(hào)對(duì)阿里云 Ram 子賬號(hào)進(jìn)行admin/super_administrator 角色授權(quán)，以進(jìn)行分權(quán)管理。

導(dǎo)航至數(shù)據(jù)湖構(gòu)建-數(shù)據(jù)權(quán)限-角色頁(yè)面，點(diǎn)擊右側(cè)添加用戶按鈕，選擇待授權(quán)的 RAM 子賬號(hào)，點(diǎn)擊確定，進(jìn)行子賬號(hào) admin 角色授權(quán)，如圖：

完成后，子賬號(hào) test1 將擁有 admin 角色權(quán)限，test1 將從 admin 角色獲得所有資源的訪問(wèn)和授權(quán)權(quán)限。后續(xù)可以通過(guò) test1賬號(hào)進(jìn)行其他賬號(hào)權(quán)限的管理。

2.使用 test1 賬號(hào)登錄，對(duì)子賬號(hào)直接授權(quán)

導(dǎo)航至數(shù)據(jù)湖構(gòu)建-數(shù)據(jù)權(quán)限-數(shù)據(jù)授權(quán)頁(yè)面，點(diǎn)擊新增授權(quán)，對(duì)子賬號(hào) data 授權(quán) db1 的 Describe、CreateTable 權(quán)限，并授予該 db1 下所有除 Drop 外的表權(quán)限，在授權(quán)頁(yè)面選擇 data 用戶并完成如下授權(quán)

完成后，data 將具備上述權(quán)限。

3.使用test1賬號(hào)登錄，創(chuàng)建角色，對(duì)角色授權(quán)，并將角色授予用戶

創(chuàng)建數(shù)據(jù)湖構(gòu)建角色test，并將該角色授予給子賬號(hào) datamigrator，同時(shí)給角色test 授權(quán) db1 的 Describe 權(quán)限，并授予該 db1 下所有除 Select 外的表權(quán)限

此時(shí)各賬戶具備如下權(quán)限：

4.在數(shù)據(jù)湖平臺(tái)上進(jìn)行權(quán)限驗(yàn)證

在數(shù)據(jù)湖構(gòu)建平臺(tái)上使用 data 子賬號(hào)訪問(wèn)相關(guān)元數(shù)據(jù)進(jìn)行權(quán)限的驗(yàn)證，例如創(chuàng)建表，刪除表，查詢表.

1) 可正常創(chuàng)建表 test_create_table_from_data

2) 可正常刪除自己創(chuàng)建的表 test_create_table_from_data

3) 刪除其他用戶創(chuàng)建的表 test_table，將報(bào)權(quán)限錯(cuò)誤

4) 使用數(shù)據(jù)探索訪問(wèn)另一個(gè)db下的表，將報(bào)權(quán)限錯(cuò)誤

5）用戶可自行完成 datamigrator 權(quán)限的測(cè)試，此處不再過(guò)多演示。

5.在 EMR 集群進(jìn)行權(quán)限的驗(yàn)證

1) 通過(guò) Settings API（近期實(shí)現(xiàn)自動(dòng)化），將EMR集群角色（可在 EMR 集群基礎(chǔ)信息頁(yè)面-ECS應(yīng)用角色部分找到），添加為互信賬號(hào)(修改之前通過(guò) GetCatalogSettingsAPI 查看 Settings 內(nèi)容，避免誤修改):

{
  "Config": {
   "auth.super.principal": "acs:ram::[aliyunAccountId]:role/AliyunECSInstanceForEMRRole"
  }
}

2）在 EMR 集群上，選擇 DLF-Auth 組件并按下圖所示，啟用 hive/Presto/Spark 的鑒權(quán)

3）對(duì)鑒權(quán)進(jìn)行驗(yàn)證

使用 data 用戶通過(guò) beeline 訪問(wèn) Hiveserver 執(zhí)行元數(shù)據(jù)操作，用戶可自行進(jìn)行其他語(yǔ)句的測(cè)試

6.其他應(yīng)用及平臺(tái)與數(shù)據(jù)湖元數(shù)據(jù)/權(quán)限 API 集成

數(shù)據(jù)湖構(gòu)建平臺(tái)提供豐富的權(quán)限 API 供應(yīng)用產(chǎn)品集成，用戶可以加入自己的權(quán)限申請(qǐng)、審批流程權(quán)限 API 列表見鏈接， 用戶可選擇將元數(shù)據(jù) API 及權(quán)限 API 集成至自有權(quán)限審批平臺(tái)，以完成自己的業(yè)務(wù)訴求。

總結(jié)

目前權(quán)限能力陸續(xù)在生態(tài)上進(jìn)行集成，能夠滿足一部分場(chǎng)景需求，但還有一些局限，比如授權(quán)操作僅 admin 角色可進(jìn)行資源授權(quán)，基于此我們將在近期推出 Grantable 權(quán)限，屆時(shí)可以將資源的 Grant 權(quán)限授予給其他角色和用戶，進(jìn)一步實(shí)現(xiàn)權(quán)限分治，降低管理壓力。另外數(shù)據(jù)湖構(gòu)建產(chǎn)品未來(lái)將繼續(xù)在多引擎生態(tài)、數(shù)據(jù)安全上發(fā)力，讓數(shù)據(jù)湖構(gòu)建產(chǎn)品具備更完善的生態(tài)和企業(yè)級(jí)的特性！

原文鏈接：http://click.aliyun.com/m/1000346409/

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。