阿里云數(shù)據(jù)湖構(gòu)建產(chǎn)品（DLF）提供的統(tǒng)一元數(shù)據(jù)服務(wù)，通過完善各種引擎/表格式生態(tài)解決了數(shù)據(jù)湖場景下多引擎面臨的數(shù)據(jù)孤島和元數(shù)據(jù)一致性問題，實(shí)現(xiàn)了開源大數(shù)據(jù)引擎及數(shù)據(jù)湖格式元數(shù)據(jù)的統(tǒng)一視圖，避免了各引擎訪問湖上數(shù)據(jù)其中額外的ETL成本并降低了業(yè)務(wù)處理鏈路的延時(shí)。但同時(shí)另一個(gè)問題隨之產(chǎn)生即不同的引擎可能有不同的權(quán)限模型和用戶模型，這導(dǎo)致在不同的引擎上用戶和權(quán)限無法真正做到互通，如果能夠在統(tǒng)一元數(shù)據(jù)的基礎(chǔ)上實(shí)現(xiàn)集中式的權(quán)限校驗(yàn)，一次權(quán)限配置多引擎生效，實(shí)現(xiàn)引擎級(jí)的權(quán)限互通，將極大的提高湖上數(shù)據(jù)訪問的安全性，同時(shí)將降低權(quán)限管理的復(fù)雜性。

實(shí)現(xiàn)數(shù)據(jù)湖統(tǒng)一權(quán)限服務(wù)方案的要點(diǎn)

因?yàn)椴煌囊?表格式在權(quán)限方案上/用戶模型上存在著差異，例如在用戶模型上EMR Hive/Spark 等開源引擎的用戶模型可能是 LDAP，但阿里云的其他產(chǎn)品如MaxCompute、Holo 等是阿里云賬號(hào)/RAM體系，又比如在權(quán)限方案上 EMR hive/Spark/Presto 等或沒有自己的安全體系或借助其他平臺(tái)實(shí)現(xiàn)、特別是一些開源體系的表格式 Hudi/iceberg/delta 等目前完全沒有權(quán)限控制，而在 Maxcompute/Holo 則有自己的一套權(quán)限控制體系，即使開源引擎都能夠進(jìn)行權(quán)限控制，但權(quán)限的數(shù)據(jù)、模型和權(quán)限校驗(yàn)的行為也根本不可能做到一致，所以在統(tǒng)一的元數(shù)據(jù)視圖的基礎(chǔ)上，實(shí)現(xiàn)統(tǒng)一的權(quán)限服務(wù)，需要解決四個(gè)重要問題

• 不同引擎的用戶體系互通問題
• 實(shí)現(xiàn)不同引擎的不同的用戶體系能夠進(jìn)行互轉(zhuǎn)
• 不同引擎的權(quán)限體系互通問題
• 各引擎和格式使用同一套權(quán)限校驗(yàn)體系
• 通過元數(shù)據(jù) API 訪問/引擎訪問，鑒權(quán)一致性的問題
• 元數(shù)據(jù) API 訪問也要使用同樣的鑒權(quán)體系
• 保持不同引擎能夠在現(xiàn)有使用方式上
• 在解決上述兩個(gè)問題的基礎(chǔ)上，能夠保持現(xiàn)有用戶使用方式、產(chǎn)生的元數(shù)據(jù)不變

數(shù)據(jù)湖構(gòu)建之統(tǒng)一權(quán)限服務(wù)方案介紹

數(shù)據(jù)湖構(gòu)建統(tǒng)一權(quán)限服務(wù)方案依托于數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)，是整個(gè)數(shù)據(jù)湖構(gòu)建基礎(chǔ)服務(wù)的一部分。整體方案一方面通過將不同引擎的用戶體系映射至同一套用戶體系來解決用戶識(shí)別問題，另一方面通過將數(shù)據(jù)湖統(tǒng)一權(quán)限校驗(yàn)機(jī)制與開源體系的 EMR Hive/spark/Presto/Databricks 等引擎、數(shù)據(jù)湖格式 Hudi/Delta 等以及與 MaxCompute/Holo（進(jìn)行中）等引擎集成來解決不同引擎權(quán)限數(shù)據(jù)一致性和互通問題，從而開源引擎訪問湖上數(shù)據(jù)時(shí)有了統(tǒng)一的元數(shù)據(jù)視圖及權(quán)限校驗(yàn)機(jī)制。

• 開源引擎/數(shù)據(jù)湖格式代理鑒權(quán)機(jī)制

數(shù)據(jù)湖構(gòu)建產(chǎn)品是采用類 Ranger Pugin 方案來支持引擎?zhèn)辱b權(quán)，其方式首先是通過將引擎訪問的賬號(hào)在RAM平臺(tái)授予 AliyunDLFFullAccess 權(quán)限同時(shí)將引擎賬號(hào)添加至 DLF 互信權(quán)限名單中（互信權(quán)限可通過 Setting API 添加），實(shí)現(xiàn)引擎與 DLF 元數(shù)據(jù)產(chǎn)品的互信，這樣當(dāng)各引擎接受到用戶的請求時(shí)，這些 Plugin 將攔截該請求并可在引擎?zhèn)劝l(fā)起該用戶的代理鑒權(quán)調(diào)用，同時(shí)在引擎?zhèn)葘⑦M(jìn)行用戶模型轉(zhuǎn)換，例如在數(shù)據(jù)湖構(gòu)建平臺(tái)上使用阿里云賬號(hào)/Ram子賬號(hào)機(jī)制，在引擎?zhèn)葘?LDAP 用戶與云賬號(hào)進(jìn)行映射（可采用 LDAP 賬號(hào)與 RAM 賬號(hào)同名映射方式簡化），鑒權(quán)請求在服務(wù)端鑒權(quán)之后，引擎將鑒權(quán)結(jié)果返回給用戶，此種模式下用戶需要具備元數(shù)據(jù)資源的訪問權(quán)限即可，權(quán)限獲取可以通過數(shù)據(jù)湖構(gòu)建產(chǎn)品-數(shù)據(jù)權(quán)限頁面進(jìn)行授權(quán)獲取。

引擎?zhèn)日w鑒權(quán)流程如下：

• DLF 元數(shù)據(jù)訪問鑒權(quán)機(jī)制

對于直接訪問 DLF 元數(shù)據(jù)的用戶將采用雙層鑒權(quán)模型，亦即用戶需要同時(shí)具備 DLF 元數(shù)據(jù) API 訪問權(quán)限（在 RAM 上配置）及元數(shù)據(jù)資源訪問權(quán)限。前者需要在 Ram平臺(tái)進(jìn)行授權(quán)（如下圖所示），后者跟引擎代理鑒權(quán)模式相同需要通過數(shù)據(jù)湖構(gòu)建產(chǎn)品-數(shù)據(jù)權(quán)限頁面進(jìn)行授權(quán)獲取。

在 Ram 訪問控制平臺(tái)上可選擇用戶添加權(quán)限，如果用戶只讀元數(shù)據(jù)可以授予 AliyunDLFReadOnlyAccess 權(quán)限。

元數(shù)據(jù)訪問整體鑒權(quán)流程如下：

數(shù)據(jù)湖構(gòu)建之統(tǒng)一權(quán)限服務(wù)實(shí)踐

• 前提條件
• 已開通數(shù)據(jù)湖構(gòu)建產(chǎn)品，目前統(tǒng)一權(quán)限服務(wù)已在所有數(shù)據(jù)湖構(gòu)建產(chǎn)品所在region上線。
• 已開通EMR 3.40/5.60及以上版本的集群，如已有其他低版本的EMR請?zhí)峤还温?lián)系阿里云工程師進(jìn)行咨詢解決。
• 已開啟數(shù)據(jù)湖權(quán)限服務(wù)端鑒權(quán)，可通過如下方式開通
• 需提交工單聯(lián)系阿里云工程師進(jìn)行咨詢解決
• 通過Settings API（調(diào)用 Settings API 需要 DLF Ram Api "dlf:UpdateCatalogSettings"及 DLF admin 角色的權(quán)限）
• 未來頁面將開放 Settings 配置給用戶自行配置

具體內(nèi)容及操作步驟

• 采用阿里云主賬號(hào)對阿里云Ram子賬號(hào)(也可對Ram角色)進(jìn)行admin/super_administrator 角色授權(quán)，以進(jìn)行分權(quán)管理。
• 對其他業(yè)務(wù)阿里云 Ram 子賬（Ram角色）在數(shù)據(jù)湖構(gòu)建平臺(tái)集中實(shí)施 database及 table 權(quán)限的管理
• 對其他業(yè)務(wù)阿里云 Ram 子賬（Ram 角色）通過角色在數(shù)據(jù)湖構(gòu)建平臺(tái)集中實(shí)施 database 及 table 權(quán)限的管理
• 在數(shù)據(jù)湖構(gòu)建平臺(tái)、EMR引擎中分別訪問有權(quán)限的表和沒有權(quán)限的表
• 數(shù)據(jù)湖構(gòu)建平臺(tái)提供豐富的權(quán)限 api 供應(yīng)用產(chǎn)品集成，用戶可以加入自己的權(quán)限申請、審批流程

1. 采用阿里云主賬號(hào)對阿里云 Ram 子賬號(hào)進(jìn)行admin/super_administrator 角色授權(quán)，以進(jìn)行分權(quán)管理。

導(dǎo)航至數(shù)據(jù)湖構(gòu)建-數(shù)據(jù)權(quán)限-角色頁面，點(diǎn)擊右側(cè)添加用戶按鈕，選擇待授權(quán)的 RAM 子賬號(hào)，點(diǎn)擊確定，進(jìn)行子賬號(hào) admin 角色授權(quán)，如圖：

完成后，子賬號(hào) test1 將擁有 admin 角色權(quán)限，test1 將從 admin 角色獲得所有資源的訪問和授權(quán)權(quán)限。后續(xù)可以通過 test1賬號(hào)進(jìn)行其他賬號(hào)權(quán)限的管理。

2.使用 test1 賬號(hào)登錄，對子賬號(hào)直接授權(quán)

導(dǎo)航至數(shù)據(jù)湖構(gòu)建-數(shù)據(jù)權(quán)限-數(shù)據(jù)授權(quán)頁面，點(diǎn)擊新增授權(quán)，對子賬號(hào) data 授權(quán) db1 的 Describe、CreateTable 權(quán)限，并授予該 db1 下所有除 Drop 外的表權(quán)限，在授權(quán)頁面選擇 data 用戶并完成如下授權(quán)

完成后，data 將具備上述權(quán)限。

3.使用test1賬號(hào)登錄，創(chuàng)建角色，對角色授權(quán)，并將角色授予用戶

創(chuàng)建數(shù)據(jù)湖構(gòu)建角色test，并將該角色授予給子賬號(hào) datamigrator，同時(shí)給角色test 授權(quán) db1 的 Describe 權(quán)限，并授予該 db1 下所有除 Select 外的表權(quán)限

此時(shí)各賬戶具備如下權(quán)限：

4.在數(shù)據(jù)湖平臺(tái)上進(jìn)行權(quán)限驗(yàn)證

在數(shù)據(jù)湖構(gòu)建平臺(tái)上使用 data 子賬號(hào)訪問相關(guān)元數(shù)據(jù)進(jìn)行權(quán)限的驗(yàn)證，例如創(chuàng)建表，刪除表，查詢表.

1) 可正常創(chuàng)建表 test_create_table_from_data

2) 可正常刪除自己創(chuàng)建的表 test_create_table_from_data

3) 刪除其他用戶創(chuàng)建的表 test_table，將報(bào)權(quán)限錯(cuò)誤

4) 使用數(shù)據(jù)探索訪問另一個(gè)db下的表，將報(bào)權(quán)限錯(cuò)誤

5）用戶可自行完成 datamigrator 權(quán)限的測試，此處不再過多演示。

5.在 EMR 集群進(jìn)行權(quán)限的驗(yàn)證

1) 通過 Settings API（近期實(shí)現(xiàn)自動(dòng)化），將EMR集群角色（可在 EMR 集群基礎(chǔ)信息頁面-ECS應(yīng)用角色部分找到），添加為互信賬號(hào)(修改之前通過 GetCatalogSettingsAPI 查看 Settings 內(nèi)容，避免誤修改):

{
  "Config": {
   "auth.super.principal": "acs:ram::[aliyunAccountId]:role/AliyunECSInstanceForEMRRole"
  }
}

2）在 EMR 集群上，選擇 DLF-Auth 組件并按下圖所示，啟用 hive/Presto/Spark 的鑒權(quán)

3）對鑒權(quán)進(jìn)行驗(yàn)證

使用 data 用戶通過 beeline 訪問 Hiveserver 執(zhí)行元數(shù)據(jù)操作，用戶可自行進(jìn)行其他語句的測試

6.其他應(yīng)用及平臺(tái)與數(shù)據(jù)湖元數(shù)據(jù)/權(quán)限 API 集成

數(shù)據(jù)湖構(gòu)建平臺(tái)提供豐富的權(quán)限 API 供應(yīng)用產(chǎn)品集成，用戶可以加入自己的權(quán)限申請、審批流程權(quán)限 API 列表見鏈接， 用戶可選擇將元數(shù)據(jù) API 及權(quán)限 API 集成至自有權(quán)限審批平臺(tái)，以完成自己的業(yè)務(wù)訴求。

總結(jié)

目前權(quán)限能力陸續(xù)在生態(tài)上進(jìn)行集成，能夠滿足一部分場景需求，但還有一些局限，比如授權(quán)操作僅 admin 角色可進(jìn)行資源授權(quán)，基于此我們將在近期推出 Grantable 權(quán)限，屆時(shí)可以將資源的 Grant 權(quán)限授予給其他角色和用戶，進(jìn)一步實(shí)現(xiàn)權(quán)限分治，降低管理壓力。另外數(shù)據(jù)湖構(gòu)建產(chǎn)品未來將繼續(xù)在多引擎生態(tài)、數(shù)據(jù)安全上發(fā)力，讓數(shù)據(jù)湖構(gòu)建產(chǎn)品具備更完善的生態(tài)和企業(yè)級(jí)的特性！

原文鏈接：http://click.aliyun.com/m/1000346409/

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

如何在一臺(tái)電腦上登不同的賬號(hào)？

我們要先明白為什么不能在一臺(tái)電腦上多登入不同的賬號(hào)。就拿平臺(tái)檢測最嚴(yán)格的跨境電商來說，這個(gè)行業(yè)本來就不允許一個(gè)人擁有多個(gè)賬戶，平臺(tái)會(huì)通過檢測電腦的軟件硬件指紋信息，來判定賬號(hào)是不是屬于一個(gè)人，如果有因素被判定相同，平臺(tái)就會(huì)把這些賬號(hào)判定為關(guān)聯(lián)賬號(hào)，從而封號(hào)。

這也就是為什么不能在一臺(tái)電腦上登入不同賬號(hào)的原因，其實(shí)我們只要?jiǎng)e讓平臺(tái)覺得我們的賬號(hào)的屬于一個(gè)人不就不會(huì)被判定關(guān)聯(lián)了嗎？但沒有那么容易，平臺(tái)判定的因素非常多，人為是很難防止的。我們不得不借助專業(yè)的工具。

拉力貓匿名瀏覽器作為專門為跨境電商行業(yè)研發(fā)出來的產(chǎn)品，可以為商戶解決大部分賬號(hào)方面的問題，無論是賬號(hào)的防關(guān)聯(lián)性，還是拉力貓匿名瀏覽器的適配性，都是最好的，是跨境電商最好的伙伴。

拉力貓匿名瀏覽器不僅僅作用于跨境電商行業(yè)，只要有關(guān)于多賬號(hào)登入的，它都能解決。涉及面非常的廣泛，正所謂工欲善其事必先利其器，好的工具才能保證我們以后的路越來越好走。

]]> http://www.qjsdgw.cn/11165.html Sun, 05 Jun 2022 13:37:20 +0000 http://www.qjsdgw.cn/?p=11165 我們先了解一下什么是淘寶服務(wù)器雙主圖技術(shù)？服務(wù)器雙主圖是主圖 技術(shù)中的其中一種是通過把圖片存放在服務(wù)器中，然后通過訪問服務(wù)器中 的圖片來實(shí)現(xiàn)主圖的生成，將這個(gè)原理應(yīng)用到淘寶的主圖也是能夠成立的 ，那么今天就來操作一下這個(gè)技術(shù)。

第一步：配置寶塔服務(wù)器（用來存放圖片）

第二步：登錄寶塔服務(wù)器點(diǎn)擊網(wǎng)站

，進(jìn)入網(wǎng)站的根目錄，

新建一個(gè)文件夾目錄，在文件夾目錄里上傳index.php文件，

編輯上傳好的php文件，將手機(jī)主圖和電腦主圖的圖片鏈接分別添加到對應(yīng)的位置，

好了之后保存文件，這時(shí)候服務(wù)器主圖的訪問程序就已經(jīng)完成了，接下來就是將訪問路徑，放在淘寶主圖上就可以實(shí)現(xiàn)，那么我們接下去

第三步：登錄店鋪，發(fā)布好自己的寶貝鏈接，然后查看源代碼，將服務(wù)器圖片的訪問路徑替換原來的寶貝主圖鏈接，保存后即可生成。