如何使用日志審計查看MaxCompute執(zhí)行過哪些操作

這篇文章主要為大家展示了“如何使用日志審計查看MaxCompute執(zhí)行過哪些操作”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學習一下“如何使用日志審計查看MaxCompute執(zhí)行過哪些操作”這篇文章吧。

創(chuàng)新互聯(lián)公司長期為千余家客戶提供的網(wǎng)站建設(shè)服務，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為贛州企業(yè)提供專業(yè)的成都網(wǎng)站建設(shè)、做網(wǎng)站，贛州網(wǎng)站改版等技術(shù)服務。擁有十余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

背景

在很多的數(shù)據(jù)開發(fā)場景下，我們需要記錄每個子賬戶都做了什么，在哪個項目執(zhí)行了具體的操作，出問題了需要審計是誰干的，什么時間，怎么操作的。例如，有人惡意刪除數(shù)據(jù)、有人將數(shù)據(jù)下載下來、誰上傳的資源、有人給沒有權(quán)限的人添加了權(quán)限、 等等。這些動作需要管理、跟蹤。本文通過如何在ActionTrail控制臺進行搜索來跟蹤我們在MaxCompute中執(zhí)行的動作。

日志審計和Informattion_Schema（元數(shù)據(jù)）對比

1.日志審計記錄的是用戶的各項操作行為
2.日志審計記錄的是當前賬號下的所有項目，Informattion_Schema記錄的是當前project
3.如果我們要查看用戶的行為信息可以去日志審計查看，如果查詢一些靜態(tài)信息可以去元數(shù)據(jù)查看比如：表的擁有者，資源的擁有者
4.Informattion_Schema中的TASKS_HISTORY表可以記錄已完成的作業(yè)歷史，但是沒有對應的事件名稱不方便查找。比如查找刪除表，我們可以直接去ActionTrail直接搜索DropTable 就可以查到
5.MaxCompute記錄用戶的各項操作行為是實時投遞到ActionTrail中的，操作記錄會在10分鐘內(nèi)被操作審計追蹤并記錄。操作記錄保存的是180天的記錄，目前ActionTrail支持搜索，如果需要對日志進行更精確的分析和保存更長的時間，可以投遞到oss上或這個sls上同步到MaxCompute進行分析
6.如果我們要統(tǒng)計一天當中耗費最高的作業(yè)可以去Informattion_Schema中的task_histoy表中查看

--統(tǒng)計一天耗費cu最大的前十個任務信息select * from information_Schema.TASKS_HISTORY where   ds = 20200812 order by cost_cpu limit 10;--統(tǒng)計一天每個用戶使用的cuselect owner_name,SUM(cost_cpu) from information_Schema.TASKS_HISTORY where   ds = 20200814 group by owner_id,owner_name;

如何使用ActionTrail進行搜索

我們列舉幾個簡單的場景進行搜索
首先登錄到ActionTrail控制臺的歷史事件查詢頁面選擇要查看的地域。

如上圖 事件類型：所有類型，時間：選擇對應的時間 產(chǎn)品類型：MaxCompute

查看子賬號做過什么
用戶名：子賬號的名字
查看當前任務是被誰殺掉的
事件名稱：jobChange 資源名稱：instanceId(具體的任務id)
查看表做過什么操作
資源名稱：表名字
查看表被誰讀取過
事件名稱：ReadTableData 資源名稱：表名字
查看表被誰刪除：
事件名稱：DropTable 資源名稱：表名字
查看表被誰下載過
事件名稱：DownloadTable（直接使用tunnel download 表名下載） InstanceTunnel（通過instanceuid 下載）資源名稱：表名字
查看表什么時間上傳的數(shù)據(jù)
事件名稱：UploadTable（包括數(shù)據(jù)集成）資源名稱：表名字
查看函數(shù)創(chuàng)建
事件名稱：CreateFunction 資源名稱：函數(shù)名字
查看資源創(chuàng)建事件
事件名稱：CreateResource 資源名稱：資源名字
查看創(chuàng)建角色
事件名稱：CreateRole 資源名稱：角色名稱
查看授權(quán)事件
事件名稱：GrantRole 資源名稱：角色名稱

其中source_ip字段：通過客戶端或者sdk執(zhí)行的是本機IP。通過DataWorks執(zhí)行的不是本機IP
correlation_id字段：對應的instanceid,我們可以到對應的項目執(zhí)行 wait instanceid查看任務的執(zhí)行具體情況

以上是“如何使用日志審計查看MaxCompute執(zhí)行過哪些操作”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

分享標題：如何使用日志審計查看MaxCompute執(zhí)行過哪些操作
當前路徑：http://m.kartarina.com/article34/jeddpe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導航、建站公司、品牌網(wǎng)站制作、微信小程序、微信公眾號、動態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)