基于MaxCompute InformationSchema进行冷门表热门表访问分析

  • 时间:
  • 浏览:13
  • 来源:uu直播快3_UU快3直播平台

一、需求场景分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望不需要 利用元数据的分析来更好地掌握不同数据表的使用状况,从而优化数据模型。

有一另一两个 MaxCompute项目中老是使用的表简称为热门表,使用次数较少因为很长时间不使用的表简称为冷门表,本文将介绍怎么后能 去通过MaxCompute元数据信息去分析热门表和冷门表。

二、方案设计思路MaxCompute Information_Schema提供了项目中全量的表元数据信息Tables以及中含访问表的作业明细数据tasks_history,通过汇总各个表被作业访问的次数都要获知不同表被作业使用的频度。

全部步骤如下:1、热门数据通过获取tasks_history表里的input_tables字段的全部信息,然

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;因为您发现本社区中含涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。