元数据基本概念
元数据(Metadata),又叫做中介数据、中继数据,是指描述数据的数据(data about data,关于数据的数据),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录,为了达到编制目录的目的,必须描述并收藏数据的内容或特色,进而达到协助数据检索的目的。
元数据是关于数据的组织、数据域及其关系的信息。简言之,元数据就是关于数据的数据(data about data)。
元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据。元数据不仅仅表示数据的类型、名称、值等信息,它可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述或反映了某个数据的某方面特征,则该信息组/数据组可称为一个元数据。
根据应用场景,元数据可分为以下类型并对应实例:
1、技术元数据
1)数据库表结构:字段名称、数据类型、索引(如学生表的“学号”字段为VARCHAR类型);
2)系统资源:服务器IP、存储位置(如数据中心的机房编号)。
2、业务元数据
1)业务规则:销售数据的“折扣率”字段取值范围为0-1;
2)模型定义:电商平台的“订单”主题域包含支付方式、物流信息等维度。
3、操作元数据
1)数据血缘:ETL作业的输入输出表关系(如从“原始日志”表清洗生成“用户行为”表);
2)访问记录:某报表的最近查询时间与用户。