元数据和主数据的区别(数据元和数据元概念的区别)
今天本站小编来和大家聊聊关于元数据和主数据的区别这个话题,这个话题的探讨数比较多,所以下面为大家分享几个热度比较高的相关话题,希望能够帮助到大家
什么是元数据?
元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data)。
元数据作用是:
1、描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
2、元数据算是一种电子式目录,为了达到编制目录的目的,必须在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。
元数据的应用举例:
1、数据结构:数据集的名称、关系、字段、约束等;
2、数据部署:数据集的物理位置;
3、数据流:数据集之间的流程依赖关系(非参照依赖),包括数据集到另一个数据集的规则;
4、质量度量:数据集上可以计算的度量;
5、度量逻辑关系:数据集度量之间的逻辑运算关系;
6、ETL过程:过程运行的顺序,并行、串行;
7、数据集快照:一个时间点上,数据在所有数据集上的分布情况。
扩展资料:
元数据的优点:
1、自描述:元数据自动提供 COM 中 IDL 的功能,允许将一个文件同时用于定义和实现
运行库模块和程序集甚至不需要向操作系统注册
结果,运行库使用的说明始终反映编译文件中的实际代码,从而提高应用程序的可靠性
2、设计:元数据提供所有必需的有关已编译代码的信息,以供用户从用不同语言编写的 PE 文件中继承类
用户可以创建用任何托管语言(任何面向公共语言运行库的语言)编写的任何类的实例,而不用担心显式封送处理或使用自定义的互用代码
什么是元数据(MetaData)及元数据的用途
元数据(Meta Data)是关于数据的数据,当人们描述现实世界的现象时,就会产生抽象信息,这些抽象信息便可以看作是元数据,元数据主要用来描述数据的上下文信息
通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到每本书的索引则是元数据,元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理解数据
发现和描述数据的来龙去脉,特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业,元数据可以帮他们形成清晰直观的数据流图,元数据是数据管控的基本手段
元数据是为了提升共享、重新获取和理解企业信息资产的水平,元数据是企业信息管理的润滑剂,不对元数据进行管理或管理不得当。
信息将被丢失或处于隐匿状态而难以被用户使用,数据集成将十分昂贵,不能对业务进行有效支撑
终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任
扩展资料
元数据分类
元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性
按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据
这三种元数据的具体描述如下:
1、技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节;
2、业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;
3、管理元数据 管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息。
参考资料来源:百度百科-元数据
什么是元数据管理及其作用?
元数据管理定义如下:
1、元数据管理包括业务词汇表的发展,数据元素和实体的定义,业务规则和算法以及数据特征。
2、最基础的管理是管理业务元数据的收集、组织和维持。
3、对技术型元数据的应用对主数据管理和数据治理项目的成功至关重要。
元数据管理作用:
1、元数据是“所有系统、文档和流程中包含的所有数据的语境
2、如果没有元数据,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。
3、元数据管理是一项和主数据管理、数据治理一样重要的功能,因为元数据管理是每一个这些准则的基础组件。
4、组织部署了数据治理项目,但没有解决元数据管理问题,仍然获得了成功,那是因为很多数据管家执行的活动和任务在聚焦元数据和元数据的管理流程。
参考资料:
1、赵泉等编著.信息检索.机械工业出版社,2008
2、鞠英杰主编.信息描述.合肥工业大学出版社,2010
十六、什么是元数据?
谢海洋 王素娟 元数据,英文拼写为Metadata,目前已被广泛应用于各种信息资源的管理领域中
在档案界,最早使用“元数据”的是美国的电子文件管理专家戴维?比尔曼,他在20世纪90年代初发表的有关电子文件管理方面的论文中首先使用了元数据这一术语
元数据的概念目前在档案界还没有一个统一的定论,目前比较有代表性的描述有: 1.元数据是“关于数据的数据(Data about Data)”,其中,后一个Data是指被描述的信息资源,前一个Data则是指为理解该信息资源而存储的有关信息,即元数据
这是元数据目前公认最为经典、通俗和简洁的定义
2.国际档案理事会《电子文件管理指南》(1997)认为“元数据是关于文件的背景信息和结构的数据,是有关电子文件的技术性信息
” 3.《澳大利亚联邦机构电子文件保管元数据标准》(1999)认为“文件保管元数据是关于电子文件背景的描述信息
” 4.英国国家档案馆《电子文件管理指南》(1999)认为“元数据是关于文件和文件集合的背景及其相互关系的结构化描述和编目数据
” 5.冯惠玲主编的《电子文件管理教程》认为元数据是“由电子文件系统自动记录的关于文件形成时间、地点、人员、活动、文件系统、结构及内容方面的具体数据
” 6.“元数据可以理解为用来描述资源的属性与特征的信息
”-刘家真《电子文件管理理论与实践》,科学出版社2003年版
7.“元数据是对数据对象规范描述所形成的数据集合,通过计算机可读的开放语言来标记元数据,就能在系统间发现、交换、转换和理解相应的数字对象,支持系统间互操作
”-张晓林《开放元数据机制:理念与原则》,《中国图书馆学报》2003年3期
以上描述虽然表述各不相同,但我们可以发现一个共同点,即元数据主要是动态地描述电子文档各种特征的信息数据集合,并且它能为分散的、由多种数字化资源有机构成的档案信息体系提供整合的工具与纽带
随着研究的深入,我们对元数据的认识在逐步深化
档案工作人员为便于理解,可以简单把电子文档的元数据视为两方面:一是“著录信息或著录数据”
其中,“元数据元素就是著录项目,元数据格式就是著录项目之间关系的结构化表示,元数据编码就是著录信息的编制
”(刘越南《对电子文件管理元数据的再认识》,《档案学通讯》2005年2期);二是电子文档的内容、背景和结构等方面的信息
国外学者将元数据喻为电子文件管理系统中的“血液”,足见元数据在数字档案馆电子文件管理中发挥着举足轻重的作用
元数据的作用主要可以概括为以下几方面: 1.元数据能协助数字档案馆构建信息检索机制
元数据具有动态跟踪功能,能够即时动态地获取电子文件管理的各项信息
在数字档案馆的海量信息库中,借助元数据,可以快速发现并获取特定的信息单元
2.元数据能维护信息的识别与读取
电子文件所携带的元数据信息可以完整地记录电子文件的原始状态,能够系统地映射出电子文件的信息内容、背景和结构等;还能够映射出电子文件的生成环境和行政管理环境
只有在获取数据对象的同时也获取这些元数据信息,被检索到的数据单元才是可理解的、可读的
3.元数据能保障电子文件的真实性与凭证性
元数据系统能够跟踪记录电子文件从产生那一刻起的载体、设备及所用技术的变迁史以及使用干预该文件的整个历史过程,即不论载体、设备、技术如何更新换代,不论使用者、使用人数的多少都全部作为历史数据保存下来,记录备案
这些为数字信息单元真实性和凭证性提供了重要的佐证
什么是数据库的元数据
按照传统的定义,元数据(Metadata)是关于数据的数据
在数据仓库系统中,元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据;元数据是描述数据仓库内数据的结构和建立方法的数据,可将其按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)
技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据,它主要包括以下信息: 数据仓库结构的描述,包括仓库模式、视图、维、层次结构和导出数据的定义,以及数据集市的位置和内容; 业务系统、数据仓库和数据集市的体系结构和模式 汇总用的算法,包括度量和维定义算法,数据粒度、主题领域、聚集、汇总、预定义的查询与报告; 由操作环境到数据仓库环境的映射,包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全(用户授权和存取控制)
业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据
业务元数据主要包括以下信息:使用者的业务术语所表达的数据模型、对象名和属性名;访问数据的原则和数据的来源;系统所提供的分析方法以及公式和报表的信息;具体包括以下信息: 企业概念模型:这是业务元数据所应提供的重要的信息,它表示企业数据模型的高层信息、整个企业的业务概念和相互关系
以这个企业模型为基础,不懂数据库技术和SQL语句的业务人员对数据仓库中的数据也能做到心中有数
多维数据模型:这是企业概念模型的重要组成部分,它告诉业务分析人员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则
这里的数据立方体表示某主题领域业务事实表和维表的多维组织形式
业务概念模型和物理数据之间的依赖:以上提到的业务元数据只是表示出了数据的业务视图,这些业务视图与实际的数据仓库或数据库、多维数据库中的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现
2.2 元数据的作用 与其说数据仓库是软件开发项目,还不如说是系统集成项目[1],因为它的主要工作是把所需的数据仓库工具集成在一起,完成数据的抽取、转换和加载,OLAP分析和数据挖掘等
如图1所示,它的典型结构由操作环境层、数据仓库层和业务层等组成
其中,第一层(操作环境层)是指整个企业内有关业务的OLTP系统和一些外部数据源;第二层是通过把第一层的相关数据抽取到一个中心区而组成的数据仓库层;第三层是为了完成对业务数据的分析而由各种工具组成的业务层
图中左边的部分是元数据管理,它起到了承上启下的作用,具体体现在以下几个方面: (1) 元数据是进行数据集成所必需的 数据仓库最大的特点就是它的集成性
这一特点不仅体现在它所包含的数据上,还体现在实施数据仓库项目的过程当中
一方面,从各个数据源中抽取的数据要按照一定的模式存入数据仓库中,这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中;另一方面,在数据仓库项目实施过程中,直接建立数据仓库往往费时、费力,因此在实践当中,人们可能会按照统一的数据模型,首先建设数据集市,然后在各个数据集市的基础上再建设数据仓库
不过,当数据集市数量增多时很容易形成“蜘蛛网”现象,而元数据管理是解决“蜘蛛网”的关键
如果在建立数据集市的过程中,注意了元数据管理,在集成到数据仓库中时就会比较顺利;相反,如果在建设数据集市的过程中忽视了元数据管理,那么最后的集成过程就会很困难,甚至不可能实现
(2) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据 最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术,因此迫切需要有一个“翻译”,能够使他们清晰地理解数据仓库中数据的含意
元数据可以实现业务模型与数据模型之间的映射,因而可以把数据以用户需要的方式“翻译”出来,从而帮助最终用户理解和使用数据
(3) 元数据是保证数据质量的关键 数据仓库或数据集市建立好以后,使用者在使用的时候,常常会产生对数据的怀疑
这些怀疑往往是由于底层的数据对于用户来说是不“透明”的,使用者很自然地对结果产生怀疑
而借助元数据管理系统,最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到,这样他们自然会对数据具有信心;当然也可便捷地发现数据所存在的质量问题
甚至国外有学者还在元数据模型的基础上引入质量维[6],从更高的角度上来解决这一问题
(4) 元数据可以支持需求变化 随着信息技术的发展和企业职能的变化,企业的需求也在不断地改变
如何构造一个随着需求改变而平滑变化的软件系统,是软件工程领域中的一个重要问题
传统的信息系统往往是通过文档来适应需求变化,但是仅仅依靠文档还是远远不够的
成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来,使得系统不依赖特定的开发人员,从而提高系统的可扩展性
到此,本话题已经为大家介绍完毕,如果觉得不错的话,可以分享本篇文章元数据和主数据的区别给好友,希望对你有所帮助。