数据冗余是什么意思(数据冗余性是什么意思)
数据冗余是什么意思，如何解决数据冗余问题？今天我们就来聊聊这个话题。首先我们要明白，大数据时代，数据是有价值的，但并不是所有的数据都有价值。比比如我们日常生活中使用的手机、电脑、平板等电子产品，这些电子产品的数据都是存储在硬盘里的，而硬盘里的数据也是有价值的，但是这些些价值的数据却无法通过网络传输到互联网上，所以就需要一个中间人来进行交易。而这个中间人就是黑客。
编辑导语：什么是数据湖？企业可以利用数据湖尽可能保持业务数据的可还原性，解决存储全域原始数据的问题；而数据中台的存在则可以帮助帮助企业提升业务处理效率。不过并非所有的企业都需要设立数据中台。本篇文章里，作者对数据湖与数据中台进行了详细的解释，一起来看一下。
引言：文接上回，没有阅读第一部分的小伙伴请点击《10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系（一）》查看，那我们就开始第二部分的内容吧，如有不准确的地方，还请希望大家进行指正。
一、数据湖上文通过有序性与开放性分别对数据仓库与数据湖进行描述并对比，现在我们来详细地了解一下数据湖。
1. 数据湖的起源数据湖主要是为了解决存储全域原始数据，其名称中的“湖”字将数据湖的含义表现得淋漓尽致。像企业的生产数据（非结构化数据与结构化数据）、业务历史数据、临时数据，诸如IOT设备，移动应用程序以及传统的设备中返回的第三方数据都可以通过ETL工具形成的“水管”存储进数据湖中。
例如笔者之前在工作过程中接触的手机信令数据、GPS返回的定位数据等，这些数据实际上并没有预先定义好相应的数据结构，这就意味着可以先将数据存储起来而无需对数据进行结构化处理，也无需明确要进行什么分析，由数据从业人员在后续工作中进行探索和尝试。
上文中提到的结构化数据和非结构化数据，那什么是结构化/非结构化数据呢？下面我们就解释下两者的区别与联系。
2. 何为结构化/非结构化数据举个例子。
我们收集到了这样一堆文字信息：
有个学生叫小赵，男的，97年的，土木工程系的，北京的；
有个学生叫小李，98年的，女的，外语系的，江苏苏州的；
·····
诸如此类的文字信息有几万行，我们存在word中，亦或是纸质版文件经由我们扫描成图片格式的，这类就可以称为非结构化数据。假设有需求将这些文字信息中按照性别、籍贯、专业等等统计出来，我们在第一篇文章中提到了关系型数据库，用相关的技术和工具将这些文字信息进行处理，处理后的数据就是结构化数据。
所以结构化数据的定义：是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。
非结构化数据：不适于由数据库二维表来表现的非结构化数据，包括所有格式的办公文档、 XML 、 HTML 、各类报表、图片和音频、视频信息等。
3. 数据湖的作用回归正题，企业为什么要建立数据湖呢，首先数据湖中存在一个重要的组成部分ODS（Operating Data Store，操作数据存储），大家是否记得上一篇文章讲过OLTP（On-Line Transaction Processing），OLTP侧重于基本的、日常的事务处理，而我们现在提到的ODS就是OLTP数据的快照与历史。
我们在上文的数据库一节描述时提到业务数据库与数据仓库的结构不同，业务数据库是为OLTP设计的，是系统的实时状态的数据，而数据仓库的数据是为OLAP的需求建设的，是为了深度的多维度分析。所以这样就会造成基于数据仓库的数据分析会产生以下的限制：
由于数据仓库的架构设计事先订好的，很难能做到全面覆盖，因此基于数据仓库的分析是收到事先定义的分析目标及数据库的框架限制。
从OLTP的实时状态到OLAP的分析数据的转换会有不少信息损失，举个例子来说，某个用户在某个应用程序中钱包的余额，在OLTP系统中仅仅只会按照业务发生情况对钱包中的余额进行实时更新，然而在OLAP系统中也是仅仅会记录对该钱包操作的交易，如果想要去查询并分析该用户的历史余额就会比较麻烦。
而从根本上来讲，数据湖的最主要作用是尽可能保持业务数据的可还原性。数据湖的定位和搜索引擎类似，我们可以像在搜索引擎中检索数据一样，实现按需检索，即取即用，它存取这原始的未经改变的全量数据，可以存取、处理、分析。
4. 数据湖的发展
上一篇
下一篇猜你喜欢
-
什么牌子醋最好排行榜，醋哪个牌子好？
说到醋想必大家都并不陌生，它应用于我们生活中的方方面面。美味的菜肴离不开它，人们的健康更离不开它，要想做出美味的饭菜，必须选择好的品牌是关键，质量好的醋才能吃出健康来，醋什么牌子的好？下面就让小编来介绍一下什么牌子醋最好排行榜。什么牌子醋最好排行榜：宁化府、东湖、水塔、恒顺、桃溪、保宁、天立、益源庆..
2025-06-17 
百科大全 茶厂起什么名字好？开茶厂取什么名字好
茶厂起什么名字好呢？这里有一个好听的名字，叫做“龙井”。龙井茶是杭州西湖风景名胜区的特产，产于浙江省杭州市西湖之南，地处天目山东麓，彩奇网，太湖之滨滨，北宋时期皇家贡茶之一。它的制作工艺非常复杂，采摘、萎凋、揉捻、烘干、发酵、干燥等工序都有严格的要求，所以它的价格自然不菲。但是这款茶却是真正的绿茶，..
2025-06-17
百科大全 什么是两头婚什么是两头婚的婚姻
什么叫两头婚？两头婚，指婚姻既不属于男娶女嫁，也不属于女招男入赘，男女双方两头皆是婚娶婚嫁，夫妻两头走。这种婚姻形式自20世纪末起在江浙一带略有兴起。什么是两头婚合法吗，合法。“两头婚”是近年来浙江民间悄然流行起一种新的婚姻模式。这种模式下，既不是男方将女方娶回家，也不是男方入赘女方，而是夫妻双方结婚..
2025-06-17
母婴百科 宝宝在重症监护室都干什么
有些孩子出生后，需要进入新生儿重症监护病房（NICU），很可能要在孩子的身体上要引入一些管路。根据宝宝的健康和发育情况不同，需要的管路也不一样。很多妈妈看到孩子身上连接的管子都很心疼。其实它们和监护设备一起构成了孩子的生命保障系统。静脉通路从最简单的一个开始说起吧，就像有些妈妈在生孩子时，医生也会给你接..
2025-06-17-
什么生肖离不开老婆 婚后特别依赖妻子的生肖
离不开老婆，婚后特别依赖妻子的生肖有生肖狗、生肖鸡、生肖龙。在婚姻生活当中，总有一些人对于妻子有着格外的依赖，做任何事情都希望能够与之一起。可谓是在众多生肖当中真的做到始终如一，外界任何的诱惑与干扰都无法将其从妻子的身边带走。并且能够投入的心力在妻子身上，将妻子照顾的非常好，生活幸福，恩爱美满。生肖..
2025-06-17 
母婴百科 和宝宝说什么有利于宝宝开口说话
每个孩子生下来都是一张可塑性极高的白纸，而最初在这张白纸上点墨的就是父母了，父母的言行从小就影响着孩子的三观。宝妈林悦最近很担心自家宝宝以后会变成脏话连篇、蛮不讲理的人。原来林悦的丈夫经常在酗酒后胡言乱语，结果孩子父亲的脏话和蛮横都被孩子学的惟妙惟肖。其实父母的一言一行都会被孩子无意识的模仿，这些举..
2025-06-17-
性格让人讨厌的生肖女 什么生肖女不招人喜欢
性格让人讨厌的生肖女，不招人喜欢的生肖女有生肖鼠、生肖虎、生肖鸡。每个人身上的特质和性格不同，会导致在异性面前的人缘有着天差地别的差异。有些女生不管做什么事情都能够拥有众多异性的簇拥与帮助，甚至什么都不做，也是极具富有魅力的存在。而有些女性qvfxQBv做出再多为他人着想的事情，也丝毫博得不了他人的好感，..
2025-06-17 -
什么牌子白醋洗脸最好排行榜，白醋哪个牌子好？
对于处的理解，人们往往停留在食用方便其实白醋的使用方面还有水洗，它可以美化皮肤人的皮肤增强皮肤的弹性，使得我们皮肤光滑弹嫩并且白醋还有杀菌的功效，白醋哪个牌子好？接下来小编带给带给大家白醋十种牌子排行榜，希望给大家带来参考。什么牌子白醋洗脸最好排行榜：1、保宁白醋2、恒顺白醋3、宁化府白醋4、东湖白醋5..
2025-06-16
微信分享
扫描二维码分享到微信或朋友圈