大数据和Hadoop平台介绍

定义

大数据是指其大小和复杂性无法通过现有常用的工具软件,以合理的成本,在可接受的时限内对其进行捕获、管理和处理的数据集。这些困难包括数据的收入、存储、搜索、共享、分析和可视化。大数据要满足三个基本特征(3V),数据量(volume)、数据多样性(variety)和高速(velocity)。数据量指大数据要处理的数据量一般达到TB甚至PB级别。数据多样性指处理的数据包括结构化数据、非结构化数据(视频、音频、网页)和半结构化数据(xml、html)。高速指大数据必须能够快速流入并且能得到快速处理。
大数据发展背景

数据爆炸。伴随信息技术的应用,全球数据量呈几何级数增长。过去几年间的数据总量超过了人类历史上的数据总和。芯片、摄像头、各自传感器遍布世界各个角落,原本不能被感知的事物都可以被监测。软硬件技术的不断进步,也为处理大数据创造的条件。
大数据的应用领域

    在公共领域,跨部门提供大数据服务,能大幅减少检索和处理时间。提高公共服务的效率。企业通过收集产品在使用中产生的海量数据,进行分析,可以改善产品性能。大数据能帮助企业对用户进行更加细化的区分,并针对用户的不同需求提供个性化的服务。这是营销和危机管理常用的办法。利用自动化算法支持或替代人工决策。对大数据的分析能极大改善决策效果,降低风险,并挖掘出其他方法无法发现的宝贵信息。商业模式、产品与服务创新。Netflix根据大数据分析结果,制作《纸牌屋》。
大数据研究课题

    数据获取问题。包括哪些数据需要保存,哪些数据需要丢弃,如何可靠的存储我们需要的数据。数据结构问题。微博博客是没有结构的数据,图像和视频在存储和显示方面具有结构,但是无法包含语义信息进行检索。如果将没有语义的内容转换为结构化的格式,并进行后续处理,是需要面对的另一项挑战。数据集成问题。不同来源数据之间进行关联,才能充分发挥数据的作用。数据分析、组织、抽取和建模如何呈现分析结果
科技公司大数据产品

    谷歌:MapReduceIBM:InfoSphere大数据分析平台SAS:高性能分析服务器和SAS DataFlux数据流处理引擎EMC:Greenplum 支持海量并行处理Teradata:Aster Data 基于MapReduce,提供了多种统计软件包
大数据发展趋势

    数据资源化。大数据成为企业和社会关注的重要战略资源,并已经成为大家争相抢夺的焦点。与云计算深度结合。大数据离不开云处理,云处理为大数据提供弹性可拓展的基础服务。带动科学理论的突破。带动数据挖掘、机器学习、人工智能和数据科学等相关技术的发展。
大数据处理一般步骤

    数据的收集。
    第一个方式是抓取或者爬取。例如搜索引擎就是这么做的:它把网上的所有的信息都下 载到它的数据中心,然后你一搜才能搜出来。 第二个方式是推送,有很多终端可以帮我收集数据。比如说小米手环,可以将你每天跑 步的数据,心跳的数据,睡眠的数据都上传到数据中心里面。数据的传输
    一般会通过队列方式进行,因为数据量实在是太大了,数据必须经过处理才会有用。可系统处理不过来,只好排好队,慢慢处理。数据的存储
    存储要确保安全,不易丢失,高容错性。数据的处理和分析
    存储的数据是原始数据,原始数据多是杂乱无章的,有很多垃圾数据在里面,因而需要清洗和过滤,得到一些高质量的数据。对于高质量的数据,就可以进行分析,从而对数据进行分类,或者发现数据之间的相互关系,得到知识。数据的检索和挖掘
    使想要的信息容易被搜索到。挖掘信息之间的相互关系。
开源框架

因为大数据的这些特点,针对其收集、传输、存储、处理分析和检索使用产生了许多开源框架。

功能框架 文件存储 Hadoop HDFS、Tachyon、KFS 离线计算 Hadoop MapReduce、Spark 流式、实时计算 Storm、Spark Streaming、S4、Heron K-V、NOSQL数据库 HBase、Redis、MongoDB 资源管理 YARN、Mesos 日志收集 Flume、Scribe、Logstash、Kibana 消息系统 Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析 Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 分布式协调服务 Zookeeper 集群管理与监控 Ambari、Ganglia、Nagios、Cloudera Manager 数据挖掘、机器学习 Mahout、Spark MLLib 数据同步 Sqoop 任务调度 Oozie

一般大数据平台的框架如下图



Hadoop HDFS和Hadoop MapReduce作为大数据存储和处理的开山鼻祖,大数据平台上都处于核心位置。下面介绍一下两个框架的基本原理。
Hadoop HDFS基本原理

HDFS全称Hadoop Distributed File System。HDFS是一个分布式文件系统,可以部署在一个服务器集群上。Java语言开发,可以部署在任何支撑java的机器上。
HDFS有几个基本概念NameNode、DataNode和block。
NameNode负责整个分布式文件系统的元数据管理,也就是文件路径名,数据block的ID以及存储位置等信息。还要记录一些事情,比如哪些节点是集群的一部分,某个block有几份副本等。




DataNode是实际存储文件数据的节点。DataNode会通过心跳和NameNode保持通信,如果DataNode超时未发送心跳,NameNode就会认为这个DataNode已经失效,立即查找这个DataNode上存储的block有哪些,以及这些block还存储在哪些服务器上,随后通知这些服务器再复制一份block到其他服务器上,保证HDFS存储的block备份数符合用户设置的数目,即使再有服务器宕机,也不会丢失数据。




Block是HDFS中的存储单元,文件被写入HDFS时,会被切分成多个block块,默认的块大小是128MB,每个数据块默认会有三个副本。




数据写入:首先将文件分成多个block,每个block会被写入三个DataNode中,写入哪三个DataNode中是由NameNode指定的,写入完成,NameNode会记录这些信息。同一个文件中不同的block可能会被写入完全不同的DataNode中。




数据读取:数据读取时按block读取。每一个block时,会从NameNode获取信息,知道从哪个DataNode中读取,一般是就近原则。所有该文件的block读取完成,构成完整的文件。
客户端和Datanode是同一个机器:距离为0 ,表示最近
客户端和Datanode是同一个机架的不同机器 :距离为2 ,稍微远一点
客户端和Datanode位于同一个数据中心的不同机架上 :距离为4,更远一点
Hadoop MapReduce基本原理

Hadoop MapReduce是一个分布式计算框架,其中的运算都可以在多个机器上并行进行。使用者只需要完成运算本身的编码,不需要关心并行计算的底层细节。
MapReduce背后的思想很简单,就是把一些数据通过Map来归类,通过Reduce来把同一类的数据进行处理。Map和reduce的过程都是利用集群的计算能力并行执行的。计算模型的核心是Map和Reduce函数,两个函数由用户自行实现。




把原始大数据集切割成小数据集时,通常小数据集小于等于HDFS的一个block的大小,这样一个小数据集位于一个物理机上,便于本地计算。Map和reduce各自的启动任务数量可以由用户指定。




上图表示一个MapReduce统计单词出现次数的过程,原始数据分割为4个子文件,对每个子文件按照用户的Map函数会产生<单词, 出现次数>的<k2,v2>形式的结果。然后把相同单词的<k2,v2>组合在一起构成<k2,List(v2)>的形式,作为Reduce函数的输入,相同的k2一定分发给相同的Reduce任务处理,例如单词lorem的所有计算都由第一个Reduce任务来完成。按照这个思想,即使要统计的文件数量上千万个,单词数量有几千个,但是通过MapReduce框架,只要集群机器数量够多,也是可以在可接受时间内计算完成的。
大数据行业应用

    互联网:定向广告、用户行为分析、内容推荐、搜索引擎优化金融:反洗钱、反欺诈、客户价值分析、目标市场客户聚类、偿还能力预测、股票投资组合趋势分析电信:业务设计优化、客户流失预测、网络质量优化医疗卫生:临床数据比对、决策支持、就诊行为分析、疾病模式分析公共安全:嫌疑人行为预测分析、恐怖活动检测、危险性分析、关系人分析智慧交通:整个传感器、GPS和健康视频等设备产生的海量数据,结合气象监测设备的天气状况数据、人口分布数据、移动通信数据,实现智能公共交通。
推广使用面临的挑战

    少数机构对数据绝对垄断,大部分数据集中在这些机构内部。就像罕见病数据,只有通过共享机制和平台,才能为患者提供帮助。大数据应用应该以尊重用户隐私为前提,同时如何兼顾数据的开放和创新,是大数据行业面临的一个重要问题。企业通过大数据来理解用户的特点和需求,需要充分尊重他们的隐私权。现有的大数据架构无法保证数据本身不被篡改,因而限制了需要建立信任和确权的应用场景。诸如信用类的数据,如果没有办法确保数据的真实有效性,则很难运用在相关机构的决策流程中。
温馨提示:
1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    148

    主题

    414

    帖子

    1008

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1008
    发表于 2020-11-22 20:39:09 | 显示全部楼层
    沙发
    转发了
    回复

    使用道具 举报

    134

    主题

    408

    帖子

    980

    积分

    高级会员

    Rank: 4

    积分
    980
    发表于 2020-11-22 20:39:31 | 显示全部楼层
    板凳
    转发了
    回复

    使用道具 举报

    • 售后服务
    • 关注我们
    • 社区新手

    QQ|手机版|小黑屋|数据通

    Powered by datatong.net X3.4  © 2008-2020 数据通