大数据组件基础知识之组件

大数据组件基础知识之组件大数据组件:hadoop包括三大核心组件:HDFS、Mapreduce、YARN。Hadoop是存储、计算、资源调度为一体的大数据分布式框架。hdfs:是Hadoop内的分布式数据存储组件,可以构建分布式文件系统用于数据存储。hdfs采用主

欢迎大家来到IT世界,在知识的湖畔探索吧!

大数据组件:

hadoop包括三大核心组件:HDFS、Mapreduce、YARN。Hadoop是存储、计算、资源调度为一体的大数据分布式框架。

hdfs:是Hadoop内的分布式数据存储组件,可以构建分布式文件系统用于数据存储。hdfs采用主从结构模型,一般是一主多从。

MapReduce:hadoop内的分布式计算组件,提供编程接口供给给用户开发分布式计算程序。

yarn:Hadoop内的分布式调度系统,可以调度资源和管理任务。

Hive:基于Hadoop的关系型数据仓库,数据存储在Hadoop中,主要用于数据批处理和数据分析。

Hbase:Hbase是一个分布式、可扩展的NoSQL数据库,用于存储海量数据和支持高并发访问。它基于列存储,适合实时数据处理和随机访问操作。

Kafka:kafka是一种高吞吐量的分布式消息发布订阅系统。

Spark:是一个快速通用的计算引擎。

Zookeeper:查看zookeeper的节点角色:

echo mntr| nc -w 3 $ip 2181 | grep zk_server_state

zookeeper查看句柄数:

echo mntr | nc localhost 2181

里面的zk_open_file_descriptor_count和zk_max_file_descriptor_count是打开的句柄数和系统最大打开文件数的数值。

未释放文件句柄的被删除的文件:

lsof | grep deleted

大数据组件基础知识之组件

杯酒释兵权~顶级阳谋

鼓励的话语:真正的勇士,不是百战百胜,而是屡败屡战的人。失败,不足惧矣。站起来,重振旗鼓,迭代冲锋,可谓魅力之大者,能量之高者。惟有大英雄真本色,是真名士自风流。大难面前,方显男儿本色!

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://itzsg.com/78281.html

(0)

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们YX

mu99908888

在线咨询: 微信交谈

邮件:itzsgw@126.com

工作时间:时刻准备着!

关注微信