国产chinesehd精品酒店,邱淑贞aa极毛片,国产在线色视频,玖玖爱zh综合伊人久久

網(wǎng)站首頁
手機(jī)版

hadoop是做什么的(hadoop是一種什么技術(shù))

更新時間:2024-06-28 18:23:18作者:佚名

hadoop是做什么的(hadoop是一種什么技術(shù))

1、Hadoop主要是分布式計算和存儲的框架,所以Hadoop工作過程主要依賴于HDFS(Hadoop Distributed File System)分布式存儲系統(tǒng)和Mapreduce分布式計算框架。

2、分布式存儲系統(tǒng)HDFS中工作主要是一個主節(jié)點namenode(master)(hadoop1.x只要一個namenode節(jié)點,2.x中可以有多個節(jié)點)和若干個從節(jié)點Datanode(數(shù)據(jù)節(jié)點)相互配合進(jìn)行工作。

3、HDFS主要是存儲Hadoop中的大量的數(shù)據(jù),namenode節(jié)點主要負(fù)責(zé)的是:接收client用戶的操作請求,這種用戶主要指的是開發(fā)工程師的Java代碼或者是命令客戶端操作。維護(hù)文件系統(tǒng)的目錄結(jié)構(gòu),主要就是大量數(shù)據(jù)的關(guān)系以及位置信息等。管理文件系統(tǒng)與block的關(guān)系。

4、Hadoop中大量的數(shù)據(jù)為了方便存儲和管理主要是以block塊(64M)的形式儲存。一個文件被分成大量的block塊存儲之后,block塊之間都是有順序關(guān)系的,這個文件與block之間的關(guān)系以及block屬于哪個datanode都是有namenode來管理。

本文標(biāo)簽: hadoop是做什么的