天气预报15天查询> 教育> hdfs的读写流程

hdfs的读写流程

更新时间: 2021-05-23 05:09:00     

1、客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。

2、client端按128MB的块切分文件。client将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和NameNode分配的多个DataNode构成pipeline管道,client端向输出流对象中写数据。client每向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个…DataNode。

3、每个DataNode写完一个块后,会返回确认信息。

4、写完数据,关闭输输出流。发送完成信号给NameNode。

关键词: hdfs 流程

如有意见、反馈、侵权或投诉等情况,请联系:

电话:
邮箱:

我们将会在48小时内给与处理!

版权所有 Copyright ? 2009-2020 tianqiyubao3.com

页面:/news/view-3385902/ | 耗时:0.9950 s | 内存:1.89 MB | 查询:4 | 缓存读取:4 写入:0 | 加载文件:23
select * from tbl_Articles WHERE ArticleID=3385902 LIMIT 0,1
select * from tbl_Articles_data WHERE ArticleID=3385902 LIMIT 0,1
select * from tbl_Articles_sphinx where id=3385902 LIMIT 0,1
SELECT ArticleID,Title FROM tbl_Articles WHERE ArticleID IN(838939,1085200,1072434,922779,434590,935979,1094319,839994,1100076,853655,1105379,359360,1183896,392647,161621,1498636,1103574,1128228,1108532,2950887,1110033,1761337,1197670,957674,1150634,1103123,1150988,823705,1475145,1183932) ORDER BY field (ArticleID,838939,1085200,1072434,922779,434590,935979,1094319,839994,1100076,853655,1105379,359360,1183896,392647,161621,1498636,1103574,1128228,1108532,2950887,1110033,1761337,1197670,957674,1150634,1103123,1150988,823705,1475145,1183932)