博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop HDFS Federation 配置
阅读量:6147 次
发布时间:2019-06-21

本文共 2241 字,大约阅读时间需要 7 分钟。


  • 一:系统环境配置
  • 二:编辑改变hadoop 的配置文件
  • 三: 启动服务节点:
  • 四:HDFS Federation环境测试

一:系统环境配置:

承接 在上文档hadoop 分布式的文档进行部署

二: 编辑改变hadoop 的配置文件

编辑core-site.xml 文件:   master.hadop.com 的core-site 文件配置   vim core-site.xml

fs.defaultFS
hdfs://master.hadoop.com:8020
hadoop.tmp.dir
/home/hadoop/yangyang/hadoop/data
slave1.hadoop.com 的core-site.xml 文件配置
fs.defaultFS
hdfs://slave1.hadoop.com:8020
hadoop.tmp.dir
/home/hadoop/yangyang/hadoop/data
slave2.hadoop.com 的core-site.xml 文件配置:
hadoop.tmp.dir
/home/hadoop/yangyang/hadoop/data

编辑hdfs-site.xml 文件:

dfs.replication
3
dfs.nameservices
ns1,ns2
dfs.namenode.rpc-address.ns1
master.hadoop.com:8020
dfs.namenode.http-address.ns1
master.hadoop.com:50070
dfs.namenode.rpc-address.ns2
slave1.hadoop.com:8020
dfs.namenode.http-address.ns2
slave1.hadoop.com:50070

三:启动服务节点:

格式化HDFS 节点处理 master.hadoop.comcd /home/hadoop/yangyang/hadoop/bin/hdfs namenode –format –clusterID hdfs-cluster

1.png-144.1kB

slave1.hadoop.comcd /home/hadoop/yangyang/hadoop/bin/hdfs namenode –format –clusterID hdfs-cluster

2.png-113.1kB

启动namenode.hadoop.com与slave1.hadoop.com节点上的namenode master.hadoop.com./hadoop-daemon.sh start namenode

3.png-14.4kB

slave1.hadoop.com./hadoop-daemon.sh start namenode

4.png-16.5kB

启动所有节点的datanonde./hadoop-daemon.sh start datanode master.hadoop.com

5.png-30.6kB

slave1.hadoop.com

6.png-22.5kB

slave2.hadoop.com

7.png-19kB

打开浏览器:
master.hadoop.com
8.png-39.7kB
9.png-39.5kB
slave1.hadoop.com
10.png-37.3kB
11.png-34.7kB
###四: HDFS Fedeation 的测试
在maser.hadoop.com 节点上去HDFS创建一个文件
12.png-4.5kB
在slave1.hadoop.com 去hdfs 上创建文件
13.png-11.8kB
打开浏览器查看:
master.hadoop.com
14.png-12.8kB
slave1.hadoop.com
15.png-14.6kB

转载于:https://blog.51cto.com/flyfish225/2096432

你可能感兴趣的文章
java
查看>>
Vue.js连接后台数据jsp页面  ̄▽ ̄
查看>>
关于程序的单元测试
查看>>
mysql内存优化
查看>>
都市求生日记第一篇
查看>>
Java集合---HashMap源码剖析
查看>>
SQL优化技巧
查看>>
thead 固定,tbody 超出滚动(附带改变滚动条样式)
查看>>
Dijkstra算法
查看>>
css 动画 和 响应式布局和兼容性
查看>>
csrf 跨站请求伪造相关以及django的中间件
查看>>
MySQL数据类型--与MySQL零距离接触2-11MySQL自动编号
查看>>
生日小助手源码运行的步骤
查看>>
Configuration python CGI in XAMPP in win-7
查看>>
bzoj 5006(洛谷 4547) [THUWC2017]Bipartite 随机二分图——期望DP
查看>>
CF 888E Maximum Subsequence——折半搜索
查看>>
欧几里德算法(辗转相除法)
查看>>
面试题1-----SVM和LR的异同
查看>>
MFC控件的SubclassDlgItem
查看>>
如何避免历史回退到登录页面
查看>>