博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Linux下Hadoop分布式系统配置
阅读量:5102 次
发布时间:2019-06-13

本文共 1126 字,大约阅读时间需要 3 分钟。

**

我们是要利用4台linux真机(系统均为ubuntu)来配置完全分布式系统,并已知这4台服务器的外网ip与内网ip

**

远程服务器采用xshell软件,上传文件采用xftp;至于查看ubunu里面的文件,可以用editplus,它可以远程到服务器上,查看,修改,拷贝文件很方便


具体步骤如下:

将其中一台定为master,先在其上配置

1. 配置IP

修改/etc/hosts文件,加上内网的IP映射,就是固定ip和主机名,ping一下试试

2. 配置ssh免密码登录

ssh-keygen -t rsa   //生成秘钥ssh-copy-id server2 // 发送秘钥

3. 安装JDK,配置环境变量

修改/etc/profile文件,具体要加哪些东西,之前的博客写过,记得最后要source一下

4. 安装Hadoop

就是从官网下载安装包,然后再Linux下解压,可以新建2个文件夹,一个专门存放tar.gz,另一个放解压后的文件,最后添加Hadoop环境变量

5. 修改Hadoop配置文件

  1. hadoop-env.sh
    添加JAVA_HOME
  2. core-site.xml
    namenode所在主机fs.defaultFS和tmp目录
  3. hdfs-site.xml
  4. 配置slave和master

6. 删除cmd和doc文件

cmd是因为比较烦,doc文件太占空间,没啥用

7. 将文件拷贝要其他3台服务器

使用scp命令,后面加上文件路径,具体可以百度一下

要传的文件有:各个安装好的文件(解压文件)、hosts文件、data、jdk、profile文件

8. 在其余几台机子上都source一下

9. 关闭防火墙

如果开启失败,可能防火墙问题,几台可以ping通就不用

10. 格式化

Hadoop namenode -format

11. Hbase配置

上面都是关于Hadoop配置的,hbase也要配置

  1. hbase-env.sh 加上环境变量JAVA_HOME
  2. hbase-site.xml

12. 拷贝到其他几台服务器

也是使用scp


下面为我们项目几台服务器配置后的各个角色分配

server1:Namenode、SNamenode 、Web

server2 : Datanode 、HBMaster、 HBRegion、HQuorumPeer
server3 :Datanode、 HBRegion、HQuorumPeer 、Tomcat
server4 :Datanode 、HBRegion、 HQuorumPeer

转载于:https://www.cnblogs.com/lantx/p/7497789.html

你可能感兴趣的文章
Intel HEX 文件格式
查看>>
SIP服务器性能测试工具SIPp使用指导(转)
查看>>
php_扑克类
查看>>
回调没用,加上iframe提交表单
查看>>
(安卓)一般安卓开始界面 Loding 跳转 实例 ---亲测!
查看>>
Mysql 索引优化 - 1
查看>>
LeetCode(3) || Median of Two Sorted Arrays
查看>>
大话文本检测经典模型:EAST
查看>>
linux基础命令-chgrp/chown/chomd
查看>>
待整理
查看>>
一次动态sql查询订单数据的设计
查看>>
C# 类(10) 抽象类.
查看>>
Nginx+Keepalived 实现双击热备及负载均衡
查看>>
Vue_(组件通讯)子组件向父组件传值
查看>>
jvm参数
查看>>
Something-Summary
查看>>
Spring学习笔记
查看>>
6个有用的MySQL语句
查看>>
我对前端MVC的理解
查看>>
Silverlight实用窍门系列:19.Silverlight调用webservice上传多个文件【附带源码实例】...
查看>>