伪分布式配置手册
系统环境
进入文件夹
1cd /Library/Preferences/VMware\ Fusion/vmnet8进入之后,打开nat.conf文件就可以查看到vmnet8的网关地址
123# NAT gateway addressip = 192.168.121.1netmask = 255.255.255.0
二、固定linux的IP地址
进入文件夹,编辑ifcfg-ens33文件
12cd /etc/sysconfig/network-scriptsls编辑ifcfg-ens33文件
1vi ifcfg-ens33
添加信息
配置好了之后,重启网络
检查是否能够ping通。Mac终端里面pingCentOS
如果能够ping通,就可以在Mac中使用secureCRT了
三、给hadoop添加sudo
1、使用命令visudo
2、添加
四、修改主机名以及建立对应关系
修改主机名
1sudo hostnamectl set-hostname spark修改/etc/hosts,建立对应关系
1sudo vi /etc/hosts
添加
五、关闭防火墙
查看防火墙状态。centos7中的防火墙指令和centos6不一样了
1firewall-cmd --state关闭防火墙
12systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动
六、安装JDK
可以使用两种方式来上传JDK到CentOS中。
- filezilla 直接把文件拖拽到CentOS中即可
使用命令行的方式。
在secureCRT中按快捷键 shift+cmd+p 打开sftp。
put 源地址 目的地址1put /Users/Downloads/jdk-7u80-linux-x64.tar.gz /home/hadoop/以上两种,上传JDK到CentOS中都可以。
配置JAVA_HOME
解压JDK.
12mkdir apptar -zxvf jdk-7u80-linux-x64.tar.gz -C app/修改/etc/profile
1sudo vi /etc/profile最后一行,添加
12export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80export PATH=$PATH:$JAVA_HOME/bin
七、安装Hadoop
上传hadoop。使用命令行方式来上传,shift+cmd+p
1put /Users/Downloads/hadoop-2.6.5.tar.gz不指定目的目录,会上传到用户的主目录。
解压
1tar -zxvf hadoop-2.6.5.tar.gz -C app/配置HADOOP_HOME
修改/etc/profile
1sudo vi /etc/profile最后一行,
新加
HADOOP_HOME这一行。修改(其实是添加)PATH
12export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
八、配置hadoop的几个文件
配置 hadoop-env.sh
1sudo vi hadoop-env.sh找到export JAVA_HOME=$(JAVA_HOME)修改为
1export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80配置core-site.xml。找到
12345678910<configuration><property><name>fs.defaultFS</name><value>hdfs://spark:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/app/hadoop-2.6.5/data/</value></property></configuration>配置hdfs-site.xml
123456<configuration><property><name>dfs.repulication</name>#副本<value>1</value>#伪分布式陪1,全分布式一般为3</property></configuration>到这里hdfs是可以启动了,但是为了方便,一次性把其他文件也配置了
配置mapred-site.xml.template
先修改名字12345678mv mapred-site.xml.template mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>配置yarn-site.xml
1234567891011<configuration><property><name>yarn.resourcemanager.hostname</name><value>spark</value></property></configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>格式化,第一次配置格式化。
1hadoop namenode -format如果格式化成功,大概在倒数10-20左右会看到一个
117/11/11 03:02:19 INFO common.Storage: Storage directory /home/hadoop/app/hadoop-2.6.5/data/dfs/name has been successfully formatted.启动hdfs
1start-dfs.sh第一次会提示你输入yes或者no。yes的话以后每次启动hdfs都会要求输入密码。no以后就不用输入密码。启动之后输入jps
1jps看到
12344715 SecondaryNameNode4478 NameNode4564 DataNode4838 Jps则启动成功,配置正确。
Done!
cqzhlei@163.com