伪分布式搭建配置手册

发表于

伪分布式配置手册

系统环境

  • VMWare 10.0.1
  • Mac
  • CentOS7 64bit
  • JDK7
  • hadoop 2.6.5

    一、Mac 下面修改VMnet8网关地址

  1. 进入文件夹

    1
    cd /Library/Preferences/VMware\ Fusion/vmnet8

  2. 进入之后，打开nat.conf文件就可以查看到vmnet8的网关地址

    1
    2
    3
    # NAT gateway address
    ip = 192.168.121.1
    netmask = 255.255.255.0

二、固定linux的IP地址

  1. 进入文件夹,编辑ifcfg-ens33文件

    1
    2
    cd /etc/sysconfig/network-scripts
    ls

  2. 编辑ifcfg-ens33文件

    1
    vi ifcfg-ens33

添加信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b12ada89-a560-44ea-94cb-c01b0213dfde
DEVICE=ens33
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.121.100
NETMASK=255.255.255.0
GATEWAY=192.168.121.1
DNS1=8.8.8.8

配置好了之后，重启网络

1
systemctl restart network

检查是否能够ping通。Mac终端里面pingCentOS

1
ping 192.168.121.100

如果能够ping通，就可以在Mac中使用secureCRT了

三、给hadoop添加sudo

1、使用命令visudo

1
visudo

2、添加

1
2
3
# 在 root 用户之后添加（请根据实际情况赋予权限）
	root    ALL=(ALL)       ALL
	hadoop   ALL=(ALL)       ALL

四、修改主机名以及建立对应关系

  1. 修改主机名

    1
    sudo hostnamectl set-hostname spark

  2. 修改/etc/hosts,建立对应关系

    1
    sudo vi /etc/hosts

添加

1
192.168.121.100 spark

五、关闭防火墙

  1. 查看防火墙状态。centos7中的防火墙指令和centos6不一样了

    1
    firewall-cmd --state

  2. 关闭防火墙

    1
    2
    systemctl stop firewalld.service #停止firewall
    systemctl disable firewalld.service #禁止firewall开机启动

六、安装JDK

可以使用两种方式来上传JDK到CentOS中。

  1. filezilla 直接把文件拖拽到CentOS中即可

  2. 使用命令行的方式。

    在secureCRT中按快捷键 shift+cmd+p 打开sftp。
    put 源地址 目的地址

    1
    put /Users/Downloads/jdk-7u80-linux-x64.tar.gz /home/hadoop/

    以上两种，上传JDK到CentOS中都可以。

  3. 配置JAVA_HOME

    • 解压JDK.

      1
      2
      mkdir app
      tar -zxvf jdk-7u80-linux-x64.tar.gz  -C app/

    • 修改/etc/profile

      1
      sudo vi /etc/profile

      最后一行，添加

      1
      2
      export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80
      export PATH=$PATH:$JAVA_HOME/bin

七、安装Hadoop

  1. 上传hadoop。使用命令行方式来上传,shift+cmd+p

    1
    put /Users/Downloads/hadoop-2.6.5.tar.gz

    不指定目的目录，会上传到用户的主目录。

  2. 解压

    1
    tar -zxvf hadoop-2.6.5.tar.gz  -C app/

  3. 配置HADOOP_HOME

    • 修改/etc/profile

      1
      sudo vi /etc/profile

      最后一行，新加HADOOP_HOME这一行。修改(其实是添加)PATH

      1
      2
      export  HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
      export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

八、配置hadoop的几个文件

  1. 配置 hadoop-env.sh

    1
    sudo vi hadoop-env.sh

    找到export JAVA_HOME=$(JAVA_HOME)修改为

    1
    export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80

  2. 配置core-site.xml。找到

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://spark:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/hadoop-2.6.5/data/</value>
    </property>
    </configuration>

  3. 配置hdfs-site.xml

    1
    2
    3
    4
    5
    6
    <configuration>
    <property>
    <name>dfs.repulication</name>#副本
    <value>1</value>#伪分布式陪1，全分布式一般为3
    </property>
    </configuration>

    到这里hdfs是可以启动了，但是为了方便，一次性把其他文件也配置了

  4. 配置mapred-site.xml.template
    先修改名字

    1
    2
    3
    4
    5
    6
    7
    8
    mv mapred-site.xml.template mapred-site.xml
    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>

  5. 配置yarn-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    <configuration>
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>spark</value>
    </property>
    </configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>

  6. 格式化，第一次配置格式化。

    1
    hadoop namenode -format

    如果格式化成功，大概在倒数10-20左右会看到一个

    1
    17/11/11 03:02:19 INFO common.Storage: Storage directory /home/hadoop/app/hadoop-2.6.5/data/dfs/name has been successfully formatted.

  7. 启动hdfs

    1
    start-dfs.sh

    第一次会提示你输入yes或者no。yes的话以后每次启动hdfs都会要求输入密码。no以后就不用输入密码。启动之后输入jps

    1
    jps

    看到

    1
    2
    3
    4
    4715 SecondaryNameNode
    4478 NameNode
    4564 DataNode
    4838 Jps

    则启动成功，配置正确。
    Done！
    cqzhlei@163.com