HDFS、MapReduce的测试

发表于

HDFS、MapReduce的测试

本节测试主要包含两个内容

  • hdfs的测试
  • MapReduce的测试

    hdfs的测试

  1. 启动hdfs

    1
    start-dfs.sh

  2. 上传文件，命令行的模式。 上传了一个jdk文件到hdfs文件系统中。

    1
    hadoop fs -put jdk-7u80-linux-x64.tar.gz  hdfs://spark:9000/

    关于put的更多使用方法，可以参看官方文档。若文件上传成功，可以在mac的上面通过spark:50070可以查到相关信息。在查询之前，关闭centos的防火墙

  3. 从hdfs文件系统中下载文件到linux本地文件系统中 
    1
    hadoop fs -get hdfs://spark:9000/jdk-7u80-linux-x64.tar.gz /home/hadoop/

mapreduece的测试

  1. 先启动start-yarn.sh
    1
    start-yarn.sh

使用官方的example测试MapReduce

1
2
cd app/hadoop-2.6.5/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.5.jar pi 5 5