1、大数据 Hadoop配置和单机Hadoop系统配置

大数据 Hadoop配置和单机Hadoop系统配置

#查看服务器ipip add#设置主机名称hostnamectl set-hostname masterbash#查看hostname#绑定ipvi /etc/hosts

添加

服务器IP地址 master

#查看ssh状态systemctl status sshd

active (running)

#关闭防火墙systemctl stop firewalld#查看防火墙状态systemctl status firewalld#永久关闭防火墙systemctl disable firewalld

创建hadoop用户并设置密码

安装jdk

vi /etc/profile#环境变量export JAVA_HOME=jdk安装根目录全路径export PATH=$PATH:$JAVA_HOME/bin#执行使生效source /etc/profile#查看是否可用echo $JAVA_HOME# 查看jdk安装java -version

安装配置Hadoop环境

解压

vi /etc/profile

配置环境变量

# HADOOP_HOME 指向 JAVA 安装目录export HADOOP_HOME=hadoop安装根目录全路径export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#执行使生效source /etc/profile#检查hadoop#修改目录所有者和组chown -R hadoop:hadoop 安装目录全路径

安装单机hadoop系统

进入hadoop根目录

vi etc/hadoop/hadoop-env.sh

查找export JAVA_HOME修改等号后面为jdk路径

进入hadoop用户

创建imput目录

写一个统计文件,测试 MapReduce 运行

hadoop jar /usr/local/src/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/output

查看输出目录

查看输出目录下part-r-00000文件

递归删除输出目录

原文转载：http://www.shaoqun.com/a/764981.html

跨境电商：https://www.ikjzd.com/

杨颜：https://www.ikjzd.com/w/1820

c88是什么：https://www.ikjzd.com/w/1017.html

大数据Hadoop配置和单机Hadoop系统配置#查看服务器ipipadd#设置主机名称hostnamectlset-hostnamemasterbash#查看hostname#绑定ipvi/etc/hosts添加服务器IP地址master#查看ssh状态systemctlstatussshdactive(running)#关闭防火墙systemctlstopfirewalld#查看防火墙状态sy
r标：https://www.ikjzd.com/w/1070
promotion：https://www.ikjzd.com/w/127
kili：https://www.ikjzd.com/w/238
巨亏10个月，年会取消，2019年的航空货代市场惨不忍睹！：https://www.ikjzd.com/articles/111610
5款跨境电商ERP管理系统介绍！：https://www.ikjzd.com/articles/20222
关于亚马逊禁售和限制性销售商品的相关信息：https://www.ikjzd.com/articles/91253