CentOS下SSH免密码登陆配置,3通通布满式集群碰到

by admin on 2019年7月11日

在CentOSCentOS下SSH免密码登陆配置,3通通布满式集群碰到。下装Hadoop的时候,到了配备SSH免密码登入配置这一步,怎么也十一分。英特网采撷了广大方法,都不能够一蹴而就。我起来用普通用户登陆,数十三回布局无法打响。后来换做root身份,一下就行了!曾在Ubuntu下安顿的时候普通用户也能打响的,为何换来Centos后就万分了吗?

CentOS下SSH免密码登入配置

在CentOS下装Hadoop的时候,到了布置SSH免密码登陆配置这一步,怎么也十三分。网络搜罗了重重方式,都不能够一蹴而就。笔者起来用普通用户登入,数十次布署不可能得逞。后来换做root身份,一下就行了!曾经在Ubuntu下布署的时候普通用户也能学有所成的,为什么换来Centos后就十分了呢?

后来二个相恋的人提示了自个儿,应该是权力难点。Centos6.0启用了SElinux,在网络服务方面权力必要相比较严酷,笔者尝试着把SElinux关闭,重新配置,难题获得缓慢解决。上边是布局方式。

首先切换成root身份下,关闭SElinux:

[[email protected]
~]# vi /etc/selinux/config

home88一必发 1

设置SELINUX=disabled

然后重启。

普通用户登录,输入指令:

ssh-keygen -t dsa

直接回车,然后:

cd ~/.ssh

cat id_dsa.pub >> authorized_keys

测试:ssh localhost

###

home88一必发 2

在CentOS下装Hadoop的时候,到了安顿SSH免密码登陆配置这一步,怎么也极其。英特网搜集了成千上万主意,都无法一挥而就。小编…

分享一下CentOS
7搭建CentOS下SSH免密码登陆配置,3通通布满式集群碰到。Hadoop
2.7.3通通布满式集群景况步骤。

CentOS 6.4配置无密码SSH

新兴叁个对象提示了自家,应该是权力难题。Centos6.0启用了SElinux,在网络服务方面权力供给相比严酷,笔者尝试着把SElinux关闭,重新配置,难点获得化解。上面是布署格局。

(一)软件打算

 

先是切换来root身份下,关闭SElinux:

1,hadoop-2.7.3.tar.gz(包)

CentOS 6.4 对 网络管理十分严峻。单纯的 

[root@bogon ~]# vi /etc/selinux/config

2,三台机械装有cetos7的电话

 

home88一必发 3

(二)安装步骤

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa 

设置SELINUX=disabled

  1,给每台机子配一样的用户

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

接下来重启。

    进入root : su root

 

普通用户登录,输入指令:

    创设用户s:  useradd s

指令不能成功无密码SSH登录。要求做三件事情。

ssh-keygen -t dsa

    修改用户密码:passwd s

 

直接回车,然后:

  2.苏息防火墙及修改每台机的hosts(root 下)

1、关闭SElinux 

cd ~/.ssh

    vim /etc/hosts  如:(三台机子都如出一辙)

# vi /etc/selinux/config

cat id_dsa.pub >> authorized_keys

home88一必发 4

设置SELINUX=disabled

测试:ssh localhost

    vim /etc/hostsname:如修改后参看各自的hostname

 

###

home88一必发 5

2、改动权限

home88一必发 6

home88一必发 7

$ chmod  600 ~/.ssh / authorized_keys

越多CentOS相关信息见CentOS 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=14

home88一必发 8

$ chmod 700 ~/.ssh

home88一必发 9

    关闭防火墙:

 

      systemctl stop firewalld.service

3、注销再登入

      禁止使用防火墙:systemctl disable firewalld.service

 

      查看防火墙状态firewall-cmd –state

用ssh localhost再试试,OK。 

      重启 reboot

6.4配置无密码SSH CentOS 6.4 对
网络管理格外严俊。单纯的 $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa $ cat
~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 命令不可能…

  3,为每台机的用户s配置ssh,以用户s身份登陆 (应当要平等的用户,因为ssh通讯暗许使用同一用户身份访谈另一台机子)

    1,root 用户下修改:
vim /etc/ssh/sshd_config,设置那三项后,施行service sshd restart

home88一必发 10

     2,退出root,在用户s下操作

      生成密钥对: ssh-keygen -t dsa(一路回车就能够)

      转入ssh目录下:cd .ssh

      导入公钥: cat id_dsa.pub >>  authorized_keys

      修改authorized_keys权限:chmod 644       

      authorized_keys  (修改权限,保险本人免密码能登陆)

      验证  ssh Master (在三台机都实行同一的操作)

    3,实现master-slave免密码登入

      在master 上执行:   cat ~/.ssh/id_dsa.pub | ssh
s@Slave1 ‘cat – >> ~/.ssh/authorized_keys’      

                cat ~/.ssh/id_dsa.pub | ssh
s@Slave2 ‘cat – >> ~/.ssh/authorized_keys ‘**  

      验证 :ssh Slave1


 (三 )配置Hadoop集群

    1,解压hadoop和树立文件

      root用户下:tar zxvf
 /home/hadoop/hadoop-2.7.3.tar.gz -C /usr/  

       重命名:mv hadoop-2.7.3 hadoop

       授权给s: chown -R  s /usr/hadoop

    2,成立hdfs相关文件(三台机子都亟需操作)

      创设存款和储蓄hadoop数据文件的目录: mkdir /home/hadoopdir

      存款和储蓄有时文件,如pid:mkdir /home/hadoopdir/tmp

      创造dfs系统使用的dfs系统名称hdfs-site.xml使用:mkdir
/home/hadoopdir/dfs/name

      创制dfs系统使用的数据文件hdfs-site.xml文件使用:mkdir 
/home/hadoopdir/dfs/data

       授权给s: chown -R  s /home/hadoopdir

     3,配置境遇变量(三台机子都亟待操作)

     root用户下:vim /etc/profile  增加如图: 保存退出后:source
/etc/profile

          验证:hadoop version(这里要修改
 /usr/hadoop/etc/hadoop/hadoop-env.sh,即export JAVA_HOME=/usr/lib/jvm/jre)

home88一必发 11

     4,配置hadoop文件内容

      4.1 修改core-site.xml

<configuration>
       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
       </property>
       <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
       <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/home/hadoopdir/tmp/</value>
               <description>A base for other temporary   directories.</description>
       </property>
        <property>
               <name>hadoop.proxyuser.hadoop.hosts</name>
               <value>*</value>
       </property>
       <property>
               <name>hadoop.proxyuser.hadoop.groups</name>
               <value>*</value>
       </property>
</configuration>

     4.2 修改hdfs-site.xml文件

<configuration>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:///home/hadoopdir/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:///home/hadoopdir/dfs/data</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>2</value>
        </property>
        <property>
                 <name>dfs.webhdfs.enabled</name>
                  <value>true</value>
         </property>
</configuration>

    4.3 修改mapred-site.xml

<configuration>         
<property> 
      <name>mapreduce.framework.name</name>
          <value>yarn</value>
           </property>
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>Master:10020</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
       </property>
 <property>
                <name>mapreduce.jobtracker.http.address</name>
                <value>Master:50030</value>
       </property>
 <property>
                <name>mapred.job.tracker</name>
                <value>Master:9001</value>
       </property>
</configuration>

    4.4 修改 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>                                                               
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
<property>
               <name>yarn.resourcemanager.hostname</name>
               <value>Master</value>
       </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>Master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>Master:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>Master:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>Master:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>Master:8088</value>
       </property>
</configuration>

home88一必发,    4.5,修改 slaves文件

      home88一必发 12

   5,搭建集群(普通用户s)

     格式hadoop文件:hadoop  namenode -format
 (最终出现“util.ExitUtil: Exiting with status 0”,表示成功)

     发送dfs内容给Slave1:scp  -r /home/hadoopdir/dfs/*
 Slave1:/home/hadoopdir/dfs

      发给dfs内容给Slave2:scp  -r /home/hadoopdir/dfs/*
 Slave2:/home/hadoopdir/dfs

     发送hadoop文件给多少节点:scp -r /usr/hadoop/*
 Slave1:/usr/hadoop/  scp -r /usr/hadoop/*  Slave2:/usr/hadoop/

   6,运转集群

    ./sbin/start-all.sh

      1,jps(centos 7 暗许未有,能够参照分水线里的设置)

————————————–分割线

CentOS中使用yum安装java时,未有jps的难题的缓慢解决。

缓慢解决方法:需求安装java-1.X.X-openjdk-devel那一个包,他提供了jps那一个工具。

home88一必发 13

————————————–分割线

翻看:Master和Slave中分头出现如下所示:

      home88一必发 14

home88一必发 15

      2,离开安全形式(master): hadoop dfsadmin  safemode  leave

       查看结果:hadoop dfsadmin -report,如图

home88一必发 16

      3,登陆网页查看:http://Master:50070  (查看live node)  
 查看yarn意况(

        home88一必发 17

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装配置 
http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2���群搭建详解(高可用) 
http://www.linuxidc.com/Linux/2017-03/142052.htm

行使Ambari来布局Hadoop集群(搭建内网HDP源) 
http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu
14.04下Hadoop集群安装 
http://www.linuxidc.com/Linux/2017-02/140783.htm

CentOS 6.7安装Hadoop 2.7.2 
http://www.linuxidc.com/Linux/2017-08/146232.htm

Ubuntu 16.04上构建布满式Hadoop-2.7.3集群 
http://www.linuxidc.com/Linux/2017-07/145503.htm

CentOS 7.3下Hadoop2.8布满式集群安装与测量检验 
http://www.linuxidc.com/Linux/2017-09/146864.htm

CentOS 7 下 Hadoop 2.6.4 遍布式集群情况搭建 
http://www.linuxidc.com/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全遍布式集群搭建进程 
http://www.linuxidc.com/Linux/2017-06/144926.htm

越来越多Hadoop相关音信见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文恒久更新链接地址:http://www.linuxidc.com/Linux/2017-12/149906.htm

home88一必发 18

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图