Hadoop 3.1.1 Vollständig verteiltes Installationshandbuch unter CentOS 6.8 (empfohlen)

Vorstehend:

Dieses Dokument basiert auf der Annahme, dass die drei virtuellen Maschinen sich gegenseitig anpingen können, die Firewall ausgeschaltet ist, die Hosts-Datei geändert ist, die SSH-Anmeldung ohne Kennwort möglich ist, der Hostname geändert werden kann usw.

eins. Eingehende Dateien

1. Erstellen Sie ein Installationsverzeichnis

mkdir /usr/local/soft

2. Öffnen Sie xftp, suchen Sie das entsprechende Verzeichnis und übergeben Sie das erforderliche Installationspaket hinein

Zeigen Sie das Installationspaket an: cd /usr/local/soft

zwei. Installieren Sie JAVA

1. Überprüfen Sie, ob JDK installiert ist: java -version

2. Falls nicht installiert, entpacken Sie das Java-Installationspaket: tar -zxvf jdk-8u181-linux-x64.tar.gz

(Das Installationspaket jeder Person kann unterschiedlich sein, bitte informieren Sie sich selbst.)

3. Benennen Sie jdk um und überprüfen Sie den aktuellen Speicherort: mv jdk1.8.0_181 java

4. Konfigurieren Sie die JDK-Umgebung: vim /etc/profile.d/jdk.sh

export JAVA_HOME=/usr/local/soft/java
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

5. Aktualisieren Sie die Umgebungsvariablen und überprüfen Sie: Quelle /etc/profile

drei. Installieren von Hadoop

1. Entpacken Sie das Hadoop-Installationspaket: tar -zxvf hadoop-3.1.1.tar.gz

2. Überprüfen und umbenennen: mv hadoop-3.1.1 hadoop

3. Konfigurieren Sie die Hadoop-Konfigurationsdatei

3.1 Ändern Sie die Konfigurationsdatei core-site.xml: vim hadoop/etc/hadoop/core-site.xml

<Eigenschaft>

<name>fs.defaultFS</name>

<Wert>hdfs://master:9000</Wert>

</Eigenschaft>

<Eigenschaft>

<name>hadoop.tmp.dir</name>

<Wert>Datei:/usr/local/soft/hadoop/tmp</Wert>

<description>Eine Basis für andere temporäre Verzeichnisse.</description>

</Eigenschaft>

<Eigenschaft>

 <name>fs.trash.interval</name>

 <Wert>1440</Wert>

</Eigenschaft>

3.2 Ändern Sie die Konfigurationsdatei hdfs-site.xml: vim hadoop/etc/hadoop/hdfs-site.xml

<Eigenschaft>
<name>dfs.namenode.secondary.http-Adresse</name>
<Wert>Knoten1:50090</Wert>
</Eigenschaft>
<Eigenschaft>
<name>dfs.replikation</name>
<Wert>3</Wert>
</Eigenschaft>
<Eigenschaft>
<name>dfs.namenode.name.dir</name>
<Wert>Datei:/usr/local/soft/hadoop/tmp/dfs/name</Wert>
</Eigenschaft>
<Eigenschaft>
<name>dfs.datanode.data.dir</name>
<Wert>Datei:/usr/local/soft/hadoop/tmp/dfs/data</Wert>
</Eigenschaft>

3.3 Ändern Sie die Konfigurationsdatei der Worker: vim hadoop/etc/hadoop/workers

3.4 Ändern Sie die Datei hadoop-env.sh: vim hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/soft/java

3.5 Ändern Sie die Datei yarn-site.xml: vim hadoop/etc/hadoop/yarn-site.xml

<Eigenschaft>
<name>garn.resourcemanager.hostname</name>
<Wert>Meister</Wert>
</Eigenschaft>
<Eigenschaft>
<name>yarn.nodemanager.aux-services</name>
<Wert>mapreduce_shuffle</Wert>
</Eigenschaft>

3.6 Aktualisieren Sie die Konfigurationsdatei: source hadoop/etc/hadoop/hadoop-env.sh

3.7 Ändern Sie die Konfigurationsdatei start-dfs.sh: im hadoop/sbin/start-dfs.sh

exportiere HDFS_NAMENODE_SECURE_USER=root
exportiere HDFS_DATANODE_SECURE_USER=root
exportiere HDFS_SECONDARYNAMENODE_USER=root
exportiere HDFS_NAMENODE_USER=root
exportiere HDFS_DATANODE_USER=root
exportiere HDFS_SECONDARYNAMENODE_USER=root
exportiere YARN_RESOURCEMANAGER_USER=root
exportiere YARN_NODEMANAGER_USER=root

3.8 Ändern Sie die Konfigurationsdatei stop-dfs.sh: vim hadoop/sbin/stop-dfs.sh

exportiere HDFS_NAMENODE_SECURE_USER=root
exportiere HDFS_DATANODE_SECURE_USER=root
exportiere HDFS_SECONDARYNAMENODE_USER=root
exportiere HDFS_NAMENODE_USER=root
exportiere HDFS_DATANODE_USER=root
exportiere HDFS_SECONDARYNAMENODE_USER=root
exportiere YARN_RESOURCEMANAGER_USER=root
exportiere YARN_NODEMANAGER_USER=root

3.9 Ändern Sie die Konfigurationsdatei start-yarn.sh: vim hadoop/sbin/start-yarn.sh

exportiere YARN_RESOURCEMANAGER_USER=root
exportiere HADOOP_SECURE_DN_USER=root
exportiere YARN_NODEMANAGER_USER=root

3.10 Ändern Sie die Konfigurationsdatei stop-yarn.sh: vim hadoop/sbin/stop-yarn.sh

exportiere YARN_RESOURCEMANAGER_USER=root
exportiere HADOOP_SECURE_DN_USER=root
exportiere YARN_NODEMANAGER_USER=root

3.11 Drucken von Warninformationen abbrechen: vim hadoop/etc/hadoop/log4j.properties

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=FEHLER

Vier. Konfigurationsinformationen synchronisieren:

1. Knoten1 synchronisieren: scp -r soft root@node1:/usr/local/

Knoten2 synchronisieren: scp -r soft root@node2:/usr/local/

2. Warten Sie, bis alle Übertragungen abgeschlossen sind, und konfigurieren Sie die Profildatei: vim /etc/profile.d/hadoop.sh

#HADOOP EINSTELLEN
exportiere HADOOP_HOME=/usr/local/soft/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
exportiere HADOOP_MAPRED_HOME=$HADOOP_HOME
exportiere HADOOP_COMMON_HOME=$HADOOP_HOME
exportiere HADOOP_HDFS_HOME=$HADOOP_HOME
exportiere YARN_HOME=$HADOOP_HOME
exportiere HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

3. Weiter mit der Übertragung

Für Knoten1: scp /etc/profile.d/jdk.sh root@node1:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node1:/etc/profile.d/

Für Knoten2: scp /etc/profile.d/jdk.sh root@node2:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node2:/etc/profile.d/

4. Auf allen drei virtuellen Maschinen ausführen

Quelle /etc/Profil

Quelle /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh

(Es wird nur eines angezeigt)

5. Formatieren Sie das HDFS-Dateisystem: hdfs namenode -format (nur auf dem Master)

fünf. Starten des Clusters

cd /usr/local/soft/hadoop/sbin/

./start-all.sh

Geben Sie nach dem Start jeweils jps auf den drei virtuellen Maschinen ein

Die Ergebnisse sind wie folgt:

Google-Browsertest unter Windows:

http://192.168.204.120:8088/cluster (geben Sie die IP-Adresse Ihres eigenen Masters ein)

http://192.168.204.120:9870

Hadoop-Test (Berechnungstest der MapReduce-Ausführung):

hadoop jar /usr/local/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar Wortanzahl /Eingabe /Ausgabe

Sehen Sie sich die Laufergebnisse an:

Die obige Hadoop-Konfiguration ist abgeschlossen.

Zusammenfassen

Oben finden Sie die vollständige, vom Herausgeber vorgestellte Anleitung zur verteilten Installation von hadoop3.1.1 unter centos6.8. Ich hoffe, sie ist für alle hilfreich. Wenn Sie Fragen haben, hinterlassen Sie mir bitte eine Nachricht und der Herausgeber wird Ihnen rechtzeitig antworten. Ich möchte auch allen für ihre Unterstützung der Website 123WORDPRESS.COM danken!
Wenn Sie diesen Artikel hilfreich finden, können Sie ihn gerne abdrucken und dabei bitte die Quelle angeben. Vielen Dank!