Allgemeine Überlegungen zum Erstellen eines Hadoop 3.2.0-Clusters

Ein Port ändert sich

In Version 3.2.0 beträgt der Namenode-Seitenport 9870 und der Datanode-Verwaltungsport 8088. Daher müssen diese beiden Ports für den Zugriff auf die Webseite geöffnet werden.

Aber es ist kein YARN_RESOURCEMANAGER_USER definiert. Vorgang wird abgebrochen

In hadoop-env.sh müssen Sie nicht nur Java-Home, sondern auch die folgenden Benutzervariablen konfigurieren:

exportiere JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
exportiere HDFS_NAMENODE_USER=root
exportiere HDFS_DATANODE_USER=root
exportiere HDFS_SECONDARYNAMENODE_USER=root
exportiere YARN_RESOURCEMANAGER_USER=root
exportiere YARN_NODEMANAGER_USER=root

Zur Konfiguration der Datei mapred-site.xml der Version 3.2.0 muss das Attribut mapreduce.application.classpath hinzugefügt werden

<Eigenschaft> <Name>mapreduce.application.classpath</Name> <Wert> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </Wert> </Eigenschaft>

Vier Salave-Dateien werden in Worker-Dateien programmiert, und die Inhaltskonfiguration ist dieselbe

5. Der Start ist erfolgreich und ohne Fehler, aber das ärgerlichste Problem ist, dass die Anzahl der Live-Knoten 0 ist

Lösungsschritte:

Überprüfen Sie zuerst das Datanode-Protokoll:

Wenn dies auftritt, liegt ein Problem mit der Verbindungskonfiguration vor. Überprüfen Sie die core-site.xml-Konfiguration, die zur Konfiguration der Kommunikation zwischen Datanode und Namnode verwendet wird:

Auf einen Blick

Es liegt ein Problem mit der hier konfigurierten Verbindungsadresse vor

hdfs sollte als Adresse des Namnode konfiguriert werden, nicht als Adresse des Datanode. Alle Knoten haben dieselbe Adresse. Nach der Konfiguration ist der Neustart erfolgreich.

Es gibt auch online Berichte, dass die Auflösung von /etc/hots fehlgeschlagen ist. Dies ist auch ein Grund. Konfigurieren Sie einfach die Domänennamenzuordnung. Wichtig ist, zuerst die Protokollanalyse anzusehen, um herauszufinden, wo das Problem liegt.

Letzte erfolgreiche Seite

Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, er wird für jedermanns Studium hilfreich sein. Ich hoffe auch, dass jeder 123WORDPRESS.COM unterstützen wird.