Detaillierte grafische Erläuterung der Hadoop-Installation und -Konfiguration basierend auf Linux7

Bereiten Sie die Zutaten wie oben gezeigt vor (ps: hadoop-3.1.2-src wird in hadoop-3.1.2 geändert

Was bedeutet src für die Quelldatei? Wie auch immer, ich habe es geändert. Bitte beachten Sie die Screenshots unten. Wenn es Fehler gibt, werde ich sie korrigieren, wenn ich Zeit habe.)

Installieren Sie centos7

Klicken Sie mit der rechten Maustaste auf den Desktop, um das Terminal zu öffnen. Geben Sie ifconfig ein. Überprüfen Sie die IP-Adresse von ens33. Merken Sie sich xftp6 und öffnen Sie es.

Klicken Sie auf Neu

Wählen Sie mehrere Zutaten aus und klicken Sie mit der rechten Maustaste, um sie zu übertragen. Die Übertragungsgeschwindigkeit des Intranets ist weder schnell noch langsam.

Es ist perfekt.

Entpacken Sie das Hadoop-Installationspaket tar -zxvf hadoop-3.1.2-src.tar.gz

Ich habe centos7 neu installiert und es beim Entpacken in Ordner aufgeteilt

Schreiben Sie wie oben

Öffnen Sie xshell und erstellen Sie eine neue

Geben Sie Ihre Host-IP ein und schreiben Sie Ihren Benutzernamen und Ihr Passwort in das Benutzerauthentifizierungsfeld

Ja, das ist es - dann müssen alle drei Maschinen umbenannt werden

Die Zeitsynchronisierung erfolgt in der gleichen Zeitzone. Um sicherzustellen, dass die Hostzeit genau eingestellt ist, muss die Zeitzone aller Computer konsistent sein. Im Experiment müssen wir die Netzwerkzeit synchronisieren, also müssen wir zuerst die gleiche Zeitzone auswählen. Stellen Sie zunächst sicher, dass die Zeitzonen identisch sind, da es sonst nach der Synchronisierung zu einer Zeitzonendifferenz kommt. Mit dem Befehl date können Sie die Uhrzeit Ihres Computers überprüfen. Wählen Sie die Zeitzone aus: tzselect

1. Schalten Sie die Firewall aus

Wenn der Status „tot“ lautet, ist die Firewall geschlossen. Schließen Sie die Firewall: systemctl stop firewalld. Zeigen Sie den Status an: systemctl status firewalld.

2. Hosts-Dateikonfiguration (drei Maschinen) Geben Sie die IP-Adresse jedes Knotens wie unten gezeigt ein

3. Der Master fungiert als NTP-Server und ändert die NTP-Konfigurationsdatei. (Auf dem Master ausgeführt)

vi /etc/ntp.conf
	Server 127.127.1.0 # lokale Uhr
	fudge 127.127.1.0 stratum 10 #Es ist auch möglich, Stratum auf andere Werte einzustellen, der Bereich liegt zwischen 0 und 15 

	Starten Sie den NTP-Dienst neu.
	/bin/systemctl ntpd.service neu starten

	Andere Maschinen synchronisieren (Slave1, Slave2)
	Warten Sie etwa fünf Minuten und synchronisieren Sie dann die Masterserverzeit auf anderen Computern.
	ntpdate-Master

	Wenn die Konfigurationsplattform über keine externe Netzwerkverbindung verfügt, können Sie alle drei Maschinen auf die gleiche Zeit einstellen, indem Sie den folgenden Befehl eingeben:
	date -s 10:00 (Uhrzeit) 

Kommen Sie endlich zur Sache? ? ? Keine Panik.

1. SSH ohne Passwort

(1) Jeder Knoten generiert einen öffentlichen und einen privaten Schlüssel:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (drei Maschinen)
Das Verzeichnis zur Schlüsselgenerierung befindet sich im Verzeichnis .ssh unter dem Stammverzeichnis des Benutzers. Geben Sie das entsprechende Verzeichnis ein, um es anzuzeigen:
cd .ssh/

(2) Id_dsa.pub ist der öffentliche Schlüssel, id_dsa ist der private Schlüssel. Kopieren Sie dann die Datei mit dem öffentlichen Schlüssel in die Datei authorized_keys: (nur Master)

cat id_dsa.pub >> authorized_keys (beachten Sie, dass dies im Pfad .ssh/ erfolgt)

Die Verbindung zu sich selbst auf dem Host wird auch als SSH-Loopback bezeichnet.
SSH-Master

(3) Erlauben Sie dem Masterknoten, sich ohne Kennwort per SSH bei den beiden Slaveknoten anzumelden. (Betrieb im Slave)

Um diese Funktion zu erreichen, müssen die öffentlichen Schlüsseldateien der beiden Slave-Knoten die öffentlichen Schlüsselinformationen des Master-Knotens enthalten, damit der Master erfolgreich und sicher auf die beiden Slave-Knoten zugreifen kann.
Der Slave1-Knoten verwendet den scp-Befehl, um sich remote beim Master-Knoten anzumelden, die öffentliche Schlüsseldatei des Masters in das aktuelle Verzeichnis zu kopieren und sie in master_das.pub umzubenennen. Dieser Vorgang erfordert eine Kennwortüberprüfung.

scp master:~/.ssh/id_dsa.pub ./master_das.pub

Hängen Sie die öffentliche Schlüsseldatei des Masterknotens an die Datei authorized_keys an:

cat master_das.pub >> authorized_keys

(1) Generieren Sie für jeden Knoten öffentliche und private Schlüssel: ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (drei Maschinen) Das Verzeichnis zur Schlüsselgenerierung befindet sich im Verzeichnis .ssh unter dem Stammverzeichnis des Benutzers. Geben Sie das entsprechende Verzeichnis ein, um es anzuzeigen: cd .ssh/ (2) Id_dsa.pub ist der öffentliche Schlüssel, id_dsa ist der private Schlüssel. Kopieren Sie dann die öffentliche Schlüsseldatei in die Datei authorized_keys: (nur Master) cat id_dsa.pub >> authorized_keys (beachten Sie, dass sich der Vorgang unter dem Pfad .ssh/ befindet). Die Verbindung mit sich selbst auf dem Host wird auch als interne SSH-Schleife bezeichnet. SSH-Master

Zu diesem Zeitpunkt,

Der Master kann sich nun mit Slave1 verbinden.

Wenn der Slave1-Knoten zum ersten Mal verbunden wird, muss er die Verbindung mit „Ja“ bestätigen. Dies bedeutet, dass der Masterknoten bei der Verbindung mit dem Slave1-Knoten manuell gefragt werden muss und keine automatische Verbindung herstellen kann. Nach der Eingabe von „Ja“ ist die Verbindung erfolgreich. Melden Sie sich dann ab und beenden Sie den Vorgang zum Masterknoten.

Der gleiche Vorgang wird in Slave2 durchgeführt

JDK wurde bereits installiert, daher konfigurieren wir die Umgebung direkt, genau wie die Konfiguration von Umgebungsvariablen in Windows (drei Maschinen).

Umgebungsvariablen ändern: vi /etc/profile
> Fügen Sie den folgenden Inhalt hinzu:
> export JAVA_HOME=/usr/java/jdk1.8.0_241
> export CLASSPATH=$JAVA_HOME/lib/export
> PATH=$PATH:$JAVA_HOME/bin
> PFAD exportieren JAVA_HOME CLASSPATH

So aktivieren Sie Umgebungsvariablen: Quelle /etc/profile

Fügen Sie einen kleinen Trick ein scp

scp /etc/profile slave1:/etc/profile ##Auf diese Weise kann es an Slave1 und Slave2 weitergegeben werden

Endlich bei Hadoop angekommen? ? ? Herzlichen Glückwunsch, Ning!

Konfigurieren Sie Umgebungsvariablen:
vi /etc/Profil
exportiere HADOOP_HOME=/usr/hadoop/hadoop-3.1.2
exportiere CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

Sag mir laut, welchen Schritt ich oft vergesse!

Verwenden Sie den folgenden Befehl, um das Profil wirksam zu machen: source /etc/profile

Herzliche Erinnerung: Unten finden Sie den Inhalt der Konfigurationsdatei. In diesem Artikel wird der Inhalt vorerst nicht erläutert, aber ich habe eine Standardkonfigurationsdatei für Sie vorbereitet.

Bearbeiten Sie die Hadoop-Umgebungskonfigurationsdatei hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_241
Diese Datei enthält zahlreiche Kommentare. Suchen Sie die Vorlage, die Sie konfigurieren möchten, und löschen Sie das Rautezeichen.

Dann kommt der Teil, wo ich faul werde! ! ! ! ! Ich habe mehrere Konfigurationsdateien hochgeladen. Wir können sie in diesen Ordner kopieren. Wenn das System fragt, ob überschrieben werden soll, geben Sie einfach y ein.

core-site.xml yarn-site.xml hdfs-site.xml mapred-site.xml 

Sie müssen auch die Slave-Datei schreiben und Slave1 Slave2 hinzufügen, wie unten gezeigt

Es gibt auch eine Masterdatei

(9) Hadoop verteilen:
scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

Formatieren Sie hadoop im Master-Hadoop-Namenode -format. Wenn ein Fehler gemeldet wird, prüfen Sie unter dem folgenden Link, ob eine Lösung für den Fehler vorliegt

Zusammenfassen

Oben finden Sie die vom Herausgeber vorgestellte detaillierte grafische Beschreibung der Installation und Konfiguration von Hadoop basierend auf Linux 7. Ich hoffe, sie ist für alle hilfreich!