Detaillierte Schritte zur Installation eines Hadoop-Clusters unter Linux

Detaillierte Schritte zur Installation eines Hadoop-Clusters unter Linux

1. Erstellen Sie ein Hadoop-Verzeichnis im usr-Verzeichnis, importieren Sie das Installationspaket in das Verzeichnis und dekomprimieren Sie die Datei

2. Rufen Sie die Datei vim /etc/profile auf und bearbeiten Sie die Konfigurationsdatei

#hadoop
exportiere HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
exportiere CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

3. Machen Sie die Datei wirksam

Quelle /etc/Profil

4. Geben Sie das Hadoop-Verzeichnis ein

cd /usr/hadoop/hadoop-2.6.0/etc/hadoop

5. Bearbeiten Sie die Konfigurationsdatei

(1) Geben Sie die Datei vim hadoop-env.sh ein und fügen Sie (den Speicherort der Java-JDK-Datei) hinzu.

export JAVA_HOME=/usr/java/jdk1.8.0_181

(2) Geben Sie vim core-site.xml ein (z1: die IP oder der Mapping-Name des Masterknotens (ändern Sie ihn in Ihren eigenen)).

<Konfiguration>
<Eigenschaft>
        <name>hadoop.tmp.dir</name>
        <Wert>Datei:/root/hadoop/tmp</Wert>
</Eigenschaft>
<!--Portnummer 9000-->
<Eigenschaft>
        <name>fs.standardmäßiger.name</name>
        <Wert>hdfs://z1:9000</Wert>
</Eigenschaft>
<!--Mülleimer-Mechanismus in wenigen Minuten einschalten-->
<Eigenschaft>
    <name>fs.trash.intervall</name>
    <Wert>10080</Wert>
</Eigenschaft>
<!--Puffergröße, tatsächliche Arbeit hängt von der Serverleistung ab-->
<Eigenschaft>
    <name>io.Datei.Puffer.Größei</name>
    <Wert>4096</Wert>
</Eigenschaft>
</Konfiguration>
                                                                                                                                                                  39,9 unten

(3) Hadoop hat keine Datei mapred-site.xml. Kopieren Sie die Datei hier und geben Sie dann mapred-site.xml ein

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

(z1: die IP oder der Mapping-Name des Masterknotens (ändern Sie ihn in Ihren eigenen))

<Konfiguration>
<Eigenschaft>
<!--Geben Sie Mapreduce für die Ausführung auf Yarn an-->
   <name>mapreduce.framework.name</name>
   <value>Garn</value>
 </Eigenschaft>
<!--Starten Sie den kleinen Taskmodus von MapReduce-->
<Eigenschaft>
      <name>mapred.job.ubertask.aktivieren</name>
      <Wert>wahr</Wert>
</Eigenschaft>
<Eigenschaft>
      <name>mapred.job.tracker</name>
      <Wert>z1:9001</Wert>
</Eigenschaft>
 
<Eigenschaft>
<name>mapreduce.jobhistory.adresse</name>
<Wert>CMaster:10020</Wert>
</Eigenschaft>
</Konfiguration>

(4) Geben Sie yarn-site.xml ein

vim yarn-site.xml

(z1: die IP oder der Mapping-Name des Masterknotens (ändern Sie ihn in Ihren eigenen))

<Konfiguration>
 
<!-- Sitespezifische YARN-Konfigurationseigenschaften -->
 
<!--Speicherort des Yarn-Masterknotens konfigurieren-->
<Eigenschaft>
        <name>garn.resourcemanager.hostname</name>
        <Wert>z1</Wert>
</Eigenschaft>
<Eigenschaft>
<!-- mapreduce, die Methode zum Abrufen von Daten bei der Ausführung von shuff1e.-->
<description>Die Adresse der Anwendungsmanagerschnittstelle im RM.</description>
     <name>Garn.Resourcemanager.Adresse</name>
     <Wert>z1:8032</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>garn.resourcemanager.scheduler.adresse</name>
  <Wert>z1:8030</Wert>
</Eigenschaft>
 
<Eigenschaft>
  <name>yarn.resourcemanager.webapp.adresse</name>
  <Wert>z1:8088</Wert>
</Eigenschaft>
 
<Eigenschaft>
  <name>yarn.resourcemanager.webapp.https.Adresse</name>
  <Wert>z1:8090</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>Garn.Resourcemanager.Resource-Tracker.Adresse</name>
  <Wert>z1:8031</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>yarn.resourcemanager.admin.adresse</name>
  <Wert>z1:8033</Wert>
</Eigenschaft>
<Eigenschaft><!--Die Art und Weise, wie Daten abgerufen werden, wenn MapReduce shuff1e ausführt, -->
  <name>yarn.nodemanager.aux-services</name>
  <Wert>mapreduce_shuffle</Wert>
</Eigenschaft>
<Eigenschaft>
<!--Speicher festlegen, Speicherzuordnung von Garn-->
  <name>yarn.scheduler.maximum-a11ocation-mb</name>
  <Wert>2024</Wert>
  <discription>Verfügbarer Speicher pro Knoten, Einheit: M, Standard: 8182 MB</discription>
</Eigenschaft>
<Eigenschaft>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <Wert>2,1</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>Garn.NodeManager.Ressource.Speicher-MB</name>
  <Wert>1024</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <Wert>falsch</Wert>
</Eigenschaft>
 
<Eigenschaft>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<Wert>org.apache.hadoop.mapred.ShuffleHandler</Wert>
</Eigenschaft>
 
 
</Konfiguration>

(5) Geben Sie hdfs-site.xml ein

vim hdfs-site.xml 

<Konfiguration>
<Eigenschaft>
        <name>dfs.namenode.name.dir</name>
        <Wert>Datei:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</Wert>
</Eigenschaft>
 <Eigenschaft>
        <name>dfs.datanode.data.dir</name>
        <Wert>Datei:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</Wert>
    </Eigenschaft>
<Eigenschaft>
<!--Anzahl der Kopien-->
<name>dfs.replikation</name>
<Wert>3</Wert>
</Eigenschaft>
<!--Berechtigungen für HDFS-Dateien festlegen-->
<Eigenschaft>
<name>dfs.Berechtigungen</name>
<Wert>falsch</Wert>
</Eigenschaft>
<!--Größe eines Dateisegments festlegen: 128 m-->
<Eigenschaft>
<name>dfs.bloksize</name>
<Wert>134217728</Wert>
</Eigenschaft>
</Konfiguration>

6. Geben Sie Slaves ein, um Masterknoten und Slaveknoten hinzuzufügen

Vim-Sklaven

Fügen Sie Ihren eigenen Master-Knoten und Slave-Knoten hinzu (meine sind z1, z2, z3)

7. Kopieren Sie jede Datei auf eine andere virtuelle Maschine

scp -r /etc/profile root@z2:/etc/profile #Verteilen Sie die Profildatei mit der Umgebungsvariable an den Knoten z2 scp -r /etc/profile root@z3:/etc/profile #Verteilen Sie die Profildatei mit der Umgebungsvariable an den Knoten z3 scp -r /usr/hadoop root@z2:/usr/ #Verteilen Sie die Hadoop-Datei an den Knoten z2 scp -r /usr/hadoop root@z3:/usr/ #Verteilen Sie die Hadoop-Datei an den Knoten z3

Die Umgebungsvariablen der beiden Slave-Knoten werden wirksam

Quelle /etc/Profil

8. Hadoop formatieren (nur im Masterknoten ausführen)

Überprüfen Sie zunächst, ob JPS Hadoop gestartet hat

Hadoop-Namensknoten -Format

Wenn „Beenden mit Status 0“ angezeigt wird, bedeutet dies, dass die Formatierung erfolgreich war.

9. Kehren Sie zum Hadoop-Verzeichnis zurück (nur auf dem Masterknoten ausführen)

cd /usr/hadoop/hadoop-2.6.0
sbin/start-all.sh startet Hadoop und arbeitet nur auf dem Masterknoten

Die Eingabe von JPS auf dem Masterknoten hat folgende Auswirkungen:

Die Auswirkung der JPS-Eingabe vom Knoten:

Dies ist das Ende dieses Artikels über die detaillierten Schritte zur Installation eines Hadoop-Clusters unter Linux. Weitere relevante Inhalte zur Installation eines Hadoop-Clusters unter Linux finden Sie in früheren Artikeln auf 123WORDPRESS.COM oder in den verwandten Artikeln weiter unten. Ich hoffe, dass jeder 123WORDPRESS.COM in Zukunft unterstützen wird!

Das könnte Sie auch interessieren:
  • Installations- und Einrichtungsprozess von Hadoop 2.7.3 unter Linux
  • Detaillierte grafische Erläuterung der Hadoop-Installation und -Konfiguration basierend auf Linux7
  • So installieren Sie die Standalone-Version von Spark in einer Linux-Umgebung ohne Verwendung von Hadoop
  • Schritte zum Erstellen des Hadoop-Dienstes in Centos7 unter Linux
  • Detaillierte Schritte zum Installieren und Konfigurieren eines Hadoop-Clusters unter Linux
  • Gemeinsame Erläuterung der Schritte zum Erstellen einer Hadoop-Umgebung unter Linux
  • Detaillierte Erläuterung der Installation eines echten verteilten Hadoop-Clusters auf einem Linux-System

<<:  JavaScript zur Implementierung eines Sprachwarteschlangensystems

>>:  Füllen Sie die Suchfunktion auf der HTML-Seite aus

Artikel empfehlen

Erläuterung des MySQL-Abfragebeispiels anhand instanziierter Objektparameter

Dieser Artikel stellt vor, wie Sie durch Instanzi...

Detaillierte Erläuterung des Implementierungsprozesses der ServerSocket-Standard-IP-Bindung

Wenn der Server während der Entwicklung gestartet...

LayUI+Shiro implementiert ein dynamisches Menü und erinnert sich an das Beispiel der Menüerweiterung

Inhaltsverzeichnis 1. Maven-Abhängigkeit 2. Menüb...

Schritte zur VMware-Konfiguration des VMnet8-Netzwerks

Inhaltsverzeichnis 1. Einleitung 2. Konfiguration...

Detaillierte Erläuterung des Beispielcodes für das elastische CSS3 Flex-Layout

1. Grundlegende Konzepte //Jeder Container kann a...

Detaillierte Erläuterung des praktischen Protokolls zur Lösung der Netzwerkisolation durch Nginx

brauchen Vor Kurzem mussten wir die Node-Onlinedi...

Ein Fehler wurde behoben, der dadurch verursacht wurde, dass die Bildlaufleiste Platz einnahm

Hintergrund Dieser Fehler wurde dadurch verursach...

Umfassendes Verständnis von Zeilenhöhe und vertikaler Ausrichtung

Vorherige Wörter Zeilenhöhe, Schriftgröße und vert...

Detaillierte Erklärung des Unterschieds zwischen Docker-Compose-Ports und Expose

Es gibt zwei Möglichkeiten, Container-Ports in Do...

Eine kurze Einführung in Linux-Umgebungsvariablendateien

Im Linux-System können Umgebungsvariablen entspre...

Vue SPA-Lösung zur Optimierung des ersten Bildschirms

Inhaltsverzeichnis Vorwort Optimierung SSR Import...

Detaillierte Erklärung der Interaktion zwischen React Native und IOS

Inhaltsverzeichnis Voraussetzungen RN übergibt We...

Eine kurze Analyse der Verwendung des HTML-Webpack-Plugins

Wenn Sie zum Starten der Seite das Plugin „html-w...

Zusammenfassung der grundlegenden Wissenspunkte der Linux-Gruppe

1. Grundlegende Einführung in die Linux-Gruppe Un...

JavaScript BOM erklärt

Inhaltsverzeichnis 1. BOM-Einführung 1. JavaScrip...