Das Thema Big Data wird immer wichtiger und wer mit mehreren Big Data-Komponenten nicht vertraut ist, hat nicht einmal ein Schlagwort, mit dem er angeben kann. Zumindest sollten Sie Hadoop, HDFS, MapReduce, Yarn, Kafka, Spark, Zookeeper und Neo4j beherrschen. Das sind wichtige Fähigkeiten, um sich zu präsentieren. Im Internet gibt es viele ausführliche Einführungen zu Spark. Suchen Sie einfach danach. Lassen Sie uns als Nächstes über die Installation und kurze Verwendung der Standalone-Version von Spark sprechen. 0. JDK installieren. Da ich JDK bereits auf meinem Rechner habe, kann ich diesen Schritt überspringen. JDK ist bereits ein Klischee, es ist aber selbstverständlich, dass es bei der Verwendung von Java/Scala unverzichtbar ist. ubuntu@VM-0-15-ubuntu:~$ java -version OpenJDK-Version „1.8.0_151“ OpenJDK-Laufzeitumgebung (Build 1.8.0_151-8u151-b12-0ubuntu0.16.04.2-b12) OpenJDK 64-Bit-Server-VM (Build 25.151-b12, gemischter Modus) ubuntu@VM-0-15-ubuntu:~$ 1. Sie müssen Hadoop nicht unbedingt installieren, Sie müssen nur eine bestimmte Spark-Version auswählen. Sie müssen Scala nicht herunterladen, da Spark standardmäßig mit einer Scala-Shell geliefert wird. Gehen Sie zum Herunterladen auf die offizielle Spark-Website. In einer Umgebung ohne Hadoop können Sie Folgendes auswählen: spark-2.2.1-bin-hadoop2.7 und es dann wie folgt entpacken: ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc$ ll insgesamt 196436 drwxrwxr-x 3 Ubuntu Ubuntu 4096 2. Februar 19:57 ./ drwxrwxr-x 9 Ubuntu Ubuntu 4096 2. Februar 19:54 ../ drwxrwxr-x 13 Ubuntu Ubuntu 4096 2. Februar 19:58 Spark-2.2.1-bin-hadoop2.7/ -rw-r--r-- 1 Ubuntu Ubuntu 200934340 2. Februar 19:53 Spark-2.2.1-bin-hadoop2.7.tgz 2. Spark hat Python- und Scala-Versionen. Als Nächstes werde ich die Scala-Version der Shell wie folgt verwenden: ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ bin/spark-shell Verwenden des Standard-Log4j-Profils von Spark: org/apache/spark/log4j-defaults.properties Festlegen der Standardprotokollebene auf „WARN“. Um die Protokollierungsebene anzupassen, verwenden Sie sc.setLogLevel(newLevel). Verwenden Sie für SparkR setLogLevel(newLevel). 18/02/02 20:12:16 WARNUNG NativeCodeLoader: Native-Hadoop-Bibliothek für Ihre Plattform kann nicht geladen werden... ggf. werden integrierte Java-Klassen verwendet 18/02/02 20:12:16 WARN Utils: Ihr Hostname, localhost, wird in eine Loopback-Adresse aufgelöst: 127.0.0.1; stattdessen wird 172.17.0.15 verwendet (auf Schnittstelle eth0) 18/02/02 20:12:16 WARN Utils: Setzen Sie SPARK_LOCAL_IP, wenn Sie an eine andere Adresse binden müssen Spark-Kontext-Web-Benutzeroberfläche verfügbar unter http://172.17.0.15:4040 Spark-Kontext verfügbar als „sc“ (Master = local[*], App-ID = local-1517573538209). Spark-Sitzung als „Spark“ verfügbar. Willkommen bei ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ Version 2.2.1 /_/ Verwende Scala Version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_151) Geben Sie Ausdrücke ein, um sie auswerten zu lassen. Geben Sie :help ein, um weitere Informationen zu erhalten. scala> So führen Sie einfache Vorgänge aus: scala> val Zeilen = sc.textFile("README.md") Zeilen: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] bei textFile bei <console>:24 scala> Zeilen.Anzahl() res0: Lang = 103 scala> Zeilen.zuerst() res1: Zeichenfolge = # Apache Spark scala>: beenden ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ wc -l README.md 103 README.md ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ head -n 1 README.md # Apache Spark ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ Werfen wir einen Blick auf die visuelle Webseite. Unter Windows geben Sie Folgendes ein: http://ip:4040 OK, dieser Artikel ist nur eine einfache Installation, wir werden Spark später noch ausführlicher vorstellen. Zusammenfassen Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, dass der Inhalt dieses Artikels einen gewissen Lernwert für Ihr Studium oder Ihre Arbeit hat. Vielen Dank für Ihre Unterstützung von 123WORDPRESS.COM. Wenn Sie mehr darüber erfahren möchten, schauen Sie sich bitte die folgenden Links an Das könnte Sie auch interessieren:
|
<<: Fallstricke bei der Installation der dekomprimierten Version von MySQL 5.7.20 (empfohlen)
>>: Beispielcode zur Implementierung der Schnittstellensignatur mit Vue+Springboot
Wie unten dargestellt: Der Testbefehl stellt fest...
1. Zählen Sie die Anzahl der Benutzer, deren Stan...
Inhaltsverzeichnis 1. Übersicht 2. Anwendungsbeis...
Das Miniprogramm implementiert einen vollständige...
Schritte: 1. MySQL-Datenbank installieren 1. Lade...
Wirkung demo.html <html> <Kopf> <m...
Inhaltsverzeichnis 1. Installieren Sie ESXi 2. ES...
Inhaltsverzeichnis 1. Open-Source-Lagerverwaltung...
reduce Methode ist eine Array-Iterationsmethode. ...
Dieser Artikel veranschaulicht anhand von Beispie...
Inhaltsverzeichnis 1. Vom Benutzer erstelltes Skr...
Inhaltsverzeichnis brauchen: Wichtige Punkte: Anh...
Inhaltsverzeichnis Sekunden_hinter_Master Ursprün...
In diesem Artikel wird der spezifische Code für d...
Inhaltsverzeichnis 1. Verwenden Sie Objekt, um ei...