Big Data Engineering Prof. Dr. Jens Dittrich, Marcel Maltry

News

Anpassungen an der VM für Spark

Written: 24.06.2020 10:48 Written By: Marcel Maltry

Liebe Studierende,

um das Spark Notebook aus der kommenden Vorlesung ausführen zu können, muss auf eurer virtuellen Maschine Java 11 durch Java 8 ersetzt werden. Dies gilt nur, wenn ihr das Vagrantfile vor dem 14. Mai heruntergeladen habt. Verbindet euch mit der virtuellen Maschine und prüft zunächst, welche Java Version installiert ist:

$ java -version

Sollte euch hier OpenJDK Version 1.8.x angezeigt werden, so müsst ihr nichts tun. Bei OpenJDK Version 1.11.x, muss diese zunächst deinstalliert und anschließend Version 1.8 installiert werden. Das geht einfach so:

$ sudo pacman -Rs --noconfirm jdk11-openjdk
$ sudo pacman -Sy --noconfirm jdk8-openjdk

Wollt ihr zusätzlich Spark UI verwenden, muss ein neuer Port Forward eingerichtet werden. Dieser steht entweder in der neusten Version des Vagrantfiles oder kann durch Editieren euren Vagrantfiles eingerichtet werden. Fahrt dazu mit "vagrant halt" die virtuelle Maschine herunter, öffnet das Vagrantfile mit einem Texteditor und fügt unter dem Punkt "# Network Settings" folgende Zeile ein:

config.vm.network "forwarded_port", guest: 4040, host: 4040 # Spark UI

Beim nächsten Start der virtuellen Maschine wird dann der Spark UI Port 4040 automatisch an euren lokalen Port 4040 weitergeleitet, sodass ihr Spark UI in eurem Browser verwende könnt.

Viele Grüße
Marcel



Datenschutz | Impressum
Bei technischen Problemen wenden Sie sich bitte an die Administratoren