News
Anpassungen an der VM für Spark
Geschrieben am 24.06.2020 10:48 von Marcel Maltry
Liebe Studierende,
um das Spark Notebook aus der kommenden Vorlesung ausführen zu können, muss auf eurer virtuellen Maschine Java 11 durch Java 8 ersetzt werden. Dies gilt nur, wenn ihr das Vagrantfile vor dem 14. Mai heruntergeladen habt. Verbindet euch mit der virtuellen Maschine und prüft zunächst, welche Java Version installiert ist:
$ java -version
Sollte euch hier OpenJDK Version 1.8.x angezeigt werden, so müsst ihr nichts tun. Bei OpenJDK Version 1.11.x, muss diese zunächst deinstalliert und anschließend Version 1.8 installiert werden. Das geht einfach so:
$ sudo pacman -Rs --noconfirm jdk11-openjdk $ sudo pacman -Sy --noconfirm jdk8-openjdk
Wollt ihr zusätzlich Spark UI verwenden, muss ein neuer Port Forward eingerichtet werden. Dieser steht entweder in der neusten Version des Vagrantfiles oder kann durch Editieren euren Vagrantfiles eingerichtet werden. Fahrt dazu mit "vagrant halt" die virtuelle Maschine herunter, öffnet das Vagrantfile mit einem Texteditor und fügt unter dem Punkt "# Network Settings" folgende Zeile ein:
config.vm.network "forwarded_port", guest: 4040, host: 4040 # Spark UI
Beim nächsten Start der virtuellen Maschine wird dann der Spark UI Port 4040 automatisch an euren lokalen Port 4040 weitergeleitet, sodass ihr Spark UI in eurem Browser verwende könnt.
Viele Grüße
Marcel