KVM optimieren

Hier soll eine Sammlung entstehen, wie KVM und deren Gäste optimiert werden können.

Host:

Um VT-d zu nutzen, braucht Grub einen zusätzlichen Eintrag, in der Zeile:

das anfügen:

und Grub updaten:

Es sollte auf dem Host kontrolliert werden ob es Prozesse gibt, die mehrere CPU Kerne in Anspruch nehmen. Z.B. Squid in Kombination mit Spuidguard startet mehrere Instanzen. Das kann zu Latenz Probleme im Guest führen. Auch Apache macht das.

low-latency Kernel kann helfen die VMs performanter zu machen, bzw. die Reaktionszeiten zu verkürzten. Besonders bei Anwendungen die geringe Latenz brauchen, wie Audio/Video Applikationen, ist das von Vorteil. Dadurch wird die Kernel Timer Frequency auf 1000 Hz erhöht und es werden Preemptible Funktionen aktiviert.

Auf Seiten des Host kann die Priorität einer VM, mit Bordmitteln, verändert werden. Ein Script als Cronjob (z.B. alle 10 Minuten) kann hier Abhilfe schaffen:

Disk Performance:

Cache none ist das beste, funktioniert aber nicht wenn das VM Image auf einem ZFS Dateisystem liegt. Hier kann auch writeback genommen werden, muss aber mit Vorsicht geschehen. Bei writeback gibt es keine Sicherheit und es kann schnell zu Datenverlust kommen.

Als Image Format ist raw zu bevorzugen. Noch besser ist es eine Festplatte komplett durch zu reichen.

Für VM Images, besonders in Kombination mit Linux bringt das „Deadline“ Scheduling etwas mehr an Festplattenperformance. Muss im Host und im Guest eingestellt werden.

Windows in VM:

Unbedingt virtio Treiber verwende! Schon beim Einrichten der virtueller Hardware virtio wählen.

Für Netzwerkdienste Checksum Offload im Netzwerk Interface deaktivieren (Geräte Manager). Zum testen ob die Checksum korrekt ist, kann ein IP Stream gestartet werden, z.B. mit udp (ffmpeg), auf dem Host kann dann mit tcpdump der Stream geprüft werden:

Taucht bad udp cksum […] auf, muss Checksum Offload deaktiviert werden, in dem Fall für UDP.

KVM beherrscht HyperV Funktionen, diese sollen zusätzlich etwas Leistung bei Windows VMs bringen:

Guest Allgemein:

CPU Pinning kann sinnvoll sein. Wird vor allem bei mehr Prozessor Systemen empfohlen, um zu vermeiden, dass ein Thread auf den Speicher des anderen Prozessors zugreifen muss.

OVMF Bios sollte man im Auge behalten und gegebenenfalls installieren und beim Einrichten der VM auswählen. Für Windows 10 ist es z.B. empfehlenswert ein UEFI Bios zu nutzen, das geht nur mit OVMF

IOthreads zu aktivieren kann bei mehreren HDs Sinn machen. Muss über virsh edit VMName gemacht werden.

Weitere CPU Tuning Optionen sind möglich, z.B. vCPU Scheduling, einfach mal getesten.

AppleScript: Ordner selektieren und an Terminal übergeben

Ausgangspunkt:

In verschiedenen Ordnern liegen MP4 Files. Das AppleScript soll einen Dialog öffnen in dem man die Ordner auswählen kann, ist nur ein Ordner ausgewählt wird geprüft ob sich ein MP4 File in diesem Ordner befindet, wenn ja wird gewarnt dass nur ein Ordner ausgewählt wurde, ist kein MP4 File vorhanden wird darauf hingewiesen und ein neuer Dialog wird geöffnet.

Sind mehrere Ordner ausgewählt werden diese an den Terminal geschickt. Der Terminal führt ein Shell Script aus, welches im AppleScript Verzeichnis (*.app/Contents/Resources/Scripts/) liegt. Das Shell Script soll dann die Ordner weiterverarbeiten.

 

 

ffmpeg: 24fps zu 25fps

Möchte man ein 24 fps Clip mittels ffmpeg korrekt umwandeln kann man das in etwa so bewerkstelligen:

Mit diesem Beispiel würde zusätzlich noch ein Border angefügt:

 

OSX Dateien und Ordner sichtbar/unsichtbar machen

Ein kleines Script mit dem versteckte Dateien in OSX sichtbar bzw. unsichtbar machen kann.

Script mit der Endung .command abspeichern, im Terminal ausführbar machen mit: chmod +x scriptname.command

Ubuntu: Systeminfos anzeigen lassen

Wenn man einen Ubuntu/Linux Server betreiben möchte kann es manchmal praktisch sein, sich einige Systeminfos ausgeben zu lassen.

Hier ein Beispiel wie diese Infos automatisch, nach jedem Login, ausgegeben werden.

Script mit folgenden Inhalt anlegen:

 

Ausführbar machen:

chmod 755 loginInfo.sh

Pfad zum Script in /etc/profile schreiben.

Nach dem nächsten Login, auch über ssh wird nun das angezeigt:

 

Ubuntu über VirtualBox auf USB Stick installieren

VirtualBox sieht es eigentlich nicht vor, dass man einen USB Stick darüber bootet, bzw. den Stick als Zielfestplatte auswählen kann.

Hier ein paar Schritte wie man das dennoch hin bekommt. Anschließend lässt sich der USB Stick sogar über den PC booten, somit hat man überall sein Ubuntu System dabei.

 

Vorbereitung:

Zuerst müssen wir VirtualBox dazu bekommen, dass es den USB Stick als Festplatte akzeptiert. Dazu navigieren wir mit der Kommandozeile ( Windowstaste+R: cmd :: Enter ) in den Installationsordner von VirtualBox. Hier führen wir nun folgendes aus:

cmd

Die Datenträgernummer erfährt man über die Computerverwaltung / Datenträgerverwaltung:

Verwaltung

 

USB Stick partitionieren und formatieren

Mir war es nicht möglich, während der Installation in VirtualBox Partitionen einzurichten und zu formatieren, das ist aber notwendig, da Ubuntu eine System Partition haben möchte und eine swap Partition. Zudem wollte ich auch eine Fat32 Partition haben, die ich später dann zum Datenaustausch verwenden kann.

Man hat hier nun zwei Möglichkeiten, entweder man booten in eine gewöhnlich installierte virtuelle Ubuntu Box, oder andere Linux Distribution, und richtet dort den USB Stick her mittels gparted. Oder man macht das mit einem anderen Partitionsprogramm, welches auch Linux Dateisystem versteht. Ich habe hier die Home Edition von Partition Wizard genommen ( MiniTool Partition Wizard 8 )

PartitionWizard

Die Fat32 Partition habe ich am Anfang positioniert, die Linux System Partition in der Mitte und die swap Partition ans Ende. Hier natürlich das jeweilige Dateisystem richtig auswählen. Fürs System ext4 und für swap swap.

 

In VirtualBox

Nun kann VirtualBox gestartet werden um Ubuntu auf den Stick zu installieren.

Zuerst richtet man ganz normal eine neue virtuelle Maschine ein, beim Abschnitt Festplatte wählen wir jedoch: Vorhandene Festplatte verwenden

Nun navigieren wir zu der Datei, die wir mit dem CMD Befehl am Anfang erstellt hatten und laden dadurch den USB Stick.

Festplatte

Ist dieser Schritt abgeschlossen kann mit einem Rechtsklick auf Änder, der neu erzeugten virtuellen Maschine, das System so angepasst werden wie man es möchte. Z.B. mehr CPU Kerne, mehr Grafikspeicher etc. Im Abschnitt Massenspeicher muss nun noch ein ISO Image von Ubuntu geladen werden, dann können wir die virtuelle Maschine starten um Ubuntu auf den Stick zu installieren.

cd

 

Gleich nach dem Starten wird schon das Installationsmenü von Ubuntu sichtbar. Im 4. Schritt kommen wir zur Auswahl wie und wo wir Ubuntu installieren wollen, hier muss: Etwas Anderes ausgewählt werden.

etwasanderes

Mit Weiter kommen wir nun in das Menü in dem die Partitionen aufgelistet werden. Hier nun die ext4 Partition auswählen und über Change… anpassen. Unter Benutzen muss Ext4-Journaling-Dateisystem ausgewählt und der Einbindungspunkt auf „/“ gestellt werden.

install

 

Die Swap Partition muss eigentlich nicht noch einmal extra eingebunden werden, aber sicherheitshalber kann hier auch überprüft werden, ob sie von der Installation richtig eingebunden wurde.

Ab hier ist wieder alles normal, das heißt die Installation kann wie gewohnt fortgesetzt werden.

Wie zu Anfang erwähnt kann der Stick nach Abschluss in jeder virtuellen Maschine aber auch an jedem Computer der das Booten von USB zulässt verwendet werden. Je schneller die Lese- und Schreibgeschwindigkeit ist umso mehr Freude hat man natürlich auch mit dem Portablen Ubuntu :)…

Viel Spaß damit!

 

Referenzen:

http://www.tecchannel.de/pc_mobile/tipps/2051591/virtualbox_von_usb_geraeten_booten/

http://code-bude.net/2013/02/12/ext4-partition-unter-windows-erstellen/

http://wiki.ubuntuusers.de/Installation_auf_externen_Speichermedien

 

Batch: media-autobuild_suite v2.0

Von dem Compiler Script media-autobuild_suite gibt es jetzt die Version 2.0.

Die Compiler- Umgebung basiert nun auf MSYS2. Vorteil davon ist, dass sich die Umgebung immer aktuell hält, Updates werden automatisch installiert.

Da nun auch viele Libraries aus MSYS2 genommen werden, bleiben auch diese auf dem neusten Stand. Das System bleibt kleiner und läuft im gesamten schneller.

 

Viel Spaß damit!

https://github.com/jb-alvarado/media-autobuild_suite