Proxmox VE Cluster mit Ceph
Angebot der Stor IT Back

Ceph als Shared Storage bei Proxmox

In Proxmox sind verschiedene Speicher möglich. Interne Festplatten können zum Beispiel mit ZFS genutzt werden. Aber ZFS ist kein Shared Storage. Wo liegt bei ZFS dann das Problem? Sollte ein Server ausfallen, dann können die VMs vorher per ZFS repliziert werden. Zum Beispiel alle 15 Minuten, würde bedeuten, dass der maximale Datenverlust beim einem Failover 15 Minuten sind. Das ist bei einem Mail-Server, einer Kunden-Verwaltung oder einem Bestell-System nicht akzeptabel.

Also ist in diesem Fall Ceph die Lösung. Die Daten der VMs sind auf allen Knoten immer exakt gleich, die VM läuft aber nur auf einem Knoten. Sollte jetzt dieser Knoten ausfallen, dann kann die VM ohne Datenverlust auf einem anderen Knoten gestartet werden. Ein Failover im Cluster ist also immer möglich.

Zusammenfassend ist HA eigentlich nicht ohne Shared Storage möglich. Aber auch bei der Online Migration einer VM hat Ceph große Vorteile gegenüber von ZFS. Die Daten müssen nicht vorher kopiert werden, sie sind ja für jeden Knoten direkt erreichbar. Damit geht die Migration deutlich schneller.

Aber wie kommen jetzt die Daten von einem Server auf den anderen? Genau das übernimmt Ceph. Es werden dann alle Schreiboperationen auf die SSDs nicht nur auf dem einen Server, sondern auf z.B. 3 Ceph Knoten gleichzeitig durchgeführt. Die Daten sind also auf 3 Knoten identisch vorhanden, sogar mehr als bei einem RAID 1. Dafür benötigt Ceph ein "eigenes" Netzwerk. Dieses sollte leistungsfähig sein und mindestens 10 Gbit/s ermöglichen. Werden viele Daten geschrieben und gelesen und ist damit eine hohe Last zu erwarten, dann könnte auch ein 100 Gbit/s Ethernet Netzwerk genutzt werden. Bei einem 3er Cluster kann dies auch "Direct Attached" erfolgen.

Erweiterung des Proxmox Clusters

Erst einmal, was fehlt denn noch zum Betrieb dieses Clusters? Wichtig ist die Netzwerkinfrastruktur, also die LAN Switches. In den Servern sind 4 x 10 Gbit/s in RJ45 vorhanden. Damit bieten sich dann auch RJ45 10 Gbit/s Switche an. Es sollten auf jeden Fall 2 Stück sein, besser noch 4. Die 2 Stück wegen der Redundanz. Sollte ein Switch ausfallen, so kann sowohl der Ceph-Verkehr, wie auch die Clients noch kommunizieren. Auch der Cluster kann weiterhin den Zustand austauschen. Würde alles über nur einen Switch laufen, dann fällt der gesamt Cluster im Fehlerfalle aus.
Aber warum 4 Stück? Dann könnte man Ceph und VMs bzw. Clients trennen. Das ist auch bei 2 Switches über VLANs möglich, aber die 4 sichern noch zusätzlich ab.

Welche Hersteller bzw. welche Switches sollen es denn sein? Wichtig ist die Anzahl der Ports, damit nicht nur der Cluster, sondern auch die Clients noch verbunden werden können. Beim Hersteller ist es nahezu egal, managebar sollte er sein und Funktionen wie VLAN und evtl. QoS bieten. Wir beraten Sie da gerne.

Mehr Speicherplatz für virtuelle Maschinen und Container ist kein Problem. Größere SSDs und/oder mehr Slots in den Servern sollte man dann einplanen. Wird deutlich mehr Speicherplatz benötigt, so sollten Server mit 2 Höheneinheiten und zum Beispiel 24 SSD/Festplatten-Slots verwendet werden.
Bei RAM und CPU kann ganz normal ausgestattet bzw. erweitert werden. Es kann auch erst Mal mit nur einer CPU pro Node gestartet werden, deutlich weniger RAM ist aber nicht zu empfehlen. Weil auch das Ceph benötigt RAM, aber auch CPU.

Kann man mit dem Ceph auch drehende Platten nutzen? Technisch ist das möglich, die Performance ist aber deutlich eingeschränkt. Für die normalen Unternehmensanwendungen sollten schon SSDs (also Flash-Only) genutzt werden. Werden zum Beispiel große Datenmengen für ein Archiv benötigt, also mit wenig Anspruch an das Speichersystem, dann könnte zum Beispiel ein NAS über iSCSI oder NFS angebunden werden. Damit nutzen dann Datenbanken und Anwendungen das Ceph als All-Flash und die großen Daten liegen dann auf einem externen Storage (z.B. einem NAS).

Enthaltene Dienstleistung im Proxmox Ceph Paket

Wie bei allen unseren Systemen erhalten Sie kostenfrei einen 24 Stunden Test der Systeme und eine Grundkonfiguration. In diesem Paket geht die Konfiguration aber noch weiter. Der Server wird für die Proxmox-Installation vorbereitet, inklusive der notwendigen Netzwerkkonfiguration und dem internen Speicher. Sie müssen den Server bzw. die zwei Server nur verkabeln (Netzwerk und Strom) und einschalten.

Auch eine Installation vor Ort ist möglich, ebenso eine Schulung, egal ob remote oder vor Ort. Wir unterstützen Sie auch bei der Migration ihrer virtuellen Maschinen, egal ob von VMware oder Hyper-V. Fragen Sie uns!

Zu erreichen sind wir unter

Telefon:	04185 / 707 85 0		vCard der Stor IT Back GmbH & Co. KG:
Fax:	04185 / 707 59 43
E-Mail:	info@storitback.de