Stor IT Back - Ihr Speicherspezialist
FCoE Fibre Channel over Ethernet V1.4 (c) Stor IT Back 2024
Es wird ein Fibre Channel Paket
in ein Ethernet-Paket verpackt und zusammen mit anderen Netzwerkdaten über
einen 10 Gbit/s FCoE Adapter und einen 10 Gbit/s LAN (FCoE) Switch verschickt. Jetzt
wird also nur noch eine konsolidierte Infrastruktur benötigt. Dies spart
Kosten, Platz, Energie und verringert die Komplexität.
Und genau das ist Fibre Channel over Ethernet. Fibre Channel in Ethernet verpackt und zusammen mit dem LAN Verkehr transportiert. Ganz so einfach ist es aber
nicht. Ethernet bzw. TCP/IP bietet viele Features nicht, die Fibre Channel benötigt bzw. was FC eigentlich ausmacht. Und
das wird im FCoE in einem speziell angepassten Ethernet Protokoll ermöglicht. Man benötigt also spezielle FCoE Hardware oder LAN Switche mit den benötigten
Protokoll-Erweiterungen.
Jeder Server hat zur Redundanz zwei FCoE Adapter, die jeweils an einen FCoE Switch angeschlossen sind. Am FCoE Switch werden die Storage-Daten zum Fibre Channel RAID Storage geleitet und Anwendungsdaten zu den Ethernet-Switches.
Da schauen wir uns doch mal die vorhandenen Protokolle und deren Nachteile kurz an.
Fibre Channel ist sehr performant
(geringe Latenzzeit, hoher Nutzdatendurchsatz), eine sehr stabile Hardware, jeder Hersteller unterstützt
es, aber es ist relativ teuer und man benötigt eine komplett eigenständige
Hardware für das Speichernetzwerk. Also mehr Energieverbrauch, mehr Klimaanlagenleistung
und auch mehr Einarbeitung bei der Anschaffung und mehr Betreuungsaufwand im
laufenden Betrieb.
Dann iSCSI, recht kostengünstige Hardware, universelle
Unterstützt, Nutzung von Standard-Ethernet-Hardware und bis zur Hochverfügbarkeit
zu projektieren. Aber mit dem Nachteil, die Performance ist durch Ethernet begrenzt
und die Latenzzeit ist meist recht hoch.
Der große Vorteil von FCoE ist die Konsolidierung der Übertragungsnetze
in einem Rechenzentrum. Über eine Netzwerkkarte und einen Switch können
sämtliche Speicherdaten und Ethernet-Verbindungen übertragen werden.
Dies spart zum einen Platz im Rechenzentrum, vereinfacht die Verkabelung der
Server und schont Ressourcen. Ist nur ein zentraler Switch vorhanden, so verbraucht
auch nur ein Switch Energie und erzeugt Abwärme. Auch die Hochverfügbarkeit
ist einfach zu erreichen, zwei FCoE Netzwerkkarten pro Server und zwei zentrale
FCoE Switche. Eine überschaubare und leicht zu administrierende Umgebung,
auch dies spart Kosten ein.
Für alle diese Einsatzbereiche wäre auch iSCSI passend. Sind die Anforderungen
an die Performance des Storage-Netzes aber besonders doch, so werden hohe Übertragungsraten
und sehr geringe Latenzzeiten benötigt. Dies kann iSCSI nicht mehr leisten.
Dort kommt FCoE zu Einsatz, mit ähnlichen Übertragungsraten wie Fibre Channel
und nahezu gleich kleinen Latenzzeiten.
Erst einmal sind dies die Netzwerkkarten und die Switche. Eine FCoE Netzwerkkarte
wird vom Betriebssystem einmal wie eine normale Ethernet-Netzwerkkarte erkannt,
die Standard-Netzwerkprotokolle können darüber gefahren werden. Zusätzlich
stellt sich die Karte aber auch als Storage-HBA da, d.h. das Betriebssystem
kann über diese Karte Festplatten ansprechen, und zwar als vollwertige
Blockdevices. Eine Mindesttransferrate von 10 Gbit/s ist für die Karten notwendig.
Der FCoE Switch stellt neben den normalen Ethernet-Diensten zusätzlich
auch noch die Verwaltung des FCoE Transportes und evtl. die Ausschleusung der
Fibre Channel Daten auf spezielle FC Ports sicher. Einige weitere Features und
Unterprotokolle, z.B. FCoCEE (Fibre Channel over Convergence Enhanced Ethernet),
kümmern sich um die passende Priorität und möglichst geringe
Latenzzeiten
Eine direkte Anbindung der Storage-Systeme (RAID-Controller, Tape-Libraries) an FCoE ist möglich und wird sicherlich auch realisiert. Zurzeit gibt es FCoE Switches, die mit zusätzlichen Fibre Channel Ports die Ansteuerung der FC-Storage Hardware ermöglicht. Solange die FC-Ports am FCoE Switch ausreichend sind, oder die Storage-Hardware FCoE direkt nutzt, kann man komplett auf Fibre Channel Switches verzichten und nur dann macht ein FCoE Netzwerk Sinn.
Das Ethernet Protokoll musste für FCoE angepasst werden. So können zum Beispiel einzelne Frames
verloren gehen. Die höheren Protokollschichten (TCP/IP) sorgen trotzdem für eine
sichere Übertragung (durch Paketwiederholung oder -neuanforderung). Dies Verfahren ist
für Storage-Daten nicht geeignet und führt zu großen Verzögerungen.
Daher wurde das Enternet-Protokoll
um einige Funktionen erweitert:
- kein Frame-Verlust (PAUSE oder Nicht-PAUSE)
- Traffic Management 802.1au
- Priorisierung von FC-Daten gegenüber nicht-FC-Daten 802.1Q
- gleiche Frame-Latenz wir beim Fibre Channel
So werden die Ethernet-Daten mit dem PAUSE Befehl angehalten, der bei FCoE
um "Per priority PAUSE" erweitert wurde. Also ist ein reines Anhalten von LAN Daten
möglich, so dass FC(oE) Daten ungehindert übertragen werden können.
Weiterhin wird durch die Nutzung von Jumbo-Frames eine Fragmentierung der 2 kB großen FC Frames
vermieden, eine Voraussetzung für FCoE.
Der geringere Overhead im Vergleich zu iSCSI wird durch die Kapselung der FC Frames in Ethernet Frames
erreicht. Bei iSCSI werden SCSI Frames in TCP verpackt. Durch die direkte Verpackung der FC Pakete
wird eine Unterstützung von Zoning, Multipathing und der WWN-Adressierung weiterhin
ermöglicht. FCoE bleibt also auch im Handling Fibre Channel sehr ähnlich.
Stand 2023:
Unternehmen mit dem klaren Fokus auf Performance und Sicherheit bleiben weiter bei Fibre Channel. Gerade mit 32 Gbit/s FC
und der geringen Latenzzeit bleibt Fibre Channel im Markt. Die FCoE Switche sind zwar bei nahezu allen großen Herstellern verfügbar,
aber dabei ist FCoE nicht das bestimmende Kriterium.
Ethernet entwickelt sich zu immer höhere Geschwindigkeiten, was vor kurzem noch 10 GBit/s war, das ist heute 100 Gbit/s. Und damit kann
iSCSI deutlich mehr leisten, als noch mit 10 Gbit/s oder gar 1 Gbit/s. Es fällt heute häufiger die Wahl auf iSCSI mit 40 Gigabit oder
gar 100 Gigabit und gegen FCoE.
