Optische Module entwickeln sich für die Rechenzentren von morgen

Optische Transceiver spielen in Rechenzentren eine Schlüsselrolle und ihre Bedeutung wird weiter zunehmen, da Serverzugriff und Switch-to-Switch-Verbindungen immer höhere Geschwindigkeiten erfordern, um den steigenden Bandbreitenbedarf durch Video-Streaming, Cloud-Computing und -Speicherung oder Anwendungen zu decken Virtualisierung. Heutzutage verfügen Mega-Rechenzentren typischerweise über 10G-Zugangsports, die mit 40G-Switching-Fabrics verbunden sind, aber in naher Zukunft werden die Zugangsports auf 25G und die Switching-Fabrics auf 100G anwachsen. Hier gehen wir auf die Herausforderungen ein, die Rechenzentrumsanwendungen für optische Module mit sich bringen, und beschreiben, wie die Branche auf die Nachfrage reagiert.

Ein einzelnes Mega-Rechenzentrum, das Hunderte von Servern beherbergt, die durch ein hochredundantes horizontales Netz miteinander verbunden sind, erfordert eine ähnlich hohe Anzahl optischer Verbindungen. Da jede Verbindung an beiden Enden durch einen optischen Transceiver abgeschlossen werden muss, ist die Anzahl der Transceiver mindestens doppelt so groß wie die Anzahl der optischen Verbindungen und kann sogar noch mehr erreichen, wenn optische Breakout-Konfigurationen verwendet werden. Solch hohe Volumina können zu niedrigen Kosten für optische Transceiver führen, auch wenn diese Module bei hohen Datenraten führend sind. Preise in der Größenordnung von 10 US-Dollar/Gbit/s für größere Reichweiten bis hinunter zu 1 US-Dollar/Gbit/s für kürzere Reichweiten wurden als Herausforderung für die Anbieter dargestellt, was eindeutig ein ehrgeiziges Ziel ist, wenn man bedenkt, dass die heutigen Preise fünf- bis zehnmal höher sind, wenn auch bei unterschiedliche Datenraten oder in einem anderen Anwendungsbereich.

Kostensenkungen dieser Größenordnung sind nur schwer zu erreichen, wenn bewährte Ansätze für Moduldesign und -herstellung nur geringfügig verfeinert werden. Lockere Spezifikationen wie die Senkung der maximalen Betriebstemperatur, die Reduzierung des Betriebstemperaturbereichs, die Verkürzung der Produktlebensdauer und die Ermöglichung der Verwendung von Forward Error Correction (FEC) sind Beispiele, die dazu beitragen können, die Modulkosten zu senken, da sie den Modulanbietern die Übernahme ermöglichen kostengünstigere Designs mit höherem Grad an optischer Integration, nicht hermetischer Verpackung, ungekühltem Betrieb oder vereinfachten Tests.

Ein wichtiger Faktor, der die Anwendungen optischer Module bestimmt, ist der Formfaktor. Heutige Rechenzentren basieren auf Transceivern im SFP-Formfaktor für den Serverzugriff und auf QSFP-Transceivern für Switch-to-Switch-Verbindungen. Direct-Attach-Kupferkabel (DAC) werden in der Regel verwendet, wenn die Entfernung zum Zugangsport weniger als 5 m beträgt. Für längere Strecken werden optische Module oder aktive optische Kabel (AOC) verwendet. 10G-Zugangsports verwenden SFP+-Module, werden jedoch auf SFP28 umgestellt, wenn die Zugangsgeschwindigkeit auf 25G erhöht wird. Für den Serverzugriff sind keine Reichweiten über 100 m erforderlich, daher sind diese Module normalerweise auf VCSEL-basierte Transceiver beschränkt, die über Multimode-Glasfaser (MMF) betrieben werden. Es wird jedoch auch erwartet, dass das Ökosystem rund um 25G-Lanes in Anwendungen wie Unternehmensnetzwerken der nächsten Generation genutzt wird, was die Nachfrage nach SFP28-Modulen steigern wird, die über Singlemode-Glasfaser (SMF) für Reichweiten von 10 km bis 40 km betrieben werden.

Netzwerktopologie des Cloud-Rechenzentrums und erwarteter Upgrade-Pfad der Datenrate für Serverzugriff und Switching-Fabric.

QSFP-Module akzeptieren 4 elektrische Eingangsspuren und arbeiten mit der vierfachen Datenrate des entsprechenden SFP-Moduls. Heutzutage wird 40G QSFP+ in großem Umfang in Switching-Fabrics von Rechenzentren eingesetzt. Für die optische Schnittstelle gibt es zwei einigermaßen konkurrierende Schemata: parallele Singlemode-Faser (PSM) und natürliches Wellenlängenmultiplex (CWDM). PSM arbeitet mit 8 SMF-Flachbandkabeln, wobei jede optische Spur ein Duplex-Glasfaserpaar belegt. PSM bietet den potenziellen Vorteil niedrigerer Modulkosten, da kein Wellenlängen-Multiplexing erforderlich ist. Allerdings sind die Kosten für Kabel und Anschlüsse deutlich höher als bei Duplex, was zu einer teureren Glasfaseranlage führt.

Vier Generationen steckbarer clientseitiger 100G-Transceiver: CFP, CFP2, CFP4 und QSFP28 (von links nach rechts).

CWDM arbeitet über Duplex-SM-Verkabelung und nutzt Wellenlängenmultiplex, um 4 Spuren in einer Faser zu kombinieren. Als Referenzspezifikation für die optische Schnittstelle existiert hierbei der Ethernet-Standard 40GBASE-LR4. Da die Leitungen in einem einzigen Glasfaserstrang verlaufen, sind CWDM-Verbindungen mit vollständig optischem Switching kompatibel, das für die Verkehrsverwaltung und Neukonfiguration von Rechenzentren verwendet werden kann. Eine Herausforderung bei CWDM-Modulen besteht darin, dass die Kosten in der Regel höher sind als bei PSM, da zusätzliche Komponenten wie ein optischer Multiplexer oder Demultiplexer erforderlich sind. Durch die Reduzierung der Übertragungsentfernung von 10 km (LR4) auf 2 km (MR4) können jedoch erhebliche Kostensenkungen erzielt werden oder LR4-Lite).

Dies verdeutlicht einen weiteren Trend im Zusammenhang mit Rechenzentren, nämlich dass fast alle Verbindungslängen weniger als 2 km betragen. Aus diesem Grund haben sich die Spezifikationen für die nächste Generation von QSFP-Modulen, die mit 100G arbeiten (QSFP28), auf Reichweiten zwischen 500 m und 2 km über SMF konzentriert. Die CWDM4- und CLR4-MSAs basieren auf dem gleichen Wellenlängenraster wie 40GBASE-LR4, erhöhen jedoch die Kapazität auf 100G (4x25G). Alternativ spezifiziert der PSM4 MSA eine 4x25G-Schnittstelle über 500 m PSM-Verkabelung. Solche QSFP28-Module werden in großen Mengen eingesetzt, wenn Rechenzentren ab 2016 von 40G- auf 100G-Switching-Fabrics umsteigen. Darüber hinaus werden QSFP28-LR4-Module für die Anbindung von Rechenzentrums-Switches an Core-Router erforderlich sein, die Ethernet-kompatible Schnittstellen (100GBASE-LR4) erfordern ). In diesem Fall ist, ähnlich wie bei 40G, eine hohe Nachfrage nach kostenreduzierten Versionen zu erwarten, die für 2 km optimiert sind.

Eine wichtige Messgröße für Rechenzentrums-Switches ist die Frontpanel-Bandbreite, also die Gesamtbandbreite aller Transceiver, die in eine 19 Zoll breite und 1 HE hohe Switch-Hardware passen. Die Fähigkeit, die Module durch Luftstrom zu kühlen, ist jedoch eine kritische Einschränkung In vielen Fällen kann die Dichte der elektrischen Verbindungen zum Transceiver ein begrenzender Faktor sein. Daher kann ein herkömmlicher Switch normalerweise 32 QSFP-Ports auf der Vorderseite aufnehmen. Wenn es sich bei den Ports um QSFP+ handelt, beträgt die entsprechende Bandbreite auf der Vorderseite 1,28 Tbit/s ( 32 x 40G). Mit dem Upgrade auf QSFP28 erhöht sich diese Bandbreite auf 3,2 Tbit/s.

Der Upgrade-Pfad nach QSFP28 ist Gegenstand laufender Diskussionen. Switching-ASICs der nächsten Generation werden voraussichtlich native Portgeschwindigkeiten von 50G und 128 Ports haben, was einem Nettodurchsatz von 6,4 Tbit/s entspricht. Dem durch 40G und 100G vorgegebenen 4x-Trend folgend, impliziert dies die Notwendigkeit von 200G-QSFP-Modulen („QSFP56“). 32 QSFP56-Ports auf der Vorderseite würden eine Bandbreite von 6,4 Tbit/s auf der Vorderseite ergeben. Die Schwierigkeit bei diesem Weg besteht jedoch darin, dass es keinen 200G-Ethernet-Standard gibt. Die Diskussion über seinen Bedarf hat vor kurzem begonnen, aber die Fertigstellung eines Standards würde später erfolgen als 400G Ethernet, das bereits in Arbeit ist.

Wenn von 400G-Ports ausgegangen wird, besteht ein alternativer Weg zur Frontpanel-Bandbreite von 6,4 Tbit/s darin, weniger Ports und ein größeres optisches Modul zu haben. Für die 400G-Module der ersten Generation wird bereits ein Modul erwartet, das größer als QSFP ist, da das Modul entweder 16 x 25G oder 8 x 50G elektrische Eingangsspuren aufnehmen muss, was die für das QSFP definierten 4 Spuren übersteigt. Darüber hinaus scheint es für einige 400G-Implementierungen unmöglich zu sein, die 3,5-W-Leistungsgrenze von QSFP-Modulen einzuhalten. Der 2 km lange Duplex-Singlemode-Glasfaserstandard 400GBASE-FR8 ist mit 8 gemultiplexten Wellenlängen spezifiziert, die durch 50G PAM4 moduliert werden. Dies ist die doppelte Anzahl optischer Spuren eines QSFP28-CWDM4-Moduls, was bereits nahe an der 3,5-W-Grenze liegt. Vorschläge für größere Formfaktoren für 400G sind von Gruppen wie der CFP MSA zu erwarten, die mit CFP, CFP2 und CFP4 große Erfolge bei 100G erzielt hat. Eine wichtige Voraussetzung in diesem Fall ist, dass die Größe mindestens 16 Ports auf der Vorderseite zulässt (16 x 400G = 6,4T und möglicherweise mehr).

Wenn es wichtig ist, die QSFP-Größe beizubehalten, ist der einzige geeignete 400G-Standard, der sich derzeit in der Entwicklung befindet, 400GBASE-DR4, der 4 optische 100G PAM4-Kanäle spezifiziert, die über 500 m PSM4-Kabel betrieben werden. Darüber hinaus wird erwartet, dass in Zukunft 4-Wellenlängen-100G-PAM4-Implementierungen über Duplex-SM-Glasfaser definiert werden. Basierend auf dem, was bei QSFP28-CWDM4-Modulen gezeigt wurde, erhöht die Notwendigkeit von nur 4 Wellenlängen die Wahrscheinlichkeit, dass die Leistungsgrenzen von QSFP eingehalten werden können. Sofern jedoch nicht auch eine elektrische 4 x 100G-Schnittstelle verfügbar wird („CDAUI-4“), muss die Anzahl der elektrischen Eingangsspuren dennoch auf mindestens 8 erhöht werden. Dies erfordert eine neue Moduldefinition, und derzeit werden verschiedene Lösungen in Betracht gezogen. Dazu gehört der Übergang über die steckbaren Module hinaus hin zu einem neuen Paradigma, das auf On-Board-Optik (OBO) basiert. OBO-Module haben den Vorteil, dass sie die Optik näher an den ASIC bringen, was durch den Wegfall von Retimern zu einer höheren Signalintegrität und einer geringeren Leistungsaufnahme beitragen kann. Das Consortium for On-Board Optics (COBO) wurde kürzlich gegründet, um die Entwicklung solcher Lösungen zu beschleunigen und wird von mindestens einem großen Rechenzentrumsanbieter unterstützt. Es liegen auch andere Lösungen auf dem Tisch, beispielsweise die von microQSFP MSA vorgeschlagenen, die darauf abzielen, die Funktion eines QSFP in einer Größe ähnlich einem SFP zu realisieren, was zu einer Frontpanel-Bandbreite von 7,2 Tbit/s führt.

Beispiel eines 4x25G Lens-Integrated Surface Emitting Laser (LISEL) Arrays für 100G On-Board-Optiken.

Optische Module sind der Schlüssel zum Aufbau der Schaltstrukturen von Mega-Rechenzentren. Der Übergang von 40G zu 100G steht unmittelbar bevor und es gibt mehrere mögliche Wege für die nächste Entwicklungsstufe, die wahrscheinlich auf 200G- oder 400G-Verbindungen basieren wird. Es werden neue Konzepte für optische Module erforderlich sein, und Anbieter optischer Module müssen eng mit Netzwerkgeräteherstellern und Rechenzentrumsbetreibern zusammenarbeiten, um die Entwicklung von Lösungen sicherzustellen, die den zukünftigen Anforderungen von Rechenzentren hinsichtlich Kosten und Leistung pro Gigabit gerecht werden.

Geschrieben von Kochichi Tamura, Direktor der Technik- und Marketingabteilung von Oclaro Japan