Blog

Jan 10, 2024

Eine Mischung aus Kupfer und Fasern

Kupfer- und Glasfaserkabel entwickeln sich weiter, um den Anforderungen von Rechenzentren gerecht zu werden, aber beide werden in der Zukunft der Netzwerke ihren Platz haben. Es vergeht keine Woche, ohne dass irgendwo ein neues Rechenzentrum oder ein großes Rechenzentrum eröffnet wird

Kupfer- und Glasfaserkabel werden weiterentwickelt, um den Anforderungen von Rechenzentren gerecht zu werden, aber beide werden in der Zukunft der Netzwerke ihren Platz haben

Es vergeht keine Woche, ohne dass irgendwo ein neues Rechenzentrum eröffnet oder ein großer Hosting-Anbieter seine bestehenden Einrichtungen erweitert. Aktuelle Untersuchungen von iXConsulting bestätigen diesen Trend. Im Rahmen der 14. Rechenzentrumsumfrage wurden Unternehmen befragt, die jeweils rund 25 Millionen Quadratmeter Rechenzentrumsfläche in Europa kontrollieren, darunter Eigentümer, Betreiber, Entwickler, Investoren, Berater, Design- und Bauspezialisten, große Unternehmen, Telekommunikationsunternehmen, Systemintegratoren, Colocation-Unternehmen und Cloud-Dienste Anbieter.

Alle äußerten den Wunsch und die Absicht, ihre derzeitige Rechenzentrumsfläche sowohl intern als auch über Dritte auszubauen. 60 Prozent sagten, sie würden die interne Kapazität im Jahr 2017 und 38 Prozent im Jahr 2018 erhöhen. Über ein Drittel (35 Prozent) sagte, dass sie ihre Hosting-Kapazität für Drittanbieter bis 2019 erweitern würden.

Mehr als jeder andere Teil des Marktes scheinen derzeit die Anbieter von Hyperscale-Cloud-Diensten diese Expansion voranzutreiben. Canalys geht davon aus, dass die vier großen Cloud-Player allein – Amazon Web Services (AWS), Google, IBM und Microsoft – im zweiten Quartal 2017 wertmäßig 55 Prozent des Marktes für Cloud-Infrastrukturdienste (einschließlich IaaS und PaaS) repräsentierten Der Gesamtwert beträgt 14 Milliarden US-Dollar und wächst im Vergleich zum Vorjahr um 47 Prozent.

Unabhängig von der Größe der Hosting-Einrichtungen, die sich im Besitz befinden und unterhalten werden, wird das unaufhörliche Wachstum des Datenvolumens und der virtualisierten Arbeitslasten, die mit der Erweiterung dieser Rechenzentren gespeichert, verarbeitet und übertragen werden, eine erhebliche Belastung für die zugrunde liegende Rechenzentrumsinfrastruktur darstellen. Und das gilt insbesondere für interne Netzwerke und zugrunde liegende Verkabelungssysteme, die mit einem akuten Mangel an Bandbreite und Kapazität für zukünftige Erweiterungen mit aktuellen Technologie- und Architekturansätzen konfrontiert sind.

In jedem einzelnen Rechenzentrum hängt die Wahl der Verkabelung über die reine Kapazität hinaus von einer Reihe verschiedener Faktoren ab, darunter Kompatibilität mit der vorhandenen Verkabelung, Übertragungsentfernungen, Platzbeschränkungen und Budget.

Ungeschirmte (UTP) und geschirmte (STP) Twisted-Pair-Kupferkabel wurden in den letzten 40 Jahren in großem Umfang in Rechenzentren eingesetzt, und viele Eigentümer und Betreiber werden weiterhin zögern, bestehende Investitionen vollständig aufzugeben.

Kupferkabel sind nicht nur günstiger in der Anschaffung, sondern haben auch relativ geringe Installationskosten, da keine zusätzliche Hardware gekauft werden muss und die Konfektionierung schnell und einfach durch Techniker vor Ort erfolgen kann.

Glasfaser benötigt zusätzliche Transceiver zum Anschluss an Switches und erfordert außerdem einen speziellen Abschluss. Im Gegensatz dazu verwenden Kupferkabel dieselben RJ-45-Schnittstellen und sind abwärtskompatibel mit früheren Spezifikationen für Kupferkabel, was die Installation und die schrittweise Migration über einen längeren Zeitraum vereinfacht. Um diese Kontinuität zu gewährleisten, wurden Standards für die Kupferverkabelung weiterentwickelt (siehe Kasten: Entwicklung der Kupferstandards).

Rechenzentrumsnetzwerke, die derzeit auf einer Kombination aus 1-Gbit/s- und/oder 10-Gbit/s-Verbindungen auf den Server-, Switch- und Top- oder Rack-Ebenen basieren, sehen wahrscheinlich 25/40 Gbit/s als nächstes logisches Upgrade. Um jedoch Engpässe in der Aggregations- und Backbone-Schicht zu vermeiden, müssen sie auch den besten Ansatz zur Kapazitätssteigerung an anderer Stelle in Betracht ziehen, insbesondere über längere Entfernungen, für die Kupferkabel (sogar Cat8) schlecht geeignet sind.

Viele Rechenzentrumsbetreiber und Hosting-Unternehmen planen den Einsatz von Netzwerken, die beispielsweise Datenraten von 100 Gbit/s und mehr in der Aggregations- und Kernschicht unterstützen können.

Diese Kapazität muss den internen Datenübertragungsanforderungen von Hunderttausenden oder Millionen von VMs gerecht werden, die voraussichtlich 2018/2019 auf Rechenzentrumsservern laufen werden, und die meisten suchen aktiv nach Lösungen, die die Grundlage für die Migration auf 400 Gbit/s legen in der Zukunft.

Wenn eine solche Bandbreite über längere Kabelstrecken erforderlich ist, ist Glasfaser die einzig realistische Wahl – entweder Multimode-Glasfaser (MMF) oder Singlemode-Glasfaser (SMF). MMF ist günstiger und ermöglicht geringere Bandbreiten und kürzere Kabelstrecken. Es wurde erstmals in den frühen 1980er Jahren in Telekommunikationsnetzen eingesetzt und entwickelte sich schnell zu lokalen und weiten Netzwerken (LAN/WAN) für Unternehmen, Speichernetzwerken (SANs) und Backbone-Verbindungen innerhalb von Serverfarmen und Rechenzentren, die mehr Kapazität als Kupferkabel erforderten unterstützen könnte.

In der Zwischenzeit sind Telekommunikationsnetze auf Singlemode-Glasfaser umgestiegen, die teurer ist und einen höheren Durchsatz und längere Entfernungen ermöglicht. Die meisten gebäudeinternen Glasfasern sind immer noch Multimode-Glasfaserkabel, und die Netzwerkindustrie hat eine Reihe von Weiterentwicklungen der Glasfaserstandards vorgenommen, um die Datenkapazität dieser Installationen zu maximieren (siehe Kasten: Mehr Mode mit Multimode-Kabeln).

Da die Rechenzentren jedoch immer größer werden, haben sich die Entfernungsbeschränkungen der aktuellen MMF-Spezifikationen für einige Unternehmen als restriktiv erwiesen. Dies gilt insbesondere für Anbieter von Hyperscale-Cloud-Diensten und Unternehmen, die riesige Datenmengen speichern, wie Facebook, Microsoft und Google, die große Campus-Einrichtungen über mehrere Kilometer errichtet haben. Der Social-Media-Riese Facebook betreibt beispielsweise mehrere große Rechenzentren auf der ganzen Welt, von denen jedes Hunderttausende Server in einer einzigen virtuellen Struktur miteinander verbindet, die sich über einen Standort erstreckt. Das Gleiche gilt für Microsoft, Google und andere Cloud-Dienstanbieter, für die die Anforderungen an den Ost-West-Netzwerkverkehr (also zwischen verschiedenen Servern im selben Rechenzentrum) besonders hoch sind.

Was diese Unternehmen idealerweise wollten, war Singlemode-Glasfaser in einer Form, die mit den Anforderungen und dem Budget von Rechenzentren kompatibel war: eine 100-Gbit/s-Glasfaserverkabelungsspezifikation mit einer Singlemode-Schnittstelle, die im Vergleich zu bestehenden Multimode-Alternativen kostengünstig war und nur minimale Glasfasern aufweist Signalverlust und unterstützt Übertragungsentfernungen zwischen 500 m und 2 km. Vier mögliche Spezifikationen wurden von verschiedenen Gruppen von Netzwerkanbietern erstellt. Facebook unterstützte die 100G-Spezifikation des CWDM4-MSA, die beim Open Compute Project (OCP) eingereicht und 2011 als Teil des OCP übernommen wurde.

Facebook wechselte zum Single-Mode, weil das Unternehmen seine eigene proprietäre Rechenzentrumsstruktur entwarf und baute und bei bestehenden Verkabelungslösungen auf erhebliche Einschränkungen stieß. Seine Ingenieure berechneten, dass zum Erreichen von 100 m bei 100 Gbit/s mit standardmäßigen optischen Transceivern und Multimode-Glasfaser eine Neuverkabelung mit OM4 MMF erforderlich wäre. Dies war in kleineren Rechenzentren praktikabel, bot jedoch keine Flexibilität für längere Verbindungslängen in größeren Einrichtungen und war nicht zukunftssicher: Es bestand keine Wahrscheinlichkeit für Bandbreiten-Upgrades über 100 Gbit/s hinaus.

Während Facebook eine Glasfaserverkabelung wollte, die die gesamte Lebensdauer des Rechenzentrums selbst überdauert und mehrere Lebenszyklen der Verbindungstechnologie unterstützt, waren verfügbare Singlemode-Transceiver, die Verbindungslängen von über 10 km unterstützen, übertrieben. Sie boten unnötige Reichweite und waren für ihre Zwecke zu teuer.

Deshalb hat Facebook die 100G-CWDM4-MSA-Spezifikation an seine eigenen Anforderungen an Reichweite und Durchsatz angepasst. Dadurch verringerte sich auch der Temperaturbereich, da die Umgebung des Rechenzentrums besser kontrolliert wird als die Außen- oder Untergrundumgebungen, denen Telekommunikationsfasern ausgesetzt sind.

Außerdem werden angemessenere Erwartungen an die Lebensdauer von Kabeln festgelegt, die in der Nähe von Ingenieuren verlegt werden.

Das OCP hat mittlerweile fast 200 Mitglieder, darunter Apple, Intel und Rackspace. Facebook arbeitet außerdem weiterhin mit Equinix, Google, Microsoft und Verizon zusammen, um die Bemühungen um einen optischen Verbindungsstandard mit Duplex-SMF abzustimmen, und hat die CWDM4-OCP-Spezifikation veröffentlicht, die auf den Bemühungen von CWDM4-MSA aufbaut und vom OCP heruntergeladen werden kann Webseite.

Die Einführung besserer Multimode-Glasfaser (OM5 MMF) und der von Facebook propagierten kostengünstigeren Singlemode-Glasfaser könnte die Lage erheblich verändern und einige große Anbieter dazu veranlassen, in ihren Hosting-Einrichtungen, insbesondere dort, ausschließlich auf Glasfaser umzusteigen Sie können ihre Kaufkraft nutzen, um die Kosten für Transceiver zu senken.

In der Realität dürften sich nur wenige Rechenzentren ausschließlich auf Kupfer- oder Glasfaserkabel verlassen – die optimale Lösung für die meisten wird auf absehbare Zeit zwangsläufig weiterhin auf einer Mischung aus beiden in verschiedenen Teilen der Netzwerkinfrastruktur basieren.

Der Einsatz von Glasfaser-Medienkonvertern bietet zudem ein gewisses Maß an Flexibilität, da verschiedene Verkabelungsformate miteinander verbunden werden können und die Reichweite von kupferbasierten Ethernet-Geräten über SMF/MMF-Verbindungen über viel größere Entfernungen erweitert wird.

Während zukünftige Upgrades des bestehenden Cat6/7-Bestands Cat8-Verkabelung mit Datenraten von 25/40 Gbit/s umfassen werden, werden die erhöhten Kapazitätsanforderungen bei Verbindungen mit kurzer Reichweite auf Server-, Switch- und Top-of-Rack-Ebene noch einige Jahre lang bewältigt, Rechenzentrumsbetreiber können dies jedoch Dann bündeln Sie diesen Datenverkehr über MMF/SMF-Glasfaser-Backbones mit viel größerer Kapazität für Kernverbindungen und Campus-übergreifende Verbindungen.

Die meisten Einrichtungen sind derzeit auf eine Mischung aus Kupferkabeln der Kategorie 6 (Cat6) und Cat7 angewiesen, die eine Bandbreite von 10 Gbit/s über 100 m und höhere Datenraten von bis zu 40 Gbit/s über viel kürzere Entfernungen unterstützen. Aber die Weiterentwicklung dieser Kupferverkabelungsspezifikationen ist jetzt von grundlegender Bedeutung, um nicht nur den Anforderungen von Anbietern von Hyperscale-Cloud-Diensten gerecht zu werden, sondern auch von größeren Unternehmen und Telekommunikationsunternehmen mit großen Ambitionen, ihre Nutzung oder Bereitstellung von privaten oder hybriden Cloud-gehosteten Anwendungen und Diensten auszuweiten.

Im Jahr 2016 genehmigte das TR-42 Telecommunications Cabling Systems Engineering Committee der Telecommunications Industry Association (TIA) die nächste Stufe dieser Entwicklung – Cat8, kompatibel mit 25/40GBase-T über kurze Strecken von 5 bis 30 m geschirmter Twisted-Pair-Verkabelung mit einem Standard-RJ -45 Ethernet-Schnittstelle. Aufgrund seiner relativ geringen Reichweite ist Cat8 derzeit auf Switch-to-Server-Verbindungen in Top-of-Rack- oder End-of-Row-Topologien ausgerichtet.

Die Multimode-Fasertypen werden durch ihre Kern- und Manteldurchmesser definiert und von der IEC als OM1 bis OM4 bezeichnet. Als die Bandbreitenanforderungen für OM1 100 Mbit/s überstiegen, wurde sein Durchmesser von 62,5 µm auf 50 µm (OM2) reduziert, um die Kapazität auf 1 Gbit/s und sogar 10 Gbit/s über kürzere Verbindungslängen von 82 m zu verbessern.

Dies wurde in den 1990er Jahren mit OM3 (oder laseroptimierter Multimode-Faser – LOMMF) noch einmal verstärkt. OM3 nutzte Vertical-Cavity-Surface-Emitting-Laser (VCSEL) anstelle von LED-basierten Geräten, um die Reichweite von OM2 zu erhöhen und unterstützt nun Übertragungsraten von 10 Gbit/s über 300 m.

Verschiedene Verbesserungen an OM3 erhöhten die Bandbreite und Reichweite auf 40/100 Gbit/s über Entfernungen bis zu 100 m, aber die Einführung von OM4 (das den gleichen Durchmesser von 50 µm und die gleiche VCSEL-Ausrüstung verwendet) erweiterte die Bandbreite von 10 Gbit/s auf 550 m und ermöglichte Datenraten von 100 Gbit/s über 150 m. Alle vier Arten der MMF-Verkabelung sind in vielen heutigen Rechenzentren immer noch zu finden, aber OM3/4 überwiegt aufgrund ihrer höheren Bandbreite, größeren Reichweite und VCSEL-Kompatibilität.

Eine fünfte Implementierung – OM5 – früher bekannt als Wide Band MMF (WBMMF), nutzt Kurzwellenmultiplex (SWDM) und wurde 2016 als TIA-492AAAE-Standard veröffentlicht. Sie verwendet den gleichen Durchmesser von 50 µm und die gleiche VCSEL-Ausrüstung wie OM3/4 und ist vollständig abwärtskompatibel mit seinen Vorgängern, erhöht jedoch die Kapazität jeder Faser um den Faktor vier, um viel höhere Datenraten von bis zu 100 Gbit/s über Duplex-Glasfaserverbindungen und in Zukunft 400 Gbit/s über dieselben 8-Faser-MPO-Schnittstellen zu unterstützen.

Bisher wurde OM5 kaum in Rechenzentren eingesetzt, was vor allem darauf zurückzuführen ist, dass nur wenige Hersteller entsprechende Transceiver in nennenswertem Umfang hergestellt haben. Die Zulieferer gründeten die SWDM-MSA-Gruppe erst im März 2017, während Finisair bekannt gab, dass es im darauffolgenden November mit der Produktion von QSFP28-SWDM-Transceivern begonnen hat, die 100 Gbit/s über ein einzelnes Glasfaserpaar unterstützen. Es besteht kaum ein Zweifel daran, dass OM5 im Jahr 2018 schnell zur De-facto-MMF-Implementierung für neue Rechenzentren werden wird, während die Betreiber bei Bedarf auch damit beginnen werden, bestehende Einrichtungen mit neuer Verkabelungs- und Übertragungsausrüstung aufzurüsten.

Mehrere Netzwerkverkabelungsanbieter erkannten die Versorgungslücke und die potenzielle Größe der Marktchancen und schlossen Multi-Source-Vereinbarungen (MSAs), um bei der Bereitstellung von Singlemode-Glasfaser in einer für Rechenzentren verwendbaren Form zusammenzuarbeiten. In den letzten Jahren haben sich vier potenzielle Kandidaten für eine geeignete Spezifikation herauskristallisiert.

Die von Intel und Arista Networks angeführte 100G CLR4 Alliance hatte das Ziel, eine stromsparende 100G-CWDM-Lösung im QSFP-Formfaktor zu schaffen, die eine Bandbreite von 100 Gbit/s über Duplex-SMF bei Entfernungen von bis zu 2 km unterstützt.

Das OpenOptics 100 Gigabit Ethernet MSA wurde gemeinsam von Mellanox Technologies und dem optischen Start-up Raniovus gegründet. Es wurde eine 100-GbE-Spezifikation und ein optischer 1550-nm-QSFP28-Transceiver mit einer Reichweite von 2 km unter Verwendung einer Kombination aus SMF und Siliziumphotonik vorgeschlagen, um eine Kapazität von 100G/400G und mehr auf Basis von WDM zu bieten. Zu den Unterstützern gehören Ciena, Vertilas, MultiPhy und der Cloud-Dienstleister Oracle.

Das CWDM4-MSA zielt auch auf optische 100G-Schnittstellen für 2 km lange Kabelstrecken mit 4 Duplex-25-Gbit/s-SMF-Leitungen ab. Die fünf Gründungsmitglieder waren Avago Technologies, Finisar, Oclaro, JDSU und Sumitomo Electric, weitere Mitglieder waren Brocade, Juniper Networks und Mitsubishi Electric. Obwohl vom Konsortium keine Schnittstelle spezifiziert wurde, wird erwartet, dass der QSFP28-Formfaktor angewendet wird.

Das Parallel Single Mode 4-Lane (PSM4) MSA definierte eine Spezifikation mit einer Mindestreichweite von 500 m, die 100 Gbit/s über acht Singlemode-Fasern (vier Sende- und vier Empfangsfasern) überträgt, die jeweils mit 25 Gbit/s übertragen und optische QSFP28-Transceiver unterstützen. Zu den ursprünglichen Mitgliedern gehörten Avago, Brocade, Finisar JDSU, Juniper Networks, Luxtera, Microsoft, Oclaro und Panduit.

Dieser Artikel erschien in der Dezember/Januar-Ausgabe des DCD Magazine. Abonnieren Sie hier die digitale und gedruckte Ausgabe: