Flüssigkühlung und Gebäudeautomation

Wer heute ein Rechenzentrum für KI-Workloads oder High Performance Computing plant, stösst früh auf eine Grenze der Luftkühlung. Moderne Beschleunigerkarten und dicht bestückte Server erzeugen Verlustleistungen, die mit Kaltluft allein kaum noch beherrschbar sind. Flüssigkühlung ist keine Nischentechnologie mehr, sondern eine Planungsrealität. Damit verschiebt sich aber auch die Regelungsaufgabe: Sie rückt näher an die IT, wird schneller und feiner, und sie verlangt von der Gebäudeautomation mehr als bisher. Dieser letzte Teil unserer Serie zeigt, was das konkret bedeutet, wo die neuen Anforderungen an Regelung, Überwachung und Alarmierung liegen, und warum ein durchdachtes Automatisierungskonzept hier keine Kür, sondern Pflicht ist.

Die vorangegangenen Teile dieser Serie haben die Grundlagen gelegt: Commissioning, BACnet/SC, PUE-Messung, Abwärmenutzung und die Trennung von BMS und EPMS. Wer diese Themen noch nicht kennt, findet sie in den ersten fünf Teilen. Dieser sechste Teil baut darauf auf und behandelt die spezifischen Anforderungen der Flüssigkühlung.

Was Flüssigkühlung von Luftkühlung unterscheidet

Bei der konventionellen Luftkühlung liegt die Regelungsaufgabe weitgehend auf der Ebene des Raumes und der Reihe. Computer Room Air Handler, Kältemaschinen und Rückkühler werden so geregelt, dass die Zulufttemperatur im Weissraum innerhalb des empfohlenen Bereichs bleibt. ASHRAE TC 9.9 nennt für den empfohlenen Bereich eine Zulufttemperatur von 18 bis 27 °C. Die IT selbst regelt intern über Lüfter, und die Gebäudeautomation hält den Rahmen.

Bei der Flüssigkühlung ändert sich das grundlegend. Das Kühlmedium, in der Regel Wasser oder ein Wasser-Glykol-Gemisch, wird direkt an die Wärmequelle geführt. Je nach Konzept geschieht das über Rear-Door-Wärmetauscher, über Kühlplatten direkt auf den Prozessoren, oder über Immersionskühlung, bei der die gesamte Platine in ein dielektrisches Fluid eingetaucht wird. In jedem Fall ist die thermische Kopplung zwischen IT und Kühlkreislauf viel enger als bei der Luftkühlung.

Das hat direkte Konsequenzen für die Regelung. Temperatur und Durchfluss des Kühlmediums beeinflussen die IT-Komponenten unmittelbar. Eine zu hohe Vorlauftemperatur oder ein zu geringer Durchfluss führt nicht zu einem langsam steigenden Raumtemperaturwert, sondern direkt zu erhöhten Chip-Temperaturen. Die Reaktionszeit der Regelung muss entsprechend kürzer sein, und die Messgrössen müssen näher an der Wärmequelle liegen.

Die drei Konzepte und ihre Regelungsanforderungen

In der Praxis begegnen uns heute drei Hauptkonzepte der Flüssigkühlung, die sich in ihrer Regelungsanforderung deutlich unterscheiden.

Rear-Door-Wärmetauscher

Der Rear-Door-Wärmetauscher sitzt als Tür am Rack und kühlt die Abluft des Servers, bevor sie in den Raum gelangt. Das Konzept ist vergleichsweise einfach zu integrieren, weil die Luftkühlung der Server selbst erhalten bleibt. Die Gebäudeautomation muss Vorlauftemperatur und Durchfluss pro Rack oder Rackgruppe regeln. Kritisch ist die Taupunktüberwachung: Liegt die Vorlauftemperatur unter dem Taupunkt der Raumluft, kondensiert Feuchtigkeit an der Tür. Das ist ein direktes Risiko für die IT-Ausrüstung. Die Regelung muss deshalb die Vorlauftemperatur dynamisch an den aktuellen Taupunkt anpassen, und dieser muss zuverlässig gemessen werden.

Direkte Flüssigkühlung am Chip

Bei der direkten Flüssigkühlung, auch Direct Liquid Cooling oder DLC genannt, wird das Kühlmedium über Kühlplatten direkt auf die Prozessoren geführt. Die Verlustleistung wird dort abgeführt, wo sie entsteht. Das ermöglicht sehr hohe Leistungsdichten, stellt aber auch die höchsten Anforderungen an die Regelung. Durchfluss und Temperatur müssen pro Server oder sogar pro Kühlkreis überwacht werden. Ein Ausfall der Flüssigkühlung führt in Sekunden zu einer kritischen Überhitzung. Die Gebäudeautomation muss hier nicht nur regeln, sondern auch schnell und zuverlässig alarmieren und im Fehlerfall definierte Schutzreaktionen auslösen.

Immersionskühlung

Bei der Immersionskühlung tauchen die Server vollständig in ein dielektrisches Fluid ein. Die Wärme wird über Wärmetauscher an einen sekundären Wasserkreislauf abgegeben. Die Regelungsaufgabe liegt hier vor allem auf der Temperatur des Fluids und des sekundären Kreislaufs. Weil keine Serverlüfter mehr vorhanden sind, entfällt ein wichtiger Indikator für den thermischen Zustand der IT. Die Überwachung muss deshalb auf Fluidtemperatur, Durchfluss und die Temperaturen an den Wärmetauschern abstützen.

Neue Messgrössen, neue Datenpunkte

Die Flüssigkühlung bringt eine deutlich grössere Zahl an relevanten Messgrössen mit sich. In einem konventionellen Rechenzentrum überwacht die Gebäudeautomation vor allem Raumtemperaturen, Druckdifferenzen und die Betriebszustände der Kältemaschinen. Bei der Flüssigkühlung kommen hinzu: Vorlauf- und Rücklauftemperaturen pro Kühlkreis, Durchflussmengen, Druckdifferenzen in den Verteilern, Taupunkttemperaturen an kritischen Stellen, Leckagesensoren entlang der Leitungen und an den Anschlüssen sowie die Temperaturen der Wärmetauscher.

Diese Datenpunkte müssen von Beginn an in der Datenpunktliste des BMS erfasst und mit klaren Bezeichnungen versehen sein. Wir erleben in der Praxis, dass Flüssigkühlsysteme oft mit eigenen Steuerungen geliefert werden, die ihre Daten nicht automatisch an das übergeordnete BMS übergeben. Die Integration dieser Subsysteme ist eine Planungsaufgabe, die früh angegangen werden muss. Wer erst in der Inbetriebnahmephase merkt, dass ein Kühlsystem keine standardisierten Schnittstellen hat, verliert Zeit und Geld.

Die Datenpunktdichte steigt auch deshalb, weil Flüssigkühlsysteme oft redundant ausgelegt sind. Jeder Kreislauf, jede Pumpe, jeder Wärmetauscher braucht eigene Messpunkte, damit die Redundanz im Betrieb tatsächlich überwacht und nicht nur auf dem Papier vorhanden ist. Wie man Redundanz im Bestand prüft, haben wir in Teil 4 der Serie «Rechenzentrum im Bestand: Analyse, Optimierung, Sicherheit» beschrieben.

Regelungsstrategien: Schneller, feiner, redundanter

Die Regelung eines Flüssigkühlsystems unterscheidet sich in drei wesentlichen Punkten von der Luftkühlung.

Der erste Punkt ist die Reaktionsgeschwindigkeit. Wasser hat eine viel höhere Wärmekapazität als Luft, aber die thermische Kopplung an die IT ist enger. Eine Störung im Kühlkreislauf wirkt sich schneller auf die IT-Komponenten aus als eine Störung in der Luftkühlung. Die Regelkreise müssen entsprechend schnell reagieren, und die Alarmgrenzen müssen enger gesetzt sein.

Der zweite Punkt ist die Feinheit der Regelung. Bei der Luftkühlung genügt es oft, die Raumtemperatur in einem Bereich von einigen Grad zu halten. Bei der direkten Flüssigkühlung muss die Vorlauftemperatur in einem viel engeren Band gehalten werden, weil die IT-Komponenten empfindlicher auf Temperaturschwankungen reagieren. Das erfordert präzisere Sensoren, engere Regelparameter und eine sorgfältige Inbetriebnahme der Regelkreise.

Der dritte Punkt ist die Redundanz der Regelung selbst. In einem konventionellen Rechenzentrum kann ein ausgefallener Regler oft durch manuelle Eingriffe oder durch andere Geräte kompensiert werden, weil die thermische Trägheit des Raumes Zeit lässt. Bei der direkten Flüssigkühlung ist diese Zeit nicht vorhanden. Die Regelung muss deshalb selbst redundant ausgelegt sein: redundante Steuerungen, redundante Kommunikationswege, redundante Sensoren an kritischen Stellen. Das ist keine Überplanung, sondern eine Grundvoraussetzung für den sicheren Betrieb.

Alarmierung: Mehr Stufen, kürzere Reaktionszeiten

Die Alarmierung bei Flüssigkühlsystemen muss anders strukturiert sein als bei der Luftkühlung. Wir unterscheiden grundsätzlich drei Alarmstufen, die im Alarmkonzept klar definiert sein müssen.

Die erste Stufe sind Vorwarnungen. Sie zeigen an, dass ein Parameter sich einem kritischen Bereich nähert, ohne dass sofortiger Handlungsbedarf besteht. Beispiele sind eine leicht erhöhte Rücklauftemperatur oder ein leicht gesunkener Durchfluss. Diese Alarme geben dem Betriebspersonal Zeit, die Ursache zu suchen und zu beheben, bevor ein kritischer Zustand eintritt.

Die zweite Stufe sind kritische Alarme. Sie zeigen an, dass ein Parameter einen Grenzwert überschritten hat und sofortiger Handlungsbedarf besteht. Bei der direkten Flüssigkühlung kann das ein Durchflussausfall in einem Kühlkreis sein oder eine Vorlauftemperatur, die den zulässigen Bereich verlässt. Diese Alarme müssen sofort und zuverlässig an das Betriebspersonal übermittelt werden, unabhängig von Tageszeit und Wochentag.

Die dritte Stufe sind Schutzabschaltungen. Sie werden automatisch ausgelöst, wenn ein kritischer Zustand eintritt, der eine sofortige Reaktion erfordert, ohne auf menschliches Eingreifen zu warten. Ein Beispiel ist die automatische Abschaltung eines Servers oder einer Servergruppe bei Ausfall der Flüssigkühlung. Diese Schutzreaktionen müssen im Voraus definiert, getestet und dokumentiert sein. Wer erst im Ernstfall entscheidet, was zu tun ist, entscheidet zu spät.

Das Alarmmanagement im Rechenzentrum haben wir ausführlich in Teil 5 der Serie «Rechenzentrum im Bestand: Analyse, Optimierung, Sicherheit» beschrieben. Die dort beschriebenen Grundsätze gelten für Flüssigkühlsysteme in verstärktem Mass.

Leckageerkennung als eigenständige Überwachungsaufgabe

Wasser und IT-Ausrüstung vertragen sich nicht. Das ist keine neue Erkenntnis, aber bei der Flüssigkühlung ist das Risiko strukturell anders als bei einer Sprinkleranlage oder einem Wasserrohrbruch. Die Kühlmediumleitungen verlaufen direkt an und in den Racks, oft auf engstem Raum mit aktiver IT-Ausrüstung. Eine Leckage, auch eine kleine, kann in kurzer Zeit grossen Schaden anrichten.

Die Leckageerkennung muss deshalb als eigenständige Überwachungsaufgabe geplant werden. Leckagesensoren gehören an alle Stellen, an denen Verbindungen lösbar sind: Anschlüsse an den Racks, Verteiler, Wärmetauscher, Pumpen. Zusätzlich empfehlen wir linienförmige Leckagebänder unter den Kühlmediumleitungen in den Bodenkanälen. Diese erkennen auch kleine Mengen ausgetretener Flüssigkeit, bevor sie sich ausbreiten.

Die Leckagesignale müssen direkt ins BMS eingebunden sein und sofortige Alarme auslösen. Gleichzeitig muss das Alarmkonzept festlegen, welche Schutzreaktionen bei einer Leckage automatisch ausgelöst werden: Absperrventile schliessen, Pumpen abschalten, IT-Systeme geordnet herunterfahren. Diese Reaktionskette muss im Commissioning getestet werden. Wie ein strukturiertes Commissioning im Rechenzentrum aufgebaut ist, haben wir in Teil 1 dieser Serie beschrieben.

Integration von Flüssigkühlsystemen ins BMS

Flüssigkühlsysteme werden oft als eigenständige Einheiten geliefert, mit eigener Steuerung, eigenem Display und eigener Alarmierung. Das ist aus Sicht der Hersteller verständlich, aus Sicht des Betreibers aber problematisch. Wer mehrere Kühlsysteme verschiedener Hersteller betreibt und jedes davon separat überwacht, hat keinen einheitlichen Überblick und keine gemeinsame Alarmhistorie.

Die Integration ins BMS ist deshalb eine Planungsanforderung, die in der Ausschreibung festgelegt werden muss. Wir empfehlen, für alle Flüssigkühlsysteme standardisierte Schnittstellen zu fordern, vorzugsweise BACnet nach SN EN ISO 16484-5 (SIA 386.155). Damit können alle relevanten Datenpunkte ins BMS übernommen, dort überwacht und alarmiert werden. Proprietäre Schnittstellen oder reine Modbus-Anbindungen ohne Dokumentation sind langfristig ein Betriebsrisiko.

Die Kommunikationssicherheit spielt dabei ebenfalls eine Rolle. Flüssigkühlsysteme sind oft direkt mit dem Netzwerk verbunden, und ihre Steuerungen sind ein potenzielles Einfallstor. BACnet/SC bietet hier eine sicherere Alternative zu klassischem BACnet/IP. Wir haben das in Teil 2 dieser Serie ausführlich beschrieben.

Wichtig ist auch die Datenpunktstruktur. Alle Messpunkte der Flüssigkühlung müssen in der Datenpunktliste des BMS erfasst, eindeutig bezeichnet und mit Alarmgrenzen versehen sein. Eine Datenpunktliste, die nur die Luftkühlungskomponenten enthält und die Flüssigkühlung als Blackbox behandelt, ist für den Betrieb unbrauchbar. Wie eine vollständige Datenpunktliste aufgebaut sein muss, beschreiben wir in unserer Serie zur BACnet-Planung.

PUE und Energieeffizienz bei Flüssigkühlung

Flüssigkühlung ermöglicht grundsätzlich bessere PUE-Werte als Luftkühlung, weil das Kühlmedium Wärme effizienter transportiert und höhere Rücklauftemperaturen erlaubt. Höhere Rücklauftemperaturen wiederum ermöglichen effizientere Rückkühlung und erleichtern die Abwärmenutzung. Das haben wir in Teil 3 und Teil 4 dieser Serie beschrieben.

Damit diese Effizienzvorteile tatsächlich realisiert werden, muss die Regelung entsprechend ausgelegt sein. Eine Flüssigkühlung, die mit unnötig tiefen Vorlauftemperaturen betrieben wird, weil die Regelung nicht auf die tatsächliche Last reagiert, verschenkt Effizienzpotenzial. Die Vorlauftemperatur sollte so hoch wie möglich und so tief wie nötig gehalten werden, dynamisch in Abhängigkeit von der aktuellen IT-Last und den Aussentemperaturen.

Die PUE-Messung nach EN 50600-4-2 muss bei Flüssigkühlsystemen die Kühlenergie der Flüssigkühlung vollständig erfassen. Das klingt selbstverständlich, ist es in der Praxis aber nicht immer. Wenn die Pumpen der Flüssigkühlung an einem anderen Stromkreis hängen als die Kältemaschinen, und wenn dieser Stromkreis nicht in der Energiemessung erfasst ist, wird der PUE zu gut ausgewiesen. Die Messkonzeption muss deshalb alle Energieflüsse der Flüssigkühlung einschliessen.

Der rote Faden zu unseren Fachbeiträgen

Dieser sechste und letzte Teil der Serie «Leittechnik im Rechenzentrum» baut auf allen vorangegangenen Teilen auf. Teil 1 «Commissioning L1 bis L5 im Rechenzentrum einfach erklärt» zeigt, wie die Inbetriebnahme strukturiert sein muss, damit Flüssigkühlsysteme korrekt getestet und abgenommen werden. Teil 2 «BACnet/SC als Schutz für die Kühlung» behandelt die Kommunikationssicherheit, die bei vernetzten Flüssigkühlsystemen besonders relevant ist. Teil 3 «PUE richtig messen nach EN 50600» und Teil 4 «Abwärme aus dem Rechenzentrum nach MuKEn Art. 1.18» zeigen, wie die Effizienzvorteile der Flüssigkühlung gemessen und genutzt werden. Teil 5 «BMS und EPMS trennen und trotzdem verbinden» beschreibt, wie die Energiemessung der Flüssigkühlung in die Gesamtstruktur eingebunden wird.

Wer ein bestehendes Rechenzentrum auf Flüssigkühlung umrüstet oder nachrüstet, findet in der Serie «Rechenzentrum im Bestand: Analyse, Optimierung, Sicherheit» weitere relevante Beiträge. Teil 2 «Was die Trenddaten über Ihre Kühlung verraten» zeigt, wie man aus vorhandenen Betriebsdaten Schwachstellen erkennt. Teil 4 «Ist N+1 noch N+1? Redundanz im Bestand prüfen» ist besonders relevant, weil Flüssigkühlsysteme oft mit N+1-Redundanz geplant, aber nicht entsprechend überwacht werden. Teil 5 «Alarmflut im Leitstand: Alarmmanagement im Rechenzentrum» gibt Grundlagen für die Alarmstruktur, die bei Flüssigkühlsystemen besonders wichtig ist.

Für die Planung und Ausschreibung empfehlen wir ausserdem unsere Beiträge «Vom Lastenheft zur Abnahme: Der BACnet-Planungsprozess in der Praxis» und «Das GA-Lastenheft: Was wirklich drinstehen muss». Beide zeigen, wie die Anforderungen an Flüssigkühlsysteme von Beginn an in die Planungsunterlagen einfliessen müssen.

Fazit

Flüssigkühlung ist keine Erweiterung der Luftkühlung, sondern ein anderes Kühlkonzept mit anderen Regelungsanforderungen. Die Gebäudeautomation muss schneller reagieren, feiner regeln und redundanter ausgelegt sein. Die Datenpunktdichte steigt, die Alarmierung muss mehrstufig und mit definierten Schutzreaktionen aufgebaut sein, und die Leckageerkennung ist eine eigenständige Überwachungsaufgabe.

Die Integration der Flüssigkühlsysteme ins BMS muss von Beginn an geplant werden. Proprietäre Insellösungen, die separat überwacht werden, sind ein Betriebsrisiko. Standardisierte Schnittstellen, vollständige Datenpunktlisten und ein durchdachtes Alarmkonzept sind die Grundlage für einen sicheren und effizienten Betrieb.

Wer diese Anforderungen früh in die Planung einbringt, spart sich aufwendige Nachbesserungen in der Inbetriebnahmephase und im Betrieb. Wer sie ignoriert, merkt es spätestens beim ersten Leckagealarm um drei Uhr morgens.

Sie haben Fragen dazu?

Sie planen ein Rechenzentrum mit Flüssigkühlung oder prüfen, ob Ihre bestehende Leittechnik für eine Nachrüstung bereit ist? Wir unterstützen Sie bei der Anforderungsdefinition, der Ausschreibung und der Inbetriebnahme. Nehmen Sie Kontakt auf über wenget.ch oder info@wenget.ch.

Quellenverzeichnis

• ASHRAE TC 9.9: Thermal Guidelines for Data Processing Environments, aktuelle Ausgabe (empfohlene Zulufttemperaturbereiche)
• ASHRAE TC 9.9: Liquid Cooling Guidelines for Datacom Equipment Centers (Kühlkonzepte, Regelungsanforderungen, Leckageerkennung)
• EN 50600-2-3: Rechenzentren, Einrichtungen und Infrastrukturen, Teil 2-3: Umgebungsbedingungen
• EN 50600-4-2: Rechenzentren, Einrichtungen und Infrastrukturen, Teil 4-2: Power Usage Effectiveness (PUE)
• SN EN ISO 16484-5 (SIA 386.155): Datenkommunikationsprotokoll BACnet
• SN EN ISO 52120-1 (SIA 386.111): Energieeffizienz von Gebäuden, Beitrag der Gebäudeautomation und des Gebäudemanagements
• Eigene Projekterfahrung der WENGET GmbH aus GA-Planung, Inbetriebnahme und Betriebsbegleitung in Rechenzentren