Optimierung durch künstliche Intelligenz

Das Institut für Produktionsmanagement, Technologie und Werkzeugmaschinen (PTW) hat in der Forschungsfabrik ETA-Fabrik eine relevante Entwicklung im Bereich der Energieversorgungssysteme erzielt. Erstmals wurde die komplexe Versorgungstechnik der Forschungsfabrik erfolgreich durch die Anwendung von Deep Reinforcement Learning (DRL) gesteuert. Deep Reinforcement Learning ist eine Unterdisziplin des maschinellen Lernens, bei der ein Algorithmus (Agent) durch Interaktion mit seiner Umgebung eine langfristig optimale Strategie erlernt– in diesem Fall den möglichst kostenoptimalen Betrieb der Versorgungstechnik der ETA-Fabrik.

Die Herausforderung: Die Betriebsstrategieoptimierung von Energieversorgungssystemen ist zunehmend komplex, insbesondere wenn es darum geht, vielfältige Rahmenbedingungen und Zielsetzungen auszubalancieren. Im Kontext des ETA-Systems waren dies bspw. die Einhaltung von Temperaturgrenzen, sowie die Reduzierung der Schaltfrequenz der Anlagen und natürlich die Reduzierung der Energiekosten.

In vorangegangenen Arbeiten an der ETA-Fabrik konnte bereits simulativ gezeigt werden, dass durch die Anwendung von DRL deutliche Kosten- und Emissionseinsparungen möglich sind. Eine Anwendung an einem komplexen Realsystem fehlte aber bisher. Das nun erzielte Zwischenergebnis aus dem vom BMWK geförderten Forschungsprojekt KI4ETA stellt einen entscheidenden Meilenstein dar, da nun erstmals gezeigt werden konnte, dass der stabile Betrieb auch komplexer Versorgungssysteme über diesen Ansatz auch in der Realität möglich ist.

Dafür wurde nach einer generalisierbaren Methode zunächst eine Simulation des Versorgungssystems aufgebaut und parametriert, das als Trainingsumgebung für den Algorithmus diente. Dafür kam eine Institutseigene Modelica-Simulationsbibliothek und ein im Rahmen des Projekts KI4ETA entwickeltes Python-Framework (eta-utility) zum Einsatz.

Vor der exemplarischen Anwendung an mehreren Produktionstagen wurde der trainierte Agent simulativ validiert, wobei ein stabiles Betriebsverhalten erreicht und die Gesamtkosten im Vergleich zur traditionellen Betriebsstrategie signifikant reduziert werden konnten. Ein Nachteil: Der Agent erreichte dies vor allen Dingen durch die starke Absenkung der Schaltkosten der Anlagen und nahm einen erhöhten Energieverbrauch in Kauf, was Handlungsbedarf in Bezug auf die Definition der Kostenfunktion deutlich macht. Da abseits hiervon ein stabiler Betrieb vorlag, wurde der trainierte Agent an verschiedenen Tagen am Realsystem eingesetzt, unter anderem in einer 8-stündigen Anwendung, bei welcher auch diverse Einflussfaktoren wie aktuelle Strompreise und Wetterbedingungen berücksichtigt wurden.

Die Ergebnisse zur realen Anwendung von DRL im Kontext der Betriebsstrategieoptimierung sind vielversprechend und werden im Projekt KI4ETA weiter verfolgt. Das erreichte Zwischenergebnis dient als gute Motivation für die nächsten Schritte; so muss beispielsweise die Robustheit des Verfahrens noch weiter gesteigert und vor allen Dingen die Kostenfunktion adaptiert werden, um neben einem robusten Betrieb auch eine Reduktion der Energiekosten und der CO2-Emissionen zu erreichen.