Die momentanen Preiserhöhungen bei konventionellen, zumeist fossilen Energieträgern können als erste Anzeichen für eine zukünftige Verknappung dieser Ressourcen angesehen werden. Von dieser Preisentwicklung und dem Einfluss der politischen Entscheidungsträger geht ein zunehmender Druck auf die Energieversorgungsunternehmen aus, die derzeit genutzten Primärenergien effizienter zu nutzen und die Nutzung auf die so genannten regenerativen Primärenergien auszudehnen. Charakteristisch für diese "neue Art" von Energiequellen ist, dass sie verglichen mit ihren fossilen Konkurrenten nur bei großräumiger Nutzung nennenswerte Leistungen erreichen. Um einen wichtigen Beitrag zur aktuellen Versorgung leisten zu können, werden regenerative Energieumwandlungsanlagen (REAs) als Anlagen niedriger Anschlussleistungen in großer Zahl und weiträumig verteilt betrieben (Windparks, Solaranlagen auf den Hausdächern von Siedlungen, etc.). Die Verfügbarkeit dieser erneuerbaren Energiequellen lässt sich jedoch nicht präzise vorhersagen. Dieses mit begrenzter Präzision prognostizierbare Verhalten sorgt in gegenwärtigen Energieversorgungsmodellen für große Probleme. Die Leistungen regenerativer Anlagen variieren innerhalb der bisherigen Betriebsintervalle im Minutenbereich regional beträchtlich. Um den sicheren Betrieb der elektrischen Energieversorgungsnetze zu gewährleisten, muss die Einspeiseleistung der REAs zu einem gewissen Anteil von sicher zur Verfügung stehenden Kraftwerken vorgehalten werden. Die vorgehaltene Reserveleistung wird klassisch mit konventionellen Kraftwerken, die fossile Primärenergieträger einsetzen, vorgehalten. Zu diesem Zweck werden diese Kraftwerke im so genannten Teillastbereich gefahren, einem Betriebspunkt unterhalb ihrer maximalen Leistung. Im Teillastbereich sind die Wirkungsgrade der meisten Kraftwerke allerdings niedriger als im Vollastbetrieb. Dies führt zu einer Senkung des Gesamtwirkungsgrades des eingesetzten Kraftwerkparks. Mit vermehrter Einspeisung aus REAs steigt die für den worst-case vorzuhaltende Reserveleistung rapide an (Deutsche Energie Agentur [1]). Ein derartiges Versorgungsmodell widerspricht nicht nur ganz offensichtlich der Forderung an eine effizientere Nutzung knapper werdender klassischer Energieträger, es zerstört vielmehr zugleich die Vorteile, die durch die Nutzung regenerativer Energieträger erreicht werden sollen.
Im Rahmen des von der Deutschen Forschungsgemeinschaft geförderten F&E Projektes DEZENT, einem Gemeinschaftsprojekt zwischen dem Fachbereich für Informatik und der Fakultät für Elektrotechnik an der Technischen Universität Dortmund, wird ein neues Versorgungsmodell für elektrischen Strom aus verteilter, regenerativer Energieerzeugung entwickelt (Wedde et al. [2,3,4,5,6]. In unserem Modell stellen verteilte REAs selbst Reserveleistung zur Verfügung und schaffen so den, für eine gesicherte Versorgung notwendigen, Netzausgleich. Um mit der praktischen Unvorhersehbarkeit in den individuellen Anschlussleistungen umgehen zu können, nutzt DEZENT Betriebsintervalle von nur 0,5s Länge. Software Agenten verhandeln innerhalb dieser Intervalle stellvertretend für individuelle Erzeuger und Verbraucher. Dabei stimmen sich die Agenten miteinander kontinuierlich und autonom über Leistungsfähigkeit, Bedarf und Preis ab.
Beschränkten sich die bisherigen Bestrebungen in DEZENT hauptsächlich auf die Entwicklung effizienter Kommunikations- und Verhandlungsalgorithmen, so bietet ein dezentral operierendes Energiemanagement darüber hinaus auch Möglichkeiten für ein verteiltes Netzmanagement. Die Berücksichtigung und Modellierung von Speichern für elektrische Energie ermöglicht einen effizienten Umgang mit unvorhersehbaren Schwankungen und Anforderungsprofilen bei dezentraler Erzeugung und Verbrauch elektrischer Energie und damit die Verringerung der oben angesprochenen vorzuhaltenden worst-case Reserveleistung. Direkte elektrische Speicher können dabei Batterien sein, die in Form von Elektrofahrzeugen für lange Zeiträume (statistisch wird ein PKW lediglich 1-2h pro Tag genutzt) mit dem Versorgungsnetz verbunden sind. Indirekte elektrische Speicher sind dabei flexible Erzeuger und Verbraucher elektrischer Energie, die ihre Produktion bzw. ihren Bedarf in begrenztem Umfang zeitlich variieren können, um so, in Perioden hohen Bedarfs bzw. geringer Erzeugung, die maximal vorzuhaltende Reserveleistung zu verringern. Hierzu zählen unter anderem Kühlschränke, Heißwasserboiler, (wärmegeführte) Blockheizkraftwerke, etc.
Das Energieversorgungsnetz unterliegt einer strengen hierarchischen Struktur, durch die das Netz in vier Ebenen unterteilt wird. Auf oberster Stufe ist die Transportnetzebene mit 380/220kV. Darunter befinden sich die Ebenen des Hochspannungsnetzes (110kV), des Mittelspannungsnetzes (1-60kV) und letzlich des Niederspannungsnetzes (0.4kV), an der die Endverbraucher angeschlossen sind. Die Einspeisung findet im klassischen Netzmodell ausschließlich durch Großkraftwerke auf der Transportnetzebene statt. Hierbei wird die eingespeiste Spannung durch Umspannwerke auf die Spannungslevel der darunter liegenden Netzebenen angeglichen und weitergeleitet bis sie schließlich an die Endverbraucher gelangt. Man spricht daher in diesem Zusammenhang von einer Top-Down-Versorgung. Gleichfalls findet die Netzregulierung und die Gewährleistung der Netzstabilität zentral auf der obersten Ebene statt. Durch den Einsatz von regenerativen Energieerzeugern wie zum Beispiel Solar- und Windenergie findet jedoch auch vermehrt eine Einspeisung auf den niedrigeren Netzebenen statt. Da zunehmend auch mehr Privathaushalte mit Solaranlagen auf dem Dach oder BHKWs ausgestattet und somit potentielle Energieerzeuger sind, sind die Netzbetreiber nach dem "Gesetz zur Neuregelung des Rechts der Erneuerbaren Energien im Strombereich" [7] verpflichtet auch diese eingespeiste Energie abzunehmen. Dieser Umstand wirft neue Fragestellungen bezüglich wirtschaftlicher und technischer Aspekte auf. Die wirtschaftliche Sicht betrifft die Preisgestaltung und Abrechnung. Auf technischer Ebene sind speziell Aspekte der Netzregulierung und der Gewährleistung eines stabilen Netzes vorrangig, da nun auch vermehrt eine Einspeisung in das Netz auf den unteren Spannungsebenen stattfindet (Bottom-Up).
Das DEZENT-System verfolgt einen dezentralen Ansatz zur Lösung der oben genannten Probleme. Es handelt sich dabei um ein verteiltes, realzeitfähiges Agentensystem, die autonom den Leistungsbedarf und Leistungsangebot der Agenten verhandelt und die Preise festlegt. Die verschiedenen Netzebenen werden beim DEZENT-System in Bilanzgruppen, die durch durch BGM-Agenten repräsentiert werden, eingeteilt. Diese BGM-Agenten verwalten die ihnen untergeordneten, wiederum durch Agenten repräsentierten Konsumenten und Produzenten.
Alle 500ms werden Verhandlungen angestossen, bei der die BGMs die Bedarfe bzw. Angebote der Konsumenten-/Produzenten-Agenten (im Folgenden nur Akteuere genannt) für die nächste Periode verhandeln. Eine Verhandlungsperiode ist in drei Verhandlungszyklen, die jeweils auf den entsprechenden Netzebenen stattfinden, eingeteilt. Die in einem Zyklus nicht befriedigten Agenten werden an die BGMs der nächsthöheren Netzebene weitergereicht und im nächsten Verhandlungszyklus verhandelt. Jeder Verhandlungszyklus besteht aus zehn Verhandlungsrunden, in denen die Agenten ihre Gebote und Angebote aufgrund der gewählten Verhandlungsstrategie anpassen bis ein erfolgreicher Vertragsabschluss zustandekommt oder der Verhandlungszyklus beendet wird. Die verwendenten Verhandlungsstrategien, werden nach der Periode durch ein Reeinforcement Learning Algorithmus bewertet und verbessert, um bei den Verhandlungen möglichst auf den unteren Ebenen befriedigt zu werden, da dort statistisch bessere Preise zu erzielen sind als in den nächsten Verhandlungszyklen. Dies ist durch den Aufbau des DEZENT-Modells bedingt.
Eine Verhandlungsstrategie in DEZENT ist durch ein Tupel bestehend aus einem Startgebot bzw. Startangebot und einem Strategieparameter gegeben. Der Strategieparameter legt den Verlauf der Verhandlungskurve in den Verhandlunsrunden eines Zyklus fest. Weiterhin besitzt jede Ebene einen festen Preisrahmen. Die Startgebote der Konsumenten dürfen sich nur in der unteren Häfte und die Startangebote der Produzenten in der oberen Hälfte des Preisrahmens befinden. Werden unbefriedigte Akteuere im nächsten Verhandlungszyklus an die nächsthöhere Ebene weitergereicht, wird der Preisrahmen um einen festgelegten Faktor verkleinert und die Startgebote und Startangebote der Akteure angepasst, so dass sie in den neuen Preisrahmen passen. Dadurch werden die Chancen, dass sich die Gebote und Angebote treffen erhöht, die erzielbaren Preise können aber unvorteilhafter ausfallen als bei dem größeren Preisrahmen auf der niedrigeren Stufe. Dieser Effekt wird zusätzlich noch durch ein Abschlag, den die Akteure bei einem Vertragsabschluss auf einer höheren Ebene auf die erzielten Preise zahlen, verstärkt. Am ungünstigsten wird es für die Akteure, wenn sie auf der obersten Ebene von den Hauptreservekraftwerken befriedigt werden. Werden in einem Bilanzkreis mehrere der oben erwähnten verteilten Energiespeicher betrieben, ermöglicht eine intelligente Steuerung dieser Speicher das Vorhalten der Reserveenergie bereits innerhalb des Bilanzkreises. Zu Zeiten eines Leistungsüberschusses kann die Leistung durch die verteilten Speicher innerhalb des Bilanzkreises gespeichert, um dann zu einem anderen Zeitpunkt bei höherem Leistungsbedarf wieder eingespeist zu werden. Dies würde nicht nur den Bedarf an teurer Reserveleenergie verringern, sondern über einen längeren Zeitraum vermutlich allen Akteuren innerhalb des Bilanzkreises zugute kommen, da sie statistisch weniger häufig an die höheren Netzebenen hochgereicht würden, und öfter in ihrem Bilanzkreis zu einem günstigeren Preis befridiegt werden.
In Wedde et al. [8] wurde bereits anhand eines einfachen Modells für Kühlschränke, Wasserboiler, BHKWs und Batterien das Konzept der bedingten Konsumenten- und Produzenten-Agenten für verteilte Energiespeicher eingeführt und gezeigt, wie durch eine statische Optimierung nach jedem Verhandlungszyklus lokale Bedarfs- und Angebots-Spitzen ausgeglichen werden können. Bei dem dort beschriebenem Modell besitzen die bedingten Agenten fixe gerätespezifische Kosten. Anhand dieser Kosten wird ein 0-1-Rucksackproblem definiert und durch den zuständigen Bilanzgruppenmanager nach dem Verhandlungszyklus gelöst. Die Lösung liefert eine kostenoptimale Auswahl der für den Netzausgleich zu aktivierenden Speicher-Agenten liefert.
Bei dem dort dargestelltem Modell und Vorgehensweise geht es vorrangig um das Kompensieren von kurzzeitigen Bedarfs- und Angebots-Spitzen (Flicker). Dadurch wurden einige Aspekte der Agentenorientierung ausser Acht gelassen, um auf die kurzzeitigen Schwankungen unverzüglich reagieren zu können. Das beschriebenen Verhandlungsmodell verletzt zum Beispiel das Prinzip der Autonomie von intelligenten Agenten (nach Weiß und Jakob [9] und Wooldridge und Jennings [10]). In Weiß und Jakob wird die "schwache" Charakterisierung des Agentenbegriffs wie folgt definiert: "Ein Agent ist eine abgrenzbare (Software/Hardware-)Einheit, die in der Lage ist, die von ihr vorgegebenen Aufgaben flexibel, interaktiv und autonom zu verfolgen."
Verteilt agierende Software-Agenten sollten demnach aufgrund der Wahrnehmung ihrer Umgebung autark ihre Entscheidungen treffen. Bei dem Lösen des Rücksackproblems durch den zuständigen Bilanzgruppenmanager wird das Problem jedoch an zentraler Stelle gelöst, ohne den Agenten eine Entscheidungsmöglichkeit zu bieten, ob und in welcher Weise sie in einer Verhandlungsrunde aktiviert werden sollen.
Im Rahmen dieser Diplomarbeit soll eine verbesserte Modellierung für die Integration von Energiespeicher in DEZENT erarbeitet und umgesetzt werden. Dabei sollen sowohl die elektrotechnischen als auch die wirtschaftlichen Aspekte berücksichtigt werden.
Im Rahmen dieser Diplomarbeit soll eine verbesserte Modellierung für die Integration von Energiespeicher in DEZENT erarbeitet und umgesetzt werden. Dabei sollen sowohl die elektrotechnischen als auch die wirtschaftlichen Aspekte berücksichtigt werden.
Aus technischer Sicht wird zunächst versucht eine einheitliche Modellierung für alle Formen der oben genannten Energiespeicher zu erreichen. Das soll dadurch erreicht werden, dass man Energiespeicher als Zustandsautomaten modelliert, dessen Zustände die inneren energetischen Zustände der Geräte widergeben. Zustandsautomaten bieten sich an, da auch das DEZENT-System durch seine periodenweise Betrachtung des Energiebedarfs und -angebots und die Verhandlung von Strompreisen in 500ms-Intervallen als ein zeitdiskretes System aufgefasst werden kann.
Diese Modellierung ist jedoch noch nicht ausreichend, um Speicheragenten in das DEZENT-System zu integrieren. Die Agenten in DEZENT verfolgen auch wirtschaftliche Interessen, also das Erzielen guter Preise durch die Wahl der Verhandlungsstrategie. Dies ist äquivalent zu dem Ziel der Agenten auf der untersten Ebene befriedigt zu werden und somit den Bedarf an der teuren Hauptreserveleistung zu minimieren.
Die Idee für die Modellierung der wirtschaftlichen Aspekte der Speicheragenten stammt aus dem Operations Research und befasst sich mit der Optimierung zeitdiskreter dynamischer Prozesse bzw. dynamischer Systeme (Optimal Control Theory) (in Bertsekas [11, 12], Puterman [13] und Girlich u. a. [14]). Bei der Optimierung zeitdiskreter dynamischer Prozesse geht es um die Formulierung eines dynamischen Entscheidungsproblems, bei der durch die Wahl einer optimalen Politik (eine Folge von Entscheidungen) die Kosten minimiert bzw. der Gewinn maximiert werden. Aus dieser Motivation wird das Entscheidungsproblem der Speicheragenten als ein Markov-Entscheidungsprozess (MDP) dargestellt. Dieses kann wiederum als ein Reinforcement Learning Problem beschrieben und mit Hilfe der Reeinforcement Learning Methoden gelöst werden. Die Entscheidung für Reinforcement Learning ist darin begründet, dass sie auch bei unvollständiger Information, so wie es im DEZENT-System vorliegt, und auch bei Nicht-Markov-Umgebungen gute Ergebnisse erzielen kann.
Die modellierte Erweiterung für die Speicheragenten soll dann in das verteilte Simulations- und Verhandlungsframework für DEZENT, welches am LS3 im Rahmen der Diplomarbeiten von Moritz [15] und Moskvan [16] entwickelt wurde, implementiert werden. Sind die Erweiterungen implementiert, müssen geeignete Simulationsszenarien entworfen werden. Die Simulationsszenarien sollen einerseits mit dem Basismodell aus Wedde u. a. [8] und andererseits mit dem in dieser Arbeit entwickeltem Modell, also mit autonom handelnden kostenminimierenden Agenten simuliert und verglichen werden. Mit Hilfe dieser Simulationsszenarien sollen dann die Ergebnisse bezüglich Preisentwicklung und Netzmanagement-Fähigkeiten der verteilt lernenden bedingten Speicheragenten evaluiert werden.
[1] Deutsche Energie-Agentur (dena). Energiewirtschaftliche planung für die Netzintegration von Windenergie in Deutschland an Land und Offshore bis zum Jahr 2020, 2005.
[2] Horst F. Wedde, Sebastian Lehnhoff, Edmund Handschin, and Olav Krause. Real-time multi-agent support for decentralized management of electric power. In Real-Time Systems, 2006. (ECRTS 2006). Proceedings. 18th Euromicro Conference on, Dresden, Germany, Jul 2006.
[3] Horst F. Wedde, Sebastian Lehnhoff, Edmund Handschin, and Olav Krause. Establishing large-scale renewable reserve capacity through distributed multi-agent support. In Proceedings of the 5th International Conference on Industrial Informatics, Vienna, Austria, Jul 2007.
[4] Horst F. Wedde, Sebastian Lehnhoff, Edmund Handschin, and Olav Krause. A technical and distributed management basis for an environmentally clean and sustainable energy supply. In Proceedings of the 21st Conference on Environmental Informatics and System Research, Warsaw, Poland, Sep 2007.
[5] E. Handschin, O. Krause, H. F. Wedde, and S. Lehnhoff. The emerging communication architecture in electrical energy supply and its implications. In Proceedings CRIS Workshop 2006, Influence of the Distributed and Renewable Generation of Power System Security, Magdeburg, Germany, Dec 2006.
[6] Horst F. Wedde, Sebastian Lehnhoff, Edmund Handschin, and Olav Krause. Dezentrale vernetzte Eenergiebewirtschaftung im Netz der Zukunft. Zeitschrift Wirtschaftsinformatik 6/2007, Jun 2007.
[7] Bundestag. Gesetz zur Neuregelung des Rechts der Erneuerbaren Energien im Strombereich, Jul 2004.
[8] Horst F. Wedde, Sebastian Lehnhoff, Christian Rehtanz, and Olav Krause. Bottom-up self-organization of unpredictable demand and supply under decentralized power management. In Proceedings of the 2nd IEEE International Conference on Self-Adaptation and Self-Organization (SASO’08), Venice, Italy, Oct 2008. IEEE Press.
[9] Gerhard Weiß and Ralf Jakob. Agentenorientierte Softwareentwicklung. Springer Verlag, 2005.
[10] Michael Wooldridge and Nicholas R. Jennings. Intelligent agents: Theory and practice, 1995.
[11] Dimitri P. Bertsekas. Dynamic programming and optimal control/1. Athena Scientific, 2000.
[12] Dimitri P. Bertsekas. Dynamic programming and optimal control/2. Athena Scientific, 2001.
[13] Martin L. Puterman. Markov Decision Processes: discrete stochastic dynamic programming. Wiley, 1994.
[14] Hans-Joachim Girlich, Peter Köchel, and Heinz-Uwe Küenle. Steuerung dynamischer Systeme. Birkhäuser Verlag, 1990.
[15] Kai Moritz. Entwicklung eines verteilten kommunikations- und verhandlungsalgorithmus für das dezentrale Energiemanagementsystem Dezent, 2007.
[16] Jaromır Moskvan. Entwicklung und simulation eines verteilten multiagentenframeworks für das dezentrale energiemanagementsystem dezent, 2007.
[17] C. M. Shepherd. Theoretical design of primary and secondary cells, May 1963.
[18] David Linden and Thomas B. Reddy. Handbook Of Batteries. McGraw-Hill, 2002.
[19] Horst F. Wedde, Sebastian Lehnhoff, Kai Milan Moritz, Edmund Handschin, and Olav Krause. Distributed learning strategies for collaborative agents in adaptive decentralized power systems. In Proc. of the 15th IEEE International Conference on Engineering of Computer-Based Systems, Belfast, Northern Ireland, Mar 2008. IEEE Press.
[20] Richard S. Sutton and Andrew G. Barto. Reinforcement Learning. The MIT Press, 1998.
[21] Eckhard Spring. Elektrische Energienetze. VDE Verlag, 2003.