Beschreibung / Description
Bezeichnung der Erfindung / Title of the invention
Verfahren zur Visualisierung und Validierung von Prozessereignissen und System zur Durchführung des Verfahrens.
Zur automatisierten Steuerung von Prozessen und Anlagen werden nach dem Stand der Technik sogenannte Supervisory Control and Data Acquisition (SCADA) - Systeme eingesetzt. Darunter versteht man Steuerungssysteme, welche die Überwachung, Steuerung und Visualisierung von industriellen Prozessen ermöglichen. Bestandteile dieser Steuerungssysteme sind einerseits Hardwarekomponenten wie Sensoren, PLCs oder RTUs zur Messung und Übertragung der Prozesswerte und andererseits Software wie beispielsweise SIMATIC WinCC OA als Benutzerschnittstelle, Alarmmanagement, Datenarchivierung und Prozessvisualisierung .
Ein bedeutsamer Anwendungsfall von SCADA Systemen betrifft die Überwachung und Steuerung von Versorgungsinfrastrukturen wie Öl- oder Gaspipelines, die sich typischerweise über weite geografische Bereiche erstrecken und aus verschiedenen Anlagenteilen bestehen. Deren sicherer und störungsfreier Betrieb ist nicht nur aus kommerzieller Sicht für den Betreiber und die zu versorgende Bevölkerung von größtem Interesse sondern auch aufgrund behördlicher Auflagen als betriebliche Voraussetzung zu jedem Zeitpunkt sicherzustellen.
Während der Anlagenbetreiber im SCADA System durch stationäre Sensoren zu verschiedenen Kontrollpunkten typische Parameter wie den aktuellen Druck, Durchfluss oder Temperatur des in der Pipeline transportierten Mediums überwacht, hat er keine Möglichkeit aus demselben System komplexere und unstrukturierte Daten zu akquirieren. Dazu zählen Informationen und Erkenntnisse, die sich aus Aufnahmen bildgebender Sensorik (z.B. Farbkamera, NIR-Kamera, LiDAR) von Versorgungseinrichtungen ableiten lassen.
Der Erfindung liegt daher die Aufgabe zugrunde, den Stand der Technik weiterzuentwickeln und insbesondere Bilddaten zur Prozesssteuerung heranzuziehen
Erfindungsgemäß geschieht dies mit einem Verfahren zur Visualisierung und Validierung von Prozessereignissen in Prozess- überwachungssystemen bei dem ein fest installiertes Sensorsystem Zustände an ein Prozessüberwachungssystem meldet, bei Überschreitung von vorgegebenen Grenzwerten vom Prozessüberwachungssystem eine lokale Datenerfassung mit einem mobilen Sensor ausgelöst, geplant, und ausgeführt wird, und das Ergebnis dieser Datenerfassung im Prozessüberwachungssystem analysiert, visualisiert und in die Zustandsinformation über den Prozess oder die Anlage integriert wird.
Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen .
Auf luftgestützten Plattformen (z.B. Drohnen, Helikopter, Flugzeuge) angebrachte mobile Sensoren können georeferenzier- ten Bilddaten liefern, welche durch Computer Vision-basierte Algorithmen analysiert werden können.
Erfindungsgemäß werden auch diese Datenquellen zur Beschreibung und Digitalisierung des Prozesszustandes herangezogen. Insbesondere die Verknüpfung numerisch verfügbarer Prozesswerte im SCADA System mit aus Bilddaten gewonnenen Informationen kann dem Betreiber zusätzliche wertvolle Erkenntnisse liefern .
Vorteilhafte Anwendungen bei der Überwachung von ober- bzw. unterirdische Pipelines, sind insbesondere die Erkennung der Unterschreitung der Pipelineaufschüttung unter einen vorgeschriebenen Wert, die Erkennung von Geländeveränderungen im Zeitverlauf und die Bewertung von Beschädigungen der Pipeline durch Bauarbeiten, Vandalismus, aber auch durch mechanische Abnützung .
Durch den Einsatz mobiler bildgebender Sensorik in Kombination mit Computer Vision-basierten Algorithmen kann der manuelle Aufwand minimiert und reproduzierbare Ergebnisse erzeugt werden und auch großflächige Areale und die daraus resultierenden großen Datenmengen verarbeitet werden.
Die Erfindung wird anhand von Figuren näher erläutert. Es zeigen beispielhaft:
Fig. 1 den schematischen Ablauf des erfindunsgemäßen Verfahrens
Fig. 2 die Architektur eines erfindungsgemäßen SCADA-Systems Fig.3 ein in die SCADA Software WinCC OA integriertes User Interface UI .
Das erfindungsgemäße Steuerungs- und Überwachungs-System nach Figur 1 beruht auf einem üblichen Supervisory Control and Data Acquisition (SCADA)- System wie es beispielsweise von der Siemens AG unter der Bezeichnung WinCC OA (Windows Control Center Open Architecture) vertrieben wird.
Kritische Prozesswerte und Fehlfunktionen der überwachten Anlage werden mittels Sensoren erfasst und als Alarme und/oder Meldungen im SCADA System dargestellt.
Können diese kritischen Prozesswerte und Fehlfunktionen nicht durch Steuereingriffe behoben werden, so ist eine manuelle Kontrolle und visuelle Prüfung durch technisches Personal er- forderlich .
Für die Durchführung von Kontrollen und Wartungen gibt es unterstützende Software Tools wie beispielsweise AMS (Advanced Maintenance Suite) für WinCC OA.
Diese dienen der Verwaltung von Technikpersonal ausgelegt, ermöglichen allerdings keine automatisierte und ereignisge-
steuerte Bildakquisition beispielweise durch Befliegung von weitläufigen Infrastrukturanlagen mit Drohnen.
Eine Rückführung von Ergebnissen aus der Bildanalyse in das SCADA System ist nach dem Stand der Technik nicht vorgesehen Manuelle Überprüfungen ohne Digitalisierung der Beobachtungen liefern jedoch keine reproduzierbaren Ergebnisse und sind daher für Anwendungen wie die Change Detection ungeeignet, für die ein strukturierter und vergleichbarer Ablauf Vorausset- zung ist.
In WinCC OA sind Videomanagementfunktionen enthalten, sodass stationäre Videohardware in das SCADA System integriert werden kann. Damit wird eine Überwachung von Anlagen wie bei- spielsweise Tunnelsystemen oder Verkehrseinrichtungen durch SCADA Benutzer erlaubt und eine Früherkennung von Problemsituationen gewährleistet.
Stationäre Kameras können jedoch nicht für großflächige Ver- sorgungsinfrastrukturen wie Pipelines oder Stromleitungen eingesetzt werden, die sich über mehrere 1000 km erstrecken können und hochauflösende, georeferenzierte Bilddaten zur Fehlererkennung erfordern. Um weitläufige Versorgungsanlagen wie Öl- oder Gaspipelines zu überprüfen ist es bekannt, in regelmäßigen Abständen Befliegungen beispielsweise mittels Helikopter durchzuführen. Dabei wird auf Auffälligkeiten geachtet und gegebenenfalls kritische Stellen näher inspiziert. Zusätzlich kann das wäh- rend der Befliegung aufgenommene Videomaterial später offline analysiert werden. Mit dieser Methode lassen sich große Gebiete überwachen, doch ist der Nutzen der Befliegung von der Erfahrung des eingesetzten Personals abhängig. Dadurch kann keine Reproduzierbarkeit der Ergebnisse sichergestellt wer- den.
Die derzeit existierenden Lösungsansätze sind daher mit hohem Personalaufwand und mit hohen Kosten verbunden, die sich
durch manuelle Überprüfungen und Analysen, sowie fehlende Digitalisierungen der Beobachtungen ergeben.
Erfindungsgemäß werden nun zur Visualisierung und Validierung von Prozessereignissen in SCADA-Systemen die von einem fest installierten Sensorsystem gemeldeten Zustände analysiert, und bei Überschreitung von vorgegebenen Grenzwerten wird eine lokale Datenerfassung mit einem mobilen Sensor geplant und ausgeführt. Das Ergebnis dieser Datenerfassung wird im SCADA- System visualisiert .
Vorzugsweise besteht die Datenerfassung in Aufnahmen bildgebender Sensorik wie Kameras, NIR-Kamera oder LiDAR.
Diese Aufnahmen werden analysiert und im SCADA System verwertet.
Günstig ist es, wenn die bildgebende Sensorik auf luftgestützten Plattformen angeordnet ist. Darunter fallen sowohl UAVs (unmanned aerial vehicle) wie autark fliegende oder Pilotengesteuerte Drohnen, als auch bemannte Flugplattformen wie Helikopter oder Flugzeuge.
Aus den Aufnahmen der mobilen Sensorik können Informationen über die Beschaffenheit der Erdoberfläche oder für den Anlagenbetreiber relevante Objekte und Areale gewonnen werden.
Beispielhaft wird das erfindungsgemäße Verfahren als Task- orientierter Prozess verwirklicht, der von einer Task-Server Komponente des SCADA -Systems ausgeführt wird.
Anfragen an den Task-Server werden als Tasks bezeichnet, die sich durch ihren Typ, Eingabeparameter und Resultate wie Kennzahlen oder Layer definieren. Beispiele für Tasks sind „Import Reference Model" zur Importierung eines georeferen- zierten Modells, „Acquire Images" zur Durchführung einer Befliegung mit anschließendem Import der Aufnahmen oder anwendungsspezifische Aufgaben wie die Berechnung von Pipeline-
Aufschüttungen, Geländeveränderungen oder Erkennung von Anomalien .
Wie in Abbildung 1 dargestellt, kann die Abarbeitung eines Tasks in die Teilschritte Trigger TR, Acquisition AC, Processing PR und Visualization VI bzw. Process Data Enrichment PDE gegliedert werden. Der gesamte Prozess wird durch den Task- Server orchestriert und überwacht.
Der Ablauf des Tasks wird durch entsprechende asynchrone Aufrufe von Computer Vision-Services, Datenbankinteraktionen und Zugriffe auf das Dateisystem abgearbeitet und die Resultate in das SCADA System zurückgeführt.
Der erste Schritt des Triggers TR, d.h. der Auslösung des erfindungsgemäßen Verfahrens kann beispielsweise durch einen kritischen Prozesswert oder das Ergebnis einer Berechnung im SCADA-System erfolgen. So können z.B. untypische Druckunterschiede an einer bestimmten Position der Pipeline ein Hinweis auf eine Leckage in der Pipeline sein. Auch bestimmte Wetterbedingungen können diesen Trigger TR darstellen. Neben der Event-basierten Erstellung eines neuen Tasks können Bildak- quisitionen auch zu festgelegten Zeitpunkten eingeplant werden. Der WinCC OA Operator kann dazu eine Region Of Interest (ROI) der Pipeline selektieren, die Basis für die spätere Flugplanung ist.
In WinCC OA wird durch eine als sogenannter Manager wirkende Komponente (Task Manager) die Anfrage mit verfügbaren Geo- Informationen an die Task-Server-Komponente übermittelt. Der Task-Server empfängt die Anfragen und bearbeitet sie abhängig von den übergebenen Parametern.
Für den zweiten Schritt die Acquisition AC, d.h die Beschaffung der Bildinformation beispielsweise mittels Drohnen wird der Flugplan für die Befliegung vorzugsweise automatisch durch die Parameter des Tasks aus dem SCADA System generiert.
Voraussetzung dafür ist, dass Geoinformationen der stationären Sensoren verfügbar sind, sodass daraus eine gültige Route über Regionen mit verdächtigen oder kritischen Prozesswerten erstellt werden kann. Die Flugplanung kann auch manuell erstellt oder angepasst werden, indem Wegpunkte für die
Befliegung definiert werden.
Die Befliegung selbst wird je nach technischen und rechtlichen Gegebenheiten autonom durch eine luftgestützte Plattform und deren Flugplanung durchgeführt oder manuell durch einen Piloten unterstützt.
Im dritten Schritt, dem sogenannten Processing PR, d.h. der Berechnung von Kennzahlen werden abhängig von Typ und Parametern des Tasks vom Task-Server Computer Vision-Module aufgerufen um beispielsweise Aufschüttungen entlang der Pipeline zu berechnen (Depth-of-Cover) oder Veränderungen im Zeitverlauf zu erkennen (Change Detection) . Sämtliche Ergebnisse und Metadaten der Analyse werden im Zuge des Process Data
Enrichment in einer Task-Server-Datenbank gespeichert, sodass eine Nachvollziehbarkeit der Prozesse gewährleistet ist und die Kennzahlen in das SCADA-Anlagenbild integriert werden können .
Bei den Ergebnissen der Bildanalyse kann es sich um Kennzah- len oder um Layer handeln, die in einem Map Server (z.B. Geo- Server) im räumlichen und zeitlichen Kontext visualisiert werden können .
Im vierten Schritt der Visualisierung VI in SCADA werden mittels Task-Manager-Komponente und die Schnittstelle zum Task- Server die Ergebnisse auch im SCADA System verfügbar gemacht. Somit können sie direkt im SCADA User Interface dargestellt werden oder gemeinsam mit bestehenden Prozessdaten betrachtet werden .
Zur Realisierung des erfindungsgemäßen Verfahrens als Task- orientierter Prozess ist nach dem Ausführungsbeispiel eine
flexible Architektur gemäß Fig. 2 vorgesehen, welche einfach in ein bestehenden SCADA System wie WinCC OA integrierbar ist und durch einen modularen Aufbau gleichzeitig offen für verschiedene Industrien und Anwendungen ist.
Kernelement dieser Architektur ist dabei ein Task-Server, der Anfragen des SCADA Systems empfängt und sie entsprechend ihres Typs und ihrer Parameter abarbeitet.
Zusammengefasst übernimmt der Task-Server folgende Aufgaben:
• Empfang unterschiedlicher Task-Requests wie Durchführung von Befliegungen über einem bestimmten Gebiet, Berechnungen basierend auf den akquirierten Aufnahmen oder vorheriger Ergebnisse
· Verwaltung von Tasks und Projekten zur vollständigen Nachvollziehbarkeit von Berechnungen
• Import von Aufnahmen nach Befliegungen und Metadaten in eine relationale Spatial-Datenbank
• Aufruf von Computer Vision-Services abhängig von Parame- tern des Task-Requests zur Berechnung von Kennzahlen und Generierung von Layer
• Erstellung von Layer-Objekten in einem Map Server (z.B. GeoServer) zur Visualisierung von Geodäten und Bereitstellung von ortsbezogenen Informationen über standardisierte Schnitt- stellen wie Web Map Service (WMS), Web Coverage Service
(WCS), Web Feature Service (WFS) und Web Processing Service (WPS)
• Schnittstelle zur bestehender SCADA Software zur Rückführung von Ergebnissen und Visualisierungen im SCADA User Interface
Die erfindungsgemäße Systemarchitektur gemäß Fig. 2 kann in die Schichten User Interface UI, Back-End BE, Storage ST und Computer Vision Services CVS untergliedert werden. Alle Ebe- nen sind in der Lage, Spatial Data zu verarbeiten, zu speichern oder zu visualisieren . Der modulare und serviceorientierte Aufbau ermöglicht die Umsetzung von neuen Anwendungsfällen und die Anbindung weiterer Computer Vision-Services.
Das User Interface UI des SCADA-Systems wird zur Visualisierung der Resultate aus Befliegungen eingesetzt. Dadurch kann der Anlagenbetreiber und SCADA -Nutzer diese wie übliche Prozesswerte betrachten und in deren Kontext analysieren. Zusätzlich können durch einen Map Server (z.B. GeoServer) und entsprechende Widgets im User Interface UI, Kartenmaterial und generierte Layer dargestellt werden. Da der Task-server TS als vom SCADA System unabhängige Komponente vorgesehen ist, ermöglicht eine über Websocket-Services angebotene Programmierschnittstelle auch die Anbindung weiterer User Interface -Implementierungen, wie etwa webbasierter Benutzeroberflächen .
Der Task-Server beinhaltet die Verarbeitungslogiken für die vom User Interface angefragten Tasks und stellt Schnittstellen zu den Clients bereit. Als Backend BE in der Gesamtarchitektur interagiert der Task-Server mit der SCADA Software, einer Bilddatenbank und der relationalen Spatial-Datenbank als Datenspeicher, sowie mit Computer Vision-Services, die zur Abarbeitung der Tasks benötigt werden. Zusätzlich wird ein Analytics Modul integriert, welches die Analyse von SCADA Prozesswerten mittels Data Mining Methoden unterstützt und somit zusätzliche Trigger generieren kann.
Es sind drei Datenspeicher vorgesehen, eine Archivdatenbank, ein Task Info-Datenspeicher, sowie eine Bilddatenbank.
Die Archivdatenbank ist Teil der SCADA Software und bietet die Möglichkeit alle durch Sensoren erfassten Prozesswerte zu historisieren. Dies ist auch eine Voraussetzung um Prozesswerte gemeinsam mit den Ergebnissen aus Bildanalysen im Zeitverlauf betrachten zu können.
Der Task Info-Datenspeicher ist Teil der Task-Server- Komponente und als relationale Spatial-Datenbank (z.B. Oracle Spatial) vorgesehen. Sämtliche Anfragen an den Task-Server werden in dieser Datenbank mit Parametern, Log-Daten und den Ergebnissen der Computer Vision-Algorithmen abgelegt um eine vollständige Nachvollziehbarkeit der Prozesse zu gewährleisten .
In der Datenbank werden auch georeferenzierte, räumliche Ob- jekte wie Raster- und Vektorlayer gespeichert, die durch einen Map Server visualisiert werden.
Die Bilddatenbank ist als File Storage-Datenbank (NAS) realisiert und dient der Ablage der Ursprungsbilder der Bildakqui- sition. Diese werden in der Task Info-Datenbank referenziert und können Input für Computer Vision-Algorithmen sein.
Mittels Services (Websocket/REST) werden Computer Vision- Funktionen bereitgestellt, die der Task-Server zur Abarbei- tung der Task-Workflows aufruft. Input für die Berechnung sind typischerweise die durch die Befliegung erstellten Aufnahmen oder in vergangenen Tasks erzeugte Layer.
Beispiele für Computer Vision-Services sind die Berechnung von „Core"-Obj ekten wie Color- und Height-Layer oder anwendungsspezifische Layer wie Depth-of-Cover zur Darstellung und Analyse der Aufschüttung oder Change zur Erkennung von Geländeveränderungen. Die eingesetzten Algorithmen sind zum Teil sehr rechenintensiv und bearbeiten große Datenmengen, weshalb spezielle Hardware wie CUDA zur parallelen Berechnung eingesetzt wird.
Neben dem Task-Server als Back-End BE in der Gesamtarchitektur, stellt das User Interface UI eine weitere wesentliche Komponente der erfindungsgemäßen Systemarchitektur dar. Der
Anlagenbetreiber verwendet das User Interface UI seiner SCADA Software zur Überwachung und Steuerung von Prozessen und Zuständen, die derzeit durch Prozesswerte beschrieben werden.
Indem diese durch die automatisch generierten Resultate aus Befliegungen angereichert werden und gemeinsam im SCADA User Interface UI analysiert werden, erhält der Anwender eine erweiterte Sicht auf seine Anlage. Map-Widgets unterstützen die Anzeige von Kartenmaterial und Layer, die neben Kennzahlen vom Task-Server generiert werden. Dadurch kann der Anlagenbetreiber seine Versorgungsinfrastruktur im räumlichen Kontext überwachen .
Um den Nutzen des Task-Servers und der integrierten Darstellung der Ergebnisse im SCADA User Interface UI zu veranschaulichen, wird die Berechnung der Aufschüttung und eines „Depth-of-Cover"-Layers als ein möglicher Anwendungsfall beschrieben .
Fig. 3 zeigt beispielhaft ein in die SCADA Software WinCC OA integriertes User Interface UI zur Analyse der Aufschüttung entlang eines Pipelineabschnitts .
Der Depth of Cover-Layer wird mittels Computer Vision- Algorithmen berechnet und enthält die Aufschüttung der Pipeline, d.h. wie viel Material über der Pipeline vorhanden ist. Für den Anlagenbetreiber ist die Aufschüttung eine wesentliche Kennzahl, da ein Mindestwert garantiert werden muss und ein zu geringer Wert im Extremfall ein Freiliegen der Pipeline und somit hohes Risiko für Schäden bedeuten würde. Auch ein zu hoher Wert kann Hinweise auf einen Hangrutsch und Risikostellen liefern.
Für diesen Anwendungsfall wird ein User Interface UI bereitgestellt, das die Pipeline und erzeugte Layer im geografi- schen Kontext visualisiert . Die numerisch errechneten Aufschüttungswerte werden auch in einem zweidimensionalen Diagramm dargestellt.
Durch eine „Find nearest Image"-Funktion kann auch Bezug zu den aufgenommenen Ursprungsbildern hergestellt werden.
Das beispielhafte User Interface UI bietet zwei unterschiedliche Sichtweisen, GisView oder ModelView. Im GisView Widget können verschiedene Layer ein- und ausgeblendet werden, die zuvor vom Task Server generiert wurden und von einem Map Server gerendert werden .
In einem Fenster wird Kartenmaterial beispielsweise von OSM (Open Street Map) eingeblendet und damit Geoinformationen wie Ortsnamen, Straßennamen und natürliche Gegebenheiten dem SCADA Benutzer zur Verfügung gestellt. Ein sogenannter Color Layer wird aus den aufgenommenen Bildern erstellt und zeigt das aufgenommene Gebiet aus der Vogelperspektive.
Kritische Aufschüttungswerte im Depth-of-Cover-Layer werden bereits in der Kartendarstellung farblich gekennzeichnet und können durch die Zoom In-Funktion des Widgets genauer be- trachtet werden.
Das Höhen- und Aufschüttungsprofil „Height and Depth Profile" ist eine zweidimensionale Darstellung der Pipeline und visua- lisiert einerseits die absolute Höhe der Pipeline basierend auf ihrem Referenzmodell und andererseits die Aufschüttung relativ zur Pipelinehöhe. Die Einfärbung von kritischen Aufschüttungswerten erfolgt analog zur Darstellung im GisView Widget. Ein roter Punkt stellt den Bezug zwischen GisView und Height and Depth Profile her und kann durch den Benutzer gesetzt werden.
Wird die „Find nearest image"-Schaltfläche gedrückt, so wird durch Task Server-Funktionen im Image View-Widget das dem Kartenausschnitt nächste Ursprungsbild angezeigt. Durch diese Funktion kann der Anlagenbetreiber interaktiv kritische Stellen von weitläufigen Pipelines mit sehr hohem Detailgrad in- spizieren.
Zusätzlich wird eine sogenannte Segmenttabelle in einem eigenen Fenster dargestellt. Dafür werden aneinander folgende kritische Werte der Bedeckung zu Segmenten zusammengefasst und durch ihren minimalen Aufschüttungswert repräsentiert. Eine Ampel-Logik zeigt dem Anlagenbetreiber längere Strecken mit hohem Risikopotential.
Bezugszeichenliste
UI User Interface
BE Back-End
ST Storage
CVS Computer Vision Services
TR Trigger
AC Acquisition
PR Processing
VI Visualization
PDE Process Data Enrichment