Enhanced Data Fusion in Communication Constrained Multi Sensor Applications

Das Ganze ist bekanntermaßen mehr als die Summe seiner Teile. Diese Tatsache machen sich seit je her jede Art von Lebewesen zu Nutze, indem sie Informationen der einzelnen Sinnesorgane instinktiv miteinander verknüpfen. Erst diese „Fusion“ von Eindrücken ermöglicht eine Orientierung sowie Lagebewusstsein in einer komplexen Welt und schafft so die Voraussetzung für lagebewusstes Handeln. Sensordatenfusion in der Informatik automatisiert diesen Prozess und schafft hierdurch eine Leistungssteigerung technischer Überwachungs- und Aufklärungssysteme.


Einordnung der Thematik

Als Teilgebiet der Angewandten Informatik bietet die Sensordatenfusion leistungsstarke Algorithmen, die einerseits zeitlich korrelierte Information, andererseits komplementäre Information sich ergänzender Sensoren miteinander verknüpft. Durch eine technische Re- alisierung mit Hilfe von Computern und hochsensiblen Sensoren können Zustände eines oder mehrerer Objekte mit hoher Genauigkeit geschätzt werden, obwohl sich diese unter Umständen in großer Entfernung oder in schwer zugänglichen oder gefährdeten Gebieten befinden. Weiter besteht die Möglichkeit, Hintergrundinformation und Expertenwissen in den Fusionsprozess zu integrieren und dadurch das Ergebnis des Schätzproblems zu verbessern.
Die Herausforderungen in der Sensordatenfusion sind von vielfältigster Natur. Beispiel- sweise führen physikalische Fluktuationen in den Leiterplatinen eines Sensors zu ver- rauschten, ungenauen Daten, bei ungenügender Kalibrierung oder Wechselwirkungen mit der direkten Umgebung wird man einen systematischen Messfehler feststellen können, der bildlich gut mit einer „Schlagseite“ oder einem „Schielen“ des Sensors beschrieben werden kann. Ferner können die Herausforderungen in einer Unterbestimmtheit der mathematischen Beziehungen zwischen Beobachtungs- und Zustandsraum zu finden sein. Dies führt unweigerlich zu „Geistermessungen“, die im Widerspruch zu den wahren Zuständen stehen. Außerdem lassen sich oftmals die betrachteten Objekte während des Messvorgangs nicht von ihren Umgebungen trennen, wodurch „Falschmessungen“ entste- hen, die eine einfache Observation des Zustands zunächst verhindern. Die Komplex- ität einer geeigneten Datenfusion wird zudem erhöht, falls mehrere, räumlich verteilte Sensoren durch ein möglicherweise heterogenes Datennetzwerk an eine oder mehrere Verarbeitungszentren verbunden sind. Hier muss mit frei versetzten Koordinatensyste- men der lokalen Datenaufbereitung aufgrund einer unpräzisen Registrierung von Sen-
soren gerechnet werden. Eine weitere in der Informatik verbreitete Herausforderung ist es, Uhren verteilter Systeme in synchronisiertem Zustand zu halten. In Abhängigkeit von der Präzision der Sensoren muss dies bei der Zusammenführung der Informationen beachtet werden. Zudem treten aufgrund von lokalen Datenpuffern und Kommunika- tionslatenzen mitunter veraltete Daten auf, die differenziert betrachtet werden müssen, da ein wiederholtes Verarbeiten auf Grund von zeitlichen Limitierungen nicht immer möglich ist. Das Ziel der Sensordatenfusion ist es also, durch effiziente Algorithmen ein umfassendes Lagebild aus partiellen Informationen zu erzeugen. Der Anwender er- hält damit eine technische Unterstützung, um in kritischen Situationen Entscheidungen fällen zu können.


Fragestellung und Methodik

Handelt es sich bei der Sensordatenfusion um das Lokalisieren und Klassifizieren von Objekten hinsichtlich Position, Geschwindigkeit und weiteren Eigenschaften, so spricht man auch von „Tracking“. Die zeitliche Folge von Zustandsschätzungen und zugehöri- gen Schätzfehlern eines beobachteten Objekts wird dementsprechend mit „Tracks“ oder auf deutsch mit „Spur“ bezeichnet. In dieser Arbeit betrachten wir die Herausforderun- gen, wie Tracks anhand Informationen räumlich verteilter Sensoren gefunden, fusion- iert und aktualisiert werden können, wenn das zugrundeliegende Übertragungssystem beschränkte Kapazität aufweist. In dem sich daraus ergebenden Aufgabenkomplex wur- den drei Schlüsselprobleme identifiziert und weitgehend gelöst, die den Aufbau leis- tungsfähigerer und robusterer Fusionssysteme ermöglichen: Latenz, beschränkte Band- breite und fluktuierende Konnektivität. Andere Aspekte der Datenfusion in verteilten Szenarien wie Registrierung und Synchronisierung werden nicht betrachtet, um eine Fokussierung auf die Wechselwirkungen mit Effekten der Kommunikationsverbindungen zu ermöglichen.
Zunächst wenden wir uns der Fragestellung zu, wie Tracks anhand verspäteter Messun- gen optimal aktualisiert werden können. Sprechen wir von „optimal“, so meinen wir bestmöglich im Sinne des statistisch zu erwartenden Fehlers im Schätzergebnis. Hierfür verwenden wir den Accumulated State Density (ASD) Filter. Dieser löst das seit vielen Jahren offene Problem der optimalen Verarbeitung verspäteter Messungen. Basierend auf der von W. Koch hergeleiteten Schätzung eines ASD-Zustands, wird in dieser Arbeit ein rekursiver Filteralgorithmus vorgestellt, der es ermöglicht, die Größe des betrachteten Zeitfensters beliebig zu fixieren. Weiter wird auf diese Art vermieden, die gesamte Ko- varianzmatrix zu berechnen und dadurch eine effiziente Implementierung ermöglicht. Zudem wird ein ASD-Filter hergeleitet, das auf dem Informationsfilter basiert. Let- zterer spielt insbesondere im Umfeld von Szenarien mit mehreren Sensoren aufgrund des homogenen Verhaltens der Informationsgrößen eine wichtige Rolle1. Für praktis-

1Aufgrund der Kettenregel für Information gilt, dass sich nicht-korrelierte Informationsgrößen eines Systems addieren. Dies ermöglicht es, numerisch hoch-skalierbare Algorithmen für Szenarien mit vielen Sensoren zu entwickeln. (Siehe “Elements of Information Theory” von T. M. Cover und

che Anwendungen sind insbesondere die hier hergeleiteten Erweiterungen zum Multi- Hypothesentracker (MHT) und Interacting Multiple Model (IMM) -Filter von besonderer Relevanz. Hierbei wird das sonst auftretende Problem der rückwirkenden Hypothe- sengewichtung elegant umgangen, da die gesamte Historie innerhalb des betrachteten Zeitfensters als Zustand des Objekts betrachtet wird. Hinsichtlich des benötigten Spe- icherbedarfs zeigen theoretische Betrachtungen sowie praktische Messungen aus Simula- tionen, dass das ASD-Filter vergleichbar mit anderen State-of-the-Art-Algorithmen für dieses Problem ist. Weiter wird gezeigt, dass der Schätzfehler des ASD-Filters gleich groß ist wie im Falle perfekter Kommunikation aller Messdaten. Als praktische An- wendung werden Ergebnisse präsentiert, die in einer Kooperation mit DSO National Laboratories, Singapur, entstanden. Dabei wurde das ASD-Filter auf reale Messdaten eines Küstenradarsystems erfolgreich angewandt.
In Szenarien, in denen Kommunikationskanäle nur eine beschränkte Bandbreite bieten, müssen Daten lokal verdichtet werden, um Überlastsituationen zu vermeiden. In der verteilten Sensordatenfusion wird das Problem gelöst, indem jede Sensorplattform lokale Tracks führt. Anstatt der Messdaten werden zu ausgewählten Zeitpunkten die lokalen Tracks übermittelt. Kann die dynamische Entwicklung der Objekte nicht mehr determin- istisch beschrieben werden, sondern müssen stochastische Bewegungsmodelle verwendet werden, so treten in den lokal erstellten Tracks Kreuzkorrelationen auf. Diese erschw- eren die konsistente Rekonstruktion der globalen Sichtweise in einem Fusionszentrum, das diese lokalen Tracks empfängt. Unter der Voraussetzung perfekter (d.h. jederzeit verfügbarer) Kommunikation wurde die optimale Track-to-Track-Fusion (T2TF) bereits 1997 publiziert. Die in dieser Arbeit vorgestellten Ansätze lösen erstmalig das Problem für beliebige Kommunikationsraten. So ist eine optimale T2TF insbesondere in Szenar- ien mit fluktuierender Verfügbarkeit der Übertragungsressourcen möglich. Die dabei eingesetzte Technik nennen wir „Globalisierung der Kovarianzen“. Damit entsprechen die Kovarianzmatrizen der lokalen Tracks einer globalen Sichtweise. Auf diese Art wer- den noch während des laufenden Fusionierungsprozesses Messdaten unter Berücksichti- gung der Messfehlereigenschaften aller Sensoren verarbeitet. Wird aus den übermittelten Daten die globale Zustandsschätzung berechnet, so erhält man das exakt gleiche Ergeb- nis wie eine zentrale Verarbeitung aller Messungen bei perfekter Kommunikation. Dieses neuartige Ergebnis konnte in Simulationen umgesetzt werden und wurde im Rahmen der numerisch verfügbaren Präzision bestätigt. Dieser Ansatz setzt jedoch inhärent voraus, dass die Eigenschaften des Messprozesses aller Sensoren überall bekannt sind. Dies schränkt insbesondere die Erweiterung auf Methoden ein, bei denen lokale Messdaten in die Berechnung der Kovarianzmatrix eingehen. Hinsichtlich derartiger Methoden werden Approximationen zur Erfüllung der Voraussetzungen vorgeschlagen.
Die gewonnenen theoretischen Erkenntnisse werden in einem abschließenden Kapitel der Arbeit auf ein anspruchsvolles, praxisrelevantes Problem angewendet. Dabei handelt es sich um das Aufgreifen von Spuren schwer-detektierbarer Ziele. Bei Radarsystemen sind Messungen auf dem Level des Fusionierungsprozesses gewöhnlich das Ergebnis einer

J. A. Thomas, Wiley & Sons, 1991.)
ix

Schwellwertung bezüglich der Signalstärke in allen Auflösungszellen. Dabei wird Infor- mation verworfen, die bei Objekten mit geringem Signal-zu-Rausch-Verhältnis (SNR) entscheidend über einen erfolgreichen Spuraufgriff sein kann. Um dies zu vermeiden, wird beispielsweise der Viterbi-Algorithmus für eine Suche von Zielen in den ungeschwell- werteten Rohdaten eingesetzt. Wir erweitern diesen Ansatz derart, dass zeitverzögerte Daten verarbeitet werden können. Dies ist bei der Verwendung von Rohdaten besonders wichtig, da aufgrund des hohen Datenvolumens eine erneute Verarbeitung numerisch oftmals nicht lösbar wäre. Im Falle zeitlich korrekt geordneter Daten reduziert sich der hergeleitete Algorithmus auf den Standardfall. Man kann daher von einer natür- lichen Erweiterung sprechen. Zur Auswertung und Erprobung der Methode wurden die internen Rohdaten eines Küstenradars in Singapur verwendet, die von DSO National Laboratories zur Verfügung gestellt wurden. Der in dieser Arbeit präsentierte Ansatz ist für Szenarien der Küstenüberwachung besonders geeignet, da kleine oder weit entfer- nte Schiffe als schwer-detektierbar gelten.


Kernthesen der Arbeit

Zusammenfassend lassen sich die folgenden vier Kernthesen der Dissertation benennen:
1. Das Problem der optimalen Aktualisierung von Tracks anhand zeit-verzögerter Messdaten ist gelöst.
2. Ein Algorithmus für die exakte Rekonstruktion einer Zustandsschätzung bei eingeschränk- ter Kommunikation wurde hergeleitet.
3. Ein globales Messmodell für optimale verteilte Kalman-Filterung wurde entwickelt.
4. Ein bestehender Ansatz für den Spuraufgriff wurde für die Verarbeitung zeit- verzögerte Sensordaten erweitert.