GFaI e.V.
Das Teilprojekt der GFaI fokussiert sich auf die Fusionierung der Positionsdaten der IMU, der L-Features und der P-Features der HTW Berlin, um daraus eine Trajektorie für den Servicetechniker zu rekonstruieren, welche mit den BIM-Modellen abgeglichen wird.
Hierzu werden zunächst die Algorithmen für die Tauglichkeit des Vorhabens untersucht: klassische Filteroperationen, Algorithmen für Bildtransformation und Texturierung und Ergebnisse aus abgeschlossenen FuE-Vorhaben aufbereitet. Für die Erprobung der im Vorhaben angestrebten innovativen Algorithmen zur 3D-Rekonstruktion wird ein Datensammler implementiert, mit dem die Sensordaten unabhängig von der App-Entwicklung durch BitCtrl aufgenommen werden können. Darüber werden die Sensoren des Gerätes auf ihr Verhalten charakterisiert, um zusammen mit Randbedingungen synthetische Daten berechnen zu können. Dies ist für eine beschleunigte Arbeitsweise essentiell, damit die entwickelten Algorithmen auf eine Vielzahl von realistischen Datensätzen getestet werden können, ohne diese manuell mit dem Gerät aufzeichnen zu müssen.
Der algorithmische Fokus dieses Teilprojektes liegt auf der Erprobung der IMU-Trajektorienrekonstruktion, auf der komplexen 3D-Datenberechnung entlang der Bewegung für die Detektierung von L-Features, als auch für die robuste Zusammenführung dieser verschiedenen Positionsinformationen. Vor allem bei der IMU-Trajektorienrekonstruktion ist die Analyse des Verhaltens der Sensordaten von größer Bedeutung, da erst auf diesen Erkenntnissen ein geeigneter Algorithmus implementiert werden kann, welcher die Daten robust und zuverlässig auswertet. Diese einzelnen Daten werden daraufhin, unter Berücksichtigung der Genauigkeitseinschätzung und der zeitlichen Synchronisierung zusammen mit den Positionsdaten der P-Features der HTW fusioniert, um so eine genaue Position im Raum zu erhalten.
Des Weiteren wird analysiert, mit welcher Genauigkeit die internen Sensoren in der Lage sind die Höhe des Gerätes zu Messen und ob aus diesen Daten eine Zuordnung zum Stockwerk oder sogar zur Arbeitshöhe berechnet werden kann. Diese fusionierte Trajektorie wird daraufhin mit dem Lageplan des BIM-Modells zusammengeführt, um die tatsächliche Position in dem Gebäude darzustellen. Hierbei können die Gangverläufe, Türen und andere bauliche Informationen aus dem BIM-Modell genutzt werden, um die Trajektorie leicht zu korrigieren und zusammen mit der Höhenuntersuchung und dem Wallmapping die Position auf ihrer Plausibilität geprüft werden. Mit der Umsetzung einer geeigneten Visualisierung für jeweilige Endgeräte kann dann das Gesamtsystem in einer Pilotanwendung erprobt werden. Dies führt zu ersten Erfahrungswerten von Nutzern, die in eine mögliche Weiterentwicklung einfließen können.
HTW Berlin
Das Teilprojekt der HTW fokussiert sich auf maschinell-gelernte Featuredeskriptoren, mit deren Hilfe in dem vom ToF-Sensor gelieferten Tiefenbild Übereinstimmungen zu einem Objekt im BIM-Modell detektiert werden können. Als Startpunkt des Teilprojekts wird ein synthetischer Datensatz konzipiert und generiert, mit dessen Hilfe die Featuredeskriptoren trainiert werden können. Nachfolgend wird der Stand der Technik zu vergleichbaren Place-Recognition-Features recherchiert und aufgearbeitet. Die für die zur Verfügung stehende Sensorik in Frage kommenden Featuredeskriptoren werden verglichen. Falls es Unsicherheiten bei der Evaluierung bezüglich der Vergleichbarkeit des Anwendungsfalles gibt, sollte bereits ein realer Datensatz für den Vergleich und die Evaluierung verwendet werden.
Nachfolgend wird das vielversprechendste Feature ausgewählt und ggf. für die spezifischen Anforderungen angepasst und verbessert. Der synthetische Datensatz findet hierbei für das Training des Featuredeskriptors Anwendung. Als Lossfunktion wird hierbei die Genauigkeit der Übereinstimmung von Position und Pose verwendet.
Da davon ausgegangen werden kann, dass einzelne Feature nicht ausreichend sind um eine robuste und eindeutige Lokalisierung zu gewährleisten, soll ein Verfahren entwickelt werden, welches über das konsistente Matching mehrerer Features Mehrdeutigkeiten ausschließt (bspw. basierend auf RANSAC, Procrustes-Analyse).
Im Anschluss müssen die entwickelten Verfahren als Backendservice bereitgestellt beziehungsweise in die App integriert werden. Durch ausgiebige Endanwender-Tests sollen die Usability und die Performance der App geprüft und ggf. verbessert werden.
BitCtrl Systems GmbH
Das Teilprojekt der BitCtrl GmbH befasst sich mit der Entwicklung einer mobilen Nutzer-Lösung für Smartphones und Tablets, die in die Gesamtlösung durch eine Reihe von Schnittstellen integriert ist. Die logische Architektur dieser mobilen Lösung umfasst vier Teile, die in einer ServiceTechNavigator App samt korrespondierenden Bibliotheken für iOS- und Android-Plattformen vorliegen.
Die erste Komponente der mobilen Lösung beinhaltet die Daten-Aufnahme sowie die Kommunikation mit dem Backend. Hierbei werden Sensoren wie IMU, optische Aufnahmen, ToF-Sensor-Daten (Time of Flight) und LiDAR-Punkte eingebunden. Eine Middleware zur Kommunikation und Aufbewahrung der Daten sowie eine Reihe von Schnittstellen in der Cloud sind ebenfalls Bestandteil dieser Komponente.
Die zweite Komponente der mobilen Lösung ist für die Pfadplanung zuständig. Unter Angabe des Start- und Zielpunktes berechnet sie den Weg, dem der Nutzer folgen soll. Hierbei werden vor allem die berechneten Standort-Informationen und BIM-Daten (Input vom Backend-Service) berücksichtigt.
Die dritte Komponente der mobilen Lösung ist für die Nutzungsoberfläche samt AR- und MR-Elemente zuständig. Sie vereint die technischen Mittel von Augmented und Mixed Reality Technologien auf innovative Art und Weise und schafft so eine den Anforderungen und Anwendungsfällen gerechte Nutzungsoberfläche. Die natürliche Wahrnehmung des Nutzers wird dabei mit einer computererzeugten Wahrnehmung vermischt, um die Prozessunterstützung zu ermöglichen.
Die vierte Komponente der mobilen Lösung beinhaltet Fachprozess- und Workflow-Anbindungen an die situationsabhängige dynamische Interaktion. Die Steuerung der App erfolgt durch dynamische Interaktionen, bei denen Inhalte und Prozess-Daten situations- und Umfeld-angepasst in Interaktionen, Visualisierungen, Inputs und Validierungen verwendet werden. Durch die Integration von FAMOS wird eine fachliche Prozessunterstützung gewährleistet.
BCS GmbH
Das Teilprojekt der BCS GmbH befasst sich mit mehreren Teilbereichen, um die mobile Nutzer-Lösung mit Daten zu versorgen und eine Workflow-basierte Integration in verschiedene Infrastrukturen der Anwender zu ermöglichen.
Der erste Bereich befasst sich mit der Versorgung der Nutzer-Lösung mit passenden geometrischen Bestandsdaten für Außenanlagen, Wege, Gebäudestrukturen und der Positionierung von baulichen und technischen Anlagen. Hierzu wird bei der HTW Berlin und bei ausgewählten Referenzkunden mittels 3D-Laserscanning (Gebäudemodell) und Beflug (Geländemodell) eine Ingenieurvermessung durchgeführt. Die ermittelten Punktwolken werden in digitale Modelle überführt, für einen IFC-Datenaustausch aufbereitet und in einem Revit-Modell für die Visualisierung bereitgestellt.
Der zweite Bereich beschäftig sich mit der Anbindung von CAFM-Services und Prozessen. Grundlage dazu sind im Modell verortete bauliche oder technische Anlagen oder eine mehrdimensionale Positionsbestimmung (Position, Höhenlagen, Bezugspunkte) zwischen Modell und realer Umgebung. Anlagen können dabei als Objekte mehrere Eigenschaften besitzen und haben das Recht Services abzurufen und auszulösen. Die Anbindung der Services soll mittels WebAPI erfolgen. Eine Abarbeitung der Services erfolgt im CAFM-System, welches bereits über passende Schnittstellen verfügt.
Ein weiterer Bereich liegt in der Sammlung verschiedener Modelle und durchgeführten Versuchen im Rahmen der Gesamtverifikation des Endproduktes. Wir gehen aktuell davon aus, dass jede Referenz eigene Charakteristiken in Bezug auf farbige Beschilderungen, Absperrungen, Sperrflächen, Begrenzungen, Lichtverhältnisse und Verschattungen aufzeigen wird. Aufgabe der BCS ist es hier verschiedenartige Trainingsdaten zu sammeln und eine erprobte Robustheit in die Gesamtlösung zu erzielen. Aus dem Bestandskundenbereich haben bereits Continental, BMW, MAN, N3 und Lufthansa eine Unterstützung zugesichert. Seitens der HTW Berlin existieren bereits Gebäudepläne und CAD-Modelle.