artificial intelligence for smart sensors and actuators, m.eng.

Motivation

In Infrastrukturprojekten besteht eine wesentliche Anforderung daraus, die einzelnen Projektdokumente nach einem standardisierten Verfahren, bspw. nach VGB-S832, zu benennen. Nicht immer sind die erstellten Dokumente aber fehlerfrei nach den Vorgaben benannt. Zudem finden sich aufgrund der großen Anzahl von Projektdokumenten z. T. Abweichungen zwischen der Dokumentenliste und den tatsächlich erstellten Dokumenten.

Mit Hilfe von KI, insbesondere Natural Language Processing (NLP), soll das Management der Projektdokumente z. T. automatisiert werden, sodass Ressourcen für andere Tätigkeiten frei werden.

Folgende Ziele sollen in diesem Projekt erreicht werden:

Klassifizierung der Dokumente

• Unabhängig vom Dokumentennamen sollen die Dokumentenklassen erkannt werden.
• Die Erkennung der Dokumentenklassen soll sowohl auf Textdokumente als auch auf eingescannte Dokumente und Zeichnungen in Deutsch und Englisch anwendbar sein.

• Umbenennung der Dateien nach VGB-S832, falls nötig.
• Automatische Erstellung der Dokumentenliste auf Basis der vorhandenen Dokumente und Identifikation von Abweichungen zu vorhandenen Dokumentenlisten.

Ansatz:

• Bereinigung der vorhandenen Projektdokumentation, insbesondere Klarstellung teilweise falscher Klassifizierungen und Vermeidung/Reduktion von „imbalanced datasets“
• Erstellung und Test verschiedener Klassifizierungsmodelle mit verschiedenen Einstellungen zur Erkennung der Klasse
• Auswahl und Nutzung der besten Modelle und Umsetzung der Dateienumbenennung
• Automatische Erstellung der Abweichungsliste

Computergestützte Chatbots sind technische Dialogsysteme, die auf natürlicher Spracherkennung basieren und werden eingesetzt, um Benutzeranfragen automatisiert und ohne direkten menschlichen Eingriff in Echtzeit zu beantworten. Eine weitere studentische Projektgruppe entwarf hierzu einen umfangreichen Fragenkatalog rund ums Studium am Campus Cham.

In Zusammenarbeit mit den jeweiligen Hochschulabteilungen definierte die Projektgruppe korrekte Antwortmuster auf die gestellten Fragen und speiste diese ins System ein. Die technische Applikation erkennt die Benutzereingabe, gleicht die vordefinierten Antwortmuster ab und soll beispielsweise Studieninteressierten zukünftig besser durch die Informationsvielfalt auf der Website navigieren. 
 

Fotogalerie

• Bild 1: Dialog-Box eines einfachen Chatbots.

Eine Projektgruppe im Masterstudiengang entwickelte ein intelligentes System, das mittels „Computer Vision“-Techniken und gefalteten neuronalen Netzen in der Lage ist, die Anzahl, Marke und Farbe der Fahrzeuge in beiden Richtungen einer Fahrbahn zu erkennen und in Form einer Exceltabelle aufzuzeichnen. Die Weiterentwicklung in ein Echtzeit-System und die Integration von Infrarot-Sensoren für die Erkennung, ob tags- oder nachtsüber, wird derzeit in Form von weiteren Projekt- und Abschlussarbeiten umgesetzt. Letztlich ist es Ziel, mehrere dieser Einheiten zusammenzuschalten und den Verkehr in verschiedenen Stadtteilen über die Zeit – Stichwort Stoßzeiten - zu erfassen.

Die Idee hinter dieser Fallstudie ist, das Verkehrsaufkommen mit KI-Methoden vorhersagen und damit entsprechend steuern zu können.
 

Fotogalerie

• Bild 1: object detection model and the results are stored in an Excel file.

• Bild 2: video capture by the camera.

• Bild 3: results stored in an Excel file.

• Bild 4: AI hardware used is Jetson Nano and camera.

• Bild 5: watch box design.

Keywords

Traffic Supervision, Artificial Intelligence, Machine Learning, YOLO Object Detection Model, Jetson Nano

Das Projekt thematisiert die Erfassung der Blickrichtung auf ein bestimmtes Objekt mit gleichzeitiger Objekterkennung. Als Vorstufe zu dieser Anwendung wurde die Bestimmung der Blickrichtung und die Erkennung des entsprechenden Objekts mithilfe eines gefalteten Neuronalen Netzes umgesetzt.

Auch hier ist die nächste Stufe in Form einer Projekt- oder Masterarbeit geplant: Wohin wandert unser Blick beim Einkauf des täglichen Bedarfs zuerst, wo verweilt er am längsten und was spricht uns folglich auf den Supermarktregalen am meisten an? Wie müsste also ein Supermarkt beispielsweise sein Sortiment optimaler platzieren oder gestalten, um mehr Anklang bei der Kundschaft zu finden?
 

Fotogalerie

• Bild 1: Der Blick eines Studenten ist hier auf die Schere gerichtet. Die Blickrichtung und die Schere werden vom neuronalen Netz erkannt.

Messung und visuelle Darstellung magnetischer Felder sind häufig nötig in Entwicklung und Produktion von Produkten in Verbindung mit Magneten. Als Anwendungsbeispiele für „Magnetic Field Mapper“ können, neben vielen anderen, folgende genannt werden:

• Qualitätskontrolle in der Herstellung von Permanentmagneten oder Produkten, in die Permanentmagnete eingebaut sind (z. B. Lautsprecher)
• Überprüfung und Verifikation von Computermodellen v. magnetischen Feldern
• Untersuchung der Fertigungsstabilität und des Alterungsverhaltens von Magneten, die zur Qualifikation oder in der Anwendung für magnetische Sensoren genutzt werden (Beispiel: Winkelsensoren in Autos.)

Für das Projekt wurde ein handelsüblicher 3D-Drucker (CTC 16450, Tabelle, Abb. 1) genutzt, bei dem im Wesentlichen die Extrudereinheit durch einen Hall-Sensor der Firma Infineon Technologies (Hall-Sensor TLV493D-A1B6) ersetzt wurde. Der 3D-Drucker bietet vor allem einen genügend großen Bauraum, um in späteren Anwendungen auch größere Magnetfelder untersuchen zu können, und gleichzeitig eine vergleichsweise gute Positioniergenauigkeit.

Eigenschaften des 3D-Druckers:

Die Bewegungen in x-, y- und z-Richtung erfolgen mit Hilfe von Schrittmotoren. Ein Arduino-Mega-2560 Mikrocontroller steuert den Schrittmotor, empfängt und prozessiert die Sensordaten.

• Abb. 1: Druckereinheit

Die erste Anwendung, für die der „Magnetic Field Mapper“ genutzt wird, ist die Vermessung von Magnetfeldern von diametral magnetisieren Scheibenmagneten, wie sie bspw. für magnetische Winkelsensoren genutzt werden (Abb. 2).

• Abb. 2: Diametral magnetisierte Scheibenmagnete

Für diese Messung wurde ein Messraster von 0.25mm über ein Feld von 14 mm x 14 mm eingestellt (Abb. 3).

• Abb. 3: Messraster und Messüberblick

Für die visuelle Darstellung einer x-y-Messung bei konstantem z-Wert lassen sich verschiedene Darstellungsmöglichkeiten wählen. Beispielhaft zeigt Abb. 4 den Verlauf magnetischer Feldlinien in der x-y-Ebene und Abb. 5 die dazugehörigen Äquipotentialverläufe inklusive eines Messartefakts. Abbildung 6 zeigt die z-Komponente des magnetischen Feldes aus der x-y-Ebene heraus bzw. in die x-y-Ebene hinein gerichtet.
Das Projekt „Magnetic Field Mapper“ wird in weiteren Projekt- und Abschlussarbeiten weitergeführt werden. Beispiele für Verbesserungen der Anlage wären:

• Flexiblere graphische Darstellung
• Nutzung eines deutlich kleineren Messrasters
• Entwicklung einer Benutzeroberfläche
• Einfacher Austausch des genutzten Sensors

• Abb. 4: magnetische Feldlinien

• Abb. 5: Darstellung der Äquipotentiallinien

• Abb. 6: Darstellung der z-Komponente

Die Erkennung von Straßenschäden ist wesentlich, um die Straßenqualität für die Nutzenden der Straße zu erhalten. Dabei ist insbesondere auch die Erkennung des Schweregrads von Straßenschäden wichtig für die Behörden, um entscheiden zu können, wo und was für eine Reparatur priorisiert werden soll. Im Projekt „Straßenzustandserkennung“ wurde ein CNN-Modell zur Erkennung von Straßenschäden erstellt und trainiert. Das Projekt beinhaltet dabei ein nutzerfreundliches Interface und die automatisierte Erstellung eines Straßenzustandsberichts. Das CNN-Modell klassifiziert den Zustand des Straßenbelags in vier Kategorien mit zwei Schweregraden. Es nutzt dabei Bilder und GPS-Daten einer GoPro-Dashcam und den Wetterstatus als Input (Abb. 2).

• Abb. 1: Projektüberblick

Der finale Datensatz beruht auf einer Kombination verschiedener öffentlich zugänglicher Datensätze mit insgesamt 11.947 Bildern und dazugehörigen 26.191 Labels. Mittels Augmentation wurde die Trainingsmenge auf über 30.000 Bilder und über 100.000 Labels erhöht, wofür das „online annotation tool“ Roboflow benutzt wurde. Dabei wurde Augmentation („mosaic“) und „cropping“) auf den gesamten Datensatz angewandt, um von ca. 10.000 auf ca. 30.000 Bilder zu kommen. Von Schlaglöchern (potholes) gab es eine signifikant niedrigere Menge an Originalbildern, weshalb hier zusätzliche Techniken wie Farbänderung, Skalierung, Flippen, Translation etc. sowie Kombinationen dieser Techniken genutzt wurden (Abb. 2).

• Abb. 2: Augmentation

Für die Bilderkennung wurde das YOLOv5-Modell (You only look once) genutzt. YOLOv5 ist „open source“ und kann als effizienter Startpunkt für schnelle und gute Ergebnisse genutzt werden. Das Framework bietet dabei fünf verschiedene Optionen. Für alle Klassen wurde eine Erkennungsrate von ca. 80% erreicht.

Um die Straßenzustandserkennung möglichst anwendungsfreundlich zu gestalten, wurde ein „user interface“ programmiert (Abb. 3).

• Abb. 3: User interface

Nachdem ein Monitoringlauf absolviert ist, wird von der Software automatisch ein Bericht über den Straßenzustand erstellt. Der Bericht enthält eine kleine Statistik und zeigt die befahrenen Straßen auf einer Karte (Abb. 4). Zusätzlich werden die erfassten Bilder der Straßenschäden sowie die dazugehörigen exakten GPS-Daten im Bericht festgehalten (Abb. 5).

• Abb. 4: Berichtüberblick

• Abb. 5: Detaillierte Schadenserfassung