Sprachsteuerung eines mobilen Manipulators (MoMa)

Im Projekt mit der Firma AEM aus Hohenroda wird ein System zur Sprachsteuerung eines mobilen Manipulators (MoMa), bestehend aus einem Omron TM5 Roboter und einem LD90 als mobile Plattform entwickelt. Ziel ist es, den Roboter per Sprache intuitiv zu steuern und eine bidirektionale Mensch-Maschine-Kommunikation zu ermöglichen. Nach dem Sprachbefehl wird das System den entsprechenden Job ausführen und anschließend eine akustische Rückmeldung geben.

Die Umsetzung des Projekts umfasst die Integration eines Raspberry Pi als zentrale Steuerplattform, sowie die Einrichtung eines Offline-Sprachverarbeitungssystems. Die erkannten Sprachbefehle sollen durch eine Befehlsliste interpretiert und anschließend über eine Modbus-Python-Schnittstelle an den Roboter weitergeleitet werden. Auf dieser Basis werden verschiedene Bewegungsabläufe und Positionierungen programmiert, einschließlich der Nutzung des integrierten Bildverarbeitungssystems des TM5.

Der MoMa übernimmt komplexe Aufgaben wie das Aufnehmen, Transportieren und Ablegen von Objekten an unterschiedlichen Stationen. Durch die sprachbasierte Steuerung entsteht eine flexible und dynamische Arbeitsumgebung, die moderne Technologien wie Robotik und Sprachverarbeitung praxisnah miteinander verbindet.

 

Projektgruppe: Marvin Klemenz, Marius Pfromm, Linus Sauer und Nicklas Gabriel Weleda

Projektbetreuer der Schule: Matthias Clausius

Projektbetreuer der Firma AEM: Dr. Alexander Gaul

 

 

 

Voice Control of a Mobile Manipulator (MoMa)

In a project with the company AEM from Hohenroda, a system for voice control of a mobile manipulator (MoMa) is being developed, consisting of an Omron TM5 robot and an LD90 as a mobile platform. The aim is to control the robot intuitively by voice and enable bidirectional human-machine communication. After receiving a voice command, the system will execute the corresponding job and then provide acoustic feedback.

The implementation of the project includes the integration of a Raspberry Pi as the central control platform and the setup of an offline speech processing system. The recognized voice commands are to be interpreted by a command list and then forwarded to the robot via a Modbus Python interface. Based on this, various movement sequences and positioning will be programmed, including the use of the TM5's integrated image processing system.

The MoMa performs complex tasks such as picking up and transporting objects and placing them at different stations. The voice-based control creates a flexible and dynamic working environment that combines modern technologies such as robotics and speech processing in a practical way.

 

Project Team: Marvin Klemenz, Marius Pfromm, Linus Sauer, Nicklas Gabriel Weleda

School Supervisor: Matthias Clausius

Company Supervisor (AEM): Dr. Alexander Gaul