Das kanadische Unternehmen Haply Robotics entwickelt haptische Schnittstellen zur Gerätesteuerung, die Position, Bewegung und Kräfte in mehreren Freiheitsgraden von der Hand auf Elektronik übertragen. In der Praxis lassen sich mit den Haply-Eingabegeräten Roboterarme über natürliche Bewegungen intuitiv steuern.

Das an zwei Armen beweglich aufgehängte Eingabegerät Inverse3 löst bis zu 0,01 mm bei einer Aktualisierungsrate von 4 kHz auf. Drei Motoren für X-, Y- und Z-Achse geben direktes Kräftefeedback auf die Nutzerhand. So vermittelt es neben visuellen Informationen zusätzlich taktile Daten.

Fühlen, was der Roboter fühlt

In einer Technikdemo steuern CES-Besucher einen Ball auf einer flexiblen Oberfläche. Bei einem Druck auf die virtuelle Gummimatte reagiert Inverse3 mit spürbarem Gegendruck. Bei Gegendruck ploppt der Ball irgendwann durch die Matte. Haplay demonstriert das Kräftefeedback auch mit verschiedenen 3D-Oberflächen. Maserungen von Holz, Stein oder Schleifpapier macht das Gerät erfahrbar.

Das Haply-Gerät leistet bei der Ausbildung von Chirurgen und Zahnärzten, aber auch im 3D-Design seine Dienste. In Labor, Industrie und medizinischer Ausbildung macht es weniger geeignete Notlösungen wie Gamecontroller überflüssig. Bei der Teleoperation von Robotern kann ein Nutzer fühlen, was die Maschine fühlt.

Am Eingabearm lassen sich ein Stift oder ein Joystick befestigen. Der Arm überträgt jede Bewegung auf den Bildschirm; das Gerät koppelt Oberflächenstruktur und Widerstand über Motoren wieder zurück.

(Bild: heise medien / André Kramer)

Trainingsplattform für KI-Modelle

Nebenbei lassen sich die Daten feinfühliger Menschenhände auch nutzen, um grobe Roboterpranken zu trainieren. Haply Robotics hat in Kooperation mit Nvidia ein System für physisches KI-Training mit haptischem Feedback entwickelt. Das Projekt soll helfen, Robotersysteme mit realistischen Daten zu trainieren, indem neben visuellen und kinematischen Daten auch taktile Informationen in den Lernprozess einfließen.

Auf der CES zeigt das kanadische Unternehmen, wie es sein Eingabegerät Inverse3 in die Simulationsumgebung Nvidia Isaac Sim eingebunden hat. Der Roboterarm dient als Trainingsplattform. Während der Datenerfassung kann der Bediener Kräfte und Widerstände virtueller Objekte spüren.

Das haptische Feedback wird als zusätzlicher Kanal für das Imitationslernen genutzt. Die erfassten Daten sollen KI-Modelle erzeugen, die Interaktionen wie Greifen, Kontakt oder Kraftaufwand näher an reale Bedingungen heranführen als rein visuelle oder positionsbasierte Trainingsdaten.

Das Inverse3-Gerät von Haply Robotics steuert einen virtuellen Franka FR3-Roboterarm in Nvidia Isaac Sim.

(Bild: Haply Robotics)

GPU-beschleunigte Simulation

Die Simulationen laufen auf Nvidia RTX 6000 Blackwell-GPUs, die die multimodalen Eingabedaten verarbeiten. Ergänzend kommt die Plattform Nvidia Cosmos zum Einsatz, um aufgezeichnete Trainingsdaten durch synthetische Szenarien mit unterschiedlichen Umgebungen zu erweitern.

Nvidia kann dadurch seine Fähigkeiten auf dem Gebiet „Physical AI“, dem Training von Robotern, verbessern. Durch haptisch angereichertes Training sollen Roboter robuster auf reale Umgebungen reagieren können.

heise online ist Medienpartner der CES 2026.

(akr)