Lageerkennung von Objekten in Bild einer 3D-Kamera und Griff des Objektes mit Industrieroboter.

In der Automatisierung ist das Thema «Griff in die Kiste» («Robot Bin Picking») seit Jahren ein Trend. Statt dem Roboter alle Teile aufwändig in einer Halterung zuführen zu müssen, werden die Teile unstrukturiert in einer Kiste bereitgestellt. Mittels Sensorik wird die Lage der Objekte erkannt, ein zu greifendes Objekt ausgewählt und vom Roboter gegriffen.

Ein ABB-IRB120-Roboter hat eine Hand-montierte ToF-Kamera Basler Blaze-101. Auf dem Tisch liegen Bauklötze. Der Roboter positioniert die Kamera in Aufnahme-Position und löst die Bildaufnahme aus. Ein PC berechnet in der aufgenommenen Punktwolke die Lage der Klötze und wählt einen zu greifenden aus. Dessen Lage wird an den Roboter übertragen, der Roboter greift das Objekt mit seinem Greifer und legt es an einem Ort ab. Die Kommunikation Roboter-PC läuft über eine Ethernet-Verbindung. Klötze können auch dann detektiert und gegriffen werden, wenn sie schräg übereinander liegen.

Die Kamera in der Roboterhand musste kalibriert werden, um die Tooltransformation der Kamera zu bestimmen. Die Bildverarbeitung der Anwendung wurde mittels Python und Open3D umgesetzt. Nach Segmentierung der Szene und Separierung der einzelnen Objekte wird die Objektlage des zu greifenden Objekts bestimmt und dem Roboter mitgeteilt. Der Roboter wurde in der robotereigenen Programmiersprache RAPID programmiert, die Kontrolle der Abläufe bleibt beim Roboter: Der PC mit der Kamera und der Bildverarbeitungslösung arbeitet als Server, der auf die Kontaktaufnahme des Roboters wartet.

Philipp Roebrock
Andrin Tscharner (Student Photonics)

Beteiligte