Diese Seite wurde maschinell übersetzt.
Füllen Sie bitte eine 1-Minuten-Befragung zur Qualität dieser Übersetzung aus.
Auf Deep Learning basierendes Motion-Capture-System hilft bei der Erforschung von Geparden in freier Wildbahn
Die erstaunliche Manövrierfähigkeit von Geparden durch Roboterforschung verstehen
Die wilde Gepardenmutter und ihre drei Jungen jagen einen Springbock im riesigen Kgalagadi-Transfrontier-Nationalpark, der sich über Südafrika und Botswana erstreckt. Die Katzen bringen ihre Beute rasch zur Strecke, ihre Wendigkeit und schnelle Beschleunigung sind dabei ein entscheidender Vorteil. Aus sicherer Entfernung trainiert der Biomechanik-Professor der Universität von Kapstadt und African Robotics Unit (ARU)-Direktor Amir Patel das Motion-Capture-System seines Labors vor Ort.
Patel und sein Team an der ARU untersuchen die Fortbewegung von Geparden, um bessere und beweglichere Roboter zu bauen. „Der Gepard ist der Gipfel der Manövrierfähigkeit“, sagt Patel. „Das Verständnis davon regt uns an, neue Wege zur Messung von Bewegung und Kraft oder von Optimierungen zu entwickeln.“
Die Konzentration auf das schnellste Landtier hat zahlreiche Fortschritte mit sich gebracht. Die Forscher entwickelten neue Techniken in den Bereichen Robotik, Mehrkörpermodellierung, Rückkopplungssteuerung, Bahnoptimierung, Computer Vision und Deep Learning.
Geparden sind außergewöhnlich wendig, können schnell beschleunigen und auf der Stelle wenden. (Videoquelle: University of Cape Town, African Robotics Unit)
Nachdem Patel MATLAB® und Simulink® schon seit Jahren verwendete, ermöglicht eine Campus-Wide License es ihm und seinen Forscherkollegen an der Universität, die Plattform nun umfassender zu nutzen.
„Wir wählen unsere Werkzeuge auf der Grundlage der Probleme aus, die wir untersuchen“, sagte Patel. „Als wir die standortweite Lizenz bekamen, dachte ich, okay, jetzt können wir alles nutzen.“
Das Team entdeckte auch, dass MATLAB und Simulink eine nahtlose Interoperabilität mit anderen Programmiersprachen wie Python® und Hardware wie Speedgoat® bieten.
Patel arbeitete mit Dr. Mackenzie Mathis und Dr. Alexander Mathis zusammen und wandte deren Open-Source-Toolbox (DeepLabCut™) zur nichtinvasiven Verfolgung des Tierverhaltens auf die Aufgabe der Verfolgung von Geparden in freier Wildbahn an. Diese Forschung erschien auf dem Cover von Nature Protocols.
Patel erhielt anschließend einen Google Research Scholar Award in der Kategorie „Maschinelle Wahrnehmung“ für sein auf Deep Learning basierendes Motion-Capture-System "WildPose". MathWorks bot auch Unterstützung für die Forschung des Labors an. Patels Arbeit führte zu zwei Patenten, startete ein Universitäts-Spinoff und weckte enormes Interesse bei Robotikspezialisten, Sportwissenschaftlern, Ärzten, Biologen, Ökologen und Naturschutzmanagern.
Unerwarteter Rückenwind
In freier Wildbahn wurden Sprintgeschwindigkeiten von 120 Kilometern pro Stunde bei Geparden beobachtet, was sie auf kurzen Distanzen zum schnellsten Landtier macht. Die Großkatzen können schnell beschleunigen und ihre Beute mit Leichtigkeit jagen, was angesichts ihrer langen Beine und Hälse, ihres kleinen Kopfes und ihrer bereitliegenden Krallen nicht überraschend ist.
Etwa 18% aller Geparden der Welt leben in Südafrika. Als Ingenieur war Amir Patel schon früh von diesem einheimischen Tier fasziniert. Als er sein Promotionsstudium an der Universität von Kapstadt begann, plante er, anhand von Gepardendaten einen vollwertigen Roboter zu entwickeln.
„Stellen Sie sich vor, Sie sitzen in einem Auto und strecken Ihren Arm aus dem Fenster. Sie spüren diese Kraft. Wir haben festgestellt, dass der Gepard diesen aerodynamischen Widerstand nutzt, um seinen Körper bei Hochgeschwindigkeitskurven zu stabilisieren.“
„Es gab keine Informationen darüber, wie er seinen Schwanz oder seine flexible Wirbelsäule verwendet, und auch keine Modelle, die die Manöver der Geparden erklären“, erinnerte er sich.
Patel konzentrierte sich auf den langen, pelzigen Schwanz. Damals basierten die Schwanzdaten auf anderen Tieren. Über sein Gewicht und seine Trägheit waren sich die Wissenschaftler nicht im Klaren. Unter Wildtierexperten herrschte die Meinung vor, dass die Schwänze schwer seien und eine hohe Trägheit aufwiesen, um als Gegengewichte zu fungieren.
Dann bat ihn eine seiner Mitarbeiterinnen, Professor Emily Lane vom National Zoological Gardens in Pretoria, die Autopsie eines Geparden zu beobachten, der eines natürlichen Todes gestorben war. Patel machte während des Eingriffs Fotos und Messungen.
„Ich hatte erwartet, dass der Schwanz groß sein würde“, sagte er. „Aber er war dünn und hatte nur etwa 2% der Körpermasse des Geparden.“
Um die aerodynamischen Effekte des Fells besser zu verstehen, legte Patel Schwänze von toten Geparden, die ihm Lane zur Verfügung gestellt hatte, in einen Windkanal. Für die Modellierung verwendete er MATLAB und Simulink.
„Stellen Sie sich vor, Sie sitzen in einem Auto und strecken Ihren Arm aus dem Fenster. Man spürt diese Kraft“, sagte er. „Wir haben festgestellt, dass der Gepard diesen aerodynamischen Widerstand nutzt, um seinen Körper bei Hochgeschwindigkeitskurven zu stabilisieren.“
Um die aerodynamischen Effekte des Fells zu verstehen, wurden Gepardenschwänze in einen Windkanal gelegt. (Bildquelle: (Amir Patel)
Robotikexperten lassen sich oft von der Natur inspirieren, doch Patel beschäftigte sich mit von der Robotik inspirierter Biologie und nutzte seinen Robotik-Hintergrund, um neues Licht auf das goldäugige Tier zu werfen.
Bioinspiration führt zu Kolben
An der ARU untersucht Patel, einer von vier leitenden Forschern, mit seinen Studenten den Geparden aus verschiedenen Blickwinkeln: Sie erstellen mathematische Modelle mechanischer Systeme, spüren und messen die Handlungen des Tiers und bauen Roboter, die als mechanische Modelle für komplexe Bewegungen dienen. Aufgrund der wechselnden Geschwindigkeit des Geparden ist seine Fortbewegung schwieriger zu untersuchen als die gleichbleibenden Bewegungen von Tieren.
Er und andere ARU-Ingenieure bauten einen zweibeinigen Roboter namens „Baleka“, was von einem Xhosa-Wort abstammt, das „sprinten“ bedeutet. Ihr Design nutzte Techniken zur Bahnoptimierung mit dem Ergebnis, dass ihr Roboter eine größere vertikale Agilität erreichte als ein Mensch.
Auf der International Conference on Robotics and Automation (ICRA) 2023 präsentierten Patel und sein Student Christopher Mailer das Design und die Steuerung eines neuartigen vierbeinigen Roboter-Prototyps namens Kemba. Der nach dem Zulu-Wort für Schwert „Inkemba“ benannte Prototyp einer pneumatisch-elektrischen Hybridplattform kann etwa das 2,2-fache seiner Beinlänge hoch springen.
„Als wir uns Videos ansahen, sahen wir, dass Geparden nicht versuchen, ihre Füße feinfühlig zu kontrollieren, sondern nur versuchen, sich so stark wie möglich abzustoßen“, sagte Patel. „Ein pneumatischer Kolben übt auf ähnliche Weise Kraft aus.“
Patel meinte, dass er und seine Studenten dieselben Kenntnisse im Bereich der Rückkopplungssteuerung hätten, sodass es ihm ganz natürlich erscheint, über Blockdiagramme und die Bewegung von Signalen von einem System zum nächsten nachzudenken.
Sprungtest des zweibeinigen Roboters Baleka. (Videoquelle: University of Cape Town, African Robotics Unit)
Der Roboter Kemba mit Beinen. (Bildquelle: University of Cape Town, African Robotics Unit)
Obwohl Robotikexperten pneumatische Kolben normalerweise meiden, da sie schwer präzise zu steuern sind, machte sich das ARU-Team diesen Effekt zunutze. Sie nutzten Simscape Multibody™ und Simulink, um pneumatische Kolben an Kembas Knien zu modellieren, die erwartete Bewegung des vierbeinigen Roboters zu simulieren und Steuerungen dafür zu entwerfen.
Patel meinte, dass er und seine Studenten dieselben Kenntnisse im Bereich der Rückkopplungssteuerung hätten, sodass es ihm ganz natürlich erscheint, über Blockdiagramme und die Bewegung von Signalen von einem System zum nächsten nachzudenken. Das Team entwarf Kemba mithilfe einer mechanischen CAD-Software für die Mehrkörpermodellierung und portierte die Entwürfe anschließend in Simscape™.
Model-Based Design ermöglicht es Patel und seinen Studenten, Beschleunigungssignale in Echtzeit zu betrachten, was er insbesondere für die Fehlerbehebung als äußerst nützlich bezeichnete. Diese Blockdiagrammumgebung verkürzte die Entwicklungszeit für das Team erheblich und ermöglichte schnelle Tests und Experimente, Systemoptimierung und Codeautomatisierung.
„Simulink Real-Time™ verändert die Spielregeln. Früher habe ich manuell codiert und dabei ging immer etwas schief“, sagte er. „Jetzt haben wir ein Speedgoat-Echtzeit-Steuerungssystem, das sich problemlos in Simulink Real-Time integrieren lässt. Wir klicken einfach auf eine Schaltfläche und es läuft auf dem Roboter. Das hat die Entwicklung schön und schnell gemacht.“
Bei der ICRA zeigten die Wissenschaftler, dass Kemba über das Potenzial zur Beschleunigung und Sprungkraft verfügt. Der Roboter mit der starren Wirbelsäule kann bis zu 1 Meter (3,28 Fuß) hoch springen.
Die Kontaktreihenfolge ist für Geparden und Roboter gleichermaßen wichtig. Sogar bei einem Robotergreifer oder einer Roboterhand kann die ideale Kontaktreihenfolge beim Bewegen oder Manipulieren eines Objekts den entscheidenden Unterschied machen. Während eines Sabbaticals an der Carnegie Mellon University im Jahr 2018 brachte Patel die Idee für einen präziseren Algorithmus zur Kontaktoptimierung ein.
Kemba beschleunigt aus der Ruhe in eine flotte Gangart. (Videoquelle: University of Cape Town, African Robotics Unit)
Einige Wissenschaftler, mit denen er sprach, antworteten: „Nein, das geht nicht. Einige Gruppen haben das vor zwei Jahren versucht, aber es hat nicht funktioniert.“ Er machte trotzdem weiter. Der daraus entstandene Fachartikel „Contact-Implicit Trajectory Optimization Using Orthogonal Collocation“ in IEEE Robotics and Automation Letters, wurde zu einer seiner am häufigsten zitierten Veröffentlichungen und belegte im Jahr 2020 den zweiten Platz bei der Auszeichnung für das beste Paper des IEEE Technical Committee on Model-Based Optimization for Robotics.
„Die geografische Isolation hat Vorteile“, sinnierte Patel. „Ich habe so etwas wie eine Außenseitermentalität.“
System zur Bewegungserfassung über große Entfernungen
Geparden sind zahlreichen Gefahren ausgesetzt und stehen am Rande der Ausrottung. Trotz ihrer unglaublichen Geschwindigkeit sind sie scheue Raubtiere, die mit Aasfressern um ihre Beute konkurrieren. Klimawandel, Lebensraumverlust, Wilderer und Konflikte mit Menschen haben die wilden Populationen dezimiert.
Das Labor hat eine enge Zusammenarbeit mit MathWorks aufgebaut. Das Feedback der ARU-Forscher hat bereits zu neuen Funktionen für Computer Vision Toolbox und Lidar Toolbox geführt, die in die Produkte integriert werden.
„Es gibt große Anstrengungen zur Durchführung von Zucht- und Artenschutzprogrammen, um die Zahl zu erhöhen“, sagte Patel. Die African Robotics Unit arbeitet mit drei Gepardenzentren (Cheetah Outreach, Cheetah Conservation & Research Centre und Ashia) in dem Gebiet, in dem die Geparden an Menschen gewöhnt sind, zusammen.
Vorhandene biomechanische Techniken zum Verständnis menschlicher Bewegungen können nicht direkt auf wild lebende Tiere angewendet werden. Dies bedeutete, dass wir uns neu überlegen mussten, wie wir die Bewegungen der Katzen messen konnten. „Ich dachte, wir kaufen einfach ein paar Halsbänder und legen sie Geparden an“, gab er zu. „Aber wenn ein Tier ein Halsband trägt, gibt es keine Informationen über seinen Kopf, seine Beine, seine Wirbelsäule oder seinen Schwanz.“
Ein nach hinten gerichtetes GPS-basiertes Kamerasystem, das die ARU-Wissenschaftler für in Gefangenschaft gehaltene Geparden entwickelt hatten und das eine Sensorfusion ermöglichte, funktionierte gut … bis die Großkatzen es nicht mehr tragen wollten. Eine weitere Hürde: Geparden in den Zentren bewegen sich mit 65 km/h (40 mph) langsamer als Geparden in freier Wildbahn, die 144 km/h (89 mph) erreichen.
„Im Labor kann man Elektroden an Menschen oder Tieren anbringen und messen, wann sie Muskeln aktivieren, aber in der freien Wildbahn kann man die Tiere nicht wirklich berühren“, sagte Patel. „Dann hatte ich diese verrückte Idee, wilde Tiere aus großer Entfernung vermessen zu können – den ganzen Körper, die Kinematik des Skeletts.“
Die ARU begann mit Nationalparks zusammenzuarbeiten, um das Labor in die freie Wildbahn zu bringen, wo die Forscher versuchen, repräsentativere Daten von Geparden bei voller Bewegung zu sammeln. Allerdings ist die Erzielung einer granularen Bewegungserfassung ohne Elektroden oder Wearables eine große Herausforderung. Manchmal sind die Katzen im Kgalagadi-Transfrontier-Nationalpark schwer zu finden: Sie tauchen kurz auf, um im nächsten Moment wieder hinter den Sanddünen zu verschwinden.
Markerlose (nichtinvasive) 3D-Rekonstruktion eines laufenden Geparden. Mehrere Ansichten des Geparden werden in 2D beschriftet und dann durch den Algorithmus zur vollständigen Trajektorienschätzung (FTE) zusammengeführt, um eine 3D-Skelettbewegung zu erzeugen. (Videoquelle: University of Cape Town, African Robotics Unit)
Patel und das ARU-Team entwickelten daraufhin ein System zur Bewegungserfassung über große Entfernungen mithilfe von Lidar und Teleskoplinsen und konnten durch die Nutzung der Multisensorfusion dreidimensionale biomechanische Daten über große Entfernungen erzeugen.
MATLAB -Toolboxen waren für die Analyse und Modellierung der Bewegungen von Geparden von entscheidender Bedeutung. (Bildquelle: University of Cape Town, African Robotics Unit)
MATLAB Toolboxen wurden für Projektkomponenten wie die 3D-Rekonstruktion unverzichtbar, bei der das Team Lidar- und Kamerainformationen für die Sensorfusion kombinierte. Mithilfe der Control System Toolbox™ konnte die Input-Output-Beziehung zwischen der Bewegung der Beute und der Bewegung verschiedener Körperteile oder des gesamten Körpers des Geparden aufgeklärt werden.
„Wir verwenden Computer Vision Toolbox häufig zur Kalibrierung“, bemerkte Patel. „Beim MathWorks Research Summit schwärmten alle davon, dass diese Kamerakalibrierung die beste sei.“ Er reiste zum jährlichen Gipfeltreffen nach Natick, Massachusetts, wo er sich mit dem MathWorks -Mitbegründer Cleve Moler unterhielt und eine Grundsatzrede hielt.
Das Labor hat eine enge Zusammenarbeit mit MathWorks aufgebaut. Das Feedback der ARU-Forscher hat bereits zu neuen Funktionen für Computer Vision Toolbox™ und Lidar Toolbox™ geführt, die in die Produkte integriert werden.
Neben Geparden hat die ARU auch andere Tiere in Bewegung aufgenommen, darunter Giraffen, Löwen und Springböcke. Nachdem das Team sein System validiert hat, hofft es, es der Welt zugänglich zu machen.
Während eines Sabbaticals als Gastprofessor an der Universität Oxford konzentrierte sich Patel auf die Verbesserung der Messung der Vitalfunktionen von Tieren in der Wildnis. Manche Krankheiten können von Haustieren auf Wildtiere überspringen und sich so schnell verbreiten, dass Ökologen dies oft erst bemerken, wenn es zu spät ist, insbesondere in ressourcenarmen Gebieten. Eine intelligentere und besser zugängliche Fernüberwachung könnte ein Frühwarnsystem bieten.
Diese Fernsysteme könnten sich auch positiv auf die Gesundheit des Menschen auswirken, indem sie es Ärzten ermöglichen, beispielsweise die Muskelaktivierung von Patienten zu messen, ohne die Haut vorbereiten und teure Elektroden anbringen zu müssen. Patel sieht Potenzial für den Einsatz des Systems bei der Rehabilitation von Rückenmarksverletzungen und bei der Anpassung von Prothesen.
Sportwissenschaftler zeigten Interesse am patentierten tragbaren Motion-Capture-System der ARU. Ein weiteres Patent für das kostengünstige, großflächige 3D-Kraftmessplattensystem des Labors führte zu einem neuen, derzeit in der Entwicklung befindlichen Spin-off-Unternehmen der Universität. Als nächstes arbeitet eine Gruppe im Labor daran, Kemba eine aktive Wirbelsäule zu geben.
Dr. Patel und sein Team untersuchen inverse optimale Steuerung und bestärkendes Lernen, um die Bewegungen des Geparden besser zu verstehen. (Bildquelle: (Amir Patel)
Patels Gruppe beschäftigt sich außerdem mit der Erforschung des inversen Reinforcement Learning und der optimalen Steuerung. „Wir können zwar die Bewegung beobachten, sind uns aber immer noch nicht sicher, warum der Gepard tut, was er tut“, sagte er. „Versucht die Katze beim Laufen Energie zu sparen, ihre Wendigkeit zu erhöhen oder ihre Beute in möglichst kurzer Zeit abzufangen? Inverses Reinforcement Learning wird uns helfen zu verstehen, was es zu optimieren versucht.“
Die Katzen faszinieren ihn noch immer.
„Während meiner Promotion habe ich meine Denkweise geändert und bin zu jemandem geworden, der dieses Tier verstehen möchte“, sagte er. „Es ist über 13 Jahre her und ich bereue keinen Tag.“
Weitere Berichte lesen
ROBOTIK
Ein Team von neun Studierenden baut einen innovativen Springroboter für ihr Abschlussprojekt
Kleiner, wendiger „Ascento“ steigt Treppen und weicht Hindernissen aus
ROBOTIK
Erkundung des größten Ökosystems der Welt – 500 Meter unter der Meeresoberfläche
Nat Geo entwickelt Unterwasser-Roboterkamera zur Erforschung der Tiefe
WISSENSCHAFT
Entschlüsselung des Schmetterlingsflugs mit Hochgeschwindigkeitskameras und einem Windkanal
Fluiddynamik als Erklärung für das Flattern von Schmetterlingen
