How do we control robots on the moon?
月面のロボットをどう制御するか？
要約(英語):
astronauts on the ISS were able to operate a robot as an avatar of themselves on the planet surface. The all-wheel drive platform with two robot arms has cameras, one fitted with a gripper and force-torque sensor, and several other sensors. The robot can perform tasks by itself, similar to a “factory of the future”, with only sporadic input from an astronaut supervisor
要約(日本語):
ISSの宇宙飛行士は、惑星表面で自分自身のアバターとしてロボットを操作することができました。2つのロボットアームを備えた全輪駆動プラットフォームには、カメラがあり、1つはグリッパーとフォーストルクセンサー、その他いくつかのセンサーが装備されています。ロボットは、宇宙飛行士のスーパーバイザーからの散発的な入力のみで、「未来の工場」と同様に、それ自体でタスクを実行できます
本文:
In the future, we imagine that teams of robots will explore and develop the surface of nearby planets, moons and asteroids – taking samples, building structures, deploying instruments.
将来的には、ロボットのチームが近くの惑星、月、小惑星の表面を探索し、発達させると想像してください。サンプル、建物の構造、展開楽器の展開です。
Hundreds of bright research minds are busy designing such robots.
何百もの明るい研究心は、そのようなロボットの設計に忙しいです。
We are interested in another question: how to provide the astronauts the tools to efficiently operate their robot teams on the planetary surface, in a way that doesn’t frustrate or exhaust them?
私たちは別の質問に興味があります：宇宙飛行士にロボットチームを惑星表面で効率的に操作するためのツールを提供する方法は、イライラしたり排出したりしない方法ですか？
Received wisdom says that more automation is always better.
受信した知恵では、より多くの自動化が常に優れていると言います。
After all, with automation, the job usually gets done faster, and the more tasks (or sub-tasks) robots can do on their own, the less the workload on the operator.
結局のところ、自動化により、ジョブは通常より速く行われ、より多くのタスク（またはサブタスク）ロボットが単独で実行できるほど、オペレーターのワークロードが少なくなります。
Imagine a robot building a structure or setting up a telescope array, planning and executing tasks by itself, similar to a “factory of the future”, with only sporadic input from an astronaut supervisor orbiting in a spaceship.
ロボットが構造を構築したり、望遠鏡アレイを設定したり、「未来の工場」と同様にタスクを計画して実行したり、宇宙船で軌道に乗っている宇宙飛行士のスーパーバイザーからの散発的な入力のみを想像してください。
This is something we tested in the ISS experiment SUPVIS Justin in 2017-18, with astronauts on board the ISS commanding DLR Robotic and Mechatronic Center’s humanoid robot, Rollin’ Justin, in Supervised Autonomy.
これは、2017 – 18年にISS実験Supvis Justinでテストしたものであり、宇宙飛行士がDLRロボットとメカトロニクスセンターのヒューマノイドロボットであるRollin ’Justinを監督した自律性を指揮しています。
However, the unstructured environment and harsh lighting on planetary surfaces makes things difficult for even the best object-detection algorithms.
ただし、惑星表面の構造化されていない環境と過酷な照明は、最高のオブジェクト検出アルゴリズムでさえ物事を困難にします。
And what happens when things go wrong, or a task needs to be done that was not foreseen by the robot programmers?
そして、物事がうまくいかない場合、またはロボットプログラマーによって予見されていないタスクを実行する必要がある場合はどうなりますか？
In a factory on Earth, the supervisor might go down to the shop floor to set things right – an expensive and dangerous trip if you are an astronaut!
地球上の工場では、監督者は現場の床に降りて物事を正しく設定するかもしれません。あなたが宇宙飛行士であれば、高価で危険な旅行です！
The next best thing is to operate the robot as an avatar of yourself on the planet surface – seeing what it sees, feeling what it feels.
次の最良のことは、ロボットを惑星の表面で自分のアバターとして操作することです。
Immersing yourself in the robot’s environment, you can command the robot to do exactly what you want – subject to its physical capabilities.
ロボットの環境に没頭すると、ロボットに、あなたが望むことを正確に行うように命令することができます。
In 2019, we tested this in our next ISS experiment, ANALOG-1, with the Interact Rover from ESA’s Human Robot Interaction Lab.
2019年に、ESAのHuman Robot Interaction LabのInteract Roverを使用して、次のISS実験であるAnalog-1でこれをテストしました。
This is an all-wheel-drive platform with two robot arms, both equipped with cameras and one fitted with a gripper and force-torque sensor, as well as numerous other sensors.
これは、2つのロボットアームを備えた全輪駆動プラットフォームで、カメラとグリッパーとフォーストルクセンサー、その他多くのセンサーが装備されている1つのロボットアームが装備されています。
On a laptop screen on the ISS, the astronaut – Luca Parmitano – saw the views from the robot’s cameras, and could move one camera and drive the platform with a custom-built joystick.
ISSのラップトップ画面で、宇宙飛行士のルカパルミターノは、ロボットのカメラからの眺めを見て、カメラを1つ移動してカスタムで構築されたジョイスティックでプラットフォームを運転することができました。
The manipulator arm was controlled with the sigma.7 force-feedback device: the astronaut strapped his hand to it, and could move the robot arm and open its gripper by moving and opening his own hand.
マニピュレーターアームはSigma.7 Force-Feedbackデバイスで制御されていました。宇宙飛行士は手を縛り付け、ロボットアームを動かして自分の手を動かして開くことでグリッパーを開くことができました。
He could also feel the forces from touching the ground or the rock samples – crucial to help him understand the situation, since the low bandwidth to the ISS limited the quality of the video feed.
彼はまた、地面や岩のサンプルに触れることからの力を感じることができました – ISSの帯域幅が低いため、ビデオフィードの品質が制限されているため、状況を理解するのに重要です。
There were other challenges.
他の課題がありました。
Over such large distances, delays of up to a second are typical, which mean that traditional teleoperation with force-feedback might have become unstable.
このような広い距離では、最大1秒の遅延が典型的であるため、フォースフィードバックを使用した従来のテレオ操作が不安定になった可能性があります。
Furthermore, the time delay the robot between making contact with the environment and the astronaut feeling it can lead to dangerous motions which can damage the robot.
さらに、環境との接触と宇宙飛行士がロボットを損傷する可能性のある危険な動きにつながる可能性があると感じていると、ロボットがロボットを遅らせることができます。
To help with this we developed a control method: the Time Domain Passivity Approach for High Delays (TDPA-HD).
これを支援するために、私たちは制御方法を開発しました：高い遅延のための時間領域受動アプローチ（TDPA-HD）。
It monitors the amount of energy that the operator puts in (i.e.
オペレーターが入れるエネルギーの量を監視します（つまり、
force multiplied by velocity integrated over time), and sends that value along with the velocity command.
力に時間の経過とともに積分された速度を掛け、速度コマンドとともにその値を送信します。
On the robot side, it measures the force that the robot is exerting, and reduces the velocity so that it doesn’t transfer more energy to the environment than the operator put in.
ロボット側では、ロボットが発生している力を測定し、速度を減らして、オペレーターが入力したよりも多くのエネルギーを環境に伝達しないようにします。
On the human’s side, it reduces the force-feedback to the operator so that no more energy is transferred to the operator than is measured from the environment.
人間側では、環境から測定される以上にエネルギーがオペレーターに移されないように、オペレーターへのフォースフィードバックを減らします。
This means that the system stays stable, but also that the operator never accidentally commands the robot to exert more force on the environment than they intend to – keeping both operator and robot safe.
これは、システムが安定したままであることを意味しますが、オペレーターが意図しようとするよりも、オペレーターが環境により多くの力を発揮するようにロボットに誤って命じないことも意味します – オペレーターとロボットの両方を安全に保ちます。
This was the first time that an astronaut had teleoperated a robot from space while feeling force-feedback in all six degrees of freedom (three rotational, three translational).
宇宙飛行士が宇宙からロボットを宇宙からテレオで伸ばし、6つの自由度すべて（3つの回転、3つの翻訳）で力を供給することを感じたのはこれが初めてでした。
The astronaut did all the sampling tasks assigned to him – while we could gather valuable data to validate our method, and publish it in Science Robotics.
宇宙飛行士は彼に割り当てられたすべてのサンプリングタスクを行いました – 私たちは私たちの方法を検証するために貴重なデータを収集し、それを科学ロボット工学で公開することができました。
We also reported our findings on the astronaut’s experience.
また、宇宙飛行士の経験に関する調査結果を報告しました。
Some things were still lacking.
まだいくつかのことが不足していました。
The experiment was conducted in a hangar on an old Dutch air base – not really representative of a planet surface.
この実験は、オランダの古い空軍基地の格納庫で行われましたが、実際には惑星表面を代表していません。
Also, the astronaut asked if the robot could do more on its own – in contrast to SUPVIS Justin, when the astronauts sometimes found the Supervised Autonomy interface limiting and wished for more immersion.
また、宇宙飛行士は、宇宙飛行士が時々監督された自治インターフェイスが制限され、より多くの没入を望んでいることを発見したときに、スプビス・ジャスティンとは対照的に、ロボットがそれ自体でもっとできるかどうかを尋ねました。
What if the operator could choose the level of robot autonomy appropriate to the task?
オペレーターがタスクに適したロボットの自律性のレベルを選択できる場合はどうなりますか？
In June and July 2022, we joined the DLR’s ARCHES experiment campaign on Mt. Etna.
2022年6月と7月に、Etna山でのDLRのArches Experimentキャンペーンに参加しました。
The robot – on a lava field 2,700 metres above sea level – was controlled by former astronaut Thomas Reiter from the control room in the nearby town of Catania.
海抜2,700メートルの溶岩畑にあるロボットは、近くの町のカタニアのコントロールルームからトーマス・ライターの元宇宙飛行士によって制御されていました。
Looking through the robot’s cameras, it wasn’t a great leap of the imagination to imagine yourself on another planet – save for the occasional bumblebee or group of tourists.
ロボットのカメラを見ると、別の惑星で自分自身を想像するのは想像力の大きな飛躍ではありませんでした。
This was our first venture into “Scalable Autonomy” – allowing the astronaut to scale up or down the robot’s autonomy, according to the task.
これは、「スケーラブルな自律性」への最初のベンチャーであり、宇宙飛行士がロボットの自律性をスケールアップまたは下に拡大することを可能にしました。
In 2019, Luca could only see through the robot’s cameras and drive with a joystick, this time Thomas Reiter had an interactive map, on which he could place markers for the robot to automatically drive to.
2019年、ルカはロボットのカメラを介してしか見ず、ジョイスティックで運転しました。今回はトーマスライターにはインタラクティブなマップがあり、ロボットが自動的に運転するマーカーを配置できました。
In 2019, the astronaut could control the robot arm with force feedback; he could now also automatically detect and collect rocks with help from a Mask R-CNN (region-based convolutional neural network).
2019年、宇宙飛行士はフォースフィードバックでロボットアームを制御できました。彼はまた、マスクR-CNN（地域ベースの畳み込みニューラルネットワーク）の助けを借りて岩を自動的に検出して収集することができました。
We learned a lot from testing our system in a realistic environment.
現実的な環境でシステムをテストすることから多くのことを学びました。
Not least, that the assumption that more automation means a lower astronaut workload is not always true.
特に、自動化が多いという仮定は、宇宙飛行士のワークロードが低いことを意味するという仮定が必ずしも真実ではないということです。
While the astronaut used the automated rock-picking a lot, he warmed less to the automated navigation – indicating that it was more effort than driving with the joystick.
宇宙飛行士は自動化されたロックピッキングを多く使用していましたが、彼は自動化されたナビゲーションにあまり温まっていませんでした。
We suspect that a lot more factors come into play, including how much the astronaut trusts the automated system, how well it works, and the feedback that the astronaut gets from it on screen – not to mention the delay.
宇宙飛行士が自動化されたシステムをどれだけ信頼しているか、それがどれだけうまく機能し、宇宙飛行士が画面から得るフィードバックなど、より多くの要因が登場するのではないかと疑っています。
The longer the delay, the more difficult it is to create an immersive experience (think of online video games with lots of lag) and therefore the more attractive autonomy becomes.
遅延が長いほど、没入型のエクスペリエンスを作成することがより困難になります（多くの遅れを持つオンラインビデオゲームを考えてください）したがって、より魅力的な自律性になります。
What are the next steps?
次のステップは何ですか？
We want to test a truly scalable-autonomy, multi-robot scenario.
真にスケーラブルな自動、マルチロボットシナリオをテストしたいと考えています。
We are working towards this in the project Surface Avatar – in a large-scale Mars-analog environment, astronauts on the ISS will command a team of four robots on ground.
私たちはこれに向けてプロジェクトSurface Avatarで取り組んでいます。大規模なMars-Analog環境では、ISSの宇宙飛行士が地上の4つのロボットのチームを指揮します。
After two preliminary tests with astronauts Samantha Christoforetti and Jessica Watkins in 2022, the first big experiment is planned for 2023. Here the technical challenges are different.
2022年に宇宙飛行士のサマンサクリストフォレッティとジェシカワトキンスとの2回の予備テストの後、2023年の最初の大きな実験が計画されています。ここでは、技術的な課題は異なります。
Beyond the formidable engineering challenge of getting four robots to work together with a shared understanding of their world, we also have to try and predict which tasks would be easier for the astronaut with which level of autonomy, when and how she could scale the autonomy up or down, and how to integrate this all into one, intuitive user interface.
4つのロボットを自分たちの世界を共有することと協力するという恐るべき工学的課題を超えて、どのタスクがどのレベルの自律性で、いつ、どのように自律性を拡大できるかを容易にするかを試して、予測する必要があります。またはダウン、およびこれをすべて1つの直感的なユーザーインターフェイスに統合する方法。
The insights we hope to gain from this would be useful not only for space exploration, but for any operator commanding a team of robots at a distance – for maintenance of solar or wind energy parks, for example, or search and rescue missions.
これから得たい洞察は、宇宙探査だけでなく、遠くにあるロボットのチームを指揮するオペレーター、つまり太陽電池や風力エネルギーパークのメンテナンス、たとえば捜索救助隊のメンテナンスに役立ちます。
A space experiment of this sort and scale will be our most complex ISS telerobotic mission yet – but we are looking forward to this exciting challenge ahead.
この種とスケールの宇宙実験は、私たちの最も複雑なISSテレロボットミッションになりますが、このエキサイティングな課題を楽しみにしています。
元記事
