JP6679446B2 - 作業ロボットの遠隔操作システム - Google Patents

Description

本発明は、遠隔操作ロボットの操作性を向上するユーザインタフェースを備えた作業ロボットの遠隔操作システムに係わる。

人間の立ち入りが困難な災害現場等の苛酷環境においては、人間は遠隔地にてオペレータとして遠隔ロボットを操り、未知な作業対象物の調査や移動、加工等の作業を行う必要がある。この場合に、効率的に遠隔操作を行うためには、前述した未知な作業対象物を直感的に把握できる情報をオペレータに提示するインターフェースを備えた作業ロボットの遠隔操作システムが求められている。

遠隔地に設置されたロボットをオペレータが操作するときに、オペレータに必要となる重要な感覚としては、視覚、聴覚、触覚が挙げられる。このうち視覚や聴覚に対応する画像や音声の処理技術は、情報通信工学の発展によりインターフェースとして普及し、産業の基盤技術として欠かせないものとなっている。しかしながら、視覚や聴覚は、作業環境からの情報を受動的にしか取得できない。ここで受動的とは、作業環境内で何らかの原因により生じている例えば何らかの音を、ただ単に聞くといったことである。

これに対し、触覚情報は作業対象物に直接的に把持などの作用を与えた時の反作用を、硬さの情報あるいは表面ざらつきの情報として取得するものであり、作用力を調整すればこれに対応して反作用力も変化するといった関係にある。これは作業環境からの情報を可変に、あるいは任意に取得可能であることを意味しており、能動的に取得するということができる。このため触覚情報を取得することは、未知の作業対象物を把握するために重要な手段となり得る。

遠隔操作ロボットの操作性を向上するユーザインタフェースに関する技術として、例えば、特許文献１には、遠隔地の触覚情報をオペレータに視覚として伝える装置に関する技術が開示されている。

特許文献１は、「ハプトグラフ保存システム３０および再現システム５０からなる視覚的処理装置では、従来のような定性的な表現しかできなかった触覚情報をそのまま単に時系列的に保存させるのではなく、解析処理によって例えば触覚情報の特徴的な周波数について、色や濃淡による可視化表示ができ、かつ逆解析処理が可能なハプトグラフを保存フォーマットとして用いることで、触覚情報の保存・再現処理を双方向で行うことが可能になる。」としている

特開２００９−２７６９７０号公報

しかしながら、特許文献１においては、光学カメラ映像等の視覚情報が既にある場合、複数の視覚情報をオペレータは見ることになる。つまり、オペレータが一方の視覚情報を見ている時は、もう一方の視覚情報を未確認となる。また、触覚情報が変換された視覚情報をオペレータが瞬時に感覚的にとらえることは困難である。そのため、視覚情報を確認するのに時間差が生じるため、オペレータが混乱し、作業効率が大きく低下してしまう恐れがあった。

本発明は上記に鑑みてなされたものであり、オペレータが複数情報に対応することができる遠隔操作ロボットの操作性を向上するユーザインタフェースを提供することを目的とする。

上記目的を達成するために、本発明は、遠隔地に配置した作業ロボットをオペレータが遠隔操作して遠隔地の作業対象物を処理する遠隔作業システムであって、作業機構とセンサを搭載し、作業機構により作業対象物を処理するときの反力をセンサにより検知する作業ロボットと、オペレータの作業指示に従い、作業ロボットの前記作業機構に対して指令信号を与えて駆動する第１の手段と、指令信号に従い作業ロボットが作業対象物を処理するときのセンサ出力について、指令信号に対応する反力の信号とそれ以外の高周波成分に分離し、高周波成分を音信号に変換する第２の手段と、オペレータに対して音信号を音声として提供する第３の手段とを備えることを特徴とする。

また本発明においては、遠隔地に配置した作業ロボットをオペレータが遠隔操作して遠隔地の作業対象物を処理する遠隔作業システムであって、作業ロボットに備えた少なくとも１つ以上の接触式または非接触式センサの信号から、作業対象物の状態を推定する対象物材質推定部と、推定結果とキャリブレーションデータに基づき作業対象物の状態を認識する作業環境認識部と、認識結果からセンサ情報推定結果を聴覚情報へ変換する聴覚情報生成部と、変換された聴覚情報を出力する聴覚情報出力部と、聴覚情報をオペレータへ提示する聴覚提示装置とを備え、触覚・視覚情報を聴覚情報へ変換することを特徴とする。

本発明によれば、作業中に生じる作業環境や作業状況の変化に柔軟に対応することができる。

本発明の実施例に係る遠隔操作システムにおける機器構成を示す図。 作業ロボットの遠隔操作システム及び聴覚情報提示機構の全体構成を示す機能ブロック図。 遠隔操作システムによる作業ロボットの動作制御処理及びオペレータへの作業環境情報提示の処理内容を概略的に示すＰＡＤ図。 図３の処理ステップＳ１４の力センサデータから聴覚情報への変換処理フローについて説明するＰＡＤ図。 作業対象物に対して複数回の把持試行を行う時の力センサ信号の処理例を示す図。 作業対象物に対して複数回の把持試行を行う時の力センサ信号の処理例を示す図 図５を拡大して示した図。 図６を拡大して示した図。

以下、本発明の実施例を、図面を参照しながら説明する。

ここで本発明は、触覚情報を触覚として把握するとともに、聴覚情報としても把握したものである。例えば作業ロボットにより未知の作業対象物を把持したときに、作業ロボットに取り付けた力センサの出力を用いて作業対象物の硬さの情報あるいは表面ざらつきの情報として取得するとともに、作業ロボットが未知の作業対象物を把持したときに生じた軋みや表面のこすれなどを聴覚情報として取得したものである。特にここでは、作業ロボットが作業対象物を把持するために加えた力が時系列的に制御されていることから、作業力としての力の時間経過と、反作用としての聴覚情報の時間経過が対応付けて把握可能である。

本発明の実施例では、作業対象物が未知な状況、かつ高放射線環境下において作業装置が運搬作業を実施する場合を例示しながら遠隔操作システムの制御内容を説明する。

図１は、本発明の実施例に係る遠隔操作システムにおける機器構成を示す図である。

図１において、作業環境１１には、作業ロボット７が配置されており、作業対象物１０に対して各種の作業を実施している。作業ロボット７は、作業内容に応じて種々の形態のものが適用可能である。本実施例では、作業ロボット７は移動機構としてクローラ型、作業機構としてマニピュレータ型を採用する構成を例示しているが、それらに限定されるものではない。また作業ロボット７は、センサとして力センサ８、光学センサ９などを例えば備えており、力センサ８により作業ロボット７がそのマニピュレータを介して作業対象物１０に与えた作用力に対応する反作用力である触覚の情報を検知している。光学センサ９は例えば光学的なカメラであり、作業対象物１０を含む作業環境１１内の画像情報を得ている。

作業ロボット７は、作業ロボット制御装置６に接続されており、作業ロボット制御装置６は、データ処理装置５を介して表示装置４と接続されている。表示装置４には、さらにジョイスティックコントローラ３および聴覚提示装置２が接続されている。

表示装置４には、作業を管理・監視するオペレータ１が、ジョイスティックコントローラ３を用いて入力した作業指示の内容が視覚的に表示される。また表示装置４には、作業ロボット制御装置６や、データ処理装置５により生成された各種の情報が適宜の形式で表示されている。表示装置４におけるこれらの表示内容の中には、作業ロボット７の力センサ８や光学センサ９により検知した作業環境１１内の情報が含まれている。そのうえで、作業中には、表示装置４からの視覚情報に加え、聴覚提示装置２からは作業ロボット７の力センサ８により検知した作業環境１１内の情報が聴覚情報としてオペレータ１に提供される。

この構成を通じて、オペレータ１がジョイスティックコントローラ３に入力した情報は表示装置４に表示されて視覚情報として提供されるとともに、データ処理装置５から作業ロボット制御装置６を介して作業ロボット７に伝達され、作業環境１１内の作業対象物１０に対する制御動作を決定する。また作業ロボット７に搭載された力センサ８や光学センサ９で検知した情報は、表示装置４において視覚情報としてオペレータに提示され、また力センサ８から得られた聴覚情報は聴覚提示装置２により音声としてオペレータ１に提供される。

本発明の実施例に係る遠隔操作システムは、例えば図１のように構成することが可能であるが、適宜変更が可能である。例えば、ジョイスティックコントローラ３は入力が可能なものであれば何でもよく、表示装置４、データ処理装置５、作業ロボット制御装置６などは、統合・分割が可能であり、本実施例の構成のみに限定されない。例えば、表示装置４とデータ処理装置５を統合して一つの装置にしても良いし、作業ロボット制御装置６を移動機構用と作業機構用に分割しても良い。また、各装置間は有線ケーブルにより接続されているが無線化されたシステム構成であっても良い。

図２は、作業ロボットの遠隔操作システム及び聴覚情報提示機構の全体構成を示す機能ブロック図である。ここでは、表示装置４、データ処理装置５、作業ロボット制御装置６、作業ロボット７における処理内容を機能ブロックとして、さらに詳細に記載している。

図２において、表示装置４は、オペレータ１がジョイスティックコントローラ３を用いた操作入力を表示装置４へ取り込むための作業指示入力部１２、作業指示（目的）を作業ロボット７の動作指示（目標値）に分解する目標値算出部１３、データの送受信を管理するデータ送受信部１５、オペレータ１への聴覚情報を出力する聴覚情報出力部１４を含んで構成されている。聴覚情報出力部１４からの聴覚情報は、聴覚提示装置２からオペレータ１に音声として提示される。

データ処理装置５は、表示装置４と作業ロボット制御装置６との間でのデータ授受を管理するデータ送受信部１６、作業ロボット７に搭載された力センサ８の信号から作業対象物１０の材質を推定する対象物材質推定部１７、対象物材質の推定結果から作業対象物１０の材質を判定する作業対象物材質認識部１９、作業対象物材質認識部１９での作業対象物１０の材質を判断するために用いるキャリブレーションデータ２０を格納する記憶部２１、作業対象物１０の材質の判定結果を反映して聴覚情報を生成する聴覚情報生成部２２を含んで構成されている。

作業ロボット制御装置６は、データ処理装置５とデータの授受を行うデータ送受信部２３、データ処理装置５から送信される装置動作から作業ロボット７の移動機構３０とアーム機構２９の目標制御量（移動機構のクローラ回転速度、作業機構の各関節の関節角度）を算出する電圧指令算出部２４、算出された電圧指令の目標値と作業ロボット７の各駆動部（移動機構３０とアーム機構２９に含まれる駆動部）に内蔵される角度検出器２８の信号から算出される現在角度を用いて各駆動部の目標電圧指令値を生成するロボット制御部２６、作業ロボット７に搭載された力センサ８の信号を取り込む環境認識部２５を含んで構成されている。

ここで、本実施例では作業対象物１０の材質認識用として力センサ８を用いているが、必要に応じて周辺環境の映像データを取得するカメラ、周辺環境や対象物の形状を測定するレーザセンサ、ロボットの手先に加わる力・トルクを測定する力・トルクセンサに変更可能である。これらのセンサは、いずれも作業ロボット７がそのマニピュレータを介して作業対象物１０に与えた作用力に対応する反作用力である触覚の情報を検知しているものであることから、総称的には触覚情報センサと称すべきものである。

次に、本発明の実施例に係る遠隔操作システムにおける作業ロボットの制御処理及びオペレータへの作業環境情報提示内容について説明する。

図３は、遠隔操作システムによる作業ロボットの動作制御処理及びオペレータへの作業環境情報提示の処理内容を概略的に示すＰＡＤ図である。この図では、表示装置４やデータ処理装置５をマスタ側とし、作業ロボット制御装置６をスレーブ側とする対応関係のもとに記載している。

図３において、遠隔操作システムは、その起動に当たり最初の処理ステップＳ１において、まず、予め用意されたキャリブレーションデータ２０を例えばデータ処理装置５から取り込み、作業ロボット７の力センサ８を初期化する。この処理は例えば作業ロボット７内の力センサ８において実行される。

処理ステップＳ２は、マスタ側のオペレータ１によって操作指示が入力された状態である。操作指示が入力されたとき、処理ステップＳ３からＳ６が実行される。ここでは具体的には、入力信号に応じて移動機構の移動方向・移動速度を算出し（処理ステップＳ３）、クローラ等の移動機構の制御量を生成（電圧指令値を算出）する（処理ステップＳ４）。また、オペレータ１が操作指示するアーム手先位置からアーム機構の各関節座標を求める逆運動学を用いて、目標関節の位置・角度を算出し（処理ステップＳ５）、アーム機構の制御量（各関節モータの電圧指令値）を生成する（処理ステップＳ６）。

なお、処理ステップＳ３からＳ６の一連の処理は、作業指示（目的）を作業ロボット７の動作指示（目標値）に分解するデータ処理装置５内の目標値算出部１３における処理を受けて、作業ロボット制御装置６内の電圧指令算出部２４が各機構の目標制御量（移動機構のクローラ回転速度、アーム機構の各関節の関節角度）を算出することで実現される。あるいは、データ処理装置５内の目標値算出部１３が各機構の目標制御量（移動機構のクローラ回転速度、アーム機構の各関節の関節角度）までを算出して、作業ロボット制御装置６内の電圧指令算出部２４に与えるものであってもよい。どの機能をどこに分担させるかは任意に適用可能な事項である。ここでは、後者の方式を前提に説明する。

次に、スレーブ側の作業ロボット制御装置６における作業ロボット７の動作生成処理について説明する。処理ステップＳ７では、作業ロボット制御装置６において作業ロボット７の動作生成処理を行う。動作生成処理は２種類があり、第１の動作生成処理は処理ステップＳ４、Ｓ６において作業指示から算出されたロボットの制御量を基に生成した作業ロボット７の目標動作を作業ロボットに与えることである。第２の動作生成処理は、作業対象物１０からの反力による力センサデータを検知し、これをデータ処理装置５に送信することである。

図３において、第１の動作生成処理は、処理ステップＳ８において処理ステップＳ４、６で算出された移動機構３０およびアーム機構２９の電圧指令値を読み込み、処理ステップＳ９において各モータへの電圧指令値を出力することで実現される。第２の動作生成処理は、処理ステップＳ１０において、作業ロボット７に搭載した力センサ８の情報を基に、作業対象物との接触を検出した場合、作業対象物との接触状態を検出し、処理ステップＳ１１において力センサデータをデータ処理装置５に送信することで実現される。

さらに、図３の処理ステップＳ１２では、作業ロボット制御装置６から得られる情報を基に、マスタ側でオペレータ１への作業環境情報を提示する。具体的にはまず、データ処理装置５で力センサデータを受信し（処理ステップＳ１３）、力センサデータを聴覚情報へ変換する（処理ステップＳ１４）。変換された聴覚情報を聴覚提示装置２から再生し（処理ステップＳ１５）、作業を終了する。

次に、図４を用いて、処理ステップＳ１４の力センサデータから聴覚情報への変換処理フローについて説明する。なお処理ステップＳ１４の処理は、図２のデータ処理装置５において実行され、表示装置４を介して聴覚提示装置からオペレータに提示される一連の処理である。

この処理フローでは、まず処理ステップＳ５０において作業ロボット７に搭載した力センサ８のデータを読み込み、処理ステップＳ５１において作業対象物との接触状態を検出する。処理ステップＳ５２では力センサ８からの信号がある閾値を超過する場合、「接触」と判断し、データ処理装置５内の対象物材質推定部１７においてハイパスフィルタ等を用いて、高周波成分を抽出する（処理ステップ５２）。

抽出した高周波成分とキャリブレーションデータ２０とを比較し、作業対象物の材質を認識する（処理ステップＳ５３）。例えば、高い領域の高周波数が抽出された場合、硬い材質であることが認識され、低い領域の高周波数が抽出された場合、柔らかい材質であることが認識される。また、抽出された成分の揺らぎが大きい場合、表面凹凸が大きい材質であることが認識され、抽出された成分の揺らぎが小さい場合、表面凹凸が小さい材質であることが認識される。その後、作業対象物の材質に応じて、力センサ信号を可聴音に変換し（処理ステップＳ５４）、オペレータ１に音声情報として提示される。以上が音声情報提示の基本機構である。

以上の機構を用いて可能となる力センサ信号の処理例について詳しく説明する。図５、図６は、作業対象物１０に対して複数回の把持試行を行う時の力センサ信号Ａの処理例を示している。図５と図６では、異なる作業対象物１０を把持した時の力センサ信号Ａを示している。これらのケースでは、作業対象物１０の把持試行を断続的に３回行い、各回において把持力を変更するように把持・解放する同じ作業指示が入力されている。これらの例に示すように、力センサ信号Ａは期間Ｔ１、Ｔ２、Ｔ３において高レベルを示し、その他の期間において低レベルを示しており、高レベルの期間に作業対象物１０を把持し、低レベルの期間に作業対象物１０を開放している。

実施例では、力センサ信号Ａを作業対象物１０の把持のために与えた指令信号とその他の信号成分に分離する。そのためにここでは、力センサ信号Ａを低周波領域のみを取り出すローパスフィルタ（ＬＰＦ）処理し、作業対象物の把持のための指令信号に相当する信号成分の信号を得る。ここでは、ＬＰＦ処理信号Ｂがこれに当たる。また力センサ信号Ａについて高周波領域を取り出すハイパスフィルタ（ＨＰＦ）処理し、ＨＰＦ処理信号Ｃを得る。

ＬＰＦ処理信号Ｂは、期間Ｔ１、Ｔ２、Ｔ３において高レベルを示す作業対象物の把持のための指令信号を表しており、ＨＰＦ処理信号Ｃは作業対象物の把持が開始される初期の時期に主に検知される高周波数信号である。この高周波数信号は、作業ロボット７が作業対象物１０に接触し、把持開始（力を加え始め）したときに生じた機械的な信号であることがわかる。

なお図５と図６では、異なる材質を有する作業対象物である時の例を示している。図５と図６のＨＰＦ処理信号Ｃを比較した場合に、図５のＨＰＦ処理信号Ｃは、高い領域の高周波数かつ、抽出された成分の揺らぎが小さい場合であり、図６のＨＰＦ処理信号Ｃは、低い領域の高周波数かつ、抽出された成分の揺らぎが大きい場合である。従って、図５の作業対象物１０は、硬い材質でありかつ表面凹凸が小さい材質であることが認識される。図６の作業対象物１０は、柔らかい材質でありかつ表面凹凸が大きい材質であることが認識される。

図７と図８は、図５、図６の破線部（把持試行部分）を拡大したグラフを示している。作業対象物の材料特性が表れる把持・解放する動作時に、ＨＰＦ処理信号Ｃが異なることが示されている。この結果として、両ケースのＨＰＦ処理信号Ｃから変換された音声情報は異なり、オペレータ１は異なる音声情報から作業対象物１０の材質の違いを判断することができる。

このように本発明によれば、力センサ信号は、作業対象物を把持したときに発生する反力（ＬＰＦ処理信号に出力）と信号全体にのるホワイトノイズ、接触時に作業対象物から瞬間的に受ける力を含んでおり、ＨＰＦ処理により、ホワイトノイズと接触時の力が出力されることから、これを分離して接触時の力を音声として出力したものである。従って、以上の実施例ではフィルタ処理によりこれらを分離したが、他の手法としては、加えた力である制御信号を力センサ信号から差し引いて、残りの成分を音声信号に変換するというものであってもよい。

なお以上の説明においては、力センサ８から聴覚信号を得る事例を示したが、作業対象物との接触時の力により信号を出力可能なセンサであれば適用が可能であり、例えば加速度センサが応用可能である。

また実施例では、作業対象物との接触時の力を音として提供したが、この時の音を周波数解析した結果を表示画面上に表示し、オペレータに提供することも有効である。この場合には、作業対象物の相違が、音とスペクトルの双方から確認可能となる。

また作業ロボット内に搭載されるセンサとしては、作業ロボットの駆動部の移動量や回転量を検出する検出装置としてのレーザ距離計、エンコーダ、ポテンショメータ、傾斜計、地磁気センサ、ジャイロセンサ、作業対象物との相互作用を検出する検出装置としてのとしてカメラ、超音波距離計、レーザ距離計、力・トルクセンサ、温度計、感圧センサ、駆動部の動作を検出する検出装置としての電流センサなどがある。

以上のように構成した本発明の実施例による効果は以下のようである。従来技術においては、光学カメラ情報に追加された情報（力センサ情報等）も表示装置４に表示され、オペレータ１は複数情報を視覚情報のみに頼っていた。そのため、操作時に視覚のみで複数情報を確認しなければならなく、一つの情報を確認時には、その他の情報が未確認状態となってしまう。そのため、オペレータの負担が大きく、作業効率が大きく低下してしまう恐れがあった。

これに対して、本発明の実施例に係る聴覚情報提示システムでは、複数情報を視覚と聴覚に分離し、情報の未確認状態を低減できる。そのため、オペレータへの負担が大幅に低減し、作業効率の増加も可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例（表面を押す、なぞる、叩打する等）が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも全ての機能に限定されるものではない。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１：オペレータ
２：聴覚提示装置
３：ジョイスティックコントローラ
４：表示装置
５：データ処理装置
６：作業ロボット制御装置
７：作業ロボット
９：光学センサ
８：力センサ
１０：作業対象物
１１：作業環境
１２：作業指示入力部
１３：目標値算出部
１４：聴覚情報出力部
１５：データ送受信部
１６：データ送受信部
１７：作業対象物材質推定部
１９：作業対象物材質認識部
２０：キャリブレーションデータ
２１：記憶部
２２：聴覚情報生成部
２３：データ送受信部
２４：電圧指令算出部
２５：環境認識部
２６：ロボット制御部
２８：関節角度検出器
２９：アーム機構
３０：移動機構

Claims (8)

1. 遠隔地に配置した作業ロボットをオペレータが遠隔操作して遠隔地の作業対象物を処理する作業ロボットの遠隔作業システムであって、
   作業機構とセンサを搭載し、前記作業機構により作業対象物を処理するときの反力を前記センサにより検知する作業ロボットと、
   オペレータの作業指示に従い、前記作業ロボットの前記作業機構に対して指令信号を与えて駆動する第１の手段と、
   前記指令信号に従い前記作業ロボットが前記作業対象物を処理するときの前記センサの出力について、前記指令信号に対応する反力の信号とそれ以外の高周波成分に分離し、前記高周波成分を音信号に変換する第２の手段と、
   オペレータに対して前記音信号を音声として提供する第３の手段とを備えることを特徴とする作業ロボットの遠隔作業システム。
2. 請求項１に記載の作業ロボットの遠隔作業システムであって、
   前記作業対象物の処理は、前記作業対象物を把持する処理であり、当該把持のときに前記センサが与える反力を含む信号を得ることを特徴とする作業ロボットの遠隔作業システム。
3. 請求項１または請求項２に記載の作業ロボットの遠隔作業システムであって、
   前記センサは、力センサであることを特徴とする作業ロボットの遠隔作業システム。
4. 請求項１から請求項３のいずれか１項に記載の作業ロボットの遠隔作業システムであって、
   前記指令信号に対応する反力の信号とそれ以外の高周波成分に分離するために高周波数通過フィルタを用いることを特徴とする作業ロボットの遠隔作業システム。
5. 請求項１から請求項３のいずれか１項に記載の作業ロボットの遠隔作業システムであって、
   前記指令信号に対応する反力の信号とそれ以外の高周波成分に分離するために、前記センサの出力から前記指令信号を差し引くことを特徴とする作業ロボットの遠隔作業システム。
6. 請求項１から請求項５のいずれか１項に記載の作業ロボットの遠隔作業システムであって、
   分離した前記高周波成分について、当該高周波成分の周波数の相違に応じて前記作業対象物の材質を判別する第４の手段を備えることを特徴とする作業ロボットの遠隔作業システム。
7. 請求項１から請求項５のいずれか１項に記載の作業ロボットの遠隔作業システムであって、
   分離した前記高周波成分について、当該高周波成分の揺らぎの相違に応じて前記作業対象物の材質を判別する第５の手段を備えることを特徴とする作業ロボットの遠隔作業システム。
8. 請求項１から請求項７のいずれか１項に記載の作業ロボットの遠隔作業システムであって、
   遠隔地の作業対象物の処理状況を聴覚により提供する聴覚提示装置としての前記第３の手段と、遠隔地の作業対象物の処理状況を視覚により提供する第６の手段とを備えることを特徴とする作業ロボットの遠隔作業システム。

Images