JP5949611B2

JP5949611B2 - 遠隔操作ロボットシステム

Info

Publication number: JP5949611B2
Application number: JP2013057653A
Authority: JP
Inventors: 耕志寺田; 史倫齋藤
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2013-03-21
Filing date: 2013-03-21
Publication date: 2016-07-13
Anticipated expiration: 2033-03-21
Also published as: JP2014180736A

Description

本発明は、遠隔操作ロボットシステムに関する。

近年、遠隔操作により動作し、物体を把持して移動させるロボットの開発が行われている。遠隔操作でロボットを操縦する場合、行う動作によって作業をしやすい視点は異なる。

特許文献１には、ロボットと手先マーカと環境と目標マーカの視線に垂直な平面への射影表示、および操作方法を用いることにより、ロボットの状態と目標状態のずれを容易に認識できるようにしたロボットの作業状況の提示方法が開示されている。これにより、グラフィックス情報の見から位置や姿勢を正確に一致させることを可能とするとともに、他の情報を併用する必要をなくすことができる。

特許文献２には、視点の移動にかかわらず、常にモニタＴＶの画面内のマニピュレータ本体の動作方向が操作桿の操作方向と一致するようにできる、遠隔操作式マニピュレータが開示されている。

特開平９−７５０５３号公報特開昭６１−２０４５１７号公報

特許文献１に開示されたロボットは、動作を実行するためには環境にマーカの設置が必要である。そのため、家具等にマーカを張りつけると見た目が悪くなる等の問題が生じる。また、マーカが設置されていない環境では動作できないため、ロボットが環境内に投入される以前に、オペレータ自身がマーカを設置しなければならない。したがって、オペレータの作業負荷が増大するという問題がある。

特許文献２に開示された技術では、ロボットの操作する方向がカメラと常に一致している。そのため、主となる方向以外にエンドエフェクタを微笑に動かす際にも視点変更が起きてしまい、オペレータにとって判りにくくなる。さらに視点の移動が困難である。したがって、適切な視点での映像を取得できず、オペレータの作業負荷が増大する場合がある。

本発明にかかる遠隔操作ロボットシステムは、ロボットと、前記ロボットを遠隔操作する操作端末と、を備える遠隔操作ロボットシステムであって、前記ロボットは、周囲の環境を撮影する撮像手段を有する第１のアームと、物体を把持する把持部を有する第２のアームと、前記第２のアームの動作と、動作ステップと、を関連付けて記憶する記憶部と、前記記憶部に記憶された情報から、前記動作ステップごとに、前記撮像手段の動作の大きさに基づいて２つの主成分の方向を算出する演算部と、前記演算部が算出した２つの方向から定義される平面を、前記撮像手段が略垂直に撮影するよう前記第１のアームの動作を制御する制御部と、を備え、前記操作端末は、前記撮像手段により取得された画像を表示する画像表示部と、前記ロボットの操作と、動作ステップの切り替え操作を行う操作手段と、前記動作ステップを表示するステップ表示部と、を備える。
これによりロボットの遠隔操作に好適な視点を学習し、ユーザーにとって好ましい操作用の画像を提供することができる。

オペレータの作業負荷を軽減することができる。

実施の形態１にかかる遠隔操作ロボットシステムの構成図である。実施の形態１にかかる遠隔操作ロボットの概略図である。実施の形態１にかかる操作端末の概略図である。実施の形態１にかかる学習ステップと実行ステップの関係を示す図である。実施の形態１にかかる学習ステップにおけるロボットの手先の移動を示す図である。実施の形態１にかかるハンドの動作を記憶するフローを示す図である。実施の形態１にかかる学習により動作ステップごとのカメラの視点を決定するフローを示す図である。実施の形態１にかかる撮像手段の向きと、Ｕ、Ｖ平面の関係を示す図である。実施の形態１にかかる撮像手段の位置及び向きを変化させた状態を示す図である。実施の形態２にかかる初期学習ステップと、学習ステップと、実行ステップの関係を示す図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は、遠隔操作ロボットシステム１の構成を示す図である。遠隔操作ロボットシステム１は、ロボット２と、操作端末３を備える。

ロボット２は、本体部１１と、第１のアーム１２と、第２のアーム１３を備える。図２は、ロボットの概略図である。なおロボット２には、複数の動作ステップが規定されている。例えばロボット２には、動作ステップとして、冷蔵庫に近づく、ハンドを冷蔵庫に近づける、取手を掴む、冷蔵庫を開ける、中のものをとる、の５つが規定されている。

本体部１１は、ロボット２の本体である。本体部１１は、記憶部１１１と、演算部１１２と、制御部１１３と、送信部１１４と、受信部１１５を有する。例えば本体部１１は、下部に複数の車輪が連結されている。また本体部１１には、第１のアーム１２と、第２のアーム１３が連結している。

第１のアーム１２は、本体部１１に連結しているアームである。第１のアーム１２は、先端部に撮像手段１２１を有する。典型的には第１のアーム１２は、多数の関節部を有し、制御部１１３からの制御信号に基づいて関節部を駆動することで、先端部に設けられた撮像手段１２１を、任意の位置に移動させる。

撮像手段１２１は、第１のアーム１２の先端に設けられたカメラである。撮像手段１２１で取得された画像は、送信部１１４を介して、操作端末３に出力される。なお、以下では撮像手段１２１を、カメラと記載する場合がある。

第２のアーム１３は、本体部１１に連結しているアームである。第２のアーム１３は、先端部に把持部１３１を有する。典型的には第２のアーム１３は、多数の関節部を有し、制御部１１３からの制御信号に基づいて関節部を駆動することで、把持部１３１を任意の位置に移動させる。第２のアーム１３は、動作の軌跡情報を、記憶部１１１に出力する。

把持部１３１は、第２のアーム１３の先端部に設けられた把持手段である。例えば把持部１３１は、制御部１１３からの制御信号に基づいて、冷蔵庫の取手や、冷蔵庫の中の物体の把持を行う。以下では、把持部１３１をハンドと記載する場合がある。

記憶部１１１は、本体部１１に設けられた記憶装置である。記憶部１１１は、第２のアーム１３の動作速度および動作方向を、動作ステップごとに分けて記憶する。また典型的には、記憶部１１１は、学習データとしてあらかじめ、第２のアーム１３の動作速度および動作方向を、動作ステップごとに分けて記憶する。

演算部１１２は、撮像手段１２１が動く方向を演算する。具体的には、演算部１１２は、現在の動作ステップと、記憶部１１１に記憶された現在の動作ステップに関する第２のアーム１３の動作情報に基づいて、撮像手段１２１の好適な位置や向きを算出する。例えば演算部１１２は、第２のアーム１３がよく動く方向と、撮像手段１２１のＵＶ平面が一致するように視点を定める。

制御部１１３は、第１のアーム１２と第２のアーム１３の動作を制御する。具体的には、制御部１１３は、演算部１１２の演算結果に基づいて第１のアーム１２の動作を制御し、撮像手段１２１を好適な位置に移動するよう制御する。また制御部１１３は、操作端末３から入力した操作信号に基づいて、第２のアーム１３の動作を制御する。さらに、制御部１１３は、撮像手段１２１で取得した画像を操作端末３に送信するよう、送信部１１４の動作を制御する。また典型的には、制御部１１３は、操作端末３から入力した操作信号に基づいて車輪の駆動状態を制御し、ロボット２を移動させる。

送信部１１４は、撮像手段１２１が取得した画像を、操作端末３に送信する。

受信部１１５は、操作端末３から操作信号を受信し、制御部１１３に出力する。

操作端末３は、画像表示部２１と、ステップ表示部２２と、操作手段２３と、送信部２４と、受信部２５を備える。図３は、操作端末３の概略図である。

画像表示部２１は、例えば液晶パネルである。画像表示部２１は、受信部２５を介して受信した、撮像手段１２１で取得された画像を表示する。

ステップ表示部２２は、ロボット２が行う動作ステップを表示する表示部である。例えばステップ表示部２２は、ロボット２の動作ステップとして規定されている、冷蔵庫に近づく、ハンドを冷蔵庫に近づける、取手を掴む、冷蔵庫を開ける、中のものをとる、の５つを表示する。典型的にはステップ表示部２２は、現在選択されている動作ステップを強調表示する。またステップ表示部２２は、後述の切り替えスイッチ２３２により動作ステップが切り替えられた場合には、切り替え後の動作ステップを強調表示する。

操作手段２３は、人が操作を行うための操作手段である。操作手段２３は、ロボットの操作を行う操作レバー２３１と、動作ステップを切り替える切り替えスイッチ２３２を有する。

操作レバー２３１は、人により前後左右に操作可能なレバーである。操作レバー２３１は、操作量に応じて操作信号を生成する。例えば操作者は、画像表示部２１に表示された撮像手段１２１の取得画像を見ながら、操作レバー２３１を操作することによって把持部１３１を操作する。

切り替えスイッチ２３２は、動作ステップを切り替えるスイッチである。具体的には、切り替えスイッチ２３２は、押下がされた場合に動作ステップが１つ進むよう、操作信号を生成する。例えば切り替えスイッチ２３２は、ユーザーに押下された場合に、ロボット２の動作ステップを、取手を掴むステップから冷蔵庫を開けるステップに変更させるための、操作信号を生成する。

送信部２４は、操作レバー２３１及び切り替えスイッチ２３２で生成された操作信号を、ロボット２に送信する。

受信部２５は、ロボット２から撮像手段１２１が取得した画像を受信する。

次に、遠隔操作ロボットシステム１の動作について説明する。図４に示すように、遠隔操作ロボットシステム１は、学習ステップと、実行ステップを相互に繰り返し行う。最初に、学習ステップについて説明する。ここで図５は、学習ステップにおいて、ロボット２が手先を動かした方向を示す図であり、移動前の第２のアーム１３を点線で示している。ここでは、動作ステップのうち、取手を掴む動作ステップについての学習を行っているものとする。

図６は、学習ステップにおいて、記憶部１１１にデータの記憶させるフローである。

記憶部１１１は、データの記憶を開始する（ステップＳ１１）。

制御部１１３は、第２のアーム１３を動作させる（ステップＳ１２）。

記憶部１１１は、現在の動作ステップと、第２のアーム１３の手先の動作とを関連付けて記憶する（ステップＳ１３）。ここで記憶部１１１が記憶する手先の動作とは、第２のアーム１３の手先速度と動作の方向であり、すなわち速度ベクトルである。その後、ステップＳ１２に戻り、任意のｎ（ｎは自然数）回の動作と記憶を繰り返し行う。

図７は、学習ステップにおいて、動作ステップごとの視点を決定するためのフローである。例えば、取手を掴む動作ステップについて、撮像手段１２１の位置を決定する。

演算部１１２は、記憶部１１１に記憶された速度ベクトルから、主軸を導出する（ステップＳ２１）。より具体的には、例えば記憶部１１１には、取手を掴む動作ステップの手先の速度ベクトルとして、ν_０、ν_１、ν_２、・・・ν_ｎが記憶されている。演算部１１２は、主成分分析（ＰＣＡ：Principal Component Analysis）により、主軸Ｖ_１、Ｖ_２、Ｖ_３を導出する。ここで、主軸Ｖ_１、Ｖ_２は、第２のアーム１３の手先がよく動いた方向となる。

演算部１１２は、撮像手段１２１の向きＴｓと、位置を決定する（ステップＳ２２）。具体的には、演算部１１２は、ステップＳ２１において導出された主軸Ｖ_１、Ｖ_２を、それぞれ撮像手段１２１のＵ，Ｖ平面に当てはめるよう、撮像手段１２１の向きＴｓを決定する。言い換えると演算部１１２は、撮像手段１２１の向きを主軸Ｖ_１、Ｖ_２からなる平面を、略垂直に撮影する向きＴｓを決定する。また演算部１１２は、第２のアーム１３の手先の移動する範囲がすべて入るように、撮像手段１２１の位置を決定する。図８は、撮像手段１２１の向きＴｓと、Ｕ、Ｖ平面の状態を示す模式図である。

次に実行ステップについて説明する。制御部１１３は、上記のステップＳ２２による決定に基づいて、第１のアーム１２を動作させる。言い換えると、制御部１１３は、動作ステップごとに決定されている撮像手段１２１の位置及び向きＴｓに従うよう、第１のアーム１２を動作させる。図９は、取手を掴む動作ステップＴ_３の場合において、制御部１１３が、撮像手段１２１の位置及び向きを変化させた状態を示した図である。

なお記憶部１１１は、実行ステップにおいて移動した第２のアーム１３の動作を記憶しておくことが望ましい。記憶部１１１が記憶した実行ステップ中の動作は、後に学習ステップを再実行するときに、学習用データとして用いることができる。

これにより、ロボットの遠隔操作に好適な視点を学習し、ユーザーにとって好ましい操作用の画像を提供することができる。したがって、オペレータの作業負荷を軽減することができる。
より具体的にはロボットは、学習ステップ及び実行ステップにおいて、作業を行う手先の動作を、動作ステップごとに記憶することができる。またロボットは、学習ステップにおいて、記憶された手先の動作に基づき、各動作ステップに適する撮像手段１２１の位置を学習することができる。なお遠隔操作ロボットシステムは、学習回数及び実行回数が増加するにしたがって学習の精度が向上し、オペレータにとってより好ましい操作用の画像を提供することができる。

実施の形態２．
学習ステップは、初期学習ステップと、通常の学習ステップに分けて行うことができる。例えば図１０に示すように、初期学習ステップはロボットベンダーが行い、通常の学習ステップはユーザーが行う。典型的には、初期学習ステップ及び通常の学習ステップは、実施の形態１に示した学習ステップと同様のフローにより行う。

これにより、ロボットベンダーの意図した初期学習を十分に行うことができる。そのため、ユーザーにロボットが引き渡され、ユーザーが初めてロボットを使用する場合であっても、操作のしやすさが確保される。また、ユーザーがロボットの学習を実行した場合にも、ロボットベンダーが意図した一定の範囲内に、学習結果を収束させることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば画像表示部２１に表示される画像は、撮像手段１２１の画像について合成や座標変換を行うことで生成した、第２のアーム１３が到達できない任意の位置を視点とする、仮想画像であっても良い。また記憶装置１４は、ロボット２に設けられているものとして説明したが、ロボット２の外部に設けられた外部記憶装置であってもよい。操作レバー２３１は、ジョイスティック等の他の操作方法であってもよい。切り替えスイッチ２３２は、ステップ表示部２２に重ねて設けられたタッチパネル等であり、動作ステップの切り替えが任意に行える構成であってもよい。

１遠隔操作ロボットシステム
２ロボット
３操作端末
１１本体部
１１１記憶部
１１２演算部
１１３制御部
１１４送信部
１１５受信部
１２第１のアーム
１２１撮像手段
１３第２のアーム
１３１把持部
１４記憶装置
２１画像表示部
２２ステップ表示部
２３操作手段
２３１操作レバー
２３２切り替えスイッチ
２４送信部
２５受信部

Claims

ロボットと、前記ロボットを遠隔操作する操作端末と、を備える遠隔操作ロボットシステムであって、
前記ロボットは、
周囲の環境を撮影する撮像手段を有する第１のアームと、
物体を把持する把持部を有する第２のアームと、
前記第２のアームの動作と、動作ステップと、を関連付けて記憶する記憶部と、
前記記憶部に記憶された情報から、前記動作ステップごとに、前記撮像手段の動作の大きさに基づいて２つの主成分の方向を算出する演算部と、
前記演算部が算出した２つの方向から定義される平面を、前記撮像手段が略垂直に撮影するよう前記第１のアームの動作を制御する制御部と、を備え、
前記操作端末は、
前記撮像手段により取得された画像を表示する画像表示部と、
前記ロボットの操作と、動作ステップの切り替え操作を行う操作手段と、
前記動作ステップを表示するステップ表示部と、を備える、
遠隔操作ロボットシステム。