JPH10249786A - マニピュレータの制御装置および操作支援装置 - Google Patents

Abstract

(57)【要約】 【課題】 作業効率を向上することのできるマニピュレ
ータの制御装置を実現すること。 【解決手段】 移動可能に構成されたマニピュレータ(4
01)および該マニピュレータの動作を監視するための監
視カメラ(403)と、前記マニピュレータおよび監視カメ
ラの動作を指示するための指示入力装置(407,408)と、
該指示入力装置への入力内容に基づいて前記マニピュレ
ータおよび監視カメラの動作を制御する制御系(404,41
0)とを備えるマニピュレータの制御装置において、前記
制御系は、前記指示入力装置に前記監視カメラを移動さ
せる旨の入力があった場合には、監視カメラを移動させ
るとともに前記スレーブマニピュレータのエンドエフェ
クタ(402)を前記監視カメラの視野中央に移動させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マスタスレーブ方
式により遠隔操作がなされるロボットの制御装置および
操作支援装置に関する。

【０００２】

【従来の技術】非構造環境下にて監視カメラの撮像内容
を用いてスレーブマニピュレータをジョイスティックや
マスタアームで遠隔操縦する作業を行う際に、スレーブ
マニピュレータのエンドエフェクタを作業対象物から所
定の距離まで接近させる場合には、監視カメラに広角な
画像を撮影させて環境周囲の映像を捉えながらマニピュ
レータのエンドエフェクタを移動させる。作業対象物に
アプローチして実際に作業を行う場合には、監視カメラ
に対してズームアップ操作することによって作業対象物
を大きく捉え、これに基づいた慎重な作業が行われてい
る。また、複数の監視カメラを用いてスレーブマニピュ
レータを遠隔操縦する場合には、オペレータは切り替え
スイッチ等を操作して、複数の監視カメラのうち、作業
状況を最も確認しやすい監視カメラを選択し、その撮像
内容に基づいて作業を行っている。

【０００３】上記のような複数監視カメラによりワーク
の補修等を行う作業ロボットを例にとって説明する。図
１０は、地上操縦型の作業ロボットシステムの基本構成
を示す図、図１１は制御系の構成を示すブロック図であ
る。ロボットには、７自由度双腕アーム２０６が取り付
けられ、また、作業状況確認用に右全景カメラ２０７、
左全景カメラ２０８、中央カメラ２０９、上部カメラ２
１０、下部カメラ２１１の５台の監視カメラが搭載され
ている。これらの各監視カメラの撮像動作はカメラ制御
装置１０４により制御され、また、各カメラの撮像結果
は該カメラ制御装置１０４に集められる。カメラ制御装
置１０４は各カメラの撮像結果を操作者が作業を行なう
バケット車内の操作パネル２１２へ送出する。操作パネ
ル２１２には、３台設けられたＴＶモニタ２１３と、ア
ーム用ジョイスティック２１４、および、５台の監視カ
メラ２０７〜２１１の映像を選択するためのスイッチ１
１５とが取り付けられている。

【０００４】オペレータはこれら５台の監視カメラ２０
７〜２１１の映像のうち、作業状況を視認しやすい３台
の監視カメラの映像をスイッチ１１５により選択し、選
択した各監視カメラ映像のそれぞれを３台のＴＶモニタ
２１３により監視しながら、アーム用ジョイスティック
２１４によって７自由度双腕アーム２０６を操縦して作
業を行う。

【０００５】

【発明が解決しようとする課題】人間が物を掴むなどの
作業を行う場合、その掴むものを注視したまま、白分の
手をその対象物へ近づけようとする。これと異なり、遠
隔作業ロボットの場合にはオペレータは以下のような手
順にて作業を行なう。 １．監視カメラを広角として周囲環境の映像を捉える。 ２．スレーブマニピュレータを作業対象物の付近まで移
動させる。 ３．監視カメラで対象物をズームアップしながらスレー
ブマニピュレータの位置を対象物にアプローチさせる。 ４．実際の作業を行う。 上記のように、監視カメラの操作とスレーブマニピュレ
ータの操作を交互に行わなければならないため、操作が
煩雑であり、その結果、作業効率が悪いという問題点が
あった。このことは、スレーブマニピュレータの先端を
自動的に監視カメラが追従する自動追従機能を備えるも
のでも、スレーブマニピュレータを作業対象物から所定
の距離まで接近ささせるために作業対象物の位置を確認
するために監視カメラを広角にしなければならず、上記
の場合と同様に操作は煩雑である。

【０００６】また、監視カメラの切り替え、視点の変
更、ズームの調整等をカメラ用ジョイスティックやスイ
ッチ等を用いたをオペレータによるマニュアル操作によ
って行っているため、オペレータが実際の作業以外の監
視カメラに関する作業が多く、作業時間が延び、操作が
煩雑で実際の作業に集中できないという問題点がある。
さらに、監視カメラの選択はオペレータに依存している
ため、オペレータによって視覚情報の提示が異なり、作
業性に差異を生じ、その結果、作業品質が一定しないと
いう問題点があった。上記の作業に集中できないという
問題点について詳述する。図１２はワークに対する作業
を行なうときの手順を示すフローチャートである。作業
は以下のように行なわれる。上部カメラへ切り替えてズ
ームアップする（ステップＳ３０１）。左右アーム工具
交換ジョブを実行する（ステップＳ３０２）。視点を左
アームとして上部カメラをズーム広角とする（ステップ
Ｓ３０３）。左アームをワークへ手動にて近付ける（ス
テップＳ３０４）。中央カメラに切り替え、その後、左
全景カメラ、中央カメラ、右全景カメラをズーム拡大と
する（ステップＳ３０５）。ワークを把持する（ステッ
プＳ３０６）。上部カメラに切り替えて、視点を右アー
ムとし、その後、左全景カメラ、上部カメラ、右全景カ
メラをズーム拡大とする（ステップＳ３０７）。右アー
ムをワークへ手動にて近付ける（ステップＳ３０８）。
右全景カメラ、左全景カメラ、上部カメラをズーム拡大
とする（ステップＳ３０９）。作業器を取り付ける（ス
テップＳ３１０）。

【０００７】上記のように作業中には、実際の作業を行
なう前にカメラの視点を変えたり、ズームを調整したり
する手順となっており、作業時間を延ばす原囚となって
いる。実際にはこのような煩雑な操作が面倒なため、オ
ペレータは作業ができる最低限のカメラ操作しかしない
ことがある。このような状況ではオペレータにとって作
業を行うのに最適な視野、視点が得られているとは考え
られず、実際の作業に手間がかかることが予想され、カ
メラの操作を一部省いたとしても、結果的には作業効率
が向上するわけではない。アームがあらかじめ教示され
た軌道に従って自動運転をする場合、アームの動作ジョ
ブに対応するカメラの動作ジョブを選択するように構成
すると、カメラの操作を行わずに作業状況を自動的に最
適な視点および視野の下で監視することが可能となる
が、これを実現するためにはアームの動作ジョブの数だ
けカメラの動作ジョブを作成する必要があり、手間がか
かるといった問題がある。また、オペレータが手動操作
を行う場合には、やはりカメラも手動操作を行う必要が
あり、また、その分ジョイスティックやスイッチ類を操
作パネルに配置することになるので、多くのスイッチ類
が混在し、操作性が悪くなるという問題点があった。

【０００８】本発明は上述したような従来の技術が有す
る様々な問題点に鑑みてなされたものであって、作業効
率を向上することのできるマニピュレータの制御装置を
実現することを目的とする。また、本発明の他の目的と
して、オペレータの違いによる作業品質の差を少なくす
ることのできるマニピュレータの制御装置を実現するこ
とが挙げられる。具体的には、オペレータが監視カメラ
とスレーブマニピュレータを交互に操作するような煩雑
なことをすることなく、簡単な操作で作業対象物にスレ
ーブマニピュレータのエンドエフェクタを接近させるこ
とを可能とすること、作業状況を確認するのに最適な位
置にある監視カメラの選択をオペレータの操作によら
ず、自動的に行うこと、オペレータが速隔操縦で作業を
行うのに最適なカメラへの切替、視点の変更、ズームの
調推などを、カメラの動作ジョブを作成することなく、
かつ、自動的に行うこと、等を目的とする。

【０００９】

【課題を解決するための手段】本発明のマニピュレータ
の制御装置は、移動可能に構成されたマニピュレータお
よび該マニピュレータの動作を監視するための監視カメ
ラと、前記マニピュレータおよび監視カメラの動作を指
示するための指示入力装置と、該指示入力装置への入力
内容に基づいて前記マニピュレータおよび監視カメラの
動作を制御する制御系とを備えるマニピュレータの制御
装置において、前記制御系は、前記指示入力装置に前記
監視カメラを移動させる旨の入力があった場合には、監
視カメラを移動させるとともに前記マニピュレータのエ
ンドエフェクタを前記監視カメラの視野中央に移動させ
ることを特徴とする。上記のように構成される発明にお
いては、監視カメラに作業対象物を注視させると、指示
を必要とすることなく、スレーブマニピュレータのエン
ドエフェクタがカメラ視野中央に移動するので、監視カ
メラとスレーブマニピュレータを交互に操作することな
く作業対象物にアプローチすることができる。

【００１０】本発明のマニピュレータの操作支援装置
は、移動可能に構成されたマニピュレータと、該マニピ
ュレータの動作を監視するために複数設けられた監視カ
メラと、該複数設けられた監視カメラのいずれかによる
映像を映し出すＴＶモニタと、該ＴＶモニタに映像を映
し出す監視カメラを選択する選択手段とを備えるマニピ
ュレータの操作支援装置において、前記選択手段は、監
視カメラと前記マニピュレータの作業点とを結ぶカメラ
視線と前記マニピュレータの肘位置との距離が最も小さ
な監視カメラを選択することを特徴とする。この場合、
作業点はマニピュレータのエンドエフェクタ制御点であ
ってもよい。また、作業対象物の位置を検出する作業対
象物検出手段およびマニピュレータの動作を制御する制
御系とを有し、作業点を作業対象物検出手段により検出
された作業対象物の位置とすることとしてもよい。

【００１１】本発明の他の形態によるマニピュレータの
操作支援装置は、移動可能に構成されたマニピュレータ
と、該マニピュレータの動作を監視するために複数設け
られた監視カメラと、該複数設けられた監視カメラのい
ずれかによる映像を映し出すＴＶモニタと、該ＴＶモニ
タに映像を映し出す監視カメラを選択する選択手段とを
備えるマニピュレータの操作支援装置において、作業対
象物の位置を検出する作業対象物検出手段と、前記作業
対象物検出により検出された作業対象物の位置と前記遠
隔操縦ロボットのエンドエフェクタ制御点の位置から前
記遠隔操縦ロボットのエンドエフェクタの進行方向を推
測する推測手段と、前記選択手段は、前記推測手段によ
り推測された進行方向に設けられた監視カメラを選択す
ることを特徴とする。

【００１２】上記のいずれのマニピュレータの操作支援
装置においても、各監視カメラは、マニピュレータのエ
ンドエフェクタ制御点を自動追従する機能を有すること
としてもよい。上記手段により、遠隔操縦ロボットの複
数の監視カメラのうち、作業状況を監視するのに最適な
位置にある監視カメラをオペレータの操作によらず自動
的に選択して、ＴＶモニタにその映像が提示されること
となり、オペレータは監視カメラの選択に気を取られる
ことなく、監視カメラの選択操作をせずに作業そのもの
に集中できる。本発明のさらに他の形態によるマニピュ
レータの操作支援装置は、移動可能に構成されたマニピ
ュレータと、該マニピュレータの動作を監視するために
複数設けられた監視カメラと、該複数設けられた監視カ
メラのいずれかによる映像を映し出すＴＶモニタと、該
ＴＶモニタに映像を映し出す監視カメラを選択する選択
手段とを備えるマニピュレータの操作支援装置におい
て、１つの作業単位毎に作成された作業用のプログラム
を記憶する作業手順記憶装置と、前記選択手段は、前記
作業手順記憶装置に作業用のプログラムが記憶された作
業単位に対応して、前記ＴＶモニタに映像を映し出す監
視カメラおよびその動作条件等が記述されたテーブルを
備え、作業用のプログラムが実行されると、そのプログ
ラムの作業単位に対して前記テーブルに記述されている
監視カメラおよびその動作条件を選択することを特徴と
する。

【００１３】上記手段により、マニピュレータにおいて
決められた作業手順で作業を行う時に、カメラの切替、
視点の変更、ズームの調整などを、自動的にかつ、カメ
ラの動作ジョブを作成することなく行え、操作パネル上
のカメラ用ジョイスティックやスイッチ類を省くことが
できる。

【００１４】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。実施例１ 図１は本発明の一実施例の構成を示す図である。本実施
例において、図面右側部分のスレーブ側は、スレーブマ
ニピュレータ４０１とそれを監視する姿勢変更機構やズ
ーム機構を有する監視カメラ４０３、そしてこれらの制
御を行うスレーブ制御装置４０４から構成されている。
また、図面左側部分のマスタ側は、監視カメラ４０３の
捉えた映像を映し出すＴＶモニタ４０６と、スレーブマ
ニピュレータ４０１を操縦するスレーブマニピュレータ
用のジョイスティック４０７、監視カメラを操縦するた
めの監視カメラ用のジョイスティック４０８、ズームス
イッチ（不図示）などを含む操作卓４０９と、これらを
制御するマスタ制御装置４１０から構成されている。ス
レーブ制御装置４０４およびマスタ制御装置４１０のそ
れぞれは、ＣＰＵ（中央演算処理装置）、ＣＰＵの動作
プログラムおよび取り扱うデータを記憶する記憶装置か
ら構成されるもので、マスタ制御装置４１０のＣＰＵは
上記の各ジョイスティック４０７，４０８からの入力内
容に応じてスレーブ側の動作を制御する信号を出力し、
不図示の信号線で接続されるスレーブ制御装置４０４の
ＣＰＵはこれに基づいた制御を行なう。

【００１５】次に、本実施例の動作について説明する。
通常、オペレータ４１１は、監視カメラ４０３が捉えた
映像をＴＶモニタ４０６によって確認しながら、スレー
ブマニピュレータ４０１用のジョイスティック４０７と
監視カメラ４０３用のジョイスティック４０８を操作す
る。各ジョイスティックの操作方向および操作量を示す
信号がマスタ制御装置４１０に入力されると、マスタ制
御装置４１０は各ジョイスティックの操作方向および操
作量に応じたスレーブマニピュレータ制御点４０２と監
視カメラ４０３の移動量を、スレーブマニピュレータ４
０１および監視カメラ４０３それぞれの基準となる座標
系に基づいて演算し、スレーブマニピュレータ４０１お
よび監視カメラ４０３のそれぞれに対して上記移動量を
実現する位置指令または速度指令を生成し、スレーブ制
御装置４０４へ出力する。スレーブ制御装置４０４では
送られてきた位置指令または速度指令により監視カメラ
４０３またはスレーブマニピュレータ４０１を移動させ
る。

【００１６】なお、マスタ制御装置４１０は、スレーブ
マニピュレータ４０１のみを移動させる旨の入力があっ
た場合にはスレーブマニピュレータ４０１のみを移動さ
せる位置指令および速度指令のみを出力するが、監視カ
メラ４０３のみを移動させる旨の入力があった場合に
は、監視カメラ４０３を移動させる位置指令および速度
指令とともに、監視カメラ４０３の視野内にスレーブマ
ニピュレータ４０１の制御点４０２が位置するようにス
レーブマニピュレータ４０１を移動させる位置指令およ
び速度指令を送出する。図２は監視カメラ４０３をズー
ムアップ状態とし、作業対象物４０５を注視した状態と
したときのスレーブマニピュレータ４０１の動きの検出
内容を示す図である。

【００１７】オペレータ４１１が作業対象物４０５に対
して作業を行うために監視カメラ用ジョイスティック４
０８と操作卓４０９に設けられたズームスイッチを操作
して監視カメラ４０３により作業対象物４０５を注視す
る。オペレータ４１１が操作を行なう前には、スレーブ
マニピュレータ４０１は、カメラ視野外の位置Ｐ１に存
在しているが、オペレータ４１１が監視カメラ４０３に
作業対称物４０５を注視させるために操作卓４０９上の
スイッチ等を操作することによって、スレーブマニピュ
レータ４０１は監視カメラ４０３の視線上であり、作業
対象物４０５付近の点Ｐ２へ移動する。次に、マスタ制
御装置４１０で、監視カメラ４０３の移動に伴ってスレ
ーブマニピュレータ４０１を移動させるための位置指令
および速度指令の生成方法について説明する。

【００１８】図３はスレーブマニピュレータ１が自動的
にＰ１からＰ２へ移動するときの各座標系の位置、姿勢
を表している。Ｐ２の位置は監視カメラ３の視線上で、
監視カメラ３からＬの距離にある。距離Ｌはある決めら
れた植であり、対象物までの距離が判っている場合はそ
の少し手前までの距離とするが、これに限定されるもの
ではない。視線はカメラ座標系ＣのＸ軸方向であるの
で、基準座標系Ｏに関するエンドエフェクタ座標系の原
点位置Ｐ２（スレーブマニピュレータ制御点２）は、^O
Ｔ_Cを基準座標系Ｏからカメラ座標系Ｃへの同次変換行
列とすると、 Ｘ＝^OＴ_CＬ ただし、 Ｘ＝｛ｘ，ｙ，ｚ，１｝^T，Ｌ＝｛Ｌ，０，０，１｝^T である。また、Ｐ２でのエンドエフェクタ座標系の姿勢
は作業対象物４０５にアプローチしやすいある決められ
た姿勢を指定する。この姿勢は基準座標系Ｏに関するも
のでも、カメラ座標系に関するものでも良い。ここで指
定したＰ２の位置と姿勢をスレーブマニピュレータ制御
点４０２の目標値としてスレーブ制御装置４０４へ入力
される。このようにすると、オペレータ４１１は作業を
行う際、スレーブマニピュレータ４０１が現在どこにあ
るかを気にせずに作業対象物４０５付近までスレーブマ
ニピュレータ４０１の制御点４０２を自動的に移動させ
ることができるので、作業対象物に集中でき、しかもス
レーブマニピュレータ４０１用のジョイスティック４０
８を操作しなくてすむ。

【００１９】なお、上述した実施例においては、監視カ
メラ４０３およびスレーブマニピュレータ４０１を移動
させるための位置指令および速度指令はマスタ制御装置
４１０が生成するものとして説明したが、マスタ制御装
置４１０は各ジョイスティックの入力内容を伝達するも
のとし、位置指令および速度指令はスレーブ制御装置４
０４が生成するものとしてもよく、これらの各指令はマ
スタ制御装置４１０およびスレーブ制御装置で構成され
る制御系のいずれかで生成されればよい。実施例２ 次に、本発明の第２の実施例について説明する。図４は
本発明の第２の実施例としての、マニピュレータの操作
支援装置の構成を示す図である。本実施例において、ス
レーブ側は、スレーブマニピュレータ５０１と、作業状
況を監視する監視カメラとして設けられた中央カメラ５
０３、右全景カメラ５０４、左全景カメラ５０５、上部
カメラ５０６、下部カメラ５０７と、作業対象物までの
距離を計測するレーザ距離計測装置５０８、そしてこれ
らの制御を行うスレーブ制御装置５０９から構成されて
いる。

【００２０】また、マスタ側は各監視カメラ５０３〜５
０７の捉えた映像を映し出す３台のＴＶモニタ５１０〜
５１２と、スレーブマニピュレータ５０１を操縦するた
めの、ジョイスティック５１３、スイッチなどを含む操
作卓５１４と、これらを制御するマスタ制御装置５１５
から構成されている。本実施例におけるスレーブ制御装
置５０９およびマスタ制御装置５１５のそれぞれは、第
１の実施例におけるスレーブ制御装置４０４およびマス
タ制御装置４１０と同様に、ＣＰＵ（中央演算処理装
置）、ＣＰＵの動作プログラムおよび取り扱うデータを
記憶する記憶装置から構成されるもので、マスタ制御装
置５１５のＣＰＵは上記の各ジョイスティック５１３，
スイッチからの入力内容に応じてスレーブ側の動作を制
御する信号を出力し、不図示の信号線で接続されるスレ
ーブ制御装置５０９のＣＰＵはこれに基づいた制御を行
なう。

【００２１】次に、本実施例の動作について説明する。
オペレータ５１６は、ＴＶモニタ５１０〜５１２に映さ
れる監視カメラ５０３〜５０７が捉えた映像を見ながら
ジョイスティック５１３を操作する。該操作に応じてジ
ョイスティック５１３からマスタ制御装置５１５へ操作
量と操作方向を示す信号が出力され、スレーブ制御装置
５０９に送出される。スレーブ制御装置５０９は基準と
なる座標系に基づいてスレーブマニピュレータ制御点５
０２の移動量を演算し、スレーブマニピュレータ５０１
に対して位置指令および速度指令を出力する。また、レ
ーザ距離計測装置５０８によってオペレータ５１６は作
業対象物までの距離を知ることができ、かつ、スレーブ
マニピュレータ５０１を自動的に作業対象物までアプロ
ーチさせることができる。

【００２２】本実施例においては、５台設けられた監視
カメラのうちの３台による映像がＴＶモニタ５１０〜５
１２に映し出されるが、監視カメラの選択はオペレータ
５１６の指示を必要とすることなく、スレーブ制御装置
５０９およびマスタ制御装置５１４のいずれかにより選
択されるものとなっている。以下にモニタに映像を映す
監視カメラの選択方法について説明する。図５は、監視
カメラの第１の選択方法を説明するための図であり、監
視カメラ５０３〜５０７が作業対象物作業点を注視して
いる状態でのカメラ視線とスレーブマニピュレータの肘
位置５１７との距離を示している。仮にスレーブマニピ
ュレータの肘位置５１７がある監視カメラの視線と重な
った場合、即ち、カメラ視線と肘との距離が０の場合に
は、スレーブマニピュレータ５０１の肘が障害となって
作業点が見えなくなる。また、カメラ視線と肘との距離
が０に近いほど、カメラ視野にスレーブマニピュレータ
５０１の肘が大きく入ってくるので、できるだけカメラ
視線と肘との距離が大きな方が、作業点の視認性が良好
になる。ここで、ある監視カメラの位置をＰｃ（Ｘｃ，
Ｙｃ，Ｚｃ）とし、作業点の位置をＰｗ（Ｘｗ，Ｙｗ，
Ｚｗ）とする。ここでいう作業点とはスレーブマニピュ
レータ制御点５０２、あるいは作業対象物５１８の作業
点の位置である。また、スレーブマニピュレータの肘位
置１７をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とすると、カメラ視
線ＰｃＰｗと肘位置Ｐｅ距離ｈは、 ｈ＝｛（Ｘｅ−Ｘｃ）²＋（Ｙｅ−Ｙｃ）²＋（Ｚｅ−Ｚ
ｃ）²−〔λ（Ｘｅ−Ｘｃ）＋μ（Ｙｅ−Ｙｃ）＋ν
（Ｚｅ−Ｚｃ）〕²｝^1/2 で与えられる。ここで、λ，μ，νは視線ＰｃＰｗの方
向余弦であり、 λ＝（Ｘｃ−Ｘｗ）／ｒ、μ＝（Ｙｃ−Ｙｗ）／ｒ、ν
＝（Ｚｃ−Ｚｗ）／ｒ である。ここで、 ｒ＝｛（Ｘｃ−Ｘｗ）²＋（Ｙｃ−Ｙｗ）²＋（Ｚｃ−Ｚ
ｗ）²｝^1/2 上記のカメラ視線とスレーブマニピュレータの肘位置５
１７の距離ｈをすべての監視カメラについて求め、マス
タ側のＴＶモニタ５１０〜５１２に映像を映し出すカメ
ラとして距離ｈが大きな監視カメラから順に選択するこ
とにより、作業状況を確認しやすい監視カメラが自動的
に選択されることとなる。

【００２３】図６は、監視カメラの第２の選択方法を説
明するための図であり、スレーブマニピュレータ５０１
が作業対象物５１８の作業点にアプローチする状態を示
す図である。複数の監視カメラ５０３〜５０７で撮影す
る場合、マニピュレータ制御点５０２と作業対象物５１
８の作業点を最も確認しやすい監視カメラは、スレーブ
マニピュレータ制御点５０２の進行方向に近いものであ
る。従ってスレーブマニピュレータ制御点５０２の進行
方向がわかれば、作業状況を監視するのに最適な位置に
ある監視カメラを自動的に選択することができる。ここ
で、スレーブマニピュレータ制御点５０２をＰｓ（Ｘ
ｓ，Ｙｓ，Ｚｓ）、作業対象物５１８の位置をＰｗ（Ｘ
ｗ，Ｙｗ，Ｚｗ）とすると、

【００２４】

【数１】

【００２５】であり、この（ΔＸ，△Ｙ，△Ｚ）からス
レーブマニピュレータ制御点５０２の進行方向を推測
し、作業状況を視認するのに最適な位置にある監視カメ
ラを選択する。例えば、（ΔＸ，△Ｙ，△Ｚ）のうち△
Ｙが負で絶対植が最も大きい（進行方向が右）ものであ
るならば、右全景カメラ５０４を優先的に選択したり、
また、ΔＺが正で最も大きい（進行方向が上）ものであ
るならば、上部カメラ５０６を優先的に選択する、さら
に、ΔＸが正で最も大きい（進行方向が前）ものである
ならば、上下左右の監視カメラのうち、スレーブマニピ
ュレータ制御点５０２から最も遠い監視カメラを選択す
るなど、一定のルールを決めておけばよい。以上、スレ
ーブマニピュレータの肘位置５１７とカメラ視線の距離
から最適な位置にある監視カメラを選択する方法と、ス
レープマニピュレータ制御点５０２の進行方向を推測し
て最適な位置にある監視カメラを選択する方法とを示し
たが、これらの２つの手段を組み合わせて、監視カメラ
の自動選択を行い、カメラにスレーブマニピュレータの
手先を自動追従するようにすると、オペレータにとって
より最適な視覚提示が得られる。また、これはスレーブ
マニピュレータに教示させた動作を再現する自動運転時
にも有効であり、このように構成してもよい。

【００２６】また、作業点はマニピュレータのエンドエ
フェクタ制御点であってもよい。さらに、作業対象物の
位置を検出する作業対象物検出手段およびマニピュレー
タの動作を制御する制御系（選択手段）とを有し、作業
点を作業対象物検出手段により検出された作業対象物の
位置としてもよい。実施例３ 次に、本発明の第３の実施例について説明する。図７は
本発明の第３の実施例の構成を示すブロック図である。
本実施例は、図１０および図１１に従来例として示した
地上操縦型作業ロボットシステムにおける制御系を異な
るものとしたものであり、図７には制御系および制御に
関わる監視系のみが示されている。これら以外の構成は
図１０に示した従来例と同様である。

【００２７】本実施例は、作業手順に応じて予め設定し
た監視カメラおよびその動作を選択するものであり、作
業手順を記憶する作業手順記憶装置６０１と、作業手順
を表示するための作業手順ディスプレイ６０２と、右ア
ーム６０５と左アーム６０６を制御するためのアーム制
御装置６０３と、監視カメラとしての右全景カメラ６１
０、左全景カメラ６１１、中央カメラ６１２、上部カメ
ラ６１３および下部カメラ６１４各々のカメラを制御す
るためのカメラ制御装置６０４、ヒューマンインターフ
ェースとしてアームを操作するためのジョイスティック
やスイッチ、カメラの映像を提示するためのＴＶモニタ
等を配した操作パネル６０５で構成されている。次に、
本実施例の動作について説明する。作業手順記憶装置６
０１には、実際のフィールドにおいて作業を行う場合、
前もって図８に示すように１つの作業単位毎に階層化し
た作業プログラム（ここでワークの作業例を示してい
る）を作成し記憶させておく。

【００２８】実際に作業を行う場合、作業手順記憶装置
６０１は作成された作業プログラムに従って、作業手順
を作業手順ディスプレイ６０２に表示を行う。次に行う
作業が強調して表示された作業手順ディスプレイ６０２
を視たオペレータが、強調表示されている作業を行なう
ために操作パネル６０５上のスタートスイッチを押すこ
とによってロボット操縦指示を行う。操作パネル６０５
上のスタートスイッチが押されたことによってアーム制
御装置６０３とカメラ制御装置６０４への作業コマンド
が発生し、伝送される。アーム制御装置６０３は、作業
手順記情装置６０１から送られてきた作業コマンドによ
って、あらかじめ教示させていた動作ジョブを実行した
り、オペレータに対して手動動作要求を行う。手動動作
要求され場合（この場合は作業手順ディスプレイ６０２
にその旨が表示され、アーム用ジョイスティック６０８
への入力が有効になる）、オペレータはＴＶモニタ６１
０の映像を見ながらアーム用ジョイスティック６０８を
用いて右アーム６０６、左アーム６０７を操縦する。

【００２９】カメラ制御装置６０４では伝送されてきた
作業コマンドに対して、図９に示すような作業用のテー
ブルをもとにして監視カメラの選択および動作の制御を
行う。図９は図８に示したワークへの作業に対する選択
カメラ、ズーム比率、視点、追従の有無について示して
いる。本実施例においても、図１０に示した従来例と同
様にＴＶモニタが３台設けられており、５台のカメラの
うち３台のカメラを選択したのが選択カメラの番号であ
り、それぞれのカメラに対するズーム比率や視点、追従
の有無などのカメラの動作パラメータを保持するもので
ある。ここで「視点」とはカメラ駆動系のパン、チルト
の回転角を決定するものであり、また、「追従」とは右
アームや左アームの先端を視点とする場合にアームの動
きに追従するようにカメラ駆動系のパン、チルトを動作
させるかどうかを示している。

【００３０】カメラ制御装置は内部のフラッシュメモリ
のような不揮発性メモリに図９に示すようなテーブルを
カメラ動作パラメータテーブルとして保持しておき、作
業手順記憶装置６０１から送られてきた作業コマンドに
対応するカメラ動作パラメータを検索してカメラ駆動系
に渡し、カメラの動作を行う。なお、上述した例では、
オペレータがスタートスイッチを押すと、アーム制御装
置、カメラ制御装置に同時に作業コマンドが伝送され、
アームとカメラの動作が同時に起動されることとして説
明したが、アームが自動運転の場合には、その作業コマ
ンドに対する動作の終了を作業手順記憶装置６０１に伝
達した後、作業手順記憶装置６０１が直ちにカメラ制御
装置に次の作業コマンドを伝送することで、アームが次
の作業コマンドで動き出す前にすでにカメラが最適な祝
野、視点で待っていることが可能となり、このような構
成としてもよい。このように図９に示したテーブルを、
オペレータにとって作業状況を監視するのに最適な視
点、視野になるように作成し、上記のようなシステムに
することによって、カメラ制御系に関してはアームの動
作に応じた特定のカメラ動作ジョブを作成する必要がな
く、簡単にカメラ操作を自動化できる。

【００３１】

【発明の効果】本発明は以上述べたように構成されてい
るので、以下に記載するような効果を奏する。作業対象
物を注視したままスレーブマニピュレータのエンドエフ
ェクタを接近させることができるため、監視カメラとス
レーブマニピュレータの煩雑な操作を行うことなく、作
業効率を向上させることができる。また、遠隔操縦ロボ
ットの複数の監視カメラのうち、作業状況を監視するの
に最適な位置にある監視カメラをオペレータの操作によ
らず自動的に選択して、ＴＶモニタにその映像を提示す
るので、オペレータは監視カメラの選択に気を取られる
ことなく、監視カメラの選択操作をせずに作業そのもの
に集中でき、作業効率を向上させることができる。ま
た、異なるオペレータが作業を行っても提示する視覚情
報は変化しないので、作業性が変わらず作業品質が一定
するという効果がある。

【００３２】また、マニピュレータにおいて決められた
作業手順で作業を行う時に、カメラの切替、視点の変
更、ズームの調整などを自動的に行えるので、オペレー
タはカメラの操作に気を取られることなく、作業そのも
のに集中でき、しかもカメラの視野、視点がオペレータ
にとって最適化されているので、作業時間を短縮させ、
作業効率を向上させることができる。また、カメラの動
作ジョブを作成する必要がないので、カメラ動作のティ
ーチングなど作業前の面倒な準備をする必要がない。さ
らに、操作パネル上のカメラ用ジョイスティックやスイ
ッチ類を省くことができるので、これによっても操作ス
イッチ類の配置などヒューマンインターフェースの最適
化がはかれるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示す図である。

【図２】第１の実施例において、監視カメラ４０３をズ
ームアップ状態とし、作業対象物４０５を注視した状態
としたときのスレーブマニピュレータ４０１の動きの検
出内容を示す図である。

【図３】第１の実施例において、スレーブマニピュレー
タ１が自動的にＰ１からＰ２へ移動するときの各座標系
の位置、姿勢を表す図である。

【図４】本発明の第２の実施例としての、マニピュレー
タの操作支援装置の構成を示す図である。

【図５】第２の実施例における監視カメラの第１の選択
方法を説明するための図である。

【図６】第２の実施例における監視カメラの第２の選択
方法を説明するための図である。

【図７】本発明の第３の実施例の構成を示すブロック図
である。

【図８】第３の実施例で用いられる図８に示すように１
つの作業単位毎に階層化した作業プログラムを示す図で
ある。

【図９】第３の実施例で用いられる作業用のテーブルを
示す図である。

【図１０】従来例の地上操縦型の作業ロボットシステム
の基本構成を示す図である。

【図１１】従来例の制御系の構成を示すブロック図であ
る。

【図１２】従来例の動作を説明するためのフローチャー
トである。

【符号の説明】

４０１，５０１ スレーブマニピュレータ ４０２，５０２ 制御点 ４０３ 監視カメラ ４０４，５０９ スレーブ制御装置 ４０５ 作業対象物 ４０６ ＴＶモニタ ４０７，４０８，５１３ ジョイスティック ４０９，５１４ 操作卓 ４１０，５１５ マスタ制御装置 ４１１，５１６ オペレータ ５０３，６１３ 中央カメラ ５０４，６１１ 右全景カメラ ５０５，６１２ 左全景カメラ ５０６，６１４ 上部カメラ ５０７，６１５ 下部カメラ ５１０〜５１２ ＴＶモニタ ６０１ 作業手順記憶装置 ６０２ 作業手順ディスプレイ ６０３ アーム制御装置 ６０４ カメラ制御装置 ６０５ 操作パネル ６０６ 右アーム ６０７ 左アーム ６０８ アーム用ジョイスティック ６０９ スイッチ ６１０ ＴＶモニタ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 移動可能に構成されたマニピュレータお
   よび該マニピュレータの動作を監視するための監視カメ
   ラと、前記マニピュレータおよび監視カメラの動作を指
   示するための指示入力装置と、該指示入力装置への入力
   内容に基づいて前記マニピュレータおよび監視カメラの
   動作を制御する制御系とを備えるマニピュレータの制御
   装置において、 前記制御系は、前記指示入力装置に前記監視カメラを移
   動させる旨の入力があった場合には、監視カメラを移動
   させるとともに前記マニピュレータのエンドエフェクタ
   を前記監視カメラの視野中央に移動させることを特徴と
   するマニピュレータの制御装置。
2. 【請求項２】 移動可能に構成されたマニピュレータ
   と、該マニピュレータの動作を監視するために複数設け
   られた監視カメラと、該複数設けられた監視カメラのい
   ずれかによる映像を映し出すＴＶモニタと、該ＴＶモニ
   タに映像を映し出す監視カメラを選択する選択手段とを
   備えるマニピュレータの操作支援装置において、 前記選択手段は、監視カメラと前記マニピュレータの作
   業点とを結ぶカメラ視線と前記マニピュレータの肘位置
   との距離が最も小さな監視カメラを選択することを特徴
   とするマニピュレータの操作支援装置。
3. 【請求項３】 請求項２記載のマニピュレータの操作支
   援装置において、 作業点がマニピュレータのエンドエフェクタ制御点であ
   ることを特徴とするマニピュレータの操作支援装置。
4. 【請求項４】 請求項２記載のマニピュレータの操作支
   援装置において、 作業対象物の位置を検出する作業対象物検出手段および
   マニピュレータの動作を制御する制御系とを有し、作業
   点を作業対象物検出手段により検出された作業対象物の
   位置とすることを特徴とするマニピュレータの操作支援
   装置。
5. 【請求項５】 移動可能に構成されたマニピュレータ
   と、該マニピュレータの動作を監視するために複数設け
   られた監視カメラと、該複数設けられた監視カメラのい
   ずれかによる映像を映し出すＴＶモニタと、該ＴＶモニ
   タに映像を映し出す監視カメラを選択する選択手段とを
   備えるマニピュレータの操作支援装置において、 作業対象物の位置を検出する作業対象物検出手段と、 前記作業対象物検出により検出された作業対象物の位置
   と前記遠隔操縦ロボットのエンドエフェクタ制御点の位
   置から前記遠隔操縦ロボットのエンドエフェクタの進行
   方向を推測する推測手段と、 前記選択手段は、前記推測手段により推測された進行方
   向に設けられた監視カメラを選択することを特徴とする
   マニピュレータの操作支援装置。
6. 【請求項６】 請求項２乃至請求項５のいずれかに記載
   のマニピュレータの操作支援装置において、 各監視カメラは、マニピュレータのエンドエフェクタ制
   御点を自動追従する機能を有することを特徴とするマニ
   ピュレータの操作支援装置。
7. 【請求項７】 移動可能に構成されたマニピュレータ
   と、該マニピュレータの動作を監視するために複数設け
   られた監視カメラと、該複数設けられた監視カメラのい
   ずれかによる映像を映し出すＴＶモニタと、該ＴＶモニ
   タに映像を映し出す監視カメラを選択する選択手段とを
   備えるマニピュレータの操作支援装置において、 １つの作業単位毎に作成された作業用のプログラムを記
   憶する作業手順記憶装置と、 前記選択手段は、前記作業手順記憶装置に作業用のプロ
   グラムが記憶された作業単位に対応して、前記ＴＶモニ
   タに映像を映し出す監視カメラおよびその動作条件等が
   記述されたテーブルを備え、作業用のプログラムが実行
   されると、そのプログラムの作業単位に対して前記テー
   ブルに記述されている監視カメラおよびその動作条件を
   選択することを特徴とするマニピュレータの操作支援装
   置。