JP2533590B2 - マニピュレ―タ操作ガイダンス立体表示装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、マスタ・スレーブ方式のマニピユレーシヨ
ン・システムの表示装置に係り、特にマスタ・スレーブ
式マニピユレータのマニピユレーシヨン・システムに好
適な立体表示装置に関する。

〔従来の技術〕

従来、マニピユレーシヨン・システムにおけるガイダ
ンスの表示方法については種々の方法が採用されてい
る。たとえば、環境教示システムの一例として、実際の
シーンと環境モデルの線画を重ね合せ表示するデイスプ
レイが日本ロボット学会誌（1984年）の第64頁から第71
頁（JRSJVol,2,No.6（1984）pp62−71）示されている。

〔発明が解決しようとする問題点〕

上記従来技術は、マニピユレーシヨン・システムが対
象とする操作対象の２次元映像あるいはガイダンス情報
をそれぞれ別個のデイスプレイに表示したり、１台の撮
像機器でとらえた実際のシーンと環境モデルの３次元的
な線画とを重ね合せて表示する方式のものであつた。し
かし、操作者によるマスタ・アーム操作に追従して動く
スレーブマニピユレータを操作する場合、スレーブマニ
ピユレータと操作対象との相対位置関係を認識し易くす
るため、操作対象の映像を立体的に表示すること及び操
作ガイダンスの表示が不可欠となるが、操作者にとつて
のガイダンスの視認性の点について考慮されていなかつ
た。

本発明の目的は、マスタ・マニピユレータの操作者に
とつて視認性の良い操作ガイダンス表示装置を提供する
ことにある。

〔問題点を解決するための手段〕

上記目的は、マスタ・マニピユレータを操作するため
に必要な操作ガイダンスを、操作者にとつて立体撮像装
置によつてとらえた操作対象の立体映像と同じような距
離感覚を示す立体画像を表示することにより、達成され
る。

即ち、本発明は、操作者の操作によつて動作するマス
タとマスタの動作に追従して動作するスレーブ及びスレ
ーブの操作対象の映像，ガイダンスを表示する表示装置
より成るマスタ・スレーブ方式のマニピユレーシヨン・
システムにおいて、立体映像撮像用立体カメラで撮像し
た左右２個の画像から操作対象に対する視差を検出する
手段とガイダンス用の画像を該視差に対応させて生成す
る手段とを設けたことを特徴とするものである。

〔作用〕

操作ガイダンスを生の操作対象の立体映像と同じ距離
感覚となるよう表示するため、操作対象の立体映像を構
成する２個の別々の２次元撮像素子でとらえた映像信号
から、両画像の視差に対応する両画像間の操作対象像の
ずれ量を相関演算等の手段により求める。このようにし
て求めた両画像間のずれ量に基づいて、立体表示用画像
として構成する左右の２種類の画像に対して両像のずれ
を発生させると、操作者にとつて操作ガイダンスが操作
対象と同じ距離感覚に知覚されるように立体表示される
ので、操作対象の立体映像から操作ガイダンスの立体映
像に視点を頻繁に変えることがあつても、操作者の視覚
にとつての焦点距離の変更が生じないので、操作ガイダ
ンスの視認性が向上し、マスタ操作者への負担が軽減さ
れる。

〔実施例〕

以下、本発明の一実施例を第１図により説明する。

第１図に示す操作ガイダンス立体表示装置の実施例
は、２台の２次元撮像素子10,映像信号デイジタイザ20,
デイジタル画像メモリ30,相関演算回路40,マニピユレー
タ制御装置50,ガイダンス用データメモリ60,ガイダンス
画像構成回路70,立体映像信号発生回路80及び立体映像
表示器90の各構成要素から成る。

人間の左右の目に相当する２台の工業用テレビカメラ
等の２次元撮像素子10a,10bで撮像したスレーブ・マニ
ピユレータの操作対象の映像は、映像信号デイジタイザ
20によつて適当なサンプリング周波数で映像信号（アナ
ログ信号）がデイジタルデータに変換され、デイジタル
画像メモリ30内に格納される。相関演算回路40では、デ
イジタル画像メモリ30から読出した左右カメラからの映
像に対応する２画面の操作対象画像間の画像ずれ量（２
台のカメラによる操作対象と視差に対応する量）を相関
演算により求める。ガイダンス画像構成回路70では、マ
ニピユレータ制御装置50から得られるスレーブマニピユ
レータ先端のエンドエフエクタの３次元座標，姿勢等の
データ，ガイダンス用データメモリ60に格納されたガイ
ダンス映像を構成する画像データ及び相関演算回路40で
求めた左右操作対象画像間のずれ量から、操作者の左右
の眼に対応する２画面分のガイダンス画像を生成する。
立体映像信号発生回路80は、２台のカメラ10a,10bでと
らえた２本の操作対象の映像信号を1/60秒周期で切替え
て立体映像表示器90に出力する動作及びガイダンス画像
構成回路70から読出した左右画像データを映像信号に変
換すると同時に、操作対象の映像信号と同様に1/60秒周
期で２本の映像信号を交互に切替えて１本の映像信号と
して立体映像表示器に出力する動作を実行する。また、
立体映像信号発生回路80から、操作者が立体映像表示器
90によつて表示された操作対象及び操作ガイダンスの映
像を立体視するためのシヤツターメガネへのシヤツター
切替え信号80aが出力される。

第１図で示した２台の２次元撮像素子10a,10bで撮像
した映像から得られる２面の画像と画像データの関係の
一例を示したものが第２図である。第２図の（ａ）及び
（ｂ）は、それぞれ左右の２次元撮像素子でとらえた１
フレーム分の画像を示しており、（ｃ）及び（ｄ）は、
両画像のｙ方向のある位置（破線で表示）でのｘ方向の
画像データの一例を示したものである。このように、左
右の対応する画像上の一次元データから、次に述べる方
法により両画像のずれ量Δτを相関演算回路40によつて
求める。

第２図に示す（ｃ）及び（ｄ）の画像データをx
_l（ｉ），x_r（ｉ）（i:1〜i_max）とすると、両画像デー
タ間の相関関数Ｒ（τ）は式（１）によつて演算でき
る。

τは両画像データのずらし量である。相関関数Ｒ
（τ）は、第２図（ｅ）に示すような関係となり、その
最大値を示すずらし量Δτが両画像データ間のずれ量と
して求まる。第１図のガイダンス画像構成回路70では、
左右画像として出力する２画面のガイダンス画像のｘ方
向のデータに上述のずらし量Δτを生じさせることにな
る。

第３図は、第１図に示す立体映像信号発生回路の入力
信号と出力信号の関係を示したものである。２次元撮像
素子10a,10bで撮像した２本の映像信号はそれぞれ左眼
用映像信号，右眼用映像信号に対応するものである。こ
の２つの信号を１台の立体映像表示器で表示するため、
左右の映像信号を表示器が１画面分の映像を表示するの
に要する時間（インタレース方式の場合、1/60秒で粗の
１画面で表示される）周期（第３図におけるt_j+₁−t_j＝
Δｔ）で切替え、立体映像表示器用の映像信号を出力し
ている。操作者は、１台の立体映像表示器に表示される
左眼用及び右眼用の映像を、第３図のシヤツターメガネ
切替信号によつて切替わるメガネを通して見れば、操作
対象及び操作ガイダンスを立体的に見ることができる。

第１図に示す立体映像表示器90は、第４図の（ａ）及
び（ｂ）に示すように、２台の立体映像表示用モニタを
並置し、１台に操作対象（この実施例では弁）の立体映
像、他の１台に操作ガイダンス立体映像を表示するよう
に構成することも、操作対象の生の立体映像と操作ガイ
ダンスを１台の表示用モニタに表示することも可能であ
る。ただし、いずれの場合も操作対象と同じような距離
感覚となるように操作ガイダンスを立体表示している。

第５図は、他の実施例を示したものである。この実施
例では、第１図の実施例に視点座標入力装置100を付加
した点に特徴がある。

マスタ・スーブ方式のマニピユレーシヨン・システム
では、スレーブマニピユレータの対象とする操作対象物
を操作者が視覚で確認しながら操作をするのが一般的で
あり、そのための立体カメラを操作対象の近辺に設け
る。しかし、立体カメラの位置は多関節アーム等の先端
に取付けられている場合でも任意の方向から見えるよう
にすることは困難である。そこで、立体カメラでは見る
ことができないような視点から見たのと同等の操作対象
及びエンドエフエクタ先端部に立体シミユレーシヨン映
像を見ることができれず、エンドエフエクタと操作対象
との相対位置関係を容易に把握できるようになり、操作
者にとつて大きな助けとなる。

第５図のガイダンス用データメモリ60内に、エンドエ
フエクタ及び操作対象の３次元形状データ及び位置座標
データを格納しておけば、視点座標データ入力装置100
から操作者が視点座標を入力すれば、ガイダンス画像構
成回路70において入力された視点座標から見たエンドエ
フエクタ及び操作対象のソリツドモデル画像が生成され
る。このソリツドモデル画像データにおいて、立体表示
用画像としての画像データの表示座標上のずらしを発生
させ、左右画像として立体映像信号発生回路に出力す
る。

第６図は、第５図の実施例で表示した立体画像の一例
を示したものである。同図に示すように、立体カメラか
らは見えない裏側の視点から見たインパクトレンチ及び
ボルトナツトとの相対位置関係を示すソリツドモデルに
よるガイダンス画像を操作対象の生の立体映像と共に示
すことにより、操作者にとつて視認し易いガイダンスを
表示することができる。なお、第５図に示す視点座標入
力装置100は、キーボード方式で絶対座標のデイジタル
値をキーインする方法あるいは立体映像表示器上に表示
された数値をライトペンで指示する方式等の応用も可能
である。

上述では、視点座標入力装置から絶対座標を入力する
方式について実施例を示したが、絶対座標の場合、操作
対象との距離を指定することになるが、ガイダンス画像
の視認性の観点から視点方向のみを採用し、距離につい
ては第１図に示す実施例の場合と同様に、立体テレビで
とらえた操作対象の距離と同じ距離感覚となるよう立体
表示器に表示する。視点方向入力の他の実施例を第７図
を用いて説明する。第７図の円の中心を操作対象物（た
とえば、取外し、取付けするボルト）の中心とし、ボル
トの真上からみた視点の方向を中心に向う矢印の向きで
表示し、鉛直軸との視線角度をデイジタルデータで表示
する。また、立体カメラとガイダンス用ソリツドモデル
の視点方向との関係を解り易くする観点から、立体カメ
ラの方向を表示する。操作者は、ジヨイステイツク等の
手段を用いてこの視点の方向をモニタ上で指定するよう
にすれば視点の方向の入力が容易となる。

〔発明の効果〕

本発明によれば、操作ガイダンス映像を操作対象の立
体映像と同じ距離感覚の位置に立体表示することができ
るので、操作ガイダンスを視認し易くなり、操作者の労
力及び作業時間の短縮に効果がある。

【図面の簡単な説明】

第１図は、本発明の一実施例を示す図、第２図は立体カ
メラで撮像した左右画像から視差に応じた画像のずれ量
を求める過程を説明する図、第３図は立体カメラで撮像
した２本の映像信号から立体映像表示器に出力する画像
信号を生成する過程を説明する図、第４図は立体映像表
示器の実施例、第５図は本発明の他の一実施例を示す
図、第６図は第５図に示す一実施例による立体映像表示
の一例、第７図は第５図における視点座標入力方法の一
実施例である。 10……立体カメラ、20……映像信号デイジタイザ、30…
…デイジタル画像メモリ、40……相関演算回路、50……
マニピユレータ制御装置、60……ガイダンス用データメ
モリ、70……ガイダンス画像構成回路、80……立体映像
信号発生回路、90……立体映像表示器、100……視点座
標入力装置。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】操作者の操作によつて動作するマスタとマ
   スタの動作に追従して動作するスレーブ及びスレーブの
   操作対象の映像，ガイダンスを表示する表示装置より成
   るマスタ・スレーブ方式のマニピユレーシヨン・システ
   ムにおいて、 立体映像撮像用立体カメラで撮像した左右２個の画像か
   ら操作対象に対する視差を検出する手段とガイダンス用
   の画像を該視差に対応させて生成する手段とを設けたこ
   とを特徴とするマニピユレータ操作ガイダンス立体表示
   装置。
2. 【請求項２】特許請求の範囲第１項において、操作対象
   画像とガイダンス画像を同一立体表示モニタ上に表示す
   る手段を設けたことを特徴とするマニピユレータ操作ガ
   イダンス立体表示装置。