JPH0360989A - 画像表示方法及び画像表示装置並びに遠隔操作装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は撮影した画像を表示する画像表示方法及び装置
に係り、特に、撮影画像中に不要な障害物がある場合に
これを除去して表示する画像表示方法及び画像表示装置
並びにこの画像表示装置を備える遠隔操作装置に関する
。

［従来の技術］ 例えば、オペレータがマニピュレータを操作しマニピュ
レータの手先で被操作対象物を操作する場合、操作対象
物を直接見ることができないときは、カメラで手先の動
きをｗｔ察しながらマニピュレータを操作することにな
る。この場合、操作対象物だけがカメラに写るのであれ
ば、操作はやりやすいが、どうしてもマニピュレータの
手先がカメラに写り、操作や操作対象物の認識に邪魔に
なってしまう。

そこで従来は、　　８５、アイ・シー・ニー・アール、
プロシーディング（１９８５）１０３ｐｐ〜１１０ｐｐ
の「ア・ペイシック・ツール・フォー・オフライン・プ
ログラミング・オブ・ビイシアル・センサＪ　　（Ｐｒ
ｏｃｅｅｄｉｎｇｓ’８５．　Ｉｎｔｅｒｎａｔｉｏｎ
ａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｄｖａｎｃｅｄ
　Ｒｏｂｏｔｉｃｓ、１９８５．ｐｐ１０３〜１１０．
”Ａ　ＢＡＳＩＣＴＯＯＬ　ＦＯＲ０ＦＦ−ＬＩＮＥ　
ＰＲＯＧＲＡＭＭＩＮＧＯＦ　ＶＩＳＵＡＬ　５ＥＮＳ
ＯＲ８”）に記載されテイルヨウニ、カメラで撮影した
画像を処理し操作対象物を撮影画像から認識するにあた
り、マニピュレータ自身の画像を消去し、認識を容易且
つ高速にできるようにしている。

［発明が解決しようとする課題］ カメラで撮影した画像を見ながらマニピュレータ等を操
作する場合、マニピュレータ自身で操作対象物が隠れて
しまうと、操作対象物を扱うエンドエフェクタ（操作用
手先）の相対位置関係が把握できなくなり、作業を著し
く阻害することになる。上記従来技術は、ロボットによ
る自動認識をするにあたりロボット自身の画像を消去す
るものであるが、この技術は、操作対象物とロボット自
身の画像が離間していることが前提であり、操作対象物
の画像がロボット自身の画像と重なる場合については考
慮していない。つまり、この従来技術は、ロボット自身
により操作対象が隠れる場合についての問題は解決して
いない。

本発明の目的は、操作対象物の画像が操作用手先の画像
で隠れる場合でも操作対象物の認識を可能ならしめ、あ
るいは操作対象物と操作用手先との相対位置関係の認識
を可能ならしめる画像表示方法及び画像表示装置並びに
この画像表示装置を備える遠隔操作装置を提供すること
にある。

［課題を解決するための手段］ 上記目的は、予め記憶してある表示（操作）対象物の画
像データあるいは形状データ等から求めた画像データと
、実際の撮影画像とのマツチング処理を行って表示（操
作）対象物以外の画像を抽出し、抽出した領域に該当す
る表示（操作）対象物の擬似画像を前記画像データ等か
ら生成し該擬似画像を前記抽出領域に重ねて表示するこ
とで、達成される。

更に上記目的は、抽出領域の全部を擬似画像で表示する
のではなく、抽出領域内の画像の一部や抽出領域の輪郭
を残して表示することで、達成される。

［作用コ 表示（操作）対象物の画像が障害物の画像で隠れる場合
、その障害物で隠された領域を抽出する必要がある。本
発明では、この隠された領域を求めるにあたり、予め記
憶しておいた表示（操作）対象物の画像データと実際に
撮影した画像とのマツチング処理にて求めている。そし
て、抽出した領域つまり障害物によって隠された領域の
擬似画像を生成してその隠された領域に重ねて表示する
ので、撮影した画像を観測するオペレータに違和感を与
えることはない。また、擬似画像を嵌め込んで表示する
場合に、その一部分として障害物の画像を残したり、そ
の輪郭を合わせて表示することで、オペレータは操作対
象物と操作用手先との相対位置関係を把握でき１作業が
より一層容易となる。

尚、画像表示方法及び画像表示装置に関する発明は、遠
隔操作装置に限定されるものでなく、−般の画像表示方
法、装置に適用できるものである。

［実施例］ 以下、本発明の一実施例を図面を参照して説明する。

第２図は、本発明の一実施例に係る画像表示装置を備え
る遠隔操作装置の構成図である。本実施例における遠隔
操作装置は、操作対象物（本実施例における表示対象物
）ｌを操作するマニピュレータ２と、操作対象物１を撮
像するカメラ３と、マニピュレータ２に動作指令を送出
すると共にカメラ３の撮像画像を詳細は後述するように
処理する制御装置４と、該制御装置４で処理された画像
データを表示する表示装置５と、制御装置４に接続され
た記憶装置６と、制御装置３に対しオペレータが指令を
入力する操作盤７とを備えている。

マニピュレータ２は、その手先のエンドエフェクタとし
て本実施例ではインパクトレンチ２ａを備え、オペレー
タは、表示装置５の画面を見ながら操作盤７に指令を送
ってインパクトレンチ２ａの位置や角度を調節し、操作
対象物１のボルト８を脱着するものとする。今仮に、イ
ンパクトレンチ２ａを目的のボルト８に嵌合しようとし
て操作対象物１近くに移動させると、カメラ３の位置に
よっては、インパクトレンチ２ａあるいはインパクトレ
ンチ２ａを支持するスレーブアーム２ｂによって目的の
ボルト８が隠されてしまう。このため、オペレータは、
複数のカメラが様々な角度でこの操作対象物ｌを撮影し
ている場合は、カメラの映像を切り替えてインパクトレ
ンチ２ａを目的のボルト８に近付けるに役立つ映像を選
択することができる。しかし、カメラ３が上台しかない
場合や、該当する映像を撮影することができるカメラが
無い場合には、この操作の最終段階はオペレータの感に
よって行うことになる。しかるに、本実施例においては
、カメラ３で撮影した画像データを後述の様に処理する
ことで、インパクトレンチ２ａによって目的のボルト８
が隠された場合でも、その目的のボルト８を画面に表示
させ、オペレータの負担を軽減させるものである。以下
、その画像処理の詳細について第１図により説明する。

第１図の画像Ａは、カメラ３で撮影した画像自体を示し
ている。この画像Ａには、表示対象物１に重ねてインパ
クトレンチ２ａ及びスレーブアーム２ｂが表示され、表
示対象物１の画像の一部が隠されている。表示対象物１
のフランジ部分に螺着されているボルト８ａ〜８主のう
ち、隠れているボルト８ｄ、８ｅが操作対象目的のボル
トである場合、この画像Ａを見ながらインパクトレンチ
２ａを操作するのは、熟練と感が必要である。

本実施例では、画像Ａのうち、障害物であるインパクト
レンチ２ａとスレーブアーム２ｂの画像で隠されている
領域を抽出する（第工図面面Ｂの白抜き領域）。この抽
出処理は、以下の方法で行う。

（ｉ）記憶装置６に予め表示対象物上の画像をカメラ３
で撮像し格納しておき、マニピュレータ操作時に撮影し
た画像とこの記憶装置６に格納してある画像とのマツチ
ング処理を行い、異なる部分のみを抽出する。マニピュ
レータ操作時に撮像した画像には、インパクトレンチ２
ａとスレーブアーム２ｂとが余分に入っているので、こ
れらが障害物として油出される。表示対象物１の画像デ
ータとじて様々な撮影角度から得た画像データを記憶装
置に格納しておき、該当の画像データを記憶装置から読
み出してマツチング処理してもよい。

また、ある代表的な角度での画像データを記憶装置６に
格納しておき、その画像データに、回転。

拡大、縮小等の演算処理を施してマツチング処理用の画
像データを得るようにしてもよい。尚、マツチング処理
する画像データは、マツチング処理が容易なように、微
分処理し、二値化してワイヤフレーム画像としてもよい
ことはいうまでもない。

更に、実際の撮影画像とマツチング処理する画像データ
（上記ワイヤフレーム画像を含む。）は。

実際に予め撮影した画像でなくてもよく、例えば記憶装
置６に格納してあるＣＡＤデータの様な形状データから
生成して使用することでもよい。

（ｎ）上述した例では、表示対象物の画像データを予め
記憶装置６に格納しこの表示対象物の画像データとマニ
ピュレータ操作時に撮影した画像とのマツチング処理を
行って障害物の画像を抽出したが、マニピュレータの操
作用手先の形状は予め分かつているので、この障害物と
なる手先等の画像データ（実際の撮像データに拡大、縮
小９回転等の処理を施した画像データ、前記ワイヤフレ
ーム画像、形状データから生成した画像等を含む。）と
のマツチング処理を行って、実際の撮影画像中の障害物
で隠された画像領域を抽出することでもよい。

障害物の画像領域（第１図面面Ｂの白抜き部分）が抽出
された後は１次に、該領域内における表示対象物１の擬
似画像を生成する（第１図面面Ｃ）。

この擬似画像の生成は１表示対象物の画像データから生
成する。この画像データとしては、マニピュレータ操作
時の撮影データから生成しても（例えば、ボルト８ｄ、
８ｅの擬似画像として、隠れていないボルト８ｆ、ｓｇ
の画像を切り出して代用する。）、また、予め記憶装置
６に格納してある表示対象物１の画像データを切り出し
、あるいは拡大、縮小２回転等を施した画像データから
切り出し、あるいは形状データ等から生成してもよい。

上述したように、抽出領域内の擬似画像を生成したあと
、この擬似画像を、マニピュレータ操作時の撮影画像に
重ねて、あるいは当該領域に嵌め込んで表示する。この
合成画像をａ測するオペレータは、障害物で見えなくな
る箇所がないので、違和感なくマニピュレータ操作が可
能となる。また、この合成画像を表示するにあたり、抽
出領域全部を擬似画像に代えるのではなく、障害物画像
の一部を表示したり（例えば、第５図に示す様に、障害
物であるインパクトレンチ２ａは表示し、スレーブアー
ム２ｂは消去して表示する。）、第１図の画面りに示す
様に、抽出領域あるいは必要部分（例えばインパクトレ
ンチ２ａあるいはその先端部分のみ）の輪郭線１０を表
示する。これにより、操作用手先と操作対象物との相対
位置関係が容易に分かるので、マニピュレータ２の作業
性が著しく向上する。

次に、第３図と第４図のフローチャートに従って、画像
処理手順の実施例を詳細に説明する。尚、以下に述べる
実施例では、記憶装置６に操作対象物１のＣＡＤデータ
が格納されているものとして説明する。

先ず、カメラ３から第１図の画面Ａに示す実画像を制御
装置４が取り込み、この実画像に対してラプラシアン等
の微分処理を施して原画像からエツジ部分を抽出したあ
と、二値化してａｇｏ”１”の二値パターンの線画像（
ワイヤフレーム画像）を生成する（第３図の処理１００
）。

次の処理１１０では、操作対象物１とカメラ３との距離
、方向等を制御装置４からマニピュレータ２への指令デ
ータより求め、これらのデータと、カメラ３の視野角デ
ータと、記憶装置６に格納されている操作対象物１のＣ
ＡＤデータとから、この操作対象物１を実画像Ａを撮影
したと同一条件の基で実際に撮像したと仮定した場合に
得られるであろう画像データのワイヤフレーム画像を計
算により求める（カメラ３が固定場所に設置されている
のではなく、スレーブアームに取り付けられ該スレーブ
アームの移動に従ってカメラ３が移動する場合でも、ス
レーブアームの各関節の角度データからマニピュレータ
２の基準位置に対するカメラ３の位置、方向等は計算に
よって求めることができる。）。

次の処理１２０では、処理１００で生成したワイヤフレ
ーム画像と、処理１１０で生成したワイヤフレーム画像
とのマツチング処理を行い、異なる部分を抽出する。形
状データから生成したワイヤフレーム画像は、実際の操
作対象物１とカメラ３との距離や方向等の誤差のため、
原画像Ａから生成したワイヤフレーム画像と位置関係に
ずれが生じている場合が多い。そこで、このマツチング
処理では、両ワイヤフレーム画像を相対的に微小量移動
させ、最も一致度の高い状態を探す処理も必要となる。

上記の処理１２０で１両ワイヤフレーム画像の一致度の
最も高い状態を検出した後は１次の処理１３０で、両ワ
イヤフレーム画像で一致していない領域つまりミスマツ
チ領域を抽出する。この抽出処理では１両ワイヤフレー
ム画像間の二値データ同士の一致・不一致の判定処理を
行い、一致しない点のみを残す。これにより、第１図の
画面Ｂに示す様に、障害物によって隠された領域の輪郭
線が抽出される。

以上の様にして障害物によって隠された領域を抽出した
後は、第４図の手順に従って、擬似画像の生成を行う。

これは、以下の様に行う。

先ず、処理１４０にて、前述した処理１１０と同様に、
操作対象物１のＣＡＤデータと、カメラ３自身及びカメ
ラ３と操作対象物１との相対位置関係のデータとに基づ
いて、原画像Ａと同一条件での操作対象物１のソリッド
モデル画像（濃淡画像）を生成する。

次に、処理１４０で生成した濃淡画像の中から、処理１
３０で抽出した領域内のみの画像を切り出す（処理１５
０）。

尚、この実施例では、ＣＡＤデータ等から濃淡画像を生
成したが、予め障害物の無い状態で撮影した操作対象物
１の実画像を記憶しておき、その実画像から該当領域の
部分を切り出すことでもよい。しかし、この場合は、そ
の実画像が原画像Ａと同一条件で撮影したものであるこ
とはまずないといっていい。従って、拡大、縮小２回転
等を行って、原画像Ａを撮影したときと同一条件で得ら
れるであろう実画像に変換する必要があるのは当然であ
る。

以上の様にして得た擬似画像（第１図面像Ｃ）を原画像
Ａに重ねて表示し、あるいは画像Ｂの該当個所に嵌め込
んで表示することで、第１図の画像りが得られる。尚、
前述した様に、画像りには障害物の輪郭線も合わせて表
示し、操作用手先と操作対象物との相対的位置関係が容
易に把握できるようにしてある。

以上述べた画像処理を例えば１０ＩＩＩＳや１００　ｍ
ｓの間隔で繰返し実行することで、オペレータは操作用
手先の画像に邪魔されることなく操作対象物を画面で確
認しながらしかも操作用手先の移動状況や操作対象物と
の相対位置関係をリアルタイムに観測できる。従って、
オペレータはマニピュレータ操作を感に従って操作する
必要がなくなり。

初心者でも容易且つ確実に操作をすることが可能になる
。

［発明の効果］ 本発明によれば、カメラで撮影している画像をリアルタ
イムに！ｌｔ察している場合に、障害物の画像が表示対
象物の画像に重なって表示対象物の一部が欠けて見づら
い場合でも、この欠けた部分を擬似画像で補って表示す
るので−Ｉｌｌ察者に違和感を与えることなく、また、
不自由を感じさせることがない。また、障害物の画像を
全部消去するのではなく、その一部を表示させたりその
輪郭を表示すると、障害物の移動状況がリアルタイムに
認識でき、これを遠隔操作装置に適用した場合、操作作
業性が著しく向上し、初心者でも容易に操作が可能にな
るという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例に係る画像表示方法の説明図
、第２図は本発明の一実施例に係る遠隔操作装置の構成
図、第３図は障害物によって隠された領域を抽出する手
順を示すフローチャート、第４図は擬似画像を生成する
手順を示すフローチャート、第５図は画像表示方法の別
実施例の表示画面図である。 ｌ・・・表示（操作）対象物、２・・・マニピュレータ
。 ２ａ・・・操作用手先、３・・・カメラ、４・・・制御
装置、５・・・表示装置、６・・・記憶装置、７・・・
操作盤。

Claims (1)

1. 【特許請求の範囲】 １、撮影した画像中に、表示対象物の画像のうち障害物
   の画像に隠れている部分のある画像を表示する画像表示
   方法において、予め記憶してある表示対象物の画像デー
   タと撮影した画像データとのマッチング処理を行って前
   記障害物の画像部分を抽出し、該抽出部分の表示対象物
   の画像を前記の予め記憶してある画像データから求め、
   求めた画像を前記の抽出部分に代えて表示することを特
   徴とする画像表示方法。 ２、撮影した画像中に、表示対象物の画像のうち障害物
   の画像に隠れている部分のある画像を表示する画像表示
   方法において、予め記憶してある表示対象物の形状デー
   タから撮影時の表示対象物の撮影画像を推定し、該推定
   画像と実際の撮影画像とのマッチング処理を行って実際
   の撮影画像中の障害物の画像を抽出し、該抽出部分のう
   ち表示する必要の無い箇所に該当する前記表示対象物の
   画像を前記形状データから生成し、この生成画像を実際
   の撮影画像に重ねてあるいは嵌め込んで表示することを
   特徴とする画像表示方法。 ３、障害物によって表示対象物が隠れる箇所のある場面
   を撮影して得られる画像を表示する画像表示方法におい
   て、撮影した画像と予め記憶してある表示対象物の画像
   とをマッチング処理して前記障害物の画像を抽出し、該
   抽出箇所に該当する部分の前記表示対象物の擬似画像を
   生成し、生成した擬似画像を前記抽出箇所に代えて表示
   することを特徴とする画像表示方法。 ４、障害物によって表示対象物が隠れる箇所のある場面
   を撮影して得られる画像を表示する画像表示方法におい
   て、撮影した画像と予め記憶してある表示対象物の画像
   データとのマッチング処理を行って前記障害物の画像を
   抽出し、該障害物画像の必要な部分以外の箇所の障害物
   画像の表示に代え、該箇所に該当する前記表示対象物の
   擬似画像を生成して表示することを特徴とする画像表示
   方法。 ５、撮影した画像中に、予め分かっている障害物の画像
   によって表示対象物の画像が隠される部分のある画像を
   表示する画像表示方法において、予め記憶してある前記
   障害物の形状データから撮影時における該障害物の撮影
   画像を推定し、該推定画像と実際の撮影画像とのマッチ
   ング処理を行って実際の撮影画像中の障害物の画像を抽
   出し、該抽出部分のうち表示する必要の無い箇所に該当
   する前記表示対象物の擬似画像を生成し、該擬似画像を
   実際の撮影画像に重ねてあるいは嵌め込んで表示するこ
   とを特徴とする画像表示方法。 ６、被操作対象物をカメラで撮影しその画像画面を見な
   がら操作用手先で前記被操作対象物を操作する遠隔操作
   装置の画像表示方法において、前記カメラで撮影した画
   像と予め記憶してあるデータから求めた被操作対象物の
   画像とをマッチング処理して前記撮影画像中の前記操作
   用手先の画像を抽出し、該操作腕画像のうち必要な部分
   以外の箇所の操作用手先の画像の表示に代え、該箇所に
   該当する前記被操作対象物の擬似画像を生成して表示す
   ることを特徴とする画像表示方法。 ７、表示対象物を撮影して画面に表示する画像表示装置
   において、予め前記表示対象物の画像データを格納して
   おく記憶装置と、撮影した画像と前記記憶装置の格納デ
   ータとのマッチング処理を行って撮影画像中の障害物の
   画像を抽出する障害物画像抽出手段と、該抽出部分に該
   当する前記表示対象物の擬似画像を生成する擬似画像生
   成手段と、該擬似画像を撮影画像の当該箇所に合成して
   表示させる表示手段とを備えることを特徴とする画像表
   示装置。 ８、撮影した画像中に、表示対象物の画像のうち障害物
   の画像に隠れている部分のある画像を表示する画像表示
   装置において、予め表示対象物の形状データを格納して
   おく記憶装置と、撮影時の表示対象物の画像を推定し該
   推定画像と実際の撮影画像とのマッチング処理を行って
   実際の撮影画像中の障害物の画像を抽出する障害物画像
   抽出手段と、該抽出箇所のうち表示する必要の無い部分
   に該当する前記表示対象画像の擬似画像を生成する擬似
   画像生成手段と、該擬似画像を実際の撮影画像に嵌め込
   んであるいは重畳して表示する表示手段とを備えること
   を特徴とする画像表示装置。 ９、表示対象物を撮影して画面に表示する画像表示装置
   において、予め前記表示対象物の画像データを格納して
   おく記憶装置と、撮影した画像と前記記憶装置の格納デ
   ータとのマッチング処理を行って撮影画像中の障害物の
   画像を抽出する障害物画像抽出手段と、該抽出部分に該
   当する前記表示対象物の画像を前記記憶装置の格納デー
   タから求め該画像を撮影画像に嵌め込んであるいは重畳
   して表示させる合成表示手段とを備えることを特徴とす
   る画像表示装置。 １０、障害物によって表示対象物が隠れる箇所のある場
   面を撮影して得られる画像を表示する画像表示装置にお
   いて、予め表示対象物の画像データを格納した記憶装置
   と、撮影した画像と前記記憶装置の格納データとのマッ
   チング処理を行い前記障害物の画像を抽出する障害物画
   像抽出手段と、該抽出箇所のうち必要な部分以外の箇所
   に該当する前記表示対象物の擬似画像を生成する擬似画
   像生成手段と、該擬似画像を実際の撮影画像に合成して
   表示する表示手段とを備えることを特徴とする画像表示
   装置。 １１、撮影した画像中に、予め分かっている障害物の画
   像によって表示対象物の画像が隠される部分のある画像
   を表示する画像表示装置において、前記障害物の形状デ
   ータを格納した記憶装置と、該記憶装置の格納データか
   ら撮影時における前記障害物の撮影画像を推定して得た
   推定画像と実際の撮影画像とのマッチング処理を行って
   実際の撮影画像中の前記障害物の画像を抽出する障害物
   画像抽出手段と、該抽出部分のうち表示する必要の無い
   箇所に該当する前記表示対象物の擬似画像を生成する擬
   似画像生成手段と、該擬似画像を実際の撮影画像の該当
   箇所の表示に代えて表示する表示手段とを備えることを
   特徴とする画像表示装置。 １２、表示対象物を撮影して画面に表示する画像表示装
   置において、予め前記表示対象物の形状データを格納し
   ておく記憶装置と、該形状データから撮影時の表示対象
   物の画像を推定しこの推定画像と実際の撮影画像とのマ
   ッチング処理を行って表示対象物以外の障害物の画像を
   抽出する障害物画像抽出手段と、該抽出部分のうち表示
   する必要の無い箇所に該当する表示対象画像の擬似画像
   を前記形状データから生成する擬似画像生成手段と、該
   擬似画像を実際の撮影画像に嵌め込みあるいは重ねて表
   示する表示合成手段とを備えることを特徴とする画像表
   示装置。 １３、表示対象物を撮影して画面にリアルタイムに表示
   する画像表示装置において、予め前記表示対象物の形状
   データを格納しておく記憶装置と、該記憶装置の格納デ
   ータから撮影時における表示対象物のワイヤーフレーム
   画像を生成する手段と、実際に撮影して得た実画像から
   そのエッジ画像を求める手段と、該エッジ画像と前記ワ
   イヤーフレーム画像とのマッチング処理を行って実画像
   中の表示対象物以外の障害物の画像を抽出する手段と、
   該抽出領域のうち表示する必要のある部分以外の箇所に
   該当する前記表示対象物の部分擬似画像を生成する手段
   と、生成した部分擬似画像を実画像に嵌め込みあるいは
   重ねて表示する手段とを備えることを特徴とする画像表
   示装置。 １４、操作腕と該操作腕にて操作される被操作対象物と
   をカメラによる撮影画像で観察しながら前記操作腕を遠
   隔操作する遠隔操作装置において、前記被操作対象物を
   表示対象物とし、前記操作腕を障害物とする請求項７乃
   至請求項１３のいずれかに記載の画像表示装置を備える
   ことを特徴とする遠隔操作装置。