JP2960733B2 - 画像表示方法及び画像表示装置並びに遠隔操作装置 - Google Patents
画像表示方法及び画像表示装置並びに遠隔操作装置Info
- Publication number
- JP2960733B2 JP2960733B2 JP1192624A JP19262489A JP2960733B2 JP 2960733 B2 JP2960733 B2 JP 2960733B2 JP 1192624 A JP1192624 A JP 1192624A JP 19262489 A JP19262489 A JP 19262489A JP 2960733 B2 JP2960733 B2 JP 2960733B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- obstacle
- displaying
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
- Manipulator (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ 本発明は撮影した画像を表示する画像表示方法及び装
置に係り、特に、撮影画像中に不要な障害物がある場合
にこれを除去して表示する画像表示装置及び画像表示装
置並びにこの画像表示装置を備える遠隔操作装置に関す
る。
置に係り、特に、撮影画像中に不要な障害物がある場合
にこれを除去して表示する画像表示装置及び画像表示装
置並びにこの画像表示装置を備える遠隔操作装置に関す
る。
［従来の技術］ 例えば、オペレータがマニピュレータを操作しマニピ
ュレータの手先で被操作対象物を操作する場合、操作対
象物を直接見ることができないときは、カメラで手先の
動きを観察しながらマニピュレータを操作することにな
る。この場合、操作対象物だけがカメラに写るのであれ
ば、操作はやりやすいが、どうしてもマニピュレータの
手先がカメラに写り、操作や操作対象物の認識に邪魔に
なってしまう。
ュレータの手先で被操作対象物を操作する場合、操作対
象物を直接見ることができないときは、カメラで手先の
動きを観察しながらマニピュレータを操作することにな
る。この場合、操作対象物だけがカメラに写るのであれ
ば、操作はやりやすいが、どうしてもマニピュレータの
手先がカメラに写り、操作や操作対象物の認識に邪魔に
なってしまう。
そこで従来は、'85、アイ・シー・エー・アール、プ
ロシーディング（1985）103pp〜110ppの「ア・ベイシッ
ク・ツール・フォー・オフライン・プログラミング・オ
ブ・ビィジアル・センサ」（Proceedings'85,Internati
onal Conference on Advanced Robotics,1985,pp103〜1
10,“A BASIC TOOL FOR OFF-LINE PROGRAMMING OF VISU
AL SENSORS"）に記載されているように、カメラで撮影
した画像を処理し操作対象物を撮影画像から認識するに
あたり、マニピュレータ自身の画像を消去し、認識を容
易且つ高速にできるようにしている。
ロシーディング（1985）103pp〜110ppの「ア・ベイシッ
ク・ツール・フォー・オフライン・プログラミング・オ
ブ・ビィジアル・センサ」（Proceedings'85,Internati
onal Conference on Advanced Robotics,1985,pp103〜1
10,“A BASIC TOOL FOR OFF-LINE PROGRAMMING OF VISU
AL SENSORS"）に記載されているように、カメラで撮影
した画像を処理し操作対象物を撮影画像から認識するに
あたり、マニピュレータ自身の画像を消去し、認識を容
易且つ高速にできるようにしている。
［発明が解決しようとする課題］ カメラで撮影した画像を見ながらマニピュレータ等を
操作する場合、マニピュレータ自身で操作対象物が隠れ
てしまうと、操作対象物を扱うエンドエフェクタ（操作
用手先）の相対位置関係が把握できなくなり、作業を著
しく阻害することになる。上記従来技術は、ロボットに
よる自動認識をするにあたりロボット自身の画像を消去
するものであるが、この技術は、操作対象物とロボット
自身の画像が離間していることが前提であり、操作対象
物の画像がロボット自身の画像と重なる場合については
考慮していない。つまり、この従来技術は、ロボット自
身により操作対象が隠れる場合についての問題は解決し
ていない。
操作する場合、マニピュレータ自身で操作対象物が隠れ
てしまうと、操作対象物を扱うエンドエフェクタ（操作
用手先）の相対位置関係が把握できなくなり、作業を著
しく阻害することになる。上記従来技術は、ロボットに
よる自動認識をするにあたりロボット自身の画像を消去
するものであるが、この技術は、操作対象物とロボット
自身の画像が離間していることが前提であり、操作対象
物の画像がロボット自身の画像と重なる場合については
考慮していない。つまり、この従来技術は、ロボット自
身により操作対象が隠れる場合についての問題は解決し
ていない。
本発明の目的は、操作対象物の画像が操作用手先の画
像で隠れる場合でも操作対象物の認識を可能ならしめ、
あるいは操作対象物と操作用手先との相対位置関係の認
識を可能ならしめる画像表示方法及び画像表示装置並び
にこの画像表示装置を備える遠隔操作装置を提供するこ
とにある。
像で隠れる場合でも操作対象物の認識を可能ならしめ、
あるいは操作対象物と操作用手先との相対位置関係の認
識を可能ならしめる画像表示方法及び画像表示装置並び
にこの画像表示装置を備える遠隔操作装置を提供するこ
とにある。
［課題を解決するための手段］ 上記目的は、表示対象物の画像のうち障害物の画像に
隠れる部分のある画像を撮影して表示するに際し、撮影
した画像データから前記障害物の画像領域を抽出し、予
め記憶してある表示対象物画像データから前記抽出した
画像領域に該当する表示対象物の画像を求め、求めた画
像を前記の抽出した画像領域に重ねて表示すると共に、
この表示画像中に前記障害物の輪郭を示す画像も併せて
表示することで、達成される。
隠れる部分のある画像を撮影して表示するに際し、撮影
した画像データから前記障害物の画像領域を抽出し、予
め記憶してある表示対象物画像データから前記抽出した
画像領域に該当する表示対象物の画像を求め、求めた画
像を前記の抽出した画像領域に重ねて表示すると共に、
この表示画像中に前記障害物の輪郭を示す画像も併せて
表示することで、達成される。
上記目的はまた、操作対象物をカメラで撮影しその撮
影画面を見ながら操作腕に付けられた手先で前記操作対
象物を操作する遠隔操作装置の画像表示において、前記
カメラで撮影した画像から前記操作腕の画像領域を抽出
し、抽出した画像領域に該当する前記操作対象物の擬似
画像を生成して該擬似画像を前記抽出した画像領域の画
像に代えて表示することで、達成される。
影画面を見ながら操作腕に付けられた手先で前記操作対
象物を操作する遠隔操作装置の画像表示において、前記
カメラで撮影した画像から前記操作腕の画像領域を抽出
し、抽出した画像領域に該当する前記操作対象物の擬似
画像を生成して該擬似画像を前記抽出した画像領域の画
像に代えて表示することで、達成される。
［作用］ 操作対象物（表示対象物）を遠隔操作装置などを用い
て操作する場合、操作腕や手先が障害物となって操作対
象物の目的箇所が見えなくなってしまう場合がある。斯
かる場合に、障害物画像を全部消去してしまうと、操作
対象物と操作腕や手先との位置関係が不明となり、遠隔
操作ができなくなってしまう。本発明では、障害物画像
を全部消去してしまうのではなく、障害物画像の輪郭を
示す画像を重ねて表示したり、障害物画像のうち操作に
必要な手先の画像を残し操作腕の画像を消去して表示す
るため、遠隔操作に支障なくしかも操作状況の視認が容
易となる。
て操作する場合、操作腕や手先が障害物となって操作対
象物の目的箇所が見えなくなってしまう場合がある。斯
かる場合に、障害物画像を全部消去してしまうと、操作
対象物と操作腕や手先との位置関係が不明となり、遠隔
操作ができなくなってしまう。本発明では、障害物画像
を全部消去してしまうのではなく、障害物画像の輪郭を
示す画像を重ねて表示したり、障害物画像のうち操作に
必要な手先の画像を残し操作腕の画像を消去して表示す
るため、遠隔操作に支障なくしかも操作状況の視認が容
易となる。
［実施例］ 以下、本発明の一実施例を図面を参照して説明する。
第２図は、本発明の一実施例に係る画像表示装置を備
える遠隔操作装置の構成図である。本実施例における遠
隔操作装置は、操作対象物（本実施例における表示対象
物）１を操作するマニピュレータ２と、操作対象物１を
撮像するカメラ３と、マニピュレータ２に動作指令を送
出すると共にカメラ３の撮像画像を詳細は後述するよう
に処理する制御装置４と、該制御装置４で処理された画
像データを表示する表示装置５と、制御装置４に接続さ
れた記憶装置６と、制御装置３に対しオペレータが指令
を入力する操作盤７とを備えている。
える遠隔操作装置の構成図である。本実施例における遠
隔操作装置は、操作対象物（本実施例における表示対象
物）１を操作するマニピュレータ２と、操作対象物１を
撮像するカメラ３と、マニピュレータ２に動作指令を送
出すると共にカメラ３の撮像画像を詳細は後述するよう
に処理する制御装置４と、該制御装置４で処理された画
像データを表示する表示装置５と、制御装置４に接続さ
れた記憶装置６と、制御装置３に対しオペレータが指令
を入力する操作盤７とを備えている。
マニピュレータ２は、その手先のエンドエフェクタと
して本実施例ではインパクトレンチ2aを備え、オペレー
タは、表示装置５の画面を見ながら操作盤７に指令を送
ってインパクトレンチ2aの位置や角度を調節し、操作対
象物１のボルト８を着脱するものとする。今仮に、イン
パクトレンチ2aを目的のボルト８に嵌合しようとして操
作対象物１近くに移動させると、カメラ３の位置によっ
ては、インパクトレンチ2aあるいはインパクトレンチ2a
を支持するスレーブアーム2bによって目的のボルト８が
隠されてしまう。このため、オペレータは、複数のカメ
ラが様々な角度でこの操作対象物１を撮影している場合
は、カメラの映像を切り替えてインパクトレンチ2aを目
的のボルト８に近付けるに役立つ映像を選択することが
できる。しかし、カメラ３が１台しかない場合や、該当
する映像を撮影することができるカメラが無い場合に
は、この操作の最終段階はオペレータの感によって行う
ことになる。しかるに、本実施例においては、カメラ３
で撮影した画像データを後述の様に処理することで、イ
ンパクトレンチ2aによって目的のボルト８が隠された場
合でも、その目的のボルト８を画面に表示させ、オペレ
ータの負担を軽減させるものである。以下、その画像処
理の詳細について第１図により説明する。
して本実施例ではインパクトレンチ2aを備え、オペレー
タは、表示装置５の画面を見ながら操作盤７に指令を送
ってインパクトレンチ2aの位置や角度を調節し、操作対
象物１のボルト８を着脱するものとする。今仮に、イン
パクトレンチ2aを目的のボルト８に嵌合しようとして操
作対象物１近くに移動させると、カメラ３の位置によっ
ては、インパクトレンチ2aあるいはインパクトレンチ2a
を支持するスレーブアーム2bによって目的のボルト８が
隠されてしまう。このため、オペレータは、複数のカメ
ラが様々な角度でこの操作対象物１を撮影している場合
は、カメラの映像を切り替えてインパクトレンチ2aを目
的のボルト８に近付けるに役立つ映像を選択することが
できる。しかし、カメラ３が１台しかない場合や、該当
する映像を撮影することができるカメラが無い場合に
は、この操作の最終段階はオペレータの感によって行う
ことになる。しかるに、本実施例においては、カメラ３
で撮影した画像データを後述の様に処理することで、イ
ンパクトレンチ2aによって目的のボルト８が隠された場
合でも、その目的のボルト８を画面に表示させ、オペレ
ータの負担を軽減させるものである。以下、その画像処
理の詳細について第１図により説明する。
第１図の画像Ａは、カメラ３で撮影した画像自体を示
している。この画像Ａには、表示対象物１に重ねてイン
パクトレンチ2a及びスレーブアーム2bが表示され、表示
対象物１の画像の一部が隠されている。表示対象物１の
フランジ部分に螺着されているボルト8a〜8iのうち、隠
れているボルト8d,8eが操作対象目的のボルトである場
合、この画像Ａを見ながらインパクトレンチ2aを操作す
るのは、熟練と感が必要である。
している。この画像Ａには、表示対象物１に重ねてイン
パクトレンチ2a及びスレーブアーム2bが表示され、表示
対象物１の画像の一部が隠されている。表示対象物１の
フランジ部分に螺着されているボルト8a〜8iのうち、隠
れているボルト8d,8eが操作対象目的のボルトである場
合、この画像Ａを見ながらインパクトレンチ2aを操作す
るのは、熟練と感が必要である。
本実施例では、画像Ａのうち、障害物であるインパク
トレンチ2aとスレーブアーム2bの画像で隠されている領
域を抽出する（第１図画面Ｂの白抜き領域）。この抽出
処理は、以下の方法で行う。
トレンチ2aとスレーブアーム2bの画像で隠されている領
域を抽出する（第１図画面Ｂの白抜き領域）。この抽出
処理は、以下の方法で行う。
（ｉ）記憶装置６に予め表示対象物１の画像をカメラ３
で撮像し格納しておき、マニピュレータ操作時に撮影し
た画像とこの記憶装置６に格納してある画像とのマッチ
ング処理を行い、異なる部分のみを抽出する。マニピュ
レータ操作時に撮像した画像には、インパクトレンチ2a
とスレーブアーム2bとが余分に入っているので、これら
が障害物として抽出される。表示対象物１の画像データ
として様々な撮影角度から得た画像データを記憶装置に
格納しておき、該当の画像データを記憶装置から読み出
してマッチング処理してもよい。また、ある代表的な角
度での画像データを記憶装置６に格納しておき、その画
像データに、回転，拡大，縮小等の演算処理を施してマ
ッチング処理用の画像データを得るようにしてもよい。
尚、マッチング処理する画像データは、マッチング処理
が容易なように、微分処理し、二値化してワイヤフレー
ム画像としてもよいことはいうまでもない。更に、実際
の撮影画像とマッチング処理する画像データ（上記ワイ
ヤフレーム画像を含む。）は、実際に予め撮影した画像
でなくてもよく、例えば記憶装置６に格納してあるCAD
データの様な形状データから生成して使用することでも
よい。
で撮像し格納しておき、マニピュレータ操作時に撮影し
た画像とこの記憶装置６に格納してある画像とのマッチ
ング処理を行い、異なる部分のみを抽出する。マニピュ
レータ操作時に撮像した画像には、インパクトレンチ2a
とスレーブアーム2bとが余分に入っているので、これら
が障害物として抽出される。表示対象物１の画像データ
として様々な撮影角度から得た画像データを記憶装置に
格納しておき、該当の画像データを記憶装置から読み出
してマッチング処理してもよい。また、ある代表的な角
度での画像データを記憶装置６に格納しておき、その画
像データに、回転，拡大，縮小等の演算処理を施してマ
ッチング処理用の画像データを得るようにしてもよい。
尚、マッチング処理する画像データは、マッチング処理
が容易なように、微分処理し、二値化してワイヤフレー
ム画像としてもよいことはいうまでもない。更に、実際
の撮影画像とマッチング処理する画像データ（上記ワイ
ヤフレーム画像を含む。）は、実際に予め撮影した画像
でなくてもよく、例えば記憶装置６に格納してあるCAD
データの様な形状データから生成して使用することでも
よい。
（ii）上述した例では、表示対象物の画像データを予め
記憶装置６に格納しこの表示対象物の画像データとマニ
ピュレータ操作時に撮影した画像とのマッチング処理を
行って障害物の画像を抽出したが、マニピュレータの操
作用手先の形状は予め分かっているので、この障害物と
なる手先等の画像データ（実際の撮像データに拡大，縮
小，回転等の処理を施した画像データ、前記ワイヤフレ
ーム画像，形状データから生成した画像等を含む。）と
のマッチング処理を行って、実際の撮影画像中の障害物
で隠された画像領域を抽出することでもよい。
記憶装置６に格納しこの表示対象物の画像データとマニ
ピュレータ操作時に撮影した画像とのマッチング処理を
行って障害物の画像を抽出したが、マニピュレータの操
作用手先の形状は予め分かっているので、この障害物と
なる手先等の画像データ（実際の撮像データに拡大，縮
小，回転等の処理を施した画像データ、前記ワイヤフレ
ーム画像，形状データから生成した画像等を含む。）と
のマッチング処理を行って、実際の撮影画像中の障害物
で隠された画像領域を抽出することでもよい。
障害物の画像領域（第１図画面Ｂの白抜き部分）が抽
出された後は、次に、該領域内における表示対象物１の
擬似画像を生成する（第１図画面Ｃ）。この擬似画像の
生成は、表示対象物の画像データから生成する。この画
像データとしては、マニピュレータ操作時の撮影データ
から生成しても（例えば、ボルト8d,8eの擬似画像とし
て、隠れていないボルト8f,8gの画像を切り出して代用
する。）、また、予め記憶装置６に格納してある表示対
象物１の画像データを切り出し、あるいは拡大，縮小，
回転等を施した画像データから切り出し、あるいは形状
データ等から生成してもよい。
出された後は、次に、該領域内における表示対象物１の
擬似画像を生成する（第１図画面Ｃ）。この擬似画像の
生成は、表示対象物の画像データから生成する。この画
像データとしては、マニピュレータ操作時の撮影データ
から生成しても（例えば、ボルト8d,8eの擬似画像とし
て、隠れていないボルト8f,8gの画像を切り出して代用
する。）、また、予め記憶装置６に格納してある表示対
象物１の画像データを切り出し、あるいは拡大，縮小，
回転等を施した画像データから切り出し、あるいは形状
データ等から生成してもよい。
上述したように、抽出領域内の擬似画像を生成したあ
と、この擬似画像を、マニピュレータ操作時の撮影画像
に重ねて、あるいは当該領域に嵌め込んで表示する。こ
の合成画像を観測するオペレータは、障害物で見えなく
なる箇所がないので、違和感なくマニピュレータ操作が
可能となる。また、この合成画像を表示するにあたり、
抽出領域全部を擬似画像に代えるのではなく、障害物画
像の一部を表示したり（例えば、第５図に示す様に、障
害物であるインパクトレンチ2aは表示し、スレーブアー
ム2bは消去して表示する。）、第１図の画面Ｄに示す様
に、抽出領域あるいは必要部分（例えばインパクトレン
チ2aあるいはその先端部分のみ）の輪郭線10を表示す
る。これにより、操作用手先と操作対象物との相対位置
関係が容易に分かるので、マニピュレータ２の作業性が
著しく向上する。
と、この擬似画像を、マニピュレータ操作時の撮影画像
に重ねて、あるいは当該領域に嵌め込んで表示する。こ
の合成画像を観測するオペレータは、障害物で見えなく
なる箇所がないので、違和感なくマニピュレータ操作が
可能となる。また、この合成画像を表示するにあたり、
抽出領域全部を擬似画像に代えるのではなく、障害物画
像の一部を表示したり（例えば、第５図に示す様に、障
害物であるインパクトレンチ2aは表示し、スレーブアー
ム2bは消去して表示する。）、第１図の画面Ｄに示す様
に、抽出領域あるいは必要部分（例えばインパクトレン
チ2aあるいはその先端部分のみ）の輪郭線10を表示す
る。これにより、操作用手先と操作対象物との相対位置
関係が容易に分かるので、マニピュレータ２の作業性が
著しく向上する。
次に、第３図と第４図のフローチャートに従って、画
像処理手順の実施例を詳細に説明する。尚、以下に述べ
る実施例では、記憶装置６に操作対象物１のCADデータ
が格納されているものとして説明する。
像処理手順の実施例を詳細に説明する。尚、以下に述べ
る実施例では、記憶装置６に操作対象物１のCADデータ
が格納されているものとして説明する。
先ず、カメラ３から第１図の画面Ａに示す実画像を制
御装置４が取り込み、この実画像に対してラプラシアン
等の微分処理を施して原画像からエッジ部分を抽出した
あと、二値化して“0",“1"の二値パターンの線画像
（ワイヤフレーム画像）を生成する（第３図の処理10
0）。
御装置４が取り込み、この実画像に対してラプラシアン
等の微分処理を施して原画像からエッジ部分を抽出した
あと、二値化して“0",“1"の二値パターンの線画像
（ワイヤフレーム画像）を生成する（第３図の処理10
0）。
次の処理110では、操作対象物１とカメラ３との距
離，方向等を制御装置４からマニピュレータ２への指令
データより求め、これらのデータと、カメラ３の視野角
データと、記憶装置６に格納されている操作対象物１の
CADデータとから、この操作対象物１を実画像Ａを撮影
したと同一条件の基で実際に撮像したと仮定した場合に
得られるであろう画像データのワイヤフレーム画像を計
算により求める（カメラ３が固定場所に設置されている
のではなく、スレーブアームに取り付けられ該スレーブ
アームの移動に従ってカメラ３が移動する場合でも、ス
レーブアームの各関節の角度データからマニピュレータ
２の基準位置に対するカメラ３の位置，方向等は計算に
よって求めることができる。）。
離，方向等を制御装置４からマニピュレータ２への指令
データより求め、これらのデータと、カメラ３の視野角
データと、記憶装置６に格納されている操作対象物１の
CADデータとから、この操作対象物１を実画像Ａを撮影
したと同一条件の基で実際に撮像したと仮定した場合に
得られるであろう画像データのワイヤフレーム画像を計
算により求める（カメラ３が固定場所に設置されている
のではなく、スレーブアームに取り付けられ該スレーブ
アームの移動に従ってカメラ３が移動する場合でも、ス
レーブアームの各関節の角度データからマニピュレータ
２の基準位置に対するカメラ３の位置，方向等は計算に
よって求めることができる。）。
次の処理102では、処理100で生成したワイヤフレーム
画像と、処理110で生成したワイヤフレーム画像とのマ
ッチング処理を行い、異なる部分を抽出する。形状デー
タから生成したワイヤフレーム画像は、実際の操作対象
物１とカメラ３との距離や方向等の誤差のため、原画像
Ａから生成したワイヤフレーム画像と位置関係にずれが
生じている場合が多い。そこで、このマッチング処理で
は、両ワイヤフレーム画像を相対的に微小量移動させ、
最も一致度の高い状態を探す処理も必要となる。
画像と、処理110で生成したワイヤフレーム画像とのマ
ッチング処理を行い、異なる部分を抽出する。形状デー
タから生成したワイヤフレーム画像は、実際の操作対象
物１とカメラ３との距離や方向等の誤差のため、原画像
Ａから生成したワイヤフレーム画像と位置関係にずれが
生じている場合が多い。そこで、このマッチング処理で
は、両ワイヤフレーム画像を相対的に微小量移動させ、
最も一致度の高い状態を探す処理も必要となる。
上記の処理120で、両ワイヤフレーム画像の一致度の
最も高い状態を検出した後は、次の処置130で、両ワイ
ヤフレーム画像で一致していない領域つまりミスマッチ
領域を抽出する。この抽出処理では、両ワイヤフレーム
画像間の二値データ同士の一致・不一致の判定処理を行
い、一致しない点のみを残す。これにより、第１図の画
面Ｂに示す様に、障害物によって隠された領域の輪郭線
が抽出される。
最も高い状態を検出した後は、次の処置130で、両ワイ
ヤフレーム画像で一致していない領域つまりミスマッチ
領域を抽出する。この抽出処理では、両ワイヤフレーム
画像間の二値データ同士の一致・不一致の判定処理を行
い、一致しない点のみを残す。これにより、第１図の画
面Ｂに示す様に、障害物によって隠された領域の輪郭線
が抽出される。
以上の様にして障害物によって隠された領域を抽出し
た後は、第４図の手順に従って、擬似画像の生成を行
う。これは、以下の様に行う。
た後は、第４図の手順に従って、擬似画像の生成を行
う。これは、以下の様に行う。
先ず、処理140にて、前述した処理110と同様に、操作
対象物１のCADデータと、カメラ３自身及びカメラ３と
操作対象物１との相対位置関係のデータとに基づいて、
原画像Ａと同一条件での操作対象物１のソリッドモデル
画像（濃淡画像）を生成する。
対象物１のCADデータと、カメラ３自身及びカメラ３と
操作対象物１との相対位置関係のデータとに基づいて、
原画像Ａと同一条件での操作対象物１のソリッドモデル
画像（濃淡画像）を生成する。
次に、処理140で生成した濃淡画像の中から、処理130
で抽出した領域内のみの画像を切り出す（処理150）。
で抽出した領域内のみの画像を切り出す（処理150）。
尚、この実施例では、CADデータ等から濃淡画像を生
成したが、予め障害物の無い状態で撮影した操作対象物
１の実画像を記憶しておき、その実画像から該当領域の
部分を切り出すことでもよい。しかし、この場合は、そ
の実画像が原画像Ａと同一条件で撮影したものであるこ
とはまずないといっていい。従って、拡大，縮小，回転
等を行って、原画像Ａを撮影したときと同一条件で得ら
れるであろう実画像に変換する必要があるのは当然であ
る。
成したが、予め障害物の無い状態で撮影した操作対象物
１の実画像を記憶しておき、その実画像から該当領域の
部分を切り出すことでもよい。しかし、この場合は、そ
の実画像が原画像Ａと同一条件で撮影したものであるこ
とはまずないといっていい。従って、拡大，縮小，回転
等を行って、原画像Ａを撮影したときと同一条件で得ら
れるであろう実画像に変換する必要があるのは当然であ
る。
以上の様にして得た擬似画像（第１図画像Ｃ）を原画
像Ａに重ねて表示し、あるいは画像Ｂの該当箇所に嵌め
込んで表示することで、第１図の画像Ｄが得られる。
尚、前述した様に、画像Ｄには障害物の輪郭線も合わせ
て表示し、操作用手先と操作対象物との相対的位置関係
が容易に把握できるようにしてある。
像Ａに重ねて表示し、あるいは画像Ｂの該当箇所に嵌め
込んで表示することで、第１図の画像Ｄが得られる。
尚、前述した様に、画像Ｄには障害物の輪郭線も合わせ
て表示し、操作用手先と操作対象物との相対的位置関係
が容易に把握できるようにしてある。
以上述べた画像処理を例えば10msや100msの間隔で繰
返し実行することで、オペレータは操作用手先の画像に
邪魔されることなく操作対象物を画面で確認しながらし
かも操作用手先の移動状況や操作対象物との相対位置関
係をリアルタイムに観測できる。従って、オペレータは
マニピュレータ操作を感に従って操作する必要がなくな
り、初心者でも容易且つ確実に操作をすることが可能に
なる。
返し実行することで、オペレータは操作用手先の画像に
邪魔されることなく操作対象物を画面で確認しながらし
かも操作用手先の移動状況や操作対象物との相対位置関
係をリアルタイムに観測できる。従って、オペレータは
マニピュレータ操作を感に従って操作する必要がなくな
り、初心者でも容易且つ確実に操作をすることが可能に
なる。
［発明の効果］ 本発明によれば、カメラで撮影している画像をリアル
タイムに観察している場合に、障害物の画像が表示対象
物の画像に重なって表示対象物の一部が欠けて見づらい
場合でも、この欠けた部分を擬似画像で補って表示する
ので、観察者に違和感を与えることなく、また、不自由
を感じさせることがない。また、障害物の画像を全部消
去するのではなく、その一部を表示させたりその輪郭を
表示すると、障害物の移動状況がリアルタイムに認識で
き、これを遠隔操作装置に適用した場合、操作作業性が
著しく向上し、初心者でも容易に操作が可能になるとい
う効果がある。
タイムに観察している場合に、障害物の画像が表示対象
物の画像に重なって表示対象物の一部が欠けて見づらい
場合でも、この欠けた部分を擬似画像で補って表示する
ので、観察者に違和感を与えることなく、また、不自由
を感じさせることがない。また、障害物の画像を全部消
去するのではなく、その一部を表示させたりその輪郭を
表示すると、障害物の移動状況がリアルタイムに認識で
き、これを遠隔操作装置に適用した場合、操作作業性が
著しく向上し、初心者でも容易に操作が可能になるとい
う効果がある。
第１図は本発明の一実施例に係る画像表示方法の説明
図、第２図は本発明の一実施例に係る遠隔操作装置の構
成図、第３図は障害物によって隠された領域を抽出する
手順を示すフローチャート、第４図は擬似画像を生成す
る手順を示すフローチャート、第５図は画像表示方法の
別実施例の表示画面図である。 １…表示（操作）対象物、２…マニピュレータ、2a…操
作用手先、３…カメラ、４…制御装置、５…表示装置、
６…記憶装置、７…操作盤。
図、第２図は本発明の一実施例に係る遠隔操作装置の構
成図、第３図は障害物によって隠された領域を抽出する
手順を示すフローチャート、第４図は擬似画像を生成す
る手順を示すフローチャート、第５図は画像表示方法の
別実施例の表示画面図である。 １…表示（操作）対象物、２…マニピュレータ、2a…操
作用手先、３…カメラ、４…制御装置、５…表示装置、
６…記憶装置、７…操作盤。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭60−126985（ＪＰ，Ａ) 特開 昭63−47885（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/18 H04N 5/262 B25J 19/04
Claims (12)
- 【請求項１】表示対象物の画像のうち障害物の画像に隠
れる部分のある画像を撮影して表示する画像表示方法に
おいて、撮影した画像データから前記障害物の画像領域
を抽出し、予め記憶してある表示対象物画像データから
前記抽出した画像領域に該当する表示対象物の画像を求
め、求めた画像を前記の抽出した画像領域に重ねて表示
すると共に、この表示画像中に前記障害物の輪郭を示す
画像も併せて表示することを特徴とする画像表示方法。 - 【請求項２】障害物によって表示対象物が隠れる箇所の
ある場面を撮影して得られる画像を表示する画像表示方
法において、撮影した画像から前記障害物の画像領域を
抽出し、該障害物の画像領域の表示に代え、該画像領域
に該当する前記表示対象物の擬似画像を生成して表示す
ると共に、この表示画像中に前記障害物の輪郭を示す画
像も併せて表示することを特徴とする画像表示方法。 - 【請求項３】予め分かっている障害物の画像によって表
示対象物の画像が隠される部分のある画像を撮影して表
示する画像表示方法において、予め記憶してある前記障
害物の形状データから撮影時における該障害物の撮影画
像を推定し、該推定画像と実際の撮影画像とから実際の
撮影画像中の障害物の画像を抽出し、該抽出部分に該当
する前記表示対象物の擬似画像を生成し、該擬似画像を
実際の撮影画像に重ねてあるいは嵌め込んで表示すると
共に、この表示画像中に前記障害物の輪郭を示す画像も
併せて表示することを特徴とする画像表示方法。 - 【請求項４】操作対象物をカメラで撮影しその撮影画面
を見ながら操作腕に付けられた手先で前記操作対象物を
操作する遠隔操作装置の画像表示方法において、前記カ
メラで撮影した画像から前記操作腕および手先の画像領
域を抽出し、抽出した画像領域に該当する前記操作対象
物の擬似画像を生成して前記抽出した画像領域に表示す
ると共に、この表示画像中に前記抽出した画像領域の輪
郭を示す画像も併せて表示することを特徴とする画像表
示方法。 - 【請求項５】操作対象物をカメラで撮影しその撮影画面
を見ながら操作腕に付けられた手先で前記操作対象物を
操作する遠隔操作装置の画像表示方法において、前記カ
メラで撮影した画像から前記操作腕の画像領域を抽出
し、抽出した画像領域にが該当する前記操作対象物の擬
似画像を生成して該疑似画像を前記抽出した画像領域の
画像に代えて表示することを特徴とする画像表示方法。 - 【請求項６】表示対象物の画像のうち障害物の画像に隠
れる部分のある画像を撮影して表示する画像表示装置に
おいて、撮影した画像データから前記障害物の画像領域
を抽出する手段と、予め記憶してある表示対象物画像デ
ータから前記抽出した画像領域に該当する表示対象物の
画像を求める手段と、該手段により求めた画像を前記の
抽出した画像領域に重ねて表示する手段と、該手段によ
る表示画像中に前記障害物の輪郭を示す画像も併せて表
示する手段とを備えることを特徴とする画像表示装置。 - 【請求項７】障害物によって表示対象物が隠れる箇所の
ある場面を撮影して得られる画像を表示する画像表示装
置において、撮影した画像から前記障害物の画像領域を
抽出する手段と、前記障害物の画像領域の表示に代え該
画像領域に該当する前記表示対象物の擬似画像を生成し
て表示する手段と、該手段による表示画像中に前記障害
物の輪郭を示す画像も併せて表示する手段とを備えるこ
とを特徴とする画像表示装置。 - 【請求項８】予め分かっている障害物の画像によって表
示対象物の画像が隠される部分のある画像を撮影して表
示する画像表示装置において、予め記憶してある前記障
害物の形状データから撮影時における該障害物の撮影画
像を推定し該推定画像と実際の撮影画像とから実際の撮
影画像中の障害物の画像を抽出する手段と、該手段によ
る抽出部分に該当する前記表示対象物の擬似画像を生成
し該擬似画像を実際の撮影画像に重ねてあるいは嵌め込
んで表示する手段と、該手段による表示画像中に前記障
害物の輪郭を示す画像も併せて表示する手段とを備える
ことを特徴とする画像表示装置。 - 【請求項９】操作対象物をカメラで撮影しその撮影画面
を見ながら操作腕に付けられた手先で前記操作対象物を
操作する遠隔操作装置の画像表示装置において、前記カ
メラで撮影した画像から前記操作腕および手先の画像領
域を抽出する手段と、抽出した画像領域に該当する前記
操作対象物の擬似画像を生成して前記抽出した画像領域
に表示する手段と、該手段による表示画像中に前記抽出
した画像領域の輪郭を示す画像も併せて表示する手段と
を備えることを特徴とする画像表示装置。 - 【請求項１０】操作対象物をカメラで撮影しその撮影画
面を見ながら操作腕に付けられた手先で前記操作対象物
を操作する遠隔操作装置の画像表示装置において、前記
カメラで撮影した画像から前記操作腕の画像領域を抽出
する手段と、抽出した画像領域に該当する前記操作対象
物の擬似画像を生成して該疑似画像を前記抽出した画像
領域の画像に代えて表示する手段とを備えることを特徴
とする画像表示装置。 - 【請求項１１】表示対象物を撮影して画面にリアルタイ
ムに表示する画像表示装置において、予め前記表示対象
物の形状データを格納しておく記憶装置と、該記憶装置
の格納データから撮影時における表示対象物のワイヤー
フレーム画像を生成する手段と、実際に撮影して得た実
画像からそのエッジ画像を求める手段と、該エッジ画像
と前記ワイヤーフレーム画像とのマッチング処理を行っ
て実画像中の表示対象物以外の障害物の画像を抽出する
手段と、該抽出領域に該当する前記表示対象物の部分擬
似画像を生成する手段と、生成した部分擬似画像を実画
像に嵌め込みあるいは重ねて表示する手段と、表示画像
中に前記抽出領域の輪郭を示す画像を重ねて表示する手
段とを備えることを特徴とする画像表示装置。 - 【請求項１２】カメラの撮影画像で操作状況を観察しな
がら操作腕手先にて操作対象物を遠隔操作する遠隔操作
装置において、請求項６乃至請求項11のいずれかに記載
の画像表示装置を備えることを特徴とする遠隔操作装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1192624A JP2960733B2 (ja) | 1989-07-27 | 1989-07-27 | 画像表示方法及び画像表示装置並びに遠隔操作装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1192624A JP2960733B2 (ja) | 1989-07-27 | 1989-07-27 | 画像表示方法及び画像表示装置並びに遠隔操作装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0360989A JPH0360989A (ja) | 1991-03-15 |
| JP2960733B2 true JP2960733B2 (ja) | 1999-10-12 |
Family
ID=16294348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1192624A Expired - Fee Related JP2960733B2 (ja) | 1989-07-27 | 1989-07-27 | 画像表示方法及び画像表示装置並びに遠隔操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2960733B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5279336A (en) * | 1992-05-21 | 1994-01-18 | Max Co., Ltd. | Wire binder |
| JP4948417B2 (ja) * | 2004-11-02 | 2012-06-06 | カスケード マイクロテック インコーポレイテッド | 光学的に強化されたディジタル撮像システム |
| JP4506685B2 (ja) | 2006-02-17 | 2010-07-21 | トヨタ自動車株式会社 | 移動型ロボット |
| JP4849178B2 (ja) * | 2010-03-15 | 2012-01-11 | トヨタ自動車株式会社 | 移動型ロボット |
| JP2014079824A (ja) * | 2012-10-15 | 2014-05-08 | Toshiba Corp | 作業画面表示方法および作業画面表示装置 |
| JP6038701B2 (ja) * | 2013-03-26 | 2016-12-07 | 株式会社東芝 | 遠隔視認装置および遠隔視認操作システム |
| GB2586389B (en) | 2018-03-29 | 2022-03-30 | Mitsubishi Electric Corp | Image processing device, image processing method, and monitoring system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60126985A (ja) * | 1983-12-13 | 1985-07-06 | Agency Of Ind Science & Technol | 遠隔操作における作業状況表示装置 |
-
1989
- 1989-07-27 JP JP1192624A patent/JP2960733B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0360989A (ja) | 1991-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7596240B2 (en) | Object tracking method and object tracking apparatus | |
| JP4289609B2 (ja) | アーク監視システム | |
| JP4459788B2 (ja) | 顔特徴照合装置、顔特徴照合方法、及びプログラム | |
| JP3924495B2 (ja) | 遠隔操作制御装置 | |
| US20130039541A1 (en) | Robot system, robot control device and method for controlling robot | |
| CN101667294B (zh) | 目标检测与跟踪装置 | |
| JPH0335399A (ja) | 変化領域統合装置 | |
| US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
| JP2960733B2 (ja) | 画像表示方法及び画像表示装置並びに遠隔操作装置 | |
| CN113688680A (zh) | 一种智能识别与追踪系统 | |
| KR100647750B1 (ko) | 화상 처리 장치 | |
| JP4444746B2 (ja) | 物体追尾方法及び物体追尾装置 | |
| JP2003111063A (ja) | 侵入物体追跡方法及び侵入物体監視装置 | |
| JP2006033188A (ja) | 監視装置および監視方法 | |
| JPS6334093A (ja) | 視覚装置 | |
| KR100452100B1 (ko) | 촬상장치의 시야 제어방법과 장치 및 그것을 위한컴퓨터프로그램 | |
| JP2005205519A (ja) | ロボットハンド装置 | |
| JP2020088766A (ja) | 解体システム | |
| JPS61187480A (ja) | プロセス監視装置 | |
| Dutkiewicz et al. | Experimental verification of visual tracking of surgical tools | |
| JP2024049842A (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラム | |
| JP5047104B2 (ja) | アーク溶接の監視装置及びアーク溶接の監視方法 | |
| JPH09322047A (ja) | ビデオカメラ制御方法、ビデオカメラ制御システム、ビデオカメラ制御装置、およびビデオカメラ | |
| JP3546117B2 (ja) | 自動ズーム・追尾装置 | |
| JP2002218310A (ja) | 監視カメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |