JPH0795560A

JPH0795560A - 遠隔操作システムの画像計測方法及びその装置並びに距離計測方法

Info

Publication number: JPH0795560A
Application number: JP5233548A
Authority: JP
Inventors: Masahiro Tsuchiya; 雅弘土屋; Koji Kameshima; 鉱二亀島; Hiroshi Yamamoto; 広志山本; Tomoyuki Hamada; 朋之浜田; Toshiyuki Aoki; 利幸青木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-09-20
Filing date: 1993-09-20
Publication date: 1995-04-07

Abstract

(57)【要約】【目的】環境モデルを実時間で更新する画像計測装置
により、自律化及び知能化を図ってマニピュレータの確
実な遠隔操作を行う遠隔操作システムを実現する。【構成】カメラ１０９によりロボットアームの作業環
境における対象物の形状の変化を計測することにより遠
隔操作システムの一致した環境モデル１０５を生成し、
この環境モデル１０５に基づいて遠隔操作システムの指
令及び作業を行って自律的かつ知能化する遠隔操作シス
テムにおいて、対象パターンＡと参照パターンＢとを重
ね合わせにより環境モデル１０５を更新する画像計測装
置１００は、さらに、環境モデル１０５のデータに基づ
いて参照パターンを生成する環境モデル描画手段１０４
と、この生成された参照パターンをカメラ１０９からの
対象パターンに実時間で重ね合せるためポテンシャル場
を利用して演算処理する積算演算装置１０２を備えてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はマニピュレータなどをオ
ペレータが遠隔操作するための遠隔操作システムに関
し、特にかかる遠隔操作システムにおける作業環境を監
視するに適した遠隔操作システムの画像計測方法及びそ
の装置に関する。

【０００２】

【従来の技術】例えば宇宙空間など、人間にとって耐え
がたい環境下での作業を確実に行うためには、マニピュ
レータを遠隔操作してかかる作業を行う遠隔操作システ
ムが適しており、宇宙の衛星軌道上を移動する人工衛星
の機器を地上からマニピュレータを介して所望の操作を
行うことが提案されている。一般に、遠隔操作に好適な
作業機の遠隔操作装置では、まず、作業対象物の位置を
計測し、その計測結果を用いて、作業機の自律性を高め
ることが行われている。このことを目的とした画像計測
装置が種々研究されており、そのためには、カメラから
の画像を用いて、移動する作業対象物の３次元位置を正
確に計測する必要がある。

【０００３】また、一般に、かかる画像を用いて物体の
３次元位置を計測するアルゴリズムでは、作業環境に配
置された物体の、全体もしくは一部分の形状モデルを３
次元空間において重ね合わせることにより物体の位置を
計測するというのが計測の原理であり、この重ね合わせ
を行うためには、実物体とモデルをなんらかの方法で同
定しなければならない。この同定処理を行う幾つかのア
ルゴリズム（装置）は、例えば特開昭６２−１６９２８
４号公報あるいは特開昭６０−８４６１０号公報などに
より、既に知られている。しかしながら、これらの従来
技術のアルゴリズムでは、まず、映像から、計測対象
物体の特徴となる要素（特徴量）を抽出し、この抽出さ
れた要素１つ１つをモデルと照合することにより同定を
行うものである。

【０００４】例えば、上記特開昭６２−１６９２８４号
公報では、パターンの輪郭線を方向別に分類し、各方向
ごとにその重心位置を求め、二つのパターンについて対
応する方向の重心位置の差がすべて同一になるようなパ
ターンの回転移動角を捜し、二つのパターンを重ね合わ
せるための並行・回転移動量を求めるというものであ
る。

【０００５】また、物体の３次元位置を計測する方法と
しては、２眼計測（ステレオ視）が既に公知となってい
る。この２眼計測では、２眼間の位置関係を用いて三角
測量の原理により物体の位置を計測するもので、２眼間
の位置関係を正確に計測しておく必要がある。また三角
測量を行うためには、両カメラに投影された像を同定
し、これらの２像の対応関係を求める必要がある。

【０００６】さらに、対象パターンと参照パターンとを
実時間で処理を行って重ね合わせる画像処理装置とし
て、特開平２−１３７０７２号公報によれば、対象パタ
ーンを源とするポテンシャル場を計算して二つのパター
ンの各部に働く力及びモーメントを計算する画像処理装
置が既に知られている。すなわち、この従来技術では、
計算された力及びモーメントは二つのパターンを重ね合
わせる方向に働くので、この力及びモーメントの方向に
パターンを動かすと、二つのパターンを重ね合わせるこ
とが出来る。この力及びモーメントは、二つのパターン
が接近する程強く働くことから、対象パターンに欠陥や
ノイズがあっても正確に重ね合わせが可能であり、繰返
し計算によるポテンシャルの近似計算は、少ない繰返し
回数でも妥当な近似を与え、他の処理と同時並列に演算
可能でり、乗算を必要としないことから、処理の高速化
を可能にする。

【０００７】一方、宇宙空間など、人間にとって耐えが
たい環境下での作業を確実に行うためのマニピュレータ
の遠隔操作システムでは、宇宙の衛星軌道上を移動する
人工衛星の機器をマニピュレータを介して地上から所望
の操作を行う。かかるマニピュレータの操作性を向上す
るマニピュレータの遠隔制御装置として、オペレータが
操作する操作系管理システムと、この操作系管理システ
ムから出される作業指示に基づいて作業を実施するマニ
ピュレータを制御する作業系管理システムが、それぞれ
個別の中央演算装置を持ち、個別に作業場所の状態や作
業対象物の状態を表現する環境モデルを管理して、もっ
て、作業系管理システムは操作系管理システムから出さ
れる作業指示に従って作業を実施すると共に、操作系管
理システムが作業系管理システムが行う演算と同様の演
算を作業系管理システムとは独立に実施し、演算結果を
表示するものが、本出願人により平成４年１０月１日付
で出願された特願平４−２６３７３９号により既に提案
されている。

【０００８】

【発明が解決しようとする課題】ところで、作業環境に
配置した人間を遠隔指令することにより、離れた所から
作業の監督をする場合、指令局の人間は、言葉で作業の
仕方を指示し、作業者が作業をするところをモニタ画面
上で監督しながら作業を進めさせる。同様に、時々刻々
変化する作業環境で作業を行う作業機を遠隔操作するた
めのシステムでは、作業機をオペレータの作業メッセー
ジを理解して、自律的に作業が行えるように知能化する
必要がある。この知能化を実現する上で特に重要となる
のが環境モデルであり、上記従来技術である特願平４−
２６３７３９号により既に提案されたマニピュレータの
遠隔制御装置においても、この環境モデルを利用するこ
とにより知能化を達成している。すなわち、作業者が言
葉による指令を理解して作業を行うためには、作業者と
指令者とが同じ環境知識を持っていることが重要であ
り、この共通の環境知識によって初めて正確に指令を理
解することが出来ることとなる。

【０００９】ところで、このような環境モデルは、コン
ピュータのデータベースに格納された環境モデルと画像
計測装置とを接続することにより実現することは可能で
はあるが、しかしながら、この画像計測装置により計測
される時々刻々変化する作業環境に従って環境モデルを
書き換える必要がある。すなわち、この時々刻々の変化
に従って環境モデルを書き換えることが出来なければ、
この環境モデルを現実の環境と一致させることが出来
ず、そのため、正確な遠隔操作が不可能になってしま
う。また、さらに、上記の環境モデルによる場合、計測
対象に特殊な条件などを付加せず、また、既に一般に使
用されているＣＡＤデータ等を使用することが可能であ
り、しかも、計測状況を監視しながら随時介入すること
が出来ること等が、かかるシステムを実用に供するため
には必要な条件になっている。

【００１０】なお、上記の他の従来技術に示された画像
処理方法や装置は、そのいずれも、ただ、対象パターン
と参照パターンとを実時間で重ね合わせ、あるいは、同
定するものであり、かかる環境モデルの書き換えを実時
間で書き換えることの必要性を認識するものではなく、
そのための環境モデルの書き換え方法や装置を提供する
ものでもなかった。

【００１１】そこで、本発明では、上述のような遠隔操
作システム、特に、環境モデルを採用することにより確
実なマニピュレータの遠隔操作を行う遠隔操作システム
における上記の問題点に鑑み、遠隔操作システムの作業
環境を画像計測装置により計測して、これを時々刻々変
化する作業環境に従って環境モデルを書き換え、もっ
て、正確な遠隔制御を可能にする遠隔操作システムの画
像計測方法及びその装置を提供することを目的とする。

【００１２】また、本発明では、さらに、上記遠隔操作
システムにおける環境モデルの書換を、上述の他の条件
を満たして実行することが出来、これにより環境モデル
を使用した実用に供することの可能な遠隔操作システム
を達成することを目的とする。

【００１３】

【課題を解決するための手段】上記の目的を達成するた
め、本発明によれば、まず、画像計測手段により作業環
境における任意形状物体像の形状の変化を計測すること
により遠隔操作システムの作業側と指令側とで一致した
環境モデルを生成し、この環境モデルに基づいて遠隔操
作システムの指令及び作業を行う遠隔操作システムの画
像計測方法であって、前記画像計測手段により計測され
る作業環境における任意形状物体像の形状の変化を任意
形状物体モデルと重ね合わせがら当該環境モデルを更新
するものにおいて、当該任意形状物体モデルを当該任意
形状物体に重ね合わせる際、当該任意形状物体と当該任
意形状物体モデルとをポテンシャル場を利用して演算
し、もって、前記環境モデルを更新する遠隔操作システ
ムの画像計測方法が提案される。

【００１４】また、同様に上記の目的を達成するため、
本発明によれば、画像計測手段により作業環境における
任意形状物体像の形状の変化を計測することにより遠隔
操作システムの作業側と指令側とで一致した環境モデル
を生成し、この環境モデルに基づいて遠隔操作システム
の指令及び作業を行う遠隔操作システムにおいて、前記
画像計測手段により計測される作業環境における任意形
状物体像の形状の変化を任意形状物体モデルと重ね合わ
せがら当該環境モデルを更新するための画像計測装置で
あって、任意形状物体モデルのデータを記憶する環境モ
デルと、前記環境モデルからの任意形状物体モデルデー
タに基づいて任意形状物体モデルを生成する環境モデル
描画手段と、画像計測手段により計測された任意形状物
体の像と前記環境モデル描画手段からの任意形状物体モ
デルを実時間で演算処理して前記環境モデルの任意形状
物体モデルを更新する積算装置とを備えた遠隔操作シス
テムの画像計測装置が提案される。

【００１５】

【作用】すなわち、遠隔操作システムが作業側と指令側
とで一致した環境において自律的に作業が行えるように
知能化する場合には環境モデルが最も重要となり、この
環境モデルは、画像計測手段により計測される作業環境
における任意形状物体像の形状の変化を任意形状物体モ
デルと重ね合わせがら更新されるが、上記の本発明にな
る遠隔操作システムの画像計測方法及び装置によれば、
この環境モデルの更新を行う際、当該任意形状物体と当
該任意形状物体モデルとをポテンシャル場を利用して演
算する積算手段により実時間で演算処理ことを可能にす
る。すなわち、作業環境の変化に従って実時間で更新さ
れる環境モデルを利用することにより、自律的に作業が
行う知能化を実用的に実現し、もって、正確な遠隔制御
を可能にする。

【００１６】また、本発明の実施例の遠隔操作システム
の画像計測方法及び装置によれば、実物体とモデルとの
照合に専用の特徴量を用いないで、モデル輪郭の投影像
を用いることにより、計測対象に特殊な条件を付加せず
に環境モデルの更新のための演算を可能にし、かつ、一
般のＣＡＤデータを用いることが出来るようにしてい
る。さらに、入出力装置により、画像計測の失敗時にお
けるオペレータの介入をも可能にし、正常な状態に調整
してから計測を再開することが可能になり、これにより
マニピュレータの遠隔操作などを行うに最適の遠隔操作
システムを実用化することが可能になる。

【００１７】

【実施例】以下、本発明の実施例の詳細について、添付
の図面を参照しながら説明する。まず、本発明による画
像計測装置の計測の原理を説明する。１．計測の原理：本発明の画像計測装置において採用さ
れた距離の計測方法の原理は、作業環境内に配置された
物体の全体もしくは一部分を、３次元空間においてその
形状モデルと重ね合わせることにより、物体の位置ある
いは距離を計測するものである。

【００１８】物体形状に変形や歪がない場合、物体は６
自由度（並進成分３、回転成分３）を持つ。本画像計測
装置では、光軸をｘ軸とするカメラ座標系で、ｘ軸，ｙ
軸，ｚ軸方向の並進成分とｘ軸まわりの回転成分を本画
像計測装置で計測し、残りの自由度は、マニュアル操作
により調整して（カメラ座標系移動量マニュアル入
力）、形状モデルが物体と重なるように移動させること
ができる。また、画像計測装置と、マニュアル操作によ
る形状モデルとの重ね合わせ（調整）は、ともにカメラ
スクリーンに投影された像に基づいて行う。そこで、画
像計測装置の重ね合わせ性能は、カメラスクリーンに投
影された像とモデルの重ね合わせ性能（カメラスクリー
ン投影像移動量検出性能）で決まる。

【００１９】図６において、Ａは対象パターン、Ｂは参
照パターンであり、参照パターンＢは対象パターンＡに
対して位置がずれている。対象パターンＡ、参照パター
ンＢを２次元平面上の関数ａ（ｘ，ｙ），ｂ（ｘ，
ｙ）で表現する。このとき、下記の式で定義される２次
元のポテンシャル場φ（ｘ，ｙ）を考える。

【数１３】次に、このポテンシャル場に上記参照パターンＢをおい
た場合に、このパターンＢに作用する力とモーメントの
合力とを、下記の式のように定義する。

【数１４】

【数１５】

【数１６】

【数１７】ただし、これらの式において、ｓは画像平面上の全領域
であり、また、座標位置（ｘ₀，ｙ₀）は参照パターンＢ
の重心位置を示している。上記ポテンシャル場φ（ｘ，
ｙ）はちょうどパターンＡに電荷を与えた場合に生じる
電場に似た形となり、各力Ｆｘ，Ｆｙ，Ｆｚとモーメン
トＮｚは、参照パターンＢに対象パターンＡと逆の電荷
を与えた場合に働く力に似たものとなる。従って、対象
パターンＡと参照パターンＢとがある程度重なっている
状態では、Ｆｘ，Ｆｙ，ＦｚとＮｚは両パターンを完全
に重ね合わせるような方向に働くことになる。そこで、
参照パターンＢを（Ｆｘ，Ｆｙ，Ｆｚ）の方向に（ｄ
ｘ，ｄｙ，ｄｚ）だけずらし、かつ、重心周りにＮｚの
方向にｄθだけ回転させて、再びＦｘ，Ｆｙ，Ｆｚ，Ｎ
ｚを計算することを繰り返すと、対象パターンＡと参照
パターンＢとを重ね合わせることが出来る。

【００２０】このように、上記の重ね合わせ方式では、
参照パターンＢと対象パターンＡの各部に働く力の合力
の方向により、重ね合わせるための移動方向を決定する
ので、対象パターンＡの欠落やノイズに対して強い重ね
合わせを実現でき、さらに、この重ね合わせ処理によれ
ば、処理の大半を簡単な加減算によって近似できること
から処理の高速化が容易であり、その処理を同時進行的
に（実時間で）、すなわち、カメラからの画像処理にお
けるビデオレート（１６ｍｓ）以内で実行することが可
能となる。

【００２１】２．画像計測装置を含む遠隔操作システム
の構成：図１を用いて、本発明による環境モデル生成方
法を採用して環境モデルの実時間での書換を可能にし、
もって、実時間環境モデルによるマニピュレータの遠隔
操作を行うことを可能にした画像計測装置１００を含む
遠隔操作システムの構成を説明する。図において、画像
計測装置１００は、インターフェイス制御手段１０１、
積算装置１０２、座標系管理手段１０３、環境モデル描
画手段１０４、環境モデル１０５、データ受信装置１０
６、データ送信装置１０７から構成され、さらに、入出
力装置１０８、カメラ１０９、モニタ１１０を外部接続
装置として接続することにより、画像計測装置を構成す
る。すなわち、この本発明の実施例になる画像計測装置
１００は、カメラなどの計測手段により計測された結果
に基づいて作業環境を生成し、これをモニタ１１０上に
表示しながら指令側と作業側の作業環境を一致させて作
業側の自律的な作業を可能にしている。また、本発明に
よれば、図示しないマニピュレータの確実な遠隔操作を
行うことを可能にするため、上記１．計測の原理を利用
することにより、時々刻々変化する作業環境に従って環
境モデル１０５を書き換えることが可能にしている。

【００２２】次に、図１のシステム構成における各モジ
ュールの機能を以下に説明する。インターフェース制御
手段１０１は、入出力装置１０８用いてオペレータが入
力した計測対象物体のカメラ座標系移動量マニュアル入
力データを座標系管理手段１０３に割込み処理で渡す。
この手段は、オペレータがモニタ１１０により、参照パ
ターンと対象パターンの重ね合わせ状況を監視してい
て、重ね合わせに失敗しそうだと判断したときに用いら
れる。すなわち、この手段により、オペレータは計測状
況を見て随時介入することが可能となる。これは、特に
遠隔操作システムでは、人間が立ち入れない環境（宇宙
空間など）での作業を前提としており、遠隔操作システ
ムでは失敗が許されない。もしも、コンピュータがミス
を犯した場合には、人間がコンピュータに立ち入ってミ
スした部分を修正してでもシステムは作動し続けなけれ
ばならないことによるものである。

【００２３】次に、座標系管理手段１０３では、カメラ
座標系移動量マニュアル入力データからカメラ座標系に
おける計測対象物体位置姿勢を計算してから、ワールド
座標系（カメラの座標系（個別）や物体座標系（個別）
を統括した三次元座標系）の計測対象物体位置姿勢に変
換して、環境モデル１０５に記述された計測対象物体位
置姿勢データを更新する。なお、この環境モデル１０５
の記述法と、物体位置姿勢データ更新の方法は、「マニ
ピュレータの遠隔制御装置」（特願平４−２６３７３９
号）で詳細に述べている。また、この座標系管理手段１
０３では、環境モデル１０５から、カメラ番号（カメラ
１０９が複数台ある場合がある）、カメラ座標系パラメ
ータ、計測対象物体モデル描画データ（ワールド座標
系）を受け取る。また、この座標系管理手段１０３で
は、積算装置１０２からカメラ座標系計測対象物体移動
量を受け取り、カメラ座標系における計測対象物体位置
姿勢を計算し、ワールド座標系の計測対象物体位置姿勢
に変換して環境モデル１０５に記述された計測対象物体
位置姿勢データを更新する。

【００２４】一方、環境モデル１０５は、計測対象物体
モデル描画データ（ワールド座標系）を環境モデル描
画手段１０４に渡す。一方、この環境モデル描画手段１
０４では、計測対象物体モデルをモニタ１１０に描画す
る。この時、モニタ１１０にはカメラ１０９の出力映像
と該計測対象物体モデルを重ね合わせて描画出力する。
さらに、環境モデル描画手段１０４では、該計測対象物
体モデル描画データを積算装置１０２に出力する。

【００２５】積算装置１０２では、上記環境モデル描画
手段１０４からの該計測対象物体モデル描画データと、
カメラ１０９からのカメラ出力映像を拡散処理した映像
を重ね合わせ、両者が一致した点総てにおいて拡散処理
した映像の２次元勾配を求め、この２次元勾配を下記の
４．７章に示すカメラ座標系移動量積算ルールに従って
積算計算して、カメラ座標系移動量を求める。なお、こ
の処理の詳細は、「画像処理装置」（特開平２-１３７
０７２号）に記載された特徴パターン計算装置、ポテン
シャル計算装置、第１画像記憶装置、第２画像記憶装
置、力計算装置、モーメント計算装置を用いて行なうこ
とが出来る。

【００２６】一方、データ受信装置１０６は、接続され
た他のシステム（例えばテレオペレーションシステム）
から受け取ったデータを該環境モデル１０５へ渡す。ま
た、データ送信装置１０７は、該環境モデル１０５から
受け取ったデータを該接続された他のシステムへ渡す。
これにより、この遠隔操作システムは接続された他のシ
ステムと共通の環境モデル１０５を有することとなり、
これによりシステム相互に独立した演算が可能となると
同時に、一致した環境モデル１０５により、同一環境で
の作業が可能になる。

【００２７】３．遠隔操作システムの動作：３．１画像計測装置１００の動作の概要：図２及び図
３のフローチャートを用いて、本発明による画像計測装
置１００の動作を説明する。ここでは、まず、動作の概
要を上記の図１と対比しながら説明し、次に、さらに説
明を要するブロックについてはブロックごとの動作を詳
細に述べることとする。

【００２８】図２において、まずシステムを立ち上げる
と、最初に画像計測装置初期化処理２０１が画像計測装
置１００を初期化する。なお、この画像計測装置初期化
処理２０１の動作は、図３のフローチャートに詳細に
示してあり、その詳細動作については、後に詳細に説明
する。

【００２９】上述の画像計測装置１００の初期化が終了
すると、次に環境モデル描画処理２０２へ移行する。こ
の環境モデル描画処理２０２においては、以下のデータ
受信２１２までを繰返し実行するループに入る。本画像
計測装置１００では、このループの処理をビデオレート
と同様に１６ｍｓで行なうこととなる。これは、上記の
１．計測の原理でも既に説明したように、本発明の重ね
合わせ方式では、参照パターンＢと対象パターンＡの各
部に働く力の合力の方向により、重ね合わせるための移
動方向を決定するので、処理の大半を簡単な加減算によ
って近似できることから処理の高速化が容易であること
による。

【００３０】このループに入ると、まず、環境モデル描
画処理２０２を実行する。この環境モデル描画処理２０
２では、該環境モデル１０５から計測対象物体モデル描
画データを受け取り、該モニタ１１０に計測対象物体モ
デルを描画する。なお、この環境モデル描画処理２０２
は、図１に示したシステム構成図の環境モデル描画手段
１０４と同様の機能である。

【００３１】次に、積算装置レジスタセット処理２０３
と積算処理２０４と積算装置レジスタリード処理２０５
を実行する。これらの処理は、該積算装置１０２で実行
される。まず、積算装置レジスタセット処理２０３で
は、下記の４．７章に示すカメラ座標系移動量積算ルー
ルに合わせて、積算装置レジスタ５０８（詳細は、後に
図５により説明する）をセットする。また、この積算装
置レジスタセット処理２０３のルールについては、後に
５．６節で説明する。次に、積算処理２０４では、計測
対象物体モデル描画データとカメラ出力映像を拡散処理
した映像を重ね合わせ、両者が一致した点総てにおいて
拡散処理した映像の２次元勾配を求め、この２次元勾配
を、下記の４．７章に示すカメラ座標系移動量積算ルー
ルに従って積算計算し、計算結果を積算装置レジスタ５
０８にセットする。最後に、積算装置レジスタリード処
理２０５では、上記積算装置レジスタ５０８から積算計
算結果を読み出し、下記の４．７章に示すカメラ座標系
移動量積算ルールに従って、カメラ座標系移動量を求め
る。

【００３２】カメラ座標系移動量マニュアル入力処理２
０６は、既に述べたように割込み処理であり、オペレー
タがキーボードなどの入力手段から、カメラ座標系に
おける計測対象物体の移動量を入力する。カメラ座標系
移動量マニュアル入力手段２０６は、インターフェー
ス制御手段１０１で実行される。

【００３３】次に、カメラ座標系物体位置姿勢変換マト
リクス計算処理２０７から、物体位置姿勢データ更新処
理２１１までは、図１に示した該座標系管理手段１０３
で実行される。この部分における動作の概要は、前章
（２．画像計測装置のシステム構成）で説明したので、
ここでは省略する。

【００３４】以下に、再び、図２のフローチャートの各
処理毎に説明する。３．２画像計測装置初期化処理２０１の詳細：上記の
画像計測装置初期化処理２０１の詳細が図３のフローチ
ャートに示されており、この図３を用いて、以下に画像
計測装置初期化処理２０１の動作の詳細を説明する。ま
ず、描画装置初期化処理２０１１では、描画装置の初期
化を行なう。この描画装置としては、市販の描画用ＬＳ
Ｉなどを用いることが出来る。次に、積算装置１０２の
初期化を行なう積算装置初期化処理２０１２を実行す
る。なお、この積算装置１０２の詳細については、後
に、５．積算装置で詳細に述べる。次に、変換マトリク
ス初期化処理２０１３を行なう。ここでは、［４×４］
行列の変換マトリクスバッファー［Ａ］に単位行列を格
納する。次に、三角関数テーブル初期化処理２０１４を
行なう。三角関数テーブルは０度から３６０度まで０．
１度刻みで正弦関数と余弦関数を計算してレジスタに格
納する。次に、カメラパラメータ変数初期化処理２０１
５を行なう。カメラパラメータとは、カメラ番号、画
角、カメラ位置、姿勢を表す。ここでは、初期ファイル
からこれらの初期データを読み込み、環境モデル１０５
に記録する。次に、環境モデルデータ初期化処理２０１
６を実行する。ここでは、環境モデルデータの初期ファ
イルを読み込み、環境モデル記憶装置に記録する。

【００３５】３．３積算装置レジスタセット処理２０
３：ここでは、既述のように、下記の４．７章に示すカ
メラ座標系移動量積算ルールに従って上記図５の積算装
置レジスタ５０８をセットする。

【００３６】３．４積算処理２０４：ここでは、以後
に説明する章４．積算装置に示すルールに従って積算計
算を行なう。

【００３７】３．５積算装置レジスタリード処理２０
５：ここでは、以後に説明する章４．積算装置に示すル
ールに従って積算装置レジスタ５０８をリードして、積
算装置１０２のレジスタ５０８から積算結果を読み出
し、下記の４．７章に示すカメラ座標系移動量積算ルー
ルに従って計測対象物体のカメラ座標系移動量を求め
る。

【００３８】３．６カメラ座標系移動量マニュアル入
力処理２０６：ここでは、オペレータがキーボードなど
の入出力装置１０８を用いて入力したカメラ座標系にお
ける計測対象物体移動量をレジスタ５０８に格納する。

【００３９】３．７カメラ座標系物体位置姿勢変換マ
トリクス計算処理２０７：ここでは、以下の式に示すよ
うに、カメラ座標系への変換マトリクス（位置［Ｓ
ｃ］、姿勢［Ｒｃ］）にワールド座標系計測対象物体位
置姿勢変換マトリクス（位置［Ｓｏ］、姿勢［Ｒｏ］）
をかけてカメラ座標系物体位置姿勢変換マトリクスを求
めてマトリクスバッファー［Ａ］に格納する。ここで、
カメラ位置姿勢データ、および、計測対象物体位置姿勢
データは、環境モデル１０５から読み出す。

【数１８】

【００４０】３．８カメラ座標系移動量変換マトリク
ス計算処理２０８：ここでは、上記のカメラ座標系移動
量マニュアル入力処理２０６と、積算装置レジスタリ
ード処理２０５で求めた計測対象物体のカメラ座標系移
動量からカメラ座標系移動量変換マトリクス［Ｓｄ］、
［Ｒｄ］を求める。

【００４１】３．９カメラ座標系物体位置姿勢変換マ
トリクス抽出処理２０９：ここでは、下記の式に示すよ
うに、上記のカメラ座標系物体位置姿勢変換マトリクス
計算処理２０７で求めたカメラ座標系物体位置姿勢変換
マトリクスをマトリクスバッファー［Ａ］から取り出
し、［Ａ］を並進成分［Ｓｖ］と回転成分［Ｒｖ］に分
解する。

【数１９】

【００４２】３．１０カメラ座標系物体位置姿勢変換
マトリクス更新処理２１０：下記の式に示すように、上
記のカメラ座標系物体位置姿勢変換マトリクス抽出処理
２０９で求めた［Ｓｖ］と［Ｒｖ］とカメラ座標系移動
量変換マトリクス計算手段２０８で求めた［Ｓｄ］と
［Ｒｄ］を、［Ｓｖ］［Ｓｄ］［Ｒｄ］［Ｒｖ］の順に
かけてカメラ座標系物体位置姿勢変換マトリクスを更新
しマトリクスバッファー［Ａ］に格納する。

【数２０】

【００４３】３．１１物体位置姿勢データ更新処理２
１１：マトリクスバッファー［Ａ］に格納されているカ
メラ座標系物体位置姿勢変換マトリクスにカメラ座標系
への変換マトリクス（位置［Ｓｃ］、姿勢［Ｒｃ］）の
逆行列を、［Ｓｃ］^-1［Ｒｃ］^-1［Ａ］の順番にかけて
ワールド座標系物体位置姿勢変換マトリクスを計算し
て、ワールド座標系物体位置姿勢変換マトリクスから計
測対象物体モデルの位置データ（ｘ，ｙ，ｚ）と姿勢デ
ータ（ｐ，ｑ，ｒ）を抽出し、環境モデル１０５の計測
対象物体モデルの位置姿勢データを更新する。

【００４４】３．１２データ送信処理２１２：環境モ
デル１０５の計測対象物体位置姿勢データと計測対象物
体名を接続システムへ送信する。

【００４５】３．１３データ受信処理２１３：接続シ
ステムから受信したカメラ番号、カメラ位置、姿勢、計
測対象物体名称、計測対象物体位置、姿勢を環境モデル
へ格納する。また、更新されたデータに基づいてカメラ
座標系物体位置姿勢変換マトリクス計算２０７を行な
う。

【００４６】３．１４環境モデル１０５の説明：環境
モデル１０５は、フレーム構造で記述されている。ま
た、フレーム間の関係は、総て階層関係になってい
る。また、フレーム自体も階層構造になっていて、フレ
ームの下には幾つかのスロットが定義されている。同時
に、スロットの下にはファシット、ファシットの下には
バリューが定義されている。以下、まず環境モデル１０
５の構造を説明する。

【００４７】環境モデル１０５は、クラスフレームとイ
ンスタンスフレームから構成されている。クラスに対し
てインスタンスは下位階層になっている。クラスフレー
ムには、物体の形状と、操作する上で特徴となる事項
（つかみ方、取付け方、センシング方法など）が格納さ
れる。操作する上での特徴を記述するには、詳細なデー
タが必要であるため、下位階層に新たなクラスを定義す
る。このように、クラスには幾つかの種類が有り、種類
の名前とその定義は明確にされている。インスタンスフ
レームには、物体固有の名称、物体の位置、姿勢と他の
物体との接続関係と接続状態（単に置かれているだけと
か、取り付けられている、などの違い）が記述される。

【００４８】３．１５本発明の補足説明：本発明によ
る画像計測装置１００では、作業環境に配置された物体
の、全体もしくは一部分の形状モデルを３次元空間にお
いて重ね合わせることにより物体の位置を計測するとい
う原理に基づいて動作するが、重ね合わせを行なうため
に、物体とモデルを同定する手段は、ＣＡＤデータを同
定用モデルとして使うことができ、同時に本発明によ
る画像計測装置を他のシステムに適用しようとしたとき
にも新たな同定用モデルを必要としない。

【００４９】また、計測環境、同定モデルの形状によら
ず、実時間で画像計測を実行することにより、任意形状
物体の位置情報を用いた作業機のオンライン自律制御を
可能にする

【００５０】また、オペレータが、計測処理が失敗しそ
うだと判断したときには、インターフェイス制御手段１
０１からのオペレータ介入により速やかに処理の修正を
行なうことができる。

【００５１】さらに、本発明による画像計測装置１００
の最小の構成例としては、図１において、入出力装置１
０８、カメラ１０９、モニタ１１０などの外部接続装
置、さらには、画像計測装置１００内のインターフェイ
ス制御手段１０１、データ受信装置１０６、データ送信
装置１０７などが無くても構成することが出来る。

【００５２】４．積算装置１０２：４．１積算装置１０２の構成：積算装置１０２の詳細
な構成を図４に示す。図４において、符号１０９は対象
物を写すカメラであり、符号５０２はこのカメラ１０９
により得られた濃淡画像から特徴パターンを取り出す特
徴パターン計算装置である。この特徴パターン計算装
置５０２は、本実施例では、特徴パターンとして画像を
微分して得られるエッジパターンを計算する。また、符
号５０３は特徴パターン計算装置５０２の出力画像をも
とにポテンシャル場を計算する拡散計算装置であり、符
号５０４は上記で計算されたポテンシャル場を記憶する
第１画像記憶装置である。この時、上記特徴パターン
計算装置５０２により濃淡画像を微分して得られるエッ
ジパターン信号波形と、この出力画像をもとにポテンシ
ャル場を計算することにより得られる拡散計算装置５０
３からの対象パターン信号ａ（ｘ，ｙ）の波形が添付の
図７（Ａ）に示されている。

【００５３】さらに、図１で説明した環境モデル描画手
段１０４は、上記環境モデル１０５のデータに基づいて
カメラの視点から見たときに推定される物体５０９の参
照パターン（図６の符号Ｂ）を生成し、符号５０６はこ
の生成された参照パターンＢを記憶する第２画像記憶装
置である。なお、上記の環境モデル描画手段１０４が生
成する参照パターンＢは、特徴パターン計算装置５０
２が計算する特徴パターンに対応したものであり、本実
施例では物体の隠線消去によりえられるワイヤーフレー
ム像である。環境モデル１０５のデータに基づいて環境
モデル描画手段１０４が生成する参照パターン信号ｂ
（ｘ，ｙ）が図７（Ｂ）に示されている。

【００５４】さらに、符号５０５、５０７は上記第１、
第２画像記憶装置５０４、５０６のデータにより参照パ
ターンＢに作用する力とモーメントを計算する力モーメ
ント計算装置である。すなわち、この力モーメント計算
装置５０５、５０７は、添付の図７（Ｃ）に示すよう
に、第２画像記憶装置５０６を参照しながら第１画像記
憶装置５０４を図の矢印ように走査する。この走査が第
２画像記憶装置５０６のワイヤフレームにぶつかる度に
第１画像記憶装置５０４に記憶された画像の勾配ベクト
ルを計算して上記の計算式、（数１４）〜（数１７）に
従って積算する。この積算結果は、座標系管理手段１０
３へ送られ、座標系管理手段１０３では、上記の積算結
果から三次元（ワールド座標系）において対象パターン
と参照パターンとを重ね合わせるために必要な移動方向
を計算して環境モデル１０５を更新する。

【００５５】なお、図１でも説明した座標系管理手段１
０３は、上記の力モーメント計算装置５０５、５０７で
求められた力とモーメントにより環境モデル１０５のな
かの物体位置姿勢を計算する。なお、上記の拡散計算装
置５０３の拡散計算は、既述の式（数１３）の解を正確
に得るものであってもよいが、これには一般に多大の計
算を要するので、ここでは以下の式に示す微分演算によ
り近似的に計算する。

【数２１】ここで、Ｕ^t+1 _i,jは画素（ｉ，ｊ）のｔ番目の繰返し計
算結果、ａ（ｘ，ｙ）は入力エッジパターンの（ｉ，
ｊ）画素値、ｋは定数である。この計算は繰返し回数が
多いほど式（数１３）の解に近づくが、少ない繰返し回
数であっても、以下の処理を行なうのに十分な近似を与
える。また、カメラ１０９から画像を連続的に入力する
場合、１つ前の画像に対する計算結果を初期値とする
と、繰返し回数を節約できる。上記の図４の例では、第
１画像記憶装置５０４に上記のＵ^t+1 _i,jを記憶してお
き、拡散計算装置５０３と第１画像記憶装置５０４との
間のループにより繰返し計算を行なう。力モーメント計
算装置５０５、５０７では次式によりｘ，ｙ，ｚ方向の
力とモーメントを計算する。

【数２２】

【数２３】

【数２４】

【数２５】

【数２６】

【数２７】ここで、ｂ（ｘ，ｙ）は参照パターンＢの（ｉ，ｊ）画
素値、ｉ₀，ｊ₀はＢの重心位置に相当する画素位置であ
る。

【００５６】４．２力モーメント計算装置５０５、５
０７の概要：力モーメント計算装置５０５、５０７は、
入力画像を拡散処理（「画像処理装置」（特開平０２
−１３７０７２号公報）を参照）した後、拡散画像空間
の特定の積算領域のデータを積算することができる。積
算領域は、４つの積算領域ウィンドウと参照画像によっ
て定義することができる。被積分関数は４種類あり、６
種類の入力データの中から選択することができる。６種
類の入力データとは、画像データ入力Ｉ１、Ｉ２、Ｉ３
と画像空間アドレスｘ、ｙと定数Ｃ１、Ｃ２である。積
算結果は積算結果出力用レジスタを通して読み出すこと
ができる。

【００５７】４．３積算レジスタ５０８：図５に示す
ように、上記の力モーメント計算装置５０５、５０７
は、それぞれ、３個の積算結果出力用レジスタＲ１、Ｒ
２、Ｒ３を持つ積算レジスタ５０８から構成されてお
り、これらレジスタＲ１、Ｒ２、Ｒ３の出力は以下の式
で示される。

【００５８】

【数２８】

【数２９】

【数３０】なお、これらの式（数２８）〜（数３０）におけるｓは
積算領域を表す。また、加算／減算の選択は、ＡＤＳＢ
レジスタによって選択することができる。

【００５９】４．４入力データの選択：上記の式（数
２８）〜（数３０）の入力データ変数Ａ，Ｂ，Ｃ，Ｄ
は、上記の図５に示した積算レジスタ５０８の入出力制
御レジスタＬＳＡ、ＬＳＢ、ＬＳＣ、ＬＳＤに格納する
値によって、下記の表１のルールで決められる。

【表１】

【００６０】４．５積算領域ｓ：上記の式（数２８）
〜（数３０）における積算領域ｓは、図５に示した積算
レジスタ５０８の制御レジスタＣ０〜Ｃ３に格納する値
によって、下記の表２のルールで決まる。

【表２】

【００６１】４．６積算領域ウィンドウＷ：上記力モ
ーメント計算装置５０５、５０７では、４つのウィンド
ウを定義することができる。各々のウィンドウＷｉは左
上の座標（ＸＬｉ，ＹＬｉ）、横幅ＸＳｉ、縦幅ＹＳｉ
で決まる。積算領域ｓは、ウィンドウＷｉの組合せで決
まり、これらウィンドウの組合せは、図５に示す積算レ
ジスタ５０８のレジスタＯＲに格納する値によって決
る。

【００６２】４．７カメラ座標系移動量積算ルール：
ここでは、積算レジスタ５０８の出力結果から、カメラ
座標系移動量マトリクス［Ｓｄ］、［Ｒｄ］を求めるた
めの計算ルールを説明する。まず、積算領域ｓが画面全
体になるように積算領域ウィンドウＷを設定し、被積分
関数は以下の様になるようにレジスタをセットする。力
モーメント計算装置５０５：

【数３１】

【数３２】

【数３３】

【数３４】

【数３５】

【数３６】力モーメント計算装置５０７：

【数３７】

【数３８】

【数３９】

【数４０】ここで、ｘ，ｙはカメラスクリーン座標を、ｘ０，ｙ０
はカメラスクリーン物体重心座標を、ｄｘ，ｄｙ，ｄ
ｚ，ｄｒは、それぞれ、カメラ座標系における計測対象
物体モデルのｘ軸、ｙ軸、ｚ軸、及び、ｘ軸の回りの
回転成分を、そして、Ｃｘ、Ｃｙ、Ｃｚ、Ｃｒは定数を
表している。また、ｓｉｇｎ（引数）関数は、引数の符
号によって＋１あるいは−１を出力する関数である。ｄ
ｘ、ｄｙ、ｄｚから［Ｓｄ］を、ｄｒから［Ｒｄ］を求
める方法は、既に公知となっていることから、ここでは
その説明は省略する。

【００６３】５．ロボットアーム誘導への応用例１：本
発明による画像計測装置をロボットアームの誘導へ応用
した場合について、図８及び図９を用いて説明する。ま
ず、図８には、箱４０１、画像計測用ターゲット４０
２、箱４０３、画像計測用ターゲット４０４、画像計測
用の手先カメラ４０５、画像計測用の監視カメラ４０
６、ロボットアーム４０７が示されている。また、図
９（Ａ）〜（Ｄ）には、上記監視カメラ４０６の監視カ
メラ画像４０８と、上記手先カメラ４０５の手先カメラ
画像４０９、４１０、４１１がそれぞれ示されている。

【００６４】いま、ロボットアーム４０７が、箱４０１
に仕事をするために、画像計測用ターゲット４０２を監
視しながら箱４０１に近づく場合を考える。ここで問題
になるのは、まず、カメラの画角が限られているので、
常に、作業対象物（箱４０１）全体を見ることができな
いことと、計測用ターゲット４０２の像が適当な大きさ
でカメラスクリーンの中に存在する必要があることであ
る。すなわち、ターゲット４０２の像が、カメラスクリ
ーンに対して小さ過ぎても、逆に大き過ぎても計測性能
を落す。そこで、ロボットアーム４０７の動作と作業環
境の状況に対応して、計測用ターゲット４０２と画像計
測用カメラ４０６とをオンラインで切り替える。ま
た、切り替え用のルールをシステムに組み込む。

【００６５】まず、図８の位置Ｗにある監視カメラ４０
６の画像から作業対象の箱４０１を決定する。この時に
は、箱４０１全体を計測用ターゲットにすると、効率良
く箱の位置を計測できる。なお、本画像計測のパター
ン照合アルゴリズム「画像処理装置」（特開平２−１３
７０７２号公報参照）では、計測用ターゲット４０１と
参照パターン（計測対象モデルのカメラスクリーン投影
像）が、局所的に一致するような場合でも照合可能なの
で、多少の重なりや、画面からのはみ出しは気にせず、
計測を行なうことができる。

【００６６】また、図９（Ａ）の画像４０８の中から作
業対象の箱４０１の選択を行う場合は、マウス等の補助
入力装置を用いてオペレータの手で行なう事ができる。
この方法は「３次元選択方式」（特開平１−１１２３７
４号公報参照）に詳細に説明している。

【００６７】次に、作業対象の箱４０１にロボットアー
ム４０７を、図８のＡ→Ｂ→Ｃの経路で誘導する。ま
ず、画像計測用カメラを監視カメラ４０６から手先カメ
ラ４０５に切り替える。次に、手先カメラ４０５から得
られた画像により手先カメラ４０５と画像計測用ターゲ
ット４０２との間の相対距離を計測し、ロボットアーム
４０７の目標位置に対する実際の位置を検出しながら、
ロボットアーム４０７の動作軌道を修正しながら目標地
点まで誘導する。これらＡ，Ｂ，Ｃ地点のカメラ画像
（図９（Ｂ）〜（Ｄ）に符号４０９、４１０、４１１で
示す）では、ターゲット４０２が一貫して現れている。
もし、どの地点かで、ターゲット４０２が画像の外には
み出す場合には、計測用ターゲットを切り替える。さ
らに、ロボットアーム４０７が次に動こうとする位置に
対する、計測用ターゲットと画像計測用カメラの切り替
えルールを決めることもできる。この様なロボットアー
ム４０７の誘導方式を用いれば、誘導中に箱４０１が
動いても誤らずにロボットアーム４０７を箱４０１に確
実に誘導することができる。

【００６８】また、ロボットアーム４０７と箱４０１を
それぞれ作業衛星と作業対象衛星に置き換えると、この
アーム誘導手段は、そのままランデブードッキング手段
になる。また、ロボットアーム４０７と箱４１０を、そ
れぞれ、走行中の２台の自動車の自車と他車に置き換え
ると、このアーム誘導手段は、そのまま、車間距離測定
装置にもなる。

【００６９】６．ロボットアーム誘導への応用例２：本
発明による画像計測装置を複数のロボットアームの誘導
へ応用した場合について図１０を用いて説明する。図１
０（Ａ）には監視カメラ７０１、ロボットアーム７０
２、７０３、物体７０４、ターゲット７０５、７０６
が、図１０（Ｂ）には上記監視カメラの画像７０７が示
されている。

【００７０】いま、ロボットアーム７０２と７０３で物
体７０４に作業をするために、ロボットアーム７０２を
ターゲット７０６へ、ロボットアーム７０３をターゲッ
ト７０５へ、それぞれ誘導する場合を考える。画像計測
装置を複数台用いれば複数のターゲットを並列的に計測
することができるが、本実施例では１台の画像計測装置
で計測ターゲットを切り替えながら複数のロボットアー
ムを誘導するようにした場合について説明する。

【００７１】まず、監視カメラ画像７０１だけを用いる
ときには、ロボットアーム７０２と７０３、ターゲット
７０５と７０６とが、図１０（Ｂ）の監視カメラ画像７
０７に写っている必要がある。この状態で、前記ロボ
ットアーム７０２と７０３及びターゲット７０５と７０
６を計測ターゲットにして順番に計測し、ロボットアー
ム７０２とターゲット７０６、ロボットアーム７０３と
ターゲット７０５の間の相対距離それぞれを求めること
により、上記の５章で説明した方法と同様の方法でロボ
ットアーム７０２をターゲット７０６へ、ロボットアー
ム７０３をターゲット７０５へ、それぞれ誘導すること
ができる。

【００７２】このようにすると、環境モデル１０５は、
計測するたびに２章と３章で説明した方法により実時間
で更新される。一方、ロボットアーム７０２と７０３に
行なわせる作業の計画は、上記の方法により実時間で更
新された環境モデル１０５を用いてオペレータが決定す
る。１台のロボットアームに１人のオペレータが着く
場合、２人のオペレータが各自１台ずつのロボットアー
ムを用いて、共通の環境モデル１０５をベースにして、
互いに相談しあいながら作業を進めることもできる。

【００７３】また、上記の本発明の実指例では、対象パ
ターンの大きさの変化を検出することにより対象パター
ンと参照パターンの間に奥行き方向のずれがある場合に
も対処できる。従って、ロボットアームの誘導のみでな
く、広く一般的な重ね合わせ処理に対処することが可能
となる。また、パターンに働く力が保存されていれば、
対象パターンと参照パターンが位置姿勢のずれによって
合同でなくなるような場合にも利用できる。すなわち、
従来のテンプレートマッチングとは異なり、重ね合わせ
るべき参照パターンが処理の進行とともに変形するよう
な重ね合わせも実行できる。画像計測装置の利用者に及
ぼす作用は、単眼カメラでその光軸方向の距離を容易に
計測できるようになることである。

【００７４】さらに、上記の本発明の実施例により容易
になる点を具体的に説明すると、まず、単眼であるた
め、２眼間の相対位置計測を要するステレオ視に比較し
て、カメラのキャリブレーション作業が容易になる。ま
た、実物体とモデルとの照合に専用の特徴量を用いない
で、常にモデル輪郭の投影像のみを用いるので、ＣＡＤ
データを直接照合用の環境モデルとして用いることがで
き、画像計測装置の他システムへの適用が容易になる。
また、光軸方向の距離を容易に計測できることにより、
計測対象物体がカメラにまっすぐ近づいてくる場合にも
計測対象物体の位置を連続的に計測することができる。
また、本装置が実時間(16ｍｓ)で計測アルゴリズムを実
行するので、ロボットの視覚情報による制御アルゴリズ
ムを容易に多彩にすることができる。例えば、動いてい
る物体の位置を計測しながら、その物体をロボットアー
ムにより把持する、というアルゴリズムも、書くことが
できる。

【００７５】

【発明の効果】以上の本発明の詳細な説明からも明らか
なように、本発明の遠隔操作システムの画像計測方法及
びその装置によれば、確実な遠隔操作を行うために必要
とされる作業系システムと指令系システムで共通の環境
モデルを、参照パターンと対象パターンの各部に働く力
の合力の方向により重ね合わせるための移動方向を決定
することにより更新するようにしたことにより、対象パ
ターンの欠落やノイズに対して強く、かつ、その処理を
同時進行的に行ない、しかも、必要な処理の大半を簡単
な加減算によって近似できるため、処理の高速化を容易
に図ることが可能となり、作業環境を計測して時々刻々
変化する作業環境に従って環境モデルを書き換えること
が可能となる。これにより、作業系システムと指令系シ
ステムを実時間で作業環境に従って々刻々変化する共通
環境モデルとするにより、遠隔操作システムにおける確
実な遠隔操作を実用的にも実現することが出来る。

【００７６】また、計測対象については、実物体とモデ
ルとの照合に専用の特徴量を用いることなく、ワイヤー
フレームモデルの投影像を用いることを可能にしたこと
により、一般のＣＡＤデータを直接照合用の環境モデル
として用いることができ、しかも、入出力装置により計
測状況を監視しながらオペレータが随時介入することも
可能となり、遠隔操作システムを実用するための条件を
満足することが出来る。

【図面の簡単な説明】

【図１】本発明の実施例である画像計測装置を含む遠隔
操作システムの要部構成を示すブロック図である。

【図２】上記図１に示した画像計測装置における処理を
説明するためのフローチャート図である。

【図３】上記図２に示すフローチャートの一部分を更に
詳細に説明するためのフローチャート図である。

【図４】上記図１に示した遠隔操作システムの画像計測
装置の積算装置を中心にその内部詳細構成を示したブロ
ック図である。

【図５】上記図４に示した積算装置に使用される積算ブ
ロックを説明する図である。

【図６】本発明による遠隔操作システムの画像計測装置
の重ね合わせの原理を説明する図である。

【図７】上記図４に示した積算装置内における信号波形
や処理を説明するための動作説明図である。

【図８】本発明による画像計測装置を、ロボットアーム
の誘導に応用した応用例１の構成を説明する図である。

【図９】上記図８の応用例における動作を説明するため
の画像表示の画面の状態を示す図である。

【図１０】本発明による画像計測装置を複数のロボット
アームの誘導に応用した応用例２の構成と画像表示の画
面を示す図である。

【符号の説明】

１００画像計測システム１０１インターフェイス制御手段１０２積算装置１０３座標系管理手段１０４環境モデル描画手段１０５環境モデル１０６データ受信装置１０７データ送信装置１０８入出力装置１０９カメラ１１０モニタ２００画像計測アルゴリズム２０１画像計測装置初期化２０２環境モデル描画２０３積算装置レジスタセット２０４積算処理２０５積算装置レジスタリード２０６かめら座標系移動量マニュアル入力２０７カメラ座標系物体位置姿勢変換マトリクス計算２０８カメラ座標系移動量変換マトリクス計算２０９カメラ座標系物体位置姿勢変換マトリクス抽出２１０カメラ座標系物体位置姿勢変換マトリクス更新２１１物体位置姿勢データ更新２１２データ送信２１３データ受信２０１１描画装置初期化２０１２積算装置初期化２０１３変換マトリクス初期化２０１４三角関数テーブル初期化２０１５カメラパラメータ変数初期化２０１６環境モデルデータ初期化４０１箱４０２画像計測用ターゲット４０３箱４０４画像計測用ターゲット４０５画像計測用手先カメラ４０６画像計測用監視カメラ４０７ロボットアーム４０８監視カメラ画像４０９手先カメラ画像４１０手先カメラ画像４１１手先カメラ画像５０２特徴パターン計算装置５０３拡散計算装置５０４第１画像記憶装置５０５力モーメント計算装置５０６第２画像記憶装置５０７力モーメント計算装置５０８積算レジスタ５０９物体Ｆｘｘ軸方向の力Ｆｙｙ軸方向の力Ｆｚｚ軸方向の力Ｎｚｚ軸回りのモーメント７０１監視カメラ７０２ロボットアーム７０３ロボットアーム７０４物体７０５誘導ターゲット７０６誘導ターゲット７０７監視カメラ画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者浜田朋之茨城県土浦市神立町502番地株式会社日立製作所機械研究所内 (72)発明者青木利幸茨城県土浦市神立町502番地株式会社日立製作所機械研究所内

Claims

【特許請求の範囲】

【請求項１】画像計測手段により作業環境における任
意形状物体像の形状の変化を計測することにより遠隔操
作システムの作業側と指令側とで一致した環境モデルを
生成し、この環境モデルに基づいて遠隔操作システムの
指令及び作業を行う遠隔操作システムの画像計測方法で
あって、前記画像計測手段により計測される作業環境に
おける任意形状物体像の形状の変化を任意形状物体モデ
ルと重ね合わせがら当該環境モデルを更新するものにお
いて、当該任意形状物体モデルを当該任意形状物体に重
ね合わせる際、当該任意形状物体と当該任意形状物体モ
デルとをポテンシャル場を利用して演算し、もって、前
記環境モデルを更新することを特徴とする遠隔操作シス
テムの画像計測方法。
【請求項２】前記請求項１に規定した遠隔操作システ
ムの画像計測方法において、前記環境モデルの更新のた
めの当該演算処理を１６ｍｓ以下の時間で繰り返して行
うことを特徴とする遠隔操作システムの画像計測方法。
【請求項３】前記請求項１に規定した遠隔操作システ
ムの画像計測方法において、当該任意形状物体モデルを
当該任意形状物体に重ね合わせる際、当該任意形状物体
に当該任意形状物体モデルを重ね合わせるために当該任
意形状物体モデルに働く力及びモーメントの方向を計算
し、当該力及びモーメントの方向により当該任意形状物
体モデルを更新することを特徴とする遠隔操作システム
の画像計測方法。
【請求項４】前記請求項３に規定した遠隔操作システ
ムの画像計測方法において、当該任意形状物体モデルに
働く力及びモーメントの方向を計算するため、当該任意
形状物体と当該任意形状物体モデルとに逆の電荷を与え
た場合に働くポテンシャル場を利用して演算することを
特徴とする遠隔操作システムの画像計測方法。
【請求項５】前記請求項４に規定した遠隔操作システ
ムの画像計測方法において、当該任意形状物体モデルに
働く力及びモーメントの方向の計算を、下記の式により
演算し、【数１】【数２】【数３】【数４】【数５】ここで、関数ａ（ｘ，ｙ）は当該任意形状物体を、関
数ｂ（ｘ，ｙ）は当該任意形状物体モデルを、φ（ｘ，
ｙ）は当該ポテンシャル場を、ｓは画像平面上の全領域
であり、また、座標位置（ｘ０，ｙ０）は当該任意形状
物体モデルの重心位置を示していることを特徴とする画
像処理による距離計測方法。
【請求項６】前記請求項４に規定した遠隔操作システ
ムの画像計測方法において、当該任意形状物体モデルに
働く力及びモーメントの方向の計算を、近似計算により
演算することを特徴とする遠隔操作システムの画像計測
方法。
【請求項７】前記請求項６に規定した遠隔操作システ
ムの画像計測方法において、当該任意形状物体モデルに
働く力及びモーメントの方向の計算を、下記の式により
近似的に演算し、【数６】【数７】【数８】【数９】【数１０】【数１１】【数１２】ここで、Ｕ^t+1 _i,jは画素（ｉ，ｊ）のｔ番目の繰返し計
算結果、ａ（ｘ，ｙ）は当該任意形状物体の（ｉ，ｊ）
画素値、ｂ（ｘ，ｙ）は当該任意形状物体モデルの
（ｉ，ｊ）画素値、ｋは定数、ｉ０，ｊ０は当該任意形
状物体モデルの重心位置に相当する画素位置であること
を特徴とする遠隔操作システムの画像計測方法。
【請求項８】前記請求項１に規定した遠隔操作システ
ムの画像計測方法において、当該任意形状物体モデルを
当該任意形状物体に重ね合わせる際、前記画像計測手段
により計測される当該任意形状物体像に拡散処理を行う
ことを特徴とする遠隔操作システムの画像計測方法。
【請求項９】前記請求項１に規定した遠隔操作システ
ムの画像計測方法において、さらに、入出力装置を備
え、前記画像計測を失敗した場合、動作状況を監視して
いるオペレータが前記入出力装置を用いて介入して正常
な状態に調整して、前記計測を再開始することを可能と
したことを特徴とする遠隔操作システムの画像計測方
法。
【請求項１０】画像計測手段により作業環境における
任意形状物体像の形状の変化を計測することにより遠隔
操作システムの作業側と指令側とで一致した環境モデル
を生成し、この環境モデルに基づいて遠隔操作システム
の指令及び作業を行う遠隔操作システムにおいて、前記
画像計測手段により計測される作業環境における任意形
状物体像の形状の変化を任意形状物体モデルと重ね合わ
せがら当該環境モデルを更新するための画像計測装置で
あって、任意形状物体モデルのデータを記憶する環境モ
デルと、前記環境モデルからの任意形状物体モデルデー
タに基づいて任意形状物体モデルを生成する環境モデル
描画手段と、画像計測手段により計測された任意形状物
体の像と前記環境モデル描画手段からの任意形状物体モ
デルを実時間で演算処理して前記環境モデルの任意形状
物体モデルを更新する積算装置とを備えたことを特徴と
する遠隔操作システムの画像計測装置。
【請求項１１】前記請求項１０に規定した遠隔操作シ
ステムの画像計測装置において、さらに、前記環境モデ
ルのデータを他のシステムへ転送するためのデータ送信
手段を備えていることを特徴とする遠隔操作システムの
画像計測装置。
【請求項１２】前記請求項１０に規定した遠隔操作シ
ステムの画像計測装置において、さらに、前記環境モデ
ル描画手段からの出力で前記任意形状物体及び前記任意
形状物体モデルを表示するモニタ手段を備えていること
を特徴とする遠隔操作システムの画像計測装置。
【請求項１３】前記請求項１０に規定した遠隔操作シ
ステムの画像計測装置において、さらに、前記積算装置
で更新された任意形状物体モデルの位置座標を前記環境
モデルの位置座標へ変換する座標系管理手段を備えてい
ることを特徴とする遠隔操作システムの画像計測装置。
【請求項１４】前記請求項１０に規定した遠隔操作シ
ステムの画像計測装置において、前記積算装置は、前記
画像計測手段からの前記任意形状物体像を基に特徴パタ
ーンを計算する特徴パターン計算装置を備えていること
を特徴とする遠隔操作システムの画像計測装置。
【請求項１５】前記請求項１０に規定した遠隔操作シ
ステムの画像計測装置において、前記環境モデル描画手
段は、前記任意形状物体モデルを陰線消去によるワイヤ
フレーム像により生成することを特徴とする遠隔操作シ
ステムの画像計測装置。
【請求項１６】前記請求項１３に規定した遠隔操作シ
ステムの画像計測装置において、前記積算装置は、さら
に、前記画像計測手段からの前記任意形状物体像を記憶
する第１画像記憶装置と、前記環境モデル描画手段で生
成された前記任意形状物体モデルを記憶する第２画像記
憶装置とを備え、これら第１画像記憶装置と第２画像記
憶装置の記憶内容により当該任意形状物体と当該任意形
状物体モデルとのポテンシャル場を利用した演算により
当該環境モデルを更新することを特徴とする遠隔操作シ
ステムの画像計測装置。
【請求項１７】前記請求項１６に規定した遠隔操作シ
ステムの画像計測装置において、前記積算装置は、さら
に、前記第１画像記憶装置と第２画像記憶装置の記憶内
容により、ポテンシャル場を利用して当該任意形状物体
に重ね合わせるために当該任意形状物体モデルに作用す
る力とモーメントを計算する力モーメント計算装置を備
えていることを特徴とする遠隔操作システムの画像計測
装置。
【請求項１８】前記請求項１７に規定した遠隔操作シ
ステムの画像計測装置において、前記力モーメント計算
装置は、ポテンシャル場を利用して当該任意形状物体に
重ね合わせるために当該任意形状物体モデルに作用する
力とモーメントを近似計算するための積算レジスタを備
えていることを特徴とする遠隔操作システムの画像計測
装置。
【請求項１９】前記請求項１４に規定した遠隔操作シ
ステムの画像計測装置において、前記積算装置は、さら
に、前記特徴パターン計算装置により計算された特徴パ
ターンに基づいて拡散計算を行う拡散計算装置を備えて
いることを特徴とする遠隔操作システムの画像計測装
置。
【請求項２０】前記請求項１０に規定した遠隔操作シ
ステムの画像計測装置において、さらに、前記環境モデ
ルへ他のシステムからのデータを転送するためのデータ
受信手段を備えていることを特徴とする遠隔操作システ
ムの画像計測装置。
【請求項２１】前記請求項１０に規定した遠隔操作シ
ステムの画像計測装置において、さらに、前記画像計測
装置における画像計測が失敗した場合、動作状況を監視
しているオペレータが介入して正常な状態に調整して画
像計測を再開始することを可能とするための入出力装置
を備えていることを特徴とする遠隔操作システムの画像
計測装置。
【請求項２２】前記請求項１に規定した遠隔操作シス
テムの画像計測方法、または、前記請求頁１０に規定し
た遠隔操作システムの画像計測装置により実時間で更新
した前記環境モデルの任意形状物体モデルと前記画像計
測装置により計測した任意形状物体像により、前記画像
計測装置の光軸方向の距離を測定することを特徴とする
遠隔操作システムの画像計測装置。