JPH024951B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理装置に係り、特に２つの画像
の照合を高速で処理することができる画像処理装
置に関するものである。

〔従来の技術〕

従来、２つの画像を照合する画像処理装置に
は、標準パターンと対象パターンとを照合比較す
るものがある。この場合に、対象パターンを得る
ための物体認識技術には例えば昭和58年５月発行
の雑誌「センサ技術」の第56頁〜第63頁に記載さ
れているように種々の認識技術がある。特に３次
元の物体を認識する一方式として、例えば、テレ
ビカメラ等の入力装置によつて得た画像を処理し
て、その特徴パターンを抽出するものがある。こ
の特徴パターンの抽出は画像の各画素ごとに近傍
画素との演算を並列に実行する所謂局所処理形の
装置が用いられていた。

〔発明が解決しようとする問題点〕

上記従来例では、多大な画像処理ステツプによ
り、撮影画像から対象パターンに相当する特徴パ
ターンを抽出し、この対象パターンと標準パター
ンとの重ね合せにより比較照合を行つているた
め、その比較照合のために多大な時間を要してい
る。

本発明は上述の事柄にもとづいてなされたもの
で、２つの画像の照合を高速で処理し得る画像処
理装置を提供することを目的とする。

〔問題点を解決するための手段〕

本発明の上記の目的は、第１の画像と第２の画
像とを照合する画像処理装置において、前記第１
の画像と第２の画像との画像間に働く力学的相互
作用力により、これらの画像誤差を求める画像演
算手段を備えることにより達成される。

〔作 用〕

２つの画像は、これらの画像間に働く力学的相
互作用により得られる画像誤差でその照合を比較
するので、２つの画像の照合を高速で処理するこ
とができる。

〔実施例〕

以下、本発明の実施例を図面を参照して説明す
る。

まず、本発明の実施例の説明に先立つて、本発
明の原理を説明する。本発明の装置を用いる誘導
装置は、環境モデル並びに移動経路に関する情報
が既に与えられているとの前提のもとで、移動体
に搭載したカメラにより撮影した画像にもとづい
て移動体の位置を推定し、その誘導信号を演算す
るものである。この誘導信号を得るためのアルゴ
リズムを、さらに詳しく述べると、第１図に示す
ように、移動体の走行モータの回転量およびステ
アリング量等にもとづいて、移動体の現在位置の
事前推定値X゜を求め、ついでこれに対応する予
測画像f_pを環境モデル情報Ｋと予測手段Ｌとによ
り予測した後、この予測画像f_pと観測画像f_nとの
比較を行つてその画像誤差E_fを求め、この画像誤
差E_fを変換手段Ｍにより位置誤差E_xに変換し、こ
の位置誤差E_xにもとづいて前記の事前推定値X゜
を修正して位置推定値Ｘを求めている。この位置
推定値Ｘにもとづいて移動体は所望の経路に誘導
される。前述した移動体の現在位置を予め設定さ
れた経路に一致させるための情報は、位置推定の
残差E_xとしてテレビカメラのサンプリング速度
で常時入手される。

本発明においては、前述した誘導信号を求める
演算フローにおける位置誤差変換のための予測画
像f_pと観測画像f_nとの比較に際して、これらの画
像のパターン間に力学的モデルを導入して得られ
るダイナミツクな位置推定手段を用いている。

この位置推定手段は、第２図に示すように、同
一空間Ｓ内にパターンＡおよびパターンＢを配置
し、さらにこれらのパターンＡ，Ｂにそれぞれの
操作機構M_A，M_Bを設け、操作機構M_A，M_Bのい
ずれかもしくは両者を操作して、パターンＡ，Ｂ
間に働く相互作用Φ_ABを減少させるようにパター
ンを動作させて、パターンマツチングをダイナミ
ツクに実行する。

次に上述したパターン間に働く相互作用Φ_ABに
ついて述べる。

以下、説明を単純化するために、第２図に示す
ように、空間Ｓを画像とし、パターンＡ，Ｂを２
値画像とする。ここで、パターンＡは観測画像に
もとづくパターンとし、パターンＢは環境モデル
によつて生成された予測画像にもとづくパターン
とする。いま、パターンＡが与えられたとき、パ
ターンＢの位置をパターンＡに接近させる適応則
を見い出す必要がある。この適応則は空間Ｓ上に
パターンＡにより生成されるポテンシヤルΦ_Aを
導入することによつて得られる。このポテンシヤ
ルΦ_Aは次の(1)式により求めることができる。

αΦ_A＋X_A＝０ …(1) ここで、 αは σ_x・∂²／∂x²＋σ_y∂²／∂y² なる微分作用素である。ただし、δ_x，δ_yはポテン
シヤルΦ_Aの空間的広がりを表わすパラメータで
ある。また、(1)式において、X_AはパターンＡを
空間Ｓの部分集合とみなしたときの定義関数であ
る。

次に上述した空間Ｓ上のパターンＡのポテンシ
ヤルΦ_A場により、パターンＢの受ける作用F_Bは、
次の(2)式より求めることができる。ここでは説明
の便宜上、２次元平面内でのｘ軸およびｙ軸方向
への移動のみを対象としている。

F_B＝∫s X_B×DΦ_A d_s …(2) ただし、X_BはパターンＢを空間Ｓの部分集合
と同一視したときの定義関数であり、Ｄは勾配作
用素、すなわち （σ_x・∂／∂_x，σ_y）′ なる微分作用素を表している。

上述の(1)式および(2)式により、パターンＢをパ
ターンＡに対して変形させるための情報、すなわ
ち移動体の誘導情報を得ることができる。しか
し、この演算における(1)式においては無限次元の
連立方程式を含んでいるため、つぎの近似式(3)を
用いることがよい。

∂Φ_A／∂_t＝αΦ_A＋X_A …(3) ここで、(3)式により(1)式を近似できる理由は次
のとおりである。すなわち、(3)式において作用素
αは負の固有値を持つ。これにより、Φ_Aが定常
値を持つ。この場合には、時間ｔ→∞で∂Φ_A／∂_t
＝０となり、これは(1)式と一致する。したがつ
て、(3)式の解は、(1)式に収束することを意味し、
(3)式は(1)式を近似できることとなる。上記(3)式の
ポテンシヤルΦ_Aの解を用いて、パターンＢをパ
ターンＡに移動操作するための操作機構M_Bの出
力U_Bは、次の(4)式によつて求めることができる。

U_B＝―∫s X_B・DΦ_A d_s …(4) 上記(3)式および４式から構成されるパターンマ
ツチング機構は、画像メモリおよび２種類の領域
演算装置によりハードウエア化することができる
ものである。

以上述べた本発明の原理にもとづいて、本発明
の装置を移動体誘導装置に適用した実施例を、第
３図を参照して説明する。この図において、誘導
装置によつて誘導される移動体１は例えば車輪、
無限軌道等の走行部Ａを備え、操向装置（図示せ
ず）によつて所望の方向に移動することができ
る。この移動体１は自己の位置を予測するための
情報を提供する方位検出用のジヤイロスコープ１
Ｂおよび走行部１Ａの回転量検出用の検出器１Ｃ
を備えている。また、移動体１はその前方の情況
を画像情報として取り込むテレビカメラ２を備え
ている。

この移動体１を誘導する誘動装置は、ジヤイロ
スコープ１Ｂおよび検出器１Ｃからの情報信号に
もとづいて移動体１の経路中の位置を検出する移
動体位置検出手段３と、この移動体位置検出手段
３からの移動体位置にもとづいてその位置から推
定される環境の特徴推定パターン、例えば建屋内
の階段の平行線群、廊下と壁との境界、窓等の線
形状のパターンおよび建屋内径路情報を記憶して
いる記憶手段４と、テレビカメラ２からの観測画
像を同時に複数の特徴パターンに処理すると共
に、照合のために有効な特徴パターンを抽出する
画像処理手段５と、この画像処理手段５からの有
効な観測特徴パターンと前記記憶手段４からの予
測特徴パターンなどの一致性を検討する照合手段
６と、この照合手段６で得られた観測特徴パター
ンと予測特徴パターンとの比較により、画像間の
画像ずれ量を演算する画像演算手段７を備えてい
る。なお、この実施例においては、画像ずれ量は
移動体１の誘導信号に対応するので、画像演算手
段７を以下誘導制御手段と呼ぶこととする。この
誘導制御手段７の誘導信号は上述のように移動体
１を目標経路に沿つて移動させると共に、その位
置制御のために信号として用いられる。誘導制御
手段７は前述したように予測パターンと観測パタ
ーンとの間に働くポテンシヤルΦ_Aを演算するポ
テンシヤル場演算手段７Ａと、このポテンシヤル
Φ_Aの場によつて得られる観測パターンの予測パ
ターンに対する作用F_Bの勾配ベクトルを演算し、
２つの画像のずれ量を演算する作用力演算手段と
を備れている。これらの演算手段７Ａ，７Ｂの演
算内容は、前述した本発明の原理によつて実行さ
れる。

前述した本発明の画像処理装置５は、第４図に示
すように、入力画像を書き込む入力画像メモリ５
０１と、入力画像メモリ５０１への書き込みアド
レスを制御するパターンメモリ５０２と、処理画
像をストアする処理画像メモリ５０３と、与えら
れた画像の画素ごとに各画素の濃淡値をその近傍
の画素の濃淡値にもとづいて修正する修正値を計
算する画像演算器５０４と、入力画像メモリ５０
１および処理画像メモリ５０３の画素の濃淡値の
大きい方の値に対応する語長のデータに対する演
算を実行するハードロジツク回路５０５と、入力
画像メモリ５０３、処理画像メモリ５０３および
ハードロジツク回路５０５の値を選択的に出力す
るスイツチ５０６〜５０９と、スイツチ５０６〜
５０８を制御するメモリコントローラ５１１と、
メモリコントローラ５１１、パターンメモリ５０
２、ハードロジツク回路５０５、画像演算器５０
４およびスイツチ５１０を制御するコントローラ
５１２とを備えている。この画像処理装置５は入
力画像すなわち観測画像から同時に複数の観測特
徴パターンを抽出するために、複数個設置されて
いる。

この画像処理装置５は前述したようにパターン
メモリ５０２により入力画像メモリ５０１の書き
込みアドレスを制御し入力画像を入力画像メモリ
５０１にストアし得るので、変換演算は不要であ
り、画像入力信号に対してリアルタイムで歪補
正、位置向きの変換等を実行することができる。
この際、パターンメモリ５０２の内容はコントロ
ーラ５１２により変換設定することができる。ま
た、この画像処理装置５はコントローラ５１２に
より操作される画像演算器５０４とハードロジツ
ク回路５０５とにより、前述したポテンシヤル場
演算手段７Ａおよび作用力演算手段７Ｂの機能を
持つように切換え使用することができる。

次に上述した本発明の装置を備えた誘導装置の
実施例によつて移動体１を誘導する動作を説明す
る。

いま、第３図に示す移動体１はその前方にある
階段に向つて移動する場合を設定する。このと
き、テレビカメラ２はその階段を撮影し、その画
像信号ｆを、画像処理装置５に出力する。このと
き、第５図に示すように画像処理装置５における
パターンメモリ５０２はテレビカメラ２のレンズ
の収差補正データを書き込んだ歪パターンメモリ
に設定され、また画像演算器５０４は水平方向の
拡散に対応した演算パラメータに設定され、さら
にハードロジツク回路５０５は画素の減算を行な
うように制御される。この設定により、第５図に
示すように歪をもつた階段画像F₁が入力された
場合に、この歪をもつた階段画像F₁の情報は歪
を除去した階段画像F₂の情報として入力画像メ
モリ５０１にストアされる。この歪を除去された
階段画像F₂はハードロジツク回路５０５および
画像演算器５０４により、例えば階段のステツプ
に相当する水平線画像F₃に処理される。この水
平線画像F₃は処理画像メモリ５０３にストアさ
れる。このストアされた水平線画像F₃の情報は、
スイツチ５０８，５１０によつて誘導制御装置７
のポテンシヤル場演算手段７Ａに出力される。

このポテンシヤル場演算手段７Ａは、前述した
ように第４図に示す画像処理装置５と同一構成で
実行し得ることを述べた。このため、第６図はポ
テンシヤル場演算手段７Ａの構成として取扱う。
この場合、パターンメモリ５０２は画像処理装置
５からの画像情報の特定領域を全画面に拡出する
機能、すなわち切り出し機能を行うように設定さ
れ、また、画像演算器５０４はその演算パラメー
タを等方性の拡散に設定され、さらに、ハードロ
ジツク回路５０５は加算モードに設定されてい
る。この状態において、第５図に示す画像処理装
置５からの水平線画像F₃の情報は切り出し設定
されたパターンメモリ５０２によつて例えば１つ
の水平線の情報F₄のみが入力画像メモリ５０１
にストアされる。この情報F₄はハードロジツク
回路５０５において画像演算器５０４からの等方
性の拡散を有する演算信号が加算されて、認識し
た情報F₄への接近の一つの尺度となるポテンシ
ヤル場の情報F₅に変換される。このポテンシヤ
ル場の情報F₅は処理画像メモリ５０３にストア
されると共に、スイツチ５１０を通してこれに接
続する作用力演算手段７Ｂに出力される。

この作用力演算手段７Ｂは前述したポテンシヤ
ル場演算手段７Ａと同様に第４図に示す画像処理
装置５と同一の構成で実現することができる。こ
の作用力演算手段７Ｂの動作を第７図によつて説
明する。この場合、パターンメモリ５０２は切り
出し用のパターンメモリに設定され、また画像演
算器５０４は作用力における勾配計算用の演算パ
ラメータに設定され、さらにハードロジツク回路
５０５は積算モードに設定されている。この状態
において、ポテンシヤル場演算手段７Ａからのポ
テンシヤル場の情報F₅はパターンメモリ５０２
によりその一部の情報F₆のみを抽出されて、入
力画像メモリ５０１にストアされる。この情報
F₆はハードロジツク回路５０５を通して画像演
算器５０４に加えられる。ここで、この情報F₆
は作用力の要素を表わす勾配場の情報F₇に演算
される。この勾配場の情報F₇は予め設定した移
動体１の移動経路に対する移動ずれ量を表わして
いる。換言するならば、設定移動経路に対して移
動体１が進むべき位置、向きを表わしている。こ
の勾配場の情報F₇は処理画像メモリ５０３にス
トアされると共に、移動体１の誘導信号としてス
イツチ５１０を通して第３図に示す移動体１に出
力される。この誘導信号は移動体１の操向装置を
操作する。これにより、移動体１は所定の経路に
沿つて誘導され、目的地に向つて移動することが
できる。また、この誘導信号は移動体位置予測手
段３からの移動体の予測位置値に比較され、実環
境を走行する際に生じる種々の誤差、例えばスリ
ツプ、路面の凹凸等により生じる走行距離誤差、
左右のモータのアンバランス、ジヤイロスコープ
のドリフトに起因するステアリング誤差等を修正
すると共に、走行開始時点での位置並びに方向誤
差を補正している。

上述した実施例によれば、テレビカメラによつ
て観測した観測画像は画像処理装置によつて、同
時に複数の特徴パターンに抽出され、その内で最
も良好に認識されたパターンを誘導の目標とする
ので、移動体の誘導のための観測特徴パターンと
予測特徴パターンとのずれ量を精度良く検出する
ことができる。さらに、観測特徴パターンと予測
特徴パターンとの間の偏差を表す情報は、誘導制
御歎置７によつてリアルタイムで検出される。

なお、上述の実施例においては、移動体を所定
の経路に沿つて自律的に誘導させる場合について
説明したが、本発明は例えば細胞摘出のためのメ
ス先端の位置制御、２台のテレビカメラを用いた
距離計測、移動体上に搭載したテレビカメラを移
動体からの振動の影響を受けないように視野制御
する場合の画像照合に適用することができる。

〔発明の効果〕

本発明によれば、２つの画像間の比較照合を高
速で処理することができる。

【図面の簡単な説明】

第１図は本発明の原理を説明するブロツク図、
第２図は本発明の原理の動作を説明する図、第３
図は本発明の装置の一実施例を適用した移動体誘
導装置の構成を示す図、第４図は本発明の画像処
理装置の一例の構成を示す図、第５図はその動作
を示す図、第６図は本発明に用いられるポテンシ
ヤル場演算手段の一例の構成を示す図、第７図は
本発明に用いられる作用力演算手段の一例の構成
を示す図である。 １…移動体、１Ａ…その走行部、１Ｂ…ジヤイ
ロスコープ、１Ｃ…検出器、２…テレビカメラ、
３…移動体位置検出手段、４…記憶手段、５…画
像処理手段、６…照合手段、７…画像演算手段
（誘導制御手段）、７Ａ…ポテンシヤル場演算手
段、７Ｂ…作用力演算手段。

Claims (1)

1. 【特許請求の範囲】 １ 第１の画像と第２の画像とを照合する画像処
   理装置において、前記第１の画像と前記第２の画
   像との画像間に働く力学的相互作用により、これ
   らの画像ずれ量を求める画像演算手段を備えたこ
   とを特徴とする画像処理装置。 ２ 特許請求の範囲第１項記載の画像処理装置に
   おいて、前記画像演算手段は、前記第１の画像と
   前記第２の画像との間に働くポテンシヤル場を演
   算するポテンシヤル場演算手段と、該ポテンシヤ
   ル場演算手段と、該ポテンシヤル場に基づき前記
   ２つの画像間に作用する力の勾配ベクトルを演算
   し、画像ずれ量を演算する作用力演算手段とを備
   えていることを特徴とする画像処理装置。