JPS63316277A - 画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的コ （産業上の利用分野） この発明は、２枚のステレオ画像の視差から該当三次元
体までの距離を計測するのに好適な画像処理装置に関す
る。

（従来の技術） 三次元体の例えば古さ方向の自動計測には、三次元体の
異なる角度からの２枚のステレオ画像の対応点を探し出
し、対応点間の画像上のずれから高さを求める方式が従
来より用いられている。

上記の対応点を求める方式としては、２枚のステレオ画
像の一方である基準画像上の基準点と他方の画像上の（
座標上の）、対応点のある範囲（サーヂエリア）の各点
で、周囲の画像の類似度を計算し、サーチエリア内で類
似度が最大となる点を対応点とする方式が知られている
。上記の類似度の計算には、画像間の相互相関値或は画
像間の残差の絶対値和等が用いられる。

（発明が解決しようとする問題点） 上記したように従来は、基準画像上の各点で＾さを求め
るためには、それぞれの′点毎に、サーチエリア内の各
点について類似度の計算を行なわなくてはならず、計算
量が膨大となり、多大な処理時間を要する問題があった
。そこで専用の三次元画像処理プロセッサの開発が望ま
れているが、この種のプロセッサは回路構成が複雑とな
るため、その実現は困難であった。

この発明は上記事情に鑑みてなされたものでその目的は
、２枚のステレオ画像の全点の対応付けを二次元画像処
理により行ない、この対応付けで求められる各対応点の
ずれの大きさく視差）をＩＩ濃淡値示す２次元の視差画
像を二次元画像処理で高速に求めることができる画像処
理装置を提供することにある。

［発明の構成］ （問題点を解決するための手段） この発明は、２枚のステレオ画像である第１および第２
画像の一方を、予め与えられた視差範囲内で値ｄｘだけ
ずらし、両画像の各対応画素間の差の絶対値を画像デー
タとする第３画像を得、この第３画像に対して平均値フ
ィルタリング処理を行なって第４画像を得、この第４画
像および初期状態において最大の濃淡値を持つ第５画像
の各対応画素の中で値が小さな方の画像データを対応画
素の画像データとして持つ第６画像を得るようにしたも
のである。この第６画像は、ｄｘを変更した際には第５
画像として用いられるもので、今までのｄｘ値の中で最
小の評価値を濃淡値（画像データ）とするものである。

この発明は更に、上記第６画像および上記第５画像の各
対応画素間の差の絶対値を画像データとする第７画像を
得、この第７画像をもとに同画像と同サイズの第８画像
を得るようにしたものである。この第８画像の各画素の
画像データは、第７画像の対応画素のそれがＯの場合に
は、初期状態において最小の濃淡値を持つ第９画像の対
応画素のそれに一致し、Ｏでない場合には値ｄＸに対応
するｍ両値に一致する。

この第８画像はｄｘ変更毎に上記第９画像として用いら
れる。

（作用） 上記の構成によれば、第９画像として用いられる第８画
像を求める処理を視差範囲内でｄｘｌｉＩＩを変えて繰
返すことにより、２枚のステレオ画像の全点の対応付け
が高精度で行なえ、上記の繰返し後の第８画像により、
各対応点のずれの大きさく視差）を濃淡値で示す視差画
像を得ることがで　−きる。

（実施例） 第２図はこの発明の一実施例に係る画像処理装置のブロ
ック構成を示す。同図において、１１は装置全体を制御
するＣＰｔＪ、１２は主メモリである。

１３−０．１３−２・・・１３−９は例えば８ビツトの
階調を持つ２次元のフレームメモリ、１４−０．１４−
１はそれぞれ８ビットデータ変換用、９ごットデータ変
換用のデータ変換テーブルの格納に供されるテーブルメ
モリである。

１５は２つの画像間の対応画素毎の差の絶対値を求め、
出力画像データとする二次元画像プロセッサ（以下、ｄ
ｉｒプロセッサと称する）、１６は８ビツトの濃淡画像
の各画素について、周囲ｍｘｎ画素の平均値を中心画素
の画像データとして出力する平均値フィルタリング用の
二次元画像プロセッサ（以下、ａｖｅプロセッサと称す
る）である。

１７は２つの画像の対応画素毎に濃淡値の小さい方を出
力画像データとする二次元画像プロセッサ（以下、ｍｉ
ｎプロセッサと称する）、１８はテーブルメモリ１４−
０．１４−１を用いてデータ変換を行なう二次元画像プ
ロセッサ（以下、ｄｃｖプロセッサと称する）である。

ｄｃｖプロセッサ１８は、８ビツト入力画像を（テーブ
ルメモリ１４−０によって）データ変換して結果を８ビ
ツト画像とする８ビツトデータ変換礪能と、１枚の８ビ
ツト入力画像（の画像データ）の最下位ビットと他の８
ビツト入力画像（の画像データ）の８ビツトとが連結さ
れた９ビツト画像を（テーブルメモリ１４−１によって
）データ変換して結果を８ビツト画像とする９ごットデ
ータ変換機能を有している。

１９は画像等を表示するためのキーボード何基ＣＲＴモ
ニタ、２０はＣＲＴモニタ１９の表示コントローラであ
る。２１−０．２１−１はステレオ画像入力用のＩＴＶ
カメラ、２２−０．２２−ＩＬｔ　Ｉ　Ｔ　Ｖ　ｈ　メ
ラ２１−０゜２１−１からのステレオ画像入力を制御す
るＩＴＶコントローラである。２３はＣＰ　Ｕ　１１が
フレームメモリ１３−０〜１３−９、テーブルメモリ１
４−０．１４１、各プロセッサ１５〜１８、ＣＲＴモニ
タ１９およびｒＴＶコントローラ２２−０．２２−１を
制御するのに供される制御バス、２４は画像データ転送
用の画像バスである。

次に、第２図の画像処理装置によるステレオ画像の三次
元計測処理について、第１図を参照して説明する。

まず、上記の計測処理に際し、ＣＰ　Ｕ　１１の制御に
より、主メモリ１２からフレームメモリ１３−４に画像
ｗｍｉｎがローディングされ、フレームメモリ１３−８
に画像ｗｄ（視差画像）がローディングされる。このと
きの画像ｗｍ　ｉ　ｎの各画素の画像データ（８ビツト
）は全て最大値（２５５）を示し、画像ｗｄの各画素の
画像データ（８ビツト）は全て最小値（○）を示す。

次に、計測対象三次元体が、例えばｘ、ｙ、ｚで表現さ
れる三次元空間のＸ方向に位置をずらして設定された２
台のＩＴＶカメラ２１−０．２１−１により藏影され、
その画像（ステレオ画像）Ｗｎ。

ｗｒが、Ｉ　ＴＶ：Ｉントロ−５２２−０，２２−１（
７）　ｉｌｌ　Ｉｌｌ　１．：より、画像バス２４経出
でフレームメモリ１３−０゜１３−１に格納される。フ
レームメモリ１３−０．１３−１に格納された画像ｗｇ
、ｗｒのずれはＸ方向（第１図の左右方向）のみに生じ
る。この実施例では、上記２枚のステレオ画像Ｗμ、ｗ
ｒから、以下の■〜■の手順の繰返しにより対応点を全
て付け、視差画像ｗｄを求めるようにしたものである。

この視差画像ｗｄは、基準画像（ここでは画ＩｓＩｗｙ
＞の各画素における対応点のずれの大きさを符号付き１
バイト整数（−１２８〜１２７）として、この大きさを
′ｍｍ両画像データ８ビツト）で表現し　　□たもので
ある。

■　まずＣＰ　Ｕ　１１によりｄｉｆプロセッサ１５が
起動される。これによりｄｉｒプロセッサ１５は、基準
となるフレームメモリ１３−０内の画像ＷＩ２に対し、
フレームメモリ１３−１内の画１ｗｒを予め与えられた
視差範囲（Ｘ方向）内で値ｄｘ（符号付き）だけずらし
、画像Ｗ２とｄｘだけずらされた画像ｗｒとの同一画素
位置（ｘ、ｙ位置）の８１淡画像データ（８ビツト）の
差の絶対値を算出し、その結果を画像データ（８ビツト
）としてフレームメモリ１３−２内の対応画素位Ｉｆ（
ｘ、ｙ位置）に格納する。ｄｉｆプロセッサ１５は、以
上の処理をフレームメモリ１３−０．１３−１の全領域
について繰返し実行する。この結果、フレームメモリ１
３−２内に、画像ｗ！２とｄｘだけずらされた画像ｗｒ
の各対応画素間の差の絶対値を対応画素の画像データと
する画像ｗｄ　ｉ　ｆが求められる。

■　ｄｉｒプロセッサ１５は、フレームメモリ１３−２
に画像ｗｄ　ｉ　ｆを求めると、その旨を制御バス２３
経由でＣＰ　Ｕ　１１に通知する。ＣＰ　Ｕ　１１は、
ｄｉｆブＯセッサ１５からの通知を受取ると、ａｖｅプ
ロセッサ１６を起動する。これによりａｖｅプロセッサ
１６は、フレームメモリ１３−２内の１像ｗｄ　ｉ　ｆ
にサイズｍｘｎの平均値フィルタをかけ、即ち画像ｗｄ
　ｉ　ｆの各画素毎に周囲ｍｘｎ画素の濃淡値の平均値
を求め、その平均値を画像データ（８ビツト）としてフ
レームメモリ１３−３内の対応画素位置（ｍｘｎ画素の
中心画素に対応する画素位置）に格納する処理（平均値
フィルタリング処理）を、フレームメモリ１３−２の全
領域について繰返し実行する。この結果、フレームメモ
リ１３−３内に、画像ｗｄ　ｉ　ｆに対する平均値フィ
ルタリング画像ｗａｖｅが求められる。この画＠Ｗａｖ
ｅの各画素のＩｌ淡両値、ずれがｄｘであるときの評価
値であり、値が小さいほど類似度が大きいことを示す。

■　ａｖｅプロセッサ１６は、フレームメモリ１３−３
に画像ｗａｖｅを求めると、その旨をＣＰＬｌｌｌに通
知する。ＣＰ　ｔＪ　１１は、ａｖｅプロセッサ１６か
らの通知を受けると、ｍｉｎプロセッサ１７を起動する
。これによりｍｉｎプロセッサ１７は、フレームメモリ
１３−３．１３−４を対象に値が小さい方の画像データ
を選択する処理を開始する。即ちｍｉｎプロセッサ１７
は、フレームメモリ１３−３内の画像ｗａｖｅ並びにフ
レームメモリ１３−４内の画像ｗｍｉｎの対応画素の両
画像データのうち値が小さい方のデータを選択し、その
選択データをフレームメモリ１３−５の対応画素位置に
格納する処理を、フレームメモリ１３−３．１３−４の
全領域について繰返し実行する。この結果、フレームメ
モリ１３−５内に画像ｗｍ　ｉ　ｎ’が求められる。画
１ｗｍ１ｎは、今までのｄｘの中で最小の評価値を濃淡
値とする画像である。これに対し、画像ｗｍｉｎ’　は
今回のｄｘを含めた中で最小の評価値を濃淡値とし、後
述するように次回には画像ｗｍ　ｉ　ｎとして用いられ
る画像である。画像ｗｍｉｎの各画素の値は、１回目の
■の処理においては最大値（２５５＞となっている。こ
の場合には、全ての画素位置において画＠ｗａｖｅ側の
画素の値が選択されることから、画像ｗｍ　ｉ　ｎ’　
は画像ｗａｖｅに一致する。

■　ｍｉｎプロセッサ１７は、フレームメモリ１３−５
に画像ｗｍ　ｉ　ｎ’を求めると、その旨をＣＰ　Ｕ　
１１に通知する。ＣＰＬｌｌｌは、ｍｉｎプロセッサ１
１からの通知を受けると、ｄｉｒプロセッサ１５を再び
起動する。これによりｄｉｒプロセッサ１５は、フレー
ムメモリ１３−４内の画像ｗｍｉｎとフレームメモリ１
３−５内の画１ｗｍ　ｉ　ｎ’　との同一画素の濃淡値
の差の絶対値を算出し、その結果を画像データ（８ビツ
ト）としてフレームメモリ１３−６内の対応画素位置に
格納する処理を、フレームメモリ１３−４．１３−５の
全領域について繰返し実行する。

この結果、フレームメモリ１３−６内に画像ＷＷが求め
られる。さて、上記の算出結果である画像ＷＷの各画素
の濃淡値は、画像ｗｍｉｎ’が画像ｗａｖｅ並びに画像
ｗｍｉｎの対応画素のｍ価値の小さい方の画像データで
構成されていることから、画像ｗｍｉｎ（これまでのｄ
ｘの中で最小の評価値を濃淡値とする画像）より画像ｗ
ａｖｅ（今回のｄｘでの評価値を濃淡値とする画像）の
方の濃淡値が小さい画素では正の濃淡値となり、等しい
か大きい画素ではＯとなる。

■　ｄｉｆブＤセッサ１５は、フレームメモリ１３−６
に画１）ｗｗを求めると、その旨をＣＰ　Ｕ　１１に通
知する。ＣＰＵ１１は、ｄｉｆプロセッサ１５からの通
知を受けると、主メモリ１２からテーブルメモリ１４−
０にデータ変換テーブルをローディングし、ｄＣＶプロ
セッサ１８を起動する。テーブルメモリ１４−Ｏにロー
ディングされたデータ変換テーブルは、第３図に示すよ
うに８ビツト濃淡ｌＩ（入力９度）で指定される２５６
のエントリを持っており、そのエントリのうち、値がＯ
の８ビツト濃淡値で指定されるエントリには値がＯの８
ビツト画像データが、値が１以上（即ち値が１〜２５５
）の８ビツト濃淡値（入力濃度）で指定される各エント
リには値が１の８ビツト画像データが、それぞれ設定さ
れている。

ｄｃｖプロセッサ１８は、ＣＰｔＪｌｌによって起動さ
れると、フレームメモリ１３−６内の画＠ＷＷの各画素
の８ビツトの濃淡値をアドレスとしてテープルメモリ１
４−０　（内のデータ変換テーブル）を参照し、同濃淡
値をテーブルメモリ１４−０の該当アドレス〈エントリ
）の設定値に変換（具体的には、入力濃淡値がＯであれ
ばＯに、入力′ｆ：Ｊ淡値が両値上であれば１に変換）
づる。そしてｄｃｖプロセッサ１８は、この変換値をフ
レームメモリ１３−７の対応画素位置に書込む。ｄｃｖ
プロセッサ１８は、以上の処理をフレームメモリ１３−
６の全領域について繰返す。この結果、フレームメモリ
１３−７内に画像ｗｎｅｗが求められる。この画像ｗｎ
ｅｗの各画素の濃淡値は、今回のずれｄｘでの評価値が
それまでの評価値の最小値より小さい画素では（即ち今
回のずれｄｘの方が類似度が大きい画素では）１となり
、それ以外の画素では０となる。

■　ｄｃｖプロセッサ１８は、フレームメモリ１３−７
に画＠ｗｎｅｗを求めると、その旨をＣＰＵ１１に通知
する。ＣＰ　Ｕ　１１は、ｄｃｖプロセッサ１８からの
通知を受けると、主メモリ１２からテーブルメモリ１４
−１にデータ変換テーブルをローディングし、再びｄｃ
ｖプロセッサ１８を起動する。テーブルメモリ１４−１
にローディングされたデータ変換テーブルは、第４図に
示すように９ビツト２１淡値（入力濃度）で指定される
５１２のエントリを持っており、そのエントリのうち、
最上位ビットが０の９ビツト濃淡値で指定されるエント
リには、その濃淡値の下位８ビツトに一致する８ビツト
画像データが、最上位ビットが１の９ビツト濃淡値で指
定されるエントリには、そのときのずれｄｘに対応する
！ｌｌ価値視差画像の濃淡１１）ｄＸ＋１２８の８ビツ
ト画像データが、それぞれ設定されている。この実施例
において、ｄｘのとり得る値の範囲は−１２８〜１２７
である。したがって、−１２８〜１２７に対応するｄｘ
の濃淡値はＯ〜２５５で表わされる。この関係を、第５
図に示す。

ｄｃｖプロセッサ１８は、ＣＰ　Ｕ　１１によって再度
起動されると、フレームメモリ１３−７内の画像ｗｎｅ
ｗの各画素の８ビツト濃淡値（Ｏまたは１）の最下位ビ
ットを上位アドレス、フレームメモリ１３−８内の画像
ｗｄ（これまでに得られた視差画像）の対応画素の８ビ
ツト濃淡値（初期値０）を下位アドレスとする９ビツト
アドレスによりテーブルメモリ１４−１　（内のデータ
変換テーブル）を参照し、画像ｗｎｅｗからの８ビツト
濃淡値の最下位ビットおよび画像ｗｄからの８ビツト濃
淡値が連結された９ビツト濃淡値をテーブルメモリ１４
−１の該当アドレス（エントリ）の設定値（８ビツト濃
淡値）に変換する。そしてｄｃｖプロセッサ１８は、こ
の変換値をフレームメモリ１３−９の対応画素位置に書
込む。ｄｃｖプロセッサ１８は、以上の処理をフレーム
メモリ１３−７．１３−８の全領域について繰返す。

この結果、フレームメモリ１３−９内に上記画像ｗｄよ
り更に高類似度での視差画像ｗｄ’が求められる。

■　フレームメモリ１３−９内に画ｉｗｄ’　が求めら
れると、フレームメモリ１３−５からフレームメモリ１
３−４への画像データ転送、およびフレームメモリ１３
−９からフレームメモリ１３−８への画像データ転送が
行なわれる。これにより、■の処理でフレームメモリ１
３−５に求められた画像ｗｍ　ｉ　ｎ’　が、それまで
の画１１ｗｍ　ｉ　ｎに代えて新たな画像ｗｍｉｎとな
り、■の処理でフレームメモリ１３−９に求められた画
像ｗｄ’が、それまでの画像ｗｄに代えて新たな画像ｗ
ｄとなる。

以上の■〜■の処理を、予め与えられた視差の範囲内で
ｄｘ値を例えば所定刻みで変えながら、繰返すことによ
り、視差画像ｗｄを高速且つ高精度で求めることができ
る。この画（ｌｅｗｄを用いることで、計測対象三次元
体の各点までの高さく距離）を算出することができる。

なお、前記実施例では、ステレオ画像の入力に２台のＩ
ＴＶカメラ２１−０．２１−１を用いる場合について説
明したが、これに限るものではない。例えば、電子顕微
鏡による観察対象試料を回転することで、１台の電子顕
微鏡からステレオ画像を入力することも可能である。ま
た、この発明は、２枚の空中写真からの等高線図の自動
作成にも応用可能である。更に、この発明によって求め
られる視差画像により、三次元ソリッド表示モデルを容
易に構築することが可能となる。

また、前記実施例では、テーブルメモリ１４−０゜１４
−１へのデータ変換テーブル格納動作が、処理■。

■の開始時にその都度性なわれるものとして説明したが
、２回目以降の格納動作は必ずしも必要でない。また、
１つのテーブルメモリを用い、処理■、■の開始時にそ
の都度対応するデータ変換テーブルを格納することも可
能であり、ＲＯｒｖｊ構成の専用のデータ変換テーブル
を用いることも可能である。

〔発明の効果〕

以上詳述したようにこの発明によれば、２枚のステレオ
画像の全点の対応付け、並びにこの対応付けされた点毎
の視差（ずれンの算出が、二次元の濃淡画像処理により
、ｉｉ！ｌｉ像上の特徴点（エツジなど）の有無に無関
係に簡単且つ高速に行なうことができる。

【図面の簡単な説明】

第１図はこの発明に係るステレオ画像の三次元計測処理
の一実施例を示す流れ図、第２図は第１図の処理を実現
する画像処理装置のブロック構成図、第３図および第４
図は第２図のテーブルメモリ１４−Ｏおよび１４−１に
格納されるデータ変換テーブルを示す図、第５図は視差
ｄｘと視差画像の濃両値との対応例を示す図である。 １１・・・ＣＰＬ）、１３−０〜１３−９・・・フレー
ムメモリ、１４−０．１４−１・・・テーブルメモリ、
１５・・・ｄｉｆプロセッサ、１６・・・ａｖｅプロセ
ッサ、１７・・・ｍｉｎプロセッサ、１８・・・ｄｃｖ
プロセッサ、２１−０．２１−１・・・ＩＴＶカメラ。 出願人代理人　弁理士　鈴江武彦 第２図

Claims (1)

1. 【特許請求の範囲】 計測対象三次元体の異なる角度からの２つの二次元濃淡
   画像であり、各画素位置が第１方向およびこの第１方向
   と直交する第２方向の座標で示され、第１方向だけに画
   像相互間のずれが生じる第１および第２画像を格納する
   第１および第２フレームメモリと、 この第２フレームメモリに格納されている第２画像を予
   め与えられた視差範囲内で値ｄｘだけ上記第１方向にず
   らし、このｄｘだけずらされた第２画像および上記第１
   画像の各対応画素間の差の絶対値を算出し、この算出結
   果を対応画素の画像データとする第３画像を得る第１差
   分算出手段と、 この第１差分算出手段によつて求められた第３画像に対
   して平均値フィルタリング処理を行ない、第４画像を得
   る平均値フィルタリング手段と、この平均値フィルタリ
   ング手段によって求められた第４画像および初期状態に
   おいて最大の濃淡値を持つ第５画像を対象に対応画素毎
   に値が小さな方の画像データを選択することにより、こ
   の選択データを対応画素の画像データとして持ち、上記
   ｄｘの変更毎に上記第５画像として用いられる第６画像
   を求める最小値選択手段と、 この最小値選択手段によって求められた上記第６画像お
   よび上記第５画像の各対応画素間の差の絶対値を算出し
   、この算出結果を対応画素の画像データとする第７画像
   を得る第２差分算出手段と、 この第２差分算出手段によって求められた第７画像と同
   サイズの第８画像であつて、各画素の画像データとして
   、上記第７画像の対応画素の濃淡値が０である場合には
   初期状態において最小の濃淡値を持つ第９画像の対応画
   素の画像データを持ち、０でない場合には上記ｄｘに対
   応する濃淡値の画像データを持ち、上記ｄｘの変更毎に
   上記第９画像として用いられる第８画像を求める第２画
   像データ変換手段と、 を具備し、上記視差範囲内で上記ｄＸの値を変えて上記
   第８画像を繰返し求めることにより、この第８画像を上
   記第１および第２画像の対応点のずれを濃淡値で示す視
   差画像として求めるようにしたことを特徴とする画像処
   理装置。