JP3524826B2 - 三次元画像処理方法、装置、および三次元画像処理プログラムを記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ロボット
の視覚制御、物体の形状認識、物体の動作認識、障害物
認識、空間中の位置認識などの三次元画像処理に利用で
き、異なる視点から撮られた複数枚の画像を入力とし、
画像間で画素の対応点探索を行って得られる視差情報か
ら距離画像を得る方法および装置に関するものである。

【０００２】

【従来の技術】従来、異なる視点から撮られたステレオ
画像から、距離画像（奥行画像）を得る方法として、第
１の画像上のすべての画素について、各画素に対応する
点を他方の画像中から探し出し、両画素位置の差（視
差）から三角測量の原理により距離画像を求める方法が
ある。対応点を検索する方法としては、両画像の画素間
の相関値を求め、最も相関のあるもの同士を対応付ける
方法が多く用いられる。相関値としては、例えば、第１
の画像の着目画素を含んだ近傍ブロックと、他方の画像
の探索対象の画素を含んだ近傍ブロックとの間で求めた
差分絶対値和を用いることができ、他方の画像上で該差
分値和の値が最小となる画素を探し出すことにより、視
差情報を得て距離画像を求められる。このとき、ブロッ
クサイズが大きいほど、広い範囲の画像情報が得られる
ため、輝度変化の少ない領域に対してもマッチングの精
度の向上が期待できる反面、輝度変化の大きい領域につ
いては細かい輝度変化が平均化され精度が落ちる。これ
に対し、ブロックサイズを小さくすると、逆に輝度変化
の大きい領域に有効である反面、輝度変化の少ない領域
のマッチングが困難になる。

【０００３】このようなブロックマッチング法を用いた
三次元画像処理の第１の従来方法として、ブロックサイ
ズを固定した方法（蓼沼、湯山、“立体画像の左右対応
点探索法の最適化”、テレビジョン学会誌、Vol.48, N
o.10, pp.1222〜1229, 1994.)がある。この方法では、
前処理として半径３画素の２次元フィルタを用いて輪郭
抽出を行い、これを入力してブロックマッチングを行っ
ている。左画像、右画像のブロック内の輝度値をそれぞ
れＰＬ（ｉ，ｊ）、ＰＲ（ｉ，ｊ）としたとき、相関値
としては主に、

【０００４】

【数１】 で求められる評価値（残差平方和、ＳＳＤ）を用いてい
る。フィルタの性質および実験結果から、ブロックサイ
ズは７×７（１≦ｉ≦７，１≦ｊ≦７）が最適としてお
り、全特徴点について固定したブロックサイズでマッチ
ングを行っている。

【０００５】三次元画像処理の第２の従来方法として、
複数のブロックサイズを用いる方法（吾妻、魚森、森
村、“ステレオ画像の中間視点画像生成のためのエッジ
情報を用いた視差推定”、映像情報メディア学会誌、Vo
l.52, No.3, pp.322-330, 1998.)がある。この方法で
は、予め用意した複数のブロックサイズに対してブロッ
クマッチングを行い、各々の場合の視差を推定する。マ
ッチング時の相関値は、前記第１の従来方法の（１）式
と同様な評価値Ｅ（Ｘ，Ｙ）を用いている。さらに、下
記（２）式で示す信頼性評価値Ｊを求め、得られた複数
の視差推定値から信頼性評価値Ｊに基づいて選択し視差
を決定する。

【０００６】

【数２】 ここで、Ｓはブロック内の画素数、σ_n は画像のノイズ
レベル、

【０００７】

【外１】 は各々ブロック内の水平垂直方向平均２乗輝度勾配で、
（２）式の値が小さいほど対応付けの信頼性が高いこと
を示す。この値Ｊはブロックサイズに依存しないので、
異なるブロックサイズにより得られた複数の推定値から
Ｊが最小になる推定値を選択すればよい。マッチングに
用いるブロックサイズは、１０×１０、２０×２０、４
０×４０などの大きなブロックを複数用いている。演算
量削減のため、ブロックサイズの種類は少数に絞られて
いるが、最適なブロックサイズを選ぶために、各々のブ
ロックサイズの場合について、（１）式の視差推定値と
（２）式の信頼性評価値を必ず求める必要がある。ま
た、選ばれるブロックサイズの種類が少ないので、最適
なブロックサイズを選択する上では精度が低く、複雑な
後処理によって精度を上げている。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来の方法では、以下に示す問題があった。

【０００９】（１）第１の従来方法は、対応付けを行う
すべての特徴点画素に対し、ブロックサイズを同じ大き
さに固定しているため、ブロックサイズが大きい場合
は、輝度変化の大きいブロック領域において細かい輝度
変化が平均化されて視差推定の精度が落ち、またブロッ
クサイズが小さい場合は、逆に輝度変化の少ないブロッ
ク領域のマッチングが困難になる。また、これにより、
ブロックサイズと視差推定の精度の関係は画像によって
異なるため、最適なブロックサイズを決定することが困
難である。

【００１０】（２）第２の従来方法は、前記（１）の問
題点を解決するため画素毎に最適なブロックサイズを選
んでいるが、その際すべての画素について、（１）式の
視差推定値とさらに（２）式で示される信頼性評価値
を、常に複数のブロックサイズに対して各々求めてお
り、計算量が大きくなる。

【００１１】（３）第２の従来方法は、前記（２）の問
題点を鑑みて、計算量を削減するために、処理対象とす
るブロックサイズの種類を間引いているため、最適なブ
ロックサイズを選択する際に、ブロックサイズの候補数
が少なくなる。

【００１２】（４）第２の従来方法は、画素毎に最適な
ブロックサイズを求める際に、視差推定値を求める処理
と信頼性評価を求める処理は、全画素にわたって逐次的
に実行されるため、画像サイズが大きい場合およびブロ
ックサイズが大きい場合に、処理時間が大きくなる。

【００１３】本発明の目的は、前述した従来の方法に対
して、ブロックサイズをすべて同じ大きさに固定するこ
とによる視差推定の精度が低下する問題点と、その場合
最適なブロックサイズの決定が困難である問題点と、画
素毎に最適なブロックサイズを求める場合に計算量（処
理時間）が大きくなる問題点とを解決した三次元画像処
理方法、装置を提供することにある。

【００１４】

【課題を解決するための手段】本発明の三次元画像処理
装置では、異なる視点から撮られた複数枚の画像を入力
とし、第１の画像の各画素について、第１の画像を除く
画像中の最も相応する画素位置を探索し、それらの画素
位置の差分を視差情報として抽出し、該視差情報から距
離画像を得る装置において、画素毎に輝度勾配を求める
手段と、画素毎に該画素近傍の前記輝度勾配の累積値
を、らせん状もしくは同心円状に画素を走査して求める
手段と、前記累積値を、走査した画素数もしくはらせん
走査の周回数を基に正規化する手段と、前記正規化した
値から閾値判定によりブロックサイズを求める手段と、
画素毎に別々に求めたブロックサイズを用いて画像間で
ブロックマッチングにより対応点探索を行う手段を有す
る。

【００１５】

【００１６】最適なブロックサイズを、輝度勾配の累積
値をらせん走査しながら求めるため、１回のらせん走査
処理で求めることができ、処理時間を短くすることがで
きる。また、最適なブロックサイズは、近傍画素の輝度
勾配の累積処理だけで求めるため、複数のブロックサイ
ズに対する複数回の視差推定処理や信頼性評価値算出な
どの複雑な演算を行う必要がなく、処理時間を短くする
ことができる。また、ブロックサイズを求める際には演
算量の大きい視差推定処理は行わないため、処理対象と
するブロックサイズの種類を間引かずに、大きな演算量
なしで最適なブロックサイズを決定することができる。
また、画素毎の最適なブロックサイズを先にすべて求め
てから、決定したブロックサイズを用いてステレオマッ
チングによる視差推定処理を行うため、１個の画素に対
して複数のブロックサイズの場合に対する複数回の視差
推定処理を行なう必要がなく、処理時間を短くすること
ができる。

【００１７】本発明の実施態様では、三次元画像処理装
置が、画素毎に輝度勾配を求める手段と、画素毎に該画
素近傍の前記輝度勾配の累積値をらせん状もしくは同心
円状に画素を走査して求める手段と、前記累積値を、走
査した画素数もしくはらせん走査の周回数を基に正規化
する手段と、前記正規化した値から閾値判定によりブロ
ックサイズを求める手段とを含む処理ブロックを第１の
画像の１画素毎または複数の画素毎に有し、輝度勾配を
求める際、および該輝度勾配の累積値をらせん走査して
求める際に、全処理ブロック間で近傍画素値を一斉に転
送可能な前記処理ブロック間の転送パスを備えている。

【００１８】本実施態様によれば、処理ブロックを第１
の画像の１画素毎または複数の画素毎に有し、全処理ブ
ロック間で近傍画素値を一斉に転送可能な転送パスを備
えているため、全画素にわたって逐次的に処理を行う必
要がなく、全処理ブロック一斉に処理を実行可能であ
り、処理時間を短くすることができる。

【００１９】

【発明の実施の形態】第１の実施形態 図１は本発明の第１の実施形態の三次元画像処理装置の
構成図である。本実施形態の三次元画像処理装置は、左
画像と右画像を入力し、一方の画像の画素毎に最適なブ
ロックサイズを求めた後、得られたブロックサイズに基
づいたブロックマッチングにより、左右画像間で画素同
士の対応付けを行い、画素毎の視差情報を得ることによ
り、距離画像（奥行き画像）を出力するものである。こ
こでは、２枚の画像（左画像と右画像）を入力として説
明しているが、３個以上の視点から撮られた複数画像の
場合にも、そのうちの任意の２枚の画像に対しては同様
に当該処理を行うことができることは明らかである。以
下、本実施形態の動作を説明する。

【００２０】まず先に、本装置での左右画像上の対応点
探索方法について説明する。本装置では、各画像上の着
目する画素近傍のブロック同士の相関値を求め、最も相
関度の高い画素同士を対応付けするブロックマッチング
法を用いる。対応付けの例を図２に示す。右画像の画素
ＰＲに対応する画素を左画像上から探索する際、左画像
の着目画素ＰＬとの間で、各々の画素の近傍ブロックＢ
Ｒ、ＢＬ同士で例えば下記式（３）に示す相関値Ｅを求
める。

【００２１】

【数３】 これは差分絶対値和であるが、相関値としては従来方法
の式（１）で示した残差平方和などのような各種の値を
任意に用いることができる。また、ブロックサイズは３
×３の例を示しているが、任意のサイズと形状に容易に
拡張できる。探索に際しては、右画像のブロックＢＲ
は、左画像上の図に示した探索範囲（ＢＬ ₀ からＢＬ
_max まで）に絞ったエピポーラ線上（もしくはエポピー
ラ線近傍）の範囲のみを探索すればよい。ここで、ｍａ
ｘは左右画像間の視差の最大値で、前記探索範囲以外に
はＰＲに対応する点が存在しないため、範囲を絞ること
により処理量を削減し、誤対応を減らすことができる。

【００２２】次に、前記ブロックマッチング法による対
応点探索処理の前に行う、画素毎に最適なブロックサイ
ズを求める方法について説明する。ブロックサイズが大
きいほど、広い範囲の画像情報を得られ、輝度変化の少
ない領域に対してもマッチングの精度の向上が期待でき
る反面、輝度変化の大きい領域については細かい輝度変
化が平均化されて精度が落ちる。これに対し、ブロック
サイズを小さくすると、逆に輝度変化の大きい領域に有
効である反面、輝度変化の少ない領域のマッチングが困
難になる。よって、初めに各画素毎に近傍領域の輝度勾
配を求め、得られた輝度勾配（輝度変化）に基づき、輝
度勾配の緩やかなところはブロックサイズを大きくし、
輝度勾配の急峻なところはブロックサイズを小さくする
ことにより、ステレオマッチングの精度を向上させるこ
とが可能である。例えば図３のような画像の場合、画素
ＰＡでは近傍領域の輝度勾配が少ないため、ＢＡのよう
な大きなブロックを用いるのがよいが、画素ＰＣでは近
傍領域の輝度勾配が大きいため、ＢＣのような小さなブ
ロックを用いるのが望ましい。

【００２３】本装置では、予め全画素における輝度勾配
を求める。具体的な算出方法については、例えばsobel
フィルタのような微分フィルタを用いることができる
が、輝度変化の度合いを示す値を求めるものであれば、
任意のフィルタなどを用いた方法が容易に実行可能であ
る。また、輝度値としては、白黒の濃淡画像だけでな
く、カラー画像の各カラー成分値でもよい。また、フィ
ルタとして、エピポーラ線に平行な方向に対する微分フ
ィルタを用いることにより、エピポーラ線に平行な線状
の画像が近傍領域に含まれる場合に、誤ったブロックサ
イズが得られる問題を回避できる。

【００２４】具体的なブロックサイズの求め方について
以下説明する。右画像上の各画素について、図４のよう
に着目画素を中心として、近傍の画素をらせん状に走査
する。走査しながら走査中の画素が持つ輝度勾配値（輝
度勾配の絶対値を意味する。以下も同じ。）を累積し、
予め定めた閾値を超えたら、その画素（またはその周
回）で走査をやめ、そのときまでの走査画素数（または
周回数）を記憶する。こうして各画素毎に得られた該走
査画素数（または周回数）は、近傍領域に輝度変化が少
ない場合、値が大きくなり、また近傍領域の輝度変化が
大きい場合、値が小さくなるので、この値に比例した値
としてブロックサイズを得ることができる。

【００２５】図１に示した第１の実施形態において、以
上の処理を実行する具体的な動作を説明する。

【００２６】画像入力部１１は、カメラ１０₁ ，１０₂
で撮影され、装置に入力された左画像と右画像の画素デ
ータを画像記憶部１２へ格納する。

【００２７】輝度勾配算出部１３は、前述した微分フィ
ルタ処理などにより、各画素における近傍領域の輝度勾
配を、全画素について求める。

【００２８】らせん走査処理部１５では、各画素につい
て、図４のような該画素を中心としたらせん状走査を行
い、走査中の画素において前記得られた輝度勾配値を読
み出し、累積（加算）処理を行う。走査中に、累積値が
予め定めた閾値を超えたら、その画素（またはその周
回）で走査をやめ、そのときまでの走査画素数（または
周回数）を記憶する。また、このらせん走査において、
画素毎に閾値判定処理するのではなく、１周回（１同心
円）の走査を終えてから閾値判定することにより、閾値
判定処理の回数を削減する方法も容易に実現可能であ
る。これらの処理を全画素について実行する。

【００２９】ブロックサイズ算出部１６では、画素毎に
得られた前記走査画素数（または周回数）に基づき、画
素毎に最適なブロックサイズを求める。求め方としては
得られた周回数を用いて、その周回数に対応した同じ大
きさのブロックサイズとする方法がある。例えば当該画
素を中心に３周回のらせん走査を終えていたら、７×７
のサイズのブロックとする。すなわちｎ周回ならば、１
辺が（ｎ＋１）×２のサイズとする。また、周回数の値
をそのまま使うだけでなく、得られた走査画素数（また
は周回数）に係数をかけるなどの演算を行ってから、そ
の値に基づいてブロックサイズを求める方法も同様に容
易に考えられる。

【００３０】前述したらせん走査処理部１５で求められ
た走査画素数（または周回数）は、得られた後すぐブロ
ックサイズも求めてしまえば、走査画素数用の記憶部は
必要なく省略できる。

【００３１】対応点探索処理部１８は、求められた画素
毎のブロックサイズを用いて、左右画像の対応点探索処
理を行う。具体的な方法としては、本実施形態の初めに
述べたようなブロックマッチングによる左右画像間での
画素同士の対応付け処理を行うものであればよい。得ら
れた画素毎の視差情報から、距離画像（奥行き画像）を
出力する。

【００３２】第２の実施形態 図５は、本発明の第２の実施形態三次元画像処理装置の
構成図である。

【００３３】本実施形態の三次元処理装置は、第１の実
施形態と同様に、左画像と右画像を入力し、一方の画像
の画素毎に最適なブロックサイズを求めた後、得られた
ブロックサイズに基づいたブロックマッチングにより、
左右画像間で画素同士の対応付けを行い、画素毎の視差
情報を得ることにより、距離画像（奥行き画像）を出力
するものである。以下、本実施形態の動作を説明する。

【００３４】本装置は、後述する処理ブロック（ＰＥ）
３０を図５（ａ）のようにＮＸ×ＮＹ個の二次元アレイ
状に配置する。処理ブロック３０間は転送パス４０で接
続される。ＰＥアレイ部２０の接続形態は、例えば４隣
接のメッシュ結合で構成する。処理ブロック３０の数は
画像の画素数と同じとし、１個の処理ブロック３０は、
左画像の１画素と右画像の１画素の情報を格納し、下記
にて説明される輝度勾配算出処理、らせん走査処理、ブ
ロックサイズ算出処理、対応点探索処理などを行う。入
力画像サイズをＩＸ×ＩＹとしたとき、ＩＸ＝ＮＸ，Ｉ
Ｙ＝ＮＹであり、座標（Ｘ，Ｙ）の画素に関わる処理を
行うＰＥをＰＥ（Ｘ，Ｙ）とする。

【００３５】１個の処理ブロック３０は、図５（ｂ）の
ように、データ記憶部３９として、左画像の画素データ
ＰＬを記憶するメモリ、右画像の画素データＰＲを記憶
するメモリ、また当該画素の輝度勾配値Ｇ、輝度勾配値
の累積値ＳＧ、ブロックサイズＢＳ、視差情報ＭＤを記
憶するメモリ、および必要に応じて演算時や転送時に必
要なワークメモリｗｏｒｋを持つ。また、輝度勾配演算
部３３、輝度勾配値累積処理部３４、累積値閾値判定処
理部３５、ブロックサイズ算出部３６、対応点探索処理
部３７、および制御命令受信部３１、データ受信部３
２、データ送信部３８を持つ。以下に示す動作におい
て、データ記憶部３９に記憶されているデータと隣接す
る処理ブロック３０から受け取るデータを用いた各種演
算およびデータの更新処理を行う。

【００３６】画像入力初期化部２１は、装置に入力され
た左画像と右画像の画素データを全処理ブロック３０へ
入力する。このとき、画像上の座標（Ｘ，Ｙ）の画素デ
ータは、ＰＥ（Ｘ，Ｙ）のデータ記憶部ＰＬ（Ｘ，
Ｙ）、ＰＲ（Ｘ，Ｙ）に格納する。

【００３７】輝度勾配算出制御部２２は、全処理ブロッ
ク３０に対して、画素値ＰＲ（Ｘ，Ｙ）に対する近傍領
域の輝度勾配を求めるための制御信号をＰＥアレイ２０
へ送る。輝度勾配の具体的な算出方法について以下説明
する。図６に、３×３近傍の微分フィルタの例を示す。
フィルタの係数（重み）について、図６（ａ），
（ｂ），（ｃ）のような各種のものを容易に適用でき
る。また、大きさについても５×５などさらに大きいサ
イズの任意のフィルタも適用できる。また、複数のフィ
ルタを組み合わせて処理することも可能である。一般に
サイズをｍ×ｍとし、フィルタの各係数をＷ（ｉ，ｊ）
とすると、画素ＰＲ（Ｘ，Ｙ）に対する輝度勾配値Ｇ
（Ｘ，Ｙ）は、下記式に基づいてＰＥ（Ｘ，Ｙ）におい
て算出される。

【００３８】

【数４】 ここで、−（ｍ−１）／２≦ｉ≦（ｍ−１）／２，−
（ｍ−１）／２≦ｊ≦（ｍ−１）／２である。全処理ブ
ロックについて一斉に、隣接処理ブロックからのデータ
転送と、処理ブロック内での演算処理を行わせる。

【００３９】らせん走査処理部２３では、全処理ブロッ
クに対して、第１の実施形態と同様に図４のような該画
素を中心としたらせん状走査を行いながら、輝度勾配値
の累積（加算）処理と閾値判定処理を行うための制御信
号をＰＥアレイ処理部２０へ送る。走査は近傍画素に対
応する対象処理ブロックを順次変えながら、その処理ブ
ロックに格納されている輝度勾配値Ｇを読み出して、着
目している画素ＰＲ（Ｘ，Ｙ）に対応するＰＥ（Ｘ，
Ｙ）へ転送させ、ＰＥ（Ｘ，Ｙ）内ではこの値を順次Ｓ
Ｇに累積加算していく。走査対象の処理ブロックを予め
決めた順に変えながら転送と累積処理を行わせ、累積値
ＳＧが予め定めた閾値を超えたら、そのときまでの走査
画素数（または周回数）をＰＥ（Ｘ，Ｙ）に記憶させ
る。全処理ブロックについて一斉に、近傍の処理ブロッ
クからのデータ転送と、処理ブロック内での演算処理を
行わせる。

【００４０】ブロックサイズ算出制御部２４では、画素
毎に得られた前記走査画素数（または周回数）に基づ
き、画素毎に最適なブロックサイズを算出させるための
制御信号をＰＥアレイ部２０へ送る。具体的な求め方
は、第１の実施形態と同様に、得られた周回数を用いて
その周回数に対応した同じ大きさのブロックサイズとす
る方法などがある。例えば当該画素を中心に３周回のら
せん走査を終えていたら、７×７のサイズブロックとす
る。すなわちｎ周回ならば、１辺が（ｎ＋１）×２のサ
イズとする。また、得られた走査画素数（または周回
数）に係数をかけるなどの正規化を行ってブロックサイ
ズを求める方法もある。全処理ブロックについて一斉
に、ブロックサイズの算出処理を行わせる。

【００４１】対応点探索処理制御部２５は、前記求めら
れた画素毎のブロックサイズを用いて、左右画像間の対
応点探索処理を行うための制御信号をＰＥアレイ処理部
２０へ送る。右画像上のすべての画素に対して、左画像
上で各々対応する画素を探索する。具体的な方法として
は、第１の実施形態の初めに述べたようなブロックマッ
チングによる左右画像間での画素同士の対応付け処理を
行うものであればよい。得られた画素毎の視差情報から
距離画像（奥行き画像）を出力する。

【００４２】各処理ブロック内での具体的な処理につい
て説明する。データ受信部３２は、他の処理ブロックか
ら送られてきたデータをデータ記憶部３９に格納する。
データ送信部３８は、処理ブロック内で転送が必要なデ
ータを隣接した１個の処理ブロックに送出する。

【００４３】輝度勾配演算部２２は、近傍領域の画素値
を読み出して、ＰＥ（Ｘ，Ｙ）における輝度勾配を求め
る。輝度勾配の具体的な算出方法について以下説明す
る。例えば図６の３×３近傍の微分フィルタを用いると
すると、近傍領域内の各ＰＥの画素値ＰＲ（Ｘ＋ｉ，Ｙ
＋ｊ）（−（ｍ−１）／２≦ｉ≦（ｍ−１）／２，−
（ｍ−１）／２≦ｊ≦（ｍ−１）／２）を転送によって
順に読み出し、各々フィルタの係数Ｗ（ｉ，ｊ）を乗算
したものを加算処理していき、輝度勾配値Ｇを求め、デ
ータ記憶部３９に格納する。全処理ブロックが同時にこ
の同じ動作を行うことができるので、全処理ブロック一
斉に輝度勾配を求めることが可能である。

【００４４】輝度勾配値累積処理部３４では、該処理ブ
ロックの対応する画素を中心としたらせん状に沿った近
傍ＰＥについて順次、輝度勾配値Ｇを読み出してＰＥ
（Ｘ，Ｙ）へ転送し、ＰＥ（Ｘ，Ｙ）内でＳＧに累積加
算していく。らせん走査の順序は予め決めておけるが、
外部のらせん走査処理制御部２３から走査対象ＰＥアド
レスを指示してもよいし、各処理ブロックが走査順序を
覚えていてもよい。全処理ブロックが常に同じ走査順に
処理を行えば、全処理ブロック一斉に累積処理を行うこ
とが可能である。

【００４５】累積値閾値判定処理部３５では、処理ブロ
ックに対して実行される転送と累積処理において、累積
値ＳＧが予め定めた閾値を超えたら、そのときまでの走
査画素数（または周回数）をデータ記憶部３９に記憶す
る。処理ブロック毎に独立した処理なので全処理ブロッ
ク一斉に処理可能である。ＳＧが閾値を超えた後は、他
の処理ブロックとともに処理を続けてもよいし、その処
理ブロックだけ処理を終らせてもよい。

【００４６】ブロックサイズ算出部３６では、画素毎に
得られた前記走査画素数（または周回数）に基づき、ブ
ロックサイズＢＳを求め、データ記憶部３９に記憶す
る。具体的な求め方は、ブロックサイズ算出制御部２４
で示したように、得られた周回数を用いて、その周回数
に対応した同じ大きさのブロックサイズとする方法など
がある。閾値判定処理部３５と同様に、処理ブロック毎
に独立した処理なので全処理ブロック一斉に処理可能で
ある。

【００４７】対応点探索処理部３７は、前記求められた
画素毎のブロックサイズを用いて、左右画像間の対応点
探索処理を行う。具体的な方法としては、第１の実施形
態の初めに述べたようなブロックマッチングによる左右
画像間での画素同士の対応付け処理を行うものであれば
よい。すなわち着目しているＰＥ（Ｘ，Ｙ）の対応する
画素の近傍領域ブロックについて、左右画像間でブロッ
ク同士の相関値を求め、最も相関度の高い画素同士を対
応付ける方法である。例えば図２に対して、式（３）の
相関値Ｅを求める場合、まず全処理ブロックにおいて画
素値ＰＬとＰＲの差分絶対値を求めて記憶しておき、次
に全処理ブロックにおいて、各々の近傍領域の処理ブロ
ックで求められた差分絶対値を着目しているＰＥ（Ｘ，
Ｙ）に転送して和を求め、相関値Ｅを求める。全処理ブ
ロックについて、同じ処理および同じ方向の転送を行う
ので、全処理ブロック一斉に実行できる。対応点探索処
理により見つけられた左右画像の対応画素の位置から、
その座標値の差分を用いて視差値ＭＤを求めることがで
きる。得られた視差値ＭＤをそのまま、もしくは係数を
変えるなどの正規化を行った値を距離画像（奥行き画
像）として出力できる。

【００４８】以上の第２の実施形態において、外部のフ
ィルタ処理を行える装置を用いることにより、入力画像
として、カメラからの画像ではなく、予め輝度勾配を求
めた後の画像を入力すれば、ＰＥアレイ処理部２０内で
輝度勾配算出処理を行う必要はなくなる。すなわち輝度
勾配算出制御部２２や処理ブロック内の輝度勾配演算部
３３が省ける。また、対応点探索処理についても、ＰＥ
アレイ処理部２０内で実行せずに対応点探索が可能で、
画素毎にブロックサイズを変えて処理できる外部の対応
点探索装置に、得られたブロックサイズを入力して用い
ることも可能である。

【００４９】第３の実施形態 図７は本発明の第３の実施形態の三次元画像処理装置の
構成図である。

【００５０】本実施形態では、第２の実施形態で示した
ＰＥアレイ処理部２０を、図５で示したような、連想メ
モリ（ＣＡＭ）５０で構成する。ＣＡＭ５０は、画像の
画素数と同じワード数Ｖ＝ＮＸ×ＮＹを持たせ、１ワー
ドは左画像の１画素および右画像の１画素に関わる情報
を格納する。

【００５１】ここで用いるＣＡＭ５０は、既に池永らが
提案している二次元ＰＥアレイ型のＣＡＭ（T.Ikenaga,
T.Ogura, “A Fully-Parallel 1Mb CAM LSI for Real-
TimePixel-Parallel Image Processing”，ISSCC, 199
9.、池永、小倉、“超並列型２次元セルラーオートマト
ン：ＣＡＭ² ”、信学技報、CPSY-ICDFTS, 1996.) を対
象としている。このＣＡＭ５０は、１画素を１ワードに
割り当て、論理的に二次元ＰＥアレイ状に配置および接
続されており、外部からの制御により各種並列処理を実
行できる。具体的な並列処理例を図９に示す。図９
（ａ）は、参照データを入力すると、サーチマスクがの
ビットの部分だけ等しい値を持つワードを、全ワード一
斉に検索し、答えをヒットフラグに格納する処理例を表
している。また、図９（ｂ）はヒットフラグが１になっ
ているワードのみに、ライトマスクでマスクされた入力
データを並列に書き込みする例を表している。このよう
な並列検索と並列書き込み機能を組み合わせることによ
り、ＣＡＭ５０では加算処理などの任意の算術および論
理演算を、全ワード並列に実行することが可能である。
メモリ上で演算するので、演算のための演算器を持つ必
要がないという特徴を持つ。また、ヒットフラグを介し
て上下ワード間の全ワード一斉転送が可能である。ここ
では、上記二次元ＰＥアレイ型のＣＡＭ５０を例に説明
しているが、通常の一次元アレイ型のＣＡＭで、上下ワ
ード間でデータを転送できる機能を持っていれば、図８
のように画素とワードを割り当てることにより、前記と
同様の方法で容易に実現できる。以下、このような特徴
を持つＣＡＭを用いた実施形態について、具体的な動作
を説明する。

【００５２】ＣＡＭ５０の１ワードの構成は、図５で示
したように第２の実施形態と同様の情報を記憶する。以
下に示す動作について、ＣＡＭ５０に記憶されているデ
ータと隣接処理ブロックから受け取るデータを用いた各
種演算およびデータの更新処理は、ＣＡＭ５０の持つ並
列演算機能などにより、ＣＡＭ５０のメモリ上で実行で
きる。全体の処理の流れは第１の実施形態とほぼ同じで
あるので、ＣＡＭ５０内での具体的な処理について以下
説明する。

【００５３】ＣＡＭ５０は、隣接したワード間でデータ
の転送が可能であり、ワードのデータを近傍画素に対応
したワードへ転送することができる。また、ＣＡＭ５０
内ではワード内の任意のデータ間で、全ワード並列に検
索処理、書き込み処理、加算処理が可能であり、これら
の並列処理機能を利用することにより処理時間を短縮で
きる。

【００５４】画像入力初期化部４１、輝度勾配算出制御
部４２、らせん走査処理制御部４３、ブロック算出制御
部４４、対応点探索処理制御部４５は図５（ａ）の対応
する各部２１〜２５と同様の動作をする。

【００５５】まず、近傍領域の画素値を転送してきて、
ＰＥ（Ｘ，Ｙ）における輝度勾配値Ｇを求める。輝度勾
配値の具体的な算出方法は、第２の実施形態と同等な、
例えば図６の３×３近傍の微分フィルタなどが可能であ
る。求められた輝度勾配値ＧはＣＡＭ５０に格納する。
ＣＡＭ５０では、全ワード（ＰＥ）が同時に同じ演算処
理を行うことができるので、全ワード一斉に輝度勾配を
求めることが可能である。

【００５６】次に、累積処理を行うが、該ＰＥの対応す
る画素を中心としたらせん状に沿った近傍ＰＥについて
順次、輝度勾配値Ｇを読み出してＰＥ（Ｘ，Ｙ）へ転送
し、ＰＥ（Ｘ，Ｙ）内でＳＧに累積加算していく。これ
らの処理もＣＡＭ５０の全ワードにわたって同時に処理
可能である。

【００５７】さらに、累積値の閾値判定処理も、ＣＡＭ
５０の全ワード並列の比較処理・更新処理により、全ワ
ード一斉に実行可能である。

【００５８】ブロックサイズ算出制御部４４でのブロッ
クサイズの算出処理は、画素毎に得られた前記走査画素
数（または周回数）に基づき、ブロックサイズＢＳを求
めＣＡＭ５０に記憶する。これも同様に全ワード一斉に
処理可能である。

【００５９】対応点探索処理部４５は、前記求められた
画素毎のブロックサイズを用いて、左右画像間の対応点
探索処理を行う。具体的な方法としては、第１の実施形
態の初めに述べたようなブロックマッチングによる左右
画像間での画素同士の対応付け処理を行うものであれば
よい。すなわち、着目しているＰＥ（Ｘ，Ｙ）の対応す
る画素の近傍領域ブロックについて、左右画像間でブロ
ック同士の相関値を求め、最も相関度の高い画素同士を
対応付ける方法である。具体的には２次元ＰＥアレイと
等価の構造を持つＣＡＭでは、第１の実施形態と同様の
実施例を実現できる。

【００６０】以上ＣＡＭ５０内での処理（輝度勾配算出
処理、らせん走査処理、ブロックサイズ算出処理、対応
点探索処理）は、いずれも全ワード、すなわち全画素に
おいて一斉に実行される。また、これらの処理はすべて
ＣＡＭのメモリ上で演算されるので、そのための専用の
演算器を持つ必要がなく、ハードウェア量も小さくでき
る。

【００６１】第４の実施形態 図１０は本発明の第４の実施形態の三次元画像処理装置
の構成図である。

【００６２】第１の実施形態では、予め全画素における
輝度勾配値を求め、その値を用いて累積処理を行ってい
たが、本装置では直接入力画像を用いて、以下の累積処
理、閾値判定処理などを行っていくものである。

【００６３】画像入力部５１、画像記憶部５２、ブロッ
クサイズ算出部５６、ブロックサイズ記憶部５７、対応
点探索処理部５８については、第１の実施形態の画像入
力部１１、画像記憶部１２、ブロックサイズ算出部１
６、ブロックサイズ記憶部１７、対応点探索処理部１８
と同様の動作をする。輝度勾配算出部は必要なく、らせ
ん走査処理部５５の動作が第１の実施形態と少し異な
る。以下、本装置のらせん走査処理部５５の動作につい
て説明する。

【００６４】らせん走査処理部５５では、輝度勾配値と
して、着目画素値ＰＥ（Ｘ，Ｙ）と走査中の対象画素値
ＰＲ（Ｘ＋ｉ，Ｙ＋ｊ）の差分絶対値を求め、この値を
らせん走査しながら累積加算処理していく。閾値判定処
理については、第１の実施形態と同様で、予め定めた閾
値との比較処理により、閾値を超えたら走査をやめ、そ
のときまでの走査画素数（または周回数）を記憶する。
画素毎の輝度勾配値を予め求める必要がないので処理時
間が短縮できるとともに、輝度勾配値を記憶するメモリ
も必要なくなる。この方法、すなわち入力画素値の差分
絶対値を輝度勾配値の代わりに用いる方法では、着目画
素の近傍領域に輝度変化が少ない場合、走査画素数（ま
たは周回数）の値が大きくなり、また近傍領域の輝度変
化が大きい場合、値が小さくなるので、この値に比例し
た値としてブロックサイズを得ることができる。

【００６５】以上の第４の実施形態においては、第２、
第３の実施形態のようなＰＥアレイを用いた処理方法に
ついても容易に実現できる。

【００６６】第５の実施形態 図１１は、本発明の第５の実施形態の三次元画像処理装
置の構成図である。

【００６７】第２、第３の実施形態では、処理ブロック
（ＰＥ）の数は画像の画素数と同じとしているが、１個
の処理ブロックＰＥが複数の近傍画素を処理する実施形
態も実現可能である。この場合、第２の実施形態では、
処理ブロックＰＥを説明する図５（ｂ）の中で、データ
記憶部３９’のワード数を、該処理ブロックＰＥが扱う
画素数に応じた数のワード数を持たせればよい。第３の
実施形態では、例えば１ワード（ＰＥ）で４画素を扱う
場合、画素数と同じにしていたワード数Ｖ（＝ＮＸ×Ｎ
Ｙ）を１／４（＝Ｖ／４ワード）に減らし、１ワードの
ビット数を４倍に拡張すればよく、このとき、１ワード
内に格納される４つの画素のデータは逐次処理すればよ
い。近傍画素値の転送などが異なるが、隣接処理ブロッ
クからの転送処理の一部が処理ブロックＰＥ内のデータ
記憶部からの読み出しに関わるだけであり、全体の構成
は図５（ａ）と同様で、容易に実現可能である。処理ブ
ロックＰＥ（ワード）内では画素毎に逐次処理される
が、全処理ブロックＰＥ（ワード）は一斉に処理を実行
することができる。第２、第３の実施形態よりも処理時
間が大きくなるが、ハードウェア量は削減できる。

【００６８】第６の実施形態 以上の実施形態では、らせん走査処理部では、着目画素
ＰＥ（Ｘ，Ｙ）の近傍画素を走査する際に、ＰＥ（Ｘ，
Ｙ）を中心としてらせん状に走査対象ＰＥを変えつつ、
転送処理を行っていたが、本実施形態は、画素毎に近傍
領域の範囲を広げるのではなく、周回毎に（同心円上
に）広げる方法とする。

【００６９】すなわち、図１２で示したように、まず３
×３の領域について周囲の輝度勾配値の累積処理を行っ
てから、閾値判定処理を行う。次に、対象領域を５×５
に拡大してその周囲の輝度勾配値をそれまでの累積に続
けて累積処理し、その後閾値判定処理を行う。このよう
に走査の対象画素領域を拡大させながら走査処理を行う
方法である。これにより、閾値判定処理の回数は、前述
までの実施形態の場合に比べて削減できる。

【００７０】第７の実施形態 また、第２、第３の実施形態のようなＰＥアレイを用い
た場合において、第６の実施形態の走査処理を実行した
場合、累積処理の際に、図１３で示すような近傍処理ブ
ロックからのデータ転送手順を行うことにより、累積処
理の処理数を削減できる方法が考えられる。

【００７１】図１３は、３×３のときの累積処理におい
て、周回して走査するのではなく、まず上下の転送と累
積処理を行い（図１３（１）、（２））、次にその値を
用いて左右の転送と累積処理（図１３（３）、（４））
を行うことにより、１周回上の全画素について中心の着
目画素の処理ブロックＰＥへの転送と累積処理を行うこ
とができる。このとき、上下転送と左右転送を全処理ブ
ロックＰＥに対して一斉に同じ処理を行うことにより、
全処理ブロックＰＥ（画素）に対する近傍の走査処理は
一斉に実行でき、その際の転送回数と累積処理回数を削
減することができる。５×５以上の任意のサイズの場合
の累積処理に対する手順も、容易に実現可能である。

【００７２】なお、以上に示した各実施形態の三次元画
像処理装置の各部の処理は、三次元画像処理プログラム
として、フロッピィディスク、ＣＤ−ＲＯＭ、光磁気デ
ィスクなどの記録媒体に記録しておき、パソコンなどの
コンピュータ上で実行することもできる。

【００７３】

【発明の効果】以上述べたように、本発明は下記のよう
な効果がある。

【００７４】１）請求項１と３の発明は、最適なブロッ
クサイズを、輝度勾配の累積値をらせん走査しながら求
めるため、１回のらせん走査処理で求めることができ、
処理時間を短くすることができる。また、最適なブロッ
クサイズは、近傍画素の輝度勾配の累積処理だけで求め
るため、複数のブロックサイズに対する複数回の視差推
定処理や信頼性評価値算出などの複雑な演算を行う必要
がなく、処理時間を短くすることができる。また、ブロ
ックサイズを求める際には演算量の大きい視差推定処理
は行わないため、処理対象とするブロックサイズの種類
を間引かずに、大きな演算量なしで最適なブロックサイ
ズを決定することができる。また、画素毎の最適なブロ
ックサイズを先にすべて求めてから、決定したブロック
サイズを用いてステレオマッチングによる視差推定処理
を行うため、１個の画素に対して複数のブロックサイズ
の場合に対する複数回の視差推定処理を行う必要がな
く、処理時間を短くすることができる。

【００７５】

【００７６】２）請求項４の発明は、処理ブロックを第
１の画像の１画素毎または複数の画素毎に有し、全処理
ブロック間で近傍画素値を一斉に転送可能な転送パスを
備えているため、全画素にわたって逐次的に処理を行う
必要がなく、全処理ブロック一斉に処理を実行可能であ
り、処理時間を短くすることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の三次元画像処理装置
の構成図である。

【図２】本発明の第１の実施形態における対応点探索方
法を説明する図である。

【図３】本発明の第１の実施形態におけるブロックサイ
ズを画素毎に変更する説明図である。

【図４】本発明の第１の実施形態におけるらせん走査を
説明する図である。

【図５】本発明の第２の実施形態の三次元画像処理装置
の構成図である。

【図６】本発明の第２の実施形態における輝度勾配算出
のためのフィルタを説明する図である。

【図７】本発明の第３の実施形態の三次元画像処理装置
の構成図である。

【図８】本発明の第３の実施形態における画像とＣＡＭ
ワードの関係を説明する図である。

【図９】本発明の第３の実施形態におけるＣＡＭの並列
処理例を説明する図である。

【図１０】本発明の第４の実施形態の三次元画像処理装
置の構成図である。

【図１１】本発明の第５の実施形態の三次元画像処理装
置の構成図である。

【図１２】本発明の第６の実施形態を説明する図であ
る。

【図１３】本発明の第７の実施形態を説明する図であ
る。

【符号の説明】

１０₁ ，１０₂ カメラ １１，５１ 画像入力部 １２，５２ 画像記憶部 １３ 輝度勾配算出部 １４ 輝度勾配画像記憶部 １５，５５ らせん走査処理部 １６，５６ ブロックサイズ算出部 １７，５７ ブロックサイズ記憶部 １８，５８ 対応点探索処理部 ２０ ＰＥ処理アレイ部 ２１，４１ 画像入力初期化部 ２２，４２ 輝度勾配算出制御部 ２３，４３ らせん走査処理制御部 ２４，４４ ブロックサイズ算出制御部 ２５，４５ 対応点探索処理制御部 ３０ 処理ブロック ３１ 制御命令受信部 ３２ データ受信部 ３３ 輝度勾配演算部 ３４ 輝度勾配値累積処理部 ３５ 累積値閾値判定処理部 ３６ ブロックサイズ算出部 ３７ 対応点探索処理部 ３８ データ送信部 ３９，３９’ データ記憶部 ４０ 転送パス ５０ 連想メモリ（ＣＡＭ）

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 G01C 3/00 - 3/32 G06T 1/00 G06T 17/40

Claims (11)

(57)【特許請求の範囲】
1. 【請求項１】 異なる視点から撮られた複数枚の画像を
   入力とし、第１の画像の各画素について、第１の画像を
   除く画像中の最も相応する画素位置を探索し、それらの
   画素位置の差分を視差情報として抽出し、該視差情報か
   ら距離画像を得る三次元画像処理方法において、 各画素毎に輝度勾配を求める段階と、 画素毎に該画素近傍の前記輝度勾配の累積値を、らせん
   状もしくは同心円状に画素を走査して求める段階と、 前記累積値を、走査した画素数もしくはらせん走査の周
   回数を基に正規化する段階と、 前記正規化した値から閾値判定によりブロックサイズを
   求める段階とを有することを特徴とする三次元画像処理
   方法。
2. 【請求項２】 前記輝度勾配として、着目画素の画素値
   と走査中の対象画素の画素値の差分絶対値和を求める、
   請求項１記載の方法。
3. 【請求項３】 異なる視点から撮られた複数枚の画像を
   入力とし、第１の画像の各画素について、第１の画像を
   除く画像中の最も相応する画素位置を探索し、それらの
   画素位置の差分を視差情報として抽出し、該視差情報か
   ら距離画像を得る三次元画像処理装置において、画素毎に輝度勾配を求める手段と、 画素毎に該画素近傍の前記輝度勾配の累積値を、らせん
   状もしくは同心円状に画素を走査して求める手段と、 前記累積値を、走査した画素数もしくはらせん走査の周
   回数を基に正規化する手段と、 前記正規化した値から閾値判定によりブロックサイズを
   求める手段と、 画素毎に別々に求めたブロックサイズを用いて画像間で
   ブロックマッチングにより対応点探索を行う手段を有す
   ることを特徴とする三次元画像処理装置。
4. 【請求項４】 画素毎に輝度勾配を求める手段と、画素
   毎に該画素近傍の前記輝度勾配の累積値を、らせん状も
   しくは同心円状に画素を走査して求める手段と、前記累
   積値を、走査した画素数もしくはらせん走査の周回数を
   基に正規化する手段と、前記正規化した値から閾値判定
   によりブロックサイズを求める手段とを含む処理ブロッ
   クを第１の画像の１画素毎または複数の画素毎に有し、
   前記輝度勾配を求める際、および該輝度勾配の累積値を
   らせん状もしくは同心円状に走査して求める際に、全処
   理ブロック間で近傍画素値を一斉に転送可能な、前記処
   理ブロック間の転送パスを有する、請求項３記載の三次
   元画像処理装置。
5. 【請求項５】 前記処理ブロックおよび転送パスとして
   連想メモリを有する、請求項４記載の装置。
6. 【請求項６】 異なる視点から撮られた複数枚の画像を
   入力し、第１の画像の各画素について、第１の画像を除
   く画像中の最も相応する画素位置を探索し、それらの画
   素位置の差分を視差情報として抽出し、該視差情報から
   距離画像を得る三次元画像処理装置であって、 前記複数枚の画像を入力する手段と、 前記複数枚の各画素毎に輝度勾配を求める手段と、 画素毎に該画素近傍の前記輝度勾配の累積値を、らせん
   状もしくは同心円状に画素を走査して求める手段と、 前記累積値を、走査した画素数もしくはらせん走査の周
   回数を基に正規化する手段と、 前記正規化した値から閾値判定によりブロックサイズを
   求める手段と、 求められた画素毎のブロックサイズを用いて、第１の画
   像と他の画像の対応点探索処理を行い、視差情報を抽出
   し、距離画像を出力する手段を有する三次元画像処理装
   置。
7. 【請求項７】 第１の画像と他の画像を入力し、第１の
   画像と他の画像間で画素同士の対応付けを行い、画素毎
   の視差情報を得ることにより、距離画像を出力する三次
   元画像処理装置であって、 第１の画像の画素データを記憶するメモリ、他の画像の
   画素データを記憶するメモリ、当該画素の輝度勾配値を
   記憶するメモリ、輝度勾配値の累積値を記憶するメモ
   リ、ブロックサイズを記憶するメモリ、視差情報を記憶
   するメモリを含むデータ記憶部と、隣接する処理ブロッ
   クからデータを受け取り、前記データ記憶部に格納する
   データ受信部と、各画素の輝度勾配を算出し、前記デー
   タ記憶部に格納する輝度勾配演算部と、輝度勾配値の累
   積処理を行い、前記データ記憶部に格納する輝度勾配値
   累積処理部と、輝度勾配値が閾値を越えたかどうか判定
   する累積値閾値判定部と、画素毎に得られた走査画素数
   または周回数に基づき画素毎に最適なブロックサイズを
   算出し、前記データ記憶部に格納するブロックサイズ算
   出部と、画素毎の求められたブロックサイズを求めて、
   第１の画像と他の画像間の対応点探索処理を行う対応点
   探索処理部と、処理ブロック内で転送が必要なデータを
   隣接する１個の処理ブロックに転送するデータ送信部
   と、命令を受信し、該命令に応じて前記データ受信部、
   前記輝度勾配演算部、前記輝度勾配累積処理部、前記累
   積値閾値判定処理部、前記ブロックサイズ算出部、前記
   対応点探索処理部、前記データ送信部のいずれかを起動
   する命令受信部を含む処理ブロックが前記画像データの
   各画素に対応して配列されたＰＥアレイ処理部と、 入力された第１の画像と他の画像の画素データを対応す
   る処理ブロックのデータ受信部に送信するとともに、デ
   ータ格納を指示する命令を対応する処理ブロックの命令
   受信部に送信する画像入力初期化部と、 全処理ブロックの命令受信部に対して、前記輝度勾配演
   算部を起動する命令を出す輝度勾配算出制御部と、 らせん状もしくは同心円状に画素を走査しながら、全処
   理ブロックの命令受信部に対して、前記輝度勾配値累積
   処理部、前記累積値閾値判定処理部を起動する命令を出
   すらせん走査処理制御部と、 全処理ブロックの命令受信部に対して、前記ブロックサ
   イズ算出部を起動する命令を出すブロックサイズ算出制
   御部と、 全処理ブロックの命令受信部に対して、前記対応点探索
   処理部を起動する命令を出す対応点探索処理制御部とを
   有する三次元画像処理装置。
8. 【請求項８】 第１の画像と他の画像を入力し、第１の
   画像と他の画像間で画素同士の対応付けを行い、画素毎
   の視差情報を得ることにより、距離画像を出力する三次
   元画像処理装置であって、 画像の画素数と同じワード数を有し、各ワードに第１の
   画像の画素データ、他の画像の画素データ、輝度勾配
   値、輝度勾配値累積値、ブロックサイズ、視差情報を格
   納する連想メモリと、 入力された第１の画像と他の画像の画素データを前記連
   想メモリに格納する画像入力初期化部と、 画素毎に輝度勾配を求め、前記連想メモリに格納する輝
   度勾配算出制御部と、 当該処理ブロックの対応する画素を中心としたらせん状
   に沿った近傍処理ブロックについて順次、輝度勾配値を
   読み出し、前記連想メモリへ転送し、前記連想メモリ内
   で前記輝度勾配累積値に加算するらせん走査処理制御部
   と、 画素毎に得られた走査画素数または周回数に基づきブロ
   ックサイズを求め、前記連想メモリに格納するブロック
   サイズ算出制御部と、 前記求められた画素毎のブロックサイズを求めて、第１
   の画像と他の画像間の対応点探索処理を行う対応点探索
   処理制御部を有する三次元画像処理装置。
9. 【請求項９】 異なる視点から撮られた複数枚の画像を
   入力し、第１の画像の各画素について、第１の画像を除
   く画像中の最も相応する画素位置を探索し、それらの画
   素位置の差分を視差情報として抽出し、該視差情報から
   距離情報を得る三次元画像処理プログラムであって、 前記複数枚の画像を入力する処理と、 前記複数枚の各画素毎に輝度勾配を求める処理と、 画素毎に該画素近傍の前記輝度勾配の累積値を、らせん
   状もしくは同心円状に画素を走査して求める処理と、 前記累積値を、走査した画素数もしくはらせん走査の周
   回数を基に正規化する処理と、 前記正規化した値から閾値判定によりブロックサイズを
   求める処理と、 求められた画素毎のブロックサイズを用いて、第１の画
   像と他の画像の対応点探索処理を行い、視差情報を抽出
   し、距離画像を出力する処理をコンピュータに実行させ
   るための三次元画像処理プログラムを記録した記録媒
   体。
10. 【請求項１０】 第１の画像と他の画像を入力し、第１
    の画像と他の画像間で画素同士の対応付けを行い、画素
    毎の視差情報を得ることにより、距離画像を出力する三
    次元画像処理プログラムであって、 第１の画像の画素データを記憶するメモリ、他の画像の
    画素データを記憶するメモリ、当該画素の輝度勾配値を
    記憶するメモリ、輝度勾配値の累積値を記憶するメモ
    リ、ブロックサイズを記憶するメモリ、視差情報を記憶
    するメモリを含むデータ記憶部と、隣接する処理ブロッ
    クからデータを受け取り、前記データ記憶部に格納する
    データ受信部と、各画素の輝度勾配を算出し、前記デー
    タ記憶部に格納する輝度勾配演算部と、輝度勾配値の累
    積処理を行い、前記データ記憶部に格納する輝度勾配値
    累積処理部と、輝度勾配値が閾値を越えたかどうか判定
    する累積値閾値判定部と、画素毎に得られた走査画素数
    または周回数に基づき画素毎に最適なブロックサイズを
    算出し、前記データ記憶部に格納するブロックサイズ算
    出部と、画素毎の求められたブロックサイズを求めて、
    第１の画像と他の画像間の対応点探索処理を行う対応点
    探索処理部と、処理ブロック内で転送が必要なデータを
    隣接する１個の処理ブロックに転送するデータ送信部
    と、命令を受信し、該命令に応じて前記データ受信部、
    前記輝度勾配演算部、前記輝度勾配値累積処理部、前記
    累積値閾値判定処理部、前記データ送信部のいずれかを
    起動する命令受信部を含む処理ブロックが前記画像デー
    タの各画素に対応して配列されたＰＥアレイ処理部と、 入力された第１の画像と他の画像の画素データを対応す
    る処理ブロックのデータ受信部に送信するとともに、デ
    ータ格納を指示する命令を対応する処理ブロックの命令
    受信部に送信する画像入力初期化処理と、 全処理ブロックの命令受信部に対して、前記輝度勾配演
    算部を起動する命令を出す輝度勾配算出処理と、 らせん状もしくは同心円状に画素を走査しながら、全処
    理ブロックの命令受信部に対して、前記輝度勾配値累積
    処理部、前記累積値閾値判定処理部を起動する命令を出
    すらせん走査処理と、 全処理ブロックの命令受信部に対して、前記ブロックサ
    イズ算出部を起動する命令を出すブロックサイズ算出処
    理と、 全処理ブロックの命令受信部に対して、前記対応点探索
    処理部を起動する命令を出す対応点探索処理をコンピュ
    ータに実行させるための三次元画像処理プログラムを記
    録した記録媒体。
11. 【請求項１１】 第１の画像と他の画像を入力し、第１
    の画像と他の画像間で画素同士の対応付けを行い、画素
    毎の視差情報を得ることにより、距離画像を出力する三
    次元画像処理プログラムであって、 画像の画素数と同じワード数を有し、各ワードに第１の
    画像の画素データ、他の画像の画素データ、輝度勾配
    値、輝度勾配累積値、ブロックサイズ、視差情報を格納
    する連想メモリに、入力された第１の画像と他の画像の
    画素データを格納する画像入力初期化処理と、 画素毎に輝度勾配を求め、前記連想メモリに格納する輝
    度勾配算出処理と、 当該処理ブロックの対応する画素を中心としたらせん状
    に沿った近傍処理ブロックについて順次、輝度勾配値を
    読み出し、前記連想メモリへ転送し、前記連想メモリ内
    で前記輝度勾配累積値を加算するらせん走査処理と、 画素毎に得られた走査画素数または周回数に基づきブロ
    ックサイズを求め、前記連想メモリに格納するブロック
    サイズ算出処理と、 前記求められた画素毎のブロックサイズを求めて、第１
    の画像と他の画像間の対応点探索処理を行う対応点探索
    処理をコンピュータに実行させるための三次元画像処理
    プログラムを記録した記録媒体。