JPH0933249A - 三次元画像計測装置 - Google Patents

Abstract

(57)【要約】 【課題】 各画素の特徴を抽出して、その特徴の形によ
って対応点検索を行うことにより、誤対応を減少させて
正確な検索を行うことができ、精度の良い距離画像を得
る。 【解決手段】 ２台以上の撮像手段により視差画像を撮
影して三次元距離画像を得る装置であり、一方の画像に
ついて各画素毎の特徴抽出を行う手段ＳＴ２と、得られ
た特徴に従って対応点検索のための窓関数を設定する手
段ＳＴ３とを備え、設定された窓関数に従って対応点検
索ＳＴ５を行うことにより、各画素の視差量を決定ＳＴ
６し、各画素の示す位置までの距離を計算ＳＴ７する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、三次元画像計測装
置に関し、特に、複数の撮像手段によって取得した視差
画像を処理して三次元距離画像を得るためのステレオ画
像計測法に関するものである。

【０００２】

【従来の技術】従来、ステレオ画像計測法は、例えば、
「三次元距離画像計測」（昭晃堂、ｐ．１４）、ＳＰＩ
Ｅ（Vol.848,1987,p.411）等に見られるように、図１、
図２に示すように、光軸間にある一定の距離Ｌを置いて
配置された２つのＣＣＤカメラ１、２によって撮像され
た２枚の視差画像Ｉ_R 、Ｉ_L において、一方の画像中の
各画素毎に他方の画像中の対応点を検索し、その視差か
らその画素に対応する測定点の距離を計算するものであ
る。

【０００３】対応点を検索する方法としては、一方の画
像において特徴点を検出して、その特徴点に対応する点
を他方の画像中で検索する方法、及び、一方の画像の各
画素毎に他方の画像上で対応点を見つける方法等があ
る。

【０００４】実際には、撮影された画像中のある画素点
Ｐ（ｘ，ｙ）における右画像と、左画像の画素の強度値
をそれぞれＩ_R （ｘ，ｙ）、Ｉ_L （ｘ，ｙ）、相関をと
るための領域の窓の形をΔｘ×Δｙの長方形としたと
き、右画像上のある一点（ｘ，ｙ）と（δｘ，δｙ）の
視差量を持った左画像上の位置における相関関数Ｅ
（ｘ，ｙ）は、 と表されるので、この相関関数が最小になるように（δ
ｘ，δｙ）を求めることにより対応点が検索され、この
ときの（δｘ，δｙ）が画素を単位とした視差量とな
る。

【０００５】ところで、ステレオ画像計測では、通常２
台のカメラの視線が同一水平面上に含まれるように設定
して撮像を行うため、対応点検索はエピポーラ線（歪曲
収差がなければ、左右の画像の同じ高さの線）上で行
い、δｙ＝０として、この相関関数Ｅ（ｘ，ｙ）が最小
となるときのδｘを視差量としている。ＣＣＤカメラの
結像光学系の光軸間の距離をＬ、撮像レンズの焦点距離
をｆ、ＣＣＤの画素間隔をμとすると、実視差量は（δ
ｘ・μ）であるから、距離は、 ｄ（ｘ，ｙ）＝（ｆ・Ｌ）／（δｘ・μ） ・・・（２） で表されるので、各画素毎に対応点検出を行って視差量
を求め、上記の（２）式に従って距離を計算して、距離
画像として表すものである。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
方法による長方形の領域の窓を設けて行う対応点検索
は、左右の画像で対応点を検索する場合、窓の大きさが
小さすぎると多数の点が対応してしまい、対応点を見つ
けることが困難となり、特に、最適化を行おうとする
と、相関関数の地形が複雑になり、ローカルミニマムに
陥りやすくなり、適正な最適化が行われない。また、窓
が大きすぎると距離画像の分解能が悪くなるのに加え、
対応点検索の時間も長くなり、不都合である。

【０００７】本発明は従来技術のこのような問題点に鑑
みてなされたものであり、その目的は、各画素の特徴を
抽出して、その特徴の形によって対応点検索を行うこと
により、誤対応を減少させて正確な検索を行うことがで
き、精度の良い距離画像を得ることができる三次元画像
計測装置を提供することである。

【０００８】

【課題を解決するための手段】上記目的を達成する本発
明の三次元画像計測装置は、２台以上の撮像手段により
視差画像を撮影して三次元距離画像を得る装置におい
て、一方の画像について各画素毎の特徴抽出を行う手段
と、得られた特徴に従って対応点検索のための窓関数を
設定する手段とを備え、設定された窓関数に従って対応
点検索を行うことにより、各画素の視差量を決定し、各
画素の示す位置までの距離を計算することを特徴とする
ものである。

【０００９】本発明のもう１つの三次元画像計測装置
は、２台以上の撮像手段により視差画像を撮影して三次
元距離画像を得る装置において、対応点検索を行う前処
理として、各画像についてウェーブレット変換又はフィ
ルタ処理を施し、その変換又は処理で抽出された特徴に
基づいて対応点検索を行うことを特徴とするものであ
る。

【００１０】これらにおいて、各画素毎の対応点検索を
行うときにその検索領域を設定する手段を備え、設定さ
れた領域内のみで対応点検索を行うようにすることが望
ましい。

【００１１】以下、本発明において上記構成をとる理由
と作用について説明する。一般に、撮像装置で撮影され
た像における各画素は、画素間距離が離れるに従って相
関が小さくなる。デジタル画像処理を行う場合には、相
関は適当な窓を設定して相関をとるのが一般的である
が、光学的に数枚の画像を重ね合わせて相関をとる場合
は、特に窓を設定するというようなことはしないが、こ
れは、各画像上の各点が形の特徴を持ち、その特徴に従
った相関がとられていると考えることができる。これを
デジタル画像処理の際にも応用して相関をとるようにす
れば、より正確な相関をとることができる。

【００１２】すなわち、その画素特有の特徴を示すよう
な窓の形を設定して、その形に従った相関をとることに
すれば、画素間距離が離れるに従って相関値の変化は急
峻となり、対応点が見つけやすくなる。つまり、相関関
数を前記の（１）式を変形して、窓関数ｗ（ｘ，ｙ）を
導入して、次の（３）式とすることにする。

【００１３】 例として、図３に示されるような簡略化された１次元の
２値モデルを用いて具体的に示す。右画像のある点にお
いて、図の（１）に示されるような強度分布Ｉ_R を持つ
として、図の（２）に示される左画像Ｉ_L との対応をと
ることを考える。窓の大きさを５画素とすれば、従来の
方法における窓ｗ₀ は図の（３）のようになる。また、
本発明に従ってエッジを特徴とする最適化された窓を作
るとすれば、図の（１）の画像におけるエッジの左右の
１画素をとって窓ｗ₁ とし、規格化係数２．５を掛けて
図の（４）のようになる。これらの窓関数により、図の
（２）の左画像との相関をとると、横軸をずらし量とし
て、相関関数Ｅ（δｘ）は図の（５）のようになる。図
の（５）の相関値が０に落ちて行く前の相関値が３の曲
線が従来の方法における窓ｗ₀ を用いた場合、相関値が
０に落ちて行く前の相関値が２．５の曲線が本発明によ
る窓ｗ₁ を用いた場合であり、この相関関数の形から分
かるように、本発明によれば、対応点への勾配が大きく
なり、対応点検索が行いやすくなる。

【００１４】各画素毎の特徴に従って対応点検索を行う
こととすれば、対応する位置と対応しない位置との相関
値の変化が大きくなり、最適化を行った場合に、いわゆ
るローカルミニマムに陥る可能性が小さくなり、より正
確な対応点検索を行うことができる。

【００１５】また、対応点検索を行う前処理として、各
画像にウェーブレット変換を施すことを考える。ウェー
ブレット変換をデジタル的に計算するとき、２次元の変
換式は、 と表される。ここで、ａ，ｂはスケール係数（拡大
率）、ｉ，ｊは画素番号である。このウェーブレット変
換はいわゆる周波数フィルタとして作用するので、
（４）式で示されるウェーブレット変換におけるウェー
ブレットψ（ｘ，ｙ）を適当に選択することにより、ロ
ーパス、ハイパス、バンドパス等のフィルタとして用い
て、画素の特徴抽出を行うことができる（例えば、１９
９３年第２４回画像工学コンファレンス，論文番号６−
１，ｐ．１７５参照）。このような特徴抽出の処理手法
としては、特にウェーブレット変換に限ることなく、通
常のエッジフィルタ等のフィルタでもよい。このような
処理を行った後の画像は特徴が強調されており、対応点
検索が行いやすくなる。

【００１６】

【発明の実施の形態】以下に、本発明の三次元画像計測
装置のいくつかの実施例について説明する。 〔実施例１〕図１に本発明の実施例における装置の配置
図、図２に距離算出の原理図を示す。図１中、１、２は
ＣＣＤカメラ等の撮像手段、３は測定対象物体、４は画
像処理装置である。図２中、５、６は結像光学系、７、
８は２次元撮像素子である。測定対象物体３上の点Ｐに
対応する左右の撮像手段１、２の２次元撮像素子７、８
上で検出される画素強度は、Ｉ_L （ｘ_L ，ｙ_L ）、Ｉ_R
（ｘ_R ，ｙ_R ）となる。また、特徴検出を行うための窓
をΔｘ×Δｙとする。

【００１７】例えば、右画像上のある点Ｐ（ｘ，ｙ）近
傍で図４（ａ）に示すような画素値をとったとする。こ
のとき、特徴検出窓が３×３であるとして、エッジを特
徴とする最適化窓を用いるとするとき、隣り合う画素間
の差分がある一定の閾値より大きい場合、その隣り合う
２画素を特徴として扱うという規則に従った作り方をす
ると、隣り合う２画素間の差画像は図４（ｂ）のように
なり、差の閾値を例えば２５としたとき（絶対値）、特
徴窓は図４（ｃ）に示すような形になる。

【００１８】例えば、図５に左右の画像が示されるよう
な画像において、この画像上の数点における窓は、従来
の方法の場合は図５のようになるが、上記のような最適
化窓設定を行った場合、図６に示したような窓関数が設
定されることになり、他方の画像との対応点検索は、前
記の（３）式によって計算される相関値Ｅ（ｘ，ｙ）が
最小になるように、各点Ｐ（ｘ，ｙ）ついて視差量δ
（ｘ，ｙ）を決定する。

【００１９】〔実施例２〕また、他の最適窓設定法とし
て、形を特徴とする最適化窓を用いるとするとき、中心
の画素値との差がある一定値以下である場合に、その画
素における窓関数を１とするという規則に従って窓関数
を作成すると、図４（ａ）に示されるような窓内での窓
関数は、中心画素との差画像が図７（ａ）のようになる
ため、ここでも閾値を例えば２５とすれば、窓関数は図
７（ｂ）のようなものとなる。

【００２０】〔実施例３〕さらに、別の実施例として、
前述の実施例においては、撮像されたままの画像につい
ての相関をとっていたが、原画像を微分処理して、処理
後の画像に対して最適な窓を設定してから、対応をとる
こともできる。ここでは、微分処理として、簡単に、隣
り合う画素との差をとるという方法で微分処理をした場
合を考える。画素値は、左右の撮像装置の特性の差や、
左右の視線の違いによる照明の違いにより、左右で絶対
値として差がある場合があるが、画素値の注目点近傍に
おいては勾配は左右でほぼ等しいと見なすことができる
ので、微分（差分）をとることによる相対値比較を行う
ことで、より正確に対応点検索を行うことができる。微
分（差分）画像は図４（ｂ）と同じものとなるが、この
画像をさらに中心画素の値との差をとったものが図８
（ａ）であり、ここでも閾値を例えば２５とすることに
より、図８（ｂ）で示される特徴窓ができる。この特徴
窓に従って微分（差分）画像間の対応付けを行うことに
より、測定が行われる。

【００２１】〔実施例４〕以上の実施例においては、原
画像に基づいて窓関数を設定していたが、予め数種類の
窓関数を設定しておき、この予め設定された窓関数の１
つに当てはめて各画素の窓関数を決定する方法もある。
例えば、図９（ａ）〜（ｈ）のようにする。図９
（ａ）、（ｂ）は右下がりのエッジに対応し、図９
（ｃ）、（ｄ）は右上がりのエッジに対応し、図９
（ｅ）、（ｆ）は水平方向のエッジに対応し、図９
（ｇ）、（ｈ）は鉛直方向のエッジに対応している。こ
のような方法を用いると、各画素への窓関数の対応付け
が簡略化され、演算時間の短縮が図られると共に、装置
のハードウェア化が簡単になる。

【００２２】〔実施例５〕次に、特徴を決定する際に、
画像に（４）式で示されるようなウェーブレット変換を
施してから、対応点検索を行うこともできる。例えば、
まず原画像に対応してローパスフィルタをかけた後に最
適化された窓関数を作り、その窓関数に基づいて対応点
検索を行い、次に、原画像のハイパスフィルタをかけた
ものに対して最適化窓関数を設定して、その窓関数に基
づいて対応点検索を行う。この方法を用いることによ
り、原画像中、空間周波数の高いものに対しては、ハイ
パスフィルタにより特徴が強調され、空間周波数の高い
部分の対応点検索に有利になり、また、空間周波数の低
いものに対してはローパスフィルタにより特徴が強調さ
れ、空間周波数の低いものに対して対応点検索が有利に
なり、相互に用いることにより、より正確な三次元計測
が行われる。

【００２３】さらにウェーブレット変換に限らず、通常
よく用いられるエッジ検出等のフィルタによる前処理を
行うことも考えられる。このようにして前処理を行った
後に、最適な窓関数を設定して、対応点検索を行うこと
により、さらに正確な検索を行うことができる。

【００２４】以上述べたような方法で窓関数を設定する
とき、特徴検索窓内で特徴がない場合、すなわち、窓内
の画素値の差がほとんどない場合には、この窓全体で対
応点検索を行うか、又は、この窓は対応点検索のための
窓としては用いずに、近傍の点で対応点検索が行われた
画素との連続性の条件を用いて、視差量を決定すること
もできる。

【００２５】上記の１〜５の各実施例では、抽出される
画素の特徴を０，１の２値で表現したが、これは特に２
値である必要はなく、差分等の値により重みを付けた多
値で表現することもできる。また、対応点検索は、総組
み合わせを計算して、その最小値を求める方法や、最急
降下法、最小二乗法、シミュレーテッド・アニーリン
グ、ニューラル・ネットワークによる組み合わせ最適
化、ＧＡ（ｇｅｎｅｒｉｃ ａｌｇｏｒｉｔｈｍ）等の
最適化アルゴリズムを用いることができる。

【００２６】ところで、対応点検索を行う場合、基線の
長さＬ、レンズの焦点距離ｆ、撮像素子の画素間距離μ
等の条件により、同一エピポーラ線上であっても明らか
に対応点になり得ない領域が存在するが、これらの領域
で検索を行うことは時間のロスとなるため、予め検索領
域から除外するのがよい。前記の（２）式において、例
えばＣＣＤの隣り合う２画素間の距離μが１０μｍ、レ
ンズの焦点距離ｆが１０ｍｍ、基線長Ｌが１０ｃｍであ
った場合、視差量が１画素であった場合、距離は、ｄ
（１画素）＝１０ｍｍ・１００ｍｍ／１画素・１０μｍ
＝１００ｍとなり、１ｍの距離に対象物体がある場合
は、視差量δｘは、δｘ＝１０ｍｍ・１００ｍｍ／１ｍ
＝１ｍｍ＝１００画素に相当するから、１ｍ以上の距離
検出を行う場合には、１００画素以上の視差量の検索は
行う必要はない。このようにして、検索の範囲を制限す
ることによって演算時間の短縮を図ることができる。

【００２７】以上に説明した本発明の三次元画像計測装
置の処理手順をフローチャートに表すと図１０のように
なる。これら処理は、図１の画像処理装置４を構成する
コンピュータ上で上記の説明に従って行われる。すなわ
ち、ＳＴ１において、撮像された左右の画像に（４）式
に従ったウェーブレット変換あるいは適当なフィルタ処
理を前処理として施し、次に、ＳＴ２において、例えば
図４（ｂ）のような特徴抽出を一方の画像の各画素毎に
行う。その次に、ＳＴ３において、得られた特徴に従っ
て例えば図４（ｃ）のような対応点検索のための窓関数
の設定を行う。その後、ＳＴ４において、上記のような
検索の範囲を制限する検索領域の設定を行い、次いで、
ＳＴ５において、設定された窓関数に従って（３）式に
より対応点検索を行う。その結果、ＳＴ６において、各
画素の視差量を決定し、最後に、ＳＴ７において、求め
られた視差量から各画素の距離を（２）式により計算す
る。

【００２８】以上、本発明の三次元画像計測装置をその
原理の説明といくつかの実施例の説明に基づいて説明し
てきたが、本発明はこれらに限定されず種々の変形が可
能である。

【００２９】

【発明の効果】以上、詳細に述べたように、本発明によ
れば、ステレオ画像計測法において、対応点検索の際
に、各画素の特徴を抽出して、その特徴の形によって対
応点検索を行うため、誤対応が減少して正確な検索を行
うことができ、精度の良い距離画像を得ることができ
る。

【図面の簡単な説明】

【図１】本発明の三次元画像計測装置の１実施例の配置
図である。

【図２】距離算出の原理図である。

【図３】本発明の原理の従来法に対する利点を説明する
ための図である。

【図４】実施例１による画素の特徴抽出の手法を示す図
である。

【図５】従来法における窓関数を示す図である。

【図６】本発明における窓関数を示す図である。

【図７】実施例２による画素の特徴抽出の手法を示す図
である。

【図８】実施例３による画素の特徴抽出の手法を示す図
である。

【図９】実施例４による画素の特徴抽出の手法を示す図
である。

【図１０】本発明の三次元画像計測装置の処理手順を示
すフローチャートである。

【符号の説明】

１、２…ＣＣＤカメラ等の撮像手段 ３…測定対象物体 ４…画像処理装置 ５、６…結像光学系 ７、８…２次元撮像素子

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ２台以上の撮像手段により視差画像を撮
   影して三次元距離画像を得る装置において、 一方の画像について各画素毎の特徴抽出を行う手段と、
   得られた特徴に従って対応点検索のための窓関数を設定
   する手段とを備え、 設定された窓関数に従って対応点検索を行うことによ
   り、各画素の視差量を決定し、各画素の示す位置までの
   距離を計算することを特徴とする三次元画像計測装置。
2. 【請求項２】 ２台以上の撮像手段により視差画像を撮
   影して三次元距離画像を得る装置において、 対応点検索を行う前処理として、各画像についてウェー
   ブレット変換又はフィルタ処理を施し、その変換又は処
   理で抽出された特徴に基づいて対応点検索を行うことを
   特徴とする三次元画像計測装置。
3. 【請求項３】 請求項１又は２の三次元画像計測装置に
   おいて、各画素毎の対応点検索を行うときにその検索領
   域を設定する手段を備え、設定された領域内のみで対応
   点検索を行うことを特徴とする三次元画像計測装置。