JPH07253310A - ステレオ画像処理装置 - Google Patents
ステレオ画像処理装置Info
- Publication number
- JPH07253310A JPH07253310A JP6044249A JP4424994A JPH07253310A JP H07253310 A JPH07253310 A JP H07253310A JP 6044249 A JP6044249 A JP 6044249A JP 4424994 A JP4424994 A JP 4424994A JP H07253310 A JPH07253310 A JP H07253310A
- Authority
- JP
- Japan
- Prior art keywords
- difference
- stereo
- parallax
- class data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 物体上同一点の明るさの不変性に基づくステ
レオ画像間の輝度差と輝度勾配の拘束式を用いて画素を
クラスタリングし、少ない計算量で、かつ物体の境界上
でも少ない推定誤差で視差を求める。 【構成】 視差推定に必要な水平差分回路108、ステレ
オ差分回路107の出力を受け、クラスタリング回路111は
画像座標の位置ベクトルを結合して標本ベクトルとし、
位置ベクトル平均と視差の推定値をクラスデータとして
複数保持し、クラスデータと標本ベクトル間の距離を求
め、標本ベクトルと最も近いクラスデータを対応付け、
対応付けられたクラスデータと標本ベクトルから、クラ
スデータを標本ベクトルとの距離和が小さくなるように
変更する。視差は差分ベクトルの共分散行列の固有ベク
トルから求められる。
レオ画像間の輝度差と輝度勾配の拘束式を用いて画素を
クラスタリングし、少ない計算量で、かつ物体の境界上
でも少ない推定誤差で視差を求める。 【構成】 視差推定に必要な水平差分回路108、ステレ
オ差分回路107の出力を受け、クラスタリング回路111は
画像座標の位置ベクトルを結合して標本ベクトルとし、
位置ベクトル平均と視差の推定値をクラスデータとして
複数保持し、クラスデータと標本ベクトル間の距離を求
め、標本ベクトルと最も近いクラスデータを対応付け、
対応付けられたクラスデータと標本ベクトルから、クラ
スデータを標本ベクトルとの距離和が小さくなるように
変更する。視差は差分ベクトルの共分散行列の固有ベク
トルから求められる。
Description
【０００１】
【産業上の利用分野】本発明は物体の３次元位置を計測
するステレオ画像処理装置に関する。
するステレオ画像処理装置に関する。
【０００２】
【従来の技術】ステレオ画像から距離を得ることは、異
なる画像上の２点の対応を求める問題に帰着される。通
常用いられる方法として、ステレオ画像の一方をブロッ
ク分割して、他方のステレオ画像上でもっとも相関の高
いブロック領域を探索し、この領域へのずれ量（視差）
を求める方法がある。
なる画像上の２点の対応を求める問題に帰着される。通
常用いられる方法として、ステレオ画像の一方をブロッ
ク分割して、他方のステレオ画像上でもっとも相関の高
いブロック領域を探索し、この領域へのずれ量（視差）
を求める方法がある。
【０００３】これをブロック相関法と呼ぶことにする。
視差は、二つのカメラの中心を通る線（基線）に対して
生まれることから、最大相関ブロックの探索は基線方向
（通常は水平方向）に対して行なわれる。以上のブロッ
ク相関法としては、例えば、「アイイーイーイー トラ
ンザクションズ オン パターン アナライシス アン
ド マシーン インテリジェンス 第７巻 第１３９〜
１５４頁 １９８５年」（Y.Ohta and T.Kanade: "Stere
o by intra- and inter-scanline search usingdynamic
programing", IEEE Transactions on Pattern Analys
is and MachineIntelligence, Vol.７, pp.139-154, 19
85.）がある。これを第一の従来例とする。
視差は、二つのカメラの中心を通る線（基線）に対して
生まれることから、最大相関ブロックの探索は基線方向
（通常は水平方向）に対して行なわれる。以上のブロッ
ク相関法としては、例えば、「アイイーイーイー トラ
ンザクションズ オン パターン アナライシス アン
ド マシーン インテリジェンス 第７巻 第１３９〜
１５４頁 １９８５年」（Y.Ohta and T.Kanade: "Stere
o by intra- and inter-scanline search usingdynamic
programing", IEEE Transactions on Pattern Analys
is and MachineIntelligence, Vol.７, pp.139-154, 19
85.）がある。これを第一の従来例とする。
【０００４】一方、これに対して、輝度勾配の拘束式か
らステレオ画像の対応問題を扱う方法がある（例えば、
「ディーエーアールピーエー イメージ アンダースタ
ンディング ワークショップ 第１２１〜１３０頁 １
９８２年」（B. Lucas and T.Kanade: "An iterative i
mage registration technique with an applicationto
stereo vision", Proc.DARPA Image Understanding Wor
kshop, pp.121-130,1982））。
らステレオ画像の対応問題を扱う方法がある（例えば、
「ディーエーアールピーエー イメージ アンダースタ
ンディング ワークショップ 第１２１〜１３０頁 １
９８２年」（B. Lucas and T.Kanade: "An iterative i
mage registration technique with an applicationto
stereo vision", Proc.DARPA Image Understanding Wor
kshop, pp.121-130,1982））。
【０００５】この方法では、一方のステレオ画像上の点
(ξ,η)の明るさをＩ(ξ,η)とし、他方のステレオ画像
ではこの点がξ軸にｕ、η軸にｖ動くとする。物体上同
一点の明るさの不変性を仮定すると、以下の近似式が成
り立つ。
(ξ,η)の明るさをＩ(ξ,η)とし、他方のステレオ画像
ではこの点がξ軸にｕ、η軸にｖ動くとする。物体上同
一点の明るさの不変性を仮定すると、以下の近似式が成
り立つ。
【０００６】
【数１】
【０００７】ここで、ΔＩはステレオ画像間の輝度差で
ある。この拘束式を用いて、例えばある領域について、
２式に示す重み付き誤差和の最小化を行うことにより、
視差(ｕ,ｖ)を求めることができる。
ある。この拘束式を用いて、例えばある領域について、
２式に示す重み付き誤差和の最小化を行うことにより、
視差(ｕ,ｖ)を求めることができる。
【０００８】
【数２】
【０００９】ここで、ｘは局所窓Ω内の画素の位置(ξ,
η）tを、W2(x)はその位置ｘにおける重み係数を表す。
tはベクトル、行列の転値を表すものとする。この局所
窓を画像上で走査することにより、密な視差量を求めこ
とができる。
η）tを、W2(x)はその位置ｘにおける重み係数を表す。
tはベクトル、行列の転値を表すものとする。この局所
窓を画像上で走査することにより、密な視差量を求めこ
とができる。
【００１０】ところで、ステレオ画像の場合は視差を生
む方向が既知であるから、例えば対応点の動きが水平方
向に限られる時、３式の最小化により視差ｕを計算する
ことができる。これを第２の従来例とする。
む方向が既知であるから、例えば対応点の動きが水平方
向に限られる時、３式の最小化により視差ｕを計算する
ことができる。これを第２の従来例とする。
【００１１】
【数３】
【００１２】３式の意味は図３を用いて説明することが
できる。図３は画像輝度値を、ある点（観測点）に注目
して輝度の水平方向の断面として図示したものである。
ここで二つのステレオ画像のなかで基準となるものを基
準画像、他方を参照画像とよぶことにする。物体の同一
点の輝度が不変で、観測点の輝度がある微小区間で直線
的に変化していると仮定すると、視差は観測点における
基準画像の輝度の傾きと基準画像と参照画像の輝度差か
ら４式が成り立つ。
できる。図３は画像輝度値を、ある点（観測点）に注目
して輝度の水平方向の断面として図示したものである。
ここで二つのステレオ画像のなかで基準となるものを基
準画像、他方を参照画像とよぶことにする。物体の同一
点の輝度が不変で、観測点の輝度がある微小区間で直線
的に変化していると仮定すると、視差は観測点における
基準画像の輝度の傾きと基準画像と参照画像の輝度差か
ら４式が成り立つ。
【００１３】
【数４】
【００１４】基準画像上にある同じ距離（視差）となる
物体表面では、この拘束式を満足するが、画素について
何点か標本すると、４式に対する近似誤差、観測誤差に
より図４に示すように拘束式（４式）を表す直線の周り
に確率的に分布する。そこで、３式では、重み付き最小
２乗により図４の拘束直線に相当する拘束式を求めてい
る。以後ステレオ画像の輝度差をステレオ差分とぶ。ま
た基準画像の輝度の傾きを輝度値の水平差分により表現
する。
物体表面では、この拘束式を満足するが、画素について
何点か標本すると、４式に対する近似誤差、観測誤差に
より図４に示すように拘束式（４式）を表す直線の周り
に確率的に分布する。そこで、３式では、重み付き最小
２乗により図４の拘束直線に相当する拘束式を求めてい
る。以後ステレオ画像の輝度差をステレオ差分とぶ。ま
た基準画像の輝度の傾きを輝度値の水平差分により表現
する。
【００１５】以上の手法により、焦点距離、基線長を既
知として、画像上の奥行きは視差より三角測量の原理に
より求められる。
知として、画像上の奥行きは視差より三角測量の原理に
より求められる。
【００１６】
【発明が解決しようとする課題】しかしながら、前記し
た第１の従来例では、全画面の各ブロックについて相関
演算を行うため、計算量が多いという第１の課題があ
る。一方、第２の従来例では、視差が大きくなると４式
に対する仮定が成り立たなくなるため推定誤差が大きく
なるという第２の課題がある。また第１、第２の従来例
とも、物体の境界上で推定誤差が大きくなるという第３
の課題を有している。
た第１の従来例では、全画面の各ブロックについて相関
演算を行うため、計算量が多いという第１の課題があ
る。一方、第２の従来例では、視差が大きくなると４式
に対する仮定が成り立たなくなるため推定誤差が大きく
なるという第２の課題がある。また第１、第２の従来例
とも、物体の境界上で推定誤差が大きくなるという第３
の課題を有している。
【００１７】第３の課題は視差量の推定と画像の領域分
割が相互依存していることによる。第１の従来例では相
関演算を行なうブロック内に異なる奥行きが存在する場
合、第２の従来例では重み付き最小自乗推定を行なう局
所窓Ω内に異なる奥行きが存在する場合、正確な視差を
求めることができないことがある。このために、視差量
推定には、なんらかの領域分割の枠組との結合が必要で
ある。
割が相互依存していることによる。第１の従来例では相
関演算を行なうブロック内に異なる奥行きが存在する場
合、第２の従来例では重み付き最小自乗推定を行なう局
所窓Ω内に異なる奥行きが存在する場合、正確な視差を
求めることができないことがある。このために、視差量
推定には、なんらかの領域分割の枠組との結合が必要で
ある。
【００１８】第１の発明は、上記第１、第３の課題を解
決し、ステレオ画像処理装置の物体境界での視差検出の
精度の向上と処理時間の短縮を図るステレオ画像処理装
置を提供することを第１の目的とする。
決し、ステレオ画像処理装置の物体境界での視差検出の
精度の向上と処理時間の短縮を図るステレオ画像処理装
置を提供することを第１の目的とする。
【００１９】また第２の発明は、第２の従来例で問題と
なる第２の課題を解決し、物体までの距離が近い時にお
いても安定に視差を得ることができるステレオ画像処理
装置を提供することを第２の目的とする。
なる第２の課題を解決し、物体までの距離が近い時にお
いても安定に視差を得ることができるステレオ画像処理
装置を提供することを第２の目的とする。
【００２０】
【課題を解決するための手段】第１の発明は上記第１の
目的を達成するために、異なる位置から撮られた複数の
画像を符号化する手段と、前記符号化された複数の画像
間の差分を演算するステレオ差分演算手段と、前記複数
の画像のうち一つの画像について、見え方の異なる方向
である視差方向に空間差分を求める空間差分演算手段
と、前記空間差分演算手段の結果Ｉｓと前記ステレオ差
分演算手段の結果ΔＩを並べた輝度微分ベクトル(Ｉs,
ΔＩ)と、前記画像座標の位置ベクトル(ξ,η) を結合
して標本ベクトルとし、位置ベクトル平均(ξav，ηav)
と視差ｕの推定値をクラスデータとして複数保持し、前
記クラスデータと前記標本ベクトル間の距離を、前記
(ξ−ξav，η−ηav)とｕ＊Ｉs＋ΔＩから求め、前記
標本ベクトルと最も近いクラスデータを対応付け、対応
付けられたクラスデータと標本ベクトルから、前記クラ
スデータを標本ベクトルとの距離和が小さくなるように
変更するクラスタリング手段を有する構成である。
目的を達成するために、異なる位置から撮られた複数の
画像を符号化する手段と、前記符号化された複数の画像
間の差分を演算するステレオ差分演算手段と、前記複数
の画像のうち一つの画像について、見え方の異なる方向
である視差方向に空間差分を求める空間差分演算手段
と、前記空間差分演算手段の結果Ｉｓと前記ステレオ差
分演算手段の結果ΔＩを並べた輝度微分ベクトル(Ｉs,
ΔＩ)と、前記画像座標の位置ベクトル(ξ,η) を結合
して標本ベクトルとし、位置ベクトル平均(ξav，ηav)
と視差ｕの推定値をクラスデータとして複数保持し、前
記クラスデータと前記標本ベクトル間の距離を、前記
(ξ−ξav，η−ηav)とｕ＊Ｉs＋ΔＩから求め、前記
標本ベクトルと最も近いクラスデータを対応付け、対応
付けられたクラスデータと標本ベクトルから、前記クラ
スデータを標本ベクトルとの距離和が小さくなるように
変更するクラスタリング手段を有する構成である。
【００２１】また第２の発明は、上記第２の目的を達成
するために、異なる位置から撮られた複数の画像を符号
化する手段と、前記符号化された画像を変形する画像変
形手段と、前記画像変形手段より得られた複数の画像間
の差分を演算するステレオ差分演算手段と、前記ステレ
オ差分を最小化するよう前記画像変形手段の動作を制御
するステレオ差分最小化手段と、前記画像変形手段より
得られた複数の画像のうち一つの画像について、見え方
の異なる方向である視差方向に空間差分を求める空間差
分演算手段と、前記空間差分演算手段と前記ステレオ差
分演算手段の結果より、視差を演算する手段とを有し、
予め背景画像について、ステレオ差分が小さくなるよう
に前記ステレオ差分最小化手段により前記画像変形手段
を制御しておく構成である。
するために、異なる位置から撮られた複数の画像を符号
化する手段と、前記符号化された画像を変形する画像変
形手段と、前記画像変形手段より得られた複数の画像間
の差分を演算するステレオ差分演算手段と、前記ステレ
オ差分を最小化するよう前記画像変形手段の動作を制御
するステレオ差分最小化手段と、前記画像変形手段より
得られた複数の画像のうち一つの画像について、見え方
の異なる方向である視差方向に空間差分を求める空間差
分演算手段と、前記空間差分演算手段と前記ステレオ差
分演算手段の結果より、視差を演算する手段とを有し、
予め背景画像について、ステレオ差分が小さくなるよう
に前記ステレオ差分最小化手段により前記画像変形手段
を制御しておく構成である。
【００２２】
【作用】第１の発明は第２の従来例に示した輝度勾配の
拘束式を用いて視差を求める。まず、異なる位置から撮
られた複数の画像を符号化する手段によって符号化され
たステレオ画像を得、このステレオ画像の一方の画像に
ついて、見え方の異なる方向（視差方向）に空間差分を
求める空間差分演算手段を適用する。また、ステレオ画
像間の差分を演算するステレオ差分演算手段を実行す
る。これにより第２の従来例に示した ∂I/∂ξ、ΔIに
相当する値が画素毎に求まる。これを用いて視差ｕを求
めるが、本発明では第２の従来例とは異なり、クラスタ
リング手段により視差を求める。以下にこれを示す。
拘束式を用いて視差を求める。まず、異なる位置から撮
られた複数の画像を符号化する手段によって符号化され
たステレオ画像を得、このステレオ画像の一方の画像に
ついて、見え方の異なる方向（視差方向）に空間差分を
求める空間差分演算手段を適用する。また、ステレオ画
像間の差分を演算するステレオ差分演算手段を実行す
る。これにより第２の従来例に示した ∂I/∂ξ、ΔIに
相当する値が画素毎に求まる。これを用いて視差ｕを求
めるが、本発明では第２の従来例とは異なり、クラスタ
リング手段により視差を求める。以下にこれを示す。
【００２３】∂I/∂ξ、ΔＩと前記画像座標の位置ベク
トル(ξ ,η)を結合して一つの標本ベクトルとする。一
方、位置ベクトル平均(ξav, ηav)と視差ｕの推定値を
クラスデータとして、複数保持しておく。クラスデータ
と標本ベクトル間の距離を、前記(ξ−ξav，η−ηav)
とｕ＊（∂I/∂ξ）＋ΔＩから求め、前記標本ベクトル
と最も近いクラスデータを対応付ける。このとき距離
は、(ξ−ξav,η−ηav)と拘束式ｕ＊（∂Ｉ/∂ξ）＋
ΔＩを基に計算するため、画像上で近い位置にあり、か
つ同じ拘束式に従う画素の集合がクラスタを形成するこ
とになる。そして、このように対応付けられたクラスデ
ータと標本ベクトルから、前記クラスデータを標本ベク
トルとの距離和が小さくなるように変更することによ
り、視差ｕが補正される。標本化、クラスデータとの対
応、クラスデータの変更を繰り返すことにより視差がク
ラスデータ毎に求められる。
トル(ξ ,η)を結合して一つの標本ベクトルとする。一
方、位置ベクトル平均(ξav, ηav)と視差ｕの推定値を
クラスデータとして、複数保持しておく。クラスデータ
と標本ベクトル間の距離を、前記(ξ−ξav，η−ηav)
とｕ＊（∂I/∂ξ）＋ΔＩから求め、前記標本ベクトル
と最も近いクラスデータを対応付ける。このとき距離
は、(ξ−ξav,η−ηav)と拘束式ｕ＊（∂Ｉ/∂ξ）＋
ΔＩを基に計算するため、画像上で近い位置にあり、か
つ同じ拘束式に従う画素の集合がクラスタを形成するこ
とになる。そして、このように対応付けられたクラスデ
ータと標本ベクトルから、前記クラスデータを標本ベク
トルとの距離和が小さくなるように変更することによ
り、視差ｕが補正される。標本化、クラスデータとの対
応、クラスデータの変更を繰り返すことにより視差がク
ラスデータ毎に求められる。
【００２４】尚、位置を標本ベクトルに含めるのは、画
像上近傍にある画素の集合が同じ物体に属する確率が高
いためであるが、物体境界付近で異なる奥行き（視差）
がある場合は、一方の標本ベクトルから他方のクラスデ
ータへの距離が大きくなることから、物体の境界上で推
定誤差が大きくなるという課題は解決される。また、全
ての画素について視差を求める必要がない時は、標本ベ
クトルの生成を間引いたり、ランダムに行なうことによ
り処理時間の軽減を計ることができる。
像上近傍にある画素の集合が同じ物体に属する確率が高
いためであるが、物体境界付近で異なる奥行き（視差）
がある場合は、一方の標本ベクトルから他方のクラスデ
ータへの距離が大きくなることから、物体の境界上で推
定誤差が大きくなるという課題は解決される。また、全
ての画素について視差を求める必要がない時は、標本ベ
クトルの生成を間引いたり、ランダムに行なうことによ
り処理時間の軽減を計ることができる。
【００２５】第２の発明では、異なる位置から撮られた
複数の画像を符号化する手段、前記符号化された画像を
変形する画像変形手段、前記画像変形手段の出力画像の
差分を演算するステレオ差分演算手段を動作させなが
ら、ステレオ差分が、例えば絶対値和で、小さくなるよ
うステレオ差分最小化手段を用いて、画像変形のパラメ
ータを予め設定する。
複数の画像を符号化する手段、前記符号化された画像を
変形する画像変形手段、前記画像変形手段の出力画像の
差分を演算するステレオ差分演算手段を動作させなが
ら、ステレオ差分が、例えば絶対値和で、小さくなるよ
うステレオ差分最小化手段を用いて、画像変形のパラメ
ータを予め設定する。
【００２６】これにより、ステレオ入力画像は、輝度勾
配の拘束式（４式）が成り立つように画像が変形されて
処理されることになる。変形された複数の画像のうち一
つの画像について、見え方の異なる方向（視差方向）に
空間差分を求める空間差分演算手段の空間差分とステレ
オ差分から、例えば４式の拘束式を用いた視差演算手段
により視差が求まる。
配の拘束式（４式）が成り立つように画像が変形されて
処理されることになる。変形された複数の画像のうち一
つの画像について、見え方の異なる方向（視差方向）に
空間差分を求める空間差分演算手段の空間差分とステレ
オ差分から、例えば４式の拘束式を用いた視差演算手段
により視差が求まる。
【００２７】
【実施例】以下、本発明の実施例を図面を用いて説明す
る。図１は本発明の第１の実施例におけるステレオ画像
処理装置の構成を示すブロック図、図２は第１の実施例
におけるクラスタリング回路の動作を説明する流れ図で
ある。
る。図１は本発明の第１の実施例におけるステレオ画像
処理装置の構成を示すブロック図、図２は第１の実施例
におけるクラスタリング回路の動作を説明する流れ図で
ある。
【００２８】図１において、101、102はA／D変換器、10
3、104、109、110はフレームメモリ、105、106はローパ
スフィルタ、107はステレオ差分回路、108は水平差分回
路、111はクラスタリング回路である。
3、104、109、110はフレームメモリ、105、106はローパ
スフィルタ、107はステレオ差分回路、108は水平差分回
路、111はクラスタリング回路である。
【００２９】２つのA／D変換器101，102より入力される
画像は、図６に示すように、視差が水平方向に生じるよ
うに設定されたカメラを経て入力されている。ステレオ
画像は、量子化されて各々フレームメモリ103、104に格
納されたのち、ローパスフィルタ105、106により空間的
に平滑化された画像に変換される。ステレオ差分回路10
7では、二つのステレオ画像の差分を演算する。画像位
置水平位置ξ、画像位置垂直位置ηにおける差分結果を
ΔI（ξ,η）と本実施例では以後表記する。また特に
（ξ,η）を明記する必要がない場合は、単にΔＩと記
す。
画像は、図６に示すように、視差が水平方向に生じるよ
うに設定されたカメラを経て入力されている。ステレオ
画像は、量子化されて各々フレームメモリ103、104に格
納されたのち、ローパスフィルタ105、106により空間的
に平滑化された画像に変換される。ステレオ差分回路10
7では、二つのステレオ画像の差分を演算する。画像位
置水平位置ξ、画像位置垂直位置ηにおける差分結果を
ΔI（ξ,η）と本実施例では以後表記する。また特に
（ξ,η）を明記する必要がない場合は、単にΔＩと記
す。
【００３０】水平差分回路108では ローパスフィルタ10
6 から出力される画像について、水平差分∂Ｉ(ξ、
η）/∂ξを演算する。これを以後、Ｉξと略す。以上
の水平差分、ステレオ差分は各々フレームメモリ109、1
10に格納される。以上の処理は全画面の各画素について
実施される。クラスタリング回路111はフレームメモリ1
09、110に格納されている各画素についての水平差分、
ステレオ差分を読み込んで、図２に示す演算を行なう。
6 から出力される画像について、水平差分∂Ｉ(ξ、
η）/∂ξを演算する。これを以後、Ｉξと略す。以上
の水平差分、ステレオ差分は各々フレームメモリ109、1
10に格納される。以上の処理は全画面の各画素について
実施される。クラスタリング回路111はフレームメモリ1
09、110に格納されている各画素についての水平差分、
ステレオ差分を読み込んで、図２に示す演算を行なう。
【００３１】処理１「クラスデータの初期化」 本実施例のクラスデータは、標本ベクトル(ξ,η,Ｉξ,
ΔＩ)t 中の位置ベクトルｐ＝(ξ,η)tの平均値ｓ、位
置ベクトルの共分散行列Ｓ、輝度差分ベクトルｄ＝(Ｉ
ξ,ΔＩ)t の相関行列Ｍ（ddtの期待値）である。行列
Ｍの固有ベクトルを固有値の大きいものから、e1，e2と
する。クラスデータの初期値は、位置について画面上等
間隔になるよう設定し、共分散行列Ｓ、Ｍは単位行列で
あるとする。この時Ｍの固有ベクトルe2は特別に(0,1)t
であるように定める。クラスデータの数は５０とする。
ΔＩ)t 中の位置ベクトルｐ＝(ξ,η)tの平均値ｓ、位
置ベクトルの共分散行列Ｓ、輝度差分ベクトルｄ＝(Ｉ
ξ,ΔＩ)t の相関行列Ｍ（ddtの期待値）である。行列
Ｍの固有ベクトルを固有値の大きいものから、e1，e2と
する。クラスデータの初期値は、位置について画面上等
間隔になるよう設定し、共分散行列Ｓ、Ｍは単位行列で
あるとする。この時Ｍの固有ベクトルe2は特別に(0,1)t
であるように定める。クラスデータの数は５０とする。
【００３２】処理２「ランダムアドレスの発生」 画面上の水平、垂直位置を乱数を用いてランダムに発生
させる。
させる。
【００３３】処理３「水平差分値、ステレオ差分値の読
み込み」 上記ランダムアドレスに基づいてフレームメモリ109、1
10から水平差分、ステレオ差分値を読み出し、標本ベク
トル(ξ,η,Ｉξ,ΔＩ)t を生成する。
み込み」 上記ランダムアドレスに基づいてフレームメモリ109、1
10から水平差分、ステレオ差分値を読み出し、標本ベク
トル(ξ,η,Ｉξ,ΔＩ)t を生成する。
【００３４】処理４「標本ベクトルの割り当て」 標本ベクトル(ξ,η,Ｉξ,ΔＩ)t と最短となるクラス
データを求める。この時の距離計算は、以下の５式で表
される距離を用いて最小距離にあるクラスタデータを対
応付ける。
データを求める。この時の距離計算は、以下の５式で表
される距離を用いて最小距離にあるクラスタデータを対
応付ける。
【００３５】
【数５】
【００３６】ここでｓは位置ベクトルｐ＝(ξ,η)tの平
均で、ｓ＝(ξav,ηav)tである。Ｓは位置ベクトルの共
分散行列、Ｍは輝度差分ベクトルｄ＝(Ｉξ,ΔＩ)t の
相関行列（ddtの期待値）、e2(i)はＭの正規化された第
２固有ベクトルであり、λ2( i)は対応する固有値であ
る。この距離計算には、クラスタを構成する標本が、位
置については平均ベクトルを中心に２次元正規分布をす
る、また輝度差分については、正規化されたＭiの第２
固有ベクトルe2(i)と輝度差分ベクトルｄの内積が１次
元正規分布するとの仮定がある。後者の１次元正規分布
するとの仮定は、輝度差分ベクトルの拘束直線への射影
が正規分布することを意味しており、４式に示す拘束に
標本が従うならば５式の輝度差分に関する項は小さな値
となる。
均で、ｓ＝(ξav,ηav)tである。Ｓは位置ベクトルの共
分散行列、Ｍは輝度差分ベクトルｄ＝(Ｉξ,ΔＩ)t の
相関行列（ddtの期待値）、e2(i)はＭの正規化された第
２固有ベクトルであり、λ2( i)は対応する固有値であ
る。この距離計算には、クラスタを構成する標本が、位
置については平均ベクトルを中心に２次元正規分布をす
る、また輝度差分については、正規化されたＭiの第２
固有ベクトルe2(i)と輝度差分ベクトルｄの内積が１次
元正規分布するとの仮定がある。後者の１次元正規分布
するとの仮定は、輝度差分ベクトルの拘束直線への射影
が正規分布することを意味しており、４式に示す拘束に
標本が従うならば５式の輝度差分に関する項は小さな値
となる。
【００３７】処理５「クラスデータの更新」 本実施例では、標本ベクトルとクラスデータの対応づけ
が１組得られた時点で、逐次、対応付けられたクラスデ
ータの変更を行なう。ｋ番目の標本ベクトルについて、
今そのクラスデータの識別子をｉとする。データｉ以外
のクラスデータは変更されず、データｉのみ、６式、７
式、８式でクラスデータｉが変更される。
が１組得られた時点で、逐次、対応付けられたクラスデ
ータの変更を行なう。ｋ番目の標本ベクトルについて、
今そのクラスデータの識別子をｉとする。データｉ以外
のクラスデータは変更されず、データｉのみ、６式、７
式、８式でクラスデータｉが変更される。
【００３８】
【数６】
【００３９】
【数７】
【００４０】
【数８】
【００４１】ここでα、β、γはデータ変更の利得係数
である。以上のランダムアドレス発生、最短距離となる
クラスタの決定、最短距離クラスのデータ変更を繰り返
し行うことによって、クラスデータの自己組織化（クラ
スタリング）が行われる。すなわち、画像中で近傍にあ
り、視差の拘束を共に満足する画素の集合が、同一のク
ラスデータを形成する。そして、クラスデータの更新に
より、図４に示す拘束直線が得られ、視差が求まる。ラ
ンダムアドレス発生は、逐次クラスデータを変更する時
の偏りを防ぐためである。
である。以上のランダムアドレス発生、最短距離となる
クラスタの決定、最短距離クラスのデータ変更を繰り返
し行うことによって、クラスデータの自己組織化（クラ
スタリング）が行われる。すなわち、画像中で近傍にあ
り、視差の拘束を共に満足する画素の集合が、同一のク
ラスデータを形成する。そして、クラスデータの更新に
より、図４に示す拘束直線が得られ、視差が求まる。ラ
ンダムアドレス発生は、逐次クラスデータを変更する時
の偏りを防ぐためである。
【００４２】次に、本発明の第２の実施例を図５、図６
を用いて説明する。図５は本発明の第２の実施例におけ
るステレオ画像処理装置の構成を示すブロック図、図６
はステレオカメラの構成図である。
を用いて説明する。図５は本発明の第２の実施例におけ
るステレオ画像処理装置の構成を示すブロック図、図６
はステレオカメラの構成図である。
【００４３】図５において、201、202はA／D変換器、20
3、204、211、212はフレームメモリ、205はアフィン変
換回路、206、207はローパスフィルタ、208はステレオ
差分回路、209はステレオ差分最小化回路、210は水平差
分回路、213はクラスタリング回路である。本実施例
は、第１の実施例の回路に加えて、アフィン変換回路20
5、ステレオ差分最小化回路209が加えられている点が異
なる。
3、204、211、212はフレームメモリ、205はアフィン変
換回路、206、207はローパスフィルタ、208はステレオ
差分回路、209はステレオ差分最小化回路、210は水平差
分回路、213はクラスタリング回路である。本実施例
は、第１の実施例の回路に加えて、アフィン変換回路20
5、ステレオ差分最小化回路209が加えられている点が異
なる。
【００４４】アフィン変換回路205は９式に示すように
Ａ＝(X10,X01,X00,Y10,Y01,Y00)をパラメータとして
（ξ、η）にある画素値を出力するタイミングで
（ξ’,η’）の位置にある画素値を出力する。
Ａ＝(X10,X01,X00,Y10,Y01,Y00)をパラメータとして
（ξ、η）にある画素値を出力するタイミングで
（ξ’,η’）の位置にある画素値を出力する。
【００４５】
【数９】
【００４６】ステレオ差分回路208では、この出力と基
準画像の出力との差分をとり結果をフレームメモリ212
に出力する。この結果を受けて、ステレオ差分最小化回
路209は、１０式に示す差分絶対値和を画面全体につい
て計算する。
準画像の出力との差分をとり結果をフレームメモリ212
に出力する。この結果を受けて、ステレオ差分最小化回
路209は、１０式に示す差分絶対値和を画面全体につい
て計算する。
【００４７】
【数１０】
【００４８】１０式において、ＩLは基準画像の輝度
値、ＩRは参照画像の輝度値とする。この差分絶対値和
の最小化は、１１式に示すようにｌを繰り返しステップ
とする最急降下法により行なわれる。
値、ＩRは参照画像の輝度値とする。この差分絶対値和
の最小化は、１１式に示すようにｌを繰り返しステップ
とする最急降下法により行なわれる。
【００４９】
【数１１】
【００５０】１１式における偏分は現在のアフィン変換
パラメータ近傍の差分として計算される。εは利得係数
で、実験により定める。このようにして、誤差絶対値和
が最小化される。最小化のあとは、アフィンパラメータ
は固定され、他の回路は第１の実施例と同じ動作を行な
い、画面中のクラスタ単位で視差が求まる。
パラメータ近傍の差分として計算される。εは利得係数
で、実験により定める。このようにして、誤差絶対値和
が最小化される。最小化のあとは、アフィンパラメータ
は固定され、他の回路は第１の実施例と同じ動作を行な
い、画面中のクラスタ単位で視差が求まる。
【００５１】カメラから十分な距離にある平面をステレ
オカメラで撮像した場合、一方のカメラで得られた画像
を近似的にアフィン変換により他方のカメラで得られた
画像に重ね合わせられることが知られている。本実施例
では、ステレオ差分の最小化を行なう段階で、図６に示
した仮想平面に実際に模様が描かれた板をおく。最小化
後板をはずし、クラスタリング回路213を第１の実施例
と同じく動作させる。これにより、仮想平面上のステレ
オ差分は零になり、視差が零となる。仮想平面より手前
にある物体、例えば物体Ｂは距離が近くなるよう視差が
観測されるが、視差量はステレオ差分最小化を図ること
により小さな値となっている。すなわち４式に示した輝
度勾配の拘束式が成り立つ。
オカメラで撮像した場合、一方のカメラで得られた画像
を近似的にアフィン変換により他方のカメラで得られた
画像に重ね合わせられることが知られている。本実施例
では、ステレオ差分の最小化を行なう段階で、図６に示
した仮想平面に実際に模様が描かれた板をおく。最小化
後板をはずし、クラスタリング回路213を第１の実施例
と同じく動作させる。これにより、仮想平面上のステレ
オ差分は零になり、視差が零となる。仮想平面より手前
にある物体、例えば物体Ｂは距離が近くなるよう視差が
観測されるが、視差量はステレオ差分最小化を図ること
により小さな値となっている。すなわち４式に示した輝
度勾配の拘束式が成り立つ。
【００５２】仮想平面よりも遠い物体、例えば、物体Ａ
では視差が負の値となる。負の視差は、通常のステレオ
画像ではありえないが、仮想平面上の視差が零となるよ
うに設定した本実施例では有り得る。本実施例の特長
は、視差の符号により物体が仮想平面の手前にあるか、
あるいは外側にあるかが定性的に判定できる点にある。
では視差が負の値となる。負の視差は、通常のステレオ
画像ではありえないが、仮想平面上の視差が零となるよ
うに設定した本実施例では有り得る。本実施例の特長
は、視差の符号により物体が仮想平面の手前にあるか、
あるいは外側にあるかが定性的に判定できる点にある。
【００５３】なお、本実施例では、アフィン変換とした
が、１２式に示すような２次多項式により変換を用いて
も良い。この場合、近似ではなく原理的に平面であるな
らば完全に重ね合わせることができる。
が、１２式に示すような２次多項式により変換を用いて
も良い。この場合、近似ではなく原理的に平面であるな
らば完全に重ね合わせることができる。
【００５４】
【数１２】
【００５５】また、本実施例では、フレームメモリ203
とＬＰＦ206との間にアフィン変換回路205を設けたが、
フレームメモリ204とＬＰＦ207との間にもアフィン変換
回路を設けてもよい。
とＬＰＦ206との間にアフィン変換回路205を設けたが、
フレームメモリ204とＬＰＦ207との間にもアフィン変換
回路を設けてもよい。
【００５６】
【発明の効果】以上のように第１の発明によれば、輝度
勾配に基づく演算であるために、ブロック相関法に比べ
て計算量を少なくでき、さらに物体の境界上でもクラス
タリングにより少ない推定誤差で視差を求めることがで
きる。
勾配に基づく演算であるために、ブロック相関法に比べ
て計算量を少なくでき、さらに物体の境界上でもクラス
タリングにより少ない推定誤差で視差を求めることがで
きる。
【００５７】また第２の発明では、従来の輝度勾配法で
問題となった、大きな視差を持つ領域でも輝度勾配の拘
束式を適用することができる。よって、高速で距離計測
を行なう物体追跡、障害物発見などの応用に利用でき、
その利用効果は大きい。
問題となった、大きな視差を持つ領域でも輝度勾配の拘
束式を適用することができる。よって、高速で距離計測
を行なう物体追跡、障害物発見などの応用に利用でき、
その利用効果は大きい。
【図１】本発明の第１の実施例におけるステレオ画像処
理装置の構成を示すブロック図
理装置の構成を示すブロック図
【図２】第１，第２の実施例におけるクラスタリング回
路の動作を示すフローチャート
路の動作を示すフローチャート
【図３】輝度勾配による視差計算を示す図
【図４】輝度勾配による拘束式を示す図
【図５】本発明の第２の実施例におけるステレオ画像処
理装置の構成を示すブロック図
理装置の構成を示すブロック図
【図６】第１，第２の実施例におけるステレオカメラの
構成図
構成図
101,102,201,202 A/D変換器 103,104,109,110,203,204,211,212 フレームメモリ 105,106,206,207 ローパスフィルタ 107,208 ステレオ差分回路 108,210 水平差分回路 111,213 クラスタリング回路 205 アフィン変換回路 209 ステレオ差分最小化回路
Claims (2)
- 【請求項１】異なる位置から撮られた複数の画像を符号
化する手段と、前記符号化された複数の画像間の差分を
演算するステレオ差分演算手段と、前記複数の画像のう
ち一つの画像について、見え方の異なる方向である視差
方向に空間差分を求める空間差分演算手段と、前記空間
差分演算手段の結果Ｉｓと前記ステレオ差分演算手段の
結果ΔＩを並べた輝度微分ベクトル(Ｉs,ΔＩ)と、前記
画像座標の位置ベクトル(ξ,η) を結合して標本ベクト
ルとし、位置ベクトル平均(ξav，ηav)と視差ｕの推定
値をクラスデータとして複数保持し、前記クラスデータ
と前記標本ベクトル間の距離を、前記(ξ−ξav，η−
ηav)とｕ＊Ｉs＋ΔＩとから求め、前記標本ベクトルと
最も近いクラスデータを対応付け、対応付けられたクラ
スデータと標本ベクトルから、前記クラスデータを標本
ベクトルとの距離和が小さくなるように変更するクラス
タリング手段を有することを特徴とするステレオ画像処
理装置。 - 【請求項２】異なる位置から撮られた複数の画像を符号
化する手段と、前記符号化された画像を変形する画像変
形手段と、前記画像変形手段より得られた複数の画像間
の差分を演算するステレオ差分演算手段と、前記ステレ
オ差分を最小化するよう前記画像変形手段の動作を制御
するステレオ差分最小化手段と、前記画像変形手段より
得られた複数の画像のうち一つの画像について、見え方
の異なる方向である視差方向に空間差分を求める空間差
分演算手段と、前記空間差分演算手段と前記ステレオ差
分演算手段の結果より、視差を演算する手段とを有し、
予め背景画像について、ステレオ差分が小さくなるよう
に前記ステレオ差分最小化手段により前記画像変形手段
を制御しておくことを特徴とするステレオ画像処理装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6044249A JPH07253310A (ja) | 1994-03-15 | 1994-03-15 | ステレオ画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6044249A JPH07253310A (ja) | 1994-03-15 | 1994-03-15 | ステレオ画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07253310A true JPH07253310A (ja) | 1995-10-03 |
Family
ID=12686266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6044249A Pending JPH07253310A (ja) | 1994-03-15 | 1994-03-15 | ステレオ画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07253310A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011508293A (ja) * | 2007-11-30 | 2011-03-10 | コグネックス・コーポレイション | ビジョンセンサ、システムおよび方法 |
| JP2011163900A (ja) * | 2010-02-09 | 2011-08-25 | Casio Computer Co Ltd | 画像処理装置、画像処理プログラム、及び画像処理方法 |
-
1994
- 1994-03-15 JP JP6044249A patent/JPH07253310A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011508293A (ja) * | 2007-11-30 | 2011-03-10 | コグネックス・コーポレイション | ビジョンセンサ、システムおよび方法 |
| US9451142B2 (en) | 2007-11-30 | 2016-09-20 | Cognex Corporation | Vision sensors, systems, and methods |
| JP2011163900A (ja) * | 2010-02-09 | 2011-08-25 | Casio Computer Co Ltd | 画像処理装置、画像処理プログラム、及び画像処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11341750B2 (en) | Quasi-parametric optical flow estimation | |
| EP1329850B1 (en) | Apparatus, program and method for detecting both stationary objects and moving objects in an image | |
| Burr | A dynamic model for image registration | |
| US6760488B1 (en) | System and method for generating a three-dimensional model from a two-dimensional image sequence | |
| US5383013A (en) | Stereoscopic computer vision system | |
| US6301370B1 (en) | Face recognition from video images | |
| EP0786739B1 (en) | Correction of camera motion between two image frames | |
| US5644651A (en) | Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation | |
| US7747106B2 (en) | Method and system for filtering, registering, and matching 2.5D normal maps | |
| JPH06325177A (ja) | 画像位置合せのためのサブエリア自動選択方法 | |
| JPH05196421A (ja) | 影像と対象との間の距離を決定する方法と装置 | |
| US20060050788A1 (en) | Method and device for computer-aided motion estimation | |
| JP2009520975A (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
| JP2005525607A (ja) | サブピクセルのエッジ検出方法およびエッジ検出装置 | |
| Eichhardt et al. | Affine correspondences between central cameras for rapid relative pose estimation | |
| Svoboda et al. | Matching in catadioptric images with appropriate windows, and outliers removal | |
| Holzer et al. | Multilayer adaptive linear predictors for real-time tracking | |
| Holzer et al. | Adaptive linear predictors for real-time tracking | |
| CN110910425B (zh) | 一种针对抵近飞行过程的目标跟踪方法 | |
| Heel | Direct dynamic motion vision | |
| EP1580684B1 (en) | Face recognition from video images | |
| WO2021017023A1 (en) | Iterative multi-directional image search supporting large template matching | |
| JPH07253310A (ja) | ステレオ画像処理装置 | |
| JP2726366B2 (ja) | 視点・物点位置決定方法 | |
| JP2000353244A (ja) | 基礎行列を求めるための方法、ユークリッド的な３次元情報の復元方法、および３次元情報復元装置。 |