JPH08280026A

JPH08280026A - 動き及び奥行き推定方法及びその装置

Info

Publication number: JPH08280026A
Application number: JP9667995A
Authority: JP
Inventors: Takeo Azuma; 健夫吾妻; Atsushi Morimura; 森村　　淳
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-04-27
Filing date: 1995-04-21
Publication date: 1996-10-22
Anticipated expiration: 2018-11-10
Also published as: JP3465988B2

Abstract

(57)【要約】【目的】ブロックマッチングによる推定結果の信頼性
を、輝度こう配およびブロックサイズに依存しない形で
評価し、複数のブロックサイズによる推定結果を統合
し、繰り返し計算を行わずに奥行き及び動きを精度よく
推定する。【構成】基準画像を記憶する基準画像用フレームメモ
リ１と、参照画像を記憶する参照画像用フレームメモリ
２と、複数のブロックサイズでブロック相関演算と推定
値の信頼性評価値の演算を行うブロック相関演算回路3A
〜3Dと、ブロックマッチングによる推定結果の信頼性
を、輝度こう配、ブロックサイズに依らずに評価し、複
数のブロックサイズによる推定結果を統合する推定値統
合演算回路４を備えた構成である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像間で画素の対応を
求めて動きや奥行きを推定する動き及び奥行き推定方法
及びその装置に関するものである。

【０００２】

【従来の技術】動画像や多眼式ステレオ画像の伝送、蓄
積過程においては、莫大な情報量を低減することが望ま
れる。また、撮像、表示についても２眼式ステレオ画像
から中間像を合成して多眼式ステレオ画像を表示できれ
ば、撮像、伝送、蓄積時の情報量を低減できる。そのた
めに、画像間で画素の対応を求めて動きや奥行きを推定
し、画像の冗長性を削除する試みが多くなされている。
対応を求める方法としてはこう配法とブロックマッチン
グ法に大別されるが、これらの方法にはそれぞれ長所と
短所がある。すなわち、こう配法は、微少な動きや視差
は精度よく推定できるが大きな推定量に対して精度が低
下する。また、こう配を用いているためにノイズの影響
を受けやすい。さらに、こう配法では一般に、こう配か
ら求めた推定値を繰り返し計算によって補正するため、
実時間処理の点で不利である。

【０００３】一方、ブロックマッチング法は推定量の大
小によらず一定のマッチング精度で推定を行え、また、
ノイズに対して頑健である。しかし、輝度こう配の大
小、動き及び奥行きが不連続な領域の有無によって、適
切なブロックサイズが異なり、適切なブロックサイズが
推定値の分布に依存するという問題点がある。

【０００４】金出らは、輝度こう配、ノイズ、視差分布
を考慮した評価尺度を用いて、ブロックのサイズ、位置
と視差を更新する繰り返し計算によって上記問題点の解
決を試みている（「アステレオマッチングアルゴ
リズムウイズアンアダプティブウインドウ」("
A Stereo Matching Algorithm with an Adoptive Windo
w：Theory and Experiment",Tekeo Kanade and Masatos
hi Okutomi,1990)）。

【０００５】

【発明が解決しようとする課題】しかしながら上記のよ
うな従来の方法では、莫大な計算量を要するという課題
を有していた。

【０００６】本発明はかかる点に鑑み、ブロックマッチ
ングによる推定結果の信頼性を、輝度こう配、画像のノ
イズ、ブロック間の残差平方和（ＳＳＤ）の最小値、ブ
ロックサイズをもとに評価して、複数のブロックサイズ
による推定結果を統合し、繰り返し計算を行わずに奥行
き及び動きを精度よく推定する動き及び奥行き推定方法
及び装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、ブロックマッ
チングによる推定結果の信頼性を、輝度こう配、ＳＳＤ
の最小値、ブロックサイズ、そして望ましくは画像のノ
イズをもとに評価して、複数のブロックサイズによる推
定結果を統合し、繰り返し計算を行わずに奥行き及び動
きを精度よく推定する動き及び奥行き推定方法である。

【０００８】また、基準画像を記憶する基準画像用フレ
ームメモリと、参照画像を記憶する参照画像用フレーム
メモリと、複数のブロックサイズでブロック相関演算と
推定値の信頼性評価値の演算を行うブロック相関演算回
路と、ブロックマッチングによる推定結果の信頼性を、
輝度こう配、画像のノイズ、ＳＳＤの最小値、ブロック
サイズをもとに評価して、複数のブロックサイズによる
推定結果を統合する推定値統合演算回路を備えた動き及
び奥行き推定装置である。

【０００９】

【作用】本発明は前記した構成により、輝度こう配の大
小、推定値の分布状態に応じて適応的に選択するブロッ
クサイズを変化させることにより、繰り返し計算を行わ
ずに、単一のブロックサイズによるブロック相関演算の
数倍の演算量で、一定の演算量によって、精度よく動き
及び奥行きを推定する。

【００１０】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図１は本発明の第１の実施例におけ
る動き及び奥行き推定装置のブロック図である。

【００１１】図１において、１は基準画像を記憶する基
準画像用フレームメモリであり、２は参照画像を記憶す
る参照画像用フレームメモリであり、３Ａ、３Ｂ、３
Ｃ、３Ｄはそれぞれ異なるブロックサイズ（10×10，20
×20，40×40，80×80）でブロック相関演算を行うブロ
ック相関演算回路、４は複数のブロックサイズによる推
定結果を統合する推定値統合演算回路である。

【００１２】以下に上記構成の動作を説明する。基準画
像用フレームメモリ１はブロック相関演算時に基準ブロ
ックを設定する基準画像を１フレーム記憶する。参照画
像用フレームメモリ２はブロック相関演算時に基準ブロ
ックとの相関演算を行う参照画像を１フレーム記憶す
る。ブロック相関演算回路３Ａ、３Ｂ、３Ｃ、３Ｄはそ
れぞれ異なるブロックサイズでブロック相関演算および
推定値の信頼性評価値の計算を行う。推定値統合演算回
路４はブロック相関演算回路３Ａ、３Ｂ、３Ｃ、３Ｄに
よるブロック相関演算時の信頼性評価値と推定値を順次
読み込み、ブロックサイズに応じた重みをかけ、重み付
加後に評価値が最小となる相関演算回路の推定値を選択
する。

【００１３】ブロック相関演算について図２を用いて説
明する。基準画像中の(x0, y0)を中心とする基準ブロッ
クに対して、参照画像の探索領域中で、（数１）で定義
される残差平方和（ＳＳＤ）を計算し、探索領域内でＳ
ＳＤを最小にする（ui, vj）を（x0,y0）における推定
値（u,v）とする。

【００１４】

【数１】

【００１５】ここで、ｆ1（x, y）は基準画像の（x,
y）における輝度値、ｆ2（x, y）は参照画像の（x, y）
における輝度値、ｗは相関演算を行うブロック領域をそ
れぞれ示す。

【００１６】図３にブロック相関演算回路３の構成の一
例を示す。図３において、５は読み出しアドレス発生回
路、６は読み出し制御回路、７は平均二乗輝度こう配演
算回路、８は残差平方和演算回路、９は評価値演算回路
である。読み出しアドレス発生回路５は、基準画像内の
基準ブロックに対して参照画像内の参照ブロックが図２
に示すように探索領域内を順次走査するようにアドレス
を発生し、また、基準ブロックと参照ブロックの座標の
差ベクトル（u_i, vj）を出力する。読み出し制御回路６
は読み出しアドレス発生回路５が発生したアドレスをも
とに、基準画像用フレームメモリ１及び参照画像用フレ
ームメモリ２に制御信号を出力し、前記基準ブロック及
び参照ブロックの画像データを読みだす。平均二乗輝度
こう配演算回路７は、読み出し制御回路６が読みだした
画像データからブロック内での水平、垂直方向の平均二
乗輝度こう配は、（数２）を計算する。

【００１７】

【数２】

【００１８】ここで、Ｎはブロック領域の画素数であ
る。

【００１９】残差平方和演算回路８は、読み出し制御回
路６が読みだした基準ブロック及び参照ブロックの画像
データと、読み出しアドレス発生回路５が出力する基準
ブロックと参照ブロック間の座標値の差ベクトル(ui, v
j)から、ブロック内での残差平方和を計算し、探索領域
中で最小の残差平方和を与える(ui, vj) を推定値(u,v)
として選択し、また、残差平方和の最小値ＳＳＤmin を
出力する。評価値演算回路９は輝度こう配、画像のノイ
ズ、残差平方和の最小値及びブロックサイズを考慮した
推定値の信頼性評価値Ｊを、（数３）に基づいて計算す
る。

【００２０】

【数３】

【００２１】ここで、ＳＳＤmin は探索領域中のＳＳＤ
の最小値、２σ_n ²は画像のノイズによって決まる定数で
ある。（数３）におけるσ_n は、画像のＳ／Ｎ比の式、
（数４）からＳ／Ｎ比と画像信号の最大レベルＶより決
定する。

【００２２】

【数４】

【００２３】また、ノイズがランダムノイズの場合、Ｓ
ＳＤmin ／Ｎは正しい対応がとれているところでは、２
σ_n ²となるので、ＳＳＤmin ／Ｎの画像全体での最大頻
度を２σ_n ²と等しいとしてもよい。なお、正しい対応が
とれているところでのＳＳＤmin ／Ｎの値は、ブロック
サイズが大きい方が２σ_n ²のまわりでのばらつきが小さ
くなるため、大きなブロックサイズによるブロックマッ
チング時のＳＳＤmin／Ｎの画像全体での最大頻度から
σ_n を決定した方が、より安定した統合時の評価を行え
る。

【００２４】（数３）の評価値Ｊは相関演算時の一致度
を輝度こう配即ちブロック内の輝度分布の特徴量で正規
化したものであり、基準ブロックと参照ブロックの相関
性が高い時にはＪは小さな値となり、逆に相関性が低い
時にはＪは大きな値をとる。

【００２５】図４に残差平方和演算回路８のブロック図
の一例を示す。図４において、１２は残差平方演算回
路、１３は累積加算回路、１４ａは最小値選択回路であ
る。残差平方演算回路１２は基準ブロックと参照ブロッ
クの画像データの残差を順次計算する。累積加算回路１
３は基準ブロックと参照ブロック間での残差平方和の演
算毎に０クリアされ、前記基準ブロックと参照ブロック
内の各画素について残差平方演算回路１２の出力を累積
加算し、（数１）に示す残差平方和ＳＳＤを計算する。
最小値選択回路１４ａは基準画像内で基準ブロック内が
設定される毎にリセットされる。そして、探索領域内の
すべての(ui, vi)について累積加算回路１３が計算した
ＳＳＤをもとに、ＳＳＤの最小値ＳＳＤmin 及び最小の
ＳＳＤを与える参照ブロックの座標値と基準ブロックの
座標値との差ベクトル(u, v)を探索領域内で更新し、探
索領域内でのＳＳＤの最小値ＳＳＤmin および推定値
(u, v)を計算する。

【００２６】図５に評価値演算回路９のブロック図の一
例を示す。図５において、１５は加算器、１６ａは乗算
器、１７ａ、１７ｂは除算器、１８は減算器、１９は絶
対値演算回路である。加算器１５は、水平方向と垂直方
向の平均二乗輝度こう配を加算し、（数３）の分母を計
算する。乗算器１６ａはブロックサイズの縦横を乗算し
ブロックの面積Ｎを計算する。除算器１７ａは残差平方
和の最小値をブロックの面積で正規化し、１画素あたり
の残差平方和の最小値ＳＳＤmin ／Ｎを計算する。減算
器１８は１画素あたりの残差平方和の最小値からノイズ
レベルを減算する。絶対値演算回路１９は減算器１８の
出力の絶対値を計算する。除算器１７ｂは絶対値演算回
路１９の出力を加算器１５の出力で除算し、（数３）に
示す評価値を出力する。

【００２７】図６に推定値統合演算回路４のブロック図
の一例を示す。図６において２０は重み係数テーブル、
１６ｂは乗算器、２１は比較回路である。乗算器１６ｂ
は、ブロック相関演算回路３Ａ、３Ｂ、３Ｃ、３Ｄによ
るブロック相関演算時の信頼性評価値を順次読み込み、
ブロックサイズに応じた重み係数を重み係数テーブル２
０から読み出して信頼性評価値に乗ずる。比較回路２１
は、基準ブロックの更新毎にリセットされ、重みづけ後
の評価値が最小となるブロックサイズでの推定値を選択
し出力する。

【００２８】図７に推定値統合演算回路４で用いる重み
係数のブロックの面積に対する特性の一例を示す。図７
において重み係数はブロック面積の２分の１乗の逆数に
比例する特性になっている。

【００２９】以上のように本実施例によれば、ブロック
マッチングによる推定結果の信頼性を、輝度こう配、画
像のノイズ、ＳＳＤの最小値、ブロックサイズをもとに
評価して、複数のブロックサイズによる推定結果を統合
し、繰り返し計算を行わずに奥行き及び動きを精度よく
推定できる。

【００３０】なお、図１において、基準画像用フレーム
メモリ１及び参照画像用メモリ２をフィールドメモリに
置き換えても同様の効果を得ることができ、本発明に含
まれる。また、ブロック相関演算回路３Ａ、３Ｂ、３
Ｃ、３Ｄは、ブロック相関演算が十分高速に行えるな
ら、ひとつのブロック相関演算回路で演算を行ってもよ
い。また、推定値統合演算回路４で用いる重み係数の特
性は上記実施例で示したものに限る必要はなく、ブロッ
ク面積の逆数に比例する特性などであってもほぼ同様の
効果を得ることができ、本発明に含まれる。

【００３１】図８は本発明の第２の実施例における残差
平方和演算回路のブロック図の一例である。図８におい
て、１２は残差平方演算回路、１３は累積加算回路、１
４ｂは最小値選択回路、２２は残差平方和用メモリ、２
３は最小値修正回路である。前記構成のうち最小値選択
回路１４ｂ、残差平方和用メモリ２２、最小値修正回路
２３以外は本発明の第１の実施例と同一であるので説明
を省略し、以下に最小値選択回路１４ｂ、残差平方和用
メモリ２２、最小値修正回路２３の動作について説明す
る。

【００３２】最小値選択回路１４ｂは基準ブロックにつ
いての相関演算のつど、すなわち、累積加算回路１３が
探索範囲内のすべての(ui, vj)について（数１）の計算
を行う毎にリセットされる。そして、累積加算回路１３
が画素間隔で計算した残差平方和ＳＳＤの最小値ＳＳＤ
minintを選択し、さらに、ＳＳＤminintを与える参照ブ
ロックと基準ブロックの座標値の差ベクトル（U, V）を
計算する。残差平方和用メモリ２２は累積加算回路１３
が画素間隔で計算した残差平方和ＳＳＤの値を記憶す
る。最小値修正回路２３は、最小値選択回路１４ｂが選
択した差ベクトル（U, V）をもとに、その近傍での残差
平方和ＳＳＤの値（参照ブロックと基準ブロックの差ベ
クトルの要素が、最小値ＳＳＤminintを与える差ベクト
ル（U, V）と±１画素の範囲で異なる時のＳＳＤの値）
を残差平方和用メモリ２２から読み出し、内挿演算を行
って画素間隔以下の精度で推定値及び残差平方和の最小
値を計算する。

【００３３】推定値の修正は、画素間隔で計算した残差
平方和の最小値（数５）とその８近傍（数６）から、
(U, V)における１階の偏導関数を（数７）として計算
し、２階の偏導関数を（数８）として計算し、偏導関数
が０となる座標を１次のテーラー展開によって（数９）
として、（数１０）により修正量(Δu, Δv)を求め、
（数１１）に示す推定値（u, v）を計算する。

【００３４】

【数５】

【００３５】

【数６】

【００３６】

【数７】

【００３７】

【数８】

【００３８】

【数９】

【００３９】（数９）より(Δu, Δv)は（数１０）とし
て計算する。

【００４０】

【数１０】

【００４１】

【数１１】

【００４２】そして、画素間隔以下の精度の推定値(U+
Δu, V+Δv)に対するＳＳＤの最小値ＳＳＤ(U+Δu, V+
Δv)は、（数１２）として計算する。

【００４３】

【数１２】

【００４４】以上のように本実施例によれば、残差平方
和の最小値は、画素間隔で計算した残差平方和の最小値
をその近傍での残差平方和のこう配によって修正し、画
素間隔以下の精度で推定値を計算することができる。

【００４５】なお、画素間隔以下の精度の推定値(u,v)
に対するＳＳＤの最小値ＳＳＤ(U,V)は、平均二乗輝度
こう配を用いて（数１３）として計算しても同様の効果
を得ることができ、本発明に含まれる。

【００４６】

【数１３】

【００４７】図９は本発明の第３の実施例におけるブロ
ック相関演算回路のブロック図の１例である。図９にお
いて、５は読み出しアドレス発生回路、６は読み出し制
御回路、７は平均二乗輝度こう配演算回路、８は残差平
方和演算回路、９は評価値演算回路、２４は推定値メモ
リ、２５は評価値メモリ、２６は評価値選択回路であ
る。図９において推定値メモリ２４、評価値メモリ２
５、評価値選択回路２６以外の動作は、本発明の第１、
第２の実施例と同様であるので説明を省略し、以下に推
定値メモリ２４、評価値メモリ２５、評価値選択回路２
６の動作について説明する。

【００４８】推定値メモリ２４は、残差平方和演算回路
８の出力を記憶する。評価値メモリ２５は評価値演算回
路９の出力を記憶する。評価値選択回路２６は、着目画
素とその近傍における評価値を比較し、より評価値のよ
い点での推定値と評価値を選択する。評価値選択回路２
６による評価値及び推定値の選択の様子を図１０に示
す。図１０において、Ｐは着目画素を示し、格子点はブ
ロック相関演算を行う基準ブロックの中心位置を示し、
破線はＰ、Ａ、Ｂ、Ｃ、Ｄをそれぞれ中心とするブロッ
クを示す。着目画素Ｐにおける評価値と推定値は、Ｐを
中心とする破線で囲まれる領域内に中心をおく全てのブ
ロック相関演算の結果（Ｐを中心とする破線で囲まれる
領域内の全ての格子点を中心とするブロックについての
相関演算結果）から、最良の評価値とその評価値を得た
ブロックでの推定値を選択する。

【００４９】以上のように本実施例によれば、画像間の
対応づけの評価値は、着目画素近傍でブロックサイズ以
下の間隔で計算した評価値の最良のものを選択し、動き
及び奥行き推定値は前記最良の評価値のブロックでの動
き及び奥行き推定値を選択することによって、動き及び
奥行き推定値の不連続な領域における推定値の変化に精
度よく追従することができる。

【００５０】なお、小さなブロックサイズによる画像間
の対応づけは、着目画素をブロックの中心と一致させて
行い、大きなブロックサイズによる画像間の対応づけは
本実施例における評価値の選択方法を用いても、動き及
び奥行き推定値の不連続な領域で推定値の変化に追従す
ることができ、本発明に含まれる。

【００５１】また、小さなブロックサイズによる画像間
の対応づけは、本実施例における評価値の選択方法を用
いて着目画素とブロックの中心を適応的に変化させて行
い、大きなブロックサイズによる画像間の対応づけは、
着目画素とブロックの中心を一致させて行うことで、遮
蔽領域での動き及び奥行き推定値を滑らかに変化させる
ことができ、本発明に含まれる。

【００５２】図１１は本発明の第４の実施例における動
き及び奥行き推定装置のブロック図である。図１１にお
いて、２７はローパスフィルタ、１は基準画像用フレー
ムメモリ、２は参照画像用フレームメモリ、３Ａ、３Ｂ
はブロック相関演算回路、２８Ａ、２８Ｂは代表画素相
関演算回路、４は推定値統合演算回路である。前記構成
中、ローパスフィルタ２７、代表画素相関演算回路２８
Ａ、２８Ｂ以外の動作は、本発明の第１、第２、第３の
実施例と同様であるので説明を省略し、以下にローパス
フィルタ２７、代表画素相関演算回路２８の動作につい
て説明する。

【００５３】ローパスフィルタ２７は代表画素演算回路
２８での相関演算が繰り返しパターンの影響を受けない
ように、入力画像の帯域を制限する。すなわち、代表画
素相関演算回路２８で相関演算を行う代表画素が２画素
間隔の場合には、ローパスフィルタのカットオフ周波数
を0.25 cycle/pixel（周期：4pixel）とする。

【００５４】代表画素相関演算回路２８は、本発明の第
１、第２、第３の実施例において、ブロック相関演算回
路３がブロック内の全画素に対して計算していた相関演
算を、図１２に示すようにブロック内の代表画素だけに
ついて計算する。

【００５５】図１２は２画素間隔で代表画素を配置した
例を示しており、図中黒で示した画素についてのみ、図
１３に示すように探索領域内で相関演算を行う。

【００５６】代表画素相関演算回路２８は、図３に示す
ブロック相関演算回路３と同じ構成で、読み出しアドレ
ス発生回路５の発生するアドレスを２以上の等画素間隔
にすることで、代表画素についての相関演算を行う。代
表画素の間隔としては、ブロックサイズが40×40の時２
画素間隔、80×80の時４画素間隔程度にすれば、全画素
に対する相関演算と同様の精度で推定値を計算できる。

【００５７】以上のように本実施例によれば、大きなブ
ロックサイズによる相関演算の演算量を低減することが
でき、回路規模、計算コストを縮小できる。

【００５８】なお、上記すべての実施例における評価値
の選択方法において、着目画素とその近傍で相関演算を
行うブロックの距離に応じて評価値に重みづけを行って
も同様の効果を得ることができ、本発明に含まれる。

【００５９】また、上記すべての実施例のブロック相関
演算の評価式において（数３）の分母を変更し、（数１
４）もしくは（数１５）としても同様の効果を得ること
ができ、本発明に含まれる。

【００６０】

【数１４】

【００６１】

【数１５】

【００６２】また、上記すべての実施例において、ブロ
ック間の残差の評価尺度および対応づけの信頼性評価値
Ｊは（数１）の残差平方和ＳＳＤを用いた（数３）に示
すものに限る必要はなく、（数１６）に示す残差の絶対
値和ＳＡＤに基づく（数１７）に示す信頼性評価値を用
いても同様の効果を得ることができる。

【００６３】

【数１６】

【００６４】

【数１７】

【００６５】また、（数１７）の分母を（数１８）、
（数１９）のように変更してもほぼ同様の効果を得るこ
とができ、本発明に含まれる。

【００６６】

【数１８】

【００６７】

【数１９】

【００６８】なお、上記すべての実施例における評価値
の演算方法および回路において、画像のノイズレベルが
無視できるレベルである場合、（数３）、（数１４）、
（数１５）、（数１７）、（数１８）、（数１９）の
σ n を０とし、評価値演算回路９の構成としては、図
５に示す構成から図１４に示す構成に変更してもよく、
より簡単な構成により明らかに同様の効果を得ることが
でき、そのような実施例ももちろん本発明に含まれる。

【００６９】

【発明の効果】以上説明したように、本発明によれば、
ブロックマッチングによる推定結果の信頼性を、輝度こ
う配、画像のノイズ、ブロック間の残差の評価尺度の最
小値、ブロックサイズをもとに評価して、複数のブロッ
クサイズによる推定結果を統合し、繰り返し計算を行わ
ずに奥行き及び動きを精度よく推定することができる。

【００７０】また、ブロック間の残差の評価尺度の最小
値および最小値を与える座標値の差ベクトルを残差の評
価尺度の最小値近傍での分布をもとに修正することによ
り、１画素間隔以下の精度の正確な奥行き及び動き推定
が可能である。

【００７１】さらに、相関演算の際に着目画素とブロッ
クの中心を適応的にずらし、評価値が最良となる時の推
定値を選択することにより、奥行きや動きに急激な変化
がある領域においても精度よく推定を行うことができ
る。

【００７２】また、小さなブロックサイズによる画像間
の対応づけは、着目画素をブロックの中心と一致させて
行い、大きなブロックサイズによる画像間の対応づけ
は、着目画素とブロックの中心を適応的にずらし、評価
値が最良となる時の推定値を選択することにより、動き
及び奥行き推定値の不連続な領域で推定値の変化に追従
することができる。

【００７３】また、小さなブロックサイズによる画像間
の対応づけは、着目画素とブロックの中心を適応的に変
化させて行い、大きなブロックサイズによる画像間の対
応づけは、着目画素とブロックの中心を一致させて行う
ことで、遮蔽領域での動き及び奥行き推定値を滑らかに
変化させることができる。

【００７４】さらに、大きなブロックサイズの相関演算
時には、ブロック内の全画素についてではなく代表画素
についてだけ相関演算を行うことにより、精度を維持し
たまま演算量を低減できる。

【００７５】以上のように、本発明によれば、ブロック
マッチングによる推定結果の信頼性を、輝度こう配、画
像のノイズ、ブロック間の残差の評価尺度の最小値、ブ
ロックサイズをもとに評価して、複数のブロックサイズ
による推定結果を統合し、繰り返し計算を行わずに奥行
き及び動きを精度よく推定することができ、その効果は
大きい。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動き及び奥行き
推定装置のブロック図

【図２】ブロック相関演算を示す図

【図３】本発明の第１の実施例におけるブロック相関演
算回路のブロック図

【図４】本発明の第１の実施例における残差平方和演算
回路のブロック図

【図５】本発明の第１の実施例における評価値演算回路
のブロック図

【図６】本発明の第１の実施例における推定値統合演算
回路のブロック図

【図７】推定値統合演算回路の重み係数の分布の一例を
示す特性図

【図８】本発明の第２の実施例における残差平方和演算
回路のブロック図

【図９】本発明の第３の実施例におけるブロック相関演
算回路のブロック図

【図１０】評価値選択回路における評価値及び推定値の
選択を示す図

【図１１】本発明の第４の実施例における動き及び奥行
き推定装置のブロック図

【図１２】ブロック内の代表点の配置を示す図

【図１３】代表画素相関演算を示す図

【図１４】ノイズレベルを考慮しない場合における評価
値演算回路のブロック図

【符号の説明】

１基準画像用フレームメモリ２参照画像用フレームメモリ３Ａ，３Ｂ，３Ｃ，３Ｄブロック相関演算回路４推定値統合演算回路２７ローパスフィルタ２８Ａ，２８Ｂ代表画素相関演算回路

Claims

【特許請求の範囲】

【請求項１】画像間の対応づけは、複数のブロックサイ
ズによる対応づけ結果を、輝度こう配、探索範囲内にお
ける残差の評価尺度の最小値、及びブロックサイズを考
慮した評価値を基に統合して計算することを特徴とする
動き及び奥行き推定方法。
【請求項２】画像間の対応づけは、複数のブロックサイ
ズによる対応づけ結果を、輝度こう配、画像のノイズ、
探索範囲内における残差の評価尺度の最小値、及びブロ
ックサイズを考慮した評価値を基に統合して計算するこ
とを特徴とする動き及び奥行き推定方法。
【請求項３】残差の評価尺度の最小値は、画素間隔で計
算した残差の評価尺度の最小値をその近傍での輝度こう
配もしくは残差の評価尺度のこう配によって修正し、画
素間隔以下の精度で計算することを特徴とする請求項１
または２記載の動き及び奥行き推定方法。
【請求項４】画像間の対応づけの評価値は、着目画素近
傍でブロックサイズ以下の間隔で計算した評価値の最良
のものを選択し、動き及び奥行き推定値は前記最良の評
価値のブロックでの動き及び奥行き推定値を選択するこ
とを特徴とする請求項１、２、または３記載の動き及び
奥行き推定方法。
【請求項５】画像間の対応づけの評価値は、着目画素近
傍でブロックサイズ以下の間隔で計算した評価値に対し
てブロックの中心と着目画素との距離に応じた重みづけ
を行い、重みづけ後の最良の評価値とその評価値を得た
ブロックでの動き及び奥行き推定値を選択することを特
徴とする請求項１、２、または記載の動き及び奥行き推
定方法。
【請求項６】小さなブロックサイズによる画像間の対応
づけは、着目画素をブロックの中心と一致させて行い、
大きなブロックサイズによる画像間の対応づけは、着目
画素とブロックの中心を適応的に変化させて行うことを
特徴とする請求項１〜５のいずれかに記載の動き及び奥
行き推定方法。
【請求項７】小さなブロックサイズによる画像間の対応
づけは、着目画素とブロックの中心を適応的に変化させ
て行い、大きなブロックサイズによる画像間の対応づけ
は、着目画素とブロックの中心を一致させて行うことを
特徴とする請求項１〜５のいずれかに記載の動き及び奥
行き推定方法。
【請求項８】ブロックサイズによる画像間の対応付け
は、ブロック内の代表画素について計算することを特徴
とする請求項１〜７のいずれかに記載の動き及び奥行き
推定方法。
【請求項９】基準画像を記憶する基準画像用フレームメ
モリと、参照画像を記憶する参照画像用フレームメモリ
と、複数のブロックサイズ毎にブロック相関演算と推定
値の信頼性評価値の演算を行うブロック相関演算回路
と、前記ブロック相関演算回路でのブロックマッチング
による推定結果の信頼性を、輝度こう配、画像のノイ
ズ、残差平方和の最小値、前記ブロックサイズをもとに
評価して、複数のブロックサイズによる推定結果を統合
する推定値統合演算回路とを備えた動き及び奥行き推定
装置。
【請求項１０】基準画像を記憶する基準画像用フレーム
メモリと、参照画像を記憶する参照画像用フレームメモ
リと、複数のブロックサイズ毎にブロック相関演算と推
定値の信頼性評価値の演算を行うブロック相関演算回路
と、前記ブロック相関演算回路でのブロックマッチング
による推定結果の信頼性を、輝度こう配、残差平方和の
最小値、ブロックサイズをもとに評価して、複数のブロ
ックサイズによる推定結果を統合する推定値統合演算回
路を備えた動き及び奥行き推定装置。