JPH10255049A

JPH10255049A - ブロックマッチングを用いた画像処理方法

Info

Publication number: JPH10255049A
Application number: JP5664897A
Authority: JP
Inventors: So Takezawa; 創竹澤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-03-11
Filing date: 1997-03-11
Publication date: 1998-09-25

Abstract

(57)【要約】【課題】ブロックマッチングの「正確さ」を向上させ
る。【解決手段】マッチング類似度演算部１４及びマッチ
ング強度演算部１５を備え、注目ブロックとその周辺ブ
ロック間のマッチング類似度及び比較の対象となる画像
からのブロックの切り出し位置の変化に対するマッチン
グ値の変化の度合であるマッチング強度を算出する。こ
れらを周辺ブロックに対する重み算出時に考慮し、周辺
ブロックのマッチング強度が強い場合には重みを小さ
く、逆に周辺ブロックのマッチング強度が弱い場合には
重みを大きくする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数枚の画像をブ
ロックマッチングにより比較し画像上の対応点や画像の
動きベクトルを検出する方法及び装置、及びその結果を
利用して３次元距離／形状計測や動画像圧縮／補間など
を行なう方法及び装置に関する。

【０００２】

【従来の技術】複数の少しづつ異なる画像間の対応する
点を求める問題、例えば動画像の動きベクトル検出、ス
テレオ画像の対応点探索などにブロックマッチングが使
われている。

【０００３】まず画像処理の基礎となる画像データの構
造について説明する。ここで扱う画像データは２次元の
画像データであり、画素データが２次元的に整列したも
のである。画素データとは画像の上の該当する位置での
明るさを表すデータであり、白黒画像においては一つの
数値、カラー画像においては３原色を表す三つの数値が
用いられる。

【０００４】以下、ブロックマッチングについて説明す
る。ブロックマッチングにおいては、まず基準とする画
像データと、比較の対象となる、基準とする画像データ
と内容の少し異なる画像データを入力する。例えば動画
像の場合の注目するフレームとその少し前後のフレー
ム、ステレオ画像の場合の視差の異なる左右の画像など
がこれにあたる。

【０００５】図１は、一対の入力画像、すなわち基準と
なる画像と比較の対象となる画像との例と、そこからの
ブロックの切り出しを説明する概念図である。基準とな
る画像１及び比較の対象となる画像２は、被写体３を含
んでいる。４は基準となる画像１から切り出されたブロ
ックを表し、５は比較の対象となる画像２上でブロック
４と対応するブロックを表す。

【０００６】図２は、入力画像からブロックが切り出さ
れる様子の一例を示す図である。まず、基準となる画像
１から一つのブロック６を切り出す。ブロック６は複数
の画素７を含んでおり、通常ブロックの形状としては数
画素から数十画素の大きさの長方形もしくは正方形（図
示の例では、８×８画素からなる正方形）が使われる。
以下では、この切り出されたブロック６を注目ブロック
と呼ぶ。ここで、ブロックの切り出しとは画像の部分的
なコピーを作ることを言う。

【０００７】次に、比較の対象となる画像２の任意の箇
所から、基準となる画像１から切り出したものと同一の
形状のブロックの切り出しを行ない、基準となる画像１
から切り出したブロック６との比較を行なう。比較に
は、ブロック内の同一の位置にある画素値同士の差の自
乗をブロック内の全ての画素に関して計算し、その総和
を取り、この総和が小さいほどブロック同士が似ている
とみなす方法がよく用いられている。以下では、この総
和をマッチング値と呼ぶ。

【０００８】この任意の位置からのブロックの切り出し
とブロック同士の比較を繰り返し、一番似ている（マッ
チング値が最小となる）ブロックが切り出された位置を
記憶する。この記憶された位置が求める位置、すなわち
基準となる画像１から切り出されたブロックに対応する
比較の対象となる画像２上の位置である。すなわち、図
１でいうと、注目ブロック４に対応するブロック５の場
所が求められたことになる。また動画像の場合には、基
準となる画像から切り出したブロックの位置と、比較の
対象となる画像上での対応するブロックの位置の差が動
きベクトルであり、動きベクトルの検出がなされたこと
になる。

【０００９】ブロックマッチングにおいては「精度」と
「正確さ」が問題になる。ここで「精度」は真の値の周
りの変動を、「正確さ」は誤対応すなわち本来全く対応
する箇所ではない箇所を誤って対応する箇所であると判
断してしまうことを反映するものとする。一般に、ブロ
ックのサイズが大きくなると「正確さ」が向上して「精
度」が低下する傾向にあり、逆にブロックのサイズが小
さくなると「正確さ」が低下して「精度」が向上する傾
向にあることが知られている。そこで「正確さ」と「精
度」を高いレベルで両立させるために様々な方法が提案
されている。

【００１０】例えば、電子情報通信学会論文誌、vol.J7
4-D-II、 No.6、 pp.669-677では周辺状況からブロックの
サイズを動的に選択、「正確さ」が得にくい箇所ではブ
ロックのサイズを大きくして「正確さ」を向上させ、そ
うでない箇所ではブロックを小さくすることにより「精
度」を保っている。

【００１１】また、信学技報、IE95-40(1995/7) 及び特
開平３−２１７１８４号公報では、注目ブロックの周辺
のブロックを切り出し、そのマッチング値を重みを付け
て注目ブロックのマッチング値に加算している。以下、
この注目ブロックの周辺から切り出したブロックを周辺
ブロックと呼ぶ。信学技報、IE95-40(1995/7) では、こ
の重みを変化させることにより疑似的にブロックサイズ
を可変するのと同様の効果を得ている。特開平３−２１
７１８４号公報では、マッチング値に非線形の演算処理
を行なうことにより重みを変化させるのと同様の効果を
得ている。

【００１２】図３は、入力画像から注目ブロックと周辺
ブロックが切り出される様子の一例を示す図である。図
中、１は基準となる画像、６は注目ブロック、７は一つ
の画素、８ａ〜８ｈは周辺ブロック、３は被写体を表
す。

【００１３】例えば、注目するブロック６の周囲の８つ
の周辺ブロック８ａ〜８ｈを同時に切りだし、注目する
ブロック６とあわせて計９ブロックで一つの大きなブロ
ックと考え、マッチング値の計算を行なう。ただし、総
和を取る時に各ブロック６，８ａ〜８ｈ毎に設定された
重みを乗じた後に加算し、マッチング値を求める。図４
は、重み付け係数の例を示している。

【００１４】周辺ブロック８ａ〜８ｈの重みを注目する
ブロック６と同じにして計算するならば、ブロックのサ
イズが３倍（面積で９倍）になったのと同じことにな
る。周辺ブロック８ａ〜８ｈの重みが全て０であれば注
目ブロック６単体で計算した場合と同じ結果となり、中
間の値であれば当然中間的な結果になる。すなわち、こ
の重みを変化させることにより疑似的にブロックのサイ
ズを可変するのと同様の効果を生み出している。この重
みを動的に決定することにより、電子情報通信学会論文
誌、vol.J74-D-II、 No.6、 pp.669-677と同様の効果を得
ている。

【００１５】以下、重みを動的に決定する方法について
説明する。信学技報、IE95-40(1995/7) では、注目ブロ
ックと近傍のブロックのマッチングの状況が似ている場
合には画像中の動きが似通った領域であるとして重みを
大きくし、似ていない場合には逆に重みを小さくしてい
る。ここでマッチングの状況が似ているかどうかの計算
にはいくつかの方法が考えられる。

【００１６】以下は、信学技報、IE95-40(1995/7) で行
なわれている方法の説明である。まず、注目ブロック及
び周辺ブロックで、一度単一ブロックのみでマッチング
値の計算を行なう。この時、マッチング値が最小になる
ものから上位Ｎ個のマッチング値と、その時の比較の対
象となる画像から切り出したブロックの位置を記憶して
おく。注目ブロックと任意の一つの周辺ブロックの間
で、上記Ｎ個のうち共通する比較の対象となる画像から
のブロックの切り出し位置が何個あるか計算し、その個
数を注目ブロックとその周辺ブロック間のマッチング類
似度とし、重みに使用する。これを全ての周辺ブロック
に対し行ない、それぞれ重みを決定する。

【００１７】

【発明が解決しようとする課題】しかしながら、信学技
報、IE95-40(1995/7) 及び特開平３−２１７１８４号公
報の方法では、重みの決定に際しマッチング類似度にの
み注目しているため、テクスチャ等に乏しく比較の対象
となる画像からのブロックの切り出し位置の変化に対す
るマッチング値の変化が小さいブロックと物体のエッジ
などのマッチングしやすくマッチング値の変化が大きい
箇所とが隣接している場合、性質の違いからマッチング
の類似度も低いため重みも小さくなるものの、必要十分
に小さくなることができないことがある。

【００１８】ここで、重みが十分に小さくない場合で、
注目ブロックが比較の対象となる画像からのブロックの
切り出し位置の変化に対するマッチング値の変化が小さ
いブロックである場合、比較の対象となる画像からのブ
ロックの切り出し位置の変化に対するマッチング値の変
化の大きい周辺ブロックのマッチング値を加算すると、
注目しているブロックの変化の小さいマッチング値より
も周辺ブロックの変化の大きいマッチング値が結果に対
し大きく作用してしまい、注目ブロックの対応している
比較の対象となる画像上のブロックの位置でのマッチン
グ値が最小にならず、その結果、誤対応が生じてしまう
現象が発生していた。

【００１９】本発明は、このような従来技術の問題点に
鑑みてなされたもので、ブロックマッチングの「正確
さ」を向上させることを目的とする。また、本発明は、
ブロックマッチングを用いた画像処理によって得られる
画像の品質を向上すること、及びブロックマッチングを
用いた画像処理に基づく計測の精度を向上することを目
的とする。

【００２０】

【課題を解決するための手段】上記の問題は、周辺ブロ
ックにおいて比較の対象となる画像からのブロックの切
り出し位置の変化に対するマッチング値の変化の度合が
大き過ぎることに対応できないことから発生している。
以下では、このマッチング値の変化の度合をマッチング
強度と呼ぶ。

【００２１】本発明では、マッチング強度を重みの算出
時に考慮し、周辺ブロックのマッチング強度が強い場合
には、最終結果に必要以上に大きい影響を与えることが
ないよう重みを小さく、逆に周辺ブロックのマッチング
強度が弱い場合にはマッチング値の計算に必要十分に作
用できるよう重みを大きくすることにより上記問題を軽
減する。

【００２２】ここで、マッチング強度を計算する最も簡
単な計算方法は、マッチング値全体の平均と最小値の差
をマッチング強度とする計算方法である。次に考えられ
るのは、マッチング値のうち、対応箇所の決定に大きく
作用すると考えられるマッチング値の上位Ｍ個の値の平
均と最小値の差をマッチング強度とする計算方法であ
る。他に、マッチング値の最小値周辺でのマッチング値
の変化量そのものをマッチング強度とする計算方法も考
えられる。この場合、例えばマッチング値の最小値周辺
で関数近似を行ない、そのパラメータを使用する。

【００２３】すなわち、本発明は、互いに異なる２枚の
画像からブロックマッチング法により動きベクトル及び
／又は対応点検出を行なう画像処理方法において、注目
ブロックと近傍のブロックのマッチングの類似度及びマ
ッチング強度を考慮して決定した重みを用いて注目ブロ
ックの近傍のブロックのマッチング結果を重み付き加算
することにより最終的なマッチング結果を算出すること
を特徴とする。

【００２４】マッチング強度を算出する手段としては、
マッチングの全体平均、マッチングの上位の平均、ある
いはマッチング周辺の変化量を使うことができる。ま
た、本発明は、前記画像処理方法を使用してステレオ画
像の対応点探索を行ない、その結果を演算処理すること
により３次元形状計測及び／又は距離計測を行うことを
特徴とする。

【００２５】また、本発明は、前記画像処理方法を使用
してステレオ画像の対応点探索を行ない、その結果を演
算処理し、ステレオ画像から画像補間、画像変形等の手
段を用いステレオ画像の中間の視点からの画像となる疑
似画像を一枚あるいは複数枚生成することを特徴とす
る。

【００２６】さらに、本発明は、前記画像処理方法を使
用して動画像の動きベクトル検出を行ない動画像を圧縮
することを特徴とする。また、本発明は、前記画像処理
方法を使用して動画像の動きベクトル検出を行ない、動
画像中の任意の二枚の画像から画像補間、画像変形等の
手段を用い、動画中の二枚の画像の中間画像となる疑似
画像を一枚あるいは複数枚生成することを特徴とする。

【００２７】このように、本発明では、２枚の画像を入
力し、片方を基準側画像、もう片方を比較対象側画像と
する。基準側画像からブロックを切り出す。これを注目
ブロックと呼ぶ。さらに注目ブロックの周辺からブロッ
クを切り出す。これを周辺ブロックと呼ぶ。比較対象側
画像からも同様にブロックの切り出しを行ない、単一の
ブロック同士でマッチング値の計算を行なう。ここでマ
ッチング値とは、基準側画像から切り出されたブロック
と比較対象側画像から切り出されたブロックがどの程度
似ているかを表す値である。

【００２８】次に、計算されたマッチング値から注目ブ
ロックと周辺ブロックのマッチング類似度を計算する。
マッチング類似度は注目ブロックと周辺ブロックのマッ
チングの傾向がどの程度似通っているかを表す。また、
計算されたマッチング値から注目ブロック及び周辺ブロ
ックのマッチング強度を計算する。マッチング強度は各
ブロックのマッチングの強さ、すなわちマッチング値の
変化の度合を表す。

【００２９】計算されたマッチング類似度及びマッチン
グ強度から各周辺ブロックに関し重みを決定する。この
重みを乗じて再度マッチング値の計算を行ない、このマ
ッチング値が最小になる位置を求める位置とする。この
重みの決定に関しマッチング強度及びマッチング類似度
を考慮することにより、従来方式より高い「正確さ」を
得る。

【００３０】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。〔実施の形態１〕図５は、本発明の一実施の形態による
画像処理装置のシステム構成図である。この画像処理装
置は、ステレオ画像により三次元形状／距離計測を行う
もので、２台のカメラで対象物を撮影しステレオ画像を
入力、計算機本体で処理することにより三次元形状／距
離データを得る。得られたデータは表示装置に表示され
ると同時に、外部記憶装置に記録される。

【００３１】画像処理装置本体１０は、ＣＰＵ（中央演
算装置）１１、メモリ１２、マッチング値演算部１３、
マッチング類似度演算部１４、マッチング強度演算部１
５、補助記憶装置１６、画像入力インターフェース部１
７、外部記憶装置インターフェース部１８、ユーザーイ
ンターフェース部１９を備える。計測対象を撮影するカ
メラ２１，２２は画像入力インターフェース部１７に、
外部記憶装置２３は外部記憶装置インターフェイス部１
８に、表示装置２４、キーボード２５、マウス２６はユ
ーザーインターフェイス部１９にそれぞれ接続されてい
る。

【００３２】図６は、マッチング値演算部１３の詳細図
である。マッチング値演算部１３は、基準側のブロック
及び比較対象側のブロックを記憶するブロック１記憶部
３１及びブロック２記憶部３２、２つのブロックの同じ
位置にある画素同士の差を演算する減算回路３３、減算
された値の自乗を計算しそれをブロック内の全画素に関
して総和を取る積和回路３４、及び積和回路３４の計算
値をマッチング値と値手記憶するマッチング値記憶部３
５からなる。

【００３３】図７は、マッチング類似度演算部１４の詳
細図である。マッチング類似度演算部１４は、注目ブロ
ックマッチング値記憶部４１、周辺ブロックマッチング
値記憶部４２、マッチング値の小さい順に並べる並べ替
え回路４３，４４、注目ブロックと周辺ブロックにおい
て両者に共通するものを検出する共通部分検出回路４
５、共通部分の個数を計数するカウンター４６、カウン
ター４６の計数値を正規化するための除算回路４７、及
び除算回路４７の出力をマッチングの類似度として記憶
するマッチング類似度記憶部４８からなる。

【００３４】図８は、マッチング強度演算部１５の詳細
図である。マッチング強度演算部１５は、マッチング値
記憶部５１、その平均を計算するための積和回路５２及
び除算回路５３、マッチング値の最小値を算出し記憶す
る最小値記憶部５４、除算回路５３の出力と最小値記憶
部５４に記憶された最小値との差を計算する減算回路５
５、その差をマッチング強度として記憶するマッチング
強度記憶部５６からなる。

【００３５】この実施の形態では左右二つのカメラ２
１，２２を使用しているが、カメラの位置関係や台数は
ここで示した例になんら限定されるものではない。例え
ば、画像電子学会誌、第２０巻、第４号、３８０〜３８
６頁に記載のように、カメラを縦に並べて設置してもよ
い。また、カメラや撮影対象は固定されて動かないとは
限らないし、画像入力手段としてカメラ以外のものを用
いても構わない。

【００３６】次に、図９のフローチャートを参照して画
像処理の方法について説明する。まず、図９のステップ
１１において、左右のカメラ２１，２２よりステレオ画
像データを入力し、画像処理装置１０のメモリ１２に記
憶する。ここで２台のカメラ２１，２２で撮影された２
つの画像データのうち片方を基準側、もう一方を比較対
象側とする。

【００３７】次に、ステップ１２において、メモリ１２
上に記憶された基準側の画像の任意の位置から８×８画
素のブロック６（図３）を読み出し、メモリ１２の別の
位置にある計算用のバッファ領域に記憶（コピー）す
る。以下、この操作を切り出しと呼ぶ。また、ここで切
り出されたブロックを注目ブロックと呼ぶ。

【００３８】次に、ステップ１３において、注目ブロッ
ク６の周辺から、切り出されたブロック全体の形状が３
×３ブロックとなるように８×８画素のブロック８ａ〜
８ｈを８つ（図３）切り出す。この８つのブロック８ａ
〜８ｈを周辺ブロックと呼ぶ。

【００３９】ここでは、ブロックの大きさを８×８画素
とし、図３に示したような周辺ブロックの切り出し方に
よって説明するが、ブロックのサイズや注目ブロックと
周辺ブロックの位置関係、周辺ブロックの数などはここ
に示した例に限られず、種々変更可能である。

【００４０】次に、ステップ１４において、比較対象側
の画像データから基準側から切り出したものと同一形状
のブロック、すなわち８×８画素のブロックを３×３ブ
ロック切り出す。

【００４１】続いて、ステップ１５において、基準側と
比較対象側で対応するブロック同士のマッチング値を図
６に詳細を示したマッチング値演算部１３にて計算す
る。すなわち、切り出されたブロックの情報をマッチン
グ値演算部１３の内部のブロック１記憶部３１及びブロ
ック２記憶部３２に転送し、減算回路３３及び積和回路
３４により、基準側のあるブロックのある画素に対し、
比較対象側の対応するブロックの同じ位置にある画素と
の差の自乗を計算し、それをブロック内の全画素に関し
て総和を取る。得られた総和はマッチング値記憶部３５
に蓄えられた後、画像処理装置１０のメモリ１２（図
５）に転送される。これを全てのブロックについて行な
い、得られた９個のマッチング値を比較対象側からのブ
ロックの切り出し位置と共にメモリ１２に記憶する。

【００４２】ステップ１４からステップ１５を比較対象
側のある範囲に対し繰り返し実行する。この範囲は通
常、基準側の切り出し位置と同一の位置を中心としてあ
らかじめ設定した一定の距離以内が使用される。ステッ
プ１６において、前記範囲内での比較対象側画像の切り
出しと、マッチング値の計算が終了したと判定されると
ステップ１７に進む。

【００４３】ステップ１７では、ステップ１４からステ
ップ１６で計算された切り出し位置とマッチング値か
ら、全ての基準側画像から切り出された周辺ブロック８
ａ〜８ｈに関し、注目ブロック７とのマッチングの類似
度を計算する。

【００４４】図１０に、ステップ１７の詳細を示す。ま
ず、記憶されたデータを、図７に詳細を示すマッチング
類似度演算部１４内部の注目ブロックマッチング値記憶
部４１及び周辺ブロックマッチング値記憶部４２に転送
する。次に、ステップ３１において、並べ替え回路４
３，４４により、各ブロック毎にマッチング値の小さい
順番に並べかえる。次に、ステップ３２において、予め
設定した定数Ｎにより、マッチング値の小さいものから
上位Ｎ個のマッチング値とその切り出し位置を取り出
す。ステップ３３では、注目ブロック６と重みを決定し
たい周辺ブロック８ａ〜８ｈにおいて、それぞれから取
り出した上位Ｎ個の切り出し位置の中で、両者に共通す
るものが何個あるかを共通部分検出回路４５及びカウン
ター４６で計算する。最小は０個、最大は全部共通する
場合なのでＮ個となる。ステップ３４では、この個数を
除算回路４７によりＮで割って正規化し、マッチングの
類似度とする。このマッチング類似度はマッチング類似
度記憶部４８に蓄えられた後、画像処理装置１０のメモ
リ１２に転送され記憶される。

【００４５】図９のステップ１７の操作を全ての周辺ブ
ロック８ａ〜８ｈに対して行ない、全ての周辺ブロック
の注目ブロックとのマッチング類似度を計算し、それが
終了するとステップ１８からステップ１９に進む。

【００４６】ステップ１９では、ステップ１４からステ
ップ１６で計算された切り出し位置とマッチング値か
ら、注目ブロック６と周辺ブロック８ａ〜８ｈのマッチ
ング強度を、図８に詳細を示すマッチング強度演算部１
５にて計算する。図１１は、ステップ１９の詳細を示す
図である。

【００４７】ステップ１９では、まずマッチング強度を
計算したいブロックのマッチング値をマッチング値記憶
部５１に転送する。次に、図１１のステップ４１におい
て、その平均を積和回路５２及び除算回路５３により計
算する。またマッチング値の最小値を算出し、最小値記
憶部５４に記憶する。次に、ステップ４２で、減算回路
５５によりこの平均とマッチング値の最小値との差を計
算する。この差をマッチング強度とし、マッチング強度
記憶部５６に記憶し、画像処理装置１０のメモリ１２に
転送し記憶する。

【００４８】ステップ１９の操作を注目ブロック６及び
全ての周辺ブロック８ａ〜８ｈに対して行ない、マッチ
ング強度を計算する。それが終了すると、ステップ２０
からステップ２１に進む。

【００４９】ステップ２１では、ステップ１７からステ
ップ１８で計算されたマッチング類似度及びステップ１
９からステップ２０で計算されたマッチング強度から、
図４に示すように重みを計算する。ここでの例では、重
みはマッチング類似度とマッチング強度の逆数との積を
使用する。ただし、注目ブロック６に関してはマッチン
グ類似度が存在しないので、マッチング類似度は任意の
定数で代用する。図の例では、この定数に２を使用して
いる。この定数をマッチング類似度の最大値１を越える
値としたのは、注目ブロックの比重を大きくすることに
より精度の向上を得るためである。なお、重みの計算
は、マッチング類似度とマッチング強度の逆数との積以
外にも両者に対して正の相関を有する関数を目的に合わ
せて選択して使用することができる。

【００５０】次に、ステップ２２において、ステップ２
１で計算された重みを用い、基準側画素から切り出され
たブロック全体でのマッチング値の計算を行なう。本例
では８×８画素のブロックが３×３ブロックであるの
で、重みを乗ずる以外には２４×２４画素のブロックで
のマッチング値の計算とほぼ同様の計算となる。ただ
し、既に各ブロック毎にマッチング値と位置を計算し、
メモリ１２に記憶してあるので、ある位置のマッチング
値にそのブロックの重みを乗じ、注目ブロック６及び全
ての周辺ブロック８ａ〜８ｈに関してその総和を取るだ
けでマッチング値の計算ができる。このようにして計算
されたマッチング値と位置を再びメモリ１２に記憶す
る。

【００５１】ステップ２２の操作を、ステップ１６と同
じ範囲に対して繰り返し実行する。この操作が終了する
と、ステップ２３からステップ２４に進む。ステップ２
４では、ステップ２２からステップ２３で計算されたマ
ッチング値のうち最小のものを計算する。この最小のも
のの位置が、注目ブロックに対する比較対象側の画像中
の対応するブロックの位置、例えば図１中のブロック４
に対応するブロック５の位置である。

【００５２】ステップ１２からステップ２４までの操作
を基準側画像のある範囲に関して繰り返し実行する。こ
の範囲には通常基準側画像全体が用いられる。これによ
り基準側画像全体に関し比較対象側画像の対応する箇所
が求められる。この操作が終了するとステップ２５から
ステップ２６に進む。

【００５３】ステップ２６では、基準側画像全体に関し
比較対象側画像の対応する箇所が求められたなら、カメ
ラの位置情報等と合わせて基準画像上の任意の箇所の３
次元的位置を三角測量により求めることができる。この
計算方法は、一般に広く知られたもの既知のものを用い
ることができる。

【００５４】この実施の形態によると、ブロックマッチ
ングの「正確さ」を向上し、従来の方法に比較して特に
物体と動きが異なりテクスチャに乏しい背景との境界領
域付近等での誤対応を減少することができる。また、３
次元形状／距離計測の正確さを向上することができる。

【００５５】〔実施の形態２〕画像処理装置１０のマッ
チング強度演算部１５を図１２に示す構成とし、マッチ
ング強度を図１３に示す処理によって計算した。それ以
外は、実施の形態１と同様であるので、ここでは図９の
ステップ１９のマッチング強度の計算についてのみ説明
する。

【００５６】マッチング強度演算部１５は、図１２に示
すように、マッチング値記憶部６１、記憶したマッチン
グ値をその大小によって並べ替える並べ替え回路６２、
並び替えられたマッチング値の平均を計算するための積
和回路６３及び除算回路６４、並び替えられたマッチン
グ値の最小値を算出し記憶する最小値記憶部６５、除算
回路６４の出力と最小値記憶部６５に記憶された最小値
との差を計算する減算回路６６、その差をマッチング強
度として記憶するマッチング強度記憶部６７からなる。

【００５７】次に、マッチング強度の演算について説明
する。図９のステップ１９で、まずマッチング強度を計
算したいブロックのマッチング値をマッチング値記憶部
６１に転送する。次に、図１３のステップ５１におい
て、マッチング強度に計算したいブロックのマッチング
値を並べ替え回路６２により小さい順に並べかえる。次
に、ステップ５２において、小さいものから上位Ｍ個の
マッチング強度の平均を積和回路６３及び除算回路６４
により計算する。ここでＭはあらかじめ与える任意の定
数である。またマッチング値の最小値を算出し、最小値
記憶部６５に記憶する。次に、ステップ５３において、
この平均とマッチング値の最小値との差を減算回路６６
により計算する。この差をマッチング強度とし、マッチ
ング強度記憶部６７に記憶し、画像処理装置１０のメモ
リ１２に転送し記憶する。この実施の形態によると、簡
易な回路の追加でより高いブロックマッチングの「正確
さ」を実現することができる。

【００５８】〔実施の形態３〕画像処理装置１０のマッ
チング強度演算部１５を図１４に示す構成とし、マッチ
ング強度を図１５に示す処理によって計算した。それ以
外は、実施の形態１と同様であるので、ここでは図９の
ステップ１９のマッチング強度の計算についてのみ説明
する。

【００５９】マッチング強度演算部１５は、図１４に示
すように、マッチング値記憶部７１、近傍マッチング値
記憶部７２、記憶したマッチング値をその大小によって
並べ替え最小値を求める並べ替え回路６２、マッチング
値の最小値を記憶する最小値記憶回路７４、パラメータ
推定部７５、及びマッチング強度記憶部７６からなる。

【００６０】次に、マッチング強度の演算について説明
する。図９のステップ１９で、まずマッチング強度を計
算したいブロックのマッチング値をマッチング値記憶部
７１に転送する。次に、図１５のステップ６１におい
て、マッチング強度を計算したいブロックのマッチング
値の最小値を並べ替え回路７３により求め、最小値記憶
部７４に記憶し、その時の比較対象側画像から切り出し
たブロックの位置を求める。次に、ステップ６２におい
て、その近傍のブロックの切り出しを行なった時のマッ
チング値をマッチング値記憶部７１より取りだし、近傍
マッチング値記憶部７２に記憶する。次に、ステップ６
３において、これらの値からマッチング値の変化量をパ
ラメータ推定部７５にて推定する。

【００６１】この例では、最小値と両隣の３つの値を下
記〔数１〕の２次関数に当てはめ、関数のパラメータａ
を変化量を表す値として使用する。すなわち、このパラ
メータａをマッチング強度とする。そして、このマッチ
ング強度をマッチング強度記憶部７６に記憶し、画像処
理装置１０のメモリ１２に転送し記憶する。〔数１〕に
おいてｙはマッチング値、ｘは各ブロックの位置を表す
変数である。３個の変数ａ，ｂ，ｃに対して３本の式が
与えられるので、ａ，ｂ，ｃの値を求めることができ
る。

【００６２】

【数１】ｙ＝ａｘ²＋ｂｘ＋ｃこの実施の形態によると、回路は多少複雑になるが、さ
らに高いブロックマッチングの「正確さ」を達成するこ
とができる。

【００６３】〔実施の形態４〕２枚の画像からその中間
の画像を形成する実施の形態について説明する。実施の
形態１〜３と同様に、図５に示した画像処理層値１０の
画像入力インターフェース部１７よりカメラ２１，２２
からの画像を二枚を入力し、画像間で対応点を求める。
次に、実施の形態１〜３におけるステップ２６（図９）
の３次元的位置を求める処理を行なうのではなく、求め
た対応点情報を使用して二枚の画像の中間の画像を生成
する。

【００６４】求めた対応点情報を使用し二枚の画像の中
間の画像を画像補間及び画像変形により生成する方法に
ついては様々な方法が知られており、例えば次のような
方法を用いることができる。

【００６５】まず、基準側画像上で近隣の点同士を線で
結び、網を形成する。対応点情報により、この網が比較
対象側画像上でどのように変形された状態になるかが計
算される。また、対応する点への移動ベクトルにある係
数αを乗ずることより、変形の中間状態も計算される。
この中間状態の網の形状に対し、基準側画像及び比較対
象側画像上での網の対応する部分を網の形状に沿って変
形した画像を生成し、基準側画像から生成された変形画
像に対し係数αを乗じ、比較対象側画像から生成された
変形画像に（１−α）を乗じ、加算することにより一枚
の中間画像を生成する。

【００６６】生成された中間画像は、誤ったベクトルに
より処理された部分があると、その部分に違和感が生じ
る。本実施の形態では従来の方法に比較して「正確さ」
の向上を図ったブロックマッチングの手法を適用したこ
とにより、結果として得られる画像の視覚的品質が改善
される。

【００６７】〔実施の形態５〕図１６は、本発明の他の
実施の形態による画像処理装置のシステム構成図であ
る。この画像処理装置は、動画像圧縮を行う。動画像源
からの動画像を動画像入力ブロックを通じて入力、計算
機本体で処理し、圧縮された画像データを得る。得られ
たデータは外部記憶装置インターフェース部を通じ外部
記憶装置に記録される。

【００６８】画像処理装置本体１０は、ＣＰＵ（中央演
算装置）１１、メモリ１２、マッチング値演算部１３、
マッチング類似度演算部１４、マッチング強度演算部１
５、補助記憶装置１６、動画像入力インターフェース部
８１、外部記憶装置インターフェース部１８、ユーザー
インターフェース部１９を備える。カメラやビデオ等の
動画像源８２は動画像入力インターフェース部８１に、
外部記憶装置２３は外部記憶装置インターフェイス部１
８に、表示装置２４、キーボード２５、マウス２６はユ
ーザーインターフェイス部１９にそれぞれ接続されてい
る。マッチング値演算部１３、マッチング類似度演算部
１４、マッチング強度演算部１５には前述したものを用
いることができる。

【００６９】動画像入力インターフェース部８１より動
画像源８２からの動画像を構成する画像群のうちの二枚
を入力する。通常は、動画像上で連続する二枚もしくは
時間的に近い二枚が入力される。二枚の画像のうちどち
らか基準側とする。入力された二枚の画像に対し、先の
実施の形態のステップ１２からステップ２５（図９）と
同一の処理を施す。その結果、基準側の画像全域に対
し、二枚の画像間の動きベクトルが得られる。この動き
ベクトルを使用して動画像を圧縮するアルゴリズムは様
々な方法が知られており、例えば以下の方法を用いるこ
とができる。

【００７０】二枚の画像より求められた動きベクトルを
用い、基準側画像から動きベクトルを求めた時と同一の
サイズのブロックを取り出し、動きベクトルに従い並行
移動する。基準側画像全体に対しこの操作を行ない、重
ね合わせることによって一枚の画像を生成する。次に、
この画像と比較対象側画像との差を取る。この差は予測
誤差画像と呼ばれ、比較対象側画像に比べ同一の圧縮手
段を用いてもより高い圧縮率で圧縮できるという特徴を
持つ。この差に対し、通常の静止画と同じ圧縮を行な
う。

【００７１】画像圧縮において誤ったベクトルにより処
理された部分があると、伸長後の再生画像に違和感が生
じる。この実施の形態では、本発明によるブロックマッ
チングの「正確さ」が向上された画像処理の手法を動画
像等の圧縮に利用することにより、結果として得られる
画像の視覚的品質を改善することができる。

【００７２】〔実施の形態６〕本発明の他の実施の形態
による画像処理装置について説明する。この実施の形態
では、実施の形態５と同様に図１６に示したシステム構
成を用い、動画像補間を行う。動画像源からの動画像を
動画像入力ブロックを通じて入力、計算機本体で処理
し、補間された画像データを得る。得られたデータは外
部記憶装置インターフェース部を通じ外部記憶装置に記
録される。

【００７３】動画像入力インターフェース部８１よりカ
メラやビデオ等の動画像源８２からの動画像を構成する
画像群のうちの二枚を入力し、動きベクトルを求める。
求めた動きベクトルより動画像中の二枚の画像の中間画
像を画像補間及び画像変形により生成する。この方法に
ついて様々な方法が知られており、例えば以下の方法を
使用することができる。

【００７４】二枚の画像より求められた動きベクトルを
用い、基準側画像から動きベクトルを求めた時と同一の
サイズのブロックを取り出し、動きベクトルに定数βを
乗じたベクトルに従い並行移動する。基準側画像全体に
対しこの操作を行ない、重ね合わせることによって一枚
の画像を生成する。同様の操作を比較対象側画像に関し
ても行なう。ただし、動きベクトルには（１−β）を乗
ずる。このようにして求めた二枚の画像に対し、基準側
画像から求めた画像にはβを乗じ、比較対象側画像から
求めた画像には（１−β）を乗じて加算し、一枚の画像
を合成する。これが中間画像となる。

【００７５】誤ったベクトルにより処理された部分があ
ると、生成された中間画像に違和感が生じる。本実施の
形態によると、本発明によってブロックマッチングの
「正確さ」の向上を図った画像処理方法を動画像等の補
間／中間画像の生成に適用することにより、結果として
得られる画像の視覚的品質が改善される。

【００７６】

【発明の効果】本発明によると、ブロックマッチングの
「正確さ」を向上し、物体と動きが異なりテクスチャに
乏しい背景との境界領域付近等での誤対応を減少するこ
とができる。また、このようにして「正確さ」の向上し
たブロックマッチングを利用することにより、計測精度
の向上及び画像の視覚的品質の改善を図ることができ
る。

【図面の簡単な説明】

【図１】一対の入力画像の例と、そこからのブロックの
切り出し及び対応する箇所を説明するための概念図。

【図２】入力画像からブロックが切り出される様子の一
例を示す図。

【図３】入力画像から注目ブロックと周辺ブロックが切
り出される様子の一例を示す図。

【図４】重み付け係数の説明図。

【図５】本発明の一実施の形態による画像処理装置のシ
ステム構成図。

【図６】マッチング値演算部の詳細図。

【図７】マッチング類似度演算部の詳細図。

【図８】マッチング強度演算部の詳細図。

【図９】処理のフローチャートを示す図。

【図１０】マッチング類似度計算の処理フローの一例を
示す図。

【図１１】マッチング強度計算の処理フローの一例を示
す図。

【図１２】マッチング強度演算部の他の例の詳細図。

【図１３】マッチング強度計算の処理フローの他の例を
示す図。

【図１４】マッチング強度演算部の他の例の詳細図。

【図１５】マッチング強度計算の処理フローの他の例を
示す図。

【図１６】本発明の他の実施の形態による画像処理装置
のシステム構成図。

【符号の説明】

１…基準画像、２…比較画像、３…被写体、４…基準と
なる画像から切り出されたブロック、５…比較の対象と
なる画像上でブロックと対応するブロック、６…注目ブ
ロック、７…画素、８ａ〜８ｈ…周辺ブロック、１０…
画像処理装置、１１…ＣＰＵ（中央演算装置）、１２…
メモリ、１３…マッチング値演算部、１４…マッチング
類似度演算部、１５…マッチング強度演算部、１６…補
助記憶装置、１７…画像入力インターフェース部、１８
…外部記憶装置インターフェース部、１９…ユーザーイ
ンターフェース部、２１，２２…カメラ、２３…外部記
憶装置、２４…表示装置、２５…キーボード、２６…マ
ウス、８１…動画像入力インターフェース部、８２…動
画像源、３１…ブロック１記憶部、３２…ブロック２記
憶部、３３…減算回路、３４…積和回路、３５…マッチ
ング値記憶部、４１…注目ブロックマッチング値記憶
部、４２…周辺ブロックマッチング値記憶部、４３，４
４…並べ替え回路、４５…共通部分検出回路、４６…カ
ウンター、４７…除算回路、４８…マッチング類似度記
憶部、５１…マッチング値記憶部、５２…積和回路、５
３…除算回路、５４…最小値記憶部、５５…減算回路、
５６…マッチング強度記憶部、６１…マッチング値記憶
部、６２…並べ替え回路、６３…積和回路、６４…除算
回路、６５…最小値記憶部、６６…減算回路、６７…マ
ッチング強度記憶部、７１…マッチング値記憶部、７２
…近傍マッチング値記憶部、７３…並べ替え回路、７４
…最小値記憶部、７５…パラメータ推定部、７６…マッ
チング強度記憶部

Claims

【特許請求の範囲】

【請求項１】互いに異なる２枚の画像からブロックマ
ッチング法により動きベクトル及び／又は対応点検出を
行なう画像処理方法において、注目ブロックと近傍のブロックのマッチングの類似度及
びマッチング強度を考慮して決定した重みを用いて注目
ブロックの近傍のブロックのマッチング結果を重み付き
加算することにより最終的なマッチング結果を算出する
ことを特徴とする画像処理方法。
【請求項２】請求項１記載の画像処理方法において、
前記マッチング強度を算出する手段としてマッチングの
全体平均を使うことを特徴とする画像処理方法。
【請求項３】請求項１記載の画像処理方法において、
前記マッチング強度を算出する手段としてマッチングの
上位の平均を使うことを特徴とする画像処理方法。
【請求項４】請求項１記載の画像処理方法において、
前記マッチング強度を算出する手段としてマッチング周
辺の変化量を使うことを特徴とする画像処理方法。
【請求項５】請求項１〜４のいずれか１項記載の画像
処理方法を使用してステレオ画像の対応点探索を行な
い、その結果を演算処理することにより３次元形状計測
及び／又は距離計測を行うことを特徴とする方法。
【請求項６】請求項１〜４のいずれか１項記載の画像
処理方法を使用してステレオ画像の対応点探索を行な
い、その結果を演算処理し、ステレオ画像から画像補
間、画像変形等の手段を用いステレオ画像の中間の視点
からの画像となる疑似画像を一枚あるいは複数枚生成す
ることを特徴とする画像処理方法。
【請求項７】請求項１〜４のいずれか１項記載の画像
処理方法を使用して動画像の動きベクトル検出を行ない
動画像を圧縮することを特徴とする画像処理方法。
【請求項８】請求項１〜４のいずれか１項記載の画像
処理方法を使用して動画像の動きベクトル検出を行な
い、動画像中の任意の二枚の画像から画像補間、画像変
形等の手段を用い、動画中の二枚の画像の中間画像とな
る疑似画像を一枚あるいは複数枚生成することを特徴と
する画像処理方法。