JP4304912B2 - 動きベクトル検出装置及び方法 - Google Patents
動きベクトル検出装置及び方法 Download PDFInfo
- Publication number
- JP4304912B2 JP4304912B2 JP2002112632A JP2002112632A JP4304912B2 JP 4304912 B2 JP4304912 B2 JP 4304912B2 JP 2002112632 A JP2002112632 A JP 2002112632A JP 2002112632 A JP2002112632 A JP 2002112632A JP 4304912 B2 JP4304912 B2 JP 4304912B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel
- sum
- absolute
- search range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ブロックマッチングにより動きベクトルを検出する動きベクトル検出装置及び方法に関し、特にフィールド周波数の変換、フレーム周波数の変換、プログレッシブ画像からインタレース画像への変換技術やＭＰＥＧによる圧縮技術に適用される動きベクトル検出装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、入力画像信号に内挿処理を施して、５０ＧＨｚから１００ＧＨｚへフィールド周波数の変換や、インタレース走査からプログレッシブ走査へ走査変換を行なうことにより、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
上述の内挿処理を行うためには、入力された画像信号において、現フィールドである参照フィールドと、現フィールドから１フレーム前の基準フィールドとの間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。この動きベクトルの検出は、一般に実用化されている方式として、基準フィールドを複数の基準ブロックに分割し、このブロック毎に参照フィールドにおける探索ブロックとパターンマッチングを行うブロックマッチング法が一般的に用いられている。
【０００４】
以下、ブロックマッチング法について説明する。図９に示すように、基準フィールド８０における基準ブロック１０１と、参照フィールド９０における探索ブロック１０３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック１０３の探索範囲１０４は、任意に設定される。
【０００５】
このブロックマッチング法では、基準フィールド８０における基準ブロック１０１と最も高い相関度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３の集合から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【０００６】
ここで、上記基準ブロック１０１と最も高い相関度を示す探索ブロック１０３の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和のうちから最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い相関度を示すブロックとする。
【０００７】
ここで各ブロックのサイズは、例えば図１０(a)に示すように８×４画素のサイズとし、各ブロック１０１,１０３の画素位置は、水平方向と垂直方向でそれぞれ（ｘ、ｙ）で表される。また原点の画素の座標を、（０、０）としたときに、ｘは、ＢＸ１〜ＢＸ２の範囲内に位置し、またｙは、ＢＹ１〜ＢＹ２の範囲内に位置することとなる。
【０００８】
探索範囲１０４のサイズは、例えば図１０(b)に示すように、１６×５画素のサイズとし、各画素位置は、水平方向と垂直方向で、それぞれ（ｘｓ、ｙｓ）で表される。また原点の座標を（０，０）としたときに、ｘｓは、ＭＸ１〜ＭＸ２の範囲内に位置し、ｙｓはＭＹ１〜ＭＹ２の範囲内に位置することとなる。
【０００９】
図１０(c)は、探索範囲１０４において、（ＭＸ１、ＭＹ１）の画素位置を探索する場合について示した図である。かかる場合、探索ブロック１０３の原点（０，０）が、探索範囲１０４の画素位置（ＭＸ１、ＭＹ１）に移動する。そして、基準ブロック１０１の画素に対応させて、探索ブロック１０３内の各画素位置における画素値を検出する。
【００１０】
（２１）式は、差分絶対値和Ｄ（ｘｓ、ｙｓ）を求める式であり、Ｒは参照フィールドの画素値を、Ｓは基準フィールドの画素値を示す。また（２２）式は、最小となる差分絶対値和ｍｉｎＤ（ｘｓ、ｙｓ）を求めている。（２３）式は、最小となる差分絶対値和から動きベクトルを求める式であり、Ｖｘが動きベクトルの水平成分に相当し、Ｖｙが動きベクトルの垂直成分に相当する。
【００１１】
【数１】
【００１２】
【数２】
【００１３】
【数３】
【００１４】
次に上述したブロックマッチング法に基づく動きベクトルを検出する動きベクトル検出回路の構成例について説明する。
【００１５】
図１１は、従来の動きベクトル検出回路６の全体構成である。この動きベクトル検出回路６は、画像格納用メモリ６１と、演算部６２と、判定部６３と、動きベクトル格納用メモリ６４と、制御部６５とを備える。
【００１６】
画像格納用メモリ６１は、例えば汎用ＤＲＡＭメモリ等で構成され、順次供給される基準フィールド８０と参照フィールド９０を所定のアドレスに格納する。
【００１７】
演算部６２は、制御部６５から基準ブロック１０１の原点の座標と、探索範囲１０４の原点の座標を受け取る。この演算部６２は、画像格納用メモリ６１に格納されている基準フィールド８０から、制御部６５から受け取った座標を原点とする基準ブロック１０１を切り出す。また、この演算部６２は、画像格納用メモリ６１に格納されている参照フィールド９０から、制御部６５から受け取った座標を原点とする探索範囲１０４内に位置する探索ブロック１０３を切り出す。更に、この演算部６２は、切り出した基準ブロック１０１と、探索ブロック１０３との差分絶対値和を計算する。そして算出した差分絶対値和を判定部６３へ送信する。演算部６２は、この操作を、探索範囲１０４内を移動する全ての探索ブロック１０３について行う。
【００１８】
判定部６３は、演算部６２において算出された差分絶対値和を順次受け取る。またこの判定部６３は、受け取った差分絶対値和の中から、最小となる差分絶対値和を与える画素を判定し、当該画素の座標（ｘｓ、ｙｓ）を特定する。また、この判定部６３は、この特定した画素の座標と、基準ブロック１０１の原点の画素との間で動きベクトルを求める。更にこの判定部６３は、求めた動きベクトルを動きベクトル格納用メモリ６４に書き込む。
【００１９】
動きベクトル格納用メモリ６４は、判定部６３から基準画素毎（ブロック単位で）に動きベクトルが書き込まれる。この動きベクトル格納用メモリ６４に格納された動きベクトルは、例えば図示しない画像シフト部により読み出され、基準画素のシフトさせる際の基準となる。
【００２０】
制御部６５は、接続された演算部６２及び判定部６３に対して、基準ブロック１０１の原点の座標と探索範囲１０４の原点の座標を指示し、フローを制御する。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述した従来のブロックマッチング法は、画面全体に表示される本来の画像の動きに関係なく、単に基準ブロックと誤差の総和が最小となる探索ブロックを最優先して動きベクトルを求めるため、変換画像の画質が劣化する場合がある。
【００２２】
図１２は、斜め線等のエッジ中央部におい画質が劣化した例を示している。これは、基準ブロックと誤差の総和が最小となる探索ブロックを最優先して動きベクトルを求めた結果、実際の画像の動きと無関係な動きベクトルが求まり、図１３に示すように動きベクトルの分布がばらついたためである。
【００２３】
このため、実際の画像の動きに適合した動きベクトルを求めることにより、動きベクトルのばらつきを解消する必要があった。
【００２４】
そこで本発明は、上述したような実情に鑑みて提案されたものであり、実際の画像の動きに適合した動きベクトルを求めることにより、変換画像の劣化を防止することができる動きベクトル検出装置及び方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明は、上述の課題を解決するために、入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算手段と、上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別する識別手段と、上記探索範囲において最小となる上記差分絶対値和と、上記基準画素の上記第１の方向の負方向に隣接する画素の動きベクトルに基づく差分絶対値和との差分絶対値を求め、比較する比較手段と、上記比較手段により求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの第１の方向成分を、上記隣接する画素の動きベクトルの第１の方向成分に合致するように特定し、上記基準画素における動きベクトルの第２の方向成分を、特定した上記第１の方向成分に対応する第２の方向のラインにおいて差分絶対値和の最小となる画素位置の第２の方向成分に特定し、上記比較手段により求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定する動きベクトル特定手段とを備えることを特徴とする。
【００２６】
また、本発明は、入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算し、上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別し、上記探索範囲において最小となる上記差分絶対値和と、上記基準画素の上記第１の方向の負方向に隣接する画素の動きベクトルに基づく差分絶対値和との差分絶対値を求め、求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの第１の方向の成分を、上記隣接する画素の動きベクトルの第１の方向の成分に合致するように特定し、上記基準画素における動きベクトルの第２の方向の成分を、特定した上記第１の方向の成分に対応する上記第１の方向と直交する第２の方向のラインにおいて差分絶対値和が最小となる画素位置の第２の方向の成分に特定し、求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定することを特徴とする。
【００２７】
本発明では、基準ブロックと探索ブロックとの間で、画素値の差分絶対値和を順次演算し、上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別し、基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの第１の方向の成分に合致するように特定する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した動きベクトル検出方法について説明する。
【００２９】
動きベクトルによる動き補正動作
本発明を適用した動きベクトル検出方法は、図１に示すように、入力された画像信号において、基準フィールド３０と、参照フィールド４０との間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。また、この動きベクトル検出方法は、ブロックマッチング法を取り入れ、基準フィールド３０を複数の基準ブロック５１に分割し、この基準ブロック５１毎に参照フィールド４０における探索ブロック５３とパターンマッチングを行う。
【００３０】
図１に示すように、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索ブロック５３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック５３の探索範囲５４は任意に設定される。
【００３１】
このブロックマッチング法では、基準フィールド３０における基準ブロック５１と最も高い相関度を示すブロックを、参照フィールド４０における探索範囲５４内を移動する探索ブロック５３から検出する。そして当該検出された探索ブロック５３と基準ブロック５１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【００３２】
ここで、上記基準ブロック５１と最も高い相関度を示す探索ブロック５３の判定は、先ず探索ブロック５３の各画素値について、基準ブロック５１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック５３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和のうちから最小のものを求める。この最小の差分絶対値和を与える探索ブロック５３を、基準ブロック５１と最も高い相関度を示すブロックとし、かかるブロックの原点の画素６３と、基準ブロック５１の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【００３３】
動きベクトルのばらつき対策
本発明を適用した動きベクトル検出方法では、上述のブロックマッチング法を利用した動きベクトル検出に加えて、更に以下のコンセプトから、動きベクトルの検出を行う。
【００３４】
図２は、探索範囲５４内に割り当てられた全探索ブロック５３について求めた差分絶対値和の分布傾向の、基準ブロック５１と探索範囲５４にエッジを含む場合における一例を示している。この図２より、差分絶対値和の高い領域は、基準ブロック５１と探索ブロック５３との画素値が著しく異なる領域である。一方、図２において、凹部を形成している差分絶対値和の低い領域は、基準ブロック５１と探索ブロック５３との画素値が近似する領域である。すなわち、画素値が近似する領域に対して動きベクトルを特定することで、高画質化、高圧縮化を実現することができる。
【００３５】
探索範囲５４は、垂直成分（ｙｓ）に対応した水平ラインが割り当てられている。各水平ラインは、それぞれ差分絶対値和の極小値を有し、これらの極小値が上述した差分絶対値和の低い領域を形成している。以下、これらの水平ライン毎の極小値をライン極小値と称する。
【００３６】
また、通常のブロックマッチング同様に探索範囲５４全体の中から特定した差分絶対値和の極小値を領域極小値と称する。すなわち各ライン極小値の中で最小となる差分絶対値和は、この領域極小値に相当する。図２において示されるように、黒丸で示した領域極小値は、他のライン極小値と比較しても大差無い。このため、この領域極小値を示す画素の代わりに、ライン極小値を示す画素について、基準ブロック５１の原点の画素との間で動きベクトルを特定しても、画質にほとんど影響が及ばないことになる。
【００３７】
すなわち、本発明を適用した動きベクトル検出方法では、かかる性質に着目し、ライン極小値を有する画素の中から本来の画像の動きに最も適合する画素を選択し、基準ブロック５１の原点の画素との間で動きベクトルを特定する。
【００３８】
動きベクトルの検出手順
本発明を適用した動きベクトル検出方法における実際の検出手順について、図３に基づいて詳細に説明する。
【００３９】
まず、ステップＳ１１において、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索範囲５４内部を移動する探索ブロック５３との間で、差分絶対値和を演算する。
【００４０】
この差分絶対値和の演算は、例えば図４に示すように、ブロックサイズを図４(a)に示すように８×４画素のサイズとし、各ブロック５１,５３の画素位置は、水平方向と垂直方向でそれぞれ（ｘ、ｙ）で表される。また原点の画素の座標を、（０、０）としたときに、水平方向の座標ｘは、図４(a)に示すＢＸ１〜ＢＸ２の範囲内に位置し、また垂直方向の座標ｙは、ＢＹ１〜ＢＹ２の範囲内に位置する。探索範囲５４のサイズは、例えば図４(b)に示すように、１６×５画素のサイズとし、探索範囲５４内の各画素位置は、水平方向と垂直方向で、それぞれ（ｘｓ、ｙｓ）で表される。また原点の座標を（０，０）としたときに、ｘｓは、図４(b)に示すＭＸ１〜ＭＸ２の範囲内に位置し、ｙｓはＭＹ１〜ＭＹ２の範囲内に位置する。この探索範囲５４内の座標（ｘｓ、ｙｓ）の差分絶対値和Ｄ（ｘｓ、ｙｓ）は以下の（１１）式により表される。ここでＲは参照フィールドの画素値を、Ｓは基準フィールドの画素値を示す。
【００４１】
【数４】
【００４２】
このステップＳ１１において、探索範囲５４内部を移動する全ての探索ブロック５３につき差分絶対値和を演算した後、ステップＳ１２に移行する。
【００４３】
ステップＳ１２では、算出した差分絶対値和の中から先ず領域極小値を選び出し、当該領域極小値を示す画素の座標を特定する。
【００４４】
次にステップＳ１３へ移行し、算出した差分絶対値和の中から、水平ライン毎にライン極小値を選び出し、当該ライン極小値を示す画素の座標を特定する。
【００４５】
次にステップＳ１４へ移行し、基準ブロック５１の原点の画素から垂直負方向に隣接する基準ブロックの原点の画素（以下、この画素を隣接画素と称する）に基づいて本来の画像の動きを識別するため、動きベクトルに関する情報を取得する。図４(c)に示す基準ブロック５１の各画素における動きベクトルは上段から順次求められるところ、この隣接画素は現在ブロックマッチングを行なっている基準ブロック原点の画素７０よりも先に動きベクトルが求められるため、本来の画像の動きを識別するためのパラメータとなりうる。すなわち、この隣接画素の動きベクトル、及び当該動きベクトルに基づく差分絶対値和を、隣接画素情報として取得することにより、本来の画像の動きを識別することができる。ちなみに、この隣接画素の動きベクトルに基づく差分絶対値和は、隣接画素と、及び隣接画素から動きベクトル分ずらした画素６９における参照フィールド４０における画素６９とを基準として求められる差分絶対値和である。以下、この差分絶対値和を、差分絶対値和Ｋと称する。
【００４６】
次にステップＳ１５に移行し、先ず差分絶対値和Ｋと領域極小値との差分絶対値を求める。基準ブロックの原点の画素の動きベクトルを、隣接画素の動きベクトルに合わせることにより、本来の画像の動きに適合させるためには、基準ブロックの原点の画素と隣接画素の動きのパターンが類似している必要があり、このためには、両者のライン極小値の配列傾向（差分絶対値和の分布傾向）が類似している必要がある。このライン極小値の配列傾向が類似しているか否か判別するために、差分絶対値和Ｋと領域極小値の差分絶対値を求めて比較を行う。
【００４７】
このステップＳ１５において、求めた差分絶対値が所定の閾値より大きい場合には、隣接画素と、基準ブロックの原点の画素におけるライン極小値の配列傾向が異なることを示唆しており、かかる場合にはステップＳ１６へ移行する。また、求めた差分絶対値が所定の閾値より小さい場合には、隣接画素と、基準ブロックの原点の画素におけるライン極小値の配列傾向が類似していることを示唆しており、かかる場合にはステップＳ１７に移行する。なお、この所定の閾値は、動きベクトルのばらつき具合を考慮して任意に設定される。
【００４８】
ステップＳ１６に移行した場合には、隣接画素の動きベクトルに合わせても本来の画像の動きに適合させることができないため、通常のブロックマッチング法と同様に、基準ブロック５１と最も高い相関度を示す探索ブロック５３により動きベクトルを求める。すなわち、領域極小値を有する画素と、基準ブロック５１の原点の画素との間で求める動きベクトルを特定する。
【００４９】
ステップＳ１７に移行した場合に、求める動きベクトルを隣接画素の動きベクトルに合わせる。求める動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘ、Ｖｙ）とし、また隣接画素の動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘｕ、Ｖｙｕ）としたときに、Ｖｙについては、Ｖｙ＝Ｖｙｕとなるように設定する。そして、原点の座標から垂直方向にＶｙだけ移動させた水平ライン上においてライン極小値を有する画素へ動くように動きベクトルを合わせる。図５に示す例において、Ｖｙｕ＝＋１である場合には、原点の座標からＶｙだけ移動させた水平ラインは、ｙｓ＝＋１の水平ラインである。この水平ラインにおけるライン極小値を有する画素の水平成分は、ｘｓ＝−２である。従って、動きベクトルは、水平成分Ｖｘが−２であり、また垂直成分Ｖｙが＋１として特定されることとなる。
【００５０】
すなわち、本発明を適用した動きベクトル検出方法では、求める動きベクトルの垂直成分を隣接画素の動きベクトルに合致させ、水平成分を、特定した垂直成分に対応する水平ライン上においてライン極小値を有する画素に応じて特定する。これにより、図６に示すように、本来の画像の動きに適合させることができるため、動きベクトルのばらつきを抑えることができ、ひいては，図７に示すように、変換画像の劣化を防止することができる。
【００５１】
次に、本発明に係る動きベクトル検出方法を実施するための動きベクトル検出装置について説明する。
【００５２】
動きベクトル検出装置の構成例
図８は、上述の動きベクトル検出方法を用いる動きベクトル検出装置１の構成図を示している。この動きベクトル検出装置１は、画像格納用メモリ１１と、演算部１２と、判定部１３と、動きベクトル選択部１４と、動きベクトル格納用メモリ１５と、制御部１６と、第１のライン遅延部１７と、第２のライン遅延部１８とを備える。
【００５３】
画像格納用メモリ１１は、例えば汎用ＤＲＡＭメモリ等で構成され、順次供給される基準フィールド３０と参照フィールド４０を所定のアドレスに格納する。
【００５４】
演算部１２は、制御部１６から基準ブロック５１の原点の座標と、探索範囲５４の原点の座標を受け取る。この演算部１２は、画像格納用メモリ１１に格納されている基準フィールド３０から、制御部１６から受け取った座標を原点とする基準ブロック５１を切り出す。またこの演算部１２は、画像格納用メモリ１１に格納されている参照フィールド４０から、制御部１６から受け取った座標を原点とする探索範囲５４内に位置する探索ブロック５３を切り出す。更に、この演算部６２は、切り出した基準ブロック５１と、探索ブロック５３との差分絶対値の総和を計算する。そして算出した差分絶対値和を判定部１３へ送信する。演算部１２は、この操作を探索範囲５４内を移動する全ての探索ブロック５３について行う。
【００５５】
判定部１３は、制御部１６からの制御に基づき、演算部１２において算出された差分絶対値和を順次受け取る。またこの判定部１３は、受け取った差分絶対値和の中から、領域極小値、ライン極小値を与える画素を判定し、当該画素の座標を特定する。また、この判定部１３は、領域極小値、ライン極小値、並びにこれらの極小値を与える画素の座標を動きベクトル選択部１４へ送信する。
【００５６】
動きベクトル選択部１４は、判定部１３から、領域極小値、ライン極小値、並びにこれらの極小値を与える画素の座標を受信する。また、動きベクトル選択部１４は、第１のライン遅延部１７或いは第２のライン遅延部から、隣接画素の動きベクトル及び当該動きベクトルに基づく差分絶対値和Ｋを含む隣接画素情報を取り込む。動きベクトル選択部１４は、隣接画素と、基準ブロックの原点の画素との間で、それぞれのライン極小値の配列傾向を判断した上で、ステップＳ１６若しくはステップＳ１７に示す方法により動きベクトルを特定する。更にこの動きベクトル選択部１４は、特定した動きベクトルを動きベクトル格納用メモリ１５に書き込む。
【００５７】
動きベクトル格納用メモリ１５は、動きベクトル選択部１４において特定された動きベクトルが書き込まれる。この動きベクトル格納用メモリ１５に格納された動きベクトルは、例えば図示しない画像シフト部により読み出され、基準画素のシフトさせる際の基準となる。
【００５８】
制御部１６は、接続された演算部１２及び判定部１３に対して、基準ブロック５１の原点の座標と探索範囲５４の原点の座標を指示し、また、動きベクトル選択装置へ隣接画素情報を送信し、更にフロー全体を制御する。
【００５９】
第１のライン遅延部１７は、判定部１３から出力される各種情報を格納し、１ライン分遅延させて動きベクトル選択部１４へ出力する。第２のライン遅延部１８も同様に、隣接画素の動きベクトル格納し、１ライン分遅延させて動きベクトル選択部１４へ出力する。
【００６０】
すなわち、本発明に係る動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、上記基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、求める動きベクトルを隣接する画素の動きベクトルに応じて特定する。
【００６１】
これにより、実際の画像の動きに適合した動きベクトルを求めることにより、動きベクトルのばらつきを解消することができ、ひいては変換画像の劣化を防止することができる。
【００６２】
なお、本発明は上述した実施の形態に限定されるものではない。基準ブロックの原点の画素と隣接画素の動きのパターンを識別する際に、差分絶対値和Ｋと領域極小値の差分を求めて比較を行う場合のみならず、それぞれのライン極小値の配列を切り出し、ライン極小値の配列全体を比較して識別しても良い。更に、ライン極小値に基づいて判断する場合のみならず、基準ブロックの原点の画素と隣接画素のそれぞれの探索範囲における差分絶対値の分布傾向に照らし合わせて、動きのパターンを識別しても良い。
【００６３】
また、本発明は、上述した実施の形態に限定されるものではなく、例えば、探索範囲５４において、水平成分（ｘｓ）に対応した垂直ラインを割り当て、当該垂直ライン毎に差分絶対値のライン極小値を求めても良い。
【００６４】
また、本発明は、例えばＰＡＬ(Phase Alternation by Line)方式において、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式を採用するテレビジョン受像機に対しても適用可能である。このフィールド周波数倍速方式を採用するテレビジョンに本発明を内蔵することにより、更なる面フリッカ妨害の抑制を期しつつ、動きベクトルのばらつきを解消することができるため、相乗的に画質を向上させることができる。
【００６５】
また、本発明は上述したインタレース走査方式における入力画像信号の内挿処理に適用される場合に限らず、例えば、ＭＰＥＧ（Moving Picture Expert Group）方式の動き補償予測によるフレーム間符号化にも適用可能である。
【００６６】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、上記基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、求める動きベクトルを隣接する画素の動きベクトルに応じて特定する。
【００６７】
これにより、実際の画像の動きに適合した動きベクトルを求めることにより、動きベクトルのばらつきを解消することができ、ひいては変換画像の劣化を防止することができる。
【図面の簡単な説明】
【図１】動きベクトルによる動き補正動作について説明するための図である。
【図２】探索範囲内に割り当てられた全探索ブロックについて求めた差分絶対値の分布傾向の一例を示した図である。
【図３】本発明を適用した動きベクトル検出方法における実際の検出手順を示したフローチャートである。
【図４】基準ブロック及び探索範囲について説明するための図である。
【図５】本発明を適用した動きベクトル検出方法において、求める動きベクトルを、隣接画素の動きベクトルに応じて特定する場合について説明するための図である。
【図６】本発明を適用した動きベクトル検出方法により特定した動きベクトルを示した図である。
【図７】本発明を適用した動きベクトル検出方法により劣化を防止した変換画像を示した図である。
【図８】本発明を適用した動きベクトル検出装置の構成例を示した図である。
【図９】ブロックマッチング法の概念について説明するための図である。
【図１０】従来型のブロックマッチング法における基準ブロック及び探索範囲について説明するための図である。
【図１１】従来型のブロックマッチング法を適用する動きベクトル検出回路の構成例を示した図である。
【図１２】従来型のブロックマッチング法の問題点について説明するための図である。
【図１３】 従来型のブロックマッチング法により求めた動きベクトルについて説明するための図である。
【符号の説明】
１ 動きベクトル検出装置、１１ 画像格納用メモリ、１２ 演算部、１３ 判定部、１４ 動きベクトル選択部、１５ 動きベクトル格納用メモリ、１６ 制御部、１７ 第１のライン遅延部、１８ 第２のライン遅延部、３０ 基準フィールド、４０ 参照フィールド、５１ 基準ブロック、５３ 探索ブロック、５４ 探索範囲
【発明の属する技術分野】
本発明は、ブロックマッチングにより動きベクトルを検出する動きベクトル検出装置及び方法に関し、特にフィールド周波数の変換、フレーム周波数の変換、プログレッシブ画像からインタレース画像への変換技術やＭＰＥＧによる圧縮技術に適用される動きベクトル検出装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、入力画像信号に内挿処理を施して、５０ＧＨｚから１００ＧＨｚへフィールド周波数の変換や、インタレース走査からプログレッシブ走査へ走査変換を行なうことにより、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
上述の内挿処理を行うためには、入力された画像信号において、現フィールドである参照フィールドと、現フィールドから１フレーム前の基準フィールドとの間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。この動きベクトルの検出は、一般に実用化されている方式として、基準フィールドを複数の基準ブロックに分割し、このブロック毎に参照フィールドにおける探索ブロックとパターンマッチングを行うブロックマッチング法が一般的に用いられている。
【０００４】
以下、ブロックマッチング法について説明する。図９に示すように、基準フィールド８０における基準ブロック１０１と、参照フィールド９０における探索ブロック１０３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック１０３の探索範囲１０４は、任意に設定される。
【０００５】
このブロックマッチング法では、基準フィールド８０における基準ブロック１０１と最も高い相関度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３の集合から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【０００６】
ここで、上記基準ブロック１０１と最も高い相関度を示す探索ブロック１０３の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和のうちから最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い相関度を示すブロックとする。
【０００７】
ここで各ブロックのサイズは、例えば図１０(a)に示すように８×４画素のサイズとし、各ブロック１０１,１０３の画素位置は、水平方向と垂直方向でそれぞれ（ｘ、ｙ）で表される。また原点の画素の座標を、（０、０）としたときに、ｘは、ＢＸ１〜ＢＸ２の範囲内に位置し、またｙは、ＢＹ１〜ＢＹ２の範囲内に位置することとなる。
【０００８】
探索範囲１０４のサイズは、例えば図１０(b)に示すように、１６×５画素のサイズとし、各画素位置は、水平方向と垂直方向で、それぞれ（ｘｓ、ｙｓ）で表される。また原点の座標を（０，０）としたときに、ｘｓは、ＭＸ１〜ＭＸ２の範囲内に位置し、ｙｓはＭＹ１〜ＭＹ２の範囲内に位置することとなる。
【０００９】
図１０(c)は、探索範囲１０４において、（ＭＸ１、ＭＹ１）の画素位置を探索する場合について示した図である。かかる場合、探索ブロック１０３の原点（０，０）が、探索範囲１０４の画素位置（ＭＸ１、ＭＹ１）に移動する。そして、基準ブロック１０１の画素に対応させて、探索ブロック１０３内の各画素位置における画素値を検出する。
【００１０】
（２１）式は、差分絶対値和Ｄ（ｘｓ、ｙｓ）を求める式であり、Ｒは参照フィールドの画素値を、Ｓは基準フィールドの画素値を示す。また（２２）式は、最小となる差分絶対値和ｍｉｎＤ（ｘｓ、ｙｓ）を求めている。（２３）式は、最小となる差分絶対値和から動きベクトルを求める式であり、Ｖｘが動きベクトルの水平成分に相当し、Ｖｙが動きベクトルの垂直成分に相当する。
【００１１】
【数１】
【数２】
【数３】
次に上述したブロックマッチング法に基づく動きベクトルを検出する動きベクトル検出回路の構成例について説明する。
【００１５】
図１１は、従来の動きベクトル検出回路６の全体構成である。この動きベクトル検出回路６は、画像格納用メモリ６１と、演算部６２と、判定部６３と、動きベクトル格納用メモリ６４と、制御部６５とを備える。
【００１６】
画像格納用メモリ６１は、例えば汎用ＤＲＡＭメモリ等で構成され、順次供給される基準フィールド８０と参照フィールド９０を所定のアドレスに格納する。
【００１７】
演算部６２は、制御部６５から基準ブロック１０１の原点の座標と、探索範囲１０４の原点の座標を受け取る。この演算部６２は、画像格納用メモリ６１に格納されている基準フィールド８０から、制御部６５から受け取った座標を原点とする基準ブロック１０１を切り出す。また、この演算部６２は、画像格納用メモリ６１に格納されている参照フィールド９０から、制御部６５から受け取った座標を原点とする探索範囲１０４内に位置する探索ブロック１０３を切り出す。更に、この演算部６２は、切り出した基準ブロック１０１と、探索ブロック１０３との差分絶対値和を計算する。そして算出した差分絶対値和を判定部６３へ送信する。演算部６２は、この操作を、探索範囲１０４内を移動する全ての探索ブロック１０３について行う。
【００１８】
判定部６３は、演算部６２において算出された差分絶対値和を順次受け取る。またこの判定部６３は、受け取った差分絶対値和の中から、最小となる差分絶対値和を与える画素を判定し、当該画素の座標（ｘｓ、ｙｓ）を特定する。また、この判定部６３は、この特定した画素の座標と、基準ブロック１０１の原点の画素との間で動きベクトルを求める。更にこの判定部６３は、求めた動きベクトルを動きベクトル格納用メモリ６４に書き込む。
【００１９】
動きベクトル格納用メモリ６４は、判定部６３から基準画素毎（ブロック単位で）に動きベクトルが書き込まれる。この動きベクトル格納用メモリ６４に格納された動きベクトルは、例えば図示しない画像シフト部により読み出され、基準画素のシフトさせる際の基準となる。
【００２０】
制御部６５は、接続された演算部６２及び判定部６３に対して、基準ブロック１０１の原点の座標と探索範囲１０４の原点の座標を指示し、フローを制御する。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述した従来のブロックマッチング法は、画面全体に表示される本来の画像の動きに関係なく、単に基準ブロックと誤差の総和が最小となる探索ブロックを最優先して動きベクトルを求めるため、変換画像の画質が劣化する場合がある。
【００２２】
図１２は、斜め線等のエッジ中央部におい画質が劣化した例を示している。これは、基準ブロックと誤差の総和が最小となる探索ブロックを最優先して動きベクトルを求めた結果、実際の画像の動きと無関係な動きベクトルが求まり、図１３に示すように動きベクトルの分布がばらついたためである。
【００２３】
このため、実際の画像の動きに適合した動きベクトルを求めることにより、動きベクトルのばらつきを解消する必要があった。
【００２４】
そこで本発明は、上述したような実情に鑑みて提案されたものであり、実際の画像の動きに適合した動きベクトルを求めることにより、変換画像の劣化を防止することができる動きベクトル検出装置及び方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明は、上述の課題を解決するために、入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算手段と、上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別する識別手段と、上記探索範囲において最小となる上記差分絶対値和と、上記基準画素の上記第１の方向の負方向に隣接する画素の動きベクトルに基づく差分絶対値和との差分絶対値を求め、比較する比較手段と、上記比較手段により求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの第１の方向成分を、上記隣接する画素の動きベクトルの第１の方向成分に合致するように特定し、上記基準画素における動きベクトルの第２の方向成分を、特定した上記第１の方向成分に対応する第２の方向のラインにおいて差分絶対値和の最小となる画素位置の第２の方向成分に特定し、上記比較手段により求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定する動きベクトル特定手段とを備えることを特徴とする。
【００２６】
また、本発明は、入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算し、上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別し、上記探索範囲において最小となる上記差分絶対値和と、上記基準画素の上記第１の方向の負方向に隣接する画素の動きベクトルに基づく差分絶対値和との差分絶対値を求め、求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの第１の方向の成分を、上記隣接する画素の動きベクトルの第１の方向の成分に合致するように特定し、上記基準画素における動きベクトルの第２の方向の成分を、特定した上記第１の方向の成分に対応する上記第１の方向と直交する第２の方向のラインにおいて差分絶対値和が最小となる画素位置の第２の方向の成分に特定し、求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定することを特徴とする。
【００２７】
本発明では、基準ブロックと探索ブロックとの間で、画素値の差分絶対値和を順次演算し、上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別し、基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの第１の方向の成分に合致するように特定する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した動きベクトル検出方法について説明する。
【００２９】
動きベクトルによる動き補正動作
本発明を適用した動きベクトル検出方法は、図１に示すように、入力された画像信号において、基準フィールド３０と、参照フィールド４０との間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。また、この動きベクトル検出方法は、ブロックマッチング法を取り入れ、基準フィールド３０を複数の基準ブロック５１に分割し、この基準ブロック５１毎に参照フィールド４０における探索ブロック５３とパターンマッチングを行う。
【００３０】
図１に示すように、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索ブロック５３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック５３の探索範囲５４は任意に設定される。
【００３１】
このブロックマッチング法では、基準フィールド３０における基準ブロック５１と最も高い相関度を示すブロックを、参照フィールド４０における探索範囲５４内を移動する探索ブロック５３から検出する。そして当該検出された探索ブロック５３と基準ブロック５１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【００３２】
ここで、上記基準ブロック５１と最も高い相関度を示す探索ブロック５３の判定は、先ず探索ブロック５３の各画素値について、基準ブロック５１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック５３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和のうちから最小のものを求める。この最小の差分絶対値和を与える探索ブロック５３を、基準ブロック５１と最も高い相関度を示すブロックとし、かかるブロックの原点の画素６３と、基準ブロック５１の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【００３３】
動きベクトルのばらつき対策
本発明を適用した動きベクトル検出方法では、上述のブロックマッチング法を利用した動きベクトル検出に加えて、更に以下のコンセプトから、動きベクトルの検出を行う。
【００３４】
図２は、探索範囲５４内に割り当てられた全探索ブロック５３について求めた差分絶対値和の分布傾向の、基準ブロック５１と探索範囲５４にエッジを含む場合における一例を示している。この図２より、差分絶対値和の高い領域は、基準ブロック５１と探索ブロック５３との画素値が著しく異なる領域である。一方、図２において、凹部を形成している差分絶対値和の低い領域は、基準ブロック５１と探索ブロック５３との画素値が近似する領域である。すなわち、画素値が近似する領域に対して動きベクトルを特定することで、高画質化、高圧縮化を実現することができる。
【００３５】
探索範囲５４は、垂直成分（ｙｓ）に対応した水平ラインが割り当てられている。各水平ラインは、それぞれ差分絶対値和の極小値を有し、これらの極小値が上述した差分絶対値和の低い領域を形成している。以下、これらの水平ライン毎の極小値をライン極小値と称する。
【００３６】
また、通常のブロックマッチング同様に探索範囲５４全体の中から特定した差分絶対値和の極小値を領域極小値と称する。すなわち各ライン極小値の中で最小となる差分絶対値和は、この領域極小値に相当する。図２において示されるように、黒丸で示した領域極小値は、他のライン極小値と比較しても大差無い。このため、この領域極小値を示す画素の代わりに、ライン極小値を示す画素について、基準ブロック５１の原点の画素との間で動きベクトルを特定しても、画質にほとんど影響が及ばないことになる。
【００３７】
すなわち、本発明を適用した動きベクトル検出方法では、かかる性質に着目し、ライン極小値を有する画素の中から本来の画像の動きに最も適合する画素を選択し、基準ブロック５１の原点の画素との間で動きベクトルを特定する。
【００３８】
動きベクトルの検出手順
本発明を適用した動きベクトル検出方法における実際の検出手順について、図３に基づいて詳細に説明する。
【００３９】
まず、ステップＳ１１において、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索範囲５４内部を移動する探索ブロック５３との間で、差分絶対値和を演算する。
【００４０】
この差分絶対値和の演算は、例えば図４に示すように、ブロックサイズを図４(a)に示すように８×４画素のサイズとし、各ブロック５１,５３の画素位置は、水平方向と垂直方向でそれぞれ（ｘ、ｙ）で表される。また原点の画素の座標を、（０、０）としたときに、水平方向の座標ｘは、図４(a)に示すＢＸ１〜ＢＸ２の範囲内に位置し、また垂直方向の座標ｙは、ＢＹ１〜ＢＹ２の範囲内に位置する。探索範囲５４のサイズは、例えば図４(b)に示すように、１６×５画素のサイズとし、探索範囲５４内の各画素位置は、水平方向と垂直方向で、それぞれ（ｘｓ、ｙｓ）で表される。また原点の座標を（０，０）としたときに、ｘｓは、図４(b)に示すＭＸ１〜ＭＸ２の範囲内に位置し、ｙｓはＭＹ１〜ＭＹ２の範囲内に位置する。この探索範囲５４内の座標（ｘｓ、ｙｓ）の差分絶対値和Ｄ（ｘｓ、ｙｓ）は以下の（１１）式により表される。ここでＲは参照フィールドの画素値を、Ｓは基準フィールドの画素値を示す。
【００４１】
【数４】
このステップＳ１１において、探索範囲５４内部を移動する全ての探索ブロック５３につき差分絶対値和を演算した後、ステップＳ１２に移行する。
【００４３】
ステップＳ１２では、算出した差分絶対値和の中から先ず領域極小値を選び出し、当該領域極小値を示す画素の座標を特定する。
【００４４】
次にステップＳ１３へ移行し、算出した差分絶対値和の中から、水平ライン毎にライン極小値を選び出し、当該ライン極小値を示す画素の座標を特定する。
【００４５】
次にステップＳ１４へ移行し、基準ブロック５１の原点の画素から垂直負方向に隣接する基準ブロックの原点の画素（以下、この画素を隣接画素と称する）に基づいて本来の画像の動きを識別するため、動きベクトルに関する情報を取得する。図４(c)に示す基準ブロック５１の各画素における動きベクトルは上段から順次求められるところ、この隣接画素は現在ブロックマッチングを行なっている基準ブロック原点の画素７０よりも先に動きベクトルが求められるため、本来の画像の動きを識別するためのパラメータとなりうる。すなわち、この隣接画素の動きベクトル、及び当該動きベクトルに基づく差分絶対値和を、隣接画素情報として取得することにより、本来の画像の動きを識別することができる。ちなみに、この隣接画素の動きベクトルに基づく差分絶対値和は、隣接画素と、及び隣接画素から動きベクトル分ずらした画素６９における参照フィールド４０における画素６９とを基準として求められる差分絶対値和である。以下、この差分絶対値和を、差分絶対値和Ｋと称する。
【００４６】
次にステップＳ１５に移行し、先ず差分絶対値和Ｋと領域極小値との差分絶対値を求める。基準ブロックの原点の画素の動きベクトルを、隣接画素の動きベクトルに合わせることにより、本来の画像の動きに適合させるためには、基準ブロックの原点の画素と隣接画素の動きのパターンが類似している必要があり、このためには、両者のライン極小値の配列傾向（差分絶対値和の分布傾向）が類似している必要がある。このライン極小値の配列傾向が類似しているか否か判別するために、差分絶対値和Ｋと領域極小値の差分絶対値を求めて比較を行う。
【００４７】
このステップＳ１５において、求めた差分絶対値が所定の閾値より大きい場合には、隣接画素と、基準ブロックの原点の画素におけるライン極小値の配列傾向が異なることを示唆しており、かかる場合にはステップＳ１６へ移行する。また、求めた差分絶対値が所定の閾値より小さい場合には、隣接画素と、基準ブロックの原点の画素におけるライン極小値の配列傾向が類似していることを示唆しており、かかる場合にはステップＳ１７に移行する。なお、この所定の閾値は、動きベクトルのばらつき具合を考慮して任意に設定される。
【００４８】
ステップＳ１６に移行した場合には、隣接画素の動きベクトルに合わせても本来の画像の動きに適合させることができないため、通常のブロックマッチング法と同様に、基準ブロック５１と最も高い相関度を示す探索ブロック５３により動きベクトルを求める。すなわち、領域極小値を有する画素と、基準ブロック５１の原点の画素との間で求める動きベクトルを特定する。
【００４９】
ステップＳ１７に移行した場合に、求める動きベクトルを隣接画素の動きベクトルに合わせる。求める動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘ、Ｖｙ）とし、また隣接画素の動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘｕ、Ｖｙｕ）としたときに、Ｖｙについては、Ｖｙ＝Ｖｙｕとなるように設定する。そして、原点の座標から垂直方向にＶｙだけ移動させた水平ライン上においてライン極小値を有する画素へ動くように動きベクトルを合わせる。図５に示す例において、Ｖｙｕ＝＋１である場合には、原点の座標からＶｙだけ移動させた水平ラインは、ｙｓ＝＋１の水平ラインである。この水平ラインにおけるライン極小値を有する画素の水平成分は、ｘｓ＝−２である。従って、動きベクトルは、水平成分Ｖｘが−２であり、また垂直成分Ｖｙが＋１として特定されることとなる。
【００５０】
すなわち、本発明を適用した動きベクトル検出方法では、求める動きベクトルの垂直成分を隣接画素の動きベクトルに合致させ、水平成分を、特定した垂直成分に対応する水平ライン上においてライン極小値を有する画素に応じて特定する。これにより、図６に示すように、本来の画像の動きに適合させることができるため、動きベクトルのばらつきを抑えることができ、ひいては，図７に示すように、変換画像の劣化を防止することができる。
【００５１】
次に、本発明に係る動きベクトル検出方法を実施するための動きベクトル検出装置について説明する。
【００５２】
動きベクトル検出装置の構成例
図８は、上述の動きベクトル検出方法を用いる動きベクトル検出装置１の構成図を示している。この動きベクトル検出装置１は、画像格納用メモリ１１と、演算部１２と、判定部１３と、動きベクトル選択部１４と、動きベクトル格納用メモリ１５と、制御部１６と、第１のライン遅延部１７と、第２のライン遅延部１８とを備える。
【００５３】
画像格納用メモリ１１は、例えば汎用ＤＲＡＭメモリ等で構成され、順次供給される基準フィールド３０と参照フィールド４０を所定のアドレスに格納する。
【００５４】
演算部１２は、制御部１６から基準ブロック５１の原点の座標と、探索範囲５４の原点の座標を受け取る。この演算部１２は、画像格納用メモリ１１に格納されている基準フィールド３０から、制御部１６から受け取った座標を原点とする基準ブロック５１を切り出す。またこの演算部１２は、画像格納用メモリ１１に格納されている参照フィールド４０から、制御部１６から受け取った座標を原点とする探索範囲５４内に位置する探索ブロック５３を切り出す。更に、この演算部６２は、切り出した基準ブロック５１と、探索ブロック５３との差分絶対値の総和を計算する。そして算出した差分絶対値和を判定部１３へ送信する。演算部１２は、この操作を探索範囲５４内を移動する全ての探索ブロック５３について行う。
【００５５】
判定部１３は、制御部１６からの制御に基づき、演算部１２において算出された差分絶対値和を順次受け取る。またこの判定部１３は、受け取った差分絶対値和の中から、領域極小値、ライン極小値を与える画素を判定し、当該画素の座標を特定する。また、この判定部１３は、領域極小値、ライン極小値、並びにこれらの極小値を与える画素の座標を動きベクトル選択部１４へ送信する。
【００５６】
動きベクトル選択部１４は、判定部１３から、領域極小値、ライン極小値、並びにこれらの極小値を与える画素の座標を受信する。また、動きベクトル選択部１４は、第１のライン遅延部１７或いは第２のライン遅延部から、隣接画素の動きベクトル及び当該動きベクトルに基づく差分絶対値和Ｋを含む隣接画素情報を取り込む。動きベクトル選択部１４は、隣接画素と、基準ブロックの原点の画素との間で、それぞれのライン極小値の配列傾向を判断した上で、ステップＳ１６若しくはステップＳ１７に示す方法により動きベクトルを特定する。更にこの動きベクトル選択部１４は、特定した動きベクトルを動きベクトル格納用メモリ１５に書き込む。
【００５７】
動きベクトル格納用メモリ１５は、動きベクトル選択部１４において特定された動きベクトルが書き込まれる。この動きベクトル格納用メモリ１５に格納された動きベクトルは、例えば図示しない画像シフト部により読み出され、基準画素のシフトさせる際の基準となる。
【００５８】
制御部１６は、接続された演算部１２及び判定部１３に対して、基準ブロック５１の原点の座標と探索範囲５４の原点の座標を指示し、また、動きベクトル選択装置へ隣接画素情報を送信し、更にフロー全体を制御する。
【００５９】
第１のライン遅延部１７は、判定部１３から出力される各種情報を格納し、１ライン分遅延させて動きベクトル選択部１４へ出力する。第２のライン遅延部１８も同様に、隣接画素の動きベクトル格納し、１ライン分遅延させて動きベクトル選択部１４へ出力する。
【００６０】
すなわち、本発明に係る動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、上記基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、求める動きベクトルを隣接する画素の動きベクトルに応じて特定する。
【００６１】
これにより、実際の画像の動きに適合した動きベクトルを求めることにより、動きベクトルのばらつきを解消することができ、ひいては変換画像の劣化を防止することができる。
【００６２】
なお、本発明は上述した実施の形態に限定されるものではない。基準ブロックの原点の画素と隣接画素の動きのパターンを識別する際に、差分絶対値和Ｋと領域極小値の差分を求めて比較を行う場合のみならず、それぞれのライン極小値の配列を切り出し、ライン極小値の配列全体を比較して識別しても良い。更に、ライン極小値に基づいて判断する場合のみならず、基準ブロックの原点の画素と隣接画素のそれぞれの探索範囲における差分絶対値の分布傾向に照らし合わせて、動きのパターンを識別しても良い。
【００６３】
また、本発明は、上述した実施の形態に限定されるものではなく、例えば、探索範囲５４において、水平成分（ｘｓ）に対応した垂直ラインを割り当て、当該垂直ライン毎に差分絶対値のライン極小値を求めても良い。
【００６４】
また、本発明は、例えばＰＡＬ(Phase Alternation by Line)方式において、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式を採用するテレビジョン受像機に対しても適用可能である。このフィールド周波数倍速方式を採用するテレビジョンに本発明を内蔵することにより、更なる面フリッカ妨害の抑制を期しつつ、動きベクトルのばらつきを解消することができるため、相乗的に画質を向上させることができる。
【００６５】
また、本発明は上述したインタレース走査方式における入力画像信号の内挿処理に適用される場合に限らず、例えば、ＭＰＥＧ（Moving Picture Expert Group）方式の動き補償予測によるフレーム間符号化にも適用可能である。
【００６６】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、上記基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、求める動きベクトルを隣接する画素の動きベクトルに応じて特定する。
【００６７】
これにより、実際の画像の動きに適合した動きベクトルを求めることにより、動きベクトルのばらつきを解消することができ、ひいては変換画像の劣化を防止することができる。
【図面の簡単な説明】
【図１】動きベクトルによる動き補正動作について説明するための図である。
【図２】探索範囲内に割り当てられた全探索ブロックについて求めた差分絶対値の分布傾向の一例を示した図である。
【図３】本発明を適用した動きベクトル検出方法における実際の検出手順を示したフローチャートである。
【図４】基準ブロック及び探索範囲について説明するための図である。
【図５】本発明を適用した動きベクトル検出方法において、求める動きベクトルを、隣接画素の動きベクトルに応じて特定する場合について説明するための図である。
【図６】本発明を適用した動きベクトル検出方法により特定した動きベクトルを示した図である。
【図７】本発明を適用した動きベクトル検出方法により劣化を防止した変換画像を示した図である。
【図８】本発明を適用した動きベクトル検出装置の構成例を示した図である。
【図９】ブロックマッチング法の概念について説明するための図である。
【図１０】従来型のブロックマッチング法における基準ブロック及び探索範囲について説明するための図である。
【図１１】従来型のブロックマッチング法を適用する動きベクトル検出回路の構成例を示した図である。
【図１２】従来型のブロックマッチング法の問題点について説明するための図である。
【図１３】 従来型のブロックマッチング法により求めた動きベクトルについて説明するための図である。
【符号の説明】
１ 動きベクトル検出装置、１１ 画像格納用メモリ、１２ 演算部、１３ 判定部、１４ 動きベクトル選択部、１５ 動きベクトル格納用メモリ、１６ 制御部、１７ 第１のライン遅延部、１８ 第２のライン遅延部、３０ 基準フィールド、４０ 参照フィールド、５１ 基準ブロック、５３ 探索ブロック、５４ 探索範囲
Claims (2)
- 入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、
基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算手段と、
上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別する識別手段と、
上記探索範囲において最小となる上記差分絶対値和と、上記基準画素の上記第１の方向の負方向に隣接する画素の動きベクトルに基づく差分絶対値和との差分絶対値を求め、比較する比較手段と、
上記比較手段により求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの第１の方向成分を、上記隣接する画素の動きベクトルの第１の方向成分に合致するように特定し、上記基準画素における動きベクトルの第２の方向成分を、特定した上記第１の方向成分に対応する第２の方向のラインにおいて差分絶対値和の最小となる画素位置の第２の方向成分に特定し、上記比較手段により求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定する動きベクトル特定手段と
を備えることを特徴とする動きベクトル検出装置。 - 入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、
基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算し、
上記探索範囲において最小となる差分絶対値和と画素位置と、上記探索範囲の互いに直交する２つの方向のうちの一方の第１の方向の成分に対応する上記第１の方向と直交する第２の方向のライン毎に最小となる差分絶対値和と画素位置とを識別し、
上記探索範囲において最小となる上記差分絶対値和と、上記基準画素の上記第１の方向の負方向に隣接する画素の動きベクトルに基づく差分絶対値和との差分絶対値を求め、
求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの第１の方向の成分を、上記隣接する画素の動きベクトルの第１の方向の成分に合致するように特定し、上記基準画素における動きベクトルの第２の方向の成分を、特定した上記第１の方向の成分に対応する上記第１の方向と直交する第２の方向のラインにおいて差分絶対値和が最小となる画素位置の第２の方向の成分に特定し、求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定する
ことを特徴とする動きベクトル検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002112632A JP4304912B2 (ja) | 2002-04-15 | 2002-04-15 | 動きベクトル検出装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002112632A JP4304912B2 (ja) | 2002-04-15 | 2002-04-15 | 動きベクトル検出装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003309819A JP2003309819A (ja) | 2003-10-31 |
| JP4304912B2 true JP4304912B2 (ja) | 2009-07-29 |
Family
ID=29395075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002112632A Expired - Fee Related JP4304912B2 (ja) | 2002-04-15 | 2002-04-15 | 動きベクトル検出装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4304912B2 (ja) |
-
2002
- 2002-04-15 JP JP2002112632A patent/JP4304912B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003309819A (ja) | 2003-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4563603B2 (ja) | 両方向動きベクトルを用いたフォーマット変換装置及びその方法 | |
| US5959681A (en) | Motion picture detecting method | |
| JP4472986B2 (ja) | 動き推定および／または補償 | |
| JP3287864B2 (ja) | 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置 | |
| KR100282397B1 (ko) | 디지탈 영상 데이터의 디인터레이싱 장치 | |
| JPH08205177A (ja) | 動きベクトル検知装置 | |
| WO2009034486A2 (en) | Method and apparatus for line-based motion estimation in video image data | |
| JP2000134585A (ja) | 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 | |
| US7365801B2 (en) | Apparatus and method for processing signal | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| US20100150462A1 (en) | Image processing apparatus, method, and program | |
| JPWO2006025396A1 (ja) | 画像処理装置および画像処理プログラム | |
| JP2003339029A (ja) | 動きベクトル補正回路及び方法 | |
| US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
| JP2003143484A (ja) | 画像合成装置 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4304912B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP4269571B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP4269573B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| JP3871360B2 (ja) | ビデオ信号処理装置及び方法 | |
| KR100961456B1 (ko) | 프레임 차이 기반의 적응형 확장 블록을 이용한 움직임추정 방법 | |
| JP4304911B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
| JPH0614316A (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |