JP5520687B2 - 動き推定装置及びプログラム - Google Patents

Description

本発明は、動画像の時間方向及び／又は空間方向のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動きベクトルを高精度に検出する動き推定装置及びプログラムに関する。

近年、撮像装置及び表示装置の高精細化が進んでおり、超解像（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。

しかしながら、動画像を表示する表示装置の画面が高精細化されるほど、同じ画角で撮影した場合の動領域における１画素あたりの動きボケ量が大きくなる。

例えば、図１５（ａ）に示すように、ハイビジョン（ＨＶ：Hi-Vision）画面は水平１９２０画素×垂直１０８０ライン、時間６０フレーム／秒であり、図１５（ｂ）に示すように、スーパーハイビジョン（ＳＨＶ：Super Hi-Vision）画面は、水平７６８０画素×垂直４３２０ライン、時間６０フレーム／秒である。ハイビジョン画面用の動画像と同じＦＯＶ (ＦＯＶ： Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)で撮像した動画像をスーパーハイビジョン画面で見ると、水平・垂直解像度ともに４倍となるため、動きのある被写体の動き量は４倍となり、動領域における１画素あたりの動きボケ量も４倍となる。特に、画面全体が大きく変化するスポーツシーン等の高速動きシーンでは、視覚的なボケ感は顕著となる。

尚、或る動画像の１つの画面に対して異なる解像度の画像データを階層的に複数設定して、或る解像度の画像データについて動き量のための評価値を求めるとともに、この解像度とは異なる画像データについて動き量のための評価値を求め、各評価値を加算して得られる値から最終的な動き量を決定する技法が知られている（例えば、特許文献２参照）。

また、或る動画像の１つの画面に対して空間方向に複数階のウェーブレット変換を施して、高周波成分の領域を多く含む階数の優先度を低くする輪郭情報を抽出するとともに、動画像の１つの画面をブロック分割し、輪郭情報で示されるブロックにおけるアクティビティ（画像の局所的性質）が小さいほど優先度を高くなるように、輪郭情報で示されるブロックに同一の優先度を設定して、優先度が低いブロックから順に切り捨て処理を行って符号化データ量を制御する技法が知られている（例えば、特許文献３参照）。

特開２００９−１０５４９０号公報 特許第３３３４２７１号 特許第４１９５９７８号

前述したように、ＳＨＶ画面の映像フォーマットは、水平７６８０画素、垂直４３２０ライン、時間６０フレーム／秒であり、ＨＶ画面の映像フォーマットと比較して、水平及び垂直標本化周波数が、時間標本化周波数に対して相対的に増大している。

従って、ＳＨＶ画面の動領域は、同じ画角で撮像された動画像で比較した場合、ＨＶ画面と比較して大きな動き量（フレーム単位の動きを示す画素数：画素／フレーム）を示し、動領域ではフレーム間の相関が低くなり時間方向の高周波領域のパワーが高くなることが想定されるとともに、動領域のボケ量が大きくなり、空間方向の高周波領域のパワーが低くなることが想定される。符号化処理や超解像処理における複数フレーム間での動き量を推定するには、これらの想定に基づく処理が有効となる。尚、ＨＤＴＶ標準の動画像の動き量は、一般的に数画素／フレーム〜数十画素／フレーム程度であることが知られている。

一般に、空間高周波成分の多い絵柄は、小さいブロックサイズ（例えば、２×２画素）を用いた動き推定装置が適している。一方、空間高周波成分が少ない絵柄は、小さいブロックサイズでは誤った動き推定装置となる可能性が高くなるため、大きなブロックサイズ（例えば、１６×１６画素）を用いた動き推定装置が有効である。更に、大きなブロックサイズを用いた動き推定装置では、大きな動きによるボケの影響も考えられるため、大きな動き探索範囲が要求される。

一方、このような符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献２の技法を適用しても、時空間周波領域のパワーに基づいて階層化するものではなく予め規定した階層数で処理を行うために、処理負担が大きくなり、且つ時間方向のボケの影響が反映された動き量を検出することができない。

また、このような符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献３の技法を適用しても、高周波成分の領域を多く含む階数に依存して符号化データ量を取捨選択するためのブロックの優先度を決定することができるが、時空間周波領域のパワーに基づいて階層化するものではないので、動きベクトルを高精度化させることができない。

したがって、大きな動き量は、動領域の動きぼけ量が増し、空間高周波領域のパワー割合を低下させる。大きな動領域面積は、動領域の時間変動面積を増し、時間高周波領域のパワー割合を増加させる。

一般に動き量が大きく、動きぼけ量が大きな画像の動き推定は、大きなブロックサイズと探索範囲が適している。ＳＨＶ画面の動き推定では、大きな動き量から小さな動き量まで、幅広い動き量に対応する動き推定方法が望まれる。

そこで、本発明の目的は、動画像の時間方向及び／又は空間方向のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動き推定情報を高精度に求める動き推定装置及びプログラムを提供することにある。

前述のように、動き量と時空間方向の高周波領域のパワーとの間には一定の相関を持つことが多いため、動画像の時間及び空間スペクトルのパワー分析を行って、動き推定装置における適切なブロックサイズを推定するとともに、推定したブロックサイズを空間的に階層化して動きベクトルを検出することが有効である。

動画像の時空間方向のスペクトルを考察すると、動領域における空間方向の高周波領域のパワーは、動き量の面積が大きくなるにつれて減少する。即ち、大面積の動オブジェクトが大きな動き量を持つ動画像は、空間方向の高周波領域のパワーが小さくなるが、時間方向の高周波領域のパワーは大きくなる傾向がある。これは、画面中で大きな面積のオブジェクトが大きく動く場合は、時間方向の変動が大きくなることに起因する。

そこで、本発明の動き推定装置及びプログラムは、動画像における動領域の面積及び動き量の推定のために、動画像の時間方向及び／又は空間方向のスペクトルパワー分析を行って、画像内の動領域では時間周波数が大きく変動し、動き量が大きい方向に画像は大きく動きぼけする特徴を利用し、時空間周波数帯域のパワーを解析することにより、画像の持つ大凡の動き量と動き方向を推定する。この大凡の動き量と動き方向の推定結果から、画像が持つ周波数帯域ごとのパワーに応じて（階層型動き推定の階数を決定して）、帯域毎にブロックサイズと動き探索範囲の水平方向および垂直方向の大きさを決定する。そして、この階層毎のブロックサイズと動き探索範囲を用いて、階層的動き推定を行う。これにより、大凡の動き量と動き方向の推定により、ブロックサイズと動き探索範囲の水平、垂直方向の大きさが階層的に異なることとなり（等価的に様々なサイズのブロックサイズ及び探索範囲を用いて動き推定を行うこととなり）、従来法よりも高確度に動き推定を行うことが可能となり、さらに、動き方向を水平、垂直だけでなく、斜め方向をも考慮に入れてブロックサイズ及び探索範囲を決定して動き推定を行うことにより、動きぼけ量や方向に応じた動き推定を従来法よりもさらに高確度に行うことが可能となる。

即ち、本発明の動き推定装置は、動画像の動き推定を行う動き推定装置であって、複数フレームのフレーム画像列について時間方向の周波数帯域毎のパワーを算出する算出時間方向周波数分解部と、前記時間方向の周波数帯域別のパワー値と、予め定めた第１閾値とを比較し、前記第１閾値を上回るパワーとなる階数を空間周波数の空間分解階数値として決定する空間分解階数決定部と、前記空間分解階数値に基づいて、動き推定対象のフレームに対してオクターブ分解を行い、前記空間分解階数値に対応する階数毎に、水平、垂直、斜め方向の周波数帯域毎のパワー値を算出する空間方向周波数分解部と、前記空間分解階数値に対応する階数毎に算出した水平、垂直、斜め方向の周波数帯域毎のパワー値と、予め定めた第２閾値とを比較し、当該水平、垂直、斜め方向の周波数帯域毎のパワー値の全てが前記第２閾値を下回るパワーとなる階数を動き検出開始階数として決定し、前記動き検出開始階数の各階層について該水平、垂直、斜め方向の周波数帯域毎のパワー値に応じたブロックサイズ及び動き探索範囲を決定する画像解析部と、前記動き検出開始階数の階数毎に決定されたブロックサイズ及び動き探索範囲に基づいて、前記動き推定対象のフレームに対して階層型の動き推定を行う動き推定部と、を具えることを特徴とする。

また、本発明の動き推定装置において、前記画像解析部は、前記動き検出開始階数における各階層の水平、垂直、斜め方向の周波数帯域毎のパワーの割合を算出して、前記動き検出開始階数における階層毎の基準の動き検出のブロックサイズ及び動き探索範囲に対する倍数を算出し、該倍数を前記基準の動き検出のブロックサイズ及び動き探索範囲に乗じて、当該水平、垂直、斜め方向の周波数帯域毎のパワー値に応じたブロックサイズ及び動き探索範囲を決定する手段を有することを特徴とする。

また、本発明の動き推定装置において、前記動き推定部は、階層型の動き推定を行う際に、階層間で同位置にブロックがない場合に、階層間のブロックの面積割合に応じた加重平均を行って、最終的な動きベクトルを決定する手段を有することを特徴とする。

さらに、本発明は、動画像の動き推定を行う動き推定装置として構成するコンピュータに、複数フレームのフレーム画像列について時間方向の周波数帯域毎のパワーを算出するステップと、前記時間方向の周波数帯域別のパワー値と、予め定めた第１閾値とを比較し、前記第１閾値を上回るパワーとなる階数を空間周波数の空間分解階数値として決定するステップと、前記空間分解階数値に基づいて、動き推定対象のフレームに対してオクターブ分解を行い、前記空間分解階数値に対応する階数毎に、水平、垂直、斜め方向の周波数帯域毎のパワー値を算出するステップと、前記空間分解階数値に対応する階数毎に算出した水平、垂直、斜め方向の周波数帯域毎のパワー値と、予め定めた第２閾値とを比較し、当該水平、垂直、斜め方向の周波数帯域毎のパワー値の全てが前記第２閾値を下回るパワーとなる階数を動き検出開始階数として決定し、前記動き検出開始階数の各階層について該水平、垂直、斜め方向の周波数帯域毎のパワー値に応じたブロックサイズ及び動き探索範囲を決定するステップと、前記動き検出開始階数の階数毎に決定されたブロックサイズ及び動き探索範囲に基づいて、前記動き推定対象のフレームに対して階層型の動き推定を行うステップと、を実行させるためのプログラムとして構成される。

本発明によれば、動画像における動き推定にあたって、適切なブロックサイズを推定して動き推定装置を開始することができるだけでなく、時空間方向のスペクトルパワーから画像が持つ大凡の動き量、動き方向（水平・垂直・斜めの動き方向）及び動領域を帯域毎に推定してブロックサイズ及び動き探索範囲の大きさを決定し、帯域毎にブロックサイズ及び動き探索範囲の大きさが異なる階層的に動き推定を行うことで、雑音に強く、且つ高精度の動き推定装置の計算量を削減することができるとともに、動きぼけ量や方向に応じた高確度動き推定を行うことが可能となる。

本発明による一実施例の動き推定装置の概略図である。 本発明による一実施例の動き推定装置における時間方向周波数分解部の概略図である。 本発明による一実施例の動き推定装置における空間分解階数決定部の概略図である。 本発明による一実施例の動き推定装置における空間方向周波数分解部の概略図である。 本発明による一実施例の動き推定装置における画像解析部の概略図である。 本発明による一実施例の動き推定装置における動き推定部の概略図である。 本発明による一実施例の動き推定装置の動作を示す動作フロー図である。 本発明による一実施例の動き推定装置におけるフレーム画像列を示す図である。 本発明による一実施例の動き推定装置における時間方向周波数分解部の動作説明図である。 （ａ），（ｂ）本発明による一実施例の動き推定装置に係る２次元２階離散ウェーブレット分解の説明図である。 （ａ），（ｂ），（ｃ），（ｄ）本発明による一実施例の動き推定装置における動き検出部の動作説明図である。 （ａ），（ｂ），（ｃ），（ｄ）本発明による一実施例の動き推定装置における動き検出部に係るブロックサイズの説明図である。 本発明による一実施例の動き推定装置に係る２次関数近似による小数画素位置のブロックマッチング法の説明図である。 本発明による一実施例の動き推定装置における動き検出部に係る面積割合の荷重平均で動きベクトルを算出する説明図である。 （ａ），（ｂ）動領域における１画素あたりの動きボケ量が映像フォーマットに従って変化する様子を示す図である。

以下、本発明による一実施例の動き推定装置について説明する。

一実施例の動き推定装置１として、時間方向及び空間方向の周波数解析にウェーブレット変換によるオクターブ分解処理を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はＦＦＴ（Fast Fourier transform）を用いることができるが、画像を低解像度化するにしたがってくり返し同じ処理を行って、時間方向及び空間方向の周波数解析を行う点を考慮すれば、ウェーブレット変換によるオクターブ分解処理を用いることが特に処理効率が向上する点で有利である。

[装置構成]
図１に、本発明による一実施例の動き推定装置１を示す。本実施例の動き推定装置１は、時間方向周波数分解部１１と、空間分解階数決定部１２と、空間方向周波数分解部１３と、画像解析部１４と、動き推定部１５とを備える。尚、各構成要素で処理するのに必要な画像データは、動き推定装置１が備える記憶部（図示せず）に適宜格納して読み出すように構成することができる。

時間方向周波数分解部１１は、動きベクトルの検出を行う基準フレームＦ（ｔ_Ｃ）及び動き探索に用いる参照フレームＦ（ｔ_Ｒ）を含む、時刻ｔ＝ｔ_０・・・ｔ_ｍにおける複数フレームのフレーム画像列Ｆ（ｔ_０），・・・，Ｆ（ｔ_Ｃ），・・・，Ｆ（ｔ_Ｒ），・・・，Ｆ（ｔ_ｍ）を入力し、基準フレームＦ（ｔ_Ｃ）における全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、この複数フレームの全画素に対するパワー値で正規化し、全画素におけるｎ_ｔ階の各時間方向の周波数帯域別のパワー値Ｐ_Ｔ（ｎ_ｔ）を算出して空間分解階数決定部１２に送出する。

例えば、図２に示すように、時間方向周波数分解部１１は、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）を含む、時刻ｔ＝ｔ_０・・・ｔ_ｍにおけるフレーム画像列Ｆ（ｔ_０），・・・，Ｆ（ｔ_Ｃ），・・・，Ｆ（ｔ_Ｒ），・・・，Ｆ（ｔ_ｍ）を入力し、基準フレームＦ（ｔ_Ｃ）の全画素について時間方向に予め規定したＮｍａｘ階（例えば、４階）の離散ウェーブレット分解を行う時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部１１１と、基準フレームＦ（ｔ_Ｃ）の全画素における時間方向の周波数帯域毎のパワーを算出し、この複数フレームの全画素に対するパワー値で正規化し、算出した全画素におけるｎ_ｔ階の各時間方向の周波数帯域別のパワー値Ｐ_Ｔ（ｎ_ｔ）を算出して空間分解階数決定部１２に送出する時間方向周波数帯域別パワー算出部１１２から構成することができる。

空間分解階数決定部１２は、時間方向周波数分解部１１によって算出したｎ_ｔ階の各時間方向の周波数帯域別のパワー値Ｐ_Ｔ（ｎ_ｔ）と、時間方向の高周波領域のパワーの割合が大きいほど動領域面積が大きく、且つ動き量が大きいとして判断するための予め定めた閾値Ｔｈ_ｔとを比較し、閾値Ｔｈ_ｔを上回るパワーとなる階数（尚、パワーの割合は階数によって区分される）を、時間方向の高周波領域のパワーの割合に応じた空間周波数の分解階数Ｎｓ（以下、「空間分解階数値」とも称する）として決定し、決定した空間分解階数値Ｎｓの情報を空間方向周波数分解部１３に送出する。時間方向の周波数帯域分割した階数ｎ_ｔの階層が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断することができる。

例えば、図３に示すように、空間分解階数決定部１２は、時間方向周波数分解部１１によって算出したｎ_ｔ階の各時間方向の周波数帯域別のパワー値Ｐ_Ｔ（ｎ_ｔ）と閾値Ｔｈ_ｔとを入力して比較する比較部１２１と、比較部１２１の比較によって得られる閾値Ｔｈ_ｔを上回るパワーとなる階数を、時間方向の高周波領域のパワーの割合に応じた空間分解階数値Ｎｓとして決定し、決定した空間分解階数値Ｎｓの情報を空間方向周波数分解部１３に送出する空間分解階数値決定部１２２から構成することができる。

空間方向周波数分解部１３は、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）を入力し、空間分解階数決定部１２によって決定した空間分解階数値Ｎｓに基づいて、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の各々の全画素に対して空間Ｎｓ階離散ウェーブレット分解を行い、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の各々における空間分解階数値Ｎｓに対応するｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎に平均して正規化したパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）を算出し、画像解析部１４に送出する。

尚、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の双方に対して空間Ｎｓ階離散ウェーブレット分解を実行することは、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型動き推定を行うことができる点で有利であり、特に、動き推定装置を階層的に行うための分解能の決定のためには、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）のうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の双方について空間Ｎｓ階離散ウェーブレット分解を行う例を説明する。

例えば、図４に示すように、空間方向周波数分解部１３は、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）を入力し、空間分解階数決定部１２によって決定した空間分解階数値Ｎｓに基づいて、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の各々の全画素に対して空間Ｎｓ階離散ウェーブレット分解を行う空間方向２次元Ｎｓ階離散ウェーブレット分解処理部１３１と、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の各々における空間分解階数値Ｎｓに対応するｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎に平均して正規化したパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）を算出して画像解析部１４に送出する水平・垂直・斜め方向周波数帯域別パワー算出部１３２から構成することができる。

画像解析部１４は、空間方向周波数分解部１３によって算出したｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）と、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断するための予め定めた閾値Ｔｈ_ｓとを入力して比較し、水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）の全てが閾値Ｔｈ_ｓを下回るパワーとなる階数ｎ_ｓ（尚、パワーの割合は階数によって区分される）を、動き検出を開始する階数（以下、「動き検出開始階数」と称する）として決定し、動き検出開始階数ｎ_ｓにおける各ｎ_ｓ階における水平、垂直、斜め方向の周波数帯域毎のパワーの割合Ｐ_ＨＲ（ｎ_ｓ），Ｐ_ＶＲ（ｎ_ｓ），Ｐ_ＤＲ（ｎ_ｓ）を算出して、動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ及び動き探索範囲の倍数α，βを算出し、倍数α，βによって動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ及び動き探索範囲を決定し、それぞれブロックサイズ情報及び動き探索範囲情報として動き検出部１５に送出する。動き検出開始階数ｎ_ｓの階層が小さいほど、動領域面積が大きく、且つ動き量が大きいと判断することができる。

例えば、図５に示すように、画像解析部１４は、空間方向周波数分解部１３によって算出したｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）と、予め定めた閾値Ｔｈ_ｓとを入力して比較する比較部１４１と、比較部１４１の比較によって水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）の全てが閾値Ｔｈ_ｓを下回るパワーとなる動き検出開始階数ｎ_ｓを決定し、動き検出開始階数ｎ_ｓにおける各ｎ_ｓ階における水平、垂直、斜め方向の周波数帯域毎のパワーの割合Ｐ_ＨＲ（ｎ_ｓ），Ｐ_ＶＲ（ｎ_ｓ），Ｐ_ＤＲ（ｎ_ｓ）を算出する水平・垂直・斜め方向パワー割合算出部１４２と、動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ及び動き探索範囲の倍数α，βを算出する水平・垂直方向倍数算出部１４３と、倍数α，βによって動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ及び動き探索範囲を決定し、それぞれブロックサイズ情報及び動き探索範囲情報として動き検出部１５に送出するブロックサイズ・動き探索範囲決定部１４４として構成することができる。

動き検出開始階数ｎ_ｓにおける水平、垂直、斜め方向の周波数帯域毎のパワーの割合Ｐ_ＨＲ（ｎ_ｓ），Ｐ_ＶＲ（ｎ_ｓ），Ｐ_ＤＲ（ｎ_ｓ）は、以下の式から得られる。

水平方向パワーの割合：
Ｐ_ＨＲ（ｎ_ｓ）＝Ｐ_Ｈ（ｎ_ｓ）／（Ｐ_Ｈ（ｎ_ｓ）＋Ｐ_Ｖ（ｎ_ｓ）＋Ｐ_Ｄ（ｎ_ｓ））
垂直方向パワーの割合：
Ｐ_ＶＲ（ｎ_ｓ）＝Ｐ_Ｖ（ｎ_ｓ）／（Ｐ_Ｈ（ｎ_ｓ）＋Ｐ_Ｖ（ｎ_ｓ）＋Ｐ_Ｄ（ｎ_ｓ））
斜め方向パワーの割合：
Ｐ_ＤＲ（ｎ_ｓ）＝Ｐ_Ｄ（ｎ_ｓ）／（Ｐ_Ｈ（ｎ_ｓ）＋Ｐ_Ｖ（ｎ_ｓ）＋Ｐ_Ｄ（ｎ_ｓ））

動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ及び動き探索範囲の倍数α，βは、以下の式から得られる。尚、ａは適宜設定可能な係数であるが、等分配するにはａ＝１／２とすることができる。

水平方向の倍数：
α＝ａ×（Ｐ_ＶＲ（ｎ_ｓ）＋Ｐ_ＤＲ（ｎ_ｓ））
／（Ｐ_ＨＲ（ｎ_ｓ）＋Ｐ_ＶＲ（ｎ_ｓ）＋Ｐ_ＤＲ（ｎ_ｓ））
垂直方向の倍数：
β＝（１−ａ）×（Ｐ_ＨＲ（ｎ_ｓ）＋Ｐ_ＤＲ（ｎ_ｓ））
／（Ｐ_ＨＲ（ｎ_ｓ）＋Ｐ_ＶＲ（ｎ_ｓ）＋Ｐ_ＤＲ（ｎ_ｓ））

従って、倍数α，βは、斜め方向パワーの割合Ｐ_ＤＲ（ｎ_ｓ）を考慮して決定されるので、後述する高確度な動き推定に寄与することになる。

動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ情報及び動き探索範囲情報は、以下の式から得られる。動き検出開始階数ｎ_ｓにおける予め定めた基準のブロックサイズをＢ_Ｘ（ｎ_ｓ）画素、垂直Ｂ_Ｙ（ｎ_ｓ）ラインとし、動き検出開始階数ｎ_ｓにおける予め定めた基準の動き探索範囲を水平Ｓ_Ｘ（ｎ_ｓ）画素、垂直ＳＳ_Ｙ（ｎ_ｓ）ラインとする。

ブロックサイズ情報：水平αＢ_Ｘ（ｎ_ｓ）画素、垂直βＢ_Ｙ（ｎ_ｓ）ライン
動き探索範囲情報：水平αＳ_Ｘ（ｎ_ｓ）画素、垂直βＳ_Ｙ（ｎ_ｓ）ライン

動き推定部１５は、動き検出開始階数ｎ_ｓに応じた空間方向に低周波領域の基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の画像を得るために、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の空間方向２次元Ｎｓ階離散ウェーブレット分解したデータに対して、動き検出開始階数ｎ_ｓに応じた空間ｎ_ｓ階ウェーブレットの再構成を行い、画像解析部１４から得られるブロックサイズ情報及び動き探索範囲情報に従う大きさで動き推定を実行し、続いて空間ｎ_ｓ−１階ウェーブレットの再構成を行い、当該ブロックサイズ情報及び動き探索範囲情報に従う大きさで動き推定を再度実行し、最上位の階層（即ち、元の画像レベル）にて当該ブロックサイズ情報及び動き探索範囲情報に従う大きさで動き推定を行うまで階数をデクリメントして繰り返す。この動き推定部１５の動作は、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）を入力し、動き検出開始階数ｎ_ｓに基づいて、基準フレームＦ（ｔ_Ｃ）に対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら動き推定を行うことと類似した処理となる。ただし、空間ｎ_ｓ階ウェーブレット分解及び再構成を経て順次繰り返すことによる動き推定部１５によれば、階層に応じて順次水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）に基づいて決定したブロックサイズ情報及び動き探索範囲情報に従って動き推定を行うため、画像シーンに応じた動き検出開始階数ｎ_ｓに応じた動き推定を高確度に行うことができ、高精度化が期待できる。

例えば、図６に示すように、動き推定部１５は、動き検出開始階数ｎ_ｓに応じた空間方向に低周波領域の基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の画像を得るために動き検出開始階数ｎ_ｓに応じた空間ｎ_ｓ階ウェーブレットの再構成を行い、画像解析部１４から得られるブロックサイズ情報及び動き探索範囲情報に従う大きさで小数画素精度のブロックマッチングによる動き推定を行う階層型動き推定部１５１と、この動き推定の処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向に１階上位のウェーブレット再構成を実行した画像を階層型動き推定部１５１に送出する空間１階ウェーブレット再構成部１５２から構成することができる。従って、階層型動き推定部１５１は、空間１階ウェーブレット再構成部１５２から得られる基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の再構成画像を用いて、動き推定処理を階層的に繰り返し、最終的な動き推定情報（例えば、動きベクトル）を決定して出力することができる。

以下、本発明による一実施例の動き推定装置１の動作について更に詳細に説明する。

[装置動作]
図７は、本発明による一実施例の動き推定装置の動作を示す動作フローである。

ステップＳ１にて、動き推定装置１は、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）を含む、時刻ｔ＝ｔ_０・・・ｔ_ｍにおけるフレーム画像列Ｆ（ｔ_０），・・・，Ｆ（ｔ_Ｃ），・・・，Ｆ（ｔ_Ｒ），・・・，Ｆ（ｔ_ｍ）を入力して、動き推定装置１が備える記憶部（図示せず）に適宜読み出し可能に格納する。

ステップＳ２にて、時間方向周波数分解部１１により、フレーム画像列Ｆ（ｔ_０），・・・，Ｆ（ｔ_Ｃ），・・・，Ｆ（ｔ_Ｒ），・・・，Ｆ（ｔ_ｍ）を入力し、基準フレームＦ（ｔ_Ｃ）における全画素について時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出する。

例えば、図８に示すように、フレーム画像列Ｆ（ｔ_０），・・・，Ｆ（ｔ_Ｃ），・・・，Ｆ（ｔ_Ｒ），・・・，Ｆ（ｔ_ｍ）における或る画素Ｒ（ｋ，ｌ）について、時間方向に予め規定した最大階数（Ｎｍａｘ）の周波領域に分解した後、全画素における時間方向周波数帯域毎のパワーを算出することができる。例えば、図９に示すように、１６フレームのフレーム画像列Ｆ（ｔ）を時間方向にＮｍａｘ階に分解するとすれば、Ｎｍａｘ＝１では、低周波領域Ｌ^１及び高周波領域Ｈ^１として分割することができ（図９（ａ）参照）、Ｎｍａｘ＝２では、低周波領域Ｌ^２及び高周波領域Ｈ^１，Ｈ^２として分割することができ（図９（ｂ）参照）、Ｎｍａｘ＝３では、低周波領域Ｌ^３及び高周波領域Ｈ^１，Ｈ^２，Ｈ^３として分割することができ（図９（ｃ）参照）、Ｎｍａｘ＝４では、低周波領域Ｌ^４及び高周波領域Ｈ^１，Ｈ^２，Ｈ^３，Ｈ^４として分割することができる（図９（ｄ）参照）。

ステップＳ３にて、空間分解階数決定部１２により、算出した時間方向の周波数帯域毎のパワーＰ_Ｔ（ｎ_ｔ）と、時間方向の高周波領域のパワーの割合が大きいほど動領域面積が大きく、且つ動き量が大きくなると判断するための予め定めた閾値Ｔｈ_ｔとを比較し、この閾値Ｔｈ_ｔを上回るパワーとなる階数を、時間方向の高周波領域のパワーの割合に応じた空間周波数の分解階数（空間分解階数値）Ｎｓとして決定する。

パワーＰ_Ｔ（ｎ_ｔ）と閾値Ｔｈ_ｔとの比較として構成する代わりに、例えば、表１に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Ｎｓとの間で規定されるテーブルを予め保持しておき、パワーＰ_Ｔ（ｎ_ｔ）から空間周波数の分解階数Ｎｓを求めるように構成することもできる。

ステップＳ４にて、空間方向周波数分解部１３により、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）を入力し、空間分解階数決定部１２によって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）に対して空間Ｎｓ階離散ウェーブレット分解を実行し、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の各々における空間分解階数値Ｎｓに対応するｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）を算出する。尚、動き検出開始階数ｎ_ｓの決定のために、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）における空間周波数帯域毎のパワーの割合の大きいほうを選定することや、基準フレームＦ（ｔ_Ｃ）又は参照フレームＦ（ｔ_Ｒ）における空間周波数帯域毎のパワーの割合のみを算出してもよい。

例えば、図１０（ａ）に示すように、基準フレームＦ（ｔ_Ｃ）の全画素に対して空間方向に２次元２階離散ウェーブレット分解を実行して、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の各々における空間分解階数値Ｎｓに対応するｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）を算出することができる。また、図１０（ｂ）に示すように、基準フレームＦ（ｔ_Ｃ）の空間方向の低周波領域（例えば、ＬＬ^２）のみを抽出して基準フレームＦ（ｔ_Ｃ）の低周波領域のみの画像を再構成することができる。

続いて、画像解析部１４により、空間分解階数値Ｎｓに対応するｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）と、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断するための予め定めた閾値Ｔｈ_ｓとを入力して比較し、この比較によって得られる閾値Ｔｈ_ｓを下回るパワーとなる階数ｎ_ｓ（尚、パワーの割合は階数によって区分される）を、動き検出を開始する階数（以下、「動き検出開始階数」と称する）として決定し（ステップＳ４）、動き検出開始階数ｎ_ｓにおける各ｎ_ｓ階における水平、垂直、斜め方向の周波数帯域毎のパワーの割合Ｐ_ＨＲ（ｎ_ｓ），Ｐ_ＶＲ（ｎ_ｓ），Ｐ_ＤＲ（ｎ_ｓ）を算出して（ステップＳ５）、動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ及び動き探索範囲の倍数α，βを算出し、倍数α，βによって動き検出開始階数ｎ_ｓにおける動き検出のブロックサイズ及び動き探索範囲を決定する（ステップＳ６）。ただし、ｎ_ｓ≦Ｎｓである。

ｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）と閾値Ｔｈ_ｓとの比較で動き検出開始階数ｎ_ｓを求めるように構成する代わりに、例えば、表２に示すように、ｎ_ｓ階の水平、垂直、斜め方向の周波数帯域毎のパワー値Ｐ_Ｈ（ｎ_ｓ），Ｐ_Ｖ（ｎ_ｓ），Ｐ_Ｄ（ｎ_ｓ）における低周波領域のパワーの割合と動き検出開始階数ｎ_ｓとの間で規定されるテーブルを予め保持しておき、低周波領域のパワーの割合を算出して動き検出開始階数ｎ_ｓを求めるように構成することもできる。尚、動き検出開始階数ｎ_ｓが大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び動き探索範囲の大きさが増大することを意味している。例えば、空間分解能１／１６，１／８，１／４，１／２とすれば、それぞれ（ブロックサイズ，動き探索範囲の大きさ）は、（１６×１６，水平・垂直１６画素），（８×８，水平・垂直８画素），（４×４，水平・垂直４画素），（２×２，水平・垂直２画素）などである。ここで、例えば、空間分解能１／１６は、元の画像における水平標本化周波数Ｈｓ及び垂直標本化周波数Ｖｓにおいて、１６画素を１画素として標本化する低解像度化を意味する。

つまり、図１１に示すように、空間方向の低周波領域のパワーの割合によって、動き検出開始階数ｎ_ｓを関連付けることができる。例えば、Ｎｓ＝４のとき、低周波領域（ＬＬ^４）及び高周波領域（ＬＬ^４以外）のそれぞれのパワーを算出して、全体における低周波領域（ＬＬ^４）の割合が、９９．５％以上であれば、動き検出開始階数ｎ_ｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図１１（ｄ）参照）。また、全体における低周波領域（ＬＬ^４）の割合が、９８．０％以上９９．５％未満であれば、動き検出開始階数ｎ_ｓ＝３として３階層の低周波領域（この場合、ＬＬ^３）のみの画像を再構成することができる（図１１（ｃ）参照）。同様に、全体における低周波領域（ＬＬ^４）の割合が、９５．０％以上９８．０％未満であれば、動き検出開始階数ｎ_ｓ＝２として２階層の低周波領域（この場合、ＬＬ^２）のみの画像を再構成することができ（図１１（ｂ）参照）、全体における低周波領域（ＬＬ^４）の割合が、９５．０％未満であれば、動き検出開始階数ｎ_ｓ＝１として１階層の低周波領域（この場合、ＬＬ^１）のみの画像を再構成することができる。

ステップＳ７にて、動き推定部１５により、動き検出開始階数ｎ_ｓに基づいた基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の低周波画像に対して、基準フレームＦ（ｔ_Ｃ）の低周波画像を所定のブロックサイズに分割し、分割した各ブロックについて、所定の動き探索範囲の大きさで、小数画素精度のブロックマッチングによる動き推定を行う。

ステップＳ８にて、動き推定部１５により、基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）に対してブロックサイズ及び動き探索範囲の大きさを縮小しながら動き推定装置を繰り返す効果を得るために、算出していた基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の空間ｎ_ｓ階離散ウェーブレット分解データに対して動き検出開始階数ｎ_ｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行する。

動き推定部１５は、空間１階ウェーブレット再構成部１５２から得られる基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）の再構成画像を用いて、最上位の階層（即ち、元の画像レベルにおける動き推定装置）となるまで順次階数をデクリメントして動き推定装置の処理を繰り返し（ステップＳ９）、最終的な動きベクトルを決定して動き推定情報を出力することができる（ステップＳ１０）。

例えば、図１２（ａ）〜（ｄ）に示すように、動き検出開始階数ｎ_ｓが大きいほどブロックサイズが大きくなる様子を示しており、ブロックサイズが大きいほど参照フレームＦ（ｔ_Ｒ）における動き探索範囲の大きさも大きくなる。

つまり、基準フレームＦ（ｔ_Ｃ）のｎ_ｓ階低周波画像を水平及び垂直のブロックサイズ（Ｂｘ^ｎｓ，Ｂｙ^ｎｓ）の或るブロックＢ^ｎｓ（上添え字は、階級を示す）に分割し、参照フレームＦ（ｔ_Ｒ）の±Ｓｘ^ｎｓ，±Ｓｙ^ｎｓの範囲（例えば、±２ブロック）で探索し、各ブロックの動きベクトルｖ^ｎｓを算出する。次に、基準フレームＦ（ｔ_Ｃ）のｎ_ｓ−１階低周波画像を、ブロックサイズ（Ｂｘ^ｎｓ，Ｂｙ^ｎｓ）で分割し、参照フレームＦ（ｔ_Ｒ）のｎ_ｓ階低周波画像上の同じ位置から２×ｖ^ｎｓだけずらした場所を中心位置とする水平及び垂直画素数としてそれぞれ±Ｓｘ^ｎｓ，±Ｓｙ^ｎｓの範囲で探索し、得られた動きベクトルに２×ｖ^ｎｓをベクトル加算して、ｎ_ｓ−１階低周波画像における動きベクトルｖ^ｎｓ−１を算出する。

尚、動き推定装置は、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適であり、式（１）で与えられる。

尚、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるＳＳＤ値（誤差二乗和）を表し、より具体的には、SSD(0)は中心位置におけるＳＳＤ値、SSD(−1)は中心位置から−Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値、SSD(1)は中心位置から＋Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。例えば、図１３に示すように、式（１）から２次関数近似して、小数画素位置として例えば−０．３３を得ることができる。

また、ｎ_ｓ階におけるブロックサイズは固定でないため、ｎ_ｓ階からみてｎ_ｓ−１階のブロックが階層間で同位置及び同サイズとならない場合も考えられる。このような場合には、図１４に示すように、階層間のブロックの面積割合に応じた加重平均をとるのが好適である。例えば、ｎ_ｓ階における面積Ａ１〜Ａ４の４ブロックに対して、ｎ_ｓ−１階のブロックがまたがる場合に（面積Ａ１＋Ａ２’＋Ａ３’＋Ａ４’）、ｎ_ｓ階における面積Ａ１〜Ａ４の４ブロックにおけるそれぞれ動きベクトルがｖ１〜ｖ４とすると、ｎ_ｓ−１階の動きベクトルは、（Ａ１・２ｖ１＋Ａ２’・２ｖ２＋Ａ３’・２ｖ３＋Ａ４’・２ｖ４）／（Ａ１＋Ａ２＋Ａ３＋Ａ４）として求めることができる。このようにして、最上位の階数（即ち、１階）まで動き推定装置を繰り返すことにより、高精度化を図ることができる。

以上のように、一実施例の動き推定装置によれば、動画像における動き推定にあたって、適切なブロックサイズを推定して動き推定装置を開始することができるだけでなく、時空間方向のスペクトルパワーから画像が持つ大凡の動き量、動き方向（水平・垂直・斜めの動き方向）及び動領域を帯域毎に推定してブロックサイズ及び動き探索範囲の大きさを決定し、帯域毎にブロックサイズ及び動き探索範囲の大きさが異なる階層的に動き推定を行うことで、雑音に強く、且つ高精度の動き推定装置の計算量を削減することができるとともに、動きぼけ量や方向に応じた高確度動き推定を行うことが可能となる。例えば、ＳＨＶ画面における大きな動きをするオブジェクトを高精度に推定した動き推定装置が可能となる。

また、このように高精度で効率的に求めた動きベクトルを既存の符号化装置の符号化処理や超解像処理に適用することで、更なる高品質化が期待できる。

また、上述の実施例では、各周波領域のパワーの算出のために、ウェーブレット変換を用いる例を説明したが、離散コサイン変換などの既知の直交変換や、フィルターバンク等を用いて各周波領域のパワーを算出することができる。ウェーブレット変換を用いる場合には、画像の周波数変化を高精度に捉えることができる点で優れており、離散コサイン変換を用いる場合には、既存のシステムが離散コサイン変換を用いている場合に装置構成が容易になる。

更に、本発明の一態様として、本発明の動き推定装置をコンピュータとして構成させることができる。コンピュータに、前述した本発明の動き推定装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。

本発明によれば、動画像の超解像処理及び映像符号化、又はその他の画像処理で用いられる動き推定装置の精度を高めることができる。近年における動画像処理は益々高精細化しており、本発明による動き推定装置は、高精度の動き推定装置が求められる任意の動画像処理の用途に有用である。

１ 動き推定装置
１１ 時間方向周波数分解部
１２ 空間分解階数決定部
１３ 空間方向周波数分解部
１４ 画像解析部
１５ 動き推定部
１２１ 比較部
１２２ 空間分解階数値決定部
１３１ 空間方向２次元Ｎｓ階離散ウェーブレット分解処理部
１３２ 水平・垂直・斜め方向周波数帯域別パワー算出部
１４１ 比較部
１４２ 水平・垂直・斜め方向パワー割合算出部
１４３ 水平・垂直方向倍数算出部
１４４ ブロックサイズ・動き探索範囲決定部
１５１ 階層型動き推定部
１５２ 空間１階ウェーブレット再構成部

Claims (4)

1. 動画像の動き推定を行う動き推定装置であって、
   複数フレームのフレーム画像列について時間方向の周波数帯域毎のパワーを算出する算出時間方向周波数分解部と、
   前記時間方向の周波数帯域別のパワー値と、予め定めた第１閾値とを比較し、前記第１閾値を上回るパワーとなる階数を空間周波数の空間分解階数値として決定する空間分解階数決定部と、
   前記空間分解階数値に基づいて、動き推定対象のフレームに対してオクターブ分解を行い、前記空間分解階数値に対応する階数毎に、水平、垂直、斜め方向の周波数帯域毎のパワー値を算出する空間方向周波数分解部と、
   前記空間分解階数値に対応する階数毎に算出した水平、垂直、斜め方向の周波数帯域毎のパワー値と、予め定めた第２閾値とを比較し、当該水平、垂直、斜め方向の周波数帯域毎のパワー値の全てが前記第２閾値を下回るパワーとなる階数を動き検出開始階数として決定し、前記動き検出開始階数の各階層について該水平、垂直、斜め方向の周波数帯域毎のパワー値に応じたブロックサイズ及び動き探索範囲を決定する画像解析部と、
   前記動き検出開始階数の階数毎に決定されたブロックサイズ及び動き探索範囲に基づいて、前記動き推定対象のフレームに対して階層型の動き推定を行う動き推定部と、
   を具えることを特徴とする動き推定装置。
2. 前記画像解析部は、前記動き検出開始階数における各階層の水平、垂直、斜め方向の周波数帯域毎のパワーの割合を算出して、前記動き検出開始階数における階層毎の基準の動き検出のブロックサイズ及び動き探索範囲に対する倍数を算出し、該倍数を前記基準の動き検出のブロックサイズ及び動き探索範囲に乗じて、当該水平、垂直、斜め方向の周波数帯域毎のパワー値に応じたブロックサイズ及び動き探索範囲を決定する手段を有することを特徴とする、請求項１に記載の動き推定装置。
3. 前記動き推定部は、階層型の動き推定を行う際に、階層間で同位置にブロックがない場合に、階層間のブロックの面積割合に応じた加重平均を行って、最終的な動きベクトルを決定する手段を有することを特徴とする、請求項１又は２に記載の動き推定装置。
4. 動画像の動き推定を行う動き推定装置として構成するコンピュータに、
   複数フレームのフレーム画像列について時間方向の周波数帯域毎のパワーを算出するステップと、
   前記時間方向の周波数帯域別のパワー値と、予め定めた第１閾値とを比較し、前記第１閾値を上回るパワーとなる階数を空間周波数の空間分解階数値として決定するステップと、
   前記空間分解階数値に基づいて、動き推定対象のフレームに対してオクターブ分解を行い、前記空間分解階数値に対応する階数毎に、水平、垂直、斜め方向の周波数帯域毎のパワー値を算出するステップと、
   前記空間分解階数値に対応する階数毎に算出した水平、垂直、斜め方向の周波数帯域毎のパワー値と、予め定めた第２閾値とを比較し、当該水平、垂直、斜め方向の周波数帯域毎のパワー値の全てが前記第２閾値を下回るパワーとなる階数を動き検出開始階数として決定し、前記動き検出開始階数の各階層について該水平、垂直、斜め方向の周波数帯域毎のパワー値に応じたブロックサイズ及び動き探索範囲を決定するステップと、
   前記動き検出開始階数の階数毎に決定されたブロックサイズ及び動き探索範囲に基づいて、前記動き推定対象のフレームに対して階層型の動き推定を行うステップと、
   を実行させるためのプログラム。
   

Images