JP4824712B2 - 動き推定精度推定方法、動き推定精度推定装置、動き推定精度推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、高フレームレート映像に対する効率的な符号化を実現する映像符号化で用いられる動き推定精度推定方法およびその装置と、その動き推定精度推定方法の実現に用いられる動き推定精度推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。

超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。

しかし、被写体の自然な動きを表現するために不可欠な時間解像度の向上、即ち、映像の高フレームレート化については、充分な検討がなされていない。

Ｓpillmannらによれば、網膜の出力細胞である神経節細胞が出力するパルス数の上限は毎秒３００〜４００個程度であるとする生理学的な知見が示されている。このため、人の視覚系は最も短くて１／１５０〜１／２００秒程度までの発光の違いを知覚できると推察される。これは、知覚可能なフレームレートの検知限が１５０〜２００［フレーム／秒］であることを意味する。現行映像のフレームレートである３０，６０［フレーム／秒］は、フリッカーの検知限から定められたものであり、自然な動きを表現するに十分な値ではない。

一方、映像の超高画質化はデータ量の爆発的な増加を招くため、ネットワークの帯域制限等の理由により符号量が制限される場合には、効率的な符号化方法が必要となる。

高フレームレート映像の場合、フレーム間相関が増加することから、動き補償によるフレーム間予測が効果的である。動き補償のパラメータの一つに動き推定精度がある。例えば、ＭＰＥＧ−２準拠の符号化器における動き推定精度は１／２画素精度となる。

高フレームレート映像の場合、フレーム間隔が短くなることから、変移量に高い精度が求められるため、フレームレートと動き推定精度との関係を把握することが重要となる。直感的には、フレームレートの増加に伴い、高い動き推定精度が必要となることが予想される。

しかし、従来の研究では、フレームレートの影響は考慮されておらず、フレームレートと動き推定精度との関係についての定量的な性質は把握されていない（例えば、非特許文献１参照）。このため、アドホックな方法で動き推定精度を設定することになり、動き推定精度が不足した場合、符号化効率が低下する。

一方、設定可能な範囲における動き推定精度に対して、総当りで符号化を行い、最も符号化効率の高い動き推定精度を選択する方法もある。しかし、この場合には、符号化処理の時間が増大してしまう。
J.Ribas-Corbera and D.L.Neuhoff. Optimizing motion-vector accuracy in block-based video coding. IEEE CSVT, Vol.11, No.4, pp.497-511, 2001.

前述したように、被写体の自然な動きを表現するためには、映像の高フレームレート化を実現する必要がある。

映像の高フレームレート化を実現するためには、フレーム間隔が短くなることから、変移量に高い精度が求められるため、フレームレートと動き推定精度との関係を把握することが重要となる。

しかし、従来の研究では、フレームレートと動き推定精度との関係についての定量的な性質は把握されておらず、アドホックな方法で動き推定精度を設定するようにしているのが実情である。

これから、従来技術に従っていると、高フレームレート映像を符号化するときに、動き推定精度が不足した場合には、符号化効率が低下するという問題があった。

本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像に対する符号化処理において、フレームレートと動き推定精度との関係を表す解析的な理論モデルを構築して、その理論モデルを利用してフレームレート毎の適切な動き推定精度を推定することで、高フレームレート映像に対する効率的な符号化を実現する新たな動き推定精度推定技術を確立することを目的とする。

この目的を達成するために、本発明の動き推定精度推定装置は、非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられて、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定することを実現するために、（イ）フレームレートを入力するフレームレート入力手段と、（ロ）あるフレームレートで符号化を行う場合におけるフレーム間予測の予測誤差電力の推定に用いられる関数に記述される４個のモデルパラメータを入力するモデルパラメータ入力手段と、（ハ）モデルパラメータ入力手段の入力した４個のモデルパラメータに基づいて、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる、フレームレートの逆数を変数とする二次関数を決定する決定手段と、（ニ）決定手段の決定した二次関数に対して、フレームレート入力手段の入力したフレームレートの値を代入することで、フレームレート入力手段の入力したフレームで符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する推定手段と、（ホ）推定手段の推定した動き推定精度を出力する出力手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の動き推定精度推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動き推定精度推定装置では、処理対象となるフレームレートを入力すると、続いて、例えば、（１）参照フレームにおける隣接画素間の差分値の二乗和から導出されるモデルパラメータα₁ と、（２）フレーム間予測誤差に対するテイラー展開の近似誤差と参照フレームにおける隣接画素間差分値との積の和から導出されるモデルパラメータα₂ と、（３）原信号に重畳している雑音と参照フレームにおける補間誤差との和の二乗和の近似値から導出されるモデルパラメータα₃ と、（４）フレーム間予測誤差に対するテイラー展開の近似誤差の二乗和から導出されるモデルパラメータα₄ という４個のモデルパラメータを入力する。

ここで、４個のモデルパラメータを入力してから、処理対象となるフレームレートを入力することもある。

続いて、フレームレートをＦで表し、動き補償の単位となるセグメントの数をＭで表し、係数をκで表すならば、入力した４個のモデルパラメータα_1,α_2,α_3,α₄ に基づいて、例えば、
（α₁ Ｆ^-2＋α₂ Ｆ^-1＋α₃ ＋α₄ ）／κα₁(Ｍ−１）
という関数を決定することで、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる、フレームレートの逆数を変数とする二次関数を決定する。

この二次関数が、フレームレートとそのフレームレートで符号化を行う場合に発生することになる符号量を最小化する動き推定精度との関係について記述するモデルとなる。

これから、続いて、決定した二次関数に対して、入力したフレームレートの値を代入することで、前記入力したフレームで符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定して、その推定した動き推定精度を出力する。

本発明によれば、フレームレートが与えられた場合に、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度を推定することができるようになる。

すなわち、本発明によれば、フレームレートに応じた適切な動き推定精度を設定することが可能となり、動き推定精度の不足に伴う符号化効率の低下を回避できるようになる。また、一般に、高い動き推定精度が必要とされる高フレームレート映像の符号化において、適切な動き推定精度を予め見積もることが可能となり、符号化処理を高速化できることが見込める。

以下、実施の形態に従って本発明を詳細に説明する。

前述したように、本発明では、高フレームレート映像に対する符号化処理において、フレームレートと動き推定精度との関係を表す解析的な理論モデルを構築して、その理論モデルを利用してフレームレート毎の適切な動き推定精度を推定することで、高フレームレート映像に対する効率的な符号化を実現するものである。

次に、まず最初に、『［１］フレームレートとフレーム間予測誤差電力との関係』で、フレームレートとフレーム間予測誤差電力との関係について説明し、続いて、『［２］パラメータ推定』で、フレームレートとフレーム間予測誤差電力との関係に記述されるパラメータの推定について説明し、続いて、『［３］変移量推定誤差とフレームレートとの関係』で、フレームレートとフレーム間予測誤差電力との関係の導出にあたって必要となる変移量推定誤差とフレームレートとの関係について説明し、最後に、『［４］動き推定精度の最適化』で、フレームレートと動き推定精度との関係を表す解析的な理論モデルを構築して、その理論モデルを利用してフレームレート毎の適切な動き推定精度を推定する構成について説明する。

［１］フレームレートとフレーム間予測誤差電力との関係
フレームレートとフレーム間予測誤差電力との関係を解析的に導出する。ここでは、簡単のため１次元信号を例にとり説明する。

Ｘサンプルを有する時刻ｔの位置ｘにおける観測信号をｇ_t （ｘ）（０≦ｘ≦Ｘ−１）として、ＬサンプルからなるセグメントＢ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ）を単位として動き補償（推定変位量＾ｄ［ｉ］）を行い、そのセグメント内の動き補償後の予測誤差を評価する。

ここで、観測信号ｇ_t （ｘ）は、画像信号ｆ_t （ｘ）に雑音ｎ_t （ｘ）が重畳して構成されているものとする。すなわち、
ｇ_t （ｘ）＝ｆ_t （ｘ）＋ｎ_t （ｘ）
とする。

なお、以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。また、以下では、位置ｘにおける真の変位量をｄ（ｘ）としている。

推定変移量＾ｄ［ｉ］が小数画素精度の場合、参照画素値を補間処理により生成する。補間対象の信号をｓ_t （ｘ）とすると、補間処理は下記の式（１）で表されるフィルタリングとなる。なお、以下では、下記の式（１）式の左辺の演算子を「Ｉ」で表記することがある。

ここで、δは動き推定の精度である。例えば、ＭＰＥＧ−２準拠の符号化器の場合、δ＝１／２に設定される。また、補間係数ψ_j ［ｋ］は下記の式（２）を満たすものとする。

前述の補間フィルタを用いて、参照位置の画素値は、Ｉ（〜ｇ_t-1 （ｘ＋＾ｄ［ｉ］）^(q) ）として近似される。

なお、以下の表記において、「〜Ｘ」（Ｘは文字）における記号〜は、「Ｘ」の上に付く記号を示している。

ここで、〜ｇ_t-1 （ｘ＋＾ｄ［ｉ］）^(q) は、ｇ_t-1 （ｘ＋＾ｄ［ｉ］）に対して、量子化ステップ幅ｑでの量子化を行った場合の復号信号であり、下記の式（３）のように表せる。

この式（３）におけるｖ_t-1 （ｘ＋＾ｄ［ｉ］）ｑは、量子化に伴い発生する誤差を表しており、ｖ_t-1 （ｘ＋＾ｄ［ｉ］）は信号ｆ_t-1 （ｘ＋＾ｄ［ｉ］）に依存するパラメータである。

参照位置の画素値ｆ_t-1 （ｘ＋＾ｄ［ｉ］）と補間により生成した値Ι（〜ｇ_t-1 （ｘ＋＾ｄ［ｉ］）^(q) ）との差は、前述の式（３）を使い、下記の式（４）のように表せる。

ここで、ｅ_t-1 ^int （ｘ＋＾ｄ［ｉ］）は、
ｅ_t-1 ^int （ｘ＋＾ｄ［ｉ］）
＝ｆ_t-1 （ｘ＋＾ｄ［ｉ］）−Ｉ（ｆ_t-1 （ｘ＋＾ｄ［ｉ］））
の通りである。

このとき、セグメント内の動き補償後の予測誤差は、“ｇ_t （ｘ）＝ｆ_t （ｘ）＋ｎ_t （ｘ）”と前述の式（３）とを使うことで、下記の式（５）のように表せる。

ここで、φ（ｘ）は、テイラー展開の２次以降の項である。

また、Ｎ（ｘ）は、参照フレームにおける補間誤差Ｎ_t-1 ^ref （ｘ）と原信号に重畳している雑音ｎ_t （ｘ）との和であり、
Ｎ（ｘ）＝ｎ_t （ｘ）−Ｉ（ｎ_t-1 （ｘ＋＾ｄ［ｉ］））
＋ｅ_t-1 ^int （ｘ＋＾ｄ［ｉ］）−Ｉ（ｖ_t-1 （ｘ＋＾ｄ［ｉ］））ｑ
のように表せる。

また、ζ［ｉ］（ｘ）は、推定変移量＾ｄ［ｉ］とｘにおける真の変移量ｄ［ｉ］（ｘ）との推定誤差であり、
ζ［ｉ］（ｘ）＝ｄ［ｉ］（ｘ）−＾ｄ［ｉ］
のように表せる。

後述する『［３］変移量推定誤差とフレームレートとの関係』で説明するように、変移量推定誤差をフレームレートＦの関数として、下記の式（６)(７）ように近似できる。

ここで、κ₁ ，κ₁ ’およびκ₂ は映像信号に依存する定数である。また、δは動き推定の精度である。例えば、ＭＰＥＧ−２準拠の符号化器の場合、δ＝１／２に設定される。

全セグメント（Ｂ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ））に対するσ［ｉ］² の和を算出する。このとき、Ｎ（ｘ）の各項の独立性を仮定することで、下記の式（８）に示すような近似式を得る。

ここで、〜Ｎ（ｘ）² は下記の式（９）に示す通りである。

さらに、変移量推定誤差ζ［ｉ］（ｘ）と画素値の微分値とが統計的に独立だと仮定して、式（６）および式（７）を式（８）に代入すると、予測誤差電力について下記の式（１０）に示す近似式を得る。

ここで、モデルパラメータα_1,α_2,α_3,α_4,α₅ は、それぞれ下記の式（１１）の通りである。

この式から分かるように、モデルパラメータα₁ は、参照フレームにおける隣接画素間の差分値の二乗和から導出されることになる。また、モデルパラメータα₂ は、フレーム間予測誤差に対するテイラー展開の近似誤差と参照フレームにおける隣接画素間差分値との積の和から導出されることになる。また、モデルパラメータα₃ は、原信号に重畳している雑音ｎ_t （ｘ）と参照フレームにおける補間誤差Ｎ_t-1 ^ref （ｘ）との和として定義されるＮ（ｘ）の二乗値の近似値として導出されることになる。また、モデルパラメータα₄ は、フレーム間予測誤差に対するテイラー展開の近似誤差の二乗和から導出されることになる。

［２］パラメータの推定
次に、モデルパラメータα₃ を定義する前述の式（９）の推定について説明する。前述の式（９）の各項は以下のように推定する。

前述の式（９）の第一項のｎ_t （ｘ）² は、カメラの熱雑音等に起因する雑音成分の電力である。

この推定には、まず、フレーム内の静止領域を同定する。静止領域の同定方法については外部から与えられる。例えば、フレームをブロックに分割し、ブロック毎に動き推定を行い動きベクトルを求め、その動きベクトルがゼロベクトルとなった領域を静止領域とする。静止領域と同定されたブロックに対して、フレーム間差分を求める。そのフレーム間差分信号の二乗和を求め、その二乗和の画素平均値ｎ_t （ｘ）² を推定値とする。

前述の式（９）の第二項のＩ（ｎ_t-1 （ｘ＋＾ｄ［ｉ］））² は、補間フィルタ通過後の雑音成分の電力である。

雑音成分ｎ_t （ｘ）² が無相関であると仮定し、ｊδ（ｊ＝１，... ，δ^-1−１）画素位置での補間フィルタ通過後の雑音電力を下記の式（１２）のように近似する。

さらに、ｊδ（ｊ＝１，... ，δ^-1−１）画素位置での補間フィルタ処理が、ほぼ同程度の頻度で行われたと仮定すると、Ｉ（ｎ_t-1 （ｘ＋＾ｄ［ｉ］））² は下記の式（１３）のように近似できる。

前述の式（９）の第三項のｅ_t-1 ^int （ｘ＋＾ｄ［ｉ］）² は、小数画素位置の画素値の補間に伴う推定誤差である。

ｆ_t （ｘ）に対して、ダウンサンプリング処理を行い、解像度をδに縮小した画像信号ｈ_t （ｘ）を得る。ダウンサンプリング処理に用いるフィルタは外部から与えられるものとする。例えば、前述の補間フィルタの逆フィルタ、あるいは、sinc関数に基づく帯域制限フィルタ等が考えられる。このｈ_t （ｘ）に対して、前述の補間フィルタにより、解像度をδ^-1倍に拡大した信号ｆ_t （ｘ）’を得る。同補間フィルタに伴う補間誤差の推定値として、下記の式（１４）により近似する。

前述の式（９）の第四項のＩ（ｖ_t-1 （ｘ＋＾ｄ［ｉ］））² ｑ² は、参照信号の量子化に伴う誤差である。

参照信号として原信号を用いた場合の予測誤差電力と参照信号として量子化・逆量子化により得られる復号信号を用いた場合の予測誤差電力との差分値（画素平均）を、ｖ_t-1 （ｘ＋＾ｄ［ｉ］）² ｑ² の推定値“−ε_q ”とする。ここで、“−ε_q ”における記号“−”は“ε_q ”の上に付く記号を示している。さらに、この推定値“−ε_q ”を用いて、Ｉ（ｖ_t-1 （ｘ＋＾ｄ［ｉ］））² ｑ² を下記の式（１５）のように近似する。

［３］変移量推定誤差とフレームレートとの関係
次に、前述の式（６)(７）が成立することについて説明する。

［３−１］式（６）の導出
連続値として表した場合の変移量＾ｄ^F ［ｉ］を離散した場合の離散値を〜ｄ^F ［ｉ］とする。このときの離散化誤差をε［ｉ］とすると、〜ｄ^F ［ｉ］は下記の式（１６）のようにあらわせる。

ε［ｉ］は平均が零値、分散が動き推定精度の二乗値に比例する一様分布に従うものと仮定する。二乗誤差規範に基づくブロックマッチングでは、各ブロックに対する推定変移量は、ブロック中央位置の画素の変移量を用いて近似的にあらわすことができる。ｘ_c ［ｉ］をセグメントＢ［ｉ］の中央位置の座標とすると、これにより、フレームレートＦ＝Ｆ₀ の場合の推定変移量は下記の式（１７）のように近似できる。

さらに、＾ｘにおける変移量と＾ｘ’における変移量との差分は平均がゼロ、分散が両座標位置の差分値に比例する正規分布としてモデル化できる。ここで、＾ｘおよび＾ｘ’は、セグメントＢ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ）内での座標位置を示す。つまり、下記の式（１８）のような近似が可能となる。

ここで、Ｅ［・］は期待値演算を表し、＾ｃ_h は信号依存のパラメータである。同モデルは、全セグメントＢ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ）における変移量の差分値（ｄ^F0［ｉ］（＾ｘ）−ｄ^F0［ｉ］（＾ｘ’））に対する集合平均の良好な近似値を与える。

式（１７)(１８）により、下記の式（１９）を得る。

ここで、ｃ_h ² ＝（Ｘ／Ｌ）＾ｃ_h ² である。ξはセグメントＢ［ｉ］の中央位置を原点とする座標系での座標値であり、ξはｘ−ｘ₀ ［ｉ］と表すことができる。つまり、ξはセグメントＢ［ｉ］の中央位置からの距離である。

異なるフレームレートにおける２つの変移量の関係を導く。隣接フレーム間での物体の移動は、等速運動に従うものと仮定する。この場合、物体の変移量はフレーム間隔に比例する。つまり、変移量はフレームレートに反比例するといえる。これにより、下記の式（２０）の関係を得る。

式（１６）、式（２０）およびε［ｉ］がフレームレートに依存しないという仮定を用いて、下記の式（２１）を得る。

式（２１）およびε［ｉ］が統計的に変移量と独立であるとする仮定を用いることで、下記の式（２２）を得る。

ここで、ξ＝ｘ−ｘ_c ［ｉ］、また、δは動き推定精度を表す。例えば、ＭＰＥＧ−２の符号化器の場合、δ＝１／２に設定され、ＭＰＥＧ−４ＡＳＰ(Advanced Simple Profile) の符号化器の場合、δ＝１／４に設定される。

式（２２）において、Ｆ₀ ²ｃ_h ² Σξ² をκ₁ と表し、ＸＹ／１２をκ₁'と表すことにより、式（６）を得る。

［３−２］式（７）の導出
ε［ｉ］がゼロ平均の一様分布に従うと仮定すると、下記の式（２３）を得る。

ζ^F ［ｉ］（ｘ）を、
ζ^F ［ｉ］（ｘ）＝ｄ^F ［ｉ］（ｘ）−＾ｄ^F ［ｉ］
のように定義する変移量の推定誤差とする。

このとき、｛ΣΣζ^F ［ｉ］（ｘ）｝² について、下記の式（２４）の通り表すことができる。

式（２４）の第一項は、式（２２）により近似することができる。また、第二項はシュワルツの不等式より下記の式（２５）の関係をみたす。

ここで、ξ＝ｘ−ｘ_c ［ｉ］、ξ’＝ｘ’−ｘ_c ［ｉ］である。この式（２５）の不等式により、下記の式（２６）の近似式を得る。

ここで、βは−１から１の範囲の値をとるパラメータである。式（２６）および式（２２）を式（２４）に代入することにより下記の式（２７）を得る。

したがって、下記の式（２８）を得る。

ここで、γは１か−１である。式（２８）に記述される下記の式（２９）をκ₂ とおくことにより、式（７）を得る。

［４］動き推定精度の最適化
歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を評価関数として考える。以下では、量子化ステップ幅が与えられた場合に、その評価関数を最小化する動き推定精度を算出する方法について詳述する。

量子化ステップ幅ｑ、フレームレートＦ、動き推定精度δが与えられた場合、フレーム間予測誤差の符号量は、
Ｒ_c （ｑ，Ｆ，δ）＝（１／２）ｌｏｇ₂ γ_c （Ｐ（Ｆ，δ）／ｑ² ）
・・・ 式（３０）
のようにモデル化できる。

ここで、γ_c は信号依存の定数パラメータである。また、Ｐ（Ｆ，δ）は、
Ｐ（Ｆ，δ）＝Σσ［ｉ］² 但し、Σはｉ＝１〜Ｘ／Ｌについての総和
であり、フレーム内の予測誤差電力和を示す。

一方、フレームレートＦ、動き推定精度δが与えられた場合、変移量の符号量は、
Ｒ_mv（Ｆ，δ）＝（Ｘ／Ｌ）ｌｏｇ₂ （２Ｕ（Ｆ）／δ） ・・・ 式（３１）
のようにモデル化できる。

ここで、Ｕ（Ｆ）はフレームレートがＦの場合の動き推定の探索範囲を表しており、変移量＾ｄは−Ｕ（Ｆ）≦＾ｄ≦Ｕ（Ｆ）−１の範囲をとりうるものとする。したがって、２Ｕ（Ｆ）／δは探索範囲内における推定変移量の候補数を表す。

変移量はフレーム間隔に比例して減少するため、符号量削減の観点から、Ｕ（Ｆ）はＦに反比例するように、
Ｕ（Ｆ）＝Ｕ₀ Ｆ₀ ／Ｆ
というように設定する。ここで、Ｕ₀ はフレームレートがＦ₀ の場合の動き推定の範囲を表すパラメータである。

このとき、予測誤差信号と変移量の符号量の総和は、
Ｒ（ｑ，Ｆ，δ）＝Ｒ_c （ｑ，Ｆ，δ）＋Ｒ_mv（Ｆ，δ） ・・・ 式（３２）
となる。

この式（３２）が歪み量を一定（量子化ステップ幅ｑを固定）とした場合の符号量を与えている。

このようにフレームレートＦ、量子化ステップ幅ｑが与えられた場合に、Ｒ（ｑ，Ｆ，δ）を最小化する動き推定精度δ^* （Ｆ）を算出する。求めるべきδ^* （Ｆ）は、
∂Ｒ（ｑ，Ｆ，δ）／∂δ
＝∂Ｒ_c （ｑ，Ｆ，δ）／∂δ＋∂Ｒ_mv（Ｆ，δ）／∂δ＝０
・・・ 式（３３）
という式を満たす。

この式（３３）を満たすδ^* （Ｆ）は、下記の式（３４）のように表せる。

ここで、この式（３４）の値は、下記の式（３５）および式（３６）の関係を満足する。

式（３５）は、フレームレートの増加と共に動き推定精度を小さくする必要があることを示している。さらに、式（３６）は、フレームレートが極限まで大きくなると、動き推定精度の減少は収束することを示している。なお、ここでは、モデルパラメータα₄ はＦ^-1の４次以上の項からなることを考慮している。

モデルパラメータα₃ における〜Ｎ（ｘ）は、推定変移量＾ｄが小数画素精度の場合、参照に必要な補間位置の画素値を生成することに伴う誤差、撮像系の熱雑音等に起因する成分からなる誤差項である。フレームレートが極限まで大きくなり、フレーム間隔が極限まで小さくなると、フレーム間予測誤差内において、その誤差項に起因する成分が支配的になる。こうした状況では、動き推定精度を高めても、それに見合う予測誤差の低減は得られない。このことを式（３６）は示しており、映像信号の物理的な性質に符合する。

このようにして、本発明によれば、フレームレートＦが与えられた場合に、式（３４）に従って、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ^* （Ｆ）を算出することができるようになる。

次に、本発明の実施例について説明する。

図１に、本発明を具備する映像符号化装置１の装置構成を図示する。

この図に示すように、本発明の映像符号化装置１は、符号化対象となる映像を格納する映像ファイル１０と、非整数画素精度の動き推定を行うフレーム間予測を使って、映像ファイル１０に格納される映像を符号化する符号化部１１と、符号化部１１がフレーム間予測を行う上で必要となる動き推定精度を算出して符号化部１１に与える動き推定精度算出部１２と、符号化部１１の符号化した符号化データを格納する符号化データファイル１３とを備える。

図２および図３に、動き推定精度算出部１２の実行するフローチャートを図示する。次に、このフローチャートに従って、本発明の実行する処理について詳細に説明する。

動き推定精度算出部１２は、図２のフローチャートに示すように、まず最初に、ステップＳ１０１で、符号化対象フレームを読み込み、続くステップＳ１０２で、参照フレームを読み込む。

続いて、ステップＳ１０３で、参照フレームにおける隣接画素間の差分値を算出する。すなわち、式（１１）のα₁ の定義式に記述される「ｄ／ｄｘ（ｆ_t-1(ｘ））」を算出するのである。

続いて、ステップＳ１０４で、ステップＳ１０３で算出した隣接画素間差分値の二乗和を算出する。すなわち、式（１１）のα₁ の定義式に記述される「ΣΣ（ｄ／ｄｘ（ｆ_t-1(ｘ）））² 」を算出するのである。

続いて、ステップＳ１０５で、フレーム間予測誤差に対するテイラー展開の近似誤差を算出する。すなわち、式（１１）のα_2,α₄ の定義式に記述される「φ（ｘ）」を算出するのである。

続いて、ステップＳ１０６で、ステップＳ１０５で算出したテイラー展開の近似誤差とステップＳ１０３で算出した隣接画素間差分値との積の和を算出する。すなわち、式（１１）のα₂ の定義式に記述される「ΣΣ（φ（ｘ）×ｄ／ｄｘ（ｆ_t-1(ｘ）））」を算出するのである。

続いて、ステップＳ１０７で、ステップＳ１０５で算出したテイラー展開の近似誤差の二乗和を算出することでモデルパラメータα₄ を算出する。すなわち、式（１１）のα₄ の定義式に記述される「ΣΣ（φ（ｘ）² ）」を算出することで、モデルパラメータα₄ を算出するのである。

続いて、ステップＳ１０８で、式（１１）のα₃ の定義式に記述される「ΣΣ（〜Ｎ（ｘ）² ）」を算出することでモデルパラメータα₃ を算出する。このステップＳ１０８で実行するモデルパラメータα₃ の算出処理の詳細については、図３のフローチャートで後述する。

一方、ステップＳ１０９で、フレームレートＦを読み込み、続くステップＳ１１０で、読み込んだフレームレートの逆数Ｆ^-1を算出し、続くステップＳ１１１で、算出したフレームレートの逆数の二乗値Ｆ^-2を算出する。

続いて、ステップＳ１１２で、フレーム内の画素数Ｘを読み込み、続くステップＳ１１３で、セグメント内の画素数Ｌを読み込む。すなわち、『［１］フレームレートとフレーム間予測誤差電力との関係』で説明したＸサンプルのＸの値とＬサンブルのＬの値とを読み込むのである。

続いて、ステップＳ１１４で、ステップＳ１１２で読み込んだ画素数ＸをステップＳ１１３で読み込んだ画素数Ｌで除算することで、セグメント数（Ｘ／Ｌ）を算出する。

このようにして、ステップＳ１０１〜ステップＳ１１４の処理を終了すると、続いて、ステップＳ１１５で、ステップＳ１０４の算出値にＦ^-2と定数パラメータκ₁ を乗じた値を算出することで、式（３４）に記述されるα₁ Ｆ^-2を算出する。

すなわち、ステップＳ１０４の算出値に定数パラメータκ₁ を乗ずることで、式（１１）のα₁ の定義式に従ってモデルパラメータα₁ を算出して、それにＦ^-2を乗ずることで、式（３４）に記述されるα₁ Ｆ^-2を算出するのである。

続いて、ステップＳ１１６で、ステップＳ１０６の算出値にＦ^-1と定数パラメータκ₂ の２倍値（２×κ₂ ）を乗じた値を算出することで、式（３４）に記述されるα₂ Ｆ^-1を算出する。

すなわち、ステップＳ１０６の算出値に定数パラメータκ₁ の２倍値（２×κ₂ ）を乗ずることで、式（１１）のα₂ の定義式に従ってモデルパラメータα₂ を算出して、それにＦ^-1を乗ずることで、式（３４）に記述されるα₂ Ｆ^-1を算出するのである。

続いて、ステップＳ１１７で、ステップＳ１０７，Ｓ１０８，Ｓ１１５，Ｓ１１６の算出値の和を算出することで、式（３４）の分子の値を算出する。

すなわち、ステップＳ１０７の算出値であるα₄ と、ステップＳ１０８の算出値であるα₃ と、ステップＳ１１５の算出値であるα₁ Ｆ^-2と、ステップＳ１１６の算出値であるα₂ Ｆ^-1との和を算出することで、式（３４）の分子の値
α₁ Ｆ^-2＋α₂ Ｆ^-1＋α₃ ＋α₄
を算出するのである。

続いて、ステップＳ１１８で、ステップＳ１１４の算出値から１を減算した値にステップＳ１０４の算出値と定数パラメータκ_1,κ₁'を乗じた値を算出することで、式（３４）の分母の値を算出する。

すなわち、ステップＳ１１４の算出値から１を減算した値である（Ｘ／Ｌ−１）に、ステップＳ１０４の算出値である「ΣΣ（ｄ／ｄｘ（ｆ_t-1(ｘ））² 」と定数パラメータκ₁ との乗算値として定義されるモデルパラメータα₁ を乗じて、さらにそれに定数パラメータκ₁'を乗ずることで、式（３４）の分母の値
（Ｘ／Ｌ−１）α₁ κ₁'
を算出するのである。

続いて、ステップＳ１１９で、ステップＳ１１７の算出値をステップＳ１１８の算出値で除算した値を算出することで、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ^* （Ｆ）を算出する。

すなわち、式（３４）の定義に従い、ステップＳ１１７の算出値であるα₁ Ｆ^-2＋α₂ Ｆ^-1＋α₃ ＋α₄ を、ステップＳ１１８の算出値である（Ｘ／Ｌ−１）α₁ κ₁'で除算することで、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ^* （Ｆ）を算出するのである。

このようにして、動き推定精度算出部１２は、フレームレートが与えられた場合に、式（３４）に従って、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ^* （Ｆ）を算出するのである。

次に、図３のフローチャートに従って、ステップＳ１０８で実行するモデルパラメータα₃ の算出処理の詳細について説明する。

ここで、モデルパラメータα₃ は、式（１１）に記載するように、式（９）で定義される〜Ｎ（ｘ）² の総和として定義されるものである。

動き推定精度算出部１２は、図２のフローチャートのステップＳ１０８の処理に入ると、図３のフローチャートに示すように、まず最初に、ステップＳ２０１で、符号化対象フレームを読み込み、続くステップＳ２０２で、参照フレームを読み込む。

続いて、ステップＳ２０３で、補間フィルタの伝達関数（前述の式（２）に記述される補間係数ψ_j ［ｋ］）を算出する。

続いて、ステップＳ２０４で、原信号に重畳する雑音電力（式（９）の右辺の第一項）を推定する。

続いて、ステップＳ２０５で、補間フィルタ通過後の原信号に重畳する雑音電力（式（９）の右辺の第二項）を推定する。

続いて、ステップＳ２０６で、補間位置の画素値の推定誤差電力（式（９）の右辺の第三項）を推定する。

一方、ステップＳ２０７で、量子化パラメータを読み込み、続くステップＳ２０８で、読み込んだ量子化パラメータに対応する量子化ステップ幅を算出する。

続いて、ステップＳ２０９で、補間フィルタ通過後の参照画像の量子化誤差電力（式（９）の右辺の第四項）を推定する。

このようにして、ステップＳ２０１〜ステップＳ２０９の処理を終了すると、最後に、ステップＳ２１０で、ステップＳ２０４，Ｓ２０５，Ｓ２０６，Ｓ２０９で求めた電力の和を算出することで、式（１１）および式（９）で定義されるモデルパラメータα₃ を算出して、図２のフローチャートのステップＳ１０８の処理を終了する。

図４に、以上に説明した処理を実行する動き推定精度算出部１２の装置構成を図示する。

動き推定精度算出部１２は、この図に示すように、符号化対象フレーム記憶部１０１と、参照フレーム記憶部１０２と、画素間差分値算出部１０３と、画素間差分値記憶部１０４と、二乗和算出部１０５と、テイラー展開近似誤差算出部１０６と、テイラー展開近似誤差記憶部１０７と、積算値加算処理部１０８と、修正テイラー展開近似誤差記憶部１０９と、二乗和算出部１１０と、テイラー展開近似誤差二乗和記憶部１１１と、残差成分算出部１１２と、残差成分記憶部１１３と、フレームレート記憶部１１４と、逆数算出部１１５と、フレームレート逆数記憶部１１６と、二乗値算出部１１７と、フレームレート逆数二乗値記憶部１１８と、セグメント数算出部１１９と、セグメント数記憶部１２０と、減算処理部１２１と、セグメント数記憶部１２２と、パラメータ記憶部１２３と、パラメータ記憶部１２４と、積算処理部１２５と、画素間差分値二乗和記憶部１２６と、積算処理部１２７と、積算処理部１２８と、加算処理部１２９と、加算値記憶部１３０と、積算処理部１３１と、積算値記憶部１３２と、除算処理部１３３とを備える。

このように構成される動き推定精度算出部１２では、符号化対象フレーム記憶部１０１は、符号化対象フレームを記憶する。参照フレーム記憶部１０２は、参照フレームを記憶する。

画素間差分値算出部１０３は、図２のフローチャートのステップＳ１０３の処理を実行するものであって、参照フレームにおける隣接画素間の差分値を算出する。画素間差分値記憶部１０４は、画素間差分値算出部１０３の算出した隣接画素間差分値を記憶する。二乗和算出部１０５は、図２のフローチャートのステップＳ１０４の処理を実行するものであって、画素間差分値算出部１０３の算出した隣接画素間差分値の二乗和を算出する。

テイラー展開近似誤差算出部１０６は、図２のフローチャートのステップＳ１０５の処理を実行するものであって、フレーム間予測誤差に対するテイラー展開の近似誤差を算出する。テイラー展開近似誤差記憶部１０７は、テイラー展開近似誤差算出部１０６の算出したテイラー展開の近似誤差を記憶する。

積算値加算処理部１０８は、図２のフローチャートのステップＳ１０６の処理を実行するものであって、テイラー展開近似誤差算出部１０６の算出したテイラー展開の近似誤差と画素間差分値算出部１０３の算出した隣接画素間差分値との積の和を算出する。修正テイラー展開近似誤差記憶部１０９は、積算値加算処理部１０８の算出値（修正テイラー展開近似誤差と称している）を記憶する。

二乗和算出部１１０は、図２のフローチャートのステップＳ１０７の処理を実行するものであって、テイラー展開近似誤差算出部１０６の算出したテイラー展開近似誤差の二乗和を算出することでモデルパラメータα₄ を算出する。テイラー展開近似誤差二乗和記憶部１１１は、二乗和算出部１１０の算出したモデルパラメータα₄ を記憶する。

残差成分算出部１１２は、図２のフローチャートのステップＳ１０８の処理を実行するものであって、図３のフローチャートの処理を実行することで、モデルパラメータα₃ を算出する。残差成分記憶部１１３は、残差成分算出部１１２の算出したモデルパラメータα₃ を記憶する。

フレームレート記憶部１１４は、フレームレートＦを記憶する。逆数算出部１１５は、図２のフローチャートのステップＳ１１０の処理を実行するものであって、フレームレートの逆数Ｆ^-1を算出する。フレームレート逆数記憶部１１６は、逆数算出部１１５の算出したフレームレートの逆数Ｆ^-1を記憶する。二乗値算出部１１７は、図２のフローチャートのステップＳ１１１の処理を実行するものであって、フレームレートの逆数の二乗値Ｆ^-2を算出する。フレームレート逆数二乗値記憶部１１８は、二乗値算出部１１７の算出したフレームレートの逆数の二乗値Ｆ^-2を記憶する。

セグメント数算出部１１９は、図２のフローチャートのステップＳ１１４の処理を実行するものであって、セグメント数Ｘ／Ｌを算出する。セグメント数記憶部１２０は、セグメント数算出部１１９の算出したセグメント数Ｘ／Ｌを記憶する。減算処理部１２１は、セグメント数算出部１１９の算出したセグメント数から１を減算した値（Ｘ／Ｌ−１）を算出する。セグメント数記憶部１２２は、減算処理部１２１の算出したセグメント数（Ｘ／Ｌ−１）を記憶する。

パラメータ記憶部１２３は、定数パラメータκ_1,κ₁'を記憶する。パラメータ記憶部１２４は、定数パラメータκ₂ を記憶する。

積算処理部１２５は、二乗和算出部１０５の算出した隣接画素間差分値の二乗和と定数パラメータκ₁ とを乗算することで、式（１１）で定義されるモデルパラメータα₁ を算出する。画素間差分値二乗和記憶部１２６は、積算処理部１２５の算出したモデルパラメータα₁ を記憶する。

積算処理部１２７は、図２のフローチャートのステップＳ１１５の処理に相当する処理を実行するものであって、積算処理部１２５の算出したモデルパラメータα₁ と二乗値算出部１１７の算出したフレームレートの逆数の二乗値Ｆ^-2とを乗算することで、式（３４）に記述されるα₁ Ｆ^-2を算出する。

積算処理部１２８は、図２のフローチャートのステップＳ１１６の処理を実行するものであって、積算値加算処理部１０８の算出値と定数パラメータκ₂ の２倍値と逆数算出部１１５の算出したフレームレートの逆数Ｆ^-1とを乗算することで、式（３４）に記述されるα₂ Ｆ^-1を算出する。

加算処理部１２９は、図２のフローチャートのステップＳ１１７の処理を実行するものであって、積算処理部１２７の算出したα₁ Ｆ^-2と、積算処理部１２８の算出したα₂ Ｆ^-1と、二乗和算出部１１０の算出したモデルパラメータα₄ と、残差成分算出部１１２の算出したモデルパラメータα₃ とを加算することで、式（３４）の分子の値を算出する。加算値記憶部１３０は、加算処理部１２９の算出した値を記憶する。

積算処理部１３１は、図２のフローチャートのステップＳ１１８の処理を実行するものであって、積算処理部１２５の算出したモデルパラメータα₁ と、定数パラメータκ₁'と、減算処理部１２１の算出したセグメント数（Ｘ／Ｌ−１）とを乗算することで、式（３４）の分母の値を算出する。積算値記憶部１３２は、積算処理部１３１の算出値を記憶する。

除算処理部１３３は、図２のフローチャートのステップＳ１１９の処理を実行するものであって、加算処理部１２９の算出値を積算処理部１３１の算出値で除算することで、式（３４）で定義される動き推定精度δ^* （Ｆ）を算出する。

このようにして、動き推定精度算出部１２は、この図４に示す装置構成に従って、図２および図３のフローチャートを実行することで、フレームレートが与えられた場合に、式（３４）に従って、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ^* （Ｆ）を算出するのである。

本発明は、非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化に適用できるものであり、本発明によれば、フレームレートが与えられた場合に、歪み量を一定とした場合の符号量を最小化する動き推定精度を推定することができるようになる。

本発明の映像符号化装置の装置構成図である。 動き推定精度算出部の実行するフローチャートである。 動き推定精度算出部の実行するフローチャートである。 動き推定精度算出部の装置構成図である。

符号の説明

１０１ 符号化対象フレーム記憶部
１０２ 参照フレーム記憶部
１０３ 画素間差分値算出部
１０４ 画素間差分値記憶部
１０５ 二乗和算出部
１０６ テイラー展開近似誤差算出部
１０７ テイラー展開近似誤差記憶部
１０８ 積算値加算処理部
１０９ 修正テイラー展開近似誤差記憶部
１１０ 二乗和算出部
１１１ テイラー展開近似誤差二乗和記憶部
１１２ 残差成分算出部
１１３ 残差成分記憶部
１１４ フレームレート記憶部
１１５ 逆数算出部
１１６ フレームレート逆数記憶部
１１７ 二乗値算出部
１１８ フレームレート逆数二乗値記憶部
１１９ セグメント数算出部
１２０ セグメント数記憶部
１２１ 減算処理部
１２２ セグメント数記憶部
１２３ パラメータ記憶部
１２４ パラメータ記憶部
１２５ 積算処理部
１２６ 画素間差分値二乗和記憶部
１２７ 積算処理部
１２８ 積算処理部
１２９ 加算処理部
１３０ 加算値記憶部
１３１ 積算処理部
１３２ 積算値記憶部
１３３ 除算処理部

Claims (6)

1. 非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられて、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定方法であって、
   フレームレートを入力する過程と、
   あるフレームレートで符号化を行う場合におけるフレーム間予測の予測誤差電力の推定に用いられる関数に記述される４個のモデルパラメータを入力する過程と、
   前記入力した４個のモデルパラメータに基づいて、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる、フレームレートの逆数を変数とする二次関数を決定する過程と、
   前記決定した二次関数に対して、前記入力したフレームレートの値を代入することで、前記入力したフレームで符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する過程と、
   前記推定した動き推定精度を出力する過程とを有し、
   前記入力する過程では、（１）参照フレームにおける隣接画素間の差分値の二乗和から導出されるモデルパラメータと、（２）フレーム間予測誤差に対するテイラー展開の近似誤差と参照フレームにおける隣接画素間差分値との積の和から導出されるモデルパラメータと、（３）原信号に重畳している雑音と参照フレームにおける補間誤差との和の二乗和の近似値から導出されるモデルパラメータと、（４）フレーム間予測誤差に対するテイラー展開の近似誤差の二乗和から導出されるモデルパラメータという４個のモデルパラメータを入力することを、
   特徴とする動き推定精度推定方法。
2. 請求項１に記載の動き推定精度推定方法において、
   前記決定する過程では、フレームレートをＦで表し、前記４個のモデルパラメータをα_1,α_2,α_3,α₄ で表し、動き補償の単位となるセグメントの数をＭで表し、係数をκで表すならば、前記二次関数として、
   （α₁ Ｆ^-2＋α₂ Ｆ^-1＋α₃ ＋α₄ ）／κα₁(Ｍ−１）
   という関数を決定することを、
   特徴とする動き推定精度推定方法。
3. 非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられて、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定装置であって、
   フレームレートを入力するフレームレート入力手段と、
   あるフレームレートで符号化を行う場合におけるフレーム間予測の予測誤差電力の推定に用いられる関数に記述される４個のモデルパラメータを入力するモデルパラメータ入力手段と、
   前記モデルパラメータ入力手段の入力した４個のモデルパラメータに基づいて、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる、フレームレートの逆数を変数とする二次関数を決定する決定手段と、
   前記決定手段の決定した二次関数に対して、前記フレームレート入力手段の入力したフレームレートの値を代入することで、前記フレームレート入力手段の入力したフレームで符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する推定手段と、
   前記推定手段の推定した動き推定精度を出力する出力手段とを備え、
   前記モデルパラメータ入力手段は、（１）参照フレームにおける隣接画素間の差分値の二乗和から導出されるモデルパラメータと、（２）フレーム間予測誤差に対するテイラー展開の近似誤差と参照フレームにおける隣接画素間差分値との積の和から導出されるモデルパラメータと、（３）原信号に重畳している雑音と参照フレームにおける補間誤差との和の二乗和の近似値から導出されるモデルパラメータと、（４）フレーム間予測誤差に対するテイラー展開の近似誤差の二乗和から導出されるモデルパラメータという４個のモデルパラメータを入力することを、
   特徴とする動き推定精度推定装置。
4. 請求項３に記載の動き推定精度推定装置において、
   前記決定手段は、フレームレートをＦで表し、前記４個のモデルパラメータをα_1,α_2,α_3,α₄ で表し、動き補償の単位となるセグメントの数をＭで表し、係数をκで表すならば、前記二次関数として、
   （α₁ Ｆ^-2＋α₂ Ｆ^-1＋α₃ ＋α₄ ）／κα₁(Ｍ−１）
   という関数を決定することを、
   特徴とする動き推定精度推定装置。
5. 請求項１又は請求項２に記載の動き推定精度推定方法をコンピュータに実行させるための動き推定精度推定プログラム。
6. 請求項１又は請求項２に記載の動き推定精度推定方法をコンピュータに実行させるための動き推定精度推定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images