JP4232971B2 - 動き予測情報検出装置 - Google Patents

Description

本発明は、動き予測情報検出装置に関し、特に、重み付き動き補償において処理対象画像に対する近似画像の誤差を最小にする重み付き動き予測情報を高精度かつ高速に決定できる動き予測情報検出装置に関する。

映像効果として、フェードやディゾルブ（クロスフェード）は映像編集で一般的に用いられる。ディゾルブは、図４に示すように２つの画像クリップＡ，Ｂに対して重み係数を徐々に変化させながら切り替えていく重み付き平均化処理である。一方、フェードは、ディゾルブで用いる２画像のうち片方を白画像または黒画像にしたものに相当する。

編集環境の普及と編集後の見た目の良さから、フェードやディゾルブなどの映像効果は多用される傾向にある。しかし、映像圧縮の面から見ると、従来技術では画素全体の段階的な変化を補償する方式を採用していないため、フェードシーンやディゾルブシーンに対しては圧縮効率が芳しくなかった。

映像圧縮方式の国際標準規格MPEG-4 AVC/H.264(ISO/IEC1496-10)では、従来の動き補償に加えて重み付き動き補償の採用を決定しており、フェードシーンやディゾルブシーンの圧縮率の向上が期待されている。

下記非特許文献１，２には、MPEG-4 AVC/H.264の重み付き動き補償がフェードシーンやディゾルブシーンにおいて効果的であることが述べられている。また、本発明者は、下記特許文献（先願）１で、画素値の和、２乗和および積和から重み付き動き予測情報を決定する方法を既に提案している。
特願２００４−２１３２８号公報 Y.Kikuchi and T.Chujoh,"Improved multiple frame motion compensation using frame interpolation"Joint Video Team of ISO/IEC MPEG and ITU-T VCEG,JVT-B075,2002. K.Lillevold,"Improved direct mode for B pictures in TML"ITU-T Video Coding Experts Group,Q15-K44,August 2000.

映像編集で明示的にフェード効果を挿入する場合は、そのフェードの種別および区間情報などを得ることによって重み付き動き予測情報を決定できる。しかし、一般的には、フェードの種別や区間情報が得られておらず、既にフェードが付加された映像から重み付き動き予測情報を決定しなければならない。

上記非特許文献１の技術では、２つの参照フレームに対して重み付き動き予測情報を(0.5,0.5)，(-1,2)のいずれかだけに制限している。重み付き動き予測情報(0.5,0.5)は、処理対象フレームの前１つ、後１つのフレームを参照フレームとする場合に用いられ、重み付き動き予測情報(-1,2)は、処理対象フレームの前２つあるいは後２つのフレームを参照フレームとする場合に用いられる。

しかし、これにおいては、本来、任意の値が設定可能な重み付き動き予測情報が大幅に制限され、処理対象フレームと参照フレーム間および参照フレーム同士間の時間的なフレーム間距離にも制約がある。このため重み付き動き補償を適用できるシーンが限られるという課題がある。

上記非特許文献２の技術では、時間的なフレーム間距離を考慮に入れているため、上記非特許文献１の技術のような参照フレームの制約はない。しかし、この技術は、上記非特許文献１の技術と同様に、参照フレームを１枚とする場合には利用できないという課題がある。また、重み付き動き予測情報のうちオフセット係数を用いていないため、重み付き動き補償の性能を十分に発揮しているとはいえない。

上記特許文献１の技術では、参照フレームの枚数に関わらず、重み係数およびオフセット係数を含めて最適な重み付き動き予測情報を算出するので、精度の面では問題がない。しかし、重み付き動き予測情報の算出にかかる処理負担、特に画素値の２乗和や積和を算出する処理負担が比較的大きいという課題がある。

本発明の目的は、上記課題を解決し、重み付き動き補償において処理対象画像に対する近似画像の誤差を最小にする重み付き動き予測情報を高精度かつ高速に決定できる動き予測情報検出装置を提供することにある。

上記課題を解決するため、本発明は、任意の参照画像から動き補償された近似画像に重み付き動き補償を適用することで処理対象画像に対する近似画像の精度を向上させ、処理対象画像と近似画像との誤差を最小にする重み付き動き予測情報を決定する動き予測情報検出装置であって、処理対象画像および参照画像の特徴量に基づいてフェードが存在するか否か、フェードが存在する場合には該フェードが黒レベルへのフェードか白レベルへのフェードかを判別する判別手段と、前記判別手段での判別に応じた導出式を用いて処理対象画像の画素値および参照画像の画素値の組合せによる演算を実行し、オフセット係数および重み係数を算出する導出手段を備え、前記導出手段は、前記判別手段が黒レベルへのフェードと判別した場合に、オフセット係数を固定値とし、処理対象画像の画素値と重み付き補償された参照画像の画素値との誤差を最小にする重み係数を算出する第１の導出式と、前記判別手段が白レベルへのフェードと判別した場合に、白の値と参照画像の画素値の差に比例定数を乗算した値と、参照画像の画素値との和で、処理対象画像の画素値を近似できるものとし、該近似による参照画像の画素値と処理対象画像の画素値との誤差を最小にする重み係数およびオフセット係数を算出する第２の導出式を有することを基本的な特徴としている。

本発明によれば、処理対象画像および参照画像の特徴量に応じて最適な導出式を用い、処理対象画像の画素値および参照画像の画素値から高精度かつ高速に重み付き動き予測情報を決定することができる。また、重み付き動き予測情報の決定に用いる導出式において計算処理に工夫を施すことにより、計算量を大幅に削減できるので処理負担を軽減することができる。

以下、図面を参照して本発明を説明する。まず、本発明の原理について説明する。１枚（１フレーム）の参照画像を用いて重み付き動き補償を行う場合、処理対象画像における画素値ｐ_ｉは、重み係数ｗ_１とオフセット係数ｗ_２を重み付き動き予測情報として用いて式(1)で近似される。
ｐ_ｉ≒ｗ_１ｐ′_ｉ＋ｗ_２ (1≦i≦N) (1)

なお、ｐ′_ｉは、動き補償された参照画像における画素値を表し、Ｎは、１フレーム内における処理対象画素数、ｉは、１フレームにおける処理対象画素を走査順に並べたときの画素の順番を表す。

ここで、フェード遷移中の画素値に注目すると、画素値の変化率は、変化前の画素値と変化完了後の画素値の差（変化幅）に比例して変化する。特に、黒からのフェードインおよび黒へのフェードアウト（以下、黒フェードと称する。）の場合は、画素値の変化率は、画素値（フェードインでは変化完了後の画素値、フェードアウトでは変化前の画素値）そのものに比例して変化する。例えば、黒へのフェードアウトでは、明るい画素も暗い画素も同じフレーム数を経て黒「0」に収束するため、変化前の画素値が大きいほど変化率も大きい。

逆に、白からのフェードインおよび白へのフェードアウト（以下、白フェードと称する。）の場合は、画素値の変化率は、画素値（フェードインでは変化完了後の画素値、フェードアウトでは変化前の画素値）に反比例して変化する。例えば、白へのフェードアウトでは、明るい画素も暗い画素も同じフレーム数を経て白「255」に収束するため、変化前の画素値が大きいほど変化率は小さい。

このように、黒フェードと白フェードとでは画素値の変化率が相反し、性質が異なる。これらを重み付き動き補償で画一的に扱うのには無理があるため、黒フェードと白フェードにそれぞれ適した重み付き動き予測情報決定処理を用意し、フェードの種別に応じてそれらを適宜利用して重み付き動き予測情報を決定する。すなわち、処理対象画像および参照画像の特徴量に応じて最適な導出式を用い、処理対象画像の画素値および参照画像の画素値から重み付き動き予測情報を決定する。

図１は、本発明に係る動き予測情報検出装置における処理手順の一例を示すフローチャートである。まず、従来の動き補償を参照画像に適用して得られた近似画像の画素値および処理対象画像の画素値をフェード判別処理（Ｓ１）に与える。フェード判別処理（Ｓ１）では、まず、フェードが存在するか否かを判別し、フェードが存在する場合には、さらに、フェードが黒フェードか白フェードかを判別する。これにより非フェード、黒フェード、白フェードかが判別される。

フェードが存在するか否かは、例えば画素値の和のフレーム間での時間的変化を特徴量とし、それが単純減少するか単純増加するかなどの時間的変化の連続性を調べることにより判別できる。なお。この判別に使用する画素は、処理対象画像および参照画像における全ての画素であっても一部の画素であってもよい。また、１フレームにおける画素の平均値、最頻値あるいは代表値などの時間的変化の連続性を調べることによってもこれを判別できる。フェードが存在しない、すなわち非フェードの場合には重み付き動き予測情報の算出処理は行わず処理を終了する。

フェードが存在する場合には、さらに、フェードが黒フェードか白フェードかを判別する。黒フェードか白フェードかは、フレームの前後関係および画素値の和などの比較だけでは判別が困難である。例えば、白からのフェードインと黒へのフェードアウトは、いずれも過去のフレームの方が画素値の和が大きく、フレームの前後関係と画素値の和だけでは両者を区別できない。

この区別を可能にするため、フェード時の画素値はフレーム間の画素値の差に比例して変化するという点に着目し、任意の明るい画素と任意の暗い画素のどちらが大きく変化するかを判断材料とする。

図２、図３はそれぞれ、黒フェードアウト時、白フェードアウト時の時刻ｔ〜ｔ＋１における画素値変化を示す図であり、横軸は１フレーム内の画素位置を示し、縦軸は画素値を示している。

図２に示すように、時刻変化ｔ〜ｔ＋１に伴う画素値の変化率が暗い画素で小さく、かつ明るい画素で大きい場合、黒フェードと判断する。一方、図３に示すように、時刻変化ｔ〜ｔ＋１に伴う画素値の変化率が暗い画素で大きく、かつ明るい画素で小さい場合には白フェードと判断する。このように黒フェードか白フェードかは、参照画像から処理対象画像への画素値の変化率が画素値に対して比例関係にあるか反比例関係にあるかに基づいて判別できる。以上のようにして黒フェードか白フェードかのフェード種別が判別できれば、フェードインかフェードアウトかはフレームの前後関係および画素値の和などの比較で判別できる。

図１に戻って、フェード判別処理（Ｓ１）で黒フェードの存在を判別した場合には、第１の動き予測情報算出処理（Ｓ２）を実行し、白フェードの存在を判別した場合には第２の動き予測情報算出処理（Ｓ３）を実行して重み付き動き予測情報を算出する。

次に、黒フェードの場合の第１の動き予測情報算出処理（Ｓ２）について説明する。上記したように、黒フェードの場合には、画素値の変化率あるいは変化幅は、画素値に比例する。式(1)は、処理対象画像における画素値ｐ_ｉと動き補償された参照画像における画素値ｐ′_ｉの比例関係そのものを表すので、この場合には重み付き動き予測情報の一部であるオフセット係数ｗ_２を固定値０に設定し、適切な重み係数ｗ_１だけで重み付き動き補償を効果的に機能させることができる。この場合、式(1)は式(2)となる。
ｐ_ｉ≒ｗ_１ｐ′_ｉ (1≦i≦N) (2)

このとき、処理対象画像における画素値ｐ_ｉと重み付き動き補償された画素値ｗ_１ｐ′_ｉの類似度を測る尺度として、２乗誤差の総和ｅを式(3)で定義して、ｅを最小にする重み係数ｗ_１を最適な重み係数とする。ここで、ｎは、類似度の評価に用いる画素の数(1≦n≦N)を表し、これは処理対象画像および参照画像の全ての画素であっても一部の画素であってもよい。

重み係数ｗ_１が２乗誤差の総和ｅを最小にするためには、ｅをｗ_１で偏微分した式(4)が０にならなければならないので、重み係数ｗ_１は、式(5)で算出される。

黒フェードの場合の重み係数ｗ_１は式(5)で求めることができるが、計算量の削減を優先させて、式(6)により処理対象画像における画素値ｐ_ｉの和と参照画像における画素値ｐ′_ｉの和から画素値の平均値を求め、その比として重み係数ｗ_１を近似することもできる。なお、この場合、処理対象画像と参照画像における画素数ｎが同一であるので、平均値を求める必要はない。式(6)では画素値の和およびその比を算出するだけでよいので、処理負担は大幅に軽減される。また、フェード判別処理（Ｓ１）で処理対象画像における画素値の和や参照画像における画素値の和を既に求めている場合には、それらを式(5)で再利用すればさらに処理負担が軽減される。

以下に、式(6)が式(5)の近似として有効であるかどうかについて説明する。ここでは説明を簡単にするために、例えば、ｎ＝２、つまり１フレームから２つの画素を取り出し、一方の画素ｐ_２，ｐ′_２の画素値を、他方の画素ｐ_１，ｐ′_１の画素値ａ，ｂに対する比ｒ(≧０),ｓ(≧０)を使って式(7)のように表現したとき、ｒおよびｓにどのような条件が成立すれば式(6)が式(5)の近似として有効であるかを評価する。
ｐ_１＝ａ
ｐ_２＝ｒａ
ｐ′_１＝ｂ
ｐ′_２＝ｓｂ (7)

このとき、式(5)による重み係数ｗ_１は、式(8)で表され、式(６)による重み係数ｗ_１は、式(９)で表される。

両者の差が十分小さくなる条件は、差の絶対値を任意の正の定数ε(≧０)未満に抑えればよい、つまり、式(10)を満たせばよいということである。式(10)を整理すると式(11)が得られる。

画素値ａ，ｂは任意であるので、画素値に依存せず大勢に影響する項だけに注目すると、式(12)が得られる。

式(12)から、式(6)が式(5)の近似として有効なのはｓ＝１の近傍あるいはｒ＝ｓの近傍であるということがいえる。これは、参照画像の画素値が全て一定、あるいは処理対象画像における画素値の変化率と参照画像における画素値の変化率が一致することを意味する。

具体的には、ｓ＝１はフェードインの開始点付近およびフェードアウトの終点付近を表し、ｒ＝ｓは理想的なフェードが実現されている状態を表しており、このような状態では式(6)を用いて重み係数ｗ_１を求めても問題はない。また、式(6)は画素値の平均化処理を行うことに相当するので、画素にノイズが含まれている状態であっても、平均が０の一般的な加法性ガウス雑音であれば、式(6)による算出でノイズが打ち消される。したがって、ノイズに対する耐性が高くなるという利点もある。

以上のことはｎ＞２の場合にそのまま一般化できるため、式(6)は計算負担を軽減させる近似式というだけでなく、上記の条件下で十分な精度を保ったまま重み係数ｗ_１を決定できることを示している。また、式(6)をさらに簡略化して、いくつかの個々の画素値の比における平均値、最頻値または中央値により重み係数ｗ_１を決定するようにしてもよい。

次に、白フェードの場合の第２の動き予測情報算出処理（Ｓ３）について説明する。上記したように、白フェードの場合には、画素値の変化率あるいは変化幅は、画素値に反比例する。式(1)は、処理対象画像における画素値ｐ_ｉと動き補償された参照画像における画素値ｐ′_ｉの比例関係を前提としているので、そのままでは白フェードを補償することは困難である。白フェードの場合の変換を、精度に支障を来すことなく式(1)で可能にするには、オフセット係数ｗ_２を適切に設定して処理対象画像の画素値ｐ_ｉと重み付き動き補償で求められる画素値の誤差を最小にする必要がある。

重み係数ｗ_１だけでなくオフセット係数ｗ_２を重み付き動き予測情報として導出するため、白フェードの場合には画素値の増減が画素値そのものではなく画素値の差（変化幅）に比例することを利用する。すなわち、白フェードの場合の処理対象画像における画素値ｐ_ｉは、参照画像における画素値ｐ′_ｉと白(＝255)の差に何らかの比例定数α_ｉを介して近似できるものとして式(13)で定式化できる。
ｐ_ｉ≒ｐ′_ｉ＋α_ｉ(255−ｐ′_ｉ) (13)

式(13)は、式(1)の形に合わせて変形すると、式(14)のようになる。
ｐ_ｉ≒(1−α_ｉ)ｐ′_ｉ＋255α_ｉ (14)

一方で、比例定数α_ｉは式(13)から式(15)のように得られるので、元々の重み付き動き補償の式(1)との対応関係を考慮すると、重み係数ｗ_１は個々の重み係数の平均として式(16)で求めることができる。式(16)は、処理対象画像の個々の画素値の補数および参照画像の個々の画素値の補数の比の平均で重み係数ｗ_１が求められることを示している。

白フェードの場合の重み係数ｗ_１は式(16)で求めることができるが、白からのフェードインの開始点付近や白へのフェードアウトの終端付近では、式(16)を簡略化した近似式(17)で重み係数ｗ_１を求めることにより、計算量の削減を優先させることができる。式(17)は、処理対象画像の画素値平均の補数および参照画像の画素値平均の補数の比で重み係数ｗ_１が求められることを示している。

一方、オフセット係数ｗ_２は、式(18)で求めることができる。

また、２乗誤差の総和eを式(19)で定義して、重み係数ｗ_１が決定されたとき、ｅを最小にするオフセット係数ｗ_２を最適なオフセット係数ｗ_２として求めることもできる。

オフセット係数ｗ_２が２乗誤差の総和ｅを最小にするためには、ｅをｗ_２で偏微分した式(20)が０にならなければならないので、オフセット係数ｗ_２は、式(21)で求めることができる。

式(18)，(21)のいずれの場合でも、オフセット係数ｗ_２は重み係数ｗ_１に依存して求められる。すなわち、既に求めた重み係数ｗ_１からオフセット係数ｗ_２を求めることができる。なお、フェード判別処理などで既に求めた処理対象画像における画素値の和や参照画像における画素値の和は、式(21)においても再利用できる。

また、重み付き動き予測情報は処理過程で量子化されて格納されることを考慮すると、量子化誤差が含まれた重み係数ｗ_１を用いてオフセット係数ｗ_２を求めることによりオフセット係数ｗ_２の精度を向上させることができる。

本発明により最適に決定された重み付き動き予測情報を用いることにより、MPEG-4 AVC/H.264において、従来の動き補償より効果的な圧縮率を実現できる。逆に、重み付き動き予測情報が圧縮率を改善する箇所を精査すれば、フェードシーンやディゾルブシーンなどを検出することができる。

本発明に係る動き予測情報検出装置における処理手順の一例を示すフローチャートである。 黒フェードアウト時における画素値変化の説明図である。 白フェードアウト時における画素値変化の説明図である。 ディゾルブにおける重み係数推移の説明図である。

符号の説明

Ｓ１・・・フェード判別処理、Ｓ２・・・第１の動き予測情報算出処理、Ｓ３・・・第２の動き予測情報算出処理

Claims (14)

1. 任意の参照画像から動き補償された近似画像に重み付き動き補償を適用することで処理対象画像に対する近似画像の精度を向上させ、処理対象画像と近似画像との誤差を最小にする重み付き動き予測情報を決定する動き予測情報検出装置であって、
   処理対象画像および参照画像の特徴量に基づいてフェードが存在するか否か、フェードが存在する場合には該フェードが黒レベルへのフェードか白レベルへのフェードかを判別する判別手段と、
   前記判別手段での判別に応じた導出式を用いて処理対象画像の画素値および参照画像の画素値の組合せによる演算を実行し、オフセット係数および重み係数を算出する導出手段を備え、
   前記導出手段は、前記判別手段が黒レベルへのフェードと判別した場合に、オフセット係数を固定値とし、処理対象画像の画素値と重み付き補償された参照画像の画素値との誤差を最小にする重み係数を算出する第１の導出式と、前記判別手段が白レベルへのフェードと判別した場合に、白の値と参照画像の画素値の差に比例定数を乗算した値と、参照画像の画素値との和で、処理対象画像の画素値を近似できるものとし、該近似による参照画像の画素値と処理対象画像の画素値との誤差を最小にする重み係数およびオフセット係数を算出する第２の導出式を有することを特徴とする動き予測情報検出装置。
2. 前記判別手段は、処理対象画像および参照画像における全てまたは一部の画素値から特徴量を抽出する手段を有することを特徴とする請求項１に記載の動き予測情報検出装置。
3. 前記判別手段は、フェードが存在するか否かを判別するために処理対象画像の画素値の和および参照画像の画素値の和の時間的推移を特徴量とすることを特徴とする請求項１に記載の動き予測情報検出装置。
4. 前記判別手段は、特徴量の時間的推移が単純減少あるいは単純増加するかによってフェードが存在するか否かを判別することを特徴とする請求項３に記載の動き予測情報検出装置。
5. 前記判別手段は、黒レベルへのフェードか白レベルへのフェードかを判別するために参照画像から処理対象画像への画素値の変化率を特徴量とすることを特徴とする請求項１に記載の動き予測情報検出装置。
6. 前記判別手段は、参照画像から処理対象画像への画素値の変化率が画素値に対して比例関係にあるか反比例関係にあるかに基づいて黒レベルへのフェードか白レベルへのフェードかを判別することを特徴とする請求項５に記載の動き予測情報検出装置。
7. 前記第１の導出式は、処理対象画像の画素値の和および参照画像の画素値の和および処理対象画素数を使って、それぞれの画素値の平均値を求め、その比を重み係数として算出することを特徴とする請求項１に記載の動き予測情報検出装置。
8. 前記第１の導出式は、処理対象画像の画素値の和および参照画像の画素値の和をそれぞれ求め、その比を重み係数として算出することを特徴とする請求項１に記載の動き予測情報検出装置。
9. 前記導出手段は、前記第１の導出式を用いて重み係数を算出するに際し、前記判別手段あるいは自身が既に導出した処理対象画像の画素値の和および参照画像の画素値の和を再利用するように構成されていることを特徴とする請求項７または８に記載の動き予測情報検出装置。
10. 前記第１の導出式は、処理対象画像および参照画像において対応する、いくつかの個々の画素の画素値の比における平均値または最頻値または中央値を重み係数として算出することを特徴とする請求項１に記載の動き予測情報検出装置。
11. 前記第２の導出式は、処理対象画像の個々の画素値および参照画像の個々の画素値および処理対象画素数を使って、画素値の補数の比の平均を重み係数として算出することを特徴とする請求項１に記載の動き予測情報検出装置。
12. 前記第２の導出式は、処理対象画像の画素値の平均および参照画像の画素値の平均を使って、平均の補数の比を重み係数として算出することを特徴とする請求項１に記載の動き予測情報検出装置。
13. 前記第２の導出式は、自身が既に算出した重み係数を変数としてオフセット係数を算出することを特徴とする請求項１１または１２に記載の動き予測情報検出装置。
14. 前記第２の導出式は、オフセット係数を算出する際に、自身が既に算出した重み係数に量子化誤差が含まれるように構成されていることを特徴とする請求項１３に記載の動き予測情報検出装置。

Images