JP3712906B2 - 動きベクトル検出装置 - Google Patents

Description

【０００１】
【発明の属する技術の分野】
本発明は、動き補償フレーム間符号化を基本とした高能率符号化方式における動きベクトル検出装置に係り、特にフレーム予測時の動きベクトル検出の改良に関するものである。
【０００２】
［発明の概要］
本発明は、インターレースシーケンスにおいて輝度色差フォーマットが４：２：０フォーマットである画像を用いた高能率映像符号化における動きベクトル検出に関わる。
【０００３】
代表的な高能率映像符号化方式であるＭＰＥＧ−２に準拠して構成される現在一般的な高能率符号化装置では、輝度成分のみを使用して動きベクトル検出を行っている。そして、４：２：０フォーマットのとき色差成分の動きベクトルは、輝度成分の動きベクトルの水平成分および垂直成分の双方を２で除算することによりスケーリングが行われる。このことによりフレーム予測の場合に動きベクトルの値によっては、参照画像の輝度成分と色差成分のフィールドパリティが異なる場合がある。
【０００４】
このような場合、従来の高能率符号化装置では、動きのある画像において予測画像の色差成分がフィールド時間の動き量だけ輝度成分からずれ、色差成分の予測誤差を増加させ、色差成分の画質劣化を引き起こしていた。
【０００５】
本発明は、フレーム予測のとき輝度成分と色差成分の参照フィールドのパリティが異なるベクトルをベクトル探索範囲から除外することで、従来のハードウェアとほぼ同じ回路規模で色情報の劣化を改善するものである。
【０００６】
【従来の技術】
デジタルテレビジョン放送などでは、一般的に、インターレースシーケンス、輝度色差フォーマットが４：２：０である画像をＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２ビデオ）で符号化している。
【０００７】
インターレースシーケンスは、フィールド周期だけ時間的に分離された一連のフィールドから構成される。１つのフレームは、第１フィールド（以下「トップフィールド」という）と第２フィールド（以下「ボトムフィールド」という）を１ラインおきに構成している。フレームおよびフィールドは、１つの輝度マトリクス（Ｙ）と２つの色差マトリクス（ＣｂとＣｒ）とで構成される。
【０００８】
４：２：０フォーマットでは、ＣｂおよびＣｒのマトリクスは、水平および垂直の両次元で、Ｙマトリクスの２分の１のサイズである。Ｙマトリクスは、偶数の行および列を持つ。輝度信号の画素（輝度標本）と色差信号の画素（色差標本）の関係は、図３、図４に示すようになっている。なお、図３、図４において、ｘは水平走査方向を示し、ｙは垂直走査方向を示す。また、図４において、ｔはフィールド間の時間間隔の方向を示す。
【０００９】
図３に示す４：２：０フォーマットにおける輝度標本と色差標本のｘ−ｙ平面位置関係図において、×印は輝度標本を示し、○印は色差標本を示す。色差標本の水平位置は、１サンプルおきに輝度標本の位置に一致することが示されている。
【００１０】
図４は、４：２：０フォーマットにおける輝度標本と色差標本のｙ−ｔ断面位置関係図である。図４では、輝度信号は、各ラインにおいて標本化されるが、色差信号では、ＣｂとＣｒが１ライン毎に交互に各フィールドに標本化されることが示されている。
【００１１】
ところで、動き補償フレーム間符号化では、画像を１６画素×１６ラインごとに切り出したマクロブロックごとに予測誤差を求める。この予測モードには、トップフィールドとボトムフィールドのそれぞれ独立に動きベクトルを伝送するフィールド予測と、２つのフィールドをまとめて１つのフレームとし動きベクトルを伝送するフレーム予測とがある。
【００１２】
そして、動きベクトルの検出では、ベクトル探索範囲内で参照する画像とこれから符号化しようとする画像との相関が高いベクトルを動きベクトルとして選び出し、これを輝度成分の動きベクトルとし、色差成分の動きベクトルは、輝度成分のベクトルの水平成分および垂直成分の双方を２で除算することによりスケーリングを行う。
【００１３】
ここに、従来の動きベクトルの検出方式では、回路規模が大きくならないように、色差成分の相関を使用せず、輝度成分の相関のみを用いて動きベクトル検出が行われていた。
【００１４】
【発明が解決しようとする課題】
ところが、インターレースシーケンス、４：２：０フォーマットの画像について、従来のように輝度成分の相関のみを用いてフレーム予測の動きベクトル検出を行うと、動きを持つ画像において色差成分に劣化の生じることがある。
【００１５】
即ち、符号化しようとする画像に動きがほとんど無い場合には、フィールド間で位置が変わらないので、トップフィールドとボトムフィールドの相関は高い。この場合には、輝度成分の相関によるベクトル探索結果に基づきなされた予測では、色差成分が大きくずれることは一般的に少ない。
【００１６】
一方、符号化しようとする画像に一定の動きがある場合には、トップフィールドとボトムフィールドは、１フィールド時間の動き量によって位置がずれ、相関は低くなる。この場合、輝度成分によるベクトル探索結果に基づきなされた予測では、参照フレームと参照フレームのトップフィールドとボトムフィールドのそれぞれの時間距離が等しくなる同パリティが選ばれる確率が高いが、輝度成分は同パリティであるが色差成分が逆パリティとなることがある。
【００１７】
以下、図５を参照して具体的に説明する。図５は、フレーム予測において動きベクトルの垂直成分の値による参照フィールドと符号化フィールドのパリティを示す。
【００１８】
図５において、ｔｏｐＹ、ｂｏｔｔｏｍＹは、符号化フレームのトップフィールド、ボトムフィールドにおける輝度成分を示す。同様に、ｔｏｐＣ、ｂｏｔｔｏｍＣは、符号化フレームのトップフィールド、ボトムフィールドにおける色差成分を示す。
【００１９】
そして、選ばれたベクトルが例えば±（４ｎ＋０．０）（ただし、ｎは正整数）の場合、符号化フレームのトップフィールド（ｔｏｐＹおよびｔｏｐＣ）は参照フレームのトップフィールド（ｔｏｐ）が選択され、符号化フレームのボトムフィールド（ｂｏｔｔｏｍＹおよびｂｏｔｔｏｍＣ）は同じく参照フレームのボトムフィールド（ｂｏｔｔｏｍ）が選択される。
【００２０】
多くの場合、このように参照フレームと符号化フレームのトップフィールドとボトムフィールドのそれぞれの時間距離が等しくなる同パリティが選ばれる。なお、図５において、（ｔｏｐ＋ｂｏｔｔｏｍ）／２は、２つのフィールドを直線補間によって内挿することを意味する。
【００２１】
ところが、図５に示すように、選ばれたベクトルが、…，−１０．０，−６．０，−２．０，＋２．０，＋６．０，＋１０．０，…のように、±（４ｎ＋２．０）の場合には、異なる選択が行われることがある。即ち、輝度成分については、符号化フレームのトップフィールド（ｔｏｐＹ）は参照フレームのトップフィールド（ｔｏｐ）が選択され、符号化フレームのボトムフィールド（ｂｏｔｔｏｍＹ）は同じく参照フレームのボトムフィールド（ｂｏｔｔｏｍ）が選択される。
【００２２】
しかし、色差成分については、符号化フレームのトップフィールド（ｔｏｐＣ）は参照フレームのボトムフィールド（ｂｏｔｔｏｍ）が選択され、符号化フレームのボトムフィールド（ｂｏｔｔｏｍＣ）は参照フレームのトップフィールド（ｔｏｐ）が選択される。このように、色差成分では、参照フレームと符号化フレームで逆パリティとなる。
【００２３】
図６は、色差成分が反転する動きベクトル（垂直成分が２．０の場合）の説明図である。図６において、Ｙ_１、Ｙ_２は、トップフィールド、ボトムフィールドの輝度標本を示す。Ｃ_１は、トップフィールドの色差標本を示す。Ｃ_２は、ボトムフィールドの色差標本を示す。
【００２４】
上記のように、輝度成分は同パリティであるが色差成分は逆パリティとなる場合には、参照フレーム（reference frame）と符号化フレーム（coding frame）の関係は、図６に示すようになる。
【００２５】
即ち、輝度成分は、同パリティであるので、参照フレームのトップフィールドＹ_１、ボトムフィールドＹ_２は、符号化フレームにおいても対応してトップフィールドＹ_１、ボトムフィールドＹ_２となる。
【００２６】
一方、色差成分は、逆パリティであるので、参照フレームのトップフィールドＣ_１は、符号化フレームではボトムフィールドＣ_２に対応し、参照フレームのボトムフィールドＣ_２は、符号化フレームではトップフィールドＣ_１に対応する。つまり、形成された予測は、色差成分が1フィールド時間の動き量だけずれることになる。
【００２７】
このように符号化しようとする画像に動きがある場合に、フレーム予測において垂直成分が±（４ｎ＋２．０）のベクトルが選ばれると、色差成分がずれた予測を使用することになる。
【００２８】
その結果、従来では、色差成分の予測誤差が増加し、その増加分を決められた伝送容量で伝送するため粗く量子化され、色差成分の画質劣化を招いていた。
【００２９】
本発明は上記事情に鑑みてなされたものであり、フレーム予測のとき輝度成分と色差成分の参照フィールドのパリティが異なるベクトルをベクトル探索範囲から除外することにより、従来のハードウェアとほぼ同じ回路規模で色情報の劣化を改善ができる動きベクトル検出装置を提供することを目的としている。
【００３０】
【課題を解決するための手段】
上記目的を達成するために本発明は、画面形式として２：１インターレース、信号形式として輝度信号と２つの色差信号を持つコンポーネント形式であって、かつ、前記２つの色差信号が垂直方向に２分の１に間引きされた形式を持つテレビジョン信号について、前記輝度信号と前記２つの色差信号の第１フィールドと第２フィールドを１ラインおきに構成してフレームを形成し、該フレームに形成された輝度信号で動きベクトルを検出し、該検出された動きベクトルを前記２つの色差信号にも適用することを前提とした動きベクトル検出装置において、
動きベクトルの垂直成分の大きさを前記フレームに形成された輝度信号の走査線間隔を単位として表すとき、フレーム予測時の動きベクトル検出範囲から、垂直成分が、±（４ｎ＋２．０）（ただし、ｎは正整数）となる動きベクトルを除外する動きベクトル除外手段を設けたことを特徴としている。
【００３１】
かかる請求項１に記載の発明によれば、フレーム予測時の動きベクトル検出範囲から、垂直成分が±（４ｎ＋２．０）となる動きベクトルを除外してベクトル検出を行う。したがって、輝度成分と色差成分の参照フィールドが逆パリティとなる状況を回避してベクトル検出が行えるので、動き量による予測の色差成分にずれが生ずるのが抑制され、色差成分の画質劣化が押さえられる。
【００３２】
【発明の実施の形態】
図１は、本発明に係る動きベクトル検出装置の実施の形態の構成ブロック図である。
【００３３】
図１において、本実施形態の動きベクトル検出装置は、参照する画像（参照画像）を格納するフレームメモリ１と、符号化する画像（符号化画像）を格納するフレームメモリ２と、フレームメモリ１の参照画像を１６画素×１６ラインのマクロブロックに分割するマクロブロック化処理部３と、フレームメモリ２の符号化画像を１６画素×１６ラインのマクロブロックに分割するマクロブロック化処理部４と、参照画像のマクロブロックと符号化画像のマクロブロックとに基づき予測誤差を計算する予測誤差計算部５と、フレーム予測で得られた予測誤差とフィールド予測で得られた予測誤差との大小比較を行って動きベクトルを検出し、出力する予測誤差比較部６とを備える動きベクトル検出装置において、マクロブロック化処理部３に与える動きベクトル検出範囲８について本実施形態の除外処理を行う判断部７を設けてある。
【００３４】
即ち、判断部７には、図示しない制御部から、動きベクトル検出範囲８が入力するとともに、予測モード９が入力する。予測モード９は、予測がフレーム予測であるかフィールド予測であるかを示すものである。それらの内容については、前述したので、説明を省略する。
【００３５】
判断部７は、予測モード９がフレーム予測であるとき、動きベクトル検出範囲８について所定の除外操作を行うようになっている。したがって、判断部７は、請求項における動きベクトル除外手段に対応している。
【００３６】
次に、図１、図２を参照して本実施形態の動きベクトル検出装置の動作を説明する。なお、図２は、本実施形態の動きベクトル検出装置の動作フローチャートである。
【００３７】
図において、判断部７には、図示しない制御部から動きベクトル検出範囲８が入力する（ステップＳ１）。
【００３８】
判断部７は、予測モード９がフィールド予測であるときは（ステップＳ２；Ｎｏ）、動きベクトル検出範囲８をそのまま動きベクトル検出処理に渡す（ステップＳ４）。
【００３９】
一方、判断部７は、予測モード９がフレーム予測であるときは（ステップＳ２；Ｙｅｓ）、動きベクトル検出範囲８が、動きベクトルの垂直成分で、…，−１０．０，−６．０，−２．０，＋２．０，＋６．０，＋１０．０，…のように、±（４ｎ＋２．０）となる動きベクトルを監視する（ステップＳ３）。ただし、ｎは正整数である。
【００４０】
そして、判断部７は、垂直成分が、±（４ｎ＋２．０）ではない動きベクトルのみ（ステップＳ３；Ｎｏ）を動きベクトル検出処理に渡す（ステップＳ４）。即ち、判断部７は、垂直成分が、±（４ｎ＋２．０）である動きベクトルを除外する。判断部７が出力する動きベクトル検出範囲は、マクロブロック化処理部３に入力する。
【００４１】
次いで、ステップＳ４の動きベクトル検出処理は、フレームメモリ１，２とマクロブロック化処理部３，４と予測誤差計算部５と予測誤差比較部６の全体で行われる。
【００４２】
このステップＳ４の動きベクトル検出処理では、以上のようにして本実施形態の動きベクトル検出範囲の制限を受けて行うフレーム予測の動きベクトルの検出と、本実施形態の対象外である従来の方法によるフィールド予測の動きベクトルの検出とが行われるが、ここではフレーム予測時の検出動作を念頭に置いて説明する。
【００４３】
図１において、フレームメモリ１の参照画像は、既にＭＰＥＧ−２の方式で高能率符号化された４：２：０フォーマットの画像であり、フレームメモリ２の符号化画像は、これからＭＰＥＧ−２の方式で高能率符号化する４：２：０フォーマットの画像である。つまり、両画像とも、トップフィールドとボトムフィールドとからなり、輝度成分と２つの色差成分とで構成される。
【００４４】
マクロブロック化処理部４は、フレームメモリ２の符号化画像の輝度成分から１６画素×１６ラインのマクロブロックを切り出す。またマクロブロック化処理部３は、フレームメモリ１の参照画像の輝度成分から、判断部７から入力する動きベクトル検出範囲の各動きベクトルだけ位置シフトした１６画素×１６ラインのマクロブロックを切り出す。
【００４５】
また、予測誤差計算部５は、符号化マクロブロックと参照マクロブロックのブロックマッチングを行い、即ち、符号化マクロブロックと参照マクロブロックの各輝度成分画素の差分の絶対値累積和で表される予測誤差を計算する。
そして、予測誤差比較部６が、本実施形態の動きベクトル検出範囲に制限を受けて検出したフレーム予測の動きベクトルと、従来方法で検出したフィールド予測の動きベクトルとを比較し、予測誤差が最小となる予測モードをその符号化マクロブロックの動きベクトルとして出力する。
【００４６】
ここに本実施形態によれば、予測誤差比較部６の比較結果、フレーム予測の動きベクトルが選択され、出力されても、輝度成分と色差成分の参照フィールドが逆パリティとなる状況を回避してベクトル検出が行われたので、復号器では、動き量による予測の色差成分にずれが生ずることなく、色差成分の画質劣化が目立たないように復元できる。
【００４７】
本実施形態の適用前と適用後の画像を比較すると、色差情報が多く、つまり鮮度が高く、かつ、動き量が大きい画像において顕著な画質改善効果が得られた。特に、視覚的に目立ちやすい赤色が動く画像では、色の乱れが大きく改善されたのが確認できた。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、フレーム予測のとき輝度成分と色差成分の参照フィールドのパリティが異なるベクトルをベクトル探索範囲から除外するので、色情報の劣化を改善することができる。
【００４９】
また、本発明の動きベクトル検出装置は、フレーム予測時の動きベクトル検出を色差成分を用いて行うのを追加するのではなく、輝度成分のみを用いた従来方式の動きベクトル検出において動きベクトル検出範囲から一部除外するだけで実現できるので、従来方式と比較しても回路規模が大きくならず、容易に導入できる。
【図面の簡単な説明】
【図１】本発明に係る動きベクトル検出装置の実施形態を示すブロック図である。
【図２】本実施形態の動きベクトル検出装置の動作フローチャートである。
【図３】４：２：０フォーマットにおける輝度標本と色差標本の平面位置関係図（ｘ−ｙ平面）である。
【図４】４：２：０フォーマットにおける輝度標本と色差標本の時間位置関係図（ｙ−ｔ断面）である。
【図５】フレーム予測において動きベクトルの垂直成分の値による参照フィールドと符号化フィールドのパリティを示す図である。
【図６】色差成分が反転する動きベクトル（垂直成分が２．０の場合）の説明図である。
【符号の説明】
１ 参照画像用のフレームメモリ
２ 符号化画像用のフレームメモリ
３、４ マクロブロック化処理部
５ 予測誤差計算部
６ 予測誤差比較部
７ 判断部

Claims (1)

1. 画面形式として２：１インターレース、信号形式として輝度信号と２つの色差信号を持つコンポーネント形式であって、かつ、前記２つの色差信号が垂直方向に２分の１に間引きされた形式を持つテレビジョン信号について、前記輝度信号と前記２つの色差信号の第１フィールドと第２フィールドを１ラインおきに構成してフレームを形成し、該フレームに形成された輝度信号で動きベクトルを検出し、該検出された動きベクトルを前記２つの色差信号にも適用することを前提とした動きベクトル検出装置において、
   動きベクトルの垂直成分の大きさを前記フレームに形成された輝度信号の走査線間隔を単位として表すとき、フレーム予測時の動きベクトル検出範囲から、垂直成分が、±（４ｎ＋２．０）（ただし、ｎは正整数）となる動きベクトルを除外する動きベクトル除外手段、
   を設けたことを特徴とする動きベクトル検出装置。

Images