JP3681784B2 - 映像信号符号化装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は映像信号を符号化する装置に関するものである。特に、動き予測技法を用いて映像信号を符号化する装置に関する。
【０００２】
【従来の技術】
周知のように、ディジタル化された映像信号の伝送は、アナログ信号の伝送より良い画質の映像を維持することができる。一連のイメージ“フレーム”からなるイメージ信号がディジタル信号として表現される時、特に高精細度テレビの場合、大量のデータが伝送されなければならない。しかし、従来の伝送チャネルの使用可能な周波数帯域は限定されているため、大量のディジタルデータをその帯域を通じて伝送するためには、伝送すべきデータを圧縮するか、あるいはその量を減らすことが必至である。多様なビデオ信号の圧縮技法の中で確率的符号化技法と時間的／空間的圧縮技法とを組合わせた、いわゆるハイブリッド符号化技法が最も効率的な圧縮技法として知られている。
【０００３】
ほとんどのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化、及びＶＬＣ（可変長符号化）などの手法を用いている。動き補償ＤＰＣＭは、現フレームと前フレームとの間の物体の動きを推定し、推定された物体の動き流れ（ｍｏｔｉｏｎ ｆｌｏｗ）から現フレームを予測し、現フレームとその予測との間の差を表す差分信号を生成するプロセスである。このプロセスは、例えばStaffan Ericssonによる、「Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding」、IEEE Transactions on Communications、COM-33、NO.12(1985 年12月)や、NinomiyaとOhtsukaとによる「A motion-Compensated Interframe Coding Scheme for Television Pictures 」、IEEE Transactions on Communications、COM-30、NO.1(1982年 1月)などに記載されている。
【０００４】
上記の２次元ＤＣＴは、イメージデータ間の空間的冗長性を除去または活用するものであって、ディジタルイメージデータのブロック（例えば８×８画素のブロック）を１セットの変換係数データに変換する働きをする。この技法は、ChenとPrattによる「Scene Adaptive Coder」、IEEE Transactions on Communications、COM-32、NO.3(1984年 3月)に開示されている。そのような変換係数データを量子化器、ジグザグ走査、及びＶＬＣにて取扱うことによって、伝送するべきデータの量を効果的に圧縮できる。
【０００５】
詳述すると、動き補償ＤＰＣＭに於いては、現フレームデータは、現フレームとその前フレームとの間の動き推定に基づいて、対応する前フレームデータから予測される。このような推定された動きは、前フレームと現フレームとの間の画素の変位を表す２次元動きベクトルによって表される。
【０００６】
ある物体の変位を推定する方法には様々なアプローチがあるが、これらは、一般的に２つのタイプに分類される。一つはブロック単位の動き推定であり、もう一方は画素単位の動き推定である。
【０００７】
画素単位の動き推定に於いては、変位は各々の画素の全てに対して得られる。この方法は画素値をより正確に推定することができるとともに、スケール変更（例えば、ズーミングのような映像面に垂直な動き）も容易に取り扱うことができる。しかし、画素単位の方法では、動きベクトルが全ての画素の各々に対して決定されるので、全ての動きベクトルを受信器に伝送することは実際には不可能である。
【０００８】
一方、ブロック単位の動き推定に於いては、現フレームは複数のサーチブロックに分割されている。現フレーム内のサーチブロックに対する動きベクトルの特定は、現フレームのサーチブロックの各々と、前フレーム内の一般的により大きなサーチ領域に含まれる同一の大きさの複数の候補ブロックとの間で類似度を計算することによってなされる。現フレームのサーチブロックとサーチ領域の候補ブロックの１つとの間の類似度を測定するには、平均絶対誤差あるいは平均二乗誤差のような誤差関数が用いられる。動きベクトルは、サーチブロックと最小の「誤差」（すなわち“違い”）をもたらす候補ブロックとの間の変位を表すものとして定義される。しかし、ブロック単位の動き推定に於いては、ブロック内の全ての画素が同じ方向に移動しない場合には、推定は正しく行われず、その結果、画質が粗くなる、即ち符号化効率が減少することがある。
【０００９】
【発明が解決しようとする課題】
本発明の主な目的は、サーチグリッドを用いた改善された動き予測技法を用いた映像符号化装置を提供することである。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明によれば、予め定められた個数の同一の大きさのサーチグリッドを用いて、ディジタル映像信号の現フレームと前フレームとに基づいて、予測された現フレーム信号を発生する動き補償映像信号符号化装置であって、前記サーチグリッドの各々は前記現フレーム内に形成された１組のサーチブロックのセットを有しており、前記サーチグリッドの各々に対して、そのサーチグリッドに含まれるサーチブロックのセットに対する動きベクトルのセットを検知する動きベクトル検知手段であって、前記動きベクトルの各々は、前記サーチブロックの各々と前記前フレーム内に形成された複数 の候補ブロックとの間の誤差を計算して、最小誤差をもたらす候補ブロックを一つ選択することによって特定される、該動きベクトル検知手段と、前記サーチグリッドの各々に含まれる全てのサーチブロックに対して、前記最小誤差を累積して、前記サーチグリッドの各々に対する累積最小誤差信号を与える手段と、前記累積最小誤差信号を用いて前記サーチグリッドを比較して、最も少ない累積最小誤差信号を発生するサーチグリッドを一つ選択するためのサーチグリッド選択信号を与えるサーチグリッド比較手段と、前記サーチグリッド選択信号に応答して動作する、前記選択されたサーチグリッドに含まれるサーチブロックのセットに対応する動きベクトルのセットを選択する手段と、前記選択されたサーチグリッドと、それに含まれるサーチブロックのセットに対応する選択された動きベクトルのセットとを用いて、予測された現フレーム信号を発生する予測現フレーム信号発生手段であって、前記選択された動きベクトルのセットを用いて前記前フレームから予測された現フレーム信号に含まれるべき画素値を取出す、該予測現フレーム信号発生手段とを含むことを特徴とする映像信号符号化装置が提供される。
【００１１】
【実施例】
以下、本発明の映像信号符号化装置を図面を用いて説明する。
【００１２】
図１には、本発明による現フレームの予測部を有する映像信号符号化装置の好適実施例が示されている。図１に示されているように、現フレーム信号は第１フレームメモリ１００に格納される。第１フレームメモリ１００はラインＬ１１を通じて減算器１０２に接続され、かつラインＬ１０を通じて現フレーム予測部１５０に接続されている。
【００１３】
現フレーム予測部１５０では、第１フレームメモリ１００から取出したラインＬ１０上の現フレーム信号と共に、第２フレームメモリ１２４から取出したラインＬ１２上の再構成された前フレーム信号を処理して、予測された現フレーム信号をラインＬ３０上へ、１セットの動きベクトルをＬ２０上へ、サーチグリッド情報をラインＬ２１上へ各々発生する。サーチグリッドの定義と現フレーム予測部１５０の詳細については、図２Ａ〜図２Ｃ、及び図３を参照して後に説明する。
【００１４】
減算器１０２では、ラインＬ３０上の予測された現フレーム信号とラインＬ１１からの現フレーム信号との差が計算され、その結果のデータ、即ち、差分画素値を表す誤差信号は映像信号符号化器１０５へ送られる。ここで、誤差信号は、例えば離散的コサイン変換（ＤＣＴ）と公知の量子化方法の何れかを用いて量子化された変換係数のセットに符号化されている。しかる後、この量子化された変換係数は、エントロピ符号化器１０７と映像信号復号化器１１３とに伝送される。エントロピ符号化器１０７では、映像信号符号化器１０５からの量子化された変換係数と、現フレーム予測部１５０からラインＬ２０を介して入力された動きベクトルとが、例えば可変長符号化手法などを用いることによって共に符号化される。マルチプレクサ（ＭＵＸ）１０９は、エントロピ符号化器１０７の出力信号と、現フレーム予測部１５０からラインＬ２１を介して提供されたサーチグリッド情報とを多重化する。しかる後、その多重化された信号を伝送するために伝送器（図示せず）へ与える。
【００１５】
一方では、映像信号復号化器１１３は、映像信号符号化器１０５から入力された量子化された変換係数を逆量子化及び逆ＤＣＴによって復元し、誤差信号に変換する。
【００１６】
映像信号復号化器１１３からの復元された誤差信号と、現フレーム予測部１５０からラインＬ３０に出力された予測された現フレーム信号とは、加算器１１５で加え合わされて復元された現フレーム信号となり、第２フレームメモリ１２４内に格納される。
【００１７】
図２Ａを参照すると、サーチグリッドを定義するためのフレームが、例として概要的に示されている。サーチグリッドは、１セットの移動可能な同一の大きさのサーチブロックとして規定される。即ち、サーチグリッドの各セルはサーチブロックとして描かれる。サーチグリッドは図中のマージン内（ハッチング部分）で移動可能なため、複数のサーチグリッドのシフトされた位置が有り得る。例えば、図２Ｂでは、Ｎ個のオフセットによってＮ個のシフトされた位置が示されているが、それら各々は、フレームの左上の角に位置した画素とサーチグリッドのそれとの距離である。説明の便宜上、オフセット＃１は第１サーチグリッド、オフセット＃２は第２サーチグリッドというように呼び、他もこのような順番で呼ぶこととする。
【００１８】
サーチグリッドを用いることによって得られる利点の１つが、図２Ｃに説明されている。即ち、動く物体（ハッチング部分）がサーチブロックの大きさより小さく、かつ一つのサーチブロック内にその動く物体を十分に含むことのできるサーチグリッドが選択された場合（例えば、オフセット＃Ｂのサーチグリッド）、その動く物体の変位をより正確に表現することができる。
【００１９】
図３には、図１の現フレーム予測部１５０の詳細が示されている。ラインＬ１０上の現フレーム信号及びラインＬ１２上の前フレーム信号が、複数の動き推定部３１２、３１４、及び３１６へ入力される。第１動き推定部３１２は、図２Ｂに示された第１サーチグリッドに含まれるサーチブロックに対する第１の動きベクトルのセットを特定する。現フレームに形成された第１サーチグリッド内の各サーチブロックに対する動きベクトルは、公知のブロック整合アルゴリズムを用いることによって容易に特定される。
【００２０】
サーチブロックに対する動きベクトルを特定するために、例えば、現フレームのサーチブロックと前フレーム内の通常サーチブロックより大きいサーチ領域に含まれる同一の大きさの複数の候補ブロックとの間で類似度計算が行われる。現フレームのサーチブロックとサーチ領域内の候補ブロックとの間の類似度の測定をするには、平均絶対誤差（ＭＡＥ）または平均二乗誤差（ＭＳＥ）のような誤差関数が用いられる。こうして、現フレーム内の任意のサーチブロックに対する動きベクトルは、そのサーチブロックと、そのサーチブロックとの間に最小「誤差」または“違い”をもたらす候補ブロックとの間の変位として特定される。同様に、第２動き推定部３１４及び第Ｎ動き推定部３１６は、２番目及びＮ番目のサーチグリッドに含まれるサーチブロックに対する動きベクトルのセット（即ち第２動きベクトルセット及び第Ｎ動きベクトルセット）をそれぞれ特定する。
【００２１】
各々の動き推定部３１２、３１４、及び３１６は、各々のサーチグリッドに含まれている全てのサーチブロックに対して２つの信号を発生する。即ち、一つはサーチブロックと候補ブロックとの間の最小誤差であり、もう一つは最小誤差をもたらす候補ブロックとサーチブロックとの間の相対位置を示す動きベクトルである。
【００２２】
動き推定部３１２、３１４、及び３１６からの各々の誤差信号は、複数の誤差累積部３１８、３２２、及び３２６へ各々与えられる。そして、動き推定部３１２、３１４、及び３１６からの各々の動きベクトルは、複数のバッファ３２０、３２４、及び３２８へ各々与えられる。各々の誤差累積部３１８、３２２、及び３２６に於いては、各グリッドの全てのサーチブロックに対する入力信号が累積される。一方、各グリッドの全てのサーチブロックに対する動きベクトルがバッファ３２０、３２４及び３２８に各々格納される。
【００２３】
誤差累積部３１８、３２２、及び３２６からの各々の出力信号はグリッド選択部３３０へ提供される。このグリッド選択部３３０では、入力された累積誤差を比較して最小累積誤差値をもたらすサーチグリッドの情報を図１に示されているようにラインＬ２１を通じてマルチプレクサ１０９に送ると共に、スイッチ３３２、及び動き補償部３３４へも提供する。スイッチ３３２は選択されたサーチグリッドの情報に応答して、対応するバッファに格納された動きベクトルを、図１に示されているようにラインＬ２０を通じてエントロピ符号化器１０７へ提供すると共に、動き補償部３３４へも提供する。
【００２４】
動き補償部３３４に於いては、選択されたサーチグリッド情報及び選択されたサーチグリッド内のサーチブロックに対する動きベクトルを用いて、予測された現フレーム信号に含まれるべき各々の画素値を第２フレームメモリ１２４から取出す（図１参照）。
【００２５】
一方、サーチグリッドの外に位置する画素の画素値は、大きさが０の動きベクトルを用いて第２フレームメモリ１２４から取出される。動き補償部３３４の出力は、予測された現フレーム信号として図１に示された減算器１０２へ提供される。
【００２６】
図４を参照し、図３の動き推定部の詳細動作を動き推定部３１２を例として説明する。図４に示されているように、ラインＬ１０上の現フレーム信号がサーチブロック特定部４０２へ提供されるが、ここで第１サーチグリッド内の１つのサーチブロックが特定される。サーチブロック特定部４０２の出力信号はラインＬ３６を通じて複数の誤差評価部４１２、４１４、及び４１６へ提供される。一方では、ラインＬ１２上の前フレーム信号はサーチ領域特定部４０４へ与えられるが、ここで、サーチブロック特定部４０２に於いて特定されたサーチブロックに相応するサーチ領域が選択される。サーチ領域特定部４０４からの出力信号は、複数の候補ブロック特定部４０６、４０８、及び４１０へ各々提供される。サーチ領域に含まれる図２Ａに示すようなＭ個のサーチブロック（図２Ａの例ではＭ＝２４）は、グリッド内の各位置に応じて第１番目〜第Ｍ番目まで適当に番号付けされるが、候補ブロック特定部４０６に於いては、サーチ領域に含まれる候補ブロックの中から第１番目のブロックが第１候補ブロックとして特定される。同様に、候補ブロック特定部４０８及び候補ブロック特定部４１０では、第２候補ブロック及び第Ｍ候補ブロックが各々特定される。各々の候補ブロック特定部４０６、４０８、及び４１０は２つの信号を発生する。一つは特定された候補ブロック信号であり、もう一つは与えられたサーチブロックと特定された候補ブロックとの間の相対位置を表す信号即ち、動きベクトルである。候補ブロック特定部４０６、４０８、及び４１０からの各々の動きベクトルはラインＬ４０、Ｌ４２、及びＬ４４を通じてスイッチ４１８へ各々提供される。
【００２７】
誤差評価部４１２、４１４、及び４１６に於いては、サーチブロック特定部４０２で特定されたサーチブロックと各々の候補ブロックとを比較しそれらの間の類似度を計算する。一般に、類似度を計算するにはＭＡＥまたはＭＳＥのような誤差関数が用いられる。これらの誤差評価部４１２、４１４、及び４１６からの出力信号の各々は、最小誤差選択部４２０へ提供される。この最小誤差選択部４２０は、最小誤差を選択した後、選択された最小誤差値及び対応する動きベクトルを表すスイッチ制御信号を図３に示された誤差累積部３１８及びスイッチ４１８へ各々提供する。スイッチ４１８はスイッチ制御信号に応答して、ラインＬ４０、Ｌ４２、及びＬ４４へ提供された動きベクトルの中の１つを選択して、図３に示されているようにバッファ３２０へ提供する。
【００２８】
第１サーチグリッド内の全てのサーチブロックに対して同様の過程が繰り返される。
【００２９】
上記に於いて、本発明の特定の実施例について説明したが本発明の範囲を逸脱することなく当業者は種々の改変をなし得るであろう。
【００３０】
【発明の効果】
従って、本発明によれば、サーチグリッドを用いた改善された動き補償技法を備えた映像信号符号化装置が提供され、それを用いることによって、動く物体をより正確に表現することができ、映像信号の符号化に於いて、画面の画質を改善することができる。
【図面の簡単な説明】
【図１】 本発明による現フレーム予測部を有する映像信号符号化装置のブロック図である。
【図２】 図２は、Ａ〜Ｃからなり、それぞれ、例示的なフレームを示してサーチグリッドについて説明するための図面である。
【図３】 図１に示された現フレーム予測部の詳細なブロック図である。
【図４】 図３に示された動き推定部の詳細なブロック図である。
【符号の説明】
１００ 第１フレームメモリ
１０２ 減算器
１０５ 映像信号符号化器
１０７ エントロピ符号化器
１０９ マルチプレクサ（ＭＵＸ）
１１３ 映像信号復号化器
１１５ 加算器
１２４ 第２フレームメモリ
１５０ 現フレーム予測部
３１２ 第１動き推定部
３１４ 第２動き推定部
３１６ 第Ｎ動き推定部
３１８ 誤差累積部
３２０ バッファ
３２２ 誤差累積部
３２４ バッファ
３２６ 誤差累積部
３２８ バッファ
３３０ グリッド選択部
３３２ スイッチ
３３４ 動き補償部
４０２ サーチブロック特定部
４０４ サーチ領域特定部
４０６ 第１候補ブロック特定部
４０８ 第２候補ブロック特定部
４１０ 第Ｎ候補ブロック特定部
４１２ 誤差評価部
４１４ 誤差評価部
４１６ 誤差評価部
４１８ スイッチ
４２０ 最小誤差選択部

Claims (2)

1. 予め定められた個数の同一の大きさのサーチグリッドを用いて、ディジタル映像信号の現フレームと前フレームとに基づいて、予測された現フレーム信号を発生する動き補償映像信号符号化装置であって、
   前記サーチグリッドの各々は前記現フレーム内に形成された１組のサーチブロックのセットを有しており、
   前記サーチグリッドの各々に対して、そのサーチグリッドに含まれるサーチブロックのセットに対する動きベクトルのセットを検知する動きベクトル検知手段であって、前記動きベクトルの各々は、前記サーチブロックの各々と前記前フレーム内に形成された複数の候補ブロックとの間の誤差を計算して、最小誤差をもたらす候補ブロックを一つ選択することによって特定される、該動きベクトル検知手段と、
   前記サーチグリッドの各々に含まれる全てのサーチブロックに対して、前記最小誤差を累積して、前記サーチグリッドの各々に対する累積最小誤差信号を与える手段と、
   前記累積最小誤差信号を用いて前記サーチグリッドを比較して、最も少ない累積最小誤差信号を発生するサーチグリッドを一つ選択するためのサーチグリッド選択信号を与えるサーチグリッド比較手段と、
   前記サーチグリッド選択信号に応答して動作する、前記選択されたサーチグリッドに含まれるサーチブロックのセットに対応する動きベクトルのセットを選択する手段と、
   前記選択されたサーチグリッドと、それに含まれるサーチブロックのセットに対応する選択された動きベクトルのセットとを用いて、予測された現フレーム信号を発生する予測現フレーム信号発生手段であって、前記選択された動きベクトルのセットを用いて前記前フレームから予測された現フレーム信号に含まれるべき画素値を取出す、該予測現フレーム信号発生手段とを含むことを特徴とする映像信号符号化装置。
2. 前記予測現フレーム信号発生手段が、前記選択されたサーチグリッドの外に位置する画素に対して大きさ０のベクトルを割り当てる手段を備えることを特徴とする請求項１に記載の映像信号符号化装置。

Images