JP3892066B2 - 動きベクトルを符号化又は復号化する方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像圧縮装置における動きベクトルの符号化方法に係る。本発明は、特に、それに限定されることなく、６４ｋビット／秒未満のレートに抑えられた遠距離通信チャンネルに関するビデオ画像の符号化に適用される。
更に、本発明は、復号化方法、符号化装置及び復号化装置に関する。
【０００２】
【従来の技術】
画像圧縮装置又は符号化器は、例えば、ＣＣＩＴＴ（国際電信電話諮問委員会）の勧告Ｈ．２６１に記載され、特に、同勧告の図３（ソース符号化器）を参照して説明されている。
上記装置は、画素ブロック又はマクロ−ブロック内の画像処理に基づいている。１ブロックは８×８画素のマトリックスからなり、マクロ−ブロックは４ブロックよりなる。マクロ−ブロックは、「相互(inter) 」及び「内部(intra) 」と呼ばれる二つのモードの一方で符号化され、マクロ−ブロックを形成する全てのブロックは、同一モードで符号化されている。「内部」符号化の場合、ブロックに離散コサイン変換が適用され、得られた係数は量子化され、可変長の符号処理（ＶＬＣ符号化）に従って符号化される。「相互」符号化の場合、離散コサイン変換はブロックと参照画像内の同様の位置にあるブロックとの差に適用される。
【０００３】
「相互」モードの符号化の性能を向上させるため、動き補償処理が採用される。この種の処理によって、参照画像又はその中のウィンドウにおいて、現在の画像中の符号化されるべきマクロ−ブロックの効果的な「相互」符号化が得られるマクロ−ブロックを定めることが可能になる。上記参照画像内のマクロ−ブロックを定めるための種々の選択基準が存在する。現在の画像内の符号化されるべきマクロ−ブロックの位置に関し参照マクロ−ブロックの相対的な位置は、所謂動きベクトルによって決められる。かかる動きベクトルは、符号化されたマクロ−ブロックのヘッダで伝送される。
【０００４】
【発明が解決しようとする課題】
復号器は参照画像を格納するメモリを有する。符号化されたマクロ−ブロックに対応する動きベクトル及び係数を知ることにより、元のマクロ−ブロックの画素の値を復元することが可能になる。上記値には誤差、特に、量子化誤差が含まれる可能性がある。
【０００５】
【課題を解決するための手段】
動きベクトルは予測ベクトルに関し差分的に符号化される。このベクトルは、符号化又は復号化されるべきマクロ−ブロックの直ぐ左にあるマクロ−ブロックの動きベクトルと一致する。ベクトルの水平成分Ｈと垂直成分Ｖは別個に符号化される。周知の方法によれば、予測ベクトルは以下の場合：
− 符号化又は復号化されるべきマクロ−ブロックの直ぐ左のマクロ−ブロックが「内部」モードで符号化された場合
− 符号化されるマクロ−ブロックが画像の左縁にある場合
に（０，０）に再初期化される。
【０００６】
本発明の要旨は、マクロ−ブロックと関係した動きベクトルの差分符号化方法であり、上記符号化方法は：
− 上記動きベクトルの成分を決める段階と、
− 各成分が先に符号化されたマクロ−ブロックと関係したベクトルである少なくとも３個の候補動きベクトルの中の対応する成分の中間値に一致する予測ベクトルを決める段階と、
− 符号化されるべきベクトルの成分から上記得られた成分を減算する段階とからなることを特徴とする。
【０００７】
本発明の符号化方法の一実施例によれば、候補動きベクトルの成分は、上記動き候補ベクトルと関係したマクロ−ブロックが画像の外側にあるならば、上記予測ベクトルを決めるときゼロであると見なされる。
本発明の符号化方法の一実施例によれば、候補動きベクトルの成分は、上記動き候補ベクトルと関係したマクロ−ブロックが「内部」モードで符号化されるならば、上記予測ベクトルを決めるときゼロであると見なされる。
【０００８】
本発明の符号化方法の一実施例によれば、上記候補動きベクトルと関係した上記マクロ−ブロックは、ベクトルが符号化されるべきマクロ−ブロックに隣接するマクロ−ブロックである。
本発明の符号化方法の一実施例によれば、上記候補動きベクトルと関係した上記マクロ−ブロックは、ベクトルが符号化されるべきマクロ−ブロックの上又は左にあるマクロ−ブロックの一部を形成する。
【０００９】
本発明の符号化方法の一実施例によれば、上記候補動きベクトルと関係した上記マクロ−ブロックは、ベクトルが符号化されるべきマクロ−ブロックの直ぐ左にあるマクロ−ブロックと、直ぐ上にあるマクロ−ブロックと、右上にあるマクロ−ブロックとからなる。
本発明の更なる要旨は、差分符号化により符号化された動きベクトルの復号化方法であって、上記復号化方法は：
− 上記ベクトルに対応する成分の差を得る段階と、
− 各成分が先に復号化された少なくとも３個のマクロ−ブロックと関係したベクトルの対応する成分の中間値に一致する予測ベクトルを決める段階と、
− 上記成分の差を上記予測ベクトルの成分に加算する段階とからなることを特徴とする。
【００１０】
本発明の復号化方法の一実施例によれば、候補動きベクトルの成分は、上記動き候補ベクトルと関係したマクロ−ブロックが画像の外側にあるならば、上記予測ベクトルを決めるときゼロであると見なされる。
本発明の復号化方法の一実施例によれば、候補動きベクトルの成分は、上記動き候補ベクトルと関係したマクロ−ブロックが「内部」モードで符号化されるならば、上記予測ベクトルを決めるときゼロであると見なされる。
【００１１】
本発明の復号化方法の一実施例によれば、上記候補動きベクトルと関係した上記マクロ−ブロックは、ベクトルが復号化されるべきマクロ−ブロックに隣接するマクロ−ブロックである。
本発明の復号化方法の一実施例によれば、上記候補動きベクトルと関係した上記マクロ−ブロックは、ベクトルが復号化されるべきマクロ−ブロックの上又は左にあるマクロ−ブロックの一部を形成する。
【００１２】
本発明の復号化方法の一実施例によれば、上記候補動きベクトルと関係した上記マクロ−ブロックは、ベクトルが符号化されるべきマクロ−ブロックの直ぐ左にあるマクロ−ブロックと、直ぐ上にあるマクロ−ブロックと、右上にあるマクロ−ブロックとからなる。
本発明の更なる課題は、動きベクトルを生成する動き評価プロセッサを有する画像圧縮装置であって、上記ベクトルは予測ベクトルに関して符号化され、上記装置は：
− 各成分が先に符号化されたマクロ−ブロックと関係したベクトルである少なくとも３個の候補動きベクトルの中の対応する成分の中間値に一致する予測ベクトルを決める手段と、
− 符号化されるべきベクトルの成分から上記得られた成分を減算する手段と、
− 上記減算により得られた値を符号化する手段とからなることを特徴とする。
【００１３】
本発明の更なる課題は、動き圧縮処理の助けで圧縮された画像の圧縮を解除する装置であって：
− 圧縮されたデータを受けるバッファレジスタと、
− 上記バッファに接続されたデマルチプレクシング手段と、
− 上記デマルチプレクシング手段に接続された逆量子化手段と、
− デマルチプレクスされ、逆量子化された係数の逆変換手段と、
− 予測ベクトルに関する差分符号化に従って符号化された動きベクトルに関係するデータを得る手段と、
− 先に復号化されたマクロ−ブロックに対応する動きベクトルに基づいて上記予測ベクトルを決める手段とからなることを特徴とする。
【００１４】
本発明の一実施例によれば、上記圧縮装置及び圧縮解除装置は、夫々、上記符号化方法及び上記復号化方法を実施する。
【００１５】
【発明の実施の形態】
以下、添付図面を参照してその例に限定されることのない本発明の好ましい実施例を説明することにより本発明はより良く理解されるであろう。
図１にはビデオ画像符号化器が示されている。ビデオ画像符号化器は、動き補償プロセッサ１０（参照メモリ２と関係している）に接続されるビデオ入力１と、減算器３と、２入力を有するマルチプレクサ４の中の一つの入力とからなる。マルチプレクサ４の第２の入力は減算器３の出力に接続されている。マルプレクサ４の出力は離散コサイン変換（ＤＣＴ）プロセッサ５に結合されている。
【００１６】
「内部」モードの場合、減算器は使用されない。画素の値は、入力１からＤＣＴプロセッサ５に直接送られる。
「相互」モードの場合、装置の入力における信号と、メモリ２に格納された参照画像の一部分との差がＤＣＴプロセッサ５に伝送される。
ＤＣＴプロセッサ５の出力は量子化回路６に接続され、量子化回路６の出力は、一方で逆ＤＣＴプロセッサ８が後置された逆量子化回路７に接続され、他方で符号化及び多重化回路１４に接続されている。符号化回路は、特に、動きベクトルの差のＶＬＣ符号化と、ＤＣＴ変換係数のＶＬＣ符号化と、必要とされる構造に従って種々のデータのアセンブリを行う。
【００１７】
符号化されるべきブロックは、「相互」又は「内部」ブロック、即ち、一つの画素の値を含むブロック又は画素の値の差の何れの場合でもＤＣＴ変換を受ける。得られたＤＣＴ係数は、量子化されＶＬＣ符号化に従って符号化される。上記ＶＬＣ符号化は、関連した処理（ブロックの走査方向、係数のペアとゼロ係数の文字列長さの符号化）と共に、当業者にとって周知であるのでこれ以上詳細には説明しない。符号化された係数は、適切な方法でビデオのマルチプレクスの中に挿入される。
【００１８】
量子化された係数は、逆量子化され、次いで、逆ＤＣＴ変換を受ける。これは同一のデータが復号器内で受ける処理であり、得られた画素値には、少なくとも幾らかの同一誤差、特に、量子化誤差が含まれる。符号化器において上記復号化されたデータは、メモリ２に格納された参照画像を更新する役割を果たす。
メモリ２の出力は、場合によっては空間的なループフィルタ９を介して減算器３の入力に接続されている。逆ＤＣＴプロセッサ８の出力は、２入力加算器１１を介して参照メモリ２に接続されている。加算器１１の第２の入力は、第２のマルチプレクサ１２の出力に接続され、第２のマルチプレクサ１２の２入力の一方はループフィルタ９の出力に接続され、もう一方は、接続されることなく、ゼロの画素値が得られる。「内部」モードの場合、マルチプレクサ１２の出力は、ゼロの値を送出する。２台のマルチプレサ４及び１２は、特に、ビデオバッファレジスタ（図示せず）の充填の度合の関数として係数の量子化を取り扱う制御ユニット１３によって同時に制御される。
【００１９】
動き補償プロセッサは、入力１から発生するマクロ−ブロックを参照画像のマクロ−ブロックと比較し、マクロ−ブロックが内部又は相互の何れのモードで符号化されるべきであるかを決める。このような決定は、閾値に対し、「相互」モードの場合に誤差関数の値を画素の差の２乗和として評価することにより行うことが可能である。
【００２０】
「内部」モードの符号化は、全く同一のマクロ−ブロックの所定の数の画像に対し選択されていない場合、時折強制的に行われる。この強制的な「内部」モードの符号化は、逆ＤＣＴ変換内の再生誤差の累積を制限するため行われる。例えば、上記Ｈ．２６１勧告に従って、上記強制的な符号化は、全く同一のブロックの少なくとも１３２回の伝送毎に行われる。
【００２１】
動き補償又は評価は、特に、プロセッサ１０のレベルで採用される。最良の動きベクトルを見つけるための処理は：ブロックの徹底的な比較、階層的な比較処理等、及び、それらの変形のように多数存在する。上記処理は、特に、マイクロプロセッサ、特定用途のプロセッサ等によって実施することができる。
本発明の一実施例によれば、画像の輝度をサンプリングする構造は、１７６画素からなる１４４本のラインであり、この構造は、１１×９形のマクロ−ブロックのフォーマットに対応している。各カラー成分の色に対し、上記フォーマットは、８８画素からなる７２本のラインである。これは、所謂、４：１：１の輝度色度構造に対応している。
【００２２】
このような画像フォーマットは、ＣＩＱＦ（コモン インターミーディエイト クォーター フォーマットを表わす）と呼ばれる。
上記例において、かかる画像フォーマットが符号化器の入力１で得られる場合を想定する。
以下、説明を簡単化するため輝度だけを考慮する。
【００２３】
図２には輝度のマクロ−ブロックの番号が示されている。実際の画像のマクロ−ブロックは、連続的な線で囲まれている。以下、現在のマクロ−ブロック（即ち、現在処理されているマクロ−ブロック）を取り巻く８個のマクロ−ブロックは隣接するマクロ−ブロックと呼ばれる。マクロ−ブロック１３番に隣接するマクロ−ブロックは、マクロ−ブロック１番、２番、３番、１２番、１４番、２３番、２４番及び２５番である。説明を簡単化するため、画像の境界を超えたダミーのマクロ−ブロックが存在する場合を想定する。マクロ−ブロックＡは、マクロ−ブロック１番、１２番及び２３に隣接するマクロ−ブロックである。
【００２４】
「相互」モードで符号化された各マクロ−ブロックに対し、プロセッサ１０は上記ブロックと関係した動きベクトルの成分のペアを発生する。本発明の一実施例によれば、上記成分は、半画素の精度を有し、間隔〔−１６，＋１５．５〕に制限される。
本発明の一実施例によれば、例えば、メモリ及び適当にプログラムされたマイクロプロセッサとからなる回路１４は、各動きベクトルに対し予測ベクトルを定める。この予測ベクトルの成分Ｐｘ及びＰｙは、符号化されるべき動きベクトルの成分から減算される。
【００２５】
本発明の一実施例によれば、予測ベクトルの成分は、図３によって明らかにされる方法で計算される。
Ｍ０は、現在のマクロ−ブロック、即ち、予測ベクトルを決めるマクロ−ブロックを示している。一方、ＭＶｉｘ及びＭＶｉｙは、夫々、マクロ−ブロックｉと関係した動きベクトルの第１及び第２の成分を示している。
【００２６】
Ｍ１はＭ０の直ぐ左にあるマクロ−ブロックを示し、Ｍ２はＭ０の直ぐ上にあるマクロ−ブロックを示し、Ｍ３はＭ０の上及び左にあるマクロ−ブロックを示している。マクロ−ブロックＭ１乃至Ｍ３と関係した動きベクトルは候補ベクトルと呼ばれ、ＭＶ１乃至ＭＶ３と呼ばれている。図３の（ａ）にはＭ０の周りのマクロ−ブロックＭ１乃至Ｍ３の配置が与えられている。
【００２７】
動きベクトルは「相互」モードで符号化されたマクロ−ブロックに対してだけ定義されるので、候補ベクトルの成分は、以下の場合：
− マクロ−ブロックが「内部」モードで符号化された場合
− マクロ−ブロックが画像の境界を超えて存在する場合
ゼロであると考えられる。
【００２８】
図３の（ｂ）、（ｃ）及び（ｄ）には種々の場合が示されている。ペア（０，０）は、候補ベクトルがゼロであると見なされたマクロ−ブロックを示している。点線は画像の境界を表わしている。３個の候補ベクトルの成分を決定した後、予測ベクトルの成分は、かかるベクトルの各成分に対し候補ベクトルの対応する成分の中間値を選択することにより計算される。例えば、候補ベクトルが夫々：ＭＶ１＝（−２；３），ＭＶ２＝（１；５），ＭＶ３＝（−１；７）
で表わされる場合、予測ベクトルは、（Ｐｘ；Ｐｙ）＝（−１，５）
である。
【００２９】
次いで、予測ベクトルと動きベクトルＭＶ０との間の差：
ＭＶＤｘ ＝ ＭＶｘ−Ｐｘ
ＭＶＤｙ ＝ ＭＶｙ−Ｐｙ
を形成する。
これらの差は、ＶＬＣ符号化によって符号化され、映像マルチプレクスに導入される。
【００３０】
予測ベクトルの計算にベクトルＭ１乃至Ｍ３の知識が必要とされる場合、上記ベクトルはプロセッサ１０によってメモリに保持される。
復号化中、予測ベクトルは同様の方法で定められる。勿論、このベクトルの成分は復号化された差と加算される。
図４は復号器の機能的な概略図である。受信及び復調装置から受けられたデータは、レジスタ１５に格納される。このレジスタは、データの伝送速度を実際の用途に一致させるため必要とされる。データはデマルチプレクサ１６によって分離される。係数は、復号化され、逆量子化され（回路１７）、逆ＤＣＴ変換される（回路１８）。「相互」モードにおける符号化の場合、得られたブロックは、加算器１９によって、予測の結果に加算される。予測メモリ２１は、勿論、適宜更新される。
【００３１】
プロセッサ２０は、量子化の制御と、動きベクトルに対応するデータの復号化とに割り当てられている。プロセッサ２０は、データのＶＬＣ符号化を実行し、予測ベクトルの計算に必要とされるベクトルをメモリに保持し、ベクトルを定め、そのベクトルの成分を復号化された成分の差に加算する。かくして確定された動きベクトルは周知の方法で使用される。本発明の他の実施例によれば、動きベクトルは、「内部」モードで符号化されたマクロ−ブロックと関係している。これにより、上記マクロ−ブロックの符号化された係数に悪影響を与える可能性のある伝送の誤りを補償し得るようになる。この場合、対応する候補ベクトルは、ゼロであるとは見なされない。
【００３２】
本発明は上記の実施例に限定されるものではなく、動き補償を使用する他の圧縮装置にも適用し得ることは明らかである。
【図面の簡単な説明】
【図１】 本発明を実施する画像符号化器の機能的な概略図である。
【図２】 画像のマクロ−ブロックのＣＩＱＦフォーマットによる番号付けを示す図である。
【図３】 画像の境界を超えて存在するマクロ−ブロックに対応する候補ベクトルの処理を示す図である。
【図４】 本発明の方法を実施する復号器の機能的な概略図である。
【符号の説明】
１ ビデオ入力
２ 参照メモリ
３ 減算器
４，１２ マルチプレクサ
５ ＤＣＴ（離散コサイン変換）プロセッサ
６ 量子化回路
７，１７ 逆量子化回路
８，１８ 逆ＤＣＴプロセッサ
９ ループフィルタ
１０ 動き補償プロセッサ
１１，１９ 加算器
１３ 制御ユニット
１４ 符号化及び多重化回路
１５ レジスタ
１６ デマルチプレクサ
２０ プロセッサ
２１ 予測メモリ

Claims (4)

1. 符号化されるべきマクロブロックと関係した動きベクトルの差分符号化方法であって、
   上記動きベクトルの成分を決める段階と、
   上記符号化されるべきマクロブロックの左に隣接する第１マクロブロック、上に隣接する第２マクロブロック及び右上に隣接する第３マクロブロックにそれぞれ関係した第１候補動きベクトル、第２候補動きベクトル及び第３候補動きベクトルのベクトル成分の各々を比較して、上記第１、第２及び第３候補動きベクトルについての上記成分の各々の中間値を選択し、上記成分の各々の上記中間値から成るベクトルを予測ベクトルとして選定する段階と、
   上記の予測ベクトルの成分の各々の中間値を、上記符号化されるべきマクロブロックに関係した上記動きベクトルに対応する成分の各々から減算する段階と、
   から成る方法であり、
   上記第１、第２又は第３候補動きベクトルの上記成分の各々は、該候補動きベクトルと関係したマクロブロックが「内部」モードで符号化される場合、上記予測ベクトルを選定するときにゼロであるとみなされることを特徴とする方法。
2. 差分符号化により符号化された動きベクトルの復号化方法であって、
   復号化されるべきマクロブロックのために符号化された動きベクトルに対応する成分の各々の差を得る段階と、
   上記復号化されるべきマクロブロックの左に隣接する第１マクロブロック、上に隣接する第２マクロブロック及び右上に隣接する第３マクロブロックにそれぞれ関係した第１候補動きベクトル、第２候補動きベクトル及び第３候補動きベクトルのベクトル成分の各々を比較して、上記第１、第２及び第３候補動きベクトルについての上記成分の各々の中間値を選択し、上記成分の各々の上記中間値から成るベクトルを予測ベクトルとして選定する段階と、
   上記の符号化された動きベクトルの成分の各々の差を上記予測ベクトルの対応する成分の各々に加算する段階と、
   から成る方法であり、
   上記第１、第２又は第３候補動きベクトルの上記成分の各々は、該候補動きベクトルと関係したマクロブロックが「内部」モードで符号化される場合、上記予測ベクトルを選定するときにゼロであるとみなされることを特徴とする方法。
3. 動きベクトルを生成する動き評価プロセッサを有する画像圧縮装置であって、上記動きベクトルは予測ベクトルに関して符号化される、画像圧縮装置であり、
   上記符号化されるべきマクロブロックの左に隣接する第１マクロブロック、上に隣接する第２マクロブロック及び右上に隣接する第３マクロブロックにそれぞれ関係した第１候補動きベクトル、第２候補動きベクトル及び第３候補動きベクトルのベクトル成分の各々を比較して、上記第１、第２及び第３候補動きベクトルについての上記成分の各々の中間値を選択し、上記成分の各々の上記中間値から成るベクトルを予測ベクトルとして選定する手段と、
   上記の予測ベクトルの成分の各々の中間値を、上記符号化されるべきマクロブロックに関係した上記動きベクトルに対応する成分の各々から減算する手段と、
   上記減算により得られた値を符号化する手段と、
   からなる画像圧縮装置であり、
   上記第１、第２又は第３候補動きベクトルの上記成分の各々は、該候補動きベクトルと関係したマクロブロックが「内部」モードで符号化される場合、上記予測ベクトルを選定するときにゼロであるとみなされることを特徴とする画像圧縮装置。
4. 動き補償処理の助けで圧縮された画像を圧縮解除する装置であって、
   復号化されるべきマクロブロックの左に隣接する第１マクロブロック、上に隣接する第２マクロブロック及び右上に隣接する第３マクロブロックにそれぞれ関係した第１候補動きベクトル、第２候補動きベクトル及び第３候補動きベクトルのベクトル成分の各々を比 較して、上記第１、第２及び第３候補動きベクトルについての成分の各々の中間値を選択し、上記成分の各々の上記中間値から成るベクトルを予測ベクトルとして選定する手段と、
   上記の符号化された動きベクトルの成分の各々の差を上記予測ベクトルに対応する成分の各々に加算する手段と、
   から成る装置であり、
   上記第１、第２又は第３候補動きベクトルの上記成分の各々は、該候補動きベクトルと関係したマクロブロックが「内部」モードで符号化される場合、上記予測ベクトルを選定するときにゼロであるとみなされることを特徴とする装置。

Images