JP5821542B2 - 動画像符号化装置、および動画像復号装置 - Google Patents

Description

本発明は動画像符号化／復号方法に関し、さらに詳しくは、過去に処理対象領域の符号化／復号した際の動きベクトルを動き予測ベクトルとして利用して符号化／復号対象領域を符号化／復号を行なう動画像符号化／復号方法、装置、プログラムに関する。

画像データ、特に動画像データは、一般にデータ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
動画像データの高能率符号化方法として、画面内（イントラ）予測符号化方法と画面間（インター）予測符号化方法が知られている。画面内予測符号化方法では、動画像データが空間方向に相関が高いことを利用する。すなわち、他の画像を用いず、符号化対象となる画像の情報のみで画像を符号化・復号する方法である。また、画面間予測符号化方法では、動画像データが時間方向に相関が高いことを利用する。動画像データは、一般的に、時間的に近い画像は類似度が高いため、すでに符号化した画像を参照して符号化を行うことで、冗長性を取り除くことが可能である。

画面間予測符号化方法では、図１に示すように、符号化対象画像Pic2をブロックに分割したブロック単位の符号化対象ブロックCB1を、すでに符号化され、参照のために復号されている前方参照画像Pic1を参照して符号化が行なわれる。具体的には、符号化対象ブロックCB1と類似している前方参照画像Pic1の前方参照ブロックFB1の領域を選択し、この前方参照ブロックFB1と符号化対象ブロックCB1の差分を予測誤差生成器110で求め、冗長性を取り除く。そして、類似領域を指し示す前方向動きベクトル情報MV1と、冗長性が取り除かれた差分情報を符号化することにより、高圧縮率を実現している。

例えば、画面間予測符号化を用いたデータ伝送システムでは、送信装置において、前画像から符号化対象画像への「動き」を表す動きベクトルデータ、及びその前画像からその動きベクトルデータを用いて作成した予測画像と符号化対象画像との差分データを生成し、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから復号対象画像を再生する。

尚、上記では前方向予測を例に説明したが、後方向予測も基本的に同様で、後方予測の場合は時間的に後の画像を参照画像点が変るのみである。また、両方向予測も、処理自体は、前方向と後方向を個別に処理した結果を用いることで対応が可能である。

代表的な動画像符号化方式として、ISO/IEC MPEG-2／MPEG-4(以下MPEG-2、MPEG-4)が挙げられる。

以下に、代表的な動画像符号化装置について図２を参照して説明する。図２に示すように、動画像符号化装置200は、予測誤差生成手段201、変換手段202、量子化手段203、エントロピー符号化手段204、逆量子化手段205、逆変換手段206、復号画像生成手段207、復号画像記憶手段208、符号化ブロック予測画像生成手段209、及び予測画像選択部210を有している。各機能部についての概略を以下に説明する。

予測誤差生成手段201は、入力された所定サイズのブロックに分割された原画像データのブロックデータと、符号化ブロック予測画像生成手段209から供給される予測画像のブロックデータ（予測信号）とにより、予測誤差を生成する。予測誤差生成手段は、生成された予測誤差を変換手段202に渡す。

変換手段202は、入力された予測誤差を変換処理する。変換手段202は、変換処理によって水平及び垂直方向の周波数成分に分離された予測誤差を量子化手段203に供給する。量子化手段203は、変換手段202の出力を量子化する。量子化手段203は、符号化することによって当該予測誤差の符号量を低減し、エントロピー符号化手段204及び逆量子化手段205に供給する。

エントロピー符号化手段204は、量子化手段203からの出力及び符号化時に用いた動きベクトル等の符号化パラメータが記述されたサイド情報をエントロピー符号化（可変長符号化,算術符号化等）して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化手段205は、量子化手段203の出力を逆量子化してから逆変換手段206に供給する。逆変換手段206は、逆量子化手段205の出力を逆変換処理してから復号画像生成手段207に供給する。これら逆量子化手段205及び逆変換手段206によって復号処理が行われることにより、符号化前の予測誤差と同程度の予測誤差が得られる。

復号画像生成手段207は、符号化ブロック予測画像生成手段209で生成された予測画像のブロックデータと、逆量子化手段205、及び逆変換手段206により復号処理された再生予測誤差とを加算することにより、符号化された原画像データブロックの符号化画像ブロックのデータを再生し、復号画像蓄積手段208に渡す。

復号画像蓄積手段208は、渡された復号されたブロックデータを新たな参照画像のデータとして記憶すると共に、符号化時の動きベクトルを含む符号化パラメータであるサイド情報を併せて記憶する。また、記憶した復号された復号画像データは、符号化ブロック予測画像生成手段209に供給する。

符号化ブロック予測画像生成手段209は、画面内予測画像生成手段210と画面間予測画像生成手段211とを備え、符号化対象画像に対応する予測画像のブロックデータを生成すると共に、符号化時の動きベクトルを含む符号化パラメータであるサイド情報をエントロピー符号化手段204及び復号画像蓄積手段208に渡す。

また、画面内予測画像生成手段210では画面内符号化(フレーム内予測)に基づく予測画像のブロックデータを生成する。画面間予測画像生成手段211では符号化対象の原画像データにおけるブロックデータと、復号画像蓄積手段208から得られる既に復号された画像のブロックデータを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像から原画像に最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。画面間予測画像生成手段211は、求めた動きベクトルで復号画像蓄積手段208から取得した画像データを動き補償することにより予測画像のブロックデータを生成する。

符号化ブロック予測画像生成手段209は、画面内予測画像生成手段210と画面間予測画像生成手段211の何れかで生成された予測画像のブロックデータは、予測画像選択部212を介して予測画像生成手段201及び復号画像生成手段207に供給する。

次に、画面間予測画像生成手段211について、更に詳細に説明する。

図３に示すように、画面間予測画像生成手段211は、入力に符号化対象のブロックデータと復号画像蓄積手段208に記憶された復号画像及び符号化時の動きベクトルを含む符号化パラメータであるサイド情報をとり、隣接位置指定情報生成手段308、予測パターン生成手段309、動き予測ベクトル候補生成手段301と、動き探索手段302と、動き補償手段303を有し、画面間予測画像を出力とする。

動き探索手段302は、動きベクトル候補生成手段304、誤差計算手段305、探索結果蓄積手段306、動きベクトル選択手段307を有して構成される。

ここで、符号化対象ブロックは、画素値のみでなく、画像の表示時刻（ＰＯＣ）や符号化対象ブロックの位置、符号化対象ブロックのサイズなどの符号化パラメータ情報を含むものとする。

また、復号画像は、復号画像の画素値のみでなく、画像の表示時刻（ＰＯＣ）やブロック分割深さ（ブロックサイズ）、予測モード（画面内／画面間）などの、その画像を符号化したときの動きベクトルを含む符号化パラメータ情報であるサイド情報も含む。

各機能部（手段）についての概略を以下に説明する。

隣接位置指定情報生成手段308は、動き予測ベクトルとして使用する符号化済みブロックを符号化したときの動きベクトルを、どの隣接ブロックから取得するかを、インデックスで指定する隣接位置指定情報を動き予測ベクトル候補生成手段301に指示する。ここで、隣接ブロックの位置は、符号化対象ブロックの位置に応じてあらかじめ決定されている。（例えば標準規格など）よって、特別な入力を必要としない。

予測パターン生成手段309は、動き予測に使用される符号化済みピクチャの複数のリストから、どのリストを使用するかを指定する予測情報と、そのリストの中でどのピクチャを使用するかを指定する参照インデックスを動き予測ベクトル候補生成手段301に指示する。符号化装置においては、最も良い動きベクトルを求めるために、様々な予測情報と参照インデックスの組み合わせにおいて、探索が実施される。この組み合わせは、符号化を行うユーザーがあらかじめ決めることもできるし、符号化の状況によって、適応的に変更することもできる。ここでは、予め決められている場合として、決められた条件（予測情報と参照インデックスの組み合わせ）が指示される。

動き予測ベクトル候補生成手段301は、符号化対象ブロックと隣接位置指定情報生成手段308及び予測パターン生成手段309にて指示された符号化パラメータと、復号画像を入力として、符号化対象ブロックの動きベクトルを予測するベクトルとして使用される、符号化対象ブロックに時間的・空間的に隣接する複数のブロックを符号化した際に使用した動き予測ベクトル候補を導出する。

動きベクトル候補生成手段304は、符号化対象ブロックと動き予測ベクトル候補と予測情報を入力として、動き探索に使用される、符号化対象画像内の符号化対象ブロックから、外部の復号画像蓄積手段208より供給される復号画像内の参照ブロックへの動きベクトルの候補を生成する。

誤差計算手段305は、符号化対象ブロックと復号画像、さらに動きベクトル候補を入力として、符号化対象ブロックと、復号画像内の動きベクトル候補で指定される参照ブロックとの誤差を計算する。

探索結果蓄積手段306は、動きベクトル候補と誤差を入力として、誤差計算手段より供給される誤差情報と、当該誤差情報に対応する動きベクトル候補情報を蓄積する。

動きベクトル選択手段307は、動きベクトル候補と、動きベクトル候補に対応する誤差を入力として、探索結果蓄積手段306より供給される誤差情報の中で、最も誤差が小さいものを選択し、その時の動きベクトル候補を出力する。

動き補償手段303は、動きベクトル候補と復号画像を入力として、動きベクトル選択手段307より供給される動きベクトル候補に従って、復号画像内の参照ブロックを選択し、それを画面間予測画像として出力する。

動き予測ベクトル候補生成手段301について、以下で更に詳細に説明する。

図４に従来の動き予測ベクトル候補生成手段301の構成図を示す。

動き予測ベクトル候補生成手段301は、隣接位置指定情報、符号化対象ブロックのピクチャ情報、予測情報、復号画像のピクチャ情報、参照インデックス、動きベクトル記憶手段からの隣接ブロックの動きベクトルを入力とし、基準ベクトル取得手段401、スケーリング手段402を有し、動き予測ベクトル候補を出力する。これらの入力は、図３の画面間予測画像生成手段211における復号画像と符号化対象ブロック及び隣接位置指定情報生成手段308，予測パターン生成手段309からの設定データに含まれる情報である。

基準ベクトル取得手段401は、復号画像蓄積手段208から入力した動きベクトルと、符号化対象ブロックの位置に応じた隣接位置指定情報より、基準ベクトルとなる隣接位置の動きベクトルを導出する。スケーリング手段402は、符号化対象ブロックのピクチャ情報と、参照インデックスと予測情報により選択される復号画像のピクチャ情報に対して、基準ベクトルにスケーリングを行い、動き予測ベクトルを出力する。

従来の動き予測ベクトル候補生成手段301の詳細な動作について、以下に詳細に説明する。

動画像符号化装置200において、各ブロックは、一般には画像の左上から右下に向かってラスタスキャンやｚスキャンの順序で符号化される。よって、動画像符号化装置200における動きベクトルの予測に利用できる周辺ブロックの動きベクトルは、符号化対象ブロックを符号化するときに既に符号化済みとなる左や上に隣接するブロックの動きベクトルとなる。この点に関しては、復号対象ブロックの復号時の動きベクトルの予測に利用できる（参照可能となる）ブロックも周辺のブロックで動きベクトルが既に復号された左や上に隣接するブロックとなる。

さらにMPEG‐4 AVC/H.264
では、符号化対象画像ではなく、過去に符号化・復号処理した画像の動きベクトルを用いて動き予測ベクトルを決定することもある。

動き予測ベクトル決定方法の従来技術として
に、国際標準化団体ISO(International Organization for Standardization)／IEC (International Electrotechnical Commission) とITU-T (International Telecommunication Union Telecommunication Standardization Sector) が共同に標準化を検討している動画像符号化方式High Efficiency Video Coding（以下ＨＥＶＣ）の技術が開示されている。また、参照ソフトウェアとしてHM (High Efficiency Video Coding Test Model) Software（Version 4.0）が開示されている。

以下にＨＥＶＣにおける、動き予測ベクトル候補生成手段に関する概要説明を行う。ＨＥＶＣでは、参照可能な画像のリスト（以後参照画像リスト）として、Ｌ０と、Ｌ１という２つのリストを持ち、符号化対象となる各ブロックはＬ０とＬ１、それぞれに対応する動きベクトルによって、最大２つの参照画像の領域を画面間予測に使用することが出来る。Ｌ０とＬ１は一般には、表示時間の方向に対応し、Ｌ０は符号化対象画像に対して過去の画像の参照画像リストであり、Ｌ１は未来の画像の参照画像リストである。参照画像リストの各エントリは、画素データの記憶位置、とその画像の表示時間情報ＰＯＣ（Picture Order Count）値を含む情報から構成される。ＰＯＣとは、各画像の表示順序と相対的な表示時間を表す整数値である。ＰＯＣ値が0となる画像の表示時間を0と置いたときに、ある画像の表示時間は、その画像のＰＯＣ値の定数倍で表すことが出来る。例えば、フレームの表示周期（Hz）をｆｒ、ＰＯＣ値がｐである画像の表示時間は、次の（１）式で表すことが出来る。これにより、ＰＯＣはある定数(秒)を単位とした表示時間と見なすことができる。

１つの参照画像リストのエントリ数が２以上であった場合、各動きベクトルは、参照画像リスト内のインデックス番号（参照インデックス）によって、どの参照画像を参照するかを指定する。特に参照画像リストのエントリ数が1画像しか含まない場合、そのリストに対応する動きベクトルの参照インデックスは自動的に０番となるため、明示的に指定する必要はない。すなわち、ブロックの動きベクトルは、Ｌ０／Ｌ１リスト識別子と、参照インデックスと、ベクトルデータ（Vｘ、Vｙ）で構成され、Ｌ０／Ｌ１リスト識別子と、参照インデックスにより参照画像を指定し、参照画像内の領域をベクトル（Ｖｘ、Ｖｙ）で指定する。ＶｘとＶｙは、それぞれ水平方向と垂直方向における参照領域の座標と現ブロックの座標の差であり、１／４画素単位で表現される。Ｌ０／Ｌ１リスト識別子と、参照インデックスを参照画像識別子とし、（Ｖｘ、Ｖｙ）をベクトルデータと呼ぶこととする。

ＨＥＶＣにおける動き予測ベクトルの決定方法について説明する。ＨＥＶＣにおいては、予測ベクトルの決定方法は２つのモードが存在し、それぞれMergeモード、MVP (Motion vector prediction) モードと呼ばれる。

まず、MVPモードについて説明を行う。

動き予測ベクトルは、Ｌ０／Ｌ１リスト識別子と、参照インデックスで指定された参照画像ごとに決定される。参照画像リストがＬＸ、参照インデックスがｒｅｆIｄｘとして参照画像を指定する動きベクトルに対する動き予測ベクトルのベクトルデータｍｖｐを決定するとき、第一に最大で３つのベクトルデータを予測ベクトル候補として算出する。

符号化対象ブロックに対して空間方向と時間方向に隣接するブロックを、左方向に隣接したブロック、上方向に隣接したブロック、時間方向に隣接したブロックの３つに分類する。この３グループからそれぞれ最大で１本の動き予測ベクトル候補を選出する。選出された動き予測ベクトル候補は、左に隣接したグループ、上に隣接したグループ、時間方向に隣接したグループの優先順序でリスト化される。ＨＭ４（High Efficiency Video Coding Test Model）では、この３個のグループから、予測情報候補リストを候補数２個までを列挙する。このリストを配列ｍｖｐ＿ｃａｎｄとする。もし、全てのグループで動き予測ベクトル候補が１つも存在していなかった場合、ゼロベクトルをｍｖｐ＿ｃａｎｄに追加する。第二に、候補リスト内のどの候補を動き予測ベクトルとして使用するかの識別子として、予測ベクトル候補インデックスｍｖｐ＿ｉｄｘを用いる。すなわちｍｖｐは、ｍｖｐ＿ｃａｎｄのｍｖｐ＿ｉｄｘ番目にエントリされた予測ベクトル候補のベクトルデータとなる。

動画像符号化装置において、符号化対象ブロックのＬＸのｒｅｆＩｄｘを参照する動きベクトルがｍｖであったとき、ｍｖｐ＿ｃａｎｄの中で、ｍｖと最も近い候補を探し、そのインデックスをｍｖｐ＿ｉｄｘとする。さらに、差分ベクトルｍｖｄを以下の（２）式で算出し、リスト ＬＸの動きベクトル情報として、ｒｅｆＩｄｘ、ｍｖｄ、ｍｖｐ＿ｉｄｘを符号化し、動画像復号装置に通知する。

動画像復号装置は、ｒｅｆＩｄｘ、ｍｖｄ、ｍｖｐ＿ｉｄｘを復号し、ｒｅｆＩｄｘに基づき、ｍｖｐ＿ｃａｎｄを決定し、動き予測ベクトルｍｖｐを、ｍｖｐ＿ｃａｎｄのｍｖｐ＿ｉｄｘ番目の動き予測ベクトル候補とする。以下の（３）式に基づき、処理ブロックの動きベクトルｍｖを復元する。

次に、図５とともに、左隣接のブロックと、上隣接ブロックから動き予測ベクトルを選択する手順について説明する。ＨＥＶＣやH.264においては、動き補償において最小のブロックが事前に決まっており、すべてのブロックサイズは、最小ブロックサイズを基準に２のべき乗の倍した数となっている。以下の（４）式，（５）式の通り、最小ブロックサイズがMINX、MINYとすれば、各ブロックの水平サイズと垂直サイズは、n、mをn≧0、m≧0の整数として、

で表せる。ＨＥＶＣやＨ．２６４では、MINX=4画素、MINY=4画素である。すなわち、各ブロックは、最小ブロックサイズに分割することができる。図５中のA0、A1、B0〜B2が処理ブロックに隣接する最小ブロックとする。最小ブロックを一つ指定すれば、それを含むブロックは、一意に定まる。

左隣接ブロックから動き予測ベクトル候補を選出する手順は、処理ブロックの左側に隣接したブロックで左下に位置する最小ブロックA0を含むブロックの動きベクトルで、参照画像識別子がLXでｒｅｆＩｄｘと等しい参照インデックスを持つ動きベクトルが見つかれば、それを選択する。見つからなければ、A0を含むブロックで、LXでない参照リストLYの中で、参照リストLXのｒｅｆＩｄｘが示す参照画像と同一の参照画像を参照する動きベクトルがあれば、それを選択する。見つからなければ、A1を含むブロックの動きベクトルで、LXでｒｅｆＩｄｘと等しい参照インデックスを持つ動きベクトルが見つかればそれを選択する。さらに、見つからなければ、A1を含むブロックで同様に、LXでない参照リストLYの中で、参照リストLXのｒｅｆＩｄｘが示す参照画像と同一の参照画像を参照する動きベクトルがあれば、それを選択する。見つからなければ、A0を含むブロックで動きベクトルが存在すれば、それを選択する。見つからなければ、A1を含むブロックで動きベクトルが存在すれば、それを選択する。上記手順で選択された動きベクトルに関して、参照リストLXのｒｅｆＩｄｘが示す参照画像と同一の参照画像を参照する動きベクトルが選択されなかった場合、後述するスケーリング演算が行われる。

上隣接ブロックから動き予測ベクトル候補を選出する手順は、符号化対象ブロックの上側に隣接する最小ブロックB0〜B2を含むブロックに関してA0〜A1と同様の手順で、動きベクトルを選択する。参照リストLXのｒｅｆＩｄｘが示す参照画像と同一の参照画像を参照する動きベクトルが選択されなかった場合、後述するスケーリング演算が行われる。

時間方向に隣接するブロックから動き予測ベクトル候補を選択する手順について説明する。まず、時間方向に隣接するブロックを含む画像としてＣｏｌｌｏｃａｔｅｄ Ｐｉｃｔｕｒｅ（以下ＣｏｌＰｉｃ）と呼ばれる時間方向に隣接した参照画像が指定される。Ｌ０とＬ１のどちらかの参照リストの参照インデックス０番の参照画像がＣｏｌＰｉｃとなる。通常はＬ１の参照インデックス０番がＣｏｌＰｉｃとなる。ＣｏｌＰｉｃの中で、動き予測ブロックに近接するブロックがＣｏｌブロックである。

動き予測ブロックとＣｏｌブロックの位置関係を図６に示す。ＣｏｌＰｉｃの中で、最小ブロックTRまたは、TCを含むブロックがＣｏｌブロックとなる。TRとTCのうち、まずTRが優先され、TRを含むブロックが、Intra予測モードであったり、画面外であったりした場合、TCを含むブロックがColブロックとなる。

Ｃｏｌブロックが有する動きベクトルをｍｖＣｏｌとし、ｍｖＣｏｌを後述するスケーリング方法にてスケーリングして、動き予測ベクトル候補として出力する。

動きベクトルのスケーリング方法について記述する。入力の動きベクトルをｍｖ＝（ｍｖｘ、ｍｖｙ）とし、出力ベクトルをｍｖ'＝（ｍｖｘ'、ｍｖｙ'）とする。ｍｖが参照する画像をＣｏｌＲｅｆＰｉｃとする。ｍｖを有する画像のＰＯＣ値をＣｏｌＰｉｃＰｏｃ、ＣｏｌＲｅｆＰｉｃのＰＯＣをＣｏｌＲｅｆＰｏｃ、現在の符号化対象画像のＰＯＣ値をＣｕｒＰｏｃとＲｅｆＰｉｃＬｉｓｔ ＬＸと、ＲｅｆＩｄｘで指定される画像のＰＯＣ値をＣｕｒｒＲｅｆＰｏｃとする。スケーリング対象の動きベクトルが、空間方向に隣接するブロックの動きベクトルであった場合、ＣｏｌＰｉｃＰｏｃは、ＣｕｒｒＰＯＣと等しく、時間方向に隣接するブロックの動きベクトルであった場合、ＣｏｌＰｉｃＰｏｃはＣｏｌＰｉｃのＰＯＣ値と等しい。

ｍｖは、原理的には以下の（６）式，（７）式のように画像の時間間隔の比に基づいてスケーリングして算出する。

ただし、除算は計算量が大きいため、たとえば、以下の（８）式，（９）式ように乗算とシフトで近似される。

とすると、
TDB = Clip3( -128, 127, DiffPocB );
TDD = Clip3( -128, 127, DiffPocD );
iX = (0x4000 + abs(TDD/2)) / TDD;
Scale = Clip3( -1024, 1023, (TDB * iX + 32) >> 6 );

ここで、Clip3(x,y,z)は、ｘ、ｙ、ｚの中央値を返す関数である。求まったScaleをスケーリング係数とする。ここで、Scale=256の場合、1倍の係数を意味する。スケーリング演算は、下記（１０）式，（１１）式のように

で計算される。ここで >> は算術右シフトを表す。

上記のように、動き予測ベクトル候補を生成する。

次に、Mergeモードについて説明をする。

これはH.264/MPEG-4 AVCにおけるダイレクトモードと考え方は同じである。ただし、HEVCにおいては、動き予測ベクトル候補数がH.264/MPEG-4 AVCと比較して増加している。

マージモードでは、処理ブロックに対して空間方向、または時間方向に近接するブロックが有する、Ｌ０、Ｌ１それぞれの有効・無効を表す予測フラグ、Ｌ０、Ｌ１それぞれの参照インデックス、Ｌ０、Ｌ１それぞれの動きベクトルの予測情報のセットをそのまま使用する。

予測フラグによりＬ０が有効でかつ、Ｌ１が無効であれば、Ｌ０の片予測を意味し、予測フラグによりＬ０が無効でかつ、Ｌ１が有効であれば、Ｌ１の片予測を意味し、Ｌ０とＬ１の予測フラグがともに有効であれば、両予測を意味する。ともに無効であれば、イントラ予測ブロックであることを意味する。 あるいは、予測フラグを用いず、参照画像識別子が、参照画像リストの範囲外のインデックスであれば、無効を表現し、範囲内のインデックスであれば、有効を表現するようにしてもよい。

予測情報の候補リストを生成し、どの予測情報を使用するかは、候補リスト内のインデックスで指定する。このようにすることで、処理ブロックが周辺ブロックと同一の予測情報を使用して動き補償を行う場合、動きベクトルなどを符号化せずに、リスト内のインデックスを符号化するだけで処理ブロックにおいて用いる予測情報を復号装置に通知できるため、符号量が削減できる。マージモードが有効か否かはマージフラグというフラグで示し、予測情報候補リスト内のインデックスは、マージインデックスというインデックス情報で示す。

処理ブロックと周辺ブロックの位置関係を図７に示す。A0、A1、B0、B1、B2は、処理ブロックと同一の画像に含まれるブロックで、空間方向に隣接している。Colは、処理画像の過去に処理した画像に含まれるブロックであり、時間方向に隣接しているブロックである。ＨＭ４では、この6個の周辺ブロックから、予測情報候補リストを候補数5個までを列挙する。隣接ブロックのうち、イントラ予測ブロックであった場合、そのブロックの予測情報は候補リストには含めない。さらに、参照画像識別子や動きベクトル情報などが全て一致した予測情報が複数存在した場合、冗長であるため、重複した予測情報は削除される。

もし、冗長候補の削減により、図８（Ａ）及び図８（Ｂ）に示すように符号化後のデータ候補数が変わると、インデックスに対する符号化後データの符号の割り当て方法が変わってしまう。

このとき、データが壊れるなどしてある画像でエラーが起きてベクトル値が正しく復号できない場合、その画像をＣｏｌ画像として、その画像のブロックを時間方向に隣接するブロックとして参照する画像でも、時間方向の隣接ベクトル値が正しく復号出来ず、符号化器と復号器で冗長な候補削減でミスマッチが発生し、候補数が不一致する。

そのため、エラーが起きた画像をＣｏｌ画像とする画像では、候補数が不一致して正しくインデックスを復号できなかったブロックからベクトルを含めたすべてのデータが復号できずに、エラーが伝搬してしまう。このため、候補数は固定であるか、または、その画像の符号化情報のみで、導出できることが望ましい。

候補数を固定として、予測情報候補リストが所定の候補数に満たない場合に、リスト内の有効な候補数でなく、所定の候補数を最大値として符号の割り当てを行うと、使われないインデックスに符号を割り当ててしまい冗長性が発生し、符号化効率が低下する。

また、ＨＭ４では、候補数を固定とするため、予測情報候補リストが候補数に満たない場合には、参照画像識別子をシフトしながら、０ベクトルを追加して候補リストを埋めることがある。

次に、代表的な動画像復号方法について説明する。図９に示すように、動画像復号装置は、圧縮された映像からなるビットストリームを入力として、エントロピー復号手段501、逆量子化手段502、逆変換手段503、復号画像生成手段504、復号画像蓄積手段505、復号ブロック予測画像生成手段506と、選択手段509と、復号ブロック予測画像生成手段506に含まれる画面内予測画像生成手段507と画面間予測画像生成手段508を有している。

各機能部（手段）についての概略を以下に説明する。

エントロピー復号手段501は、ビットストリームを入力として、エントロピー復号（可変長復号，算術復号等）して量子化係数と符号化時の符号化パラメータであるサイド情報を出力する。エントロピー復号とは、シンボルの出現頻度に応じて可変長の符号を割り当てたエントロピー符号化データを復号して元に戻す方式をいう。

逆量子化手段502は、エントロピー復号手段501で得られた量子化係数に対して逆量子化を行い、再生周波数係数を出力する。これは、誤差に離散コサイン変換などを施して得られる周波数係数である。ただし、符号化の時点で量子化が施されているため、量子化誤差を含む。

逆変換手段503は、逆量子化手段502から出力された再生周波数係数に対し、逆離散コサイン変換を施して、再生予測誤差画像を出力する。これら逆量子化手段502及び逆変換手段503によって復号処理が行われることにより、符号化前の予測誤差画像と同程度の差分情報が得られる。

復号画像生成手段504は、復号ブロック予測画像生成手段506から出力される復号ブロック予測画像と再生予測誤差画像を足し合わせ、復号画像を出力する。

復号画像蓄積手段505は復号画像生成手段504から出力された復号画像と当該復号画像に対応する符号化パラメータであるサイド情報を蓄積し、復号画像及びサイド情報を復号ブロック予測画像生成手段506に出力する。

復号ブロック予測画像生成手段506は、復号画像とサイド情報を入力として、復号対象ブロックの予測値となる復号ブロック予測画像を生成し、選択手段509を介して復号画像生成手段504に出力する。

復号ブロック予測画像生成手段506内での処理として、画面内予測画像生成手段507は、現復号画像の画素値情報とサイド情報のみを用いて画面内予測を行い、復号ブロック予測画像を生成する。また、画面間予測画像生成手段508は、一枚以上の復号画像とサイド情報を入力として、画面間予測を行い、復号ブロック予測画像を生成する。

画面間予測画像生成手段508について、更に詳細に説明する。

図１０に示すように、画面間予測画像生成手段508は、入力に復号画像蓄積手段505より出力される復号画像とサイド情報をとり、動き補償手段602を有し、画面間予測画像を出力する。ここで、サイド情報は、画像の表示時刻（ＰＯＣ）や復号ブロックの位置、復号ブロックのサイズ、ブロックが符号化されたときに選択された動きベクトルなどの情報を含む。また、復号画像は、復号画像の画素値のみでなく、画像の表示時刻（ＰＯＣ）やブロック分割深さ（ブロックサイズ）、予測モード（画面内／画面間）などの、その画像を符号化したときの符号化パラメータの情報も含むものとする。

各機能部（手段）についての概略を以下に説明する。

動き予測ベクトル候補生成手段601は、符号化時の動きベクトルを含む符号化パラメータであるサイド情報と復号画像蓄積手段505より出力される復号画像を入力として、動き予測ベクトル候補を出力する。

動き補償手段602は、復号画像と符号化時の動きベクトルを含む符号化パラメータであるサイド情報、動き予測ベクトル候補を入力とし、画面間予測画像を出力する。

本発明は、動き予測ベクトル候補生成手段601にかかるものであるが、動き予測ベクトル候補生成手段601そのものは、動画像符号化装置の説明で参照した図4の動き予測ベクトル候補生成手段301と同様の動作をするため、ここでは説明を省略する。

非特許文献１：ISO/IEC 13818、Generic coding of moving pictures and associated audio information
非特許文献２：ISO/IEC 14496−10、MPEG−4 Part 10 Advanced Video Coding

ところで、上記した従来の技術では、インタレースのフィールド映像をMergeモードまたはMVPモードで符号化すると、符号化効率が低下するという課題があった。なぜなら、フィールド映像をMergeモードまたはMVPモードで符号化すると、符号化対象フィールドピクチャと、参照インデックスで指定される符号化対象フィールドピクチャの符号化対象ブロックが参照する符号化済みフィールドピクチャと、符号化対象フィールドピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す符号化済みフィールドピクチャの、3枚のフィールドピクチャのパリティがそろわない場合、その不一致に相当する誤差がベクトルに生じてしまう。そのため、動き予測ベクトルが正しい動きベクトルではなくなり、符号化効率が低下する。

図11を使って、上記で説明した問題を詳細に説明する。

フィールド構造の画像は、時間方向にTop Field(10), Bottom Field(11), Top Field(12), Bottom Field(13), Top Field(14)の順で入力される。このようなフィールド構造の場合、Bottom Fieldの画素が、Top fieldの画素と比較して、フィールドで0.5画素分、下の方向にずれている。

このため、例えば、符号化対象フィールドピクチャがBottom Field(13)、符号対象フィールドピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す符号化済みフィールドピクチャのパリティがTop Field(10)、かつ参照インデックスで指定される符号化対象フィールドピクチャの符号化対象ブロックが参照する符号化済みフィールドピクチャがBottom Field(11)であり、符号化対象フィールドピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルがMVp y'=0だった時に、このベクトルを動き予測ベクトルとしてそのまま使用した場合、同じMVp y=0であっても、それらのベクトルは平行にならず、図１１で示したような動きベクトルの誤差ｄ（０．５画素分の誤差）が発生してしまう。実空間上では、１／４画素精度でベクトルが指定されるため２（０．５画素分）の差が発生する。

これは、動き予測ベクトルが本来の動きを指していないことになり、符号化の精度が悪く、復号化しても元の画像の再現性が低下するのみならず、誤差を含んだまま符号化されたブロックを利用して更に他のブロックを符号化していくため、冗長性の除去が十分行われないまま符号化が進み、結果的に圧縮率も損なわれる等、符号化効率の損失が発生する。

本発明は、上記した従来の技術の課題を解決するためになされたものであり、符号化効率の低下を抑止することが可能な動画像符号化装置および動画像復号装置を提供することを目的とする。

上記問題を解決する為に、本発明に関する動画像符号化装置では、符号化対象フィールドピクチャのすでに符号化が実施された領域に属し、符号化対象ブロック近傍の特定のブロックを符号化する際に用いられたベクトルを基準ベクトルとして導出する基準ベクトル導出手段と、符号化対象フィールドピクチャと、前記基準ベクトルが指す第一の復号画像と、参照インデックスにより指定される前記符号化対象フィールドピクチャの符号化対象ブロックが参照する第２の復号画像の時間的距離により、前記基準ベクトルをスケーリングし、動き予測ベクトルを生成する手段と、前記符号化対象フィールドピクチャのパリティと、前記基準ベクトルが指す第一の復号画像のパリティと、参照インデックスにより指定される前記符号化対象フィールドピクチャの符号化対象ブロックが参照する第二の復号画像のパリティより、前記動き予測ベクトルを補正し、補正動き予測ベクトルを生成する手段を持つことを特徴とする。

また、本発明に関する動画像復号装置では、復号対象フィールドピクチャのすでに復号が実施された領域に属し、復号対象ブロック近傍の特定のブロックを復号する際に用いられたベクトルを基準ベクトルとして導出する基準ベクトル導出手段と、復号対象フィールドピクチャと、前記基準ベクトルが指す第一の復号画像と、参照インデックスにより指定される前記復号対象フィールドピクチャの復号対象ブロックが参照する第２の復号画像の時間的距離により、前記基準ベクトルをスケーリングし、動き予測ベクトルを生成する手段と、前記復号対象フィールドピクチャのパリティと、前記基準ベクトルが指す第一の復号画像のパリティと、参照インデックスにより指定される前記復号対象フィールドピクチャの復号対象ブロックが参照する第二の復号画像のパリティより、前記動き予測ベクトルを補正し、補正動き予測ベクトルを生成する手段を持つことを特徴とする。

本発明では、各フレームが２枚のフィールドで構成され、フィールド間の動き補償予測を行い、各フィールドの符号化処理を行う動画像符号化装置においても、正しい動き予測ベクトルを導出することができ、符号化効率の低下を抑制することができる。

図１ 画面間予測方式の説明図 図２ 従来の動画像符号化装置の構成図 図３ 従来の画面間予測画像生成手段の構成図（符号化器側） 図４ 動き予測ベクトル候補生成手段構成図 図５ 空間隣接ブロックの位置 の説明図 図６ Colブロックの位置 の説明図 図７ Mergeモードにおける隣接ブロックの位置の説明図 図８ 候補数による符号の違いを示す図 図９ 従来の動画像復号装置の構成図 図１０ 従来の画面間予測画像生成手段の構成図（復号器側） 図１１ ピクチャのパリティの違いによるベクトル誤差の説明図 図１２ 実施例１における動き予測ベクトル候補生成手段 図１３ 実施例１における動き予測ベクトル候補生成手段処理フロー 図１４ 実施例１における動き予測ベクトルの補正を説明する図 図１５ 実施例２における動き予測ベクトル候補生成手段 図１６ 実施例２における動き予測ベクトル候補生成手段処理フロー 図１７ 実施例２における動き予測ベクトルの補正を説明する図 図１８ 符号化対象ピクチャがTop Field、第一の復号画像がBottom Field、第二の復号画像がTop Fieldの場合の動き予測ベクトル補正を説明する図 図１９ 符号化対象ピクチャがBottom Field、第一の復号画像がBottom Field、第二の復号画像がTop Fieldの場合の動き予測ベクトル補正を説明する図 図２０ 符号化対象ピクチャがBottom Field、第一の復号画像がTop Field、第二の復号画像がBottom Fieldの場合の動き予測ベクトル補正を説明する図 図２１ 符号化対象ピクチャがBottom Field、第一の復号画像がTop Field、第二の復号画像がTop Fieldの場合の動き予測ベクトル補正を説明する図 図２２ 実施例３における動き予測ベクトル候補生成手段 図２３ 実施例３における動き予測ベクトル候補生成手段処理フロー 図２４ 実施例３における動き予測ベクトルの補正を説明する図

以下に添付図面を参照して、本発明に係る符号化装置および復号装置の実施例を詳細に説明する。

図１２を用いて本発明の実施例１に係る動画像符号化装置の動き予測ベクトル生成手段の構成について説明する。ここで、動きベクトルの精度は1/4画素であるとして、一画素分の動きベクトルは4と表されると仮定する。

本実施例における動き予測ベクトル生成手段700は、符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報、復号画像蓄積手段208から出力される隣接ブロックの動きベクトル、隣接位置指定情報、符号化対象ブロックの動きベクトルが指す符号化済みピクチャを指定する参照インデックスを入力とし、基準ベクトル取得手段701、スケーリング手段702、動き予測ベクトル補正手段703を有し、補正動き予測ベクトルを出力とする。

復号画像蓄積手段208は、復号画像を符号化した際に使用した動きベクトル等のサイド情報を蓄積している。

基準ベクトル取得手段701は、隣接位置指定情報、符号化対象ブロックのピクチャ情報、復号画像蓄積手段208から動きベクトルを入力とし、隣接位置指定情報により指定された位置のブロックの動きベクトル情報を、基準ベクトルとして出力とする。

スケーリング手段702は、前記基準ベクトルと符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報、参照インデックスを入力として、符号化対象ブロックのPOCと前記基準ベクトルにより指定される第一の復号画像のPOCと、参照インデックスで指定された第二の復号画像のPOCから前記基準ベクトルをスケーリングし、動き予測ベクトルを出力する。

動き予測ベクトル補正手段703は、スケーリング手段702より出力された動き予測ベクトルと、参照インデックスと、符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報、参照インデックスを入力とし、符号化対象ブロックのパリティと基準ベクトルが指し示す第一の復号画像のパリティと、参照インデックスで指定された第二の復号画像のパリティを参照して、動き予測ベクトルを補正し、補正動き予測ベクトルを出力する。

本発明の処理の流れについて、図13を用いて説明する。また、図14を用いて、具体的な数値をもって説明する。

まず、ステップ（S101）において、符号化対象ブロックの位置情報と、隣接既符号化ブロックの位置を指定する隣接位置指定情報から、符号化対象ブロックに空間的に隣接するブロックの動きベクトルMVp = (MVp x, MVp y)を取得し、基準ベクトルとして出力する。

前述した通り、指定される隣接位置は、MVPモードの場合は、左、上2か所のどれかであり、Mergeモードの場合は左、上、右上、左下、また、これら四つの候補のうち一つでも動き予測ベクトルが取得できないものがあれば左上、の最大5か所のどれかである。図１４の場合、Top Field（23）の画素位置0（Ａ）より、Top Field（21）の画素位置-2（Ｂ）を指しているため、MVp y = -8となり、図１４の(a)のようなベクトルとなる。（実空間上では、１／４画素精度でベクトルが指定されるため1画素分を４として扱う。）
ここで、パリティの差が出るのはｙ方向のみなので、ｙ方向のベクトルのみを取り扱う。

続いて、ステップ（S102）において、符号化対象ブロックのピクチャ情報と、復号画像のピクチャ情報、予測情報、参照インデックスを入力として、基準ベクトルMVpに対しスケーリングを行い、動き予測ベクトルMVp'を出力する。符号化対象ブロックが属する符号化対象フィールドピクチャのPOCをPOC curr、基準ベクトルが指す第一の復号画像のPOCをPOC ref1、参照インデックスによって指定される第二の復号画像のPOCをPOC ref2とすると、スケーリングは次の（１２）式で表される。

ここで、MVp y'は動き予測ベクトルであるとする。
図１４の場合では以下の（１３）式のように計算される。

このとき、動き予測ベクトルMVp y' = -4、つまり一画素分であり、それは、Bottom Field（22）では図１４の(b)のベクトルで示される。そのベクトルは明らかに、基準ベクトルを正しくスケーリングしたものではないため、補正が必要となるのである。

続いて、ステップ（S103）において、符号化対象ブロックのピクチャ情報と、復号画像のピクチャ情報、予測情報、参照インデックスを入力として、符号化対象フィールドピクチャのパリティと、参照インデックスによって指定される第二の復号画像のフィールドピクチャのパリティを考慮して、動き予測ベクトルMVp''の補正を行う。

これは、次の（１４）式で計算することができる。

（数１０）
MVp_y'' = MVp_y' + 2 * (isBottomFieldRef1 - isBottomFieldCurr) * (ref2_poc - Curr_poc) / (ref1_poc - Curr_poc) + 2 * (isBottomFieldCurr - isBottomFieldRef2) （１４）
ここで、isBottomFieldCurrは符号化対象ピクチャのパリティ、isBottomFieldRef1は基準ベクトルが指す第一の復号画像ピクチャのパリティ、isBottomFieldRef2は符号化対象ブロックが参照する第二の復号画像ピクチャのパリティであり、それぞれTop Fieldの場合を０、Bottom Fieldの場合を１とする。

図１４では、以下の（１５）式のように計算される。

このとき、補正動きベクトルMVp y''は-6であり、図１４の中では(c)のようなベクトルとなる。これは、基準ベクトルと平行であり、正しくスケーリングしたベクトルを表している。

これにより、基準ベクトルMVpを正しくスケーリングした動き予測ベクトルMVp''を得ることができる。

最終的にステップ（S104）において、正しい動き予測ベクトルが出力される。

以上の例では、基準ベクトルの参照先と参照元のパリティがTop-Topであり、予測ベクトルの参照先と参照元のパリティがTop-Bottomの関係の場合について説明した。

基準ベクトルMVp yをスケーリングするとMVp y = -4（1画素）となり、Bottom field（22）では(a)を指す。それに対して-2（1/2画素）補正することでTop field（23）にとって正しいベクトル(b)としている。

尚、上記説明では参照指定される隣接位置は、MVPモードの場合と、Mergeモードの場合で説明したが、符号化対象ブロックの近傍であれば、予測に利用することは可能であり、予測モードとして、上記２つと異なるモードが規定された場合にも同様に対応可能である。

図１５を用いて本発明の実施例２に係る動画像符号化装置の動き予測ベクトル候補生成手段800の構成について説明する。ここで、動きベクトルの精度は1/4画素であるとして、一画素分の動きベクトルは4と表されると仮定する。

本実施例における動き予測ベクトル候補生成手段800は、符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報、復号画像蓄積手段208から出力される隣接ブロックの動きベクトル、隣接位置指定情報、符号化対象ブロックの動きベクトルが指す復号画像を指定する参照インデックスを入力とし、基準ベクトル取得手段701、基準ベクトル補正手段801、スケーリング手段802、動き予測ベクトル補正手段803を有し、補正動き予測ベクトルを出力とする。

復号画像蓄積手段208は、復号済みピクチャを符号化した際に使用した動きベクトルを蓄積している。

基準ベクトル取得手段701は、隣接位置指定情報、符号化対象ブロックのピクチャ情報、復号画像蓄積手段208から動きベクトルを入力とし、隣接位置指定情報により指定された位置のブロックの動きベクトル情報を、基準ベクトルとして出力とする。

基準ベクトル補正手段801は、符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報、基準ベクトルを入力として、前記符号化対象ピクチャのパリティと基準ベクトルが指し示す第一の復号画像のピクチャのパリティを用いて、基準ベクトルを補正し、補正基準ベクトルを出力する。

スケーリング手段802は、前記補正基準ベクトルと符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報、参照インデックスを入力として、符号化対象ピクチャのPOCと前記第一の復号画像のピクチャのPOCと、参照インデックスで指定された第二の復号画像のピクチャのPOCから前記補正基準ベクトルをスケーリングし、動き予測ベクトルを出力する。

動き予測ベクトル補正手段803は、スケーリング手段802より出力された動き予測ベクトルと、参照インデックスと、符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報を入力とし、符号化対象ピクチャのパリティと参照インデックスで指定された第二の復号画像のピクチャのパリティを参照して、動き予測ベクトルを補正し、補正動き予測ベクトルを出力する。

本発明の処理の流れについて、図１６を用いて説明する。また、図１７を用いて、具体的な数値をもって説明する。

まず、ステップ（Ｓ201）において、符号化対象ブロックの位置情報と、隣接既符号化ブロックの位置を指定する隣接位置指定情報から、符号化対象ブロックに空間的に隣接するブロックの動きベクトルMVp = (MVp x, MVp y)を取得し、基準ベクトルとして出力する。

前述した通り、指定される隣接位置は、MVPモードの場合は、左、上2か所のどれかであり、Mergeモードの場合は左、上、右上、左下、また、これら四つの候補のうち一つでも動き予測ベクトルが取得できないものがあれば左上、の最大5か所のどれかである。

図１７の場合、Top Field（35）の画素位置0（A）より、Bottom Field（32）の画素位置-2を指しているため、MVp y = -8となる。ここで、パリティの差が出るのはｙ方向のみなので、ｙ方向のベクトルのみを取り扱う。

次に、ステップ（S202）において、符号化対象ブロックのピクチャ情報と、復号画像のピクチャ情報、予測情報を入力として、符号化対象ブロックが属する符号化対象ピクチャのパリティと、基準ベクトルが指す第一の復号画像のピクチャのパリティを考慮して、基準ベクトルMVpの補正を行い、補正基準ベクトルMVp'を出力する。これは、次の（１６）式で計算することができる。

ここで、MVp y'は補正基準ベクトルとする。
図１７の場合では以下の（１７）式のように計算される

（数１３）
MVp_y’＝−８＋２*（１−０）＝−６ （１７）

これは、図１７のベクトル(a)で表される。ここで、isBottomFieldCurrは符号化対象ブ
ロックが属する符号化対象ピクチャのパリティ、isBottomFieldRef1は基準ベクトルが指す第一の復号画像のピクチャのパリティ、isBottomFieldRef2は符号化対象ブロックが参照する第二の復号画像のピクチャのパリティであり、それぞれTop Fieldの場合を０、Bottom Fieldの場合を１とする。

ここで、MVp y''は動き予測ベクトルとする。
図１７の場合では以下の（１９）式のように計算される

このとき、動き予測ベクトルはMVp y'' = -2、つまり半画素分であり、それは、Bottom Fieldでは図１７の(b)で示されるベクトルとなる。

続いて、ステップ（S204）において、ステップ（S203）で生成された動き予測ベクトルはMVp y''は明らかに、基準ベクトルを正しくスケーリングしたベクトルではないため、補正が必要となるのである。そこで、符号化対象ピクチャ情報と、復号画像のピクチャ情報、予測情報、参照インデックスを入力として、符号化対象ブロックが属する符号化対象ピクチャのパリティと、参照インデックスによって指定される第二の復号画像のピクチャのパリティを考慮して、動き予測ベクトルMVp''の補正を行い、補正動き予測ベクトルMVp'''を生成する。これは、次の（２０）式で計算することができる。

（数１６）
MVp_y''' = MVp_y'' + 2 * (isBottomFieldCurr - isBottomFieldRef2) （２０）

図１７では、以下の（２１）式のように計算される。

（数１７）
MVp_y''' =−２＋２*（０−１）＝−４ （２１）

このとき、補正動きベクトルMVp y'''は-4であり、それは図１７の中では(c)のようなベクトルとなる。これは、基準ベクトルと平行であり、正しくスケーリングしたベクトルを表している。

これにより、もともとの基準ベクトルMVpを正しくスケーリングした動き予測ベクトルMVp'''を得ることができる。

最終的にステップ（S205）において、正しい動き予測ベクトルが出力される。

以上の例では、基準ベクトルの参照先と参照元のパリティがTop - Bottomであり、予測ベクトルの参照先と参照元のパリティがTop - Bottomの関係の場合について説明した。

基準ベクトルMVp yを+2補正し、実空間上の補正基準ベクトルMVp y' = -6（a）を得るMVp y'をスケーリングするとMVp y''= -2（半画素）となり、Top field（35）では(b)を指す。そして、最後に基準ベクトルを平行になるようにするため、MVp y''を-2補正し、動きベクトルMVp y'''を得る。これは(c)で示されるベクトルである。

参考に、符号化対象ブロックの属する符号化対象ピクチャと、参照インデックスで指定される符号化対象ブロックが参照する復号画像のピクチャと、符号化対象ピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す復号画像のピクチャの3枚のピクチャのパリティがそろわず、実施例２に挙げた方法で補正を行った場合の動作について図１８から図２１にて説明する。

符号化対象ピクチャがTop Fieldであり、参照インデックスで指定される符号化対象ピクチャの符号化対象ブロックが参照する復号画像のピクチャがBottom Fieldであり、符号化対象ピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す復号画像のピクチャがTop Fieldの場合と、符号化対象ピクチャがTop Fieldであり、参照インデックスで指定される符号化対象ピクチャの符号化対象ブロックが参照する復号画像のピクチャがBottom Fieldであり、符号化対象ピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す復号画像のピクチャがBottom Fieldの場合については、それぞれ実施例１と実施例２で説明したので、割愛する。

図１８は、符号化対象ピクチャがTop Fieldであり、参照インデックスで指定される符号化対象ピクチャの符号化対象ブロックが参照する復号画像のピクチャがTop Fieldであり、符号化対象ピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す復号画像のピクチャがBottom Fieldの場合である。

図１９は、符号化対象ピクチャがBottom Fieldであり、参照インデックスで指定される符号化対象ピクチャの符号化対象ブロックが参照する復号画像のピクチャがTop Fieldであり、符号化対象ピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す復号画像のピクチャがBottom Fieldの場合である。

図２０は、符号化対象ピクチャがBottom Fieldであり、参照インデックスで指定される符号化対象ピクチャの符号化対象ブロックが参照する符号化済みピクチャがBottom Fieldであり、符号化対象ピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す復号画像のピクチャがTop Fieldの場合である。

図２１は、符号化対象ピクチャがBottom Fieldであり、参照インデックスで指定される符号化対象ピクチャの符号化対象ブロックが参照する符号化済みピクチャがTop Fieldであり、符号化対象ピクチャのすでに符号化が実施された領域に属する特定のブロックを符号化する際に用いられたベクトルが指す復号画像のピクチャがTop Fieldの場合である。

図１８の例では、基準ベクトルの参照先と参照元のパリティがTop-Bottomであり、予測ベクトルの参照先と参照元のパリティが, Top-Bottomの関係となる場合を示している。

基準ベクトルMVp yを+2補正し、実時空間上の補正基準ベクトルMVp y' = -6（a）を得る。MVp y'をスケーリングするとMVp y''= -4（一画素）となり、Top field（35’）では(b)を指し、それはTop-Bottom fieldにとって正しいベクトルMVp y''' = -4である。

図１９の例では、基準ベクトルの参照先と参照元のパリティがBottom-Bottom,であり、予測ベクトルの参照先と参照元のパリティが,Bottom-Topの関係となる場合を示している。

基準MVp yをスケーリングするとMVp y'= -4（1画素）となりBottom fieldでは(a)を指 す。それに対して+2（1/2画素）補正することでTop fieldにとって正しいベクトルMV p y''= -2 (b) にする。

図２０の例では、基準ベクトルの参照先と参照元のパリティがBottom-Top,であり予測ベクトルの参照先と参照元のパリティがBottom-Bottomの関係となる場合を示している。

基準ベクトルMVp yを-2補正し、実時空間上の基準ベクトルである補正基準ベクトルMVp y' = -6を得る。MVp y'をスケーリングするとMVp y'' = -4（1画素）となり、Bottom fieldでは(a)を指す。この場合は、MVp y''が正しい動き予測ベクトルとなる
図２１の例では、基準ベクトルの参照先と参照元のパリティがBottom-Top, であり予測ベクトルの参照先と参照元のパリティがBottom-Topの関係となる場合を示している。

基準ベクトルMVp yを-2補正し、実時空間上の基準ベクトルを表す補正基準ベクトルMVp y' = -6（a）を得るMVp y'をスケーリングするとMVp y'' = -2（1/2画素）となり、それはTop fieldでは(b)を指す。それに対して+2（1/2画素）補正することでTop-Bottom fieldにとって正しいベクトル(c)にする。

指定された隣接位置が画面内予測であるなどして、動き予測ベクトルを導出することができず、結果、動き予測ベクトル候補が足りなくなる場合がある。その場合は、前述した通り、動きのないベクトル（ゼロベクトル）を追加することで、候補数を補うことがある。ここではゼロベクトルが追加された場合の実施例について図２２を用いて説明する。

本実施例における動き予測ベクトル候補生成手段は、符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報、隣接位置指定情報を入力とし、基準ベクトル取得手段701、動き予測ベクトル補正手段901を有し、補正動き予測ベクトルを出力とする
基準ベクトル取得手段701は、隣接位置指定情報、符号化対象ブロックのピクチャ情報を入力とし、符号化対象ブロックのピクチャ情報と隣接位置指定情報により指定された位置の参照ブロックが画面内予測であるなどして、動きベクトルが存在しないときに、ゼロベクトルを動き予測ベクトルとして出力とする。

動き予測ベクトル補正手段は、動き予測ベクトル（ゼロベクトル）と、参照インデックスと、符号化対象ブロックのピクチャ情報、復号画像のピクチャ情報、予測情報を入力とし、符号化対象ピクチャのパリティと参照インデックスで指定された第二の復号画像のピクチャのパリティを参照して、動き予測ベクトルを補正し、補正動き予測ベクトルを出力する。

本発明の処理の流れについて、図２３を用いて説明する。

まず、ステップ（S301）において、符号化対象ブロックの位置情報と、隣接既符号化ブロックの位置を指定する隣接位置指定情報から、符号化対象ブロックに空間的に隣接するブロックの動きベクトルMVp = (MVp x, MVp y)を取得する。前述した通り、指定される隣接位置は、MVPモードの場合は、左、上2か所のどれかであり、Mergeモードの場合は左、上、右上、左下、また、これら四つの候補のうち一つでも動き予測ベクトルが取得できないものがあれば左上、の最大5か所のどれかである。しかし、隣接ブロックが画面内予測を使用されているなどして、基準ベクトルが使用不可であり、最大候補数まで埋まらない場合は、ゼロベクトルを動き予測ベクトルMVp''として出力する。

続いて、ステップ（S302）において、符号化対象ブロックのピクチャ情報と、復号画像のピクチャ情報、予測情報、参照インデックスを入力として、符号化対象ピクチャのパリティと、参照インデックスによって指定される第二の復号画像のピクチャのパリティを考慮して、動き予測ベクトルMVp''のｙ成分であるMVp y''の補正を行い、補正動き予測ベクトルMVp y'''を生成する。これは、次の（２２）式で計算することができる。

（数１８）
MVp_y''' = MVp_y'' + 2 * (isBottomFieldCurr - isBottomFieldRef2) （２２）

これにより、ゼロベクトルMVp''を正しくスケーリングした動き予測ベクトルを得ることができる。

最終的にステップ（S303）において、正しい動き予測ベクトルが出力される。

具体例を図２４にて説明する。

ゼロベクトルを動き予測ベクトルとする場合、単純にMVp y'' = 0とすると、図２４のようにTop FieldからBottom Fieldを参照するときは(a)で表されるベクトルとなり、実際に意図していたベクトルとは異なるベクトルとなってしまう。

符号化対象ピクチャ、第一の復号画像のピクチャのパリティより、動き予測ベクトル（ゼロベクトル）MVp''のｙ成分MVp y''を補正し、補正動き予測ベクトルMVp y'''を得る。これは、次の（２３）式で計算することができる。

（数１９）
MVp_y''' =０＋２*（０−１）＝−２ （２３）

このベクトルは１/2画素分を指し、図２４のように、Top FieldからBottom Fieldを指すときは(b)で表されるベクトルとなり、基準ベクトルを正しくスケーリングした動きベクトルを得ることができた。

図２４の例では、参照元（Current）がTop Fieldで、参照先（Reference）がBottom Fieldの場合、単純にMVp y'' = 0とすると、(a)のような1/2画素ずれたベクトルになってしまう。

よって、正しいベクトルとなるように、MVp y''を-2（1/2画素）補正し、結果動き予測ベクトル(b)を得る。

Claims (8)

1. 各フレームが２枚のフィールドで構成され、フィールド間でブロック単位に動き補償予測を行い、各フィールドの符号化処理を行う動画像符号化装置において、
   符号化対象フィールドピクチャのすでに符号化が実施された領域に属し、符号化対象ブロック近傍の特定のブロックを符号化する際に用いられたベクトルを基準ベクトルとして導出する基準ベクトル導出手段と、
   前記符号化対象フィールドピクチャと、前記基準ベクトルが指す第一の符号化済みフィールドピクチャと、参照インデックスにより指定される前記符号化対象フィールドピクチャの符号化対象ブロックが参照する第二の符号化済みフィールドピクチャの時間的距離により、前記基準ベクトルをスケーリングし、動き予測ベクトルを生成するスケーリング手段と、
   前記符号化対象フィールドピクチャのパリティと、前記第一の符号化済みフィールドピクチャのパリティと、前記第二の符号化済みフィールドピクチャのパリティを用いて前記動き予測ベクトルを補正し、補正動き予測ベクトルを生成する、動き予測ベクトル補正手段と、
   を有することを特徴とする動画像符号化装置。
2. 各フレームが２枚のフィールドで構成され、フィールド間でブロック単位に動き補償予測を行い、各フィールドの復号処理を行う動画像復号装置において、
   復号対象フィールドピクチャのすでに復号が実施された領域に属し、符号化対象ブロック近傍の特定のブロックを復号する際に用いられたベクトルを基準ベクトルとして導出する基準ベクトル導出手段と、
   前記復号対象フィールドピクチャと、前記基準ベクトルが指す第一の復号済みフィールドピクチャと、参照インデックスにより指定される前記復号対象フィールドピクチャの復号対象ブロックが参照する第二の復号済みフィールドピクチャの時間的距離により、前記基準ベクトルをスケーリングし、動き予測ベクトルを生成するスケーリング手段と、
   前記復号対象フィールドピクチャのパリティと、前記第一の復号済みフィールドピクチャのパリティと、前記第二の復号済みフィールドピクチャのパリティを用いて前記動き予測ベクトルを補正し、補正動き予測ベクトルを生成する、動き予測ベクトル補正手段と、
   を有することを特徴とする動画像復号装置。
3. 各フレームが２枚のフィールドで構成され、フィールド間でブロック単位に動き補償予測を行い、各フィールドの符号化処理を行う動画像符号化装置において、
   符号化対象フィールドピクチャのすでに符号化が実施された領域に属し、符号化対象ブロック近傍の特定のブロックを符号化する際に用いられたベクトルを基準ベクトルとして導出する基準ベクトル導出手段と、
   前記符号化対象フィールドピクチャのパリティと、前記基準ベクトルが指す第一の符号化済みフィールドピクチャのパリティを用いて基準ベクトルを補正し、補正基準ベクトルを生成する基準ベクトル補正手段と、
   前記符号化対象フィールドピクチャと、前記第一の符号化済みフィールドピクチャと、
   参照インデックスにより指定される前記符号化対象フィールドピクチャの符号化対象ブロックが参照する第二の符号化済みフィールドピクチャの時間的距離により、前記補正基準ベクトルをスケーリングし、動き予測ベクトルを生成するスケーリング手段と、
   前記符号化対象フィールドピクチャのパリティと前記第二の符号化済みフィールドピクチャのパリティを用いて前記動き予測ベクトルを補正し、補正動き予測ベクトルを生成する、動き予測ベクトル補正手段と
   を有することを特徴とする動画像符号化装置。
4. 各フレームが２枚のフィールドで構成され、フィールド間でブロック単位に動き補償予測を行い、各フィールドの復号処理を行う動画像復号装置において、
   復号対象フィールドピクチャのすでに復号が実施された領域に属し、復号対象ブロック近傍の特定のブロックを復号する際に用いられたベクトルを基準ベクトルとして導出する基準ベクトル導出手段と、
   前記復号対象フィールドピクチャのパリティと、前記基準ベクトルが指す第一の復号済みフィールドピクチャのパリティを用いて前記基準ベクトルを補正し、補正基準ベクトルを生成する基準ベクトル補正手段と、
   前記復号対象フィールドピクチャと、第一の復号済みフィールドピクチャと、参照インデックスにより指定される前記復号対象フィールドピクチャの復号対象ブロックが参照する第二の復号済みフィールドピクチャの時間的距離により、前記補正基準ベクトルをスケーリングし、動き予測ベクトルを生成するスケーリング手段と、
   前記復号対象フィールドピクチャのパリティと前記第二の復号済みフィールドピクチャのパリティを用いて前記動き予測ベクトルを補正し、補正動き予測ベクトルを生成する、動き予測ベクトル補正手段と
   を有することを特徴とする動画像復号装置。
5. 前記基準ベクトル導出手段で導出した基準ベクトルをMVpとし、
   スケーリング手段は、前記符号化対象フィールドピクチャの表示時刻を表すPOCをCurr poc、前記基準ベクトルが指す第一の符号化済みフィールドピクチャの表示時刻を表すPOCをref1 poc、参照インデックスにより指定された、前記符号化対象フィールドピクチャの符号化対象ブロックが参照する第二の符号化済みフィールドピクチャの表示時刻を表すPOCをref2 pocとし、それらの時間的距離により、前記基準ベクトルMVpに、MVp' = MVp * (ref2 poc - Curr poc) / (ref1 poc - Curr poc)の通りスケーリングし、動き予測ベクトルMVp'を生成し、
   動き予測ベクトル補正手段は、前記符号化対象フィールドピクチャがBottom Fieldであるか否かを表すフラグをisBottomFieldCurr、前記第一の符号化済みフィールドピクチャがBottom Fieldであるか否かを表すフラグをisBottomFieldRef1、前記第二の符号化済みフィールドピクチャがBottom Fieldであるか否かを表すフラグをisBottomFieldRef2とし、前記動き予測ベクトルMVp'をMVp'' = MVp' + 2 * (isBottomFieldRef1 - isBottomFieldCurr) * (ref2 poc - Curr poc) / (ref1 poc - Curr poc) + 2 * (isBottomFieldCurr - isBottomFieldRef2) のように補正し、補正動き予測ベクトルMVp''を生成する、
   ことを特徴とする請求項１記載の動画像符号化装置。
6. 前記基準ベクトル導出手段で導出した基準ベクトルをMVpとし、
   前記スケーリング手段は、前記復号対象フィールドピクチャの表示時刻を表すPOCをCurr poc、前記基準ベクトルが指す第一の復号済みフィールドピクチャの表示時刻を表すPOCをref1 poc、参照インデックスにより指定された、前記復号対象フィールドピクチャの復号対象ブロックが参照する第二の復号済みフィールドピクチャの表示時刻を表すPOCをref2 pocとし、それらの時間的距離により、前記基準ベクトルMVpに、MVp' = MVp * (ref2 poc - Curr poc) / (ref1 poc - Curr poc)の通りスケーリングし、動き予測ベクトルMVp'を生成し、
   動き予測ベクトル補正手段は、前記復号対象フィールドピクチャがBottom Fieldであるか否かを表すフラグをisBottomFieldCurr、前記第一の復号済みフィールドピクチャがBottom Fieldであるか否かを表すフラグをisBottomFieldRef1、前記第二の復号済みフィールドピクチャがBottom Fieldであるか否かを表すフラグをisBottomFieldRef2とし、前記動き予測ベクトルMVp'をMVp'' = MVp' + 2 * (isBottomFieldRef1 - isBottomFieldCurr) * (ref2poc - Curr poc) / (ref1 poc - Curr poc) + 2 * (isBottomFieldCurr - isBottomFieldRef2) のように補正し、補正動き予測ベクトルMVp''を生成する、
   ことを特徴とする請求項２記載の動画像復号装置。
7. 前記基準ベクトル導出手段で導出した基準ベクトルをMVpとし、
   前記基準ベクトル補正手段は、前記符号化対象フィールドピクチャのパリティと、前記基準ベクトルが指す第一の符号化済みフィールドピクチャのパリティを用いて、前記符号化対象フィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldCurr、前記基準ベクトルが指す第一の符号化済みフィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldRefとするとき、MVpを MVp' = MVp+ 2 * (isBottomFieldRef - isBottomFieldCurr)のように補正し、補正基準ベクトルMVp'を生成し、
   前記スケーリング手段は、前記符号化対象フィールドピクチャと、前記第一の符号化済みフィールドピクチャと、前記符号化対象フィールドピクチャの符号化対象ブロックが参照する参照インデックスにより指定された第二の符号化済みフィールドピクチャの時間的距離により、前記補正基準ベクトルMVp'をスケーリングし、動き予測ベクトルMVp''を生成し、
   前記動き予測ベクトル補正手段は、前記符号化対象フィールドピクチャのパリティと前記第二の符号化済みフィールドピクチャのパリティを用いて、前記符号化対象フィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldCurr、前記第二の符号化済みフィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldRef2とするとき、前記動き予測ベクトルMVp''をMVp''' = MVp'' + 2 * (isBottomFieldCurr - isBottomFieldRef2)のように補正し、補正動き予測ベクトルMVp'''を生成する、
   ことを特徴とする請求項３記載の動画像符号化装置。
8. 前記基準ベクトル導出手段で導出した基準ベクトルをMVpとし、
   前記基準ベクトル補正手段は、前記復号対象フィールドピクチャのパリティと、前記基準ベクトルが指す第一の復号済みフィールドピクチャのパリティを用いて、前記復号対象フィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldCurr、前記基準ベクトルが指す第一の復号済みフィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldRefとするとき、MVpを MVp' = MVp + 2 * (isBottomFieldRef - isBottomFieldCurr)のように補正し、補正基準ベクトルMVp'を生成し、
   前記スケーリング手段は、前記復号対象フィールドピクチャと、前記第一の符号化済みフィールドピクチャと、参照インデックスにより指定される前記復号対象フィールドピクチャの復号対象ブロックが参照する第二の復号済みフィールドピクチャの時間的距離より、前記補正基準ベクトルMVp'をスケーリングし、動き予測ベクトルMVp''を生成し、
   前記動き予測ベクトル補正手段は、前記復号対象フィールドピクチャのパリティと前記第二の復号済みフィールドピクチャのパリティを用いて、前記復号対象フィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldCurr、前記第二の復号済みフィールドピクチャのパリティがBottom Fieldであるか否かを表すフラグをisBottomFieldRef2とするとき、前記動き予測ベクトルMVp''をMVp''' = MVp'' + 2 *(isBottomFieldCurr - isBottomFieldRef2)の通り補正し、補正動き予測ベクトルMVp'''を生成する、
   ことを特徴とする請求項４記載の動画像復号装置。

Images