WO2004008772A1 - 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 - Google Patents

Abstract

　個々の領域の動きベクトルの検出において仮想サンプルを用いた動き補償予測を用いるが、個々の動きベクトル検出単位の領域の大きさに関連付けて局所的に仮想サンプルの精度を決定する。例えば、８×８　ＭＣより小さい８×４や、４×８、４×４サイズの動きベクトル検出単位領域では、半画素精度の仮想サンプルを用いることとし、８×８　ＭＣ以上のサイズの動きベクトル検出単位領域では１／４画素精度の仮想サンプルを用いる。これにより、８×４，４×８，４×４　ＭＣの各モードについて、仮想サンプル生成に必要なメモリバンド幅を削減することができ、装置の簡略化にも効果的である。

Description

明 細 書 画像符号化装置、 画像符号化方法、 画像復号装置、

画像復号方法、 および通信装置 技術分野

この発明は、 画像の高能率符号化あるいは復号化において、 既存の画 像から符号化すべき画像もしくは復号すべき画像の予測を行い、 予測誤 差を符号化する画像符号化装置、 画像符号化方法、 及び、 予測誤差との 加算により復号を行う画像復号装置、 画像復号方法に関するものである 。 また、 これらの画像符号化装置と画像復号装置のうち少なく とも一方 を備えた通信装置に関するものである。 背景技術

MP E G (Mo v i n g P i c t u r e E xp e r t s G r o up) や I TU— T H . 2 6 xなどの標準映像符号化方式では、 マク ロブロックとよばれる輝度信号 1 6 X 1 6画素 （色差信号 8 X 8画素を 含む） から構成される正方ブロックにフレーム画面の分割を行い、 その 単位で動き補償予測によって参照フレームからの動きを推定し、 推定誤 差分の信号 （予測残差信号） と動きベク トル情報とを符号化している。 また、 M P E G— 2ではマクロブロックを 2つのフィール ド領域に分割 してフィールド別に動き予測を行ったり、 H . 2 6 3や M P E G— 4で はマクロプロックをさらに 8 X 8画素ブロックのサイズに 4分割し、 各 サプブ口ック単位で動き予測を行う技術が導入されている。 特に、 MP E G - 4における動き予測プロックサイズの適応化は、 動きべク トルの 符号量が増える一方で、 より激しい ·細かい動きへの追随性が向上し、 適切なモード選択を行う ことによって性能向上が見込めることが知られ ている。

また、 動き補償予測の別の技術的側面として、 動きベク トルの精度が ある。 本来、 デジタル画像データゆえ、 サンプリ ングによって生成され た離散的な画素情報 （以降、 整数画素と呼ぶ） しか存在しないが、 整数 画素の間に内挿演算によって仮想的なサンプルを作り出し、 それを予測 画像と して用いる技術が広く利用されている。 この技術には、 予測の候 補点が増えることによる予測精度の向上と、 内挿演算に伴うフィル夕効 果によって予測画像の特異点が削減され予測効率が向上するという 2つ の効果があることが知られている。 一方で、 仮想サンプルの精度が向上 すると、 動き量を表現する動きベク トルの精度も上げる必要があるため 、 その符号量も増加することに注意する必要がある。

MP E G— 1、 MP E G— 2ではこの仮想サンプルの精度を 1 / 2画 素精度まで許容する半画素予測が採用されている。 第 1図に 1ノ 2画素 精度のサンプルの生成の様子を示す。 同図において、 A , B , C , Dは 整数画素、 e , f , g , h , iは A〜Dから生成される半画素精度の仮 想サンプルを示す。

6 = ( A + B ) / / 2

f = ( C +D ) // 2

g = ( A + C) // 2

h = (B +D ) / / 2

i = (A + B + C +D ) // 2

(ただし、 //は丸めつき除算を示す。 ）

この半画素精度の仮想サンプル生成手順を、 所定のプロックに対して 適用する場合は、 プロ ックの端点から周辺 1整数画素分余分なデータを 要する。 これはプロックの端点 （整数画素） から半画素分外側の仮想サ ンプルを算出する必要があるためである。

また、 MP E G— 4では、 1Z4画素精度までの仮想サンプルを用い る 1Z4画素精度予測が採用されている。 1 /4画素精度予測では、 半 画素サンプルを生成した後、 それらを用いて 1 /4画素精度のサンプル を生成する。 半画素サンプル生成時の過度の平滑化を抑える目的で、 夕 ップ数の多いフ ィ ル夕を用いてもとの信号の周波数成分を極力保持する よう設計される。 例えば MP E G— 4の 1 /4画素精度予測では、 1ノ 4画素精度の仮想サンプル生成のために作られる半画素精度の仮想サン プル aは、 その周辺 8画素分を使用して、 以下のように生成される。 な お、 下式は、 水平処理の場合のみを示しており、 1 /4画素精度の仮想 サンプル生成のために作られる半画素精度の仮想サンプル aと、 下式の 整数画素の X成分 X_₄〜X ₄との関係は、 第 2図に示す位置関係にある a = ( C O E ₁ * X ₁ + C O E ₂ * X₂ + C O E ₃ * X 3 + C O E ₄ * X₄ + C O E_ ₁ * X_ ₁ + C O E _₂ * X_₂ + C O E_₃ * X_ 3 + C O E _ 4 * X _ ₄ ) / / 2 5 6

(ただし、 C 0 E _k ： フィ ル夕係数 （係数総和が 2 5 6 ) 。 //は丸 めっき除算を示す。 ）

この 1 /4画素精度の仮想サンプル生成手順を、 所定のブロックに対し て適用する場合は、 プロックの端点から周辺 4整数画素分余分なデータ を要する。 これはプロックの端点 （整数画素） から 1 /4画素分外側の 仮想サンプルを算出する必要があるためである。

しかし、 予測対象ブロックの端点において、 フ ィル夕タツプ数に応じ た数の予測対象プロヅクの周辺画素がフ ィル夕演算に必要になるため、 夕ップ数次第では予測画像生成のために必要なメモリバン ド幅が大き く なるという問題がある。 特に、 M P E G— 4の 1 / 4画素精度予測では、 この問題を避けるた め、 予測対象プロックの端点画素を折り返すことで予測画像生成のため に必要な新規読み出し画素数を抑える工夫がなされているが、 これによ り、 予測対象ブロックの境界での自然なフィル夕リ ングが阻まれ、 符号 化効率上好ましいとはいえないという問題がある。

そこで、 本発明は、 マクロブロックなど映像フレームを小領域単位に 分割して個々に動き補償予測を行う場合でも、 メモリバンド幅を抑えつ つ、 符号化効率を向上させることを可能とする画像符号化装置、 画像符 号化方法、 画像復号装置、 画像復号方法、 およびこれらの画像符号化装 置と画像復号装置とのうち少なく とも一方を備えた通信装置を提供する ことを目的とする。 発明の開示

この発明に係る動画像符号化装置は、 動画像信号の各フレームを所定 の方法で分割した領域単位で動き補償予測を行い生成した予測画像と動 画像信号との間の差分信号を圧縮符号化した符号化ビッ トス ト リームを 生成する動画像符号化装置であって、 予測画像の生成に用いる参照画像 を格納するフレームメモリ と、 動き補償予測の単位となる領域の形状に 応じて、 予測画像の構成要素となる仮想画素の精度を切り換えて予測画 像の候補を生成し、 該複数の予測画像候補のうち予測効率が大きい予測 画像を与える動きべク トルを生成する動き検出部と、 動き検出部にて生 成された動きべク トルに基づき、 動き補償予測の単位となる領域の形状 に応じて予測画像の構成要素となる仮想画素の精度を切り換えて予測画 像を生成する動き補償部とを備え、 符号化ビッ トス ト リームに、 動き補 償予測の単位となる領域の形状を示す形状情報と、 動きべク トルとを多 重するものである。 また、 この発明に係る動画像符号化装置は、 動画像信号の各フレーム を所定の方法で分割した領域単位で動き補償予測を行い生成した予測画 像と動画像信号との間の差分信号を圧縮符号化した符号化ビッ トス ト リ ームを生成する動画像符号化装置であって、 予測画像の生成に用いる参 照画像を格納するフレームメモリと、 動き補償予測の単位となる領域の 形状に応じて、 予測画像の構成要素となる仮想画素の精度を切り換えて 予測画像の候補を生成し、 該複数の予測画像候補のうち予測効率が大き い予測画像を与える動きべク トルを生成する動き検出部と、 動き検出部 にて生成された動きべク トルに基づき、 動き補償予測の単位となる領域 の形状に応じて予測画像の構成要素となる仮想画素の精度を切り換えて 予測画像を生成する動き補償部とを備え、 符号化ビッ トス ト リームに、 動き補償予測の単位となる領域の形状を示す形状情報と、 該形状情報で 示される動き補償予測の単位となる領域の形状に応じて動きべク トルの 予測符号化方法を切り換えて符号化された動きべク トルとを多重するも のである。

また、 この発明に係る動画像符号化装置は、 動画像信号の各フレーム を所定の方法で分割した領域単位で動き補償予測を行い生成した予測画 像と動画像信号との間の差分信号を圧縮符号化した符号化ビッ トス ト リ ームを生成する動画像符号化装置であって、 予測画像の生成に用いる参 照画像を格納するフレームメモリ と、 動き補償予測の単位となる領域の 形状に応じて、 予測画像の構成要素となる仮想画素の精度を切り換える か否かを所定の動画像データの単位で制御する制御信号に基づいて予測 画像の候補を生成し、 該複数の予測画像候補のうち予測効率が大きい予 測画像を与える動きべク トルを生成する動き検出部と、 動き検出部にて 生成された動きべク トルに基づき、 動き補償予測の単位となる領域の形 状に応じて予測画像の構成要素となる仮想画素の精度を切り換えるか否 かを所定の動画像デ一夕の単位で制御する制御信号に基づいて予測画像 を生成する動き補償部と、 を備え、 符号化ビッ トス ト リームに、 制御信 号を所定の動画像データの単位で多重するとともに、 動き補償予測の単 位となる領域の形状を示す形状情報と、 動きべク トルとを多重するもの である。

特に、 動き補償部は、 複数の精度であるフレームメモリに格納された 参照画像の複数の画素データに基づいて所定の方法で仮想画素を生成す る第 1の精度と、 その第 1の精度の仮想画素に基づいて仮想画素を生成 する第 2の精度とのうちから領域単位毎にいずれか一の指示された精度 にしたがって動き補償予測を行って参照画像を生成することを特徴とす る。

また、 動き補償予測の単位となる領域は、 動画像信号の各フレームを 輝度信号相当で 1 6画素 X 1 6ラインに分割したマクロプロヅクをさら に分割した予測単位プロックであり、 当該領域の形状を示す形状情報は 、 マクロプロックを予測単位プロックへ分割する方法を指示する情報で あることを特徴とする。

また、 予測画像の生成に用いる参照画像を格納するフレームメモリが 複数設けられ、 動き補償部は、 複数のフレームメモリに格納された複数 の参照画像を参照し動き補償予測を行って予測画像を生成することを特 徴とする。

また、 動画像信号をィン トラモードによ り符号化を行うィン トラモー ドを備え、 動き補償部による動き補償予測モードか、 イ ン トラモードか を選択的に行うと共に、 符号化ビッ トス ト リームに、 さらに選択したモ 一ドを示す符号化モード情報を多重することを特徴とする。

また、 動画像信号を空間予測モードにより予測符号化を行う空間予測 部を備え、 動き補償部による動き補償予測モードか、 空間予測部による 空間予測モードかを選択的に行うと共に、 符号化ビッ トス ト リームに、 さらに選択したモ一ドを示す符号化モード情報を多重することを特徴と する。

これにより、 この発明に係る画像符号化装置によれば、 メモリバン ド 幅を抑えながら符号化効率を向上させた圧縮符号化を行うことが可能と なる。

また、 動き補償予測単位となる領域の形状に応じて動き補償予測の精 度を切り換えると共に、 動き補償予測の単位となる領域の形状に応じて 動きべク トルの予測符号化方法も切り換えて適応的に切り変えて符号化 を行うことにより、 例えば、 メモリバン ド幅を抑えながら符号化効率を 向上させた分だけ動きベク トルに多く符号量を割り当てることが可能と なり、 メモリバン ド幅を抑えながら画質も保つことも可能である。

また、 この発明に係る動画像復号装置は、 動画像信号の各フレームを 所定の方法で分割した領域単位で動き補償予測を行い生成した予測画像 と動画像信号との間の差分信号を圧縮符号化した符号化ビッ トス ト リー ムを入力して動画像信号を復元する動画像復号装置であって、 予測画像 の生成に用いる参照画像を格納するフレームメモリ と、 符号化ビッ トス ト リ一ムを入力して差分信号と、 動きベク トルと、 動き補償予測の単位 となる領域の形状を示す形状情報とを復号する復号部と、 動き補償予測 の単位となる領域の形状を示す形状情報に基づいて予測画像の構成要素 となる仮想画素の精度を切り換え、 切り換えられた精度にしたがい復号 部にて復号された動きべク トルを用いフレームメモリに格納された参照 画像を参照して予測画像を生成する動き補償部と、 復号部にて復号され た差分信号と、 動き補償部にて生成された予測画像とを加算して動画像 信号を復元するものである。

また、 この発明に係る動画像復号装置は、 動画像信号の各フレームを 所定の方法で分割した領域単位で動き補償予測を行い生成した予測画像 と動画像信号との間の差分信号を圧縮符号化した符号化ビッ トス ト リー ムを入力して動画像信号を復元する動画像復号装置であって、 予測画像 の生成に用いる参照画像を格納するフレームメモリ と、 符号化ビッ トス ト リームを入力して差分信号と、 動き補償予測の単位となる領域の形状 を示す形状情報とを復号するとともに、 該形状情報に基づいて動きべク トルの予測復元方法を切り換えて動きべク トルの復号を行う復号部と、 動き補償予測の単位となる領域の形状を示す形状情報に基づいて予測画 像の構成要素となる仮想画素の精度を切り換え、 切り換えられた精度に したがい復号部にて復号された動きべク トルを用いフレームメモリに格 納された参照画像を参照して予測画像を生成する動き補償部と、 復号部 にて復号された差分信号と、 動き補償部にて生成された予測画像とを加 算して動画像信号を復元するものである。 '

また、 この発明に係る動画像復号装置は、 動画像信号の各フレームを 所定の方法で分割した領域単位で動き補償予測を行い生成した予測画像 と動画像信号との間の差分信号を圧縮符号化した符号化ビッ トス ト リー ムを入力して動画像信号を復元する動画像復号装置であって、 予測画像 の生成に用いる参照画像を格納するフレームメモリと、 符号化ビッ トス ト リームを入力して差分信号と動き補償予測の単位となる領域の形状を 示す形状情報と、 所定の動画像デ一夕の単位で定義される制御信号を復 号するとともに、 形状情報に基づいて動きべク トルの予測復元方法を切 り換えるか否かを、 制御信号に基づいて所定の動画像データの単位で制 御して動きべク トルの復号を行う復号部と、 動き補償予測の単位となる 領域の形状を示す形状情報に基づいて予測画像の構成要素となる仮想画 素の精度を切り換えるか否かを、 制御信号に基づいて所定の動画像デー 夕の単位で制御して仮想画素の精度を決定し、 決定された精度にしたが ぃ復号部にて復号された動きべク トルを用いフレームメモリに格納され た参照画像を参照して予測画像を生成する動き補償部と、 復号部にて復 号された差分信号と、 動き補償部にて生成された予測画像とを加算して 動画像信号を復元するものである。

特に、 動き補償部は、 複数の精度であるフレームメモリ に格納された 参照画像の複数の画素データに基づいて所定の方法で仮想画素を生成す る第 1の精度と、 その第 1の精度の仮想画素に基づいて仮想画素を生成 する第 2の精度とのうちから領域単位毎にいずれか一の指示された精度 にしたがって動き補償を行って参照画像を生成することを特徴とする。

また、 動き補償の単位となる領域は、 動画像信号の各フレームを輝度 信号相当で 1 6画素 X 1 6 ライ ンに分割したマクロブロ ックをさらに分 割した予測単位プロ ックであり、 当該領域の形状を示す形状情報は、 マ ク口プロ ックを予測単位プロックへ分割する方法を指示する情報であ り 、 対応する動きべク トルは、 各予測単位プロ ックで利用する動きべク ト ルであることを特徴とする。

また、 予測画像の生成に用いる参照画像を格納するフレームメモリが 複数設けられ、 動き補償部は、 複数のフレームメモリ に格納された複数 の参照画像を参照し動き補償を行って予測画像を生成することを特徴と する。

また、 復号部は、 さらに符号化ビッ トス ト リームから符号化モ一 ド情 報を復号し、 符号化モー ド情報に基づき、 動画像信号をイ ン トラモー ド により復号するか、 あるいは動き補償部による動き補償予測モー ドによ り復号することを特徴とする。

また、 さらに、 動画像信号を空間予測モードにより予測符号化を行う 空間予測部を備え、 復号部は、 さらに符号化ビッ トス ト リームから符号 化モー ド情報を復号し、 符号化モード情報に基づき、 動画像信号を空間 予測部による空間予測モードにより復号するか、 あるいは動き補償部に よる動き補償予測モードにより復号することを特徴とする。

これにより、 この発明に係る動画像復号装置によれば、 メモリバン ド 幅を抑えながら符号化効率を向上させて圧縮符号化が行われた符号化ビ ッ トス ト リームを復号することが可能となる。

特に、 メモリバン ド幅削減は、 特に映像再生を主とするプレーヤを、 携帯電話、 携帯情報端末などの映像符号化装置、 映像復号装置のハード ウェア実装する際に、 映像復号処理実装の簡略化、 消費電力化に著しい 効果を発揮するので、 これら符号化装置、 復号装置の実装コス トを抑え ながら伝送 · 記録効率の高い映像符号化装置、 映像復号装置を提供する ことが可能となる。 図面の簡単な説明

第 1図は、 1 Z 2画素精度のサンプルの生成の様子を示す図である。 第 2図は、 水平処理の場合のみの 1 4画素精度の仮想サンプル生成 のために作られる半画素精度の仮想サンプル aと、 下式の整数画素の X 成分 X - ₄〜X ₄との位置関係を示す図である。

第 3図は、 実施の形態 1における映像符号化装置の構成を示す図であ る。

第 4図は、 実施の形態 1における映像復号装置の構成を示す図である 第 5図は、 符号化装置における動き補償予測処理を示すフローチヤ一 トである。

第 6図は、 実施の形態 1における動きべク トルの検出単位領域の構成 を示す図である。

第 7図は、 実施の形態 1による仮想サンプル精度の局所的設定によ り 、 8 x 4 , 4 x 8 , 4 x 4 M Cの各モードについて、 仮想サンプル生 成に必要なメモリバン ド幅を削減することができることを説明するため の図である。

第 8図は、 ステップ S T 4における予測差分値 （M V D ) の求め方を 説明するための図である。

第 9図は、 復号装置側における動き補償処理を示すフローチヤ一トで める。

第 1 0図は、 実施の形態 2における映像符号化装置の構成を示す図で ある。

第 1 1図は、 両方向予測の実行の方法を示す図である。

第 1 2図は、 複数の参照画像を用いて動きべク トルを検出する両方向 予測とは別の例を示す図である。

第 1 3図は、 実施の形態 2における映像復号装置の構成を示す図であ る。

第 1 4図は、 実施の形態 3における映像符号化装置の構成を示す図で ある。

第 1 5図は、 実施の形態 3における映像復号装置の構成を示す図であ る。

第 1 6図は、 実施の形態 4における映像符号化装置の構成を示す図で ある。

第 1 7図は、 実施の形態 4における映像復号装置の構成を示す図であ る o

第 1 8図は、 実施の形態 1〜 4の画像符号化装置および画像復号装置 等の要素製品が実装された実施の形態 5の携帯電話の構成を示す図であ る。 発明を実施するための最良の形態

以下、 この発明をより詳細に説明するために、 この発明を実施するた めの最良の形態について、 添付の図面にしたがって説明する。

実施の形態 1 .

本実施の形態 1では、 映像の各フレーム画像をマク口プロックの単位 に分割し、 さらに、 マクロブロック内を複数の形状のサプブロックに分 割して個々に動き補償予測を可能とする動き補償予測手段を有する映像 符号化 ， 復号装置について説明する。 本実施の形態 1の映像符号化 ■ 復 号装置の特徴は、 動き補償予測の単位となる領域 （ブロック） の形状や その大きさに応じて、 従来例にて述べた仮想サンプルの精度を切り替え ることと、 それに伴い動きベク トルの符号化 · 復号方法も切り替えるこ との 2点にある。 本実施の形態 1における映像符号化装置および復号装 置の構成を第 3図および第 4図に示す。

第 3図は、 本実施の形態 1における映像符号化装置の構成を示してい る。 この映像符号化装置は、 図に示すように、 減算器 1 0、 符号化モ一 ド判定部 1 2、 直交変換部 1 5、 量子化部 1 6、 逆量子化部 1 8、 逆直 交変換部 1 9、 切替器 5 2、 加算器 5 3、 フレームメモリ 3、 動き検出 部 2、 動き補償部 7、 可変長符号化部 6、 送信バッファ 2 4、 符号化制 御部 2 2を有している。

次に第 3図に示す映像符号化装置の動作を説明する。

①符号化装置の動作概要

第 3図の符号化装置において、 入力映像信号 1は、 個々の映像フレー ムがマクロブロックに分割された単位で入力されるものとし、 まず、 動 き検出部 2において、 フレームメモリ 3に格納される参^画像 4を用い てマクロブロック単位に動きべク トル 5が検出される。 動きべク トル 5 に基づいて動き補償部 7において予測画像 8が得られ、 減算器 1 0にて 予測画像 8 と入力信号 1 との差分をとることによって予測残差信号 9 が 得られる。

符号化モード判定部 1 2では、 予測残差信号 9 を符号化する動き予測 モード、 フレーム内を符号化するイ ン トラモー ドなど、 マクロプロック の符号化方法を指定する複数のモー ドの中から、 当該マクロブロ ックを もっとも効率よ く符号化することができるモー ドを選択する。 この符号 化モー ド情幸 1 3は符号化対象情報として可変長符号化部 6へ出力され る。 ここで、 符号化モード判定部 1 2 にて符号化モー ド情報 1 3 として 動き予測モードが選択される場合は、 動きべク トル 5が符号化対象情報 として可変長符号化部 6 に受け渡される。

また、 符号化モー ド判定部 1 2において選択された符号化対象信号は 、 直交変換部 1 5、 量子化部 1 6を経て、 直交変換係数デ一夕 1 7 と し て可変長符号化部 6へ受け渡される一方、 その直交変換係数データ 1 7 は、 逆量子化部 1 8、 逆直交変換部 1 9 を経たのち、 切替器 5 2へ出力 される。

切替器 5 2では、 符号化モード情報 1 3に従って、 その符号化モー ド 情報 1 3が動き予測モードを示している場合には、 逆量子化および逆直 交変換された直交変換係数データ 1 7 と、 動き補償部 7からの予測画像 8 と加算して局所復号画像 2 1 としてフレームメモリ 3へ出力するか、 あるいはその符号化モード情報 1 3がイ ン トラモードを示している場合 には、 逆量子化および逆直交変換された直交変換係数データ 1 7をその まま局所復号画像 2 1 として出力する。 局所復号画像 2 1 は以降のフレ ームの動き予測に用いられるため、 参照画像データとしてフレームメモ リ 3へ格納される。

量子化部 1 6では、 符号化制御部 2 2 において決定される量子化ステ ップパラメ一夕 2 3 によって与えられる量子化精度で直交変換係数デ一 夕の量子化を行う。 この量子化ステップパラメ一夕 2 3を調整すること で出力の符号化レー ト と品質のバランスとをとる。 一般には、 可変長符 号化の後、 伝送直前の送信バッファ 2 4に蓄積される符号化データの占 有量を一定時間ごとに確認し、 そのバッファ残量 2 5 に応じてパラメ一 夕調整が行われる。 具体的には、 例えば、 バッファ残量 2 5が少ない場 合は、 レー トを抑え気味にする一方、 バッファ残量 2 5 に余裕がある場 合は、 レー トを高めにして品質を向上させるよう にする。 なお、 この符 号化制御部 2 2 において決定される量子化ステヅプパラメ一夕 2 3は、 可変長符号化部 6へも出力される。

可変長符号化部 6では、 動きべク トル 5、 量子化ステツプパラメ一夕 2 3、 符号化モー ド情報 1 3、 直交変換係数デ一夕 1 7などの符号化対 象デ一夕のエン トロピー符号化を行い、 送信バッファ 2 4経由で、 映像 圧縮デ一夕 2 6 として伝送する。

第 4図は、 本実施の形態 1 における映像復号装置の構成を示している 。 この映像復号装置は、 第 4図に示すように、 可変長復号部 2 7、 逆量 子化部 1 8、 逆直交変換部 1 9、 加算器 5 5、 切替器 5 4、 動き補償部 7、 フレームメモリ 3を有している。

②復号装置の動作概要

次に、 第 4図に示す実施の形態 1の映像復号装置の動作を説明する。 第 4図に示した復号装置では、 映像圧縮データ 2 6 を受け取ると、 可 変長復号部 2 7にて後述するェン トロピー復号処理が行われて、 動きべ ク トル 5、 符号化モード情報 1 3、 直交変換係数データ 1 7、 量子化ス テヅプパラメ一夕 2 3などが復元される。

直交変換係数データ 1 7、 量子化ステツプパラメ一夕 2 3は、 符号化 側と同じ逆量子化部 1 8 と逆直交変換部 1 9 によって復号される。

また、 切替器 5 4は、 符号化モード情報 1 3が動き予測モードを示し ている場合は、 動き補償部 7において復号された動きベク トル 5と符号 化モ一ド情報 1 3とに基づいて予測画像 8を復元し出力する一方、 ィ ン トラモードを示している場合は、 0を出力する。

そして、 切替器 54からの出力は、 加算器 5 5にて逆直交変換部 1 9 の出力である復号信号と加算されることによって復号画像 2 1が得られ る。 復号画像 2 1は以降のフレームの予測画像生成に用いられるため、 フレームメモリ 3に格納される。

③動き補償予測の詳細動作

次に、 符号化装置の動き検出部 2、 動き補償部 7、 フレームメモリ 3 を用いて行われる動き補償予測処理について、 また、 復号装置の動き補 償部 7、 フレームメモリ 3を用いて行われる動き補償処理についてそれ それ説明する。

③ー 1 符号化装置における動き補償予測処理手順

第 5図に、 符号化装置における動き補償予測処理のフローチャートを 示す。 以下、 ステップごとに説明する。

③— 1— 1 仮想サンプル精度の決定 （ステップ S T 1 )

第 6図に、 本実施の形態 1における動きべク トルの検出単位領域の構 成を示す。 同図において、 1 6 x 1 6 MCとはマクロブロックそのも のを動きベク トル検出単位とする。 1 6 x 8 MCは縦方向に 2分割し た領域を、 8 X 1 6 M Cは横方向に 2分割した領域をそれそれ動きべ ク トル検出単位とする。 8 x 8 M Cはマクロブロックを 4つの領域に 均等分割し、 それそれを動きべク トル検出単位とする。 さらに、 本実施 の形態 1の場合、 8 x 8 M Cでは、 個々の分割領域に対して、 さらに 縦 2分割 （ 8 X 4 M C ) 、 横 2分割 （ 4 X 8 M C ) 、 4分割 （ 4 x 4 MC) の領域分割を可能とし、 それそれを動きべク トル検出単位と することができるようにする。 これは、 一般に、 細かい分割ではマクロブロック内部に複雑な動きが 存在する場合に予測効率をあげることができる一方、 多くの動きべク ト ル情報を伝送する必要がある。 このようにマクロブロック内部で動きべ ク トル検出単位領域の形状を様々に適応化できるように構成すれば、 局 所的に最適な分割形状と動きべク トルの選択 ·検出を行いながら符号化 を実行することができるからである。

さて、 個々の領域の動きベク トルの検出においては、 従来例に示した とおり、 仮想サンプルを用いた動き補償予測を用いる。 ただし、 従来の 標準映像符号化方式などと異なり、 本実施の形態 1では、 例えば、 第 6 図に示すように、 個々の動きべク トル検出単位の領域の形状や大きさ等 に関連付けて局所的に仮想サンプルの精度および動きべク トルの予測符 号化方法を決定する。

そして、 本実施の形態 1の符号化装置では、 動き補償予測の単位であ る動きべク トル検出単位の領域の形状や大きさ等を示す形状情報を、 符 号化モ一ド情報 1 3の中の動き予測モードの一部として可変長符号化部 6にて符号化し、 復号装置に伝送する。

したがって、 本実施の形態 1の復号装置では、 符号化モード情報 1 3 だけによつて、 動き予測モードかィン トラ符号化モードかであるかを示 す符号化モード以外に、 その符号化モード情報 1 3の中の動き予測モー ドの一部として含まれる形状情報により、 動き補償予測の単位である動 きべク トル検出単位領域の形状や大きさ、 およびその形状や大きさから 一義的に決まる仮想サンプルの精度および動きべク トルの予測符号化方 法を判定することができるので、 仮想サンプル精度および動きべク トル の予測符号化方法の切り替えのための付加情報を一切必要としない。 本実施の形態 1では、 その決定ルールとして、 8 X 8 M Cより小さ い例えば 8 x 4や、 4 x 8、 4 X 4サイズ等の動きベク トル検出単位領 域では半画素精度の仮想サンプルを用いることとし、 それ以上のサイズ の動きべク トル検出単位領域では 1 / 4画素精度の仮想サンプルを用い る ο

このルールを適用する理由として、 動きべク トル検出単位領域の形状 の選ばれ方が挙げられる。 つま り、 一般に、 動きが均一でかつ動き速度 の遅い領域では画面の空間解像度が保持され、 テクスチャに対する視認 度が向上する。 こういった領域では大きな動きべク トル検出領域によ り できるだけ動きベク トルを均一にし、 動き領域の細分化に伴う領域間不 連続を回避して信号の再現性を高めるとともに、 仮想サンプルの精度を 向上して予測効率を上げることが望ましい。 逆に、 動きが複雑であった り、 動きの速度が視覚的に認知しにくい領域では画面の詳細なテクスチ ャが保存されず、 視覚的には空間解像度が低く感じられる。 こういった 領域では、 ある程度信号の再現性を犠牲にしても動きべク トルの本数を 多く して予測効率を向上させることが望ましい。 ただし、 信号の空間解 像度が低くなること、 動きべク トルの情報量が多くなることから、 仮想 サンプルの精度は低く設定しても全体的な符号化効率の観点からは問題 ないと考えられる。

このような仮想サンプル精度の局所的設定を可能とすることによ り、 第 7図に示すように、 8 X 4， x 8 , 4 x 4 M Cの各モードについ て、 仮想サンプル生成に必要なメモリバン ド幅を削減することができ、 装置の簡略化にも効果的である。 同図では、 中段のモー ド状態に対して 、 上段はこれらのすべてのモードに対して 1 Z 4画素精度の仮想サンプ ルを用いることを想定した場合を示しており、 かつ仮想サンプル生成の ために Kタツプのフィル夕を用いる場合、 すなわち、 動きべク トル検出 単位領域の端点からそれぞれ K画素 （K≥ 2 ) 分の整数画素データをメ モリから読み出す必要があることを示している。 従来例では、 Κ画素分 の半分は折り返しで作成する例を示したが、 ここでは^り返しを行わず 、 連続する K画素すベてを使用することで自然なフィル夕 リングを行う ことを想定している。

それに対し、 本実施の形態 1のように、 これらの 8 x4， 4 x 8， 4 X 4 MCの各モードでは、 半画素精度の仮想サンプルのみを使用する ことをあらかじめ決定しておく ことにより、 仮想サンプル生成のために メモリから読み出す必要があるデータは、 例えば従来例の半画素精度サ ンプル生成手順に従えば動きべク トル検出単位領域の周辺 1画素分だけ でよい。 小さいサイズの動きベク トル検出単位領域では、 個々の検出単 位領域が空間的に不連続で.あるため、 このことが極めて大きな意味をも つ o

③— 1— 2 予測誤差量の算出 （ステップ S T 2、 ステップ S T 3 ) ステップ S T 1で決定された仮想サンプル生成ルールに従い、 それそ れのモードで個々の動きべク トル検出単位領域ごとに、 各動きべク トル 候補に対して予測画像を生成し、 予測対象の動きべク トル検出単位領域 との差分をとることにより予測誤差量を算出する。 ここで、 仮想サンプ ルについては、 第 1図に示したような半画素精度サンプルの生成、 第 2 図に示したような 1/4画素精度サンプルの生成を行うものとする。 た だし、 本実施の形態 1の場合、 第 2図の端点での画素値折り返し使用は 行わないこととし、 フィル夕タップ数は一般性を持たせるため、 以降 夕ヅプとする。 したがって、 半画素精度の仮想サンプルを用いる 8 X 8 M Cよ り小さい例えば 8 X 4や、 4 x8、 4 x M C以下のモードの 場合は、 仮想サンプル生成に用いる画素データは、 第 7図の下段に示す ように、 各 8 X 4， 4 X 8 , 4 X 4動きべク トル検出単位領域の周辺 1 画素分だけメモリから読み出すことになる （ステップ S T 2) o

予測誤差量の算出 （ステップ S T 3 ) は、 ブロックマツチング法に基 づき、 各画素単位の誤差量を加算することで算出するのが一般的であり

、 誤差量としては主に二乗誤差 （ p p， ) ²もしくは差分絶対値 I p p ' I が用いられる。 ここで、 pは予測対象の画素値、 p' は予測画像内 の対応する位置の画素値である。 以下では、 誤差量は、 後者の差分絶対 値を想定し、 動きべク トル検出単位領域ごとあるいはマクロブロック内 の総和として SAD ( S um o f Ab s o l u t e D i f f e r e n c e ) という夕一ムを用いることとする。

③— 1— 3 動きベク トル符号量の算出 （ステップ S T 4)

次いで、 動きべク トルの符号量を算出する （ステヅプ S T 4) 。 動き ベク トルは、 通常、 周辺領域との相関が高いため、 周辺領域の動きべク トルを予測値として、 周辺領域の動きベク トルの予測値と、 求めた動き ベク トルとの間の予測差分値 （MVD) を可変長符号化する。 予測値の 設定の方法には様々な手法が存在するが、 ここでは予測値は所定のルー ルで定められたものとして動きべク トルの予測差分値 （MVD) が得ら れるものとし、 その詳細は割愛する。

そして、 本実施の形態 1では、 予測差分値 （MVD) の符号量を求め るにあたり、 ③— 1— 1で定めた仮想サンプル精度を考慮する。

第 8図を用いてステップ S T 4における予測差分値 （MVD) の求め 方を説明する。 なお、 この動作は動き検出部 2において実行されるが、 最終的にステップ S T 9で定まる動きべク トルを可変長符号化部 6で符 号化する場合にも同じルールが適用される。

第 8図において、 '符号化対象となる動きべク トルを MV 1 ~MV 5 と し、 所定の予測値設定ルールにしたがって MV 1および M V 3に対して 定められた予測ベク トルを PMV 1、 MV 5に対して求められた予測べ ク トルを PMV 2とする。 MV 2は MV 1を、 MV4は MV 3をそれそ れ予測値とするものとする。 PMV 1、 PMV 2はすでに符号化済みの 値であるため適宜キャッシュしておけばよい。

PMV 1は、 1 6 X 8 MCによる動きベク トル、 MV 5は 8 x 8 MCによる動きべク トルであるため、 ③一 1— 1で定めたルールに従え ば 1 /4画素精度の仮想サンプルを用いて決定された動きべク トルであ る。 一方、 MV 1〜MV4および PMV 2は 4 x 4 MCによる動きべ ク トルであるため、 ③一 1— 1で定めたルールに従えば半画素精度の仮 想サンプルを用いて決定された動きベク トルである。 つま り、 PMV 1 , MV 5と、 MV 1〜MV4と、 P M V 2との間には仮想サンプルの精 度の違いが存在する。 一方、 動きベク トル符号化時にはあらかじめ予測 べク トルの値およびその仮想サンプル精度は既知である。 このこ とを利 用して、 本実施の形態 1では、 予測差分値 （MVD) を得るために適応 的に動きベク トルの精度のあわせこみを行う。 すなわち、 以下の条件に よ り、 予測差分値 （MVD) を求める。

( 1 ) 条件 1 ： 自身 （MV) が 1/2画素精度の仮想サンプルを用いた 予測により得られた動きべク トルである場合は、 PMVの精度により、 以下のように 2つに分かれる。

条件 1— 1 ： PMVが同じ精度の仮想サンプルを用いた動きべク トル である場合

MVD = M V P M V

.条件 1一 2 ： PMVが 1/4画素精度の仮想サンプルを用いた動きべ ク トルである場合

M V D = M V ( P M V >> 1 )

( 2 ) 条件 2 ： 自身 （MV) が 1/4画素精度の仮想サンプルを用いた 予測により得られた動きべク トルである場合は、 PMVの精度により、 以下のように 2つに分かれる。

条件 2 - 1 ： PMVが同じ精度の仮想サンプルを用いた動きべク トル である場合

MVD = M V P M V

条件 2 — 2 ： P MVが 1 / 2画素精度の仮想サンプルを用いた動きべ ク トルである場合

MVD = M V ( P M V くく 1 )

ただし、 X くく yは、 Xに対する左方向への yビヅ トシフ ト演算 、 X > > yは Xに対する右方向への yビッ トシフ ト演算を示してい る。

卩 ¥ 1 と]^¥ 1、 MV 3 との間のルールとしては、 上記条件 1 — 2 が適用され、 MV 1 , MV 3 と MV 2 , M V 4 との間のルールとしては 、 上記条件 1 — 1が適用され、 P MV 2 と MV 5 との間のルールとして は条件 2 ― 2が適用される。

この手順によ り、 半画素精度の動きべク トルに対しては半画素精度で MVDを算出することが可能であり、 常時 1 /4画素精度の MVDを用 いるのに比ぺ符号量を削減することが可能である。

③— 1 — 4 コス トの算出 ■ 最小コス トの更新 （ステップ S T 5、 ステ ヅプ S T 6、 ステップ S T 7 )

上記の結果得られる予測差分値 （MVD ) を符号化することによ り、 符号量 R_{MV D}が得られる。 これとステップ S T 2 における S AD とを用 いて、 各動きベク トル候補について下記の式によ り、 コス ト Cを求める (ステップ S T 5 ) 。

= ΰ A ) _M V + 人 RMVD

(入は正の定数）

動き補償部 7は、 上記のようにしてコス トを算出するごとに、 算出し たコス トが最小であるか否かを判断し （ステップ S T 6 ) 、 それ以前に 算出されたモードのコス トよ り も小さい値が現れれば （ステップ S T 6 "Y" ) 、 最小コス トの更新を行う とともに、 該当する予測モー ド、 動 きべク トルデ一夕を保持しておく （ステップ S Τ 7 ) 。

なお、 ステップ S T 1〜ステップ S T 7は、 1 6 x 1 6 M C ~ 8 X 8 M Cおよびそれ以下の分割モー ドすぺてについて実行され、 ステツ プ S Τ 2〜ステップ S Τ 5は、 各動きべク トル検出単位領域に対し、 あ らかじめ符号化装置において設定された所定の動きべク トル探索範囲内 、 すなわち水平 · 垂直方向の平行移動量の上限を規定する窓内のすべて の動きべク トル候補に対して実行する。

③— 1 — 5 最終モー ド ' 動きベク トルの決定 （ステップ S T 8、 ステ ヅプ S T 9 )

以上説明した③— 1— 4の,コス トの算出 · 最小コス トの更新処理 （ス テヅプ S T 5、 ステップ S T 6、 ステップ S T 7 ) が終了したら、 続い て全予測モー ドでコス トを算出したか否かを判断し （ステップ S T 8 ) 、 全予測モードでコス ト算出をしていなければ （ステップ S T 8 "N" ) 、 以上説明した③ー 1 一 4までに示す処理 （ステップ S T 1〜ステヅ プ S T 7 ) を行う一方、 全予測モードでコス ト算出をした場合には （ス テツプ S T 8 " Y " ) 、 ③— 1 — 4で得られるマクロブロックの単位の コス トのうち、 最もコス トの小さい予測モードを、 実際に符号化する予 測モー ドとして決定する （ステップ S T 9 ) 。 また、 予測モー ドの決定 と同時に、 当該予測モー ドに対応した動きべク トルが決定されることに なる （ステップ S T 9 ) 。

以上説明した動き補償予測処理によ り決定された予測モードは、 最終 的にはイ ン トラモー ドとの比較で最適なモー ドが決定され、 符号化モー ド情報 1 3 として可変長符号化部 6を通じてマクロプロック単位に映像 圧縮デ一夕 2 6に多重される。 また、 決定された動きべク トルデ一夕 5 は、 ③— 1 一 3の手順で MVDデ一夕化され、 可変長符号化部 6を通じ てマクロプロック単位に映像圧縮データ 2 6に多重される。

③ー 2 復号装置における動き補償処理

第 9図に、 復号装置側における動き補償処理のフローチヤ一トを示す 。 以下、 フローチャー トを参照して復号装置側における動き補償処理を 詳細に説明する。

③一 2 _ 1 予測モード、 動きべク トルデータの復号 （ステップ S T 1 0 )

第 4図に示すように復号装置側では、 可変長復号部 2 7が、 例えば第 3図に示す符号化装置から出力された映像圧縮デ一夕 2 6からマクロブ 口ヅク単位に符号化モード情報 1 3を復号する。 これがイ ンター （フ レ ーム間予測） モードを示す場合、 可変長復号部 2 7は、 続いて予測差分 値 （M V D ) の形式で符号化されている動きベク トルデ一夕 5を復号す る （ステップ S T 1 0 ) 。

③ー 2 — 2 仮想サンプル精度の決定 （ステップ S T 1 1 )

符号化モ一ド情報 1 3がィン夕ー （フレーム間予測） モード、 すなわ ち、 本実施の形態 1の場合例えば第 6図に示すいずれかの動き補償予測 モードを表す場合は、 符号化装置における動き補償予測処理手順として 説明した③— 1 一 1の手順 （ステップ S T 1 ) の場合と同様に、 仮想サ ンプル精度の決定を行う。 つま り、 符号化装置側の動作で説明したよう に、'動き補償予測の単位、 すなわち動きべク トル検出単位の領域の形状 や大きさ等を示す形状情報は、 符号化モ一ド情報 1 3の中の動き予測モ — ドの一部として可変長符号化部 6で符号化されているので、 復号装置 側では、 復号した符号化モード情報 1 3の中に動き予測モードの一部と して含まれる形状情報により、 動き補償予測の単位である動きべク トル 検出単位領域の形状や大きさ、 およびその形状や大きさから一義的に決 まる仮想サンプルの精度を判定することができる。 ③— 2— 3 動きべク トルの復号 （ステップ S T 1 2 )

次いで、 予測差分値 （MVD) の形式で復号された動きベク トルを、 実際に各動きべク トル適用単位領域、 すなわち符号化装置の説明におけ る各動きべク トル検出単位領域に対して使用された動きべク トルデ一夕 (M V) へ復号する （ステップ S T 1 2 ) 。 この手順は、 本実施の形態 1では、 可変長復号部 27等において行われ、 符号化装置における動き 補償予測処理手順として説明した③— 1一 3の逆の手順をとればよい。 つまり、 本実施の形態 1の場合、 仮想サンプルの精度の判定の場合と同 様に、 符号化モー ド情報 1 3の中に動き予測モードの一部として含まれ る形状情報から動きべク トルの予測復元方法が一義的に決まるので、 そ の形状情報に基づいて動きべク トルの予測復元方法を切り換えて動きべ ク トルを復号する。 第 8図を用いて③ー 1— 3の手順と対比させて説明 する。

③ー 1— 3と同様、 ここでは符号化装置 ·復号装置の間であらかじめ 取り決められた共通の予測値設定方法を用いる。 まず、 MV 1、 M V 3 に対しては、 P M V 1を用いて、

M V 1 = M V D 1 + ( P M V 1 > > 1 )

M V 3 = M V D 3 + ( P M V 1 > > 1 )

として復号される。 ここで、 MVD 1は MV 1に対応する予測差分値 （ M VD ) 、 MVD 3は MV 3に対応する予測差分値 （M V D ) である。

また、 M V 2， M V 4に対しては、

M V 2 = MVD 2 + M V 1

M V 4 = M V D 4 + M V 3

M V 5.に対しては、

M V 5 = M V D 5 + ( P M V 2 くく

として復号を行う。 すなわち、 以下の条件式に従う。

( 1 ) 条件 1 ： 自身 （M V) が 1 / 2画素精度の仮想サンプルを用いた 予測により得られた動きべク トルである場合は、 PMVの精度により、 以下のように 2つに分かれる。

条件 1— 1 ： PMVが同じ精度の仮想サンプルを用いた動きベク トル である場合

M V = M V D + P M V

条件 1— 2 ： PMVが 1/4画素精度の仮想サンプルを用いた動きべ ク トルである場合

M V = M V D + ( P M V > > 1 )

( 2 ) 条件 2 ： 自身 （MV) が 1/4画素精度の仮想サンプルを用いた 予測により得られた動きべク トルである場合は、 PMVの精度により、 以下のように 2つに分かれる。

条件 2— 1 ： P M Vが同じ精度の仮想サンプルを用いた動きベク トル である場合

M V = MVD + P M V

条件 2— 2 ： PMVが 1 2画素精度の仮想サンプルを用いた動きべ ク トルである場合

M V = M V D + ( P M V << 1 )

なるルールを用いることで動きべク トルの復号を行う。

③— 2— 4 予測画像生成 （ステップ S T 1 3、 S 1 4 )

③— 2— 2で決定された仮想サンプル生成ルールに従い、 ③— 2— 3 で復号された動きべク トルデータを用いて、 個々の動きべク トル適用単 位領域ごとに予測画像を生成する。 仮想サンプルについては、 従来例の 第 1図に示したような半画素精度サンプルの生成、 第 2図に示したよう な 1 /4画素精度サンプルの生成を行うものとする。 ただし、 第 2図の 端点での画素値折り返し使用は行わないこととし、 フィル夕タ ツプ数は 一般性を持たせるため、 以降 K夕ヅプとする。 したがって、 半画素精度 の仮想サンプルを用いる 8 X 8 M Cよ り小さい例えば 8 X 4や、 4 X 8、 4 x 4 M C以下のモー ドの場合は、 符号化装置における動き補償 予測処理のステップ S T 2の場合と同様に、 仮想サンプル生成に用いる 画素デ一夕は第 7図の下段に示すようにメモリから読み出して、 予測画 像を生成することになる。

従って、 以上の構成をもつ本実施の形態 1の映像符号化装置または復 号装置を用いることによ り、 動きの局所的な状況に適応して、 動き補償 予測単位となるブロ ックの大きさに応じて動き補償予測を行う際の仮想 サンプルの精度を切り替えると共に、 動きベク トルの算出方法も切り替 えるようにしたので、 メモリバン ド幅を抑えながら画質を保った圧縮符 号化を行う ことが可能となる。 特に、 メモリバン ド幅削減は、 特に映像 再生を主とするプレーヤを、 携帯電話、 携帯情報端末などにハードゥエ ァ実装する際に、 映像復号処理実装の簡略化、 消費電力化に著しい効果 を発揮する。

なお、 上記実施の形態 1の説明では、 動き補償予測単位となるブロ ッ クの大きさに応じて動き補償予測を行う際の仮想サンプルの精度を切り 替える と共に、 動きベク トルの算出方法も切り替えるようにしたが、 本 発明では、 これに限らず、 動き補償予測単位となるブロックの大きさに 応じて動き補償予測を行う際の仮想サンプルの精度を切り替えるのみで 、 動きべク トルの算出方法は切り替えないようにしても勿論よい。 ただ し、 この場合には、 メモリバン ド幅を抑えながら符号化効率を向上させ ることができるが、 動き補償予測の精度を低く した分だけ画質が落ちる ことになる。 このことは、 以下のすべての実施の形態においても適用さ れ ο また、 本実施の形態 1では、 符号化装置における③ー 1— 1、 復号装 置における③— 2 — 2において仮想サンプル精度を決定した後、 使用す る仮想サンプル精度に合わせて仮想サンプル生成のためのフィル夕処理 を変更するように構成した。 1 / 4画素精度の場合はまず半画素精度仮 想サンプルを、 第 2図のように整数画素デ一夕を用いて K ( = 8 ) タ ツ プフィル夕によって生成し、 それによって生成された半画素精度仮想サ ンプルをさらに線形補間することによって 1 / 4画素精度サンプルを生 成した。 半画素精度の場合は、 整数画素データの線形補間によって半画 素精度サンプルを生成する。 この場合は動き補償予測対象プロ ックサイ ズ +周辺 1画素分だけメモリから読み出せば済む。 このフィル夕処理の 違いにより、 小さいプロ ックサイズでの動き補償予測ではメモリから読 み出すデ一夕量を低減することをポイン ト としたが、 このフィル夕処理 そのものは仮想サンプル精度に依存せずに一意に定めるように構成して もよい。 つま り、 半画素精度サンプルのみを使用する小さいブロ ックサ ィズの場合であつても、 Kタップフィル夕で半画素精度サンプルを構成 するようにしても良い。 このフィル夕処理の固定化により、 メモリから 読み出すデータ量に関してはメモリバン ド幅削減にはならないが、 一方 で、 Kタヅプフィル夕で生成された半画素サンプルから 1ノ4画素精度 のサンプルを作り出す処理は必要なく、 かつ③ー 1— 3、 ③— 2— 3の ように動きぺク トルの表現精度は依然として制限することができ、 動き べク トルの符号化を効率化することが可能となる。

さらに、 本実施の形態 1では、 常に映像入力の単位をフレームとして 記述したが、 奇数フィールドと偶数フィール ド等のイ ン夕レース映像入 力を想定する場合には、 厳密にはフレームは 2枚のフィールド画像デ一 夕の組合わせで定義される。 この場合、 本実施の形態 1の映像符号化装 置および映像復号装置は、 各フィール ドごとにマクロプロ ックを構成し て符号化 · 復号する場合にも適用可能であることは明らかである。 この ことは、 以下のすべての実施の形態においても適用される。

また、 本実施の形態 1では、 8 X 8よ り小さいサイズとして 8 X 4や 、 4 x 8、 4 X 4サイズの動きベク トル検出単位領域では半画素精度の 仮想サンプルを用いることとし説明したが、 本発明ではこれに限らず、 8 x 8 よ り小さいサイズとして 4 X 2や、 2 X 4等の 8 x 4や 4 x 8、 4 X 4サイズ以外であっても良いし、 8 X 8を基準としてではなく、 8 X 1 6や 1 6 X 8等他のサイズを基準にして大小によ り仮想サンプルの 精度を変えても良い。 またさらに、 8 X 8等の所定サイズよ り小さいサ ィズの動きべク トル検出単位領域において半画素精度の仮想サンプルを 用いるのでなく、 所定サイズより小さいサイズの動きべク トル検出単位 領域においては整数画素精度として動き補償予測を行う ようにしても勿 論よい。 このようにすれば、 画質は多少落ちるものの、 メモリバン ド幅 は大幅に削減することが可能となる。 要は、 符号化単位であるマクロブ ロックをさらに分割して動き補償予測を行う動きべク トル検出単位領域 において、 メモリバン ド幅が問題となる所定のブロックサイズを基準に 動きべク トルの探索精度を下げて、 メモリパン ド幅を削減すれば良いの である。 このことは、 以下のすべての実施の形態においても適用される

実施の形態 2 .

本実施の形態 2では、 実施の形態 1 に述べた映像符号化装置および映 像復号装置に加えて、 複数のフレームメモリからなるフレームメモリ群 を用意して、 マクロブロ ックまたはマクロプロ ックを分割した動き補償 予測プロックの単位で、 複数のフレームメモリを使用して動き補償予測 を行う ことを可能とする装置について説明する。 第 1 0図に、 本実施の形態 2における映像符号化装置の構成を示す。 同図において、 第 3図に示す実施の形態 1の符号化装置との違いは、 フ レームメモリ 3がフ レームメモリ群 2 8に置き換わっており、 動き検出 部 2、 動き補償部 7がフ レームメモリ群 2 8を利用して複数のフ レーム メモリから最適な予測画像と動きべク トルを得るように構成されている 点である。 動き検出部 2、 動き補償部 7は、 第 3図の符号化装置と比べ て動作の詳細が異なるが、 以下ではその前提で同一図番にて説明を行う ものとする。

①符号化装置の動作概要

入力映像信号 1は、 個々の映像フ レームがマクロブロックに分割され た単位で入力されるものとし、 まず、 動き検出部 2において、 フ レーム メモリ群 2 8に格納される複数の参照画像 4を用いてマクロブロック単 位に動きベク トル 5が検出される。

複数の参照画像を用いた動きべク トル検出の方法としては、 例えば I S O/ I E C 1 3 8 1 8 - 2 (M P E G— 2 ビデオ規格） で開示される 両方向予測がある。

第 1 1図に、 I S O/ I E C 1 3 8 1 8— 2 (MP E G— 2 ビデオ規 格） で開示される両方向予測の実行の方法を示す。 同図において、 F ( t ) が現在符号化対象の入力映像フ レームであり、 フ レームメモリ中に 格納される参照画像には F， ( ) として区別をした。 B (x , y , t ) が F ( t ) 内のある動き補償予測単位のブロックであるとする。 両方向 予測では、 B ( X , y , t ) の位置から動きべク トル MV_f ( B ( x， y , t ) ) だけ移動させた過去の参照画像 F， （ t — 1 ) 中のプロック 画像を前方向予測画像 P _f ( B (x， y， t ) ) とし、 B (x， y , t ) の位置から動きベク トル MV_b ( B (x , y， t ) ) だけ移動させた 未来の参照画像 F ' ( t + 1 ) 中のブロック画像を後方向予測画像： P _b ( B ( x , y , t ) ) とし、 P _f ( B ( x , , t ) ) と P _b ( B ( x , y , t ) ) との加算平均で B ( x， y , t ) の予測画像 P i ( B (x , y , t ) ) を生成する。 MV_f ( B ( x , y , t ) ) や MV_b ( B ( x， y , t ) ) は、 動き検出部 2において、 それそれ対応する参照画像 上の与えられた探索範囲内で B ( X , y， t ) との絵柄の類似度が高い 、 もしくは画素差分が最も小さくなるブロック画像を探し出し、 その偏 移分を検出した値に該当する。

第 1 2図に、 複数の参照画像を用いて動きべク トルを検出する片方向 予測の一例を示す。 第 1 2図に示す別の例は、 例えば、 特開平 4— 1 2 7 6 8 9号公報に開示された過去の複数の参照画像をフレームメモリ群 2 8に格納できるように構成された符号化装置であって、 動き補償予測 単位のブロック B ( X , y , t ) に類似するブロック画像が直前の参照 画像 F ( t - 1 ) にはなく、 さらにその前の参照画像 F ( t - 2 ) に見 つかるような場合でも、 動きベク トル MV_t— ₂ ( B (x， y， t ) ) を 用いて動き補償予測が行えるため、 映像の局所的な性質に適応した動き 補償予測が行えるようにしたものである。

本実施の形態 2では、 複数のフ レームメモリからなるフ レームメモリ 群 2 8を有しているので、 その複数のフ レームメモリそれそれに格納さ れた複数の参照画像を用いて動きベク トルを検出する第 1 1図または第 1 2図のいずれの構成の符号化装置にも適用可能である。

さて、 本実施の形態 2では、 上記の第 1 1図または第 1 2図の事例の ように検出された動きべク トル 5には、 その動きべク トル 5がフレーム メモリ群 2 8のうちでどのフ レームメモリを参照したかを指示する情報 が組になって明示されている。

このため、 本実施の形態 2の動き補償部 7では、 それらの情報に従つ てフレームメモリ群 2 8の中の適切なフレームメモリを参照することで 予測画像 8が得られる。 さらに入力信号 1 との差分をとることによって 予測残差信号 9が得られる。 なお、 動きベク トル 5がフレームメモリ群 2 8の中のどのフレームメモリを参照したかを指示する情報は、 動きべ ク トル 5そのものでなく、 別情報としてデコーダに通知するための符号 化データの形で表現されてもよい。

また、 本実施の形態 2の符号化モード判定部 1 2では、 予測残差信号 9を符号化する動き予測モード、 フレーム内符号化を行うイ ン トラモー ドなど、 マクロプロックの符号化方法を指定する複数のモードの中から 、 当該マクロブロックをもっとも効率よく符号化することができるモー ドを選択して符号化モード情報 1 3 として出力する。 動き予測モードと は、 実施の形態 1 に説明した第 6図に示すようなマクロブロック内分割 の形状や、 第 1 1図において P _f ( B ( X , y , t ) ) だけを用いて予 測を行うか、 P _b ( B ( x ₅ y， t ) ) だけを用いて予測を行うか、 そ れらの加算平均をとるかなどを識別する情報などに該当する。 この符号 化モード情報 1 3は、 符号化対象情報として可変長符号化部 6に受け渡 される。 符号化モード情報 1 3 として動き予測モードが選択される場合 は、 動きぺク トル 5が符号化対象情報として可変長符号化部 6に受け渡 され、 可変長符号化される。

なお、 符号化モード判定部 1 2において選択された符号化対象信号 1 1の符号化である直交変換部以降の処理は、 実施の形態 1 に同じである ため、 説明を省略する。

次に、 本実施の形態 2における映像復号装置について説明する。

第 1 3図に、 本実施の形態 2における映像復号装置の構成を示す。 同 図において、 第 4図に示す実施の形態 1の復号装置との違いは、 フレー ムメモリ 3がフレームメモリ群 2 8に置き換わっており、 動き補償部 Ί が可変長復号部 2 7で復号される動きべク トル 5 と符号化モード情報 1 3 とにしたがって、 フレームメモリ群 2 8のうち指定されたフレームメ モリから予測画像を得るように構成される。 動き補償部 7は第 4図の復 号装置と比べて動作の詳細が異なるが、 以下ではその前提で同一図番に て説明を行う。

②復号装置の動作概要

復号装置では映像圧縮データ 2 6を受け取ると、 まず可変長復号部 2 7にて後述するエン トロピー復号処理が行われて、 動きベク トル 5、 符 号化モード情報 1 3、 直交変換係数データ 1 7、 量子化ステツプパラメ 一夕 2 3などが復元される。 なお、 直交変換係数データ 1 7、 量子化ス テツプパラメ一夕 2 3による予測残差信号の復元処理は、 実施の形態 1 の復号装置と同一であるため、 説明を省略する。

そして、 実施の形態 1の復号装置の場合と同様に、 動き補償部 7は、 可変長復号部 2 7にて復号された動きべク トル 5 と符号化モード情報 1 3 とに基づき、 フレームメモリ群 2 8の中の所定のフレームメモリに格 納される参照画像を用いて予測画像 8を復元する。

切替器 5 4は、 符号化モー ド情報 1 3に基づいて、 動き予測モードで あれば動き補償部 7からの予測画像 8を加算器 5 5へ出力する一方、 ィ ン トラモードであれば 0を加算器 5 5へ出力する。 加算器 5 5では、 こ れら切替器 5 4からの出力を、 逆直交変換部 1 9の出力である復号信号 と加算することによって復号画像 2 1を得る。 復号画像 2 1は以降のフ レームの予測画像生成に用いられるため、 フレームメモリ群 2 8に格納 される。

③動き補償予測の動作

符号化装置における動き検出部 2、 動き補償部 7およびフレームメモ リ群 2 8を用いて行われる動き補償予測処理や、 復号装置における動き 補償部 7およびフレームメモリ群 2 8を用いて行われる動き補償処理に ついては、 第 1 1図や第 1 2図から明らかなように、 フレームメモリご との処理単位に分離して考えることができる。 符号化装置側にて個々の 参照画像 （ F ' ( t— 1 ) など） が格納されるフレームメモリを用いて 動きべク トル 5 と予測画像 8を得る処理を実施の形態 1 にて説明した③ 一 1 一 1〜③— 1— 5からなる③— 1の符号化装置における動き補償予 測処理処理、 また復号装置側にて個々の参照画像 （ F ' ( t— 1 ) など ) が格納されるフ レームメモリを用いて予測画像 8を得る処理を実施の 形態 1の③— 2— 1〜③— 2— 4からなる③— 2の復号装置における動 き補償処理とみなすことができ、 実施の形態 1 に記載した手順をそのま ま適用可能である。

従って、 以上の構成をもつ本実施の形態 2の映像符号化装置または復 号装置によれば、 上記実施の形態 1の映像符号化装置または復号装置の 場合と同様に、 動きの局所的な状況に適応して動き補償予測単位となる プロックの大きさに応じて、 従来例にて述べた仮想サンプルの精度を切 り替えると共に、 動きべク トルの符号化 ·復号方法も切り替えているの で、 メモリバン ド幅を抑えながら画質を保った圧縮符号化を行うことが 可能となる。

特に、 第 1 1図に示すように前方向も後方向も含めた両方向の複数の フレームメモリから予測画像を生成する必要がある場合や、 第 1 2図に 示す片方向でも複数のフレームメモリから予測画像を生成する必要があ る場合には、 それだけフレームメモリからの読み出し画素数が増大する ことは明らかであるが、 本実施の形態 2によれば、 動きが複雑等で精緻 な動き補償予測の効果が薄れる場合には、 仮想サンプル精度を半画素、 あるいは整数画素までに限定して動きべク トルの表現精度も低くするこ とで、 符号化効率を保ちながらフレームメモリアクセス時のメモリバン ド幅を低減することができる。 その結果、 本実施の形態 2によれば、 特 に複数のフ レームメモリ に格納された複数の参照画像を参照して動き補 償予測を行う両方向予測等の場合には、 符号化装置における動きべク ト ル検出処理ならぴに復号装置の予測画像生成処理に関して著しい演算量 削減効果が期待される。

また、 本実施の形態 2では、 複数のフ レームメモリ を有しているので

、 第 1 1図に示す通常の両方向予測や、 第 1 2図に示す過去の複数の参 照画像からの片方向予測だけでなく、 例えば、 通常はその複数のフ レー ムメモリの内容を復号画像をもつて逐次更新を行う一方、 複数のフレ一 ムメモリのうち一のフレームメモリの内容のみ更新しないことが指示等 された場合には、 その複数のフレームメモリのうち一のフレームメモリ の内容のみ更新しないようにして、 複数のフレームメモリを逐次更新を 行うショー トタームフレームメモリ と、 次のイベン トが発生するまで参 照画像が更新されない口ング夕一ムフ レームメモリ と して使用して、 シ ョ―ト夕—ムフレームメモリ とロングタームフレームメモリの参照画像 を用いて動き補償予測を行う ようにしても勿論かまわない。 このように すれば、 動画像信号の時間的な局所的特性に応じて複数のフレームメモ リを弹力的に使用することが可能となり、 フ レームメモリを効率的に使 用しつつも、 符号化シーケンスに影響されずに高い予測効率を維持しな がら符号化を行う ことができることになる。

特に、 動きの局所的な状況に適応して、 動き補償予測単位となるプロ ックの大きさに応じて動き補償予測を行う際の仮想サンプルの精度を切 り替えたり、 動きベク トルの算出方法も切り替えるだけでなく、 その動 き補償予測を行う領域単位で適応的に第 1 1図に示す両方向予測や第 1 2図に示す片方向予測等を切り替えたり、 あるいはその領域単位で通常 はその複数のフレームメモリの内容を復号画像をもつて逐次更新を行う のと、 複数のフレームメモリのうち一のフレームメモリの内容のみ更新 しないことが指示等された場合におけるその複数のフレームメモリのう ち一のフ レームメモリの内容のみ更新しないようにすることを適応的に 切り替えるようにすれば、 空間的だけでなく時間的な局所的な動きなど の各種の特徴が現れる場合でも、 メモリバン ド幅を増大させることなく 、 符号化効率を向上させると共に、 画質も向上させることが可能となる

実施の形態 3 .

実施の形態 3では、 実施の形態 1や実施の形態 2に述べた映像符号化 装置および映像復号装置に対し、 さらに、 仮想サンプル算出方法の適応 切り換えの自由度を向上させる仮想サンプル算出方法切り換えフラグを 導入した映像符号化装置および映像復号装置について説明する。

実施の形態 1および 2に示した映像符号化装置および映像復号装置で は、 第 6図の、 8 x 8 M Cより小さい例えば 8 x 4や、 4 x 8、 4 x 4サイズでの動き補償予測を半画素精度の仮想サンプルに限定して予測 を行うように構成したが、 映像によっては、 8 X 8 M Cより小さいよ りも小さい単位での動き補償予測であっても予測効率向上のために 1 / 4画素精度の動き補償予測を必要とする場合がありうる。 例えば、 動き 補償予測対象の画像が十分にテクスチャを保存していながら、 入力信号 に載った微妙な雑音成分が動きべク トルのばらつきを生じさせてしまう ような場合があり うる。 このような場合では、 単純に動きの複雑さのみ を仮定して仮想サンプル精度を固定化させてしまうのでなく、 映像の局 所的な信号状況に適応化させて、 最適な仮想サンプル精度を選択させる ことで、 真に微細な仮想サンプル精度を必要とする場合にのみ必要最小 限の演算量を追加させるように装置構成を行うことができ、 さらなる映 像符号化品質の向上を図ることが可能である。 第 1 4図に、 本実施の形態 3における映像符号化装置の構成を示す。 第 1 5図に、 本実施の形態 3における映像復号装置の構成を示す。 第 1 4図および第 1 5図において、 上記に述べた動き補償予測精度の適応 化のための役割を果たすのが、 動き補償予測の精度切り替え信号である 仮想サンプル精度切り換えフラグ 2 9であり、 それ以外の点は、 第 3図 または第 4図に示す実施の形態 1の映像符号化装置または映像復号装置 と同様である。

次に動作を説明する。

第 1 4図に示す本実施の形態 3の符号化装置側では、 仮想サンプル精 度切り換えフラグ 2 9は、 符号化装置内部における入力映像データの事 前解析もしくは符号化装置を含むシステムにおける外的要因、 例えば送 信バッファ 2 4のバッファ残量や符号化ビヅ トレ一ト等の送信環境など に基づいて、 所定の映像データ単位でフラグの値の決定が行われ、 動き 検出部 2および動き補償部 7に入力される。 動き検出部 2および動き補 償部 7では、 入力する仮想サンプル精度切り換えフラグ 2 9に基づいて 、 以下に示すように、 切り換え単位を適応的に変化させながら、 動き補 償予測の際の仮想サンプル精度や、 動きべク トルの算出方法を変えて、 動きべク トルおよび予測画像を生成する。

仮想サンプル精度切り換えフラグ 2 9の値については、 例えば以下の ような意味付けを考えることができる。 具体的には、 仮想サンプル精度 切り換えフラグ 2 9が 0 Nまたは 1であるとは、 切り換え単位となる映 像データ単位内において、 すべての 8 X 8 M C未満のブロックサイズで の動き補償予測を 1 / 4画素精度の動き補償予測によって行う、 という ことを指示する。 つまり、 この場合は第 2図に示したような多タップフ ィル夕を用いることを前提に多くの画素データをフ レームメモリから読 み出すことを許容しても予測効率を優先する。 この際は、 すべての動き べク トルが同一精度であるため、 ③— 1— 3に述べた動きべク トルの精 度変換を伴う動きべク トル予測と符号量算出は実施しない。

これに対し、 仮想サンプル精度切り換えフラグ 2 9が 0 F Fまたは 0 であるとは、 すべての 8 X 8 M C未満である第 6図の場合であれば 8 X 4や、 4 x 8、 4 X 4サイズでのブロックサイズでの動き補償予測を半 画素精度の動き補償予測を実施せよ、 という ことを指示する。 この指定 は、 第 1図に示したような半画素精度の仮想サンプルでも必要十分な予 測効率が得られるケースで用いられる。 この際は、 8 X 8 M C未満のブ ロヅクサイズでは、 動きベク トルの精度が異なるため、 適宜、 ③— 1 — 3に述べた動きべク トルの精度変換を伴う動きベク トル予測と符号量算 出を実施することになる。 なお、 O N/O F Fと、 1 / 0の関係は、 こ れに固定化されるものではなく、 もちろん逆の関連付けを行ってもよい (O N= 0、 0 F F = 1 ) o

仮想サンプル精度切り換えフラグ 2 9の切り換え単位となる映像デ一 夕単位は、 例えばマクロブロ ック、 スライス （複数のマクロブロックか ら構成される映像フレームの単位領域） 、 フレームゃフィール ド （イ ン 夕レース信号の場合） 、 シーケンス （複数の映像フレームから構成され る時系列単位） などがあり う る。

このように符号化側で設定された仮想サンプル精度切り換えフラグ 2 9は、 所定の映像データ単位で可変長符号化部 6においてビッ トス ト リ ームに多重化される。

復号装置では、 第 1 5図に示すように、 可変長復号部 2 7が仮想サン プル精度切り換えフラグ 2 9の値を復号し、 仮想サンプル精度切り換え フラグ 2 9が付与された映像データ単位ごとに上記規範に基づいて、 可 変長復号部 2 7は必要に応じて③ー 2— 3に述べた精度適応の動きべク トル 5の復号処理を行い、 動き補償部 7は、 仮想サンプル精度切り換え フラグ 2 9が指定する精度の仮想サンプル生成処理と動きべク トル 5 に 基づいて、 予測画像 8の生成を行うように構成する。

従って、 以上の構成を有する本実施の形態 3の映像符号化装置および 映像復号装置によれば、 予測効率と演算負荷とのトレードオフを自在に 制御することが可能となり、 自由度の高い映像符号化を行うことができ るようになる。

なお、 実施の形態 3では、 実施の形態 1の事例をもとに説明したが、 仮想サンプル精度切り換えフラグ 2 9が実施の形態 2における映像符号 化装置および映像復号装置にも適用可能であることはいうまでもない。 実施の形態 4 .

上記実施の形態 1 ~ 3の画像符号化装置および画像復号装置側では、 イン トラモードの場合、 空間予測を行わない通常のフレーム内符号化に より説明したが、 この実施の形態 4では、 イ ン トラモードとしてフレー ム内で空間予測を用いて動画像信号と予測信号との差分信号を符号化す るイントラ予測モ一ドにより符号化を行う空間予測部 1 0 aを設けた例 について説明する。

第 1 6図に、 第 3図に示す実施の形態 1の符号化装置に対し空間予測 部 1 0 aを追加した本実施の形態 4の符号化装置の構成を示す。 第 1 6 図に示すように、 本実施の形態 4の符号化装置では、 空間予測部 1 0 a を追加したので、 空間予測部 1 ◦ aから可変長符号化部 6ヘイン トラ予 測モード 1 4を出力すると共に、 切替器 5 2には実施の形態 1〜 3の場 合のィン トラモードの 0入力の代わりに空間予測部 1 0 aから空間予測 画像 2 0が出力されることになる。 その他は、 実施の形態 1 と同様であ る。

第 1 7図に、 第 4図に示す実施の形態 1の復号装置から空間予測部 1 0 aを追加した本実施の形態 4の復号装置の構成を示す。 第 1 7図に示 すように、 本実施の形態 4の復号装置では空間予測部 1 0 aを追加した ので、 すなわち第 1 6図に示すように符号化装置側にて空間予測部 1 0 aを追加したので、 可変長復号部 2 7から空間予測部 1 0 aヘイ ン トラ 予測モード 1 4が出力されると共に、 切替器 5 4には実施の形態 1 〜 3 の場合のィン トラモードの 0入力の代わりに空間予測部 1 0 aから空間 予測画像 2 0が出力されることになる。 その他は、 実施の形態 1 と同様 である。

簡単に動作を説明すると、 第 1 6図に示す本実施の形態 4の符号化装 置では、 空間予測部 1 0 aによるイン トラ予測モ一ド符号化が行われる 場合には、 空間予測部 1 0 aから可変長符号化部 6ヘイン トラ予測モー ド 1 4が出力され、 可変長符号化部 6では、 動きべク トル 5、 量子化ス テツプパラメ一夕 2 3、 符号化モード情報 1 3、 直交変換係数デ一夕 1 7と共にィン トラ予測モ一ド 1 4もェン トロピー符号化を行い、 送信バ ヅファ 2 4経由で、 映像圧縮デ一夕 2 6 として伝送する。 そして、 本実 施の形態 4の切替器 5 2では、 符号化モード情報 1 3に従って、 その符 号化モード情報 1 3が時間方向の予測である動き予測モードを示してい る場合には、 逆量子化および逆直交変換された直交変換係数デ一夕 1 7 と、 動き補償部 7からの予測画像 8と加算して局所復号画像 2 1 として フレームメモリ 3へ出力するか、 あるいはその符号化モード情報 1 3が 空間方向の予測であるィントラ予測モードを示している場合には、 逆量 子化および逆直交変換された直交変換係数データ 1 7 と、 空間予測画像 2 0 とが加算されて局所復号画像 2 1 として出力され、 降のフレームの 動き予測に用いられるため、 参照画像データとしてフレームメモリ 3へ 格納される。

その一方、 第 1 7図に示す本実施の形態 4の復号装置では、 可変長復 号部 2 7がイ ン トラ予測モード 1 4を復号され、 空間予測部 1 0 aへ出 力され、 空間予測画像 2 0が復元される。 そして、 本実施の形態 4の切 替器 5 4では、 可変長復号部 2 7からの符号化モード情報 1 3に基づい て、 時間方向の予測である動き予測モ一ドであれば動き補償部 7からの 予測画像 8を加算器 5 5へ出力する一方、 空間方向の予測であるィン ト ラ予測モードを示している場合には空間予測画像 2 0を加算器 5 5へ出 力する。 · 加算器 5 5では、 これら切替器 5 4からの出力を、 逆直交変換 部 1 9の出力である復号信号と加算することによって復号画像 2 1を得 て、 以降のフレームの予測画像生成に用いられるため、 フレームメモリ 3に格納される。

従って、 実施の形態 4の画像符号化装置および画像復号装置によれば 、 上記実施の形態 1の画像符号化装置および画像復号装置におけるィ ン トラモードの代わりに、 フレーム内で空間予測を用いて動画像信号と予 測信号との差分信号を符号化するィントラ予測モードを採用するように したので、 上記実施の形態 1 と同様の効果が得られると共に、 上記実施 の形態 1にて行う通常のィン トラモードよりも圧縮効率を向上させるこ とができる。

なお、 この実施の形態 4では、 第 3図に示す実施の形態 1の符号化装 置、 および第 4図に示す実施の形態 1の復号装置に対し空間予測部 1 0 aを追加したものを実施の形態として図示して説明したが、 本発明では 、 これに限らず、 第 1 0図および第 1 3図に示す実施の形態 2の符号化 装置および復号装置に対し空間予測部 1 0 aを追加することも、 さらに は第 1 4図および第 1 5図に示す実施の形態 3の符号化装置および復号 装置に対し空間予測部 1 0 aを追加することも可能であり、 これらの場 合も、 上記と同様に説明することができる。 実施の形態 5 .

上記実施の形態 1〜 4では、 画像符号化装置または画像復号装置等の 要素製品として説明したが、 この実施の形態 5では、 実施の形態 1〜 4 の画像符号化装置または画像復号装置等が実装される最終製品について 簡単に説明する。

第 1 8図は、 実施の形態 1〜 4の画像符号化装置および画像復号装置 等が実装された実施の携帯電話の構成を示している。 この携帯電話は、 第 1 8図に示すように、 送受信部 7 1、 ベースバン ド処理部 Ί 2、 制御 部 7 3、 音声コーデック 7 4、 ビデオコ一デヅク 7 5、 イン夕フェース 7 6、 カメラ 7 7、 ディスプレイ 7 8、 マイク · スピーカ 7 9、 アンテ ナ 8 0等を備えて構成されており、 ビデオコーデック 7 5 として、 実施 の形態 1〜 4のいずれかの画像符号化装置および画像復号装置が搭載さ れる。

従って、 実施の形態 5の携帯電話によれば、 実施の形態 1〜 4の画像 符号化装置および画像復号装置等の要素製品を実装することにより、 動 'きの局所的な状況に適応して、 メモリバン ド幅を抑えながら画質を保つ た圧縮符号化を行うことが可能となり、 メモリバン ド幅削減により映像 復号処理実装の簡略化、 消費電力化に著しい効果を発揮する。

なお、 本実施の形態 5では、 実施の形態 1〜 4の画像符号化装置また は画像復号装置等の要素製品が実装される最終製品として、 画像符号化 装置および画像復号装置の双方をビデオコーデック 7 5に搭載した携帯 端末を一例に説明したが、 本発明では、 これに限らず、 実施の形態 1 〜 4の画像符号化装置のみを搭載した放送装置や、 実施の形態 1〜 4の画 像復号装置のみを搭載した D V Dプレーヤ等にも適用できることは勿論 である。 これら映像再生を主とするプレーヤや、 携帯電話、 携帯情報端 末などにハードウェア実装する際に、 メモリバン ド幅削減により映像復 号処理実装の簡略化、 消費電力化に著しい効果を発揮する。

以上、 この発明をその好適な実施の形態を参照しながら詳細に図示し て説明したが、 請求の範囲に記載されたこの発明の趣旨および区域内で 、 形式および細部に関する様々な変更が可能であることは当業者であれ ば理解できることだろう。 かかる変更、 代替、 修正もこの発明の範囲に 含まれるものであると出願人は意図している。 産業上の利用可能性

以上のように、 この発明に係る動画像符号化装置及び画像復号装置の うちの少なく とも一方を備えた通信装置は、 マクロブロックなど映像フ レームを小領域単位に分割して個々に動き補償予測を行う場合でも、 メ モリバン ド幅を抑えつつ、 符号化効率を向上させるのに適している。

Claims

請 求 の 範 囲 1 . 動画像信号の各フレームを所定の方法で分割した領域単位で動き 補償予測を行い生成した予測画像と上記動画像信号との間の差分信号を 圧縮符号化した符号化ビッ トス ト リームを生成する動画像符号化装置で あって、

予測画像の生成に用いる参照画像を格納するフレームメモリ と、 動き補償予測の単位となる領域の形状に応じて、 予測画像の構成要素 となる仮想画素の精度を切り換えて予測画像の候補を生成し、 該複数の 予測画像候補のうち予測効率が大きい予測画像を与える動きべク トルを 生成する動き検出部と、

上記動き検出部にて生成された動きべク トルに基づき、 動き補償予測 の単位となる領域の形状に応じて予測画像の構成要素となる仮想画素の 精度を切り換えて予測画像を生成する動き補償部とを備え、

上記符号化ビッ トス ト リームに、 上記動き補償予測の単位となる領域 の形状を示す形状情報と、 上記動きべク トルとを多重する動画像符号化

2 . 上記符号化ビッ トス ト リームに、 上記動き補償予測の単位となる 領域の形状を示す形状情報と、 該形状情報で示される動き補償予測の単 位となる領域の形状に応じて上記動きべク トルの予測符号化方法を切り 換えて符号化された動きべク トルとを多重することを特徴とする請求の 範囲第 1項記載の動画像符号化装置。

3 . 動き検出部は、 動き補償予測の単位となる領域の形状に応じて、 予測画像の構成要素となる仮想画素の精度を切り換えるか否かを所定の 動画像デ一夕の単位で制御する制御信号に基づいて予測画像の候補を生 成し、 該複数の予測画像候補のうち予測効率が大きい予測画像を与える 動きべク トルを生成し、

動き補償部は、 上記動き検出部にて生成された動きべク トルに基づき 、 動き補償予測の単位となる領域の形状に応じて予測画像の構成要素と なる仮想画素の精度を切り換えるか否かを所定の動画像データの単位で 制御する制御信号に基づいて予測画像を生成することを特徴とする請求 の範囲第 1項記載の動画像符号化装置。

4 . 上記動き補償部は、 複数の精度であるフレームメモリに格納され た参照画像の複数の画素データに基づいて所定の方法で仮想画素を生成 する第 1の精度と、 その第 1の精度の仮想画素に基づいて仮想画素を生 成する第 2の精度とのうちから上記領域単位毎にいずれか一の指示され た精度にしたがって動き補償予測を行って参照画像を生成することを特 徴とする請求の範囲第 1項記載の動画像符号化装置。

5 . 上記動き補償予測の単位となる領域は、 動画像信号の各フ レーム を輝度信号相当で 1 6画素 X 1 6ラインに分割したマクロブロックをさ らに分割した予測単位プロックであり、

当該領域の形状を示す形状情報は、 マクロプロックを予測単位プロッ クへ分割する方法を指示する情報であることを特徴とする請求の範囲第 1項記載の動画像符号化装置。

6 . 予測画像の生成に用いる参照画像を格納するフ レームメモリが複 数設けられ、

上記動き補償部は、 上記複数のフレームメモリに格納された複数の参 照画像を参照し動き補償予測を行って予測画像を生成することを特徴と する請求の範囲第 1項記載の動画像符号化装置。

7 . さらに、 動画像信号をイ ン トラモー ドにより符号化を行うイ ン ト ラモードを備え、

上記動き補償部による動き補償予測モードか、 上記ィ ン トラモードか を選択的に行う と共に、 上記符号化ビッ トス ト リームに、 さらに選択し たモ一ドを示す符号化モード情報を多重することを特徴とする請求の範 囲第 1項記載の動画像符号化装置。

8 . さらに、 動画像信号を空間予測モードにより予測符号化を行う空 間予測部を備え、

上記動き補償部による動き補償予測モードか、 上記空間予測部による 空間予測モードかを選択的に行う と共に、 上記符号化ビッ トス ト リ一ム に、 さらに選択したモードを示す符号化モード情報を多重することを特 徴とする請求の範囲第 1項記載の動画像符号化装置。

9 . 動画像信号の各フレームを所定の方法で分割した領域単位で動き 補償予測を行い生成した予測画像と上記動画像信号との間の差分信号を 圧縮符号化した符号化ビッ トス ト リームを生成する際の動画像符号化方 法であって、

動き補償予測の単位となる領域の形状に応じて、 予測画像の構成要素 となる仮想画素の精度を切り換えて予測画像の候補を生成し、 該複数の 予測画像候補のうち予測効率が大きい予測画像を与える動きベク トルを 生成すると共に、 生成した動きベク トルに基づき、 動き補償予測の単位 となる領域の形状に応じて予測画像の構成要素となる仮想画素の精度を 切り換えて予測画像を生成し、

上記符号化ビッ トス ト リームに、 上記動き補償予測の単位となる領域 の形状を示す形状情報と、 上記動きべク トルとを多重する動画像符号化 方 。

1 0 . 動画像信号の各フレームを所定の方法で分割した領域単位で動 き補償予測を行い生成した予測画像と上記動画像信号との間の差分信号 を圧縮符号化した符号化ビッ トス ト リームを入力して動画像信号を復元 する動画像復号装置であって、

予測画像の生成に用いる参照画像を格納するフレームメモリ と、 上記符号化ビッ トス ト リームを入力して上記差分信号と、 動きべク ト ルと、 上記動き補償予測の単位となる領域の形状を示す形状情報とを復 号する復号部と、

上記動き補償予測の単位となる領域の形状を示す形状情報に基づいて 予測画像の構成要素となる仮想画素の精度を切り換え、 切り換えられた 精度にしたがい上記復号部にて復号された動きべク トルを用い上記フレ ームメモリに格納された参照画像を参照して予測画像を生成する動き補 償部と.を備え、

上記復号部にて復号された上記差分信号と、 上記動き補償部にて生成 された予測画像とを加算して動画像信号を復元する動画像復号装置。

1 1 . 復号部は、 符号化ビッ トス ト リームを入力して差分信号と、 動 き補償予測の単位となる領域の形状を示す形状情報とを復号するととも に、 上記形状情報に基づいて動きべク トルの予測復元方法を切り換えて 動きべク トルの復号を行うことを特徴とする請求の範囲第 1 0項記載の 動画像復号装置。

1 2 . 復号部は、 符号化ビッ トス ト リームを入力して差分信号と、 動 き補償予測の単位となる領域の形状を示す形状情報と、 所定の動画像デ 一夕の単位で定義される制御信号を復号するとともに、 上記形状情報に 基づいて動きべク トルの予測復元方法を切り換えるか否かを上記制御信 号に基づいて所定の動画像データの単位で制御し、 動きべク トルの復号 を行い、

動き補償部は、 動き補償予測の単位となる領域の形状を示す形状情報 に基づいて予測画像の構成要素となる仮想画素の精度を切り換えるか否 かを、 上記制御信号に基づいて所定の動画像データの単位で制御して仮 想画素の精度を決定し、 決定された精度にしたがい上記復号部にて復号 された動きべク トルを用い上記フレームメモリに格納された参照画像を 参照して予測画像を生成することを特徴とする請求の範囲第 1 0項記載 の動画像復号装置。

1 3 . 上記動き補償部は、 複数の精度であるフレームメモリに格納さ れた参照画像の複数の画素データに基づいて所定の方法で仮想画素を生 成する第 1の精度と、 その第 1の精度の仮想画素に基づいて仮想画素を 生成する第 2の精度とのうちから上記領域単位毎にいずれか一の指示さ れた精度にしたがって動き補償を行って参照画像を生成することを特徴 とする請求の範囲第 1 0項記載の動画像復号装置。

1 4 . 上記動き補償の単位となる領域は、 動画像信号の各フレームを 輝度信号相当で 1 6画素 X 1 6ラインに分割したマクロブロックをさら に分割した予測単位プロックであり、

当該領域の形状を示す形状情報は、 マクロプロックを予測単位プロッ クへ分割する方法を指示する情報であり、

対応する動きべク トルは、 各予測単位プロックで利用する動きべク ト ルであることを特徴とする請求の範囲第 1 0項記載の動画像復号装置。

1 5 . 予測画像の生成に用いる参照画像を格納するフレームメモリが 複数設けられ、

上記動き補償部は、 上記複数のフレームメモリに格納された複数の参 照画像を参照し動き補償を行って予測画像を生成することを特徴とする 請求の範囲第 1 0項記載の動画像復号装置。

1 6 . 上記復号部は、 さらに上記符号化ビッ トス ト リームから符号化 モード情報を復号し、

上記符号化モ一ド情報に基づき、 動画像信号をィン トラモードにより 復号するか、 あるいは上記動き補償部による動き補償予測モードにより 復号することを特徴とする請求の範囲第 1 0項記載の動画像復号装置。

1 7 . 動画像信号を空間予測モードにより予測符号化を行う空間予測 部を備え、

上記復号部は、 さらに上記符号化ビッ トス ト リームから符号化モード 情報を復号し、

上記符号化モード情報に基づき、 動画像信号を上記空間予測部による 空間予測モ一ドにより復号するか、 あるいは上記動き補償部による動き 補償予測モードにより復号することを特徴とする請求の範囲第 1 0項記 載の動画像復号装置。

1 8 . 動画像信号の各フレームを所定の方法で分割した領域単位で動 き補償予測を行い生成した予測画像と上記動画像信号との間の差分信号 を圧縮符号化した符号化ビッ トス ト リームを入力して動画像信号を復元 する際の動画像復号方法であつて、

上記符号化ビッ トス ト リームを入力して上記差分信号と、 動きぺク ト ルと、 上記動き補償予測の単位となる領域の形状を示す形状情報とを復 号し、 その動き補償予測の単位となる領域の形状を示す形状情報に基づ いて予測画像の構成要素となる仮想画素の精度を切り換え、 切り換えら れた精度にしたがい上記復号された動きべク トルを用い上記参照画像を 参照して予測画像を生成し、

上記復号された上記差分信号と、 上記動き補償によって生成された予 測画像とを加算して動画像信号を復元する動画像復号方法。

1 9 . 請求の範囲第 1項記載の画像符号化装置を備えた通信装置。

2 0 . 請求の範囲第 1 0項記載の画像復号装置を備えた通信装置。