JP5840286B2 - 画像復号装置および画像復号方法 - Google Patents

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像復号装置および画像復号方法に関する。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して圧縮処理を行う。

一方、近年、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ，１９２０×１０８０画素）の４倍相当の空間解像度を有する４Ｋ×２Ｋ画素の映像フォーマット、さらにその４倍に相当する８Ｋ×４Ｋ画素の映像フォーマット、あるいは色信号のサンプル数を増やして色再現性を高める４：４：４映像信号フォーマット等の高精細・高品質映像を圧縮符号化する技術が望まれている。このような高精細・高品質映像を圧縮符号化する場合は、１６×１６画素のマクロブロックでは画像信号相関を十分に利用した符号化が行えなくなり、高い圧縮率を実現することが難しくなってくる。このような課題に対応するため、例えば、従来の１６×１６画素マクロブロックの大きさを、非特許文献１のように３２×３２画素ブロックへ拡張して、動きベクトルの割り当て単位を大きくして予測に必要なパラメータの符号量を削減したり、予測誤差信号の変換符号化のブロックサイズを大きくして、信号の画素間相関を効果的に除去したりする技術が提案されている。

図２１は、非特許文献１による符号化装置の構成を示すブロック図である。非特許文献１による符号化では、まず、符号化対象となる入力映像信号１００１を、ブロック分割部１００２においてマクロブロック（輝度信号相当で３２画素×３２ラインの矩形ブロック）の単位に分割し、符号化映像信号１００３として予測部１００４へ入力する。

予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。

圧縮部１００６は、予測誤差信号１００５に対して、動きベクトルの割り当て単位領域の大きさに応じてブロックサイズを変更しながらＤＣＴ（離散コサイン変換）処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。

この復号予測誤差信号１０１１を、予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３にして、ループフィルタ１０１４に入力する。復号信号１０１３は、ループフィルタ１０１４でブロックひずみを除去する処理が施された後、以降の予測信号１０１２を生成するための参照画像信号１０１５としてメモリ１０１６に格納される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１７は可変長符号化部１００８へ送られ、ビットストリーム１００９に多重されて出力される。ここで、予測信号生成用パラメータ１０１７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。

従来のＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式がマクロブロックサイズとして１６×１６画素ブロックを採用していたのに対して、非特許文献１では、３２×３２画素ブロックのマクロブロックサイズ（スーパーマクロブロック：ＳＭＢ）を用いる。図２２は、Ｍ×Ｍ画素マクロブロックごとに動き補償予測を行う際の動きベクトル割り当て領域の分割形状の様子を示し、図２２（ａ）は非特許文献１のＳＭＢ、図２２（ｂ）は従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（非特許文献２参照）のマクロブロックである。ＳＭＢが画素数Ｍ＝３２として動きベクトル１本あたりがカバーする動き予測領域の面積を大きく取るのに対して、従来のマクロブロックは画素数Ｍ／２＝１６を用いている。これにより、ＳＭＢでは画面全体として必要になる動きベクトルの情報量が画素数Ｍ／２＝１６に比べて少なくなるため、ビットストリームとして伝送すべき動きベクトル符号量を抑制することが可能である。

Siwei Ma and C.-C. Jay Kuo, "High-definition Video Coding with Super-macroblocks", Proc. SPIE, Vol. 6508, 650816 (2007) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格

非特許文献１，２の従来方式では、上述の動き予測の結果、動きベクトルや予測誤差信号について符号化すべきデータが一切発生しないスキップモードという特別なモードを設けている。例えば、非特許文献２では、「動きベクトルがその予測値と一致し、かつ、予測誤差信号の変換係数がすべてゼロ」となるケースをスキップモードとして定義している。また、スキップモードが選択できるのは、動きベクトルを割り当てる領域がマクロブロックと同じサイズのときに限定されている。そのため、非特許文献１のようにマクロブロックサイズが拡張される場合は、最大サイズの動き予測ブロックに対してのみスキップモードが設定されるので、それより小さいサイズの動き予測ブロックはスキップモード適用がなく符号化を効率化することが難しいという課題がある。

この発明は、上記のような課題を解決するためになされたもので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現して、超高精細映像信号の符号化のために最適性を高めた画像復号装置およびその方法を提供することを目的とする。

この発明に係る画像復号装置は、動画像信号の各フレームをブロックに分割して、ブロックに対し動き予測を行い予測符号化したビットストリームを入力として、動画像信号を復号する画像復号装置であって、ビットストリームを復号するためにブロックの周囲のブロックにスキップモードがあるか否かで生起確率を切替える算術復号部と、ビットストリームから、ブロックのサイズを定める情報と、ブロックサイズに関する閾値を示す情報と、ブロックに対応する第一の動き予測単位ブロックのための第一の動き予測モードとを復号するとともに、第一の動き予測モードがスキップモードではなくかつ第一の動き予測単位ブロックが閾値よりも大きい場合、第一の動き予測単位ブロックを階層的に分割して得られた第二の動き予測単位ブロックのための第二の動き予測モードとを復号する復号部と、第一の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて第一の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、第二の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて第二の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、第二の動き予測モードがスキップモードではない場合、復号部で復号される第二の動き予測単位ブロックのための動きベクトルと第二の動き予測モードとに基づいて予測画像を生成する予測部とを備えるようにしたものである。

この発明に係る画像復号方法は、動画像信号の各フレームをブロックに分割して、ブロックに対し動き予測を行い予測符号化したビットストリームを入力として、動画像信号を復号する画像復号方法であって、ビットストリームを復号するためにブロックの周囲のブロックにスキップモードがあるか否かで生起確率を切替える算術復号ステップと、ビットストリームから、ブロックのサイズを定める情報と、ブロックサイズに関する閾値を示す情報と、ブロックに対応する第一の動き予測単位ブロックのための第一の動き予測モードとを復号するとともに、第一の動き予測モードがスキップモードではなくかつ第一の動き予測単位ブロックが閾値よりも大きい場合、第一の動き予測単位ブロックを階層的に分割して得られた第二の動き予測単位ブロックのための第二の動き予測モードとを復号する復号ステップと、第一の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて第一の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、第二の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて第二の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、第二の動き予測モードがスキップモードではない場合、復号ステップで復号される第二の動き予測単位ブロックのための動きベクトルと第二の動き予測モードとに基づいて予測画像を生成する予測ステップとを備えるようにしたものである。

この発明によれば、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、スキップモードの階層表現を可能とし、符号化対象基準ブロックの内部状態に応じて適応的に動き予測モードや動きベクトルの情報を符号化することができ、高い圧縮率となる低ビットレート符号化において動きベクトルの符号量を効果的に抑制して符号化する画像符号化装置に対応した画像復号装置および画像復号方法を提供することができる。

この発明の実施の形態１に係る画像符号化装置および画像復号装置が処理対象とする４：４：４フォーマットを示す。 実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２に示すブロック分割部が生成する基準ブロックを示す説明図である。 図２に示す予測部による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。 図２に示す予測部の動作を示すフローチャートである。 予測部によるコストＪの計算方法を説明するための図である。 予測部による動き予測モードｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を示す図である。 スキップモードを説明するための図である。 可変長符号化部のエントロピー符号化方法を説明するための図である。 図２に示す可変長符号化部の内部構成を示すブロック図である。 図２に示す可変長符号化部の動作を示すフローチャートである。 コンテクストモデル（ｃｔｘ）の概念を示す説明図である。 動きベクトルに関するコンテクストモデル（ｃｔｘ）の例を示す説明図である。 動き予測モードの相関の違いを説明する図であり、基本ブロックＢ_a，Ｂ_bで選ばれる動き予測モードの２つの状態を図１４（ａ），（ｂ）に示す。 図１０に示す二値化部の動き予測モードの二値化結果を示す図である。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ０のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ１のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ２のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ４のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ５のコンテクストモデル選択方法を示す。 ビットストリームのデータ配列を示す説明図である。 実施の形態１に係る画像復号装置の構成を示すブロック図である。 図１８に示す可変長復号部の内部構成を示すブロック図である。 図１８に示す可変長復号部の動作を示すフローチャートである。 非特許文献１による符号化装置の構成を示すブロック図である。 非特許文献１による符号化装置において、マクロブロックごとに動き補償予測を行う際の動きベクトル割り当て領域の分割形状の様子を示す。

実施の形態１．
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置および画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置および画像復号装置について述べる。

ここで、図１に、実施の形態１に係る画像符号化装置および画像復号装置が入力として用いる４：４：４フォーマットを示す。４：４：４フォーマットとは、図１（ａ）に示すように、カラー動画像を構成する３つの信号成分Ｃ０，Ｃ１，Ｃ２の画素数がすべて同じであるフォーマットのことを指す。３つの信号成分の色空間は、ＲＧＢまたはＸＹＺであってもよいし、輝度・色差（ＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒ）であってもよい。４：４：４フォーマットに対して、図１（ｂ）に示す４：２：０フォーマットは、色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、輝度Ｙの画素数に対して色差信号成分（例えばＹＣｂＣｒならＣｂ，Ｃｒ）のそれが水平Ｗ・垂直Ｈそれぞれ２分の１となるフォーマットのことを呼ぶ。

以下に説明する画像符号化装置および画像復号装置は、特に、４：４：４フォーマットの色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、４：２：０フォーマットの映像信号を対象とする画像符号化装置および画像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。

１．画像符号化装置
図２は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。図２に示す画像符号化装置は、４：４：４フォーマットの入力映像フレームを所定サイズのブロック、即ちＭ_max×Ｍ_max画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。

まず、符号化対象となる入力映像信号１は、ブロック分割部２において基準ブロックの単位に分割されて符号化信号３として予測部４へ入力される。図３に、ブロック分割部２が生成する基準ブロックを示す。図３に示すように、基準ブロックは、Ｍ_max×Ｍ_max画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズＭ_maxはフレーム若しくはシーケンス、またはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）等の上位レイヤデータレベルで決定・符号化する。なお、フレーム内で基準ブロックサイズＭ_maxを変更するように構成してもよいが、その場合は、スライス等の複数マクロブロックをまとめた単位で基準ブロックサイズＭ_maxを指定するようにする。

基準ブロックデータは、さらにＬ_i×Ｍ_i画素ブロック（ｉ：色成分識別子）の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図３（ａ）における動き予測単位ブロックのパターンはＬ₀＝Ｍ_max／２、Ｍ₀＝Ｍ_max／２、図３（ｂ）における動き予測単位ブロックのパターンはＬ₀＝Ｍ_max／２、Ｍ₀＝Ｍ_maxであり、図３（ａ），（ｂ）ともにＬ₁＝Ｍ₁＝Ｌ₂＝Ｍ₂＝Ｍ_maxである。なお、以下の説明においては、４：４：４フォーマットの各色成分の基準ブロックについては、３つの色成分Ｃ０，Ｃ１，Ｃ２で同一とし、基準ブロックサイズＭ_maxを変更する場合は、３つの色成分全てについて、同一サイズに変更するものとする。また、動き予測単位ブロックのサイズＬ_i,Ｍ_iそれぞれについては、色成分Ｃ０，Ｃ１，Ｃ２ごとに選択可能として、シーケンス、ＧＯＰ、フレーム、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズＭ_maxは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズＬ_i，Ｍ_iを柔軟に決定することができ、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。

予測部４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号（動き予測誤差信号）５を得る。予測部４の動作は、本実施の形態１の画像符号化装置の特徴であるため詳しく後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ７を得る。このとき、圧縮部６では予測誤差信号５に対してＤＣＴ等の直交変換・量子化を行い、予測誤差圧縮データ７を可変長符号化部（符号化部）８および局所復号部１０へ出力する。

可変長符号化部８は、予測誤差圧縮データ７をエントロピー符号化してビットストリーム９として出力する。局所復号部１０は、予測誤差圧縮データ７から復号予測誤差信号１１を得る。この復号予測誤差信号１１が、予測誤差信号５の生成に用いた予測信号（予測画像）１２と加算部で加算されて復号信号１３となり、ループフィルタ１４へ入力される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ１７は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１７の内容については、予測部４の説明とともに以降で詳述する。また、可変長符号化部８における予測信号生成用パラメータ１７の符号化方法についても、本実施の形態１における特徴のひとつであるため、後で詳しく述べる。

ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、予測信号生成用パラメータ１７および量子化パラメータ１９を用いてブロックひずみ除去フィルタを施す。復号信号１３は、ループフィルタ１４で符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１６に格納される。

非特許文献１，２等の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態１の画像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態１の画像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。

以下、本実施の形態１の特徴のひとつである予測部４の詳細な動作について説明する。本実施の形態１の予測部４の特徴は以下の３点である。
（１）基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化
（２）各色成分の性質に応じた動き予測モード、動きベクトルの決定
（３）基準ブロック・動き予測単位ブロックのサイズに基づく適応的なスキップモード選択

上記（１）については、予測部４が、まず基準ブロックを、各色成分の信号の性質に合わせてＬ_i×Ｍ_i画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをｌ_i×ｍ_i画素の組み合わせからなる複数の形状に分割する。そして、予測部４は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号５を得る。動き予測単位ブロック内の分割形状は、ｌ_i×ｍ_i画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態１の画像符号化装置においては、Ｍ_iとｍ_i、Ｌ_iとｌ_iとの間に「ｍ_i＝Ｍ_i／２」、「ｌ_i＝Ｌ_i／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図４に示す。図４は、予測部４による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態１の画像符号化装置では、図４に示す分割形状のパターン（分割パターン）ｍｃ＿ｍｏｄｅ０〜７は３つの色成分に対して共通であるものとする。ただし、分割パターンｍｃ＿ｍｏｄｅ０〜７を３つの色成分に対して独立に定めるように構成してもよい。なお、この分割パターンｍｃ＿ｍｏｄｅ０〜７のことを以下では「動き予測モード」と呼ぶこととする。

非特許文献１，２の映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図４のような矩形以外の対角分割を用いることができない。これに対して本実施の形態１では図４のような動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。
また、「S.Kondo and H.Sasai, "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005」では、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法が開示されている。この文献では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する。しかしながら、この方法は画素数Ｍを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。

問題１：
基準ブロックの分割パターンを記述するための符号量が増加する。Ｍ_max ｍｏｄ ｍ_i＝０なる任意のｍ_iを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。

問題２：
分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、画像符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって画像符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。

これに対して、本実施の形態１の画像符号化装置における図４のアプローチは、まず、１）Ｍ_maxの値を符号化の条件や映像信号の解像度や性質に基づいてフレーム等の上位レベルで変更可能とすること、２）Ｍ_max×Ｍ_maxの画素ブロックを色成分Ｃ_iごとの特性に合わせて基本ブロックＬ_i×Ｍ_i画素へ分割可能とすること、３）基本ブロックの分割条件を「ｍ_i＝Ｍ_i／２」、「ｌ_i＝Ｌ_i／２」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保すること、の３つの工夫により、上記問題を解決する。基本ブロックのサイズＭ_maxの値はフレームやスライス内で局所的に変更せず、フレームレベルまたはフレーム列（シーケンス、ＧＯＰ）等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ，ＶＧＡ等）の映像と大きな解像度（ＨＤＴＶ等）の映像では、同じＭ_max×Ｍ_max画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像では、小さい解像度のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。

そこで、基準ブロックサイズＭ_maxの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズＭ_maxの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図３のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図４のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズＭ_maxの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。

基準ブロックサイズＭ_maxの値を決定する方法には、例えば以下のような方法がある。
（１） 符号化対象映像の解像度に基づいて決定する。同一Ｍ_max値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭ_max値を大きくして画像信号パターンを捕捉できるようにする
（２） フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭ_max値で、小さい場合は大きなＭ_max値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭ_max値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる
（３） （１）と（２）の方法を重み付けで組み合わせて判断する

基準ブロックサイズＭ_maxの値が決まった後、色成分ごとに動き予測単位ブロックのサイズＬ_i，Ｍ_iの決定を行う。例えば入力映像信号１がＹＵＶ（またはＹＣｂＣｒ等）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてＵ／Ｖ成分のサイズＬ_i，Ｍ_iについては輝度信号Ｙ成分のサイズＬ_i，Ｍ_iよりも大きな値をとるように構成する、といった判断基準の例が考えられる（図３参照）。

これら判断を行った結果として得られる各ブロックサイズＭ_max,Ｌ_i,Ｍ_iの値は、基準ブロックサイズ情報１８としてブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図３のように、Ｍ_maxに対してＬ_i,Ｍ_iを簡易な演算で導出可能な値に設定しておけば、Ｌ_i，Ｍ_iを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報１８に要する符号量を抑制できる。
なお、図２では特に図示していないが、画像符号化装置は、Ｍ_max,Ｌ_i,Ｍ_iの値を決定して各部へ通知するための基準ブロックサイズ決定部を備えて、基準ブロックサイズ情報１８を決定する構成であってもよい。

予測部４は、基準ブロックサイズ情報１８から導出される動き予測単位ブロックサイズＬ_i,Ｍ_iに基づいて、図３、図４の分割パターンを用いる動き検出処理を実行する。図５は、予測部４の動作を示すフローチャートである。予測部４は、当該フレームのＣ_i成分をＬ_i×Ｍ_i画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図４のｍｃ＿ｍｏｄｅ０〜７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてｍｃ＿ｍｏｄｅ０〜７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。

予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１６内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから導出する下記コストＪで定義される。予測部４は、このコストＪが最小となる動き予測モードと動きベクトルとを出力するように構成する。
Ｊ＝Ｄ＋λＲ （λ：定数） （１）

そこで、予測部４はまず、各動き予測モードｍｃ＿ｍｏｄｅ_kに対して、コストＪ_kの計算を行う（ステップＳＴ１）。図６に、ｍｃ＿ｍｏｄｅ５のケースを例にとってコストＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ₀，Ｂ₁からなる。また、メモリ１６内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）が格納されていて、分割領域Ｂ_0,Ｂ₁はこれら２枚の参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）を使って動き予測できるものとする。図６では分割領域Ｂ₀は参照画像Ｆ’（ｔ−２）を用いて動きベクトルＭＶ_t-2（Ｂ₀）を検出し、分割領域Ｂ₁は参照画像Ｆ’（ｔ−１）を用いて動きベクトルＭＶ_t-1（Ｂ₁）を検出している。Ｂを分割領域、Ｓ_n（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いて、下式（２）として計算できる。

予測誤差量Ｄは、上式（２）計算の結果、得られる分割領域Ｂ_0,Ｂ₁に対応する予測誤差量Ｄ₀，Ｄ₁からＤ＝Ｄ₀＋Ｄ₁として求める。

一方、総符号量Ｒは、予測ベクトルＰＭＶ（Ｂ₀），ＰＭＶ（Ｂ₁）を用いて、下式（３）から動きベクトル予測差分値ＭＶＤ（Ｂ₀），ＭＶＤ（Ｂ₁）を得て、これらの値を符号量換算して符号量Ｒ₀，Ｒ₁を得て、総符号量Ｒ＝Ｒ₀＋Ｒ₁として求める。
ＭＶＤ（Ｂ₀）＝ＭＶ_t-2（Ｂ₀）−ＰＭＶ（Ｂ₀） （３）
ＭＶＤ（Ｂ₁）＝ＭＶ_t-1（Ｂ₁）−ＰＭＶ（Ｂ₁）

以上により、コストＪが求まる。予測部４は、探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を図７に示す。図７において、矢印は予測ベクトル導出に利用する周辺の動きベクトルＭＶを意味し、○で囲まれた３本の動きベクトルＭＶのメディアン（中央値）が、それが指し示す分割領域の予測ベクトルＰＭＶとなる。
なお、Ｌ_i×Ｍ_i画素ブロックに対して、ｋ＝７即ちｍｃ＿ｍｏｄｅ７を選択した場合、さらにｌ_i×ｍ_i画素ブロックに対して、ｍｃ＿ｍｏｄｅ０〜７のモードに相当する動き予測モードを選択するように構成する。このときのモードの名称は便宜上、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０〜７とする。ｌ_i×ｍ_i画素ブロックに対してｓｕｂ＿ｍｃ＿ｍｏｄｅを決定する処理は図５の処理フローに準ずるものとし、Ｌ_i×Ｍ_i画素ブロック単位に対応するｍｃ＿ｍｏｄｅ７のコストＪ₇は、ｌ_i×ｍ_i画素ブロックの単位で定まるｓｕｂ＿ｍｃ＿ｍｏｄｅを用いて得られる総コストとする。

続いて、予測部４は、このようにして求まるｍｃ＿ｍｏｄｅ_kでのコストＪ_kが、それまでに検証したｍｃ＿ｍｏｄｅ_kでのコストよりも小さいかどうかを検証し（ステップＳＴ２）、小さい場合は（ステップＳＴ２“Ｙｅｓ”）、ｍｃ＿ｍｏｄｅ_kをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトルおよび予測誤差信号を保持しておく（ステップＳＴ３）。予測部４は、すべての動き予測モードを検証し終えると（ステップＳＴ４“Ｙｅｓ”）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号５を最終解として出力する（ステップＳＴ５）。さもなければ（ステップＳＴ２“Ｎｏ”またはステップＳＴ４“Ｎｏ”）、ステップＳＴ６で変数ｋをインクリメントして、ステップＳＴ１に戻って次の動き予測モードを検証する。

なお、ｍｃ＿ｍｏｄｅ０，ｓｕｂ＿ｍｃ＿ｍｏｄｅ０に相当する動き予測モードでは、その動きベクトルが予測ベクトルと一致（符号化すべき予測差分値がゼロ）、かつ予測誤差信号の変換・量子化後の係数がすべてゼロとなるケースを、それぞれ特別なスキップモードと定義する。以下では、ｍｃ＿ｍｏｄｅ０に対応するスキップモードはｍｃ＿ｓｋｉｐモード（第一のスキップモード）、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０に対応するスキップモードはｓｕｂ＿ｍｃ＿ｓｋｉｐモード（第二のスキップモード）、と呼ぶこととする。図８は、スキップモードを説明するための図であり、図８（ａ）ではひとつの実線で囲まれた矩形が動き予測単位ブロックを示し、その動きベクトルがＭＶであることを示す。このとき、例えば周辺の動き予測単位ブロックの動きベクトルを用いて図８のように予測ベクトルＰＭＶを求める。動きベクトルの符号化は予測ベクトルとの予測差分値を符号化するので、予測差分値がゼロとなるケース（ＭＶ＝＝ＰＭＶ）で、かつ予測誤差信号５に符号化すべき非ゼロ係数がなければ、この動き予測単位ブロックをｍｃ＿ｓｋｉｐモードとみなす。また、図８（ｂ）は、図８（ａ）に網がけで示す基本ブロックを中心に拡大表示したものであり、太線枠が動き予測単位ブロック領域を示す。このケースでは対象の基本ブロックのｓｕｂ＿ｍｃ＿ｍｏｄｅはｓｕｂ＿ｍｃ＿ｍｏｄｅ０に対応する。このときの動きベクトルをＭＶｓ、また予測ベクトルをＰＭＶｓとしたとき、ｍｃ＿ｓｋｉｐの判断と同様に、予測差分値がゼロとなるケース（ＭＶｓ＝＝ＰＭＶｓ）で、かつ予測誤差信号５に符号化すべき非ゼロ係数がなければ、この基本ブロックに適用する動き予測モードをｓｕｂ＿ｍｃ＿ｓｋｉｐモードとみなす。

非特許文献１，２等の従来の符号化方式では、一般に、ｍｃ＿ｍｏｄｅ０、即ち一番大きい動き予測単位ブロック（非特許文献１，２では、本実施の形態１における基準ブロックと動き予測単位ブロックは同サイズであり、かつマクロブロックに該当）にのみ対応するスキップモードを設けて、スキップモードの場合はマクロブロックの情報を一切符号化しないように設計されている。本実施の形態１では、これをさらにｓｕｂ＿ｍｃ＿ｍｏｄｅの階層においても定義する点が特徴である。非特許文献１，２等の従来の符号化方式では、扱っていた映像信号がＨＤＴＶ程度まで、と比較的サンプリングレートの低い映像信号であったことから、マクロブロックの大きさよりも小さい動き予測単位ブロックは、動きが複雑になることだけを意味し、スキップモードを考慮しても効率的な符号化が困難であった。一方、ＨＤＴＶを超える超高精細映像や４：４：４フォーマットなどのサンプリングレートの高い映像信号では、Ｌ_i×Ｍ_i画素ブロックからなる動き予測単位ブロックの大きさでのみスキップモードを設けるだけでは、それよりも小さい基本ブロック（またはその組み合わせによって定まる動きベクトル割り当て領域）を選ぶとき、スキップの条件を有効に活用することができず、常にゼロ値の動きベクトルやゼロ係数値を明示的に符号化することになり、符号化効率が悪い。したがって、本実施の形態１では、ｍｃ＿ｍｏｄｅ割り当ての単位であるＬ_i×Ｍ_i画素ブロックからなる動き予測単位ブロックの単位だけでなく、ｓｕｂ＿ｍｃ＿ｍｏｄｅ割り当ての単位であるｌ_i×ｍ_i画素ブロックからなる基本ブロックが一定の大きさ以上（ｌ_i＞ｌ_t，ｍ_i＞ｍ_t）の場合、基本ブロックごとにｓｕｂ＿ｍｃ＿ｓｋｉｐモードを選択・利用できるように構成する。閾値ｌ_t，ｍ_tは、Ｍ_i，Ｌ_iの値から一意に定めてもよいし（例えば、ｌ_t＝Ｌ_i／２，ｍ_t＝Ｍ_i／２等）、フレームやシーケンスのレベルでビットストリームに多重化して伝送するように構成してもよい。

以上述べた予測部４における処理によって、予測誤差信号５と、予測信号生成用パラメータ１７（動き予測モードおよび動きベクトル）が出力され、これらは可変長符号化部８にてエントロピー符号化される。以下では、本実施の形態１の画像符号化装置の特徴のひとつである、予測信号生成用パラメータ１７のエントロピー符号化方法について述べる。

以下で説明する予測信号生成用パラメータ１７の符号化においては、説明の対象を、動き予測モード、動きベクトルの２種類のパラメータとする。図９は、可変長符号化部８のエントロピー符号化方法を説明するための図である。本実施の形態１の画像符号化装置では、図９に示すように、被予測・符号化対象の基本ブロックＢ_xの動き予測モードｍ（Ｂ_x）を符号化するにあたり、同一フレームＦ（ｔ）の左の基本ブロックＢ_aの予測モードｍ（Ｂ_a）、上の基本ブロックＢ_bの予測モードｍ（Ｂ_b）、直前の隣接フレームＦ’（ｔ−１）において基本ブロックＢ_xと同一位置の基本ブロックＢ_cの動き予測モードｍ（Ｂ_c）の状態を選択的に参照してエントロピー符号化を行う。

図１０は可変長符号化部８の内部構成を、図１１はその動作フローを示す。本実施の形態１における可変長符号化部８は、符号化対象データである動き予測モードや動きベクトルなどの個々のデータタイプに対して定義されるコンテクストモデル（後述）を定めるコンテクストモデル決定部２１、各符号化対象データタイプについて定められる二値化規則にしたがって多値データを二値データに変換する二値化部２２、二値化後の個々のｂｉｎの値（０／１）の生起確率を与える生起確率生成部２３、生成された生起確率に基づいて算術符号化を実行する符号化部２４、生起確率情報を記憶する生起確率情報記憶メモリ２５から構成される。コンテクストモデル決定部２１への入力は、ここでは予測画像生成用パラメータ１７のうち、動き予測モードと、動きベクトルとに限定して説明する。

（Ａ）コンテクストモデル決定処理（図１１におけるステップＳＴ１１）
コンテクストモデルとは、情報源シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を切り替えることで、シンボルの実際の生起確率により適応した符号化を行うことが可能となる。図１２にコンテクストモデルｃｔｘの概念を示す。なお、同図では情報源シンボルは二値としているが、多値でも構わない。ただし、本実施の形態１では、二値算術符号化のみを扱う。

図１２の０〜２というコンテクストモデルｃｔｘの選択肢は、このコンテクストモデルｃｔｘを用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想定して定義されている。本実施の形態１における画像符号化装置で言えば、ある基準ブロックにおける符号化データとその周辺の基準ブロックの符号化データとの間の依存関係に応じてコンテクストモデルｃｔｘの値が切り替えられる。

例えば、図１３に、「D. Marpe et. al., "Video Compression Using Context-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001」に開示された動きベクトルに関するコンテクストモデルの例を示す。図１３において、ブロックＣの動きベクトルが符号化対象である（正確には、ブロックＣの動きベクトルを近傍から予測した予測差分値ｍｖｄ_k（Ｃ）が符号化される）。また、ｃｔｘ＿ｍｖｄ（Ｃ，ｋ）がブロックＣの動きベクトルに対するコンテクストモデルを示す。ｍｖｄ_k（Ａ）はブロックＡにおける動きベクトル予測差分値、ｍｖｄ_k（Ｂ）はブロックＢにおける動きベクトル予測差分値をそれぞれ示し、これらの値がコンテクストモデルの切り替え評価値ｅ_k（Ｃ）の定義に用いられる。評価値ｅ_k（Ｃ）は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこのばらつきが小さい場合には動きベクトル予測差分値ｍｖｄ_k（Ｃ）は小さく、逆に評価値ｅ_k（Ｃ）が大きい場合は動きベクトル予測差分値ｍｖｄ_k（Ｃ）も大きくなる傾向がある。したがって、動きベクトル予測差分値ｍｖｄ_k（Ｃ）のシンボル生起確率は、評価値ｅ_k（Ｃ）に基づいて適応化されることが望ましい。この生起確率のバリエーションセットがコンテクストモデルであり、このケースでは３種類の生起確率バリエーションがある、といえる。

このように、符号化対象データそれぞれについてあらかじめコンテクストモデルが定義され、画像符号化装置と画像復号装置で共有される。コンテクストモデル決定部２１では、このような符号化対象データの種別に基づいてあらかじめ定められたモデルを選択する処理を行う。なお、コンテクストモデルの中のどの生起確率バリエーションを選択するかは下記（Ｃ）の生起確率生成処理に該当する。

図１０において、可変長符号化部８は動き予測モード、動きベクトルに割り当てるコンテクストモデル２６の候補を複数用意しておき、コンテクストモデル選択情報２７によって、使用するコンテクストモデル２６を切り替えることを特徴とする。図９に示すように、被予測・符号化対象の基本ブロックＢ_xの動き予測モードｍ（Ｂ_x）は、フレーム間で動きの状態についての相関が低ければ、同一フレーム内で空間的に隣接する画像領域の状態との相関が高い（即ち、動き予測モードｍ（Ｂ_x）の値は、動き予測モードｍ（Ｂ_a），ｍ（Ｂ_b）の分割形状に強く影響される）と考えられるので、同一フレームの左の基本ブロックＢ_aの動き予測モードｍ（Ｂ_a）、上の基本ブロックＢ_bの動き予測モードｍ（Ｂ_b）をコンテクストモデル２６の決定に利用する。この考え方の根拠となる例を図１４に示す。図１４は、動き予測モードｍ（Ｂ_x）＝ｍｃ＿ｍｏｄｅ３の場合について、基本ブロックＢ_a，Ｂ_bで選ばれる動き予測モードの２つの状態を比較して示したものである。図１４（ａ）においては、動き予測モードｍ（Ｂ_x）の分割形状に対して、基本ブロックＢ_a，Ｂ_bともに分割の切れ目が自然につながっている。一方、図１４（ｂ）では基本ブロックＢ_a，Ｂ_bともに分割の切れ目がつながっていない。一般にこの分割形状は基準ブロック内に存在する複数の異なる動き領域の存在を示すものであるので、映像の構造を反映しやすい。したがって、図１４（ａ）に示す状態の方が、図１４（ｂ）に示す状態よりも「起こりやすい状態」であると考えられる。つまり、動き予測モードｍ（Ｂ_a），ｍ（Ｂ_b）の状態に応じて、動き予測モードｍ（Ｂ_x）の生起確率が影響を受けることになる。

同様に、フレーム間で動きの状態についての相関が高ければ、時間的に隣接する画像領域の状態との相関が高い（即ち動き予測モード、ｍ（Ｂ_x）は、動き予測モードｍ（Ｂ_c）の分割形状に対応してとりうる値の確率が変化する）と考えられるので、可変長符号化部８は、直前の隣接フレームにおいて基本ブロックＢ_xと同一位置にある基本ブロックＢ_cの動き予測モードｍ（Ｂ_c）をコンテクストモデル２６の決定に利用する。

可変長符号化部８は、動きベクトルのコンテクストモデル２６の決定に際しても同様に、フレーム間で動きの状態についての相関が低ければ、同一フレームの左のブロックＢ_aの動きベクトル、上のブロックＢ_bの動きベクトルをコンテクストモデル２６の決定に利用する。一方、フレーム間で動きの状態についての相関が高ければ、可変長符号化部８は、直前の隣接フレームにおいてブロックＢ_xと同一位置にあるブロックＢ_cの動きベクトルをコンテクストモデル２６の決定に利用する。動き予測モードと同様、動きベクトルについても色成分間の相関をコンテクストモデル２６の決定に利用してもよい。

フレーム間で動きの状態についての相関の高低は、画像符号化装置において所定の方法によって検出して、コンテクストモデル選択情報２７の値を明示的にビットストリーム９に多重して画像復号装置に伝達してもよいし、画像符号化装置と画像復号装置の両者で検知可能な情報に基づいてコンテクストモデル選択情報２７の値をそれぞれ決定するように構成してもよい。映像信号は非定常であるため、このような適応制御が可能になることにより、算術符号化の効率を高めることができる。

（Ｂ）二値化処理（図１１におけるステップＳＴ１２）
コンテクストモデルは、符号化対象データを二値化部２２にて二値系列化し、二値系列の各ｂｉｎ（バイナリ位置）に応じて定める。二値化の規則は、各符号化データの取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値化は、本来多値を取りうる符号化対象データをそのまま算術符号化するよりもｂｉｎ単位で符号化することにより確率数直線分割数を削減でき演算を簡略化できる、コンテクストモデルのスリム化が可能になるなどのメリットがある。

たとえば、Ｌ_i＝Ｍ_i＝３２，ｌ_i＝ｍ_i＝１６として符号化するとき、二値化部２２は、動き予測モードの二値化を図１５（ａ），（ｂ）のように行う。
各ｂｉｎ０，１，２，４，５には、図１６Ａ〜図１６Ｅに示すコンテクストモデルを適用する。Ｂｉｎ０は、図１６Ａに示すように、符号化対象データ（ブロックＣ）に対して上（ブロックＡ）・左（ブロックＢ）の位置の動き予測単位ブロックの状態が「スキップモードか否か」を生起確率の切り替え基準とする。Ｂｉｎ１は、図１６Ｂに示すように、上（ブロックＡ）・左（ブロックＢ）の位置の動き予測単位ブロックの状態が「動き予測ブロック分割があるか否か」を生起確率の切り替え基準とする。Ｂｉｎ２は、図１６Ｃに示すように、上（ブロックＡ）・左（ブロックＢ）の位置のブロックの状態が「複雑な動き予測モードか否か」を生起確率の切り替え基準とする。Ｂｉｎ３はコンテクストモデルを定義せず、所定の生起確率に固定化する。Ｂｉｎ４は、図１６Ｄに示すように、左（ブロックＢ）の位置のブロックの状態が「動き予測形状分割が水平分割であるか否か」を生起確率の切り替え基準とする。Ｂｉｎ５は、図１６Ｅに示すように、上（ブロックＡ）の位置のブロックの状態が「動き予測形状分割が垂直分割であるか否か」を生起確率の切り替え基準とする。このように、動き予測領域の形状に基づいてコンテクストモデル２６を定めることにより、局所的な映像信号の性質に適応化して動き予測モード情報に関する生起確率の選択が可能となり、算術符号化の符号化効率を高めることができる。なお、ｌ_i＝ｍ_i＝１６においてｓｕｂ＿ｍｃ＿ｓｋｉｐを使用しない選択を行う場合（閾値ｌ_t＞＝１６，ｍ_t＞＝１６）は、図１５（ｂ）のＢｉｎ０を符号化しないように構成する。

（Ｃ）生起確率生成処理（図１１におけるステップＳＴ１３）
上記（Ａ），（Ｂ）のプロセス（ステップＳＴ１１，ＳＴ１２）で、多値の符号化対象データの二値化と、各ｂｉｎに適用するコンテクストモデルの設定が完了し、符号化準備が整う。次いで生起確率生成部２３にて算術符号化に用いる生起確率情報の生成処理が行われる。各コンテクストモデルには、０／１の各値に対する生起確率のバリエーションが含まれているので、ステップＳＴ１１で決定されたコンテクストモデル２６を参照して処理を行う。生起確率生成部２３は、図１３に示す評価値ｅ_k（Ｃ）のような生起確率選択のための評価値を定め、これに従って、参照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符号化に用いるかを決定する。
さらに、本実施の形態１における可変長符号化部８は、生起確率情報記憶メモリ２５を備え、符号化の過程で順次更新される生起確率情報２８を、使用されるコンテクストモデルのバリエーション分だけ記憶する機構を備える。生起確率生成部２３は、コンテクストモデル２６の値に応じて、現在の符号化に用いる生起確率情報２８を決定する。

（Ｄ）符号化処理（図１１におけるステップＳＴ１４）
上記（Ｃ）のプロセス（ステップＳＴ１３）で、算術符号化プロセスに必要な確率数直線上の０／１各値の生起確率が得られるため、従来例にあげたプロセスに従って符号化部２４において算術符号化を行う（ステップＳＴ１４）。
また、実際の符号化値（０／１）２９は、生起確率生成部２３へフィードバックされ、使用した生起確率情報２８の更新のため、０／１発生頻度のカウントが行われる（ステップＳＴ１５）。例えば、ある特定の生起確率情報２８を用いて１００個のｂｉｎの符号化処理が行われた時点で、当該生起確率バリエーションにおける０／１の生起確率が０．２５／０．７５であったとする。ここで、同じ生起確率バリエーションを用いて「１」が符号化されると、「１」の出現頻度が更新され、０／１の生起確率は０．２４７／０．７５２に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号化を行うことが可能となる。

すべてのｂｉｎの符号化処理が終了すると、符号化部２４が生成した算術符号化結果３０が可変長符号化部８からの出力となり、ビットストリーム９として画像符号化装置から出力される（ステップＳＴ１６）。

２．符号化ビットストリームの構成
入力映像信号１は、上記処理に基づいて図２の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として画像符号化装置から出力される。
図１７に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、基準ブロックサイズ情報１８が格納される。基準ブロックサイズＭ_maxが、ピクチャレベルより上位のシーケンス単位で固定化されるのであれば、基準ブロックサイズ情報１８をシーケンスレベルヘッダに多重するように構成してもよい。

各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図１７の例では、第２スライスにＫ個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードｍｃ＿ｍｏｄｅと動きベクトル（予測信号生成用パラメータ１７に相当する）、予測誤差圧縮データ７の生成に用いた量子化パラメータ１９などが配列される。

動き予測モードｍｃ＿ｍｏｄｅとして、まずｍｃ＿ｓｋｉｐまたはｍｃ＿ｍｏｄｅ０〜７の種別が符号化され、ｍｃ＿ｓｋｉｐであれば、以下すべてのマクロブロック符号化情報は伝送しないようにする。ｍｃ＿ｍｏｄｅ０〜６であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。ｍｃ＿ｍｏｄｅ７であれば、基準ブロックサイズ情報１８に基づいて、ｓｕｂ＿ｍｃ＿ｍｏｄｅの符号にｓｕｂ＿ｍｃ＿ｓｋｉｐを含むか否かが決定される。ここでは、基準ブロックサイズＭ_i,Ｌ_iより、ｓｕｂ＿ｍｃ＿ｓｋｉｐ符号の有無の閾値をｌ_t＝Ｌ_i／２，ｍ_t＝Ｍ_i／2と定めることとする。その上で「ｌ_i＞ｌ_t，ｍ_i＞ｍ_t」の条件が満足されれば、図１５（ｂ）の二値化規則に基づいて、ｓｕｂ＿ｍｃ＿ｓｋｉｐの分を含めたｓｕｂ＿ｍｃ＿ｍｏｄｅの符号化が行われる。「ｌ_i＞ｌ_t，ｍ_i＞ｍ_t」が満たされなければ、図１５（ｂ）の二値化規則からＢｉｎ０の符号化のみが除外される。また、動き予測モードおよび動きベクトルの算術符号化におけるコンテクストモデル選択指針を示すコンテクストモデル選択情報２７が基準ブロックヘッダに含まれる。

なお、図示していないが、各基準ブロック内で用いる動き予測単位ブロックのサイズＬ_i，Ｍ_iを各基準ブロックごとに選択できるように基準ブロックサイズ決定部を構成しておき、基準ブロック内で用いる動き予測単位ブロックのサイズＬ_i，Ｍ_iをシーケンス、またはピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックのサイズＬ_i，Ｍ_iを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックのサイズを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルのヘッダに固定的に多重するかを示す情報は、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルヘッダ中に識別情報として多重するように構成しておけばよい。これにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックのサイズＬ_i，Ｍ_iを符号化するオーバヘッドを削減して効率的な符号化を行うことが可能である。

３．画像復号装置
図１８は、本実施の形態１における画像復号装置の構成を示すブロック図である。可変長復号部（復号部）１００は、図１７に示すビットストリーム９を入力とし、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズの情報を復号する。これにより当該ピクチャで用いる基準ブロックのサイズＭ_maxと動き予測単位ブロックのサイズＬ_i，Ｍ_iを認識し、この基準ブロックサイズ情報１８を予測誤差復号部１０１および予測部１０２へ通知する。なお、動き予測単位ブロックのサイズＬ_i，Ｍ_iを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合には、可変長復号部１００は、動き予測単位ブロックのサイズＬ_i，Ｍ_iが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、各基準ブロックヘッダを復号することによって動き予測単位ブロックのサイズＬ_i，Ｍ_iを認識するように構成する。

基準ブロックデータの復号はまず、基準ブロックヘッダの復号から行う。可変長復号部１００は、この過程で、コンテクストモデル選択情報２７を復号する。続いて、復号したコンテクストモデル選択情報２７に基づいて、色成分ごとに動き予測単位ブロックあたりに適用する動き予測モードの復号を行う。動き予測モードは、まず動き予測単位ブロックの単位でｍｃ＿ｍｏｄｅの復号を行い、ｍｃ＿ｓｋｉｐの場合は、図８の条件に基づき、周辺の動きベクトルから予測ベクトルを求めてそれをカレント動きベクトルに割り当てる。また、ｍｃ＿ｍｏｄｅ７である場合は、図８の条件に基づき、基本ブロックごとにｓｕｂ＿ｍｃ＿ｍｏｄｅの復号を行う。この際、基準ブロックサイズ情報１８から画像符号化装置側と同じ判断基準でｓｕｂ＿ｍｃ＿ｓｋｉｐ利用有無の判断を行い、この判断に基づいて、ｓｕｂ＿ｍｃ＿ｍｏｄｅの復号処理を実行する。ｓｕｂ＿ｍｃ＿ｓｋｉｐを利用する場合は、ｓｕｂ＿ｍｃ＿ｍｏｄｅ＝＝ｓｕｂ＿ｍｃ＿ｓｋｉｐならば、当該基本ブロックの符号化データの復号はスキップし、カレント動きベクトルは図８の方法で求める予測ベクトルを割り当てる。その他の場合は、動きベクトル割り当て領域の数分だけ、コンテクストモデル選択情報２７に基づいて動きベクトルの復号を行い、さらに基準ブロックごとに量子化パラメータ１９、予測誤差圧縮データ７などの情報を順次復号する。

予測誤差圧縮データ７、量子化パラメータ１９は予測誤差復号部１０１に入力され、復号予測誤差信号１１に復元される。この予測誤差復号部１０１は、図２の画像符号化装置における局所復号部１０と等価な処理を行う。
予測部１０２は、可変長復号部１００によって復号される予測信号生成用パラメータ１７とメモリ１０３内の参照画像信号１５とから予測信号１２を生成する。なお、予測部１０２は画像符号化装置における予測部４と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図４に示すｍｃ＿ｍｏｄｅ０〜７のいずれかであり、予測部１０２はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測画像１２を生成する。
復号予測誤差信号１１と予測信号１２は加算部により加算され、復号信号１３としてループフィルタ１０４へ入力される。この復号信号１３は、ループフィルタ１０４で符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１０３に格納される。図１８には図示していないが、ループフィルタ１０４は可変長復号部１００によって復号される予測信号生成用パラメータ１７、量子化パラメータ１９に加えて、フィルタ係数情報２０を用いて、画像符号化装置におけるループフィルタ１４と等価な処理により参照画像信号１５の生成を行う。画像符号化装置のループフィルタ１４と画像復号装置のループフィルタ１０４との違いは、前者が原画像信号である符号化信号３を参照してフィルタ係数情報２０を生成するのに対して、後者はビットストリーム９から復号したフィルタ係数情報２０を参照してフィルタ処理を行う点である。

以下、可変長復号部１００による基準ブロックの動き予測モード、動きベクトルの復号処理について述べる。
図１９は可変長復号部１００における算術復号処理に関わる内部構成を、図２０はその動作フローを示す。

本実施の形態１における可変長復号部１００は、動き予測モード、動きベクトルなどを含む予測信号生成用パラメータ１７、予測誤差圧縮データ７、量子化パラメータ１９などの個々の復号対象データのタイプを特定して、それぞれに画像符号化装置と共通定義されるコンテクストモデルを定めるコンテクストモデル決定部２１、復号対象データのタイプに基づいて定まる二値化規則を生成する二値化部２２、二値化規則とコンテクストモデルに従って、個々のｂｉｎ（０／１）の生起確率を与える生起確率生成部２３、生成された生起確率に基づいて算術復号を実行し、その結果得られる二値系列と、上記二値化規則とから、符号化データを復号する復号部１０５、生起確率情報２８を記憶する生起確率情報記憶メモリ２５とから構成される。図１９に示す各部のうち、図１０に示す可変長符号化部８の内部構成要素と同一の番号を付与した各部はそれぞれ同じ動作を行うものとする。

（Ｅ）コンテクストモデル決定処理、二値化処理、生起確率生成処理（図２０のステップＳＴ１１〜ＳＴ１３）
これらのプロセス（ステップＳＴ１１〜ＳＴ１３）は画像符号化装置側のプロセス（Ａ）〜（Ｃ）（図１１のステップＳＴ１１〜ＳＴ１３）に準ずるため、説明は省略する。なお、動き予測モード、動きベクトルの復号に用いるコンテクストモデルの決定には、上記復号したコンテクストモデル選択情報２７を参照する。

（Ｆ）算術復号処理（図２０のステップＳＴ２１，ＳＴ１５，ＳＴ２２）
これから復号しようとするｂｉｎの生起確率が上記（Ｅ）までのプロセスで確定するため、復号部１０５において、所定の算術復号処理プロセスに従って、ｂｉｎの値を復元する（ステップＳＴ２１）。ｂｉｎの復元値４０（図１９）は、生起確率生成部２３へフィードバックされ、使用した生起確率情報２８の更新のため、０／１発生頻度のカウントが行われる（ステップＳＴ１５）。復号部１０５では、各ｂｉｎの復元値が確定するごとに、二値化規則で定められる二値系列パターンとの合致を確認し、合致したパターンが指し示すデータ値を復号データ値１０６として出力する（ステップＳＴ２２）。復号データが確定しない限りは、ステップＳＴ１１へ戻って復号処理を継続する。

なお、上記説明では、コンテクストモデル選択情報２７を多重する単位は基準ブロック単位としたが、スライス単位やピクチャ単位などで多重化してもよい。スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化されるようにすることで、スライス以上の上位レイヤでの切り替えで十分な符号化効率が確保できる場合は、基準ブロックレベルでコンテクストモデル選択情報２７を逐一多重化することなくオーバヘッドビットを削減できる。

また、コンテクストモデル選択情報２７は、それ自体とは別のビットストリーム中に含まれる関連情報に基づいて画像復号装置の内部で定まる情報であってもよい。また、上記説明では可変長符号化部８および可変長復号部１００を算術符号化・算術復号処理を行うものとして説明したが、これらの処理をハフマン符号化処理として、コンテクストモデル選択情報２７は可変長符号化テーブルを適応的に切り替える手段として利用するように構成してもよい。

以上の構成による画像符号化・復号装置によれば、スキップモードの階層表現が可能になり、符号化対象基準ブロックの内部状態に応じて適応的に動き予測モードや動きベクトルの情報を符号化することができ、効率的な符号化が可能となる。

以上より、実施の形態１によれば、画像符号化装置を、動き予測単位ブロックのサイズを色成分信号に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索する予測部４と、動き予測単位ブロック全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動き予測単位ブロックの動きベクトルから求めた予測ベクトルと等しく、かつ、予測誤差信号５として符号化するデータが存在しなければ動き予測モードをｍｃ＿ｓｋｉｐモードにして符号化を行い、動きベクトル割り当て領域が所定のサイズ以上、かつ、動きベクトル割り当て領域全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動きベクトル割り当て領域の動きベクトルから求めた予測ベクトルと等しく、かつ、予測誤差信号５として符号化するデータが存在しなければ動き予測モードをｓｕｂ＿ｍｃ＿ｓｋｉｐモードにして符号化を行ってビットストリーム９を生成する可変長符号化部８とを備えるように構成した。このため、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、スキップモードの階層表現を可能とし、符号化対象基準ブロックの内部状態に応じて適応的に動き予測モードや動きベクトルの情報を符号化することができ、高い圧縮率となる低ビットレート符号化において動きベクトルの符号量を効果的に抑制して符号化する画像符号化装置を提供することができる。

また、実施の形態１によれば、画像復号装置を、入力されるビットストリーム９から、動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルとを示した予測信号生成用パラメータ１７を復号して、当該動き予測モードから動き予測単位ブロックがｍｃ＿ｓｋｉｐモードか否か、および動きベクトル割り当て領域がｓｕｂ＿ｍｃ＿ｓｋｉｐモードか否かを特定する可変長復号部１００と、動き予測単位ブロックがｍｃ＿ｓｋｉｐモードである場合または動きベクトル割り当て領域がｓｕｂ＿ｍｃ＿ｓｋｉｐモードである場合に、周辺の動きベクトルから予測ベクトルを求めて動きベクトルに設定すると共に復号予測誤差信号１１を全てゼロに設定して予測信号１２を生成し、動き予測単位ブロックがｍｃ＿ｓｋｉｐモードでなく、かつ、当該動き予測単位ブロックの動きベクトル割り当て領域がｓｕｂ＿ｍｃ＿ｓｋｉｐモードでない場合に、可変長復号部１００が復号した動き予測モードと動きベクトルとに基づいて予測信号１２を生成する予測部１０２を備えるように構成した。このため、上記画像符号化装置に対応した映像復号装置を提供することができる。

なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０または４：２：２フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。

１ 入力映像信号、２ ブロック分割部、３ 符号化信号、４ 予測部、５ 予測誤差信号（動き予測誤差信号）、６ 圧縮部、７ 予測誤差圧縮データ、８ 可変長符号化部（符号化）、９ ビットストリーム、１０ 局所復号部、１１ 復号予測誤差信号、１２ 予測信号（予測画像）、１３ 復号信号、１４ ループフィルタ、１５ 参照画像信号、１６ メモリ、１７ 予測信号生成用パラメータ、１８ 基準ブロックサイズ情報、１９ 量子化パラメータ、２０ フィルタ係数情報、２１ コンテクストモデル決定部、２２ 二値化部、２３ 生起確率生成部、２４ 符号化部、２５ 生起確率情報記憶メモリ、２６ コンテクストモデル、２７ コンテクストモデル選択情報、２８ 生起確率情報、２９ 符号化値、３０ 算術符号化結果、４０ 復元値、１００ 可変長復号部（復号部）、１０１ 予測誤差復号部、１０２ 予測部、１０３ メモリ、１０４ ループフィルタ、１０５ 復号部、１０６ 復号データ値、１００１ 入力映像信号、１００２ ブロック分割部、１００３ 符号化映像信号、１００４ 予測部、１００５ 予測誤差信号、１００６ 圧縮部、１００７ 圧縮データ、１００８ 可変長符号化部、１００９ ビットストリーム、１０１０ 局所復号部、１０１１ 復号予測誤差信号、１０１２ 予測信号、１０１３ 復号信号、１０１４ ループフィルタ、１０１５ 参照画像信号、１０１６ メモリ、１０１７ 予測信号生成用パラメータ。

Claims (2)

1. 動画像信号の各フレームをブロックに分割して、前記ブロックに対し動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号装置であって、
   前記ビットストリームを復号するために前記ブロックの周囲のブロックにスキップモードがあるか否かで生起確率を切替える算術復号部と、
   前記ビットストリームから、前記ブロックのサイズを定める情報と、ブロックサイズに関する閾値を示す情報と、前記ブロックに対応する第一の動き予測単位ブロックのための第一の動き予測モードとを復号するとともに、第一の動き予測モードがスキップモードではなくかつ第一の動き予測単位ブロックが閾値よりも大きい場合、前記第一の動き予測単位ブロックを階層的に分割して得られた第二の動き予測単位ブロックのための第二の動き予測モードとを復号する復号部と、
   前記第一の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて前記第一の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、
   前記第二の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて前記第二の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、
   前記第二の動き予測モードがスキップモードではない場合、前記復号部で復号される第二の動き予測単位ブロックのための動きベクトルと前記第二の動き予測モードとに基づいて予測画像を生成する予測部とを備えることを特徴とする画像復号装置。
2. 動画像信号の各フレームをブロックに分割して、前記ブロックに対し動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号方法であって、
   前記ビットストリームを復号するために前記ブロックの周囲のブロックにスキップモードがあるか否かで生起確率を切替える算術復号ステップと、
   前記ビットストリームから、前記ブロックのサイズを定める情報と、ブロックサイズに関する閾値を示す情報と、前記ブロックに対応する第一の動き予測単位ブロックのための第一の動き予測モードとを復号するとともに、第一の動き予測モードがスキップモードではなくかつ第一の動き予測単位ブロックが閾値よりも大きい場合、前記第一の動き予測単位ブロックを階層的に分割して得られた第二の動き予測単位ブロックのための第二の動き予測モードとを復号する復号ステップと、
   前記第一の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて前記第一の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、
   前記第二の動き予測モードがスキップモードである場合、周辺の動きベクトルから予測ベクトルを求めて前記第二の動き予測単位ブロックに対する動きベクトルとして設定して予測画像を生成し、
   前記第二の動き予測モードがスキップモードではない場合、前記復号ステップで復号される第二の動き予測単位ブロックのための動きベクトルと前記第二の動き予測モードとに基づいて予測画像を生成する予測ステップとを備えることを特徴とする画像復号方法。

Images