JPWO2010137323A1 - 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 - Google Patents

Abstract

映像符号化装置の圧縮部６において、変換処理決定部３１は、予測誤差信号５をダウンサンプリング処理部３６で縮小変換してから変換・量子化するか否かを選択して、量子化係数データ７ａ，７ｂいずれかを生成する。量子化係数データ７ｂ生成の場合、続く局所復号部で、量子化係数データ７ｂを逆量子化・逆変換した後、アップサンプリング処理部で拡大変換して、復号予測誤差信号を生成する。

Description

この発明は、映像圧縮符号化技術や圧縮映像データ伝送技術等に用いられる映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法に関する。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して圧縮処理を行う。

一方、近年、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ，１９２０×１０８０画素）の４倍相当の空間解像度を有する４Ｋ×２Ｋ画素の映像フォーマット、さらにその４倍に相当する８Ｋ×４Ｋ画素の映像フォーマット、あるいは色信号のサンプル数を増やして色再現性を高める４：４：４映像信号フォーマット等の高精細・高品質映像を圧縮符号化する技術が望まれている。このような高精細・高品質映像を圧縮符号化する場合は、１６×１６画素のマクロブロックでは画像信号相関を十分に利用した符号化が行えなくなり、高い圧縮率を実現することが難しくなってくる。このような課題に対応するため、例えば、従来の１６×１６画素マクロブロックの大きさを、非特許文献１のように３２×３２画素ブロックへ拡張して、動きベクトルの割り当て単位を大きくして予測に必要なパラメータの符号量を削減したり、予測誤差信号の変換符号化のブロックサイズを大きくして、信号の画素間相関を効果的に除去したりする技術が提案されている。

図１２は、非特許文献１による符号化装置の構成を示すブロック図である。非特許文献１による符号化では、まず、符号化対象となる入力映像信号１００１を、ブロック分割部１００２においてマクロブロック（輝度信号相当で３２画素×３２ラインの矩形ブロック）の単位に分割し、符号化映像信号１００３として予測部１００４へ入力する。

予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。なお、非特許文献３では、従来のマクロブロックに対して、マクロブロックの大きさを１６×１６画素固定のまま、動き予測領域の分割形状を多様化する手法が提案されている。

圧縮部１００６は、予測誤差信号１００５に対して、動きベクトルの割り当て単位領域の大きさに応じてブロックサイズを変更しながらＤＣＴ（離散コサイン変換）処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。

この復号予測誤差信号１０１１を、予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３にして、ループフィルタ１０１４に入力する。復号信号１０１３は、ループフィルタ１０１４でブロックひずみを除去する処理が施された後、以降の予測信号１０１２を生成するための参照画像信号１０１５としてメモリ１０１６に格納される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１７は可変長符号化部１００８へ送られ、ビットストリーム１００９に多重されて出力される。ここで、予測信号生成用パラメータ１０１７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。

従来のＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式がマクロブロックサイズとして１６×１６画素ブロックを採用していたのに対して、非特許文献１では、３２×３２画素ブロックのマクロブロックサイズ（スーパーマクロブロック：ＳＭＢ）を用いる。図１３は、Ｍ×Ｍ画素マクロブロックごとに動き補償予測を行う際の動きベクトル割り当て領域の分割形状の様子を示し、図１３（ａ）は非特許文献１のＳＭＢ、図１３（ｂ）は従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（非特許文献２参照）のマクロブロックである。ＳＭＢが画素数Ｍ＝３２として動きベクトル１本あたりがカバーする動き予測領域の面積を大きく取るのに対して、従来のマクロブロックは画素数Ｍ／２＝１６を用いている。これにより、ＳＭＢでは画面全体として必要になる動きベクトルの情報量が画素数Ｍ／２＝１６に比べて少なくなるため、ビットストリームとして伝送すべき動きベクトル符号量を抑制することが可能である。

また、非特許文献１では、分割形状のサイズが（Ｍ／２）×（Ｍ／２）よりも大きい場合、ＤＣＴブロックサイズを１６×１６画素に設定し、広範な領域の画像間相関を一括除去するように構成している。これによって、予測誤差信号の圧縮効率を高めている。

Siwei Ma and C.-C. Jay Kuo, "High-definition Video Coding with Super-macroblocks", Proc. SPIE, Vol. 6508, 650816 (2007) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 S.Kondo and H.Sasai, "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005

上述のように、非特許文献１の従来方式では、マクロブロックの大きさを拡張して、動きベクトルの割り当て単位を大きくして予測に必要なパラメータの符号量を削減したり、信号の画素間相関を除去して、予測誤差信号の圧縮効率を高めたりしていた。その一方で、大きなＤＣＴブロックサイズを適用することは、変換係数を表現する際に必要となる有効桁数の増加を伴うため、係数表現ビット数の増加につながるという課題がある。

この発明は、上記のような課題を解決するためになされたもので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現して、超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法、並びに映像復号装置およびその方法を提供することを目的とする。

この発明に係る映像符号化装置は、入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割部と、参照画像を蓄積するフレームメモリと、フレームメモリの参照画像とマクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測部と、マクロブロック画像から予測画像を減じ、予測誤差信号を生成する予測部と、予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理部と、縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換部と、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、復号予測誤差信号と予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像としてフレームメモリに出力する加算部と、量子化変換係数とフレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化部とを備えるようにしたものである。

この発明に係る映像復号装置は、入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号部と、参照画像を蓄積するフレームメモリと、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、フレーム間予測情報に従って、フレームメモリの参照画像から予測画像を生成する予測部と、復号予測誤差信号と予測画像を加算して復号画像を生成し、当該復号画像を参照画像としてフレームメモリに出力する加算部とを備えるようにしたものである。

この発明に係る映像符号化方法は、入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割ステップと、フレームメモリに蓄積された参照画像とマクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測ステップと、マクロブロック画像から予測画像を減じ、予測誤差信号を生成する予測ステップと、予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理ステップと、縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換ステップと、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、復号予測誤差信号と予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像としてフレームメモリに出力する加算ステップと、量子化変換係数とフレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化ステップとを備えるようにしたものである。

この発明に係る映像復号方法は、入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号ステップと、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、フレーム間予測情報に従って、フレームメモリに蓄積された参照画像から予測画像を生成する予測ステップと、復号予測誤差信号と予測画像を加算して復号画像を生成し、当該復号画像を参照画像としてフレームメモリに出力する加算ステップとを備えるようにしたものである。

この発明によれば、予測誤差信号をダウンサンプリングおよび変換・量子化して量子化変換係数を生成するとともに、量子化変換係数をアップサンプリングおよび逆量子化・逆変換して復号予測誤差信号を生成するようにしたので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現して、４：４：４フォーマットの超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法、並びに映像復号装置およびその方法をローコストで提供することができる。

この発明の実施の形態１に係る映像符号化装置および映像復号装置が処理対象とする４：４：４フォーマットを示す。 実施の形態１に係る映像符号化装置の構成を示すブロック図である。 図２に示すブロック分割部が生成する基準ブロックを示す説明図である。 図２に示す予測部による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。 図２に示す予測部の動作を示すフローチャートである。 予測部によるコストＪの計算方法を説明するための図である。 予測部による動き予測モードｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を示す図である。 図２に示す圧縮部の内部構成を示すブロック図である。 図２に示す局所復号部の内部構成を示すブロック図である。 ビットストリームのデータ配列を示す説明図である。 実施の形態１に係る映像復号装置の構成を示すブロック図である。 非特許文献１による符号化装置の構成を示すブロック図である。 非特許文献１による符号化装置において、マクロブロックごとに動き補償予測を行う際の動きベクトル割り当て領域の分割形状の様子を示す。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う映像符号化装置および映像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う映像符号化装置および映像復号装置について述べる。

ここで、図１に、実施の形態１に係る映像符号化装置および映像復号装置が入力として用いる４：４：４フォーマットを示す。４：４：４フォーマットとは、図１（ａ）に示すように、カラー動画像を構成する３つの信号成分Ｃ０，Ｃ１，Ｃ２の画素数がすべて同じであるフォーマットのことを指す。３つの信号成分の色空間は、ＲＧＢまたはＸＹＺであってもよいし、輝度・色差（ＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒ）であってもよい。４：４：４フォーマットに対して、図１（ｂ）に示す４：２：０フォーマットは、色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、輝度Ｙの画素数に対して色差信号成分（例えばＹＣｂＣｒならＣｂ，Ｃｒ）のそれが水平Ｗ・垂直Ｈそれぞれ２分の１となるフォーマットのことを呼ぶ。

以下に説明する映像符号化装置および映像復号装置は、特に、４：４：４フォーマットの色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、４：２：０フォーマットの映像信号を対象とする映像符号化装置および映像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。また、４：２：０フォーマットの色差信号に対してもそれぞれのサイズを半分にすることによって適用できる。

１．映像符号化装置
図２は、実施の形態１に係る映像符号化装置の構成を示すブロック図である。図２に示す映像符号化装置は、４：４：４フォーマットの入力映像フレームをＭ_ｍａｘ×Ｍ_ｍａｘ画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。

まず、符号化対象となる入力映像信号（動画像信号）１は、ブロック分割部２において基準ブロック（Ｍ画素×Ｍラインの矩形ブロック）の単位に分割されて符号化信号（マクロブロック画像）３として予測部４へ入力される。図３に、ブロック分割部２が生成する基準ブロックを示す。図３に示すように、基準ブロックは、Ｍ_ｍａｘ×Ｍ_ｍａｘ画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズＭ_ｍａｘはフレーム若しくはシーケンス、またはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）等の上位レイヤデータレベルで決定・符号化する。なお、フレーム内で基準ブロックサイズＭ_ｍａｘを変更するように構成してもよいが、その場合は、スライス等の複数マクロブロックをまとめた単位で基準ブロックサイズＭ_ｍａｘを指定するようにする。

基準ブロックデータは、さらにＬ_ｉ×Ｍ_ｉ画素ブロック（ｉ：色成分識別子）の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図３（ａ）における動き予測単位ブロックのパターンはＬ_０＝Ｍ_ｍａｘ／２、Ｍ_０＝Ｍ_ｍａｘ／２、図３（ｂ）における動き予測単位ブロックのパターンはＬ_０＝Ｍ_ｍａｘ／２、Ｍ_０＝Ｍ_ｍａｘであり、図３（ａ），（ｂ）ともにＬ_１＝Ｍ_１＝Ｌ_２＝Ｍ_２＝Ｍ_ｍａｘである。なお、以下の説明においては、４：４：４フォーマットの各色成分の基準ブロックについては、３つの色成分Ｃ０，Ｃ１，Ｃ２で同一とし、基準ブロックのサイズを変更する場合は、３つの色成分全てについて、同一の基準ブロックのサイズに変更するものとする。また、動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉそれぞれについては、色成分Ｃ０，Ｃ１，Ｃ２ごとに選択可能として、シーケンス、ＧＯＰ、フレーム、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズを柔軟に決定することができる。また、基準ブロックのサイズは動的に変更しないので、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。

予測部（フレーム間予測部）４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測信号（予測画像）１２を生成するとともに、メモリ（フレームメモリ）１６が保持する参照画像信号を符号化信号３から減じて予測誤差信号５を得る。この予測部４のより詳細な動作は後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ７を得る。このとき、圧縮部６では予測誤差信号５に対して適応可能な変換処理のモードを複数有し、これらのうちから最適なモードを選択して符号化処理を行い、選択したモードは変換処理モード情報３２として、可変長符号化部８へ出力する。なお、圧縮部６の動作については、本実施の形態１の映像符号化装置の特徴であるため、後で詳しく述べる。

可変長符号化部（エントロピー符号化部）８は、予測誤差圧縮データ７をエントロピー符号化してビットストリーム９として出力する。
局所復号部１０は、予測誤差圧縮データ７から復号予測誤差信号１１を得る。この復号予測誤差信号１１が、予測誤差信号５の生成に用いた予測信号１２と加算部で加算されて復号信号（局所復号画像）１３となり、ループフィルタ１４へ入力される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ（フレーム間予測情報）１７は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１７は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１７の内容については、予測部４の説明とともに以降で詳述する。

ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、予測信号生成用パラメータ１７および量子化パラメータ１９を用いてブロックひずみ補正を行う。

非特許文献１〜３等の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態１の映像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態１の映像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。

以下、本実施の形態１の特徴のひとつである予測部４の詳細な動作について説明する。本実施の形態１の予測部４の特徴は以下の２点である。
（１）基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化。
（２）各色成分の性質に応じた動き予測モード、動きベクトルの決定。

上記（１）については、予測部４が、まず基準ブロックを、各色成分の信号の性質に合わせてＬ_ｉ×Ｍ_ｉ画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをｌ_ｉ×ｍ_ｉ画素の組み合わせからなる複数の形状に分割する。そして、予測部４は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号５を得る。
動き予測単位ブロック内の分割形状は、ｌ×ｍ画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態１の映像符号化装置においては、Ｍとｍ、Ｌとｌの間に「ｍ＝Ｍ／２」、「ｌ＝Ｌ／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図４に示す。図４は、予測部４による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態１の映像符号化装置では、図４に示す分割形状のパターン（分割パターン）は３つの色成分に対して共通であってもよいし、独立に定めるように構成してもよい。なお、この分割パターンｍｃ＿ｍｏｄｅ０〜７のことを以下では「動き予測モード」と呼ぶこととする。

非特許文献１，２の映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図４のような矩形以外の対角分割を用いることができない。これに対して本実施の形態１では図４のような動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。非特許文献３は、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法を開示している。この非特許文献３では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する。しかしながら、この方法は画素数Ｍを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。

問題１：
基準ブロックの分割パターンを記述するための符号量が増加する。Ｍ_ｍａｘ ｍｏｄ ｍ＝０なる任意のｍを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。

問題２：
分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、映像符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって映像符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。

これに対して、本実施の形態１の映像符号化装置における図４のアプローチは、まず、１）Ｍ_ｍａｘの値を符号化の条件や映像信号の解像度や性質に基づいてフレーム等の上位レベルで変更可能とすること、２）Ｍ_ｍａｘ×Ｍ_ｍａｘの画素ブロックを色成分Ｃ_ｉごとの特性に合わせて基本ブロックＬ_ｉ×Ｍ_ｉ画素へ分割可能とすること、３）基本ブロックの分割条件を「ｍ＝Ｍ／２」、「ｌ＝Ｌ／２」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保すること、の３つの工夫により、上記問題を解決する。基本ブロックのサイズＭ_ｍａｘの値はフレームやスライス内で局所的に変更せず、フレームレベルまたはフレーム列（シーケンス、ＧＯＰ）等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ，ＶＧＡ等）の映像と大きな解像度（ＨＤＴＶ等）の映像では、同じＭ_ｍａｘ×Ｍ_ｍａｘ画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像では、小さい解像度のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。

そこで、基準ブロックサイズＭ_ｍａｘの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズＭ_ｍａｘの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図３のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図４のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズＭ_ｍａｘの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。

基準ブロックサイズＭ_ｍａｘの値を決定する方法には、例えば以下のような方法がある。
（１） 符号化対象映像の解像度に基づいて決定する。同一Ｍ_ｍａｘ値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭ_ｍａｘ値を大きくして画像信号パターンを捕捉できるようにする。
（２） フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭ_ｍａｘ値で、小さい場合は大きなＭ_ｍａｘ値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭ_ｍａｘ値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
（３） （１）と（２）の方法を重み付けで組み合わせて判断する。

基準ブロックサイズＭ_ｍａｘの値が決まった後、色成分ごとに動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉの決定を行う。例えば入力映像信号１がＹＵＶ（またはＹＣｂＣｒ等）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてＵ／Ｖ成分のサイズＬ_ｉ，Ｍ_ｉについては輝度信号Ｙ成分のサイズＬ_ｉ，Ｍ_ｉよりも大きな値をとるように構成する、といった判断基準の例が考えられる（図３参照）。

これら判断を行った結果として得られる各ブロックサイズＭ_ｍａｘ，Ｌ_ｉ，Ｍ_ｉの値は、基準ブロックサイズ情報１８としてブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図３のように、Ｍ_ｍａｘに対してＬ_ｉ，Ｍ_ｉを簡易な演算で導出可能な値に設定しておけば、Ｌ_ｉ，Ｍ_ｉを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報１８に要する符号量を抑制できる。
なお、図２では特に図示していないが、映像符号化装置は、Ｍ_ｍａｘ，Ｌ_ｉ，Ｍ_ｉの値を決定して各部へ通知するための基準ブロックサイズ決定部を備えて、基準ブロックサイズ情報１８を決定する構成であってもよい。

予測部４は、基準ブロックサイズ情報１８から導出される動き予測単位ブロックサイズＬ_ｉ，Ｍ_ｉに基づいて、図３、図４の分割パターンを用いる動き検出処理を実行する。図５は、予測部４の動作を示すフローチャートである。予測部４は、当該フレームのＣ_ｉ成分をＬ_ｉ×Ｍ_ｉ画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図４のｍｃ＿ｍｏｄｅ０〜７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてｍｃ＿ｍｏｄｅ０〜７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。

予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１６内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから導出する下記コストＪで定義される。予測部４は、このコストＪが最小となる動き予測モードと動きベクトルとを出力するように構成する。
Ｊ＝Ｄ＋λＲ （λ：定数） （１）

そこで、予測部４はまず、各動き予測モードに対して、コストＪの計算を行う（ステップＳＴ１）。図６に、ｍｃ＿ｍｏｄｅ５のケースを例にとってコストＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ_０，Ｂ_１からなる。また、メモリ１６内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）が格納されていて、分割領域Ｂ_０，Ｂ_１はこれら２枚の参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）を使って動き予測できるものとする。図６では分割領域Ｂ_０は参照画像Ｆ’（ｔ−２）を用いて動きベクトルＭＶ_ｔ−２（Ｂ_０）を検出し、分割領域Ｂ_１は参照画像Ｆ’（ｔ−１）を用いて動きベクトルＭＶ_ｔ−１（Ｂ_１）を検出している。Ｂを分割領域、Ｓ_ｎ（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いて、下式（２）として計算できる。

予測誤差量Ｄは、上式（２）計算の結果、得られる分割領域Ｂ_０，Ｂ_１に対応する予測誤差量Ｄ_０，Ｄ_１からＤ＝Ｄ_０＋Ｄ_１として求める。

一方、総符号量Ｒは、予測ベクトルＰＭＶ（Ｂ_０），ＰＭＶ（Ｂ_１）を用いて、下式（３）から動きベクトル予測差分値ＭＶＤ（Ｂ_０），ＭＶＤ（Ｂ_１）を得て、これらの値を符号量換算して符号量Ｒ_０，Ｒ_１を得て、総符号量Ｒ＝Ｒ_０＋Ｒ_１として求める。

ＭＶＤ（Ｂ_０）＝ＭＶ_ｔ−２（Ｂ_０）−ＰＭＶ（Ｂ_０）
（３）
ＭＶＤ（Ｂ_１）＝ＭＶ_ｔ−１（Ｂ_１）−ＰＭＶ（Ｂ_１）

以上により、コストＪが求まる。予測部４は、探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を図７に示す。図７において、矢印は予測ベクトル導出に利用する周辺の動きベクトルＭＶを意味し、○で囲まれた３本の動きベクトルＭＶのメディアン（中央値）が、それが指し示す分割領域の予測ベクトルＰＭＶとなる。
なお、Ｌ_ｉ×Ｍ_ｉ画素ブロックに対して、ｋ＝７即ちｍｃ＿ｍｏｄｅ７を選択した場合、さらにｌ_ｉ×ｍ_ｉ画素ブロックに対して、ｍｃ＿ｍｏｄｅ０〜７のモードを選択するように構成する。このときのモードの名称は便宜上、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０〜７とする。ｌ_ｉ×ｍ_ｉ画素ブロックに対してｓｕｂ＿ｍｃ＿ｍｏｄｅを決定する処理は図５の処理フローに準ずるものとし、Ｌ_ｉ×Ｍ_ｉ画素ブロック単位に対応するｍｃ＿ｍｏｄｅ７のコストＪ_７は、ｌ_ｉ×ｍ_ｉ画素ブロックの単位で定まるｓｕｂ＿ｍｃ＿ｍｏｄｅを用いて得られる総コストとする。

続いて、予測部４は、このようにして求まるｍｃ＿ｍｏｄｅ_ｋでのコストＪ_ｋが、それまでに検証したｍｃ＿ｍｏｄｅ_ｋでのコストよりも小さいかどうかを検証し（ステップＳＴ２）、小さい場合は（ステップＳＴ２“Ｙｅｓ”）、ｍｃ＿ｍｏｄｅ_ｋをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトルおよび予測誤差信号を保持しておく（ステップＳＴ３）。予測部４は、すべての動き予測モードを検証し終えると（ステップＳＴ４“Ｙｅｓ”）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号５を最終解として出力する（ステップＳＴ５）。さもなければ（ステップＳＴ２“Ｎｏ”またはステップＳＴ４“Ｎｏ”）、ステップＳＴ６で変数ｋをインクリメントして、ステップＳＴ１に戻って次の動き予測モードを検証する。

以上述べた予測部４における処理によって、予測誤差信号５と、予測信号生成用パラメータ１７（動き予測モードおよび動きベクトル）が出力され、これらは可変長符号化部８にてエントロピー符号化される。

以下、本実施の形態１の特徴のひとつである圧縮部６および関連する局所復号部１０の詳細な動作について説明する。本実施の形態１に係る圧縮部６および局所復号部１０の特徴は以下のとおりである。
（１）動きベクトル割り当て領域の形状に応じた変換・逆変換処理の切り替え。
（２）解像度可変変換・逆変換処理の適用。

図８は、本実施の形態１に係る圧縮部６の内部構成を示すブロック図である。圧縮部６は、予測誤差信号５を入力とし、その画素間相関を取り除く変換処理を施した後、量子化を行い、ビットストリーム９に多重される量子化係数データ７ａ，７ｂ（予測誤差圧縮データ７に相当する）を出力する。
上記（１），（２）の特徴を具備するため、まず変換処理決定部３１において、変換処理方法の選択を行う。この処理は、予測信号生成用パラメータ１７に含まれる動き予測モードを参照して行う。

具体的には、変換処理決定部３１は、動き予測モードがｍｃ＿ｍｏｄｅ０，５，６の場合、変換処理を行う単位を（ｍ／２）×（ｌ／２）画素ブロックとし、動きベクトル割り当て領域ごとに、以下の２つの選択肢（ａ），（ｂ）のうち符号化効率が高い（同等符号量なら符号化ひずみが小さい、同等の符号化ひずみなら符号量が少ない）手段を選択する。これは例えば実際に２つの選択肢を試行した結果を評価することにより実現可能である。
（ａ） 動きベクトル割り当て領域を（ｍ／２）×（ｌ／２）画素ブロックに均等分割して、それぞれ変換・量子化を行う。
（ｂ） 動きベクトル割り当て領域をｍ×ｌ画素ブロックに均等分割して、それぞれを水平・垂直にダウンサンプリングして（ｍ／２）×（ｌ／２）画素ブロックを生成し、同ブロックに対して変換・量子化を行う。

変換処理決定部３１は、選択結果を、変換処理モード情報３２としてスイッチ（変換選択用スイッチ、ＳＷ）３３へ出力する。スイッチ３３は、変換処理モード情報３２に応じて、動きベクトル割り当て領域ごとに変換処理方法を切り替える。変換処理モード情報３２が上記選択肢（ａ）を選択する内容の場合、各動きベクトル割り当て領域の予測誤差信号５は直接変換部３４に入力され、（ｍ／２）×（ｌ／２）画素ブロックごとに変換され、その結果が量子化部３５で量子化され、量子化係数データ７ａとして出力される。なお、図８の上段に示す変換部３４と量子化部３５とをあわせて第二の量子化変換部とする。
一方、変換処理モード情報３２が上記選択肢（ｂ）を選択する内容の場合は、各動きベクトル割り当て領域の予測誤差信号５は、ｍ×ｌブロックごとに、まずダウンサンプリング処理部３６に入力され、（ｍ／２）×（ｌ／２）画素ブロックに縮小変換される。次いで、選択肢（ａ）で使用するものと同じ変換部３４、量子化部３５で変換・量子化され、量子化係数データ７ｂとして出力される。なお、図８の下段に示す変換部３４と量子化部３５とをあわせて第一の量子化変換部とする。

ダウンサンプリング処理部３６は、予測誤差信号５の性質に適応して設計されるダウンサンプルフィルタを適用して画素間引きを行う。ダウンサンプルフィルタは下式（４）のような線形低域通過フィルタを水平・垂直方向にそれぞれ適用する方法や、ウェーブレット変換を適用しその低域成分のみを抽出するなど、任意に選択してよい。

なお、予測誤差圧縮データ７の量子化係数データとして量子化係数データ７ａ，７ｂのいずれを選択するかについて、映像復号装置へ伝達する方法は、変換処理モード情報３２を可変長符号化部８に出力して同情報をビットストリーム９に多重化することで実現する。

変換処理決定部３１は、ｍｃ＿ｍｏｄｅ１〜４の場合には、動きベクトル割り当て領域がｍ×ｌ画素ブロックでないほうの大きな領域についてのみ、上記選択肢（ａ），（ｂ）の選択を行う。また、ｍｃ＿ｍｏｄｅ７の場合には、常に選択肢（ａ）を選択する。選択肢（ａ）は、動き予測がはずれ、動きベクトル割り当て領域内の予測誤差信号分布が一様でない（分散大）場合に有効であり、選択肢（ｂ）は動き予測が有効に機能し、動きベクトル割り当て領域内の予測誤差信号分布が一様である（分散小）場合に有効である。

非特許文献１では、選択肢（ｂ）のケースに対する符号化効率を高めるため、１６×１６画素よりも大きい動き予測ブロックに対して、１６×１６画素ブロックに対する直接ＤＣＴ、即ちＤＣＴ処理対象ブロックそのもののサイズ拡張を提案している。しかしながら、大きなブロックサイズでのＤＣＴは、係数表現に必要なビット数が増加し、変換処理自体のハードウエアコストに影響するという問題がある。
ｓｕｂ＿ｍｃ＿ｍｏｄｅを使うように構成する場合、（ｍ／２）×（ｌ／２）画素ブロックは、ｓｕｂ＿ｍｃ＿ｍｏｄｅ７の場合の最小の動きベクトル割り当て領域サイズに該当するので、上記のように構成することにより、大きなブロックサイズでのＤＣＴの効果を維持しつつ、変換・量子化処理は常に（ｍ／２）×（ｌ／２）画素を対象とする処理のみに限定することができ、符号化すべき係数の数も、係数表現に必要なビット数も抑えた符号化を行うことができる。

図９に、本実施の形態１における局所復号部１０の内部構成を示す。局所復号部１０は、量子化係数データ７および変換処理モード情報３２を入力とし、スイッチ（変換選択用スイッチ、ＳＷ）３７が変換処理モード情報３２の指示に従って、予測誤差圧縮データ７の量子化係数データが圧縮部６で上記選択肢（ａ），（ｂ）のいずれの処理で符号化されたかを判定して処理を切り替え、それぞれの処理に適した方法で逆量子化、逆変換を行って復号予測誤差信号１１ａ，１１ｂに復元する。

変換処理モード情報３２が選択肢（ａ）であることを示す場合は、予測誤差圧縮データ７の量子化係数データは、図８に示す量子化係数データ７ａであると判断され、（ｍ／２）×（ｌ／２）画素ブロックごとに逆量子化部３８、逆変換部３９でそれぞれ逆量子化、逆変換されて復号予測誤差信号１１ａを得る。なお、図９の上段に示す逆量子化部３８と逆変換部３９とをあわせて第二の逆量子化変換部とする。
一方、変換処理モード情報３２が選択肢（ｂ）であることを示す場合は、予測誤差圧縮データ７の量子化係数データは、図８に示す量子化係数データ７ｂであると判断され、まず、選択肢（ａ）で使用するものと同じ逆量子化部３８、逆変換部３９でそれぞれ逆量子化、逆変換され、（ｍ／２）×（ｌ／２）画素ブロック単位の復号予測画素値４０を得る。そして、アップサンプリング処理部４１が、（ｍ／２）×（ｌ／２）画素ブロックの復号予測画素値４０に対して線形補間フィルタを施してｍ×ｌ画素ブロックからなる復号予測誤差信号１１ｂを生成する。なお、図９の下段に示す逆量子化部３８と逆変換部３９とをあわせて第一の逆量子化変換部とする。

２．符号化ビットストリームの構成
入力映像信号１は、上記処理に基づいて図２の映像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として映像符号化装置から出力される。
図１０に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、基準ブロックサイズ情報１８が格納される。基準ブロックサイズＭ_ｍａｘが、ピクチャレベルより上位のシーケンス単位で固定化されるのであれば、基準ブロックサイズ情報１８をシーケンスレベルヘッダに多重するように構成してもよい。

各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図１０の例では、第２スライスにＫ個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードｍｃ＿ｍｏｄｅと動きベクトル（予測信号生成用パラメータ１７に相当する）、予測誤差圧縮データ７の生成に用いた量子化パラメータ１９などが配列される。動き予測モードは、ｍｃ＿ｍｏｄｅ０〜７の種別が符号化され、種別がｍｃ＿ｍｏｄｅ０〜６であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。種別がｍｃ＿ｍｏｄｅ７であれば、各基本ブロックごとにｓｕｂ＿ｍｃ＿ｍｏｄｅが符号化される。

続いて、基準ブロックごとの量子化パラメータ１９が多重化され、圧縮部６から出力される予測誤差圧縮データ７（量子化係数データ７ａ，７ｂに相当する）が多重化される。この際、動き予測モードがｍｃ＿ｍｏｄｅ０，５，６の場合には、予測誤差圧縮データの前に、予測誤差圧縮データ７（量子化係数データ７ａ，７ｂ）の符号化が上記圧縮部６および局所復号部１０における選択肢（ａ），（ｂ）のいずれかで処理されたかを示す情報として変換処理モード情報３２が多重される。

なお、図示していないが、各基準ブロック内で用いる動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉを各基準ブロックごとに選択できるように基準ブロックサイズ決定部を構成しておき、基準ブロック内で用いる動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉをシーケンス、またはピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックのサイズを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルのヘッダに固定的に多重するかを示す情報は、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルヘッダ中に識別情報として多重するように構成しておけばよい。これにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉを符号化するオーバヘッドを削減して効率的な符号化を行うことが可能である。

３．映像復号装置
図１１は、本実施の形態１における映像復号装置の構成を示すブロック図である。可変長復号部（エントロピー復号部）１００は、図１０に示すビットストリーム９を入力し、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズの情報を復号する。これにより当該ピクチャで用いる基準ブロックのサイズＭ_ｍａｘと動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉを認識し、この基準ブロックサイズ情報１８を予測誤差復号部１０１および予測部１０２へ通知する。なお、動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合には、可変長復号部１００は、動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、各基準ブロックヘッダを復号することによって動き予測単位ブロックのサイズＬ_ｉ，Ｍ_ｉを認識するように構成する。

可変長復号部１００において、基準ブロックデータの復号はまず、基準ブロックヘッダの復号から行う。続いて、動き予測単位ブロックあたりに適用する動き予測モードの復号を行う。動き予測モードは、まず動き予測単位ブロックの単位でｍｃ＿ｍｏｄｅの復号を行う。ｍｃ＿ｍｏｄｅ７である場合は、基本ブロックごとにｓｕｂ＿ｍｃ＿ｍｏｄｅの復号を行い、その他の場合は動きベクトル割り当て領域の数分だけ動きベクトルの復号を行い、さらに基準ブロックごとに量子化パラメータ１９、変換処理モード情報３２、予測誤差圧縮データ７などの情報を順次復号する。

予測誤差圧縮データ７、量子化パラメータ１９および変換処理モード情報３２は予測誤差復号部１０１に入力され、復号予測誤差信号１１に復元される。この予測誤差復号部１０１は、復号された変換処理モード情報３２に基づいて、図２の映像符号化装置における局所復号部１０と等価な処理を行う。即ち、予測誤差復号部１０１は、図９に示すスイッチ３７、逆量子化部３８、逆変換部３９およびアップサンプリング処理部４１を備え、スイッチ３７が変換処理モード情報３２に従ってアップサンプリング処理部４１を経由するか否かを選択して、逆量子化・逆変換を行う。

予測部１０２は、可変長復号部１００によって復号される予測信号生成用パラメータ１７とメモリ１０３内の参照画像信号１５とから予測信号１２を生成する。なお、予測部１０２は映像符号化装置における予測部４と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図４に示すｍｃ＿ｍｏｄｅ０〜７のいずれかであり、予測部１０２はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて復号信号（復号画像）１３を生成する。
復号予測誤差信号１１と予測信号１２は加算部により加算され、復号信号１３としてループフィルタ１０４へ入力される。この復号信号１３は、ループフィルタ１０４で符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１０３に格納される。

以上より、実施の形態１によれば、映像符号化装置を、入力される入力映像信号１の各フレームを所定サイズのマクロブロックに分割して符号化信号３として出力するブロック分割部２と、参照画像信号１５を蓄積するメモリ１６と、メモリ１６の参照画像信号１５と符号化信号３とを元にフレーム間予測を行って予測信号１２を生成すると共に、当該フレーム間予測の方法を特定する情報を予測信号生成用パラメータ１７として出力し、かつ、符号化信号３から予測信号１２を減じ、予測誤差信号５を生成する予測部４と、予測誤差信号５をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理部３６と、縮小予測誤差信号を変換する変換部３４と量子化する量子化部３５と、量子化部３５が出力した量子化係数データ７ｂを逆量子化する逆量子化部３８と逆変換する逆変換部３９と、逆変換部３９が出力した復号予測画素値４０をアップサンプリングし、復号予測誤差信号１１ｂを生成するアップサンプリング処理部４１と、復号予測誤差信号１１ｂと予測信号１２とを加算して復号信号１３を生成し、この復号信号１３を参照画像としてメモリ１６に出力する加算部と、量子化係数データ７ｂと予測信号生成用パラメータ１７をエントロピー符号化し、ビットストリーム９を出力する可変長符号化部８とを備えるように構成した。さらに、ダウンサンプリング処理部３６、変換部３４、量子化部３５、逆量子化部３８、逆変換部３９およびアップサンプリング処理部４１を用いるか、変換部３４、量子化部３５、逆量子化部３８および逆変換部３９を用いるかを選択するための変換処理決定部３１とスイッチ３３，３７を備えるように構成した。
このため、映像圧縮を行う際に、ブロック単位に予測誤差信号を解像度変換して縮小した後に、変換・量子化・逆量子化・逆変換を行って解像度変換して拡大することにより、符号化効率を高めることができ、回路規模を小さくすることができる。したがって、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、動き補償予測の動きベクトル割り当て領域の大きさが大きい場合にも、動き予測の結果生じる予測誤差信号５の符号化を、その信号分布状態に応じて効率よく、かつ、実装負荷を抑制して実施することができ、高い圧縮率でも符号化品質を維持できる映像符号化装置をローコストで提供することができる。

また、実施の形態１によれば、映像復号装置を、入力されるビットストリーム９をエントロピー復号し、当該ビットストリーム９に含まれる予測信号生成用パラメータ１７および量子化係数データを出力する可変長復号部１００と、参照画像信号１５を蓄積するメモリ１０３と、量子化係数データを逆量子化する逆量子化部３８と逆変換する逆変換部３９と、逆変換部３９が出力した復号予測画素値４０をアップサンプリングし、復号予測誤差信号１１ｂを生成するアップサンプリング処理部４１と、予測信号生成用パラメータ１７に従って、メモリ１０３の参照画像信号１５から予測信号１２を生成する予測部１０２と、復号予測誤差信号１１ｂと予測信号１２を加算して復号信号１３を生成し、この復号信号１３を参照画像信号１５としてメモリ１０３に出力する加算部とを備えるように構成した。さらに、復号した変換処理モード情報３２に従って、逆量子化部３８、逆変換部３９およびアップサンプリング処理部４１を用いるか、逆量子化部３８および逆変換部３９を用いるかを選択するスイッチ３７を備えるように構成した。このため、上記映像符号化装置に対応した映像復号装置を提供することができる。

なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０または４：２：２フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。

映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法は、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現できることから、４：４：４フォーマットの超高精細映像信号の符号化等に用いるのに適している。

Claims (10)

1. 入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割部と、
   参照画像を蓄積するフレームメモリと、
   前記フレームメモリの参照画像と前記マクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測部と、
   前記マクロブロック画像から前記予測画像を減じ、予測誤差信号を生成する予測部と、
   前記予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理部と、
   前記縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換部と、
   前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、
   前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、
   前記復号予測誤差信号と前記予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像として前記フレームメモリに出力する加算部と、
   前記量子化変換係数と前記フレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化部とを備える映像符号化装置。
2. ダウンサンプリング処理部を経由せずに、予測誤差信号を直接変換・量子化し、量子化変換係数を生成する第二の量子化変換部と、
   アップサンプリング処理部を経由せずに、前記量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換部と、
   前記ダウンサンプリング処理部、第一の量子化変換部、第一の逆量子化変換部および前記アップサンプリング処理部を用いるか、前記第二の量子化変換部および前記第二の逆量子化変換部を用いるかを選択するための変換選択用スイッチとを備え、
   エントロピー符号化部は、前記変換選択用スイッチの選択結果を示す変換処理モード情報をあわせてエントロピー符号化することを特徴とする請求項１記載の映像符号化装置。
3. 入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号部と、
   参照画像を蓄積するフレームメモリと、
   前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、
   前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、
   前記フレーム間予測情報に従って、前記フレームメモリの参照画像から予測画像を生成する予測部と、
   前記復号予測誤差信号と前記予測画像を加算して復号画像を生成し、当該復号画像を参照画像として前記フレームメモリに出力する加算部とを備える映像復号装置。
4. アップサンプリング処理部を経由せずに、量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換部と、
   第一の逆量子化変換部および前記アップサンプリング処理部を用いるか、前記第二の逆量子化変換部を用いるかを選択するための変換選択用スイッチとを備え、
   エントロピー復号部は、符号化データに含まれる、前記変換選択用スイッチの選択を示す変換処理モード情報をあわせてエントロピー復号し、
   前記変換選択用スイッチは、前記変換処理モード情報に基づいて切り替えられることを特徴とする請求項３記載の映像復号装置。
5. 入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割ステップと、
   フレームメモリに蓄積された参照画像と前記マクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測ステップと、
   前記マクロブロック画像から前記予測画像を減じ、予測誤差信号を生成する予測ステップと、
   前記予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理ステップと、
   前記縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換ステップと、
   前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、
   前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、
   前記復号予測誤差信号と前記予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像として前記フレームメモリに出力する加算ステップと、
   前記量子化変換係数と前記フレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化ステップとを備える映像符号化方法。
6. ダウンサンプリング処理ステップおよびアップサンプリング処理ステップを経由するか否かを選択する変換選択ステップと、
   前記変換選択ステップで前記ダウンサンプリング処理ステップを経由しないことが選択された場合に、予測誤差信号を直接変換・量子化し、量子化変換係数を生成する第二の量子化変換ステップと、
   前記変換選択ステップで前記アップサンプリング処理ステップを経由しないことが選択された場合に、前記量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換ステップとを備え、
   前記変換選択ステップで前記ダウンサンプリング処理ステップおよび前記アップサンプリング処理ステップを経由することが選択された場合は、前記ダウンサンプリング処理ステップ、第一の量子化変換ステップ、第一の逆量子化変換ステップおよび前記アップサンプリング処理ステップを行い、
   前記変換選択ステップで前記ダウンサンプリング処理ステップおよび前記アップサンプリング処理ステップを経由しないことが選択された場合は、前記第二の量子化変換ステップおよび前記第二の逆量子化変換ステップを行い、
   エントロピー符号化ステップでは、前記変換選択用ステップの選択結果を示す変換処理モード情報をあわせてエントロピー符号化することを特徴とする請求項５記載の映像符号化方法。
7. 入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号ステップと、
   前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、
   前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、
   前記フレーム間予測情報に従って、フレームメモリに蓄積された参照画像から予測画像を生成する予測ステップと、
   前記復号予測誤差信号と前記予測画像を加算して復号画像を生成し、当該復号画像を参照画像として前記フレームメモリに出力する加算ステップとを備える映像復号方法。
8. アップサンプリング処理ステップを経由するか否かを選択する変換選択ステップと、
   前記変換選択ステップで前記アップサンプリング処理ステップを経由しないことが選択された場合に、量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換ステップとを備え
   エントロピー復号ステップでは、符号化データに含まれる、前記変換選択用ステップの選択を示す変換処理モード情報をあわせてエントロピー復号し、
   前記変換選択ステップで、前記変換処理モード情報に基づいて前記アップサンプリング処理ステップを経由することが選択された場合は、第一の逆量子化変換ステップおよび前記アップサンプリング処理ステップを行い、
   前記変換選択ステップで、前記変換処理モード情報に基づいて前記アップサンプリング処理ステップを経由しないことが選択された場合は、前記第二の逆量子化変換ステップを行うことを特徴とする請求項７記載の映像復号方法。
9. 変換選択用スイッチは、第一の量子化変換部を経由する符号化手段と、第二の量子化変換部を経由する符号化手段とを試行した結果を比較することにより、符号化効率の高い符号化手段を選択することを特徴とする請求項２記載の映像符号化装置。
10. 変換選択ステップでは、第一の量子化変換ステップを経由する符号化方法と、第二の量子化変換ステップを経由する符号化方法とを試行した結果を比較することにより、符号化効率の高い符号化方法を選択することを特徴とする請求項６記載の映像符号化方法。

Images