JPWO2013001730A1 - 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法および画像復号方法 Download PDF

Info

Publication number
JPWO2013001730A1
JPWO2013001730A1 JP2013522714A JP2013522714A JPWO2013001730A1 JP WO2013001730 A1 JPWO2013001730 A1 JP WO2013001730A1 JP 2013522714 A JP2013522714 A JP 2013522714A JP 2013522714 A JP2013522714 A JP 2013522714A JP WO2013001730 A1 JPWO2013001730 A1 JP WO2013001730A1
Authority
JP
Japan
Prior art keywords
image
motion
prediction
unit
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013522714A
Other languages
English (en)
Other versions
JP5711370B2 (ja
Inventor
裕介 伊谷
裕介 伊谷
関口　俊一
俊一 関口
杉本　和夫
和夫 杉本
村上　篤道
篤道 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013522714A priority Critical patent/JP5711370B2/ja
Publication of JPWO2013001730A1 publication Critical patent/JPWO2013001730A1/ja
Application granted granted Critical
Publication of JP5711370B2 publication Critical patent/JP5711370B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化データから符号化ブロックに係る圧縮データ、前記動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を所定の領域に限定するか否かを示す参照画像制限フラグ、動きベクトルの情報である動き情報を可変長復号する可変長復号ステップと、前記動き情報に基づいて、前記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測ステップと、前記符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成ステップと、前記差分画像と前記予測画像とを加算して復号画像を生成する復号画像生成ステップとを備え、前記動き補償ステップは、前記予測画像を生成する際、前記参照画像制限フラグに基づき、前記動き情報を用いて、前記予測画像が有意参照画像領域外の画素を含む場合、所定の拡張処理を行って予測画像を生成する。

Description

本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。
ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４（以下、ＡＶＣ／Ｈ．２６４と記す）などの従来の国際標準映像符号化方式では、輝度信号１６×１６画素とそれに対応する２つの色差信号８×８画素分をまとめたブロックデータ(以下、マクロブロック)を単位として、動き補償予測技術及び直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。動き補償予測では前方または後方の符号化済みピクチャを参照画像として用いてマクロブロック単位で動きベクトル探索および予測画像の生成を行う。1枚のピクチャのみを参照して画面間予測符号化を行うピクチャをPピクチャと呼び、2枚のピクチャを同時に参照して画面間予測符号化を行うピクチャをBピクチャと呼ぶ。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
一般に、従来の符号化方式によって高解像度映像の符号化処理を行う場合には、画面1面分のメモリサイズが大きく、かつ動き探索処理の負荷が膨大となるため、フレームを一定のサイズの小領域(従来の符号化方式では、スライスという処理単位を利用することもある)の単位に画面分割して、動きベクトル探索に伴うメモリアクセス範囲を制限しつつ、並列に動きベクトル探索を処理する構成をとることがある(図１９)。この際、装置構成上、各動き探索処理単位がアクセスできる参照画像メモリ領域を制限する必要が生じることがある。このような場合、最適動きベクトルが探索できないことがある。
本発明はこのような問題を解決するためになされたものであり、メモリ量やメモリアクセス量が限られた符号化装置であっても、画面分割を行い、安定して高効率な高解像度画像の符号化、復号が可能な映像符号化方法を提供する画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法を提供することを目的とする。
本発明に係る画像符号化装置は、動画像信号の各ピクチャの所定の符号化単位となる符号化ブロックに分割して、該符号化ブロックごとに動き補償予測を用いて圧縮符号化を行う動画像符号化装置において、該符号化ブロックないしそれを分割した単位である動き補償予測単位領域ごとに選択された動きベクトルを用いて、動き補償予測単位領域に対する予測画像を生成する動き補償部と、予測画像に対応する入力信号と予測画像との差分画像を圧縮した圧縮データ、動きベクトルに関する情報を可変長符号化してビットストリームを生成するとともに、動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を所定の領域に限定するか否かを示す参照画像制限フラグをビットストリームに多重化する可変長符号化部とを備え、動き補償部は、参照画像制限フラグに基づいて有意参照画像領域を特定し、予測画像が有意参照画像領域外の画素を含む場合、所定の拡張処理を行うものである。
この発明によれば、ピクチャを画面分割した単位で並列に動きベクトル検出ないし生成する符号化装置と、それを使用して動き補償予測画像を生成する復号装置において、少ないメモリ量かつメモリアクセスで効率的に最適な動きベクトルを利用できるように構成したので、高解像度映像などの処理負荷の高い運用においても高能率な画像符号化・復号処理を行うことができる効果がある。
この発明の実施の形態１による画像符号化装置の特徴を説明する説明図である。 この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の動作を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックへ分割される様子を説明する図面である。 最大符号化ブロックが階層的に複数の符号化ブロックへ分割された結果の例を示す図面である。 この発明の実施の形態１による動き補償予測部９の処理単位となるタイルの説明図である。 この発明の実施の形態１における動き補償予測部９を示す構成図である。 この発明の実施の形態１における参照画像制限フラグ１０５の説明図である。 この発明の実施の形態１における参照画像制限フラグ１０５の説明図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の動作を示すフローチャートである。 この発明の実施の形態１による動き補償部７０を示す構成図である。 この発明の実施の形態１におけるタイル外の参照可能エリアのカスタマイズを示す構成図である。 この発明の実施の形態１における複数の符号化済みブロックから動き情報を生成する場合を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 従来の符号化方式を説明する説明図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１を用いて、本発明の実施の形態１の符号化装置（復号装置）の特徴となる部分について説明する。同図では、符号化時の動きベクトル探索を、フレーム水平サイズをw、分割領域の垂直方向ライン数をhとした w*h の領域を所定の画面分割単位として実行する例を示す。w*hの領域が有意な画像データとして参照画像をアクセスできる領域(以下、有意参照画像領域)であるとする。この際、予測画像の良さを最大限にするように動きベクトル探索を行うことを考えると、理想的には同図(a)のように、予測画像の一部が有意参照画像領域の外部を指す場合も許容することが望ましい。しかし、このような有意参照画像領域外のデータは、動きベクトル探索を行う回路にとっては存在しないため、実際には、同図(b)のように、動きベクトル探索の範囲を強制的に狭めて、有意参照画像領域にアクセスを完結させるような動きベクトルを見つける必要がある。
一方、復号装置側では、同図(c)のように、負荷の高い動きベクトル探索処理を実行しないため、画面分割を行って並列処理を行う必要性は低い。こうした場合には、有意予測画像領域自体が分割されないため、(a),(b)のいずれの動きベクトルであっても、予測画像ブロック内の画素すべてを有意な参照画像データから生成することができる。つまり、復号装置側では理想的な動きベクトルを受信しても問題なく予測画像が生成できるにも関わらず、符号化側で理想的な動きベクトルを探索できない、という問題が生じる。
以下に実施の形態１における画像符号化装置および画像復号装置について説明する。
本実施の形態１では、映像の各フレーム画像を入力として、近接フレーム間で動き補償予測を行い、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施した後、可変長符号化を行ってビットストリームを生成する画像符号化装置と、当該画像符号化装置が出力するビットストリームを復号する画像復号装置について説明する。
本実施の形態１の画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴とする。一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を持つ。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分差信号を生成して全体の符号量を削減する処理を行うが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。一方、時間的・空間的に変化の大きい画像信号パターンに対しては、同一の予測パラメータを大きな画像領域に適用することで予測の誤りが増え、予測差分信号の符号量が削減できない。そこで、そういった領域では、予測対象の領域を小さくし、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。このような映像信号の一般的な性質に適応した符号化を行うため、本実施の形態１の符号化装置は、所定の最大ブロックサイズからはじめて階層的に映像信号の領域分割を行い、分割された領域ごとに予測、およびその予測差分の符号化処理を適応化させる構成をとる。
本実施の形態１の画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。各画素の階調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力映像信号はYUV信号とし、かつ2つの色差成分U,Vが輝度成分Yに対してサブサンプルされた4：2：0フォーマットの信号を扱う場合について述べるが、本発明はU,Vのサンプリング間隔が異なる他フォーマットにも適用できる（例えば4：2：2フォーマットや4：4：4フォーマットなど）。また、映像の各フレームに対応する処理データ単位を「ピクチャ」と呼ぶ。本実施の形態１においては、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号、として以下の説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
図２は、この発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
また、図３に図２の画像符号化装置のピクチャレベルの処理フローを示す。以下、これらの図を用いて、本実施の形態１の画像符号化装置の動作を説明する。図２に示す画像符号化装置は、まず、符号化制御部３において、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図３のステップS1)。最大符号化ブロックのサイズの決め方としては、例えば入力映像信号１の解像度に応じてすべてのピクチャに対して同じサイズに定めてもよいし、入力映像信号１の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャでは小さいサイズ、動きが少ないピクチャでは大きいサイズ、のように定めてもよい。分割階層数上限は例えば入力映像信号１の動きが激しい場合は階層数を深くしてより細かい動きが検出できるように設定し、動きが少ない場合は階層数を抑えるように設定するなどの方法がある。
次いで、ブロック分割部２において、ピクチャを上記定めた最大符号化ブロックサイズで分割する。符号化制御部３は、最大符号化ブロックサイズの画像領域ごとに、上記定めた分割階層数上限に至るまで、階層的に符号化ブロックサイズ４と各符号化ブロックに対する符号化モード７を決定する。そして、ブロック分割部２は、符号化ブロックサイズ４にしたがってさらにブロックを分割し符号化ブロック５を出力する（図３のステップS2）。
図４に、最大符号化ブロックが階層的に複数の符号化ブロック５へ分割される様子の例を示す。最大符号化ブロックは、図４において「第０階層」と記された輝度成分で(L0, M0)のサイズをもつ符号化ブロック、として定義する。最大符号化ブロックを出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって符号化ブロック５を得る。深さnにおいては、符号化ブロック５はサイズ(Ln, Mn)の画像領域である。LnはMnと同じであってもよいし異なっていてもよいが、図４ではLn = Mnのケースを示す。
以降、符号化ブロックサイズ４は、符号化ブロック５の輝度成分におけるサイズ(Ln, Mn)と定義する。４分木分割を行うため、常に(Ln+1, Mn+1) = (Ln/2, Mn/2)が成り立つ。なお、RGB信号など、すべての色成分が同一サンプル数をもつカラー映像信号(4:4:4フォーマット)では、すべての色成分のサイズが(Ln, Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2, Mn/2)である。以降、第n階層の符号化ブロック５をBnとし、Bnで選択しうる符号化モード７をm(Bn)と記す。複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)７は各色成分ごとにそれぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行うが、本発明は任意の映像フォーマット、色成分、符号化モードに適用できる。
符号化モードm(Bn)７には、１つないし複数のイントラ符号化モード(総称してINTRAと呼ぶ)、１つないし複数のインター符号化モード(総称してINTERと呼ぶ)があり、符号化制御部３は、後述する選択方法に基づいて、当該ピクチャで利用可能な全てのモードないしそのサブセットの中から、符号化ブロックBn５に対して最も符号化効率のよい符号化モードを選択する。
なお、図４に示すように、Bnはさらに１つないし複数の予測処理単位（パーティション）に分割される。Bnに属するパーティションを以降、Pi n（i: 第n階層におけるパーティション番号）と表記する。Bnのパーティション分割がどのようになされているかは符号化モードm(Bn)７の中に情報として含まれる。パーティションPi nはすべて符号化モードm(Bn)７に従って予測処理が行われるが、パーティションごとに個別の予測パラメータを選択できる。
符号化制御部３は、最大符号化ブロックに対して、例えば図５に示すようなブロック分割状態を生成して、符号化ブロック５を特定する。同図(a)の網がけ部分は分割後のパーティションの分布を、また、(b)には階層分割によって符号化モードm(Bn)７が割り当てられる状況を4分木グラフで図示する。(b)の□で囲んだノードが、符号化モード７が割り当てられたノード、すなわち符号化ブロック５である。符号化制御部３におけるこのような階層分割・符号化モード判定の詳細な処理は後述する。
符号化ブロック５においてイントラ符号化モードが選択された場合(m(Bn)∈INTRAの場合)は（図３のステップS3でYes）、図２のイントラ予測部８において、イントラ予測パラメータ１０に基づいて、Bn内の各パーティションPi nに対するイントラ予測処理が行われ、生成されるイントラ予測画像１１が減算部１２へ出力される(図３のステップS4)。イントラ予測画像１１の生成に用いられたイントラ予測パラメータ１０は、復号装置側でまったく同じイントラ予測画像１１を生成するために、可変長符号化部２３によってビットストリーム３０に多重化される。本実施の形態１におけるイントラ予測処理は、AVC/H.264規格(ISO/IEC 14496-10)に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、符号化装置側と復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。
符号化ブロック５においてインター符号化モードが選択された場合(m(Bn)∈INTERの場合)は（図３のステップS3でNo）、図２の動き補償予測部９において、インター予測パラメータ１６に基づいて、各パーティションPi nに対するフレーム間動き予測処理が行われ、生成されるインター予測画像１７が減算部１２へ出力されるとともに動きベクトル３１が可変長符号化部２３に出力される(図３のステップS5)。インター予測画像１７の生成に用いられたインター予測パラメータ１６は、復号装置側でまったく同じインター予測画像１７を生成するために、可変長符号化部２３によってビットストリーム３０に多重化される。
インター予測画像の生成に用いられたインター予測パラメータには、
・符号化ブロックＢn内のパーティション分割を記述するモード情報
・各パーティションの動きベクトル
・動き補償予測フレームメモリ１４内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報
・複数の動きベクトル予測値候補がある場合にいずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
・複数の動き補償内挿フィルタがある場合にいずれのフィルタを選択して使用するかを示すインデックス情報
・当該パーティションの動きベクトルが複数の画素精度(半画素、1/4画素、1/8画素など)を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
などの情報を含み、復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部２３によってビットストリームに多重化される。動き補償予測部９の詳細な処理内容は後述する。
減算部１２は、イントラ予測画像１１、またはインター予測画像１７のいずれか一方をパーティションPi nから差し引いて、予測差分信号ei n１３を得る(図３のステップS6)。変換・量子化部１９は、予測差分信号ei n１３に対して、符号化制御部３から指示される予測差分符号化パラメータ２０に基づいて、ＤＣＴ(離散コサイン変換)やあらかじめ特定の学習系列に対して基底設計がなされたKL変換等の直交変換処理を実施して変換係数を算出すると共に、その変換係数を、符号化制御部３から指示される予測差分符号化パラメータ２０に基づいて量子化し（図３のステップS7）、量子化後の変換係数である圧縮データ２１を逆量子化・逆変換部２２（図３のステップS8で逆量子化・逆変換処理部）および可変長符号化部２３（図３のステップS8で可変長符号化部）へ出力する。
逆量子化・逆変換部２２は、変換・量子化部１９から入力された圧縮データ２１を、符号化制御部３から指示される予測差分符号化パラメータ２０に基づいて逆量子化し、さらに逆ＤＣＴ、逆KL変換等の逆変換処理を実施することで予測差分信号ei n１３の局所復号予測差分信号ei n'２４を生成し、加算部２５へ出力する(図２のステップS9)。
予測差分符号化パラメータ２０は、符号化ブロック５の領域ごとに、その内部の予測差分信号ei n１３の符号化に用いる量子化パラメータ、変換ブロックサイズの情報を含む。予測差分符号化パラメータ２０は、符号化制御部３において、図３のステップS2の符号化モード判定の一環として決定される。量子化パラメータは、最大符号ブロックの単位でひとつ割り当て、それらを分割した符号化ブロック単位で共通に使用する形式でもよいし、各符号化ブロックごとに最大符号化ブロックの値からの差分値として表現するようにしてもよい。変換ブロックサイズ情報は、符号化ブロック５を起点として最大符号化ブロックの分割と同様、四分木分割表現がされていてもよいし、いくつかの選択可能な変換ブロックサイズがインデックス情報として表現された形式でもよい。変換・量子化部１９、逆量子化・逆変換部２２は、この変換ブロックサイズの情報に基づいて変換・量子化処理のブロックサイズを特定して処理を行う。なお、この変換ブロックサイズの情報は、符号化ブロック５ではなく、符号化ブロック５を分割するパーティションPi nを単位として決定するように構成されていてもよい。
加算部２５は、局所復号予測差分信号ei n'２４と、イントラ予測画像１１またはインター予測画像１７とを加算して局所復号パーティション画像Pi n'ないしその集まりとしての局所復号符号化ブロック画像Bn' (以下、局所復号画像)２６を生成し（図３のステップS10）、この局所復号画像２６をループフィルタ部２７へ出力すると共に（図３のステップS11でループフィルタ部）、イントラ予測用メモリ２８に格納する(図３のステップS11でイントラ予測用メモリ)。局所復号画像２６が以降のイントラ予測用の画像信号となる。
出力先がイントラ予測用メモリの場合、続いて、ピクチャ中の全ての符号化ブロックを処理したかどうかを判定し、全符号化ブロックの処理が終了していなければ次の符号化ブロックへ以降して同様の符号化処理を繰り返す（図３のステップS12）。
加算部２５の出力先がループフィルタ部２７の場合、ループフィルタ部２７は、加算部２５から出力された局所復号画像２６に対し、所定のフィルタリング処理を行い、フィルタリング処理後の局所復号画像２９を動き補償予測フレームメモリ１４に格納する(図３のステップS13)。このフィルタリング処理後の局所復号画像２９が動き補償予測用の参照画像１５となる。ループフィルタ部２７によるフィルタリング処理は、入力される局所復号画像信号２６の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号２６が入力された後に１画面分まとめて行ってもよい。
可変長符号化部２３は、変換・量子化部１９から出力された圧縮データ２１と、符号化制御部３から出力される(最大符号化ブロックの分割状態を含む)符号化モード７と、イントラ予測パラメータ１０ないしインター予測パラメータ１６、予測差分符号化パラメータ２０とをエントロピー符号化して、それらの符号化結果を示すビットストリーム３０を生成する（図３のステップS14）。
以下、本発明のポイントとなる動き補償予測部９について述べる。本実施の形態１では、図６に示すように、ピクチャを格子状に矩形領域分割し(以下、各分割単位をタイルと呼ぶ)、タイルごとに独立に動き補償予測を行う構成をとる。タイルの水平・垂直方向のサイズは最大符号化ブロックのサイズの倍数とする。タイルの分割状態は符号化装置側で固定的・一意に定めるようにしてもよいし(この場合、復号装置ではタイルという構造は意識せずに復号処理を行う)、動き補償予測以外の処理に対しても独立の処理が行えることを想定し、各タイルの左上隅位置やサイズをそれぞれ自由に決定できるように、復号装置側にビットストリームを介して伝達する仕組みを備えるようにしてもよい。なお、タイルは、従来のAVC/H.264等で用いられているスライスであってもかまわない。動き補償予測部９は、タイル内の各符号化ブロック５に対して処理を実行する。これにより、ピクチャ内を画面分割して動き補償予測の処理を並列に実行することができるため、入力映像信号が高解像度映像であっても高速に符号化処理を行うことができる。
図７に動き補償予測部９の構成を示す。まず、動き情報生成部１００は、参照画像１５を参照して動きベクトル探索を行ったり、動き情報メモリ１０１に保持される複数の符号化済ブロックの動き情報１０２を参照するなどして、符号化ブロック５内の各パーティションPi nに関する動き情報１０３を生成し、インター予測画像生成部１０４に出力する。この際、動き情報生成部１００は、動き補償予測に用いることのできる参照画像１５上の領域(以下、有意参照画像領域)を、所定の領域（例えばカレントのタイル領域）に限定するか否かを示す参照画像制限フラグ１０５の値に基づいて、動き情報の生成を行う。
図８、９にこの様子を示す。参照画像制限フラグ１０５がONすなわち「有意参照画像領域をカレントのタイル領域とする」場合（図８）、カレントパーティションを動きベクトルで動かした場合に、移動させた位置のパーティション内の画素の一部が有意参照画像領域の外部に位置する場合、有意参照画像領域の端点に位置する画素を所定の方法で拡張して仮想的に予測画像となる画素を生成する処置を行う。拡張の方法には、端点画素を繰り返す方法や、端点画素を中心にミラーリングを行って有意参照画像領域内の画素を補填する方法などがある。このようにすることで、参照ピクチャのメモリはタイルのサイズ分に制限することができるため、使用メモリを削減できる利点がある。使用するメモリを制限しても、所定の方法で画素を拡張することでタイル外も参照可能となるため、図１のように動きベクトル探索の範囲を強制的に狭める必要がなく、符号化効率の改善に寄与する。
一方、参照画像制限フラグ１０５がOFFすなわち「有意参照画像領域に制限が無い」場合（図９）は、動き情報生成部１００によって生成される動きベクトルは、カレントパーティションを動きベクトルで動かした場合に、移動させた位置のパーティション内の全ての画素が有意参照画像領域（ピクチャ）内に存在するように決定される。使用可能なメモリに制限がない場合（参照画像分のメモリを確保できる場合）は、参照画像内すべての画素を参照可能であるため、符号化効率を向上できるという利点がある。また、参照画像制限フラグ１０５がOFFで、符号化装置の構成上、使用できるメモリに制限がある場合は動きベクトル探索はタイル内の画素のみを参照するように探索範囲を定めればよいし（図１(b)の場合）、複数の符号化済みブロックの動き情報を参照して動き情報を生成する場合は、符号化済みブロックの動き情報のうちタイル外を参照する動きベクトルがあればそれを除外したり、補正したりするように構成すればよい。有意参照画像領域の端点での画素拡張を行わないことで、処理量を抑制することが可能であるため、画素拡張を行っても予測性能が向上しないような場合は参照画像制限フラグ１０５をOFFに設定するなどの制御を行うことも可能である。
インター予測画像生成部１０４は入力された動き情報１０３と、参照画像１５、参照画像制限フラグ１０５とに基づいて、インター予測画像１７を生成し出力する。参照画像制限フラグ１０５がONの場合は、動きベクトル（動き情報１０３）によって移動させた位置のパーティション領域について、タイル内に属する画素はタイル内の参照画像データで、タイル外に属する画素は、動き情報生成部１００で用いた方法と同一の手順で仮想的に参照画像データを生成してインター予測画像１７を得る。一方、参照画像制限フラグ１０５がOFFの場合はピクチャ全体で予測を行うものと解釈する。参照画像制限フラグ１０５は可変長符号化部２３に入力され、シーケンス単位等の上位シンタックスパラメータとしてエントロピー符号化されビットストリーム３０に多重される。なお、後述するようにインター予測画像生成部１０４で生成されるインター予測画像１７は復号装置側で得られるインター予測画像７２と等価なデータである必要がある。
以上の構成を有する動き補償予測部９により、動き情報生成処理をタイル単位で独立に動作させる場合でも、動きベクトル探索ないし符号化済みブロックの動きベクトルから予測・生成して得られた動きベクトルを最適に生成し、それにより生成される予測画像が常に復号装置側で得られる予測画像と一致するようにできる効果がある。
次に本実施の形態の画像符号化装置が出力するビットストリーム３０を復号する画像復号装置について説明する。図１０は、この発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。また、図１１に図１０の画像復号装置のピクチャレベルの処理フローを示す。以下、これらの図を用いて、本実施の形態１の画像復号装置の動作を説明する。
可変長復号部６１は、本実施の形態１に係る画像復号装置がビットストリーム３０を受け取ると、そのビットストリーム３０を可変長復号処理して(図１１のステップS21)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。本実施の形態1に係る画像符号化装置で決定された最大符号化ブロックサイズおよび分割階層数上限を符号化装置と同様の手順で決定する(図１１のステップS22)。例えば最大符号化ブロックサイズが入力映像信号の解像度に応じて決められた場合には、復号したフレームサイズに基づいて、符号化装置と同様の手順で最大符号化ブロックサイズを決定する。最大符号化ブロックサイズおよび分割階層数上限が符号化装置側でビットストリーム３０に多重化された場合には、ビットストリーム３０から復号した値を用いる。本実施の形態１に係る画像符号化装置は、図４で示されるように最大符号化ブロックを出発点に階層的に複数の符号化ブロックへ分割して得られる符号化ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリーム３０に多重化する。
当該ビットストリーム３０を受け取った可変長復号部６１は、決定された最大符号化ブロック単位に符号化モードに含まれる最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する(図１１のステップS23)。
次に特定された符号化ブロックに割り当てられた符号化モード６２を復号する。復号した符号化モード６２に含まれる情報に基づき、符号化ブロックをさらに１つないし複数の予測処理単位(パーティション)に分割した単位で予測パラメータ６３を復号する(図１１のステップS24)。
符号化ブロックに割り当てられた符号化モード６２がイントラ符号化モードの場合、符号化ブロックに含まれ、予測処理単位となる1つ以上のパーティションごとにイントラ予測パラメータ６３aを復号する。イントラ予測パラメータ６３aの復号は、符号化装置側と同じ手順で周辺の復号済みパーティションのイントラ予測パラメータ６３aに基づき、復号対象であるパーティションPi nのイントラ予測パラメータ６３aの予測値を算出し、算出した予測値を用いて復号する。
符号化ブロックに割り当てられた符号化モード６２がインター符号化モードの場合、符号化ブロックに含まれ、予測処理単位となる1つ以上パーティションごとにインター予測パラメータ６３ｂを復号する。
予測処理単位となるパーティションはさらに予測差分符号化パラメータ６５に含まれる変換ブロックサイズ情報（図示せず）に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティションごとに圧縮データ(変換・量子化後の変換係数)を復号する(図１１のステップS24)。
可変長復号部６１の出力先が切替スイッチの場合で（図１１のステップS25で切替スイッチ）、符号化ブロックに割り当てられた符号化モード６２がイントラ符号化モードの場合（図１１のステップS26でYes）イントラ予測部６９では、復号したイントラ予測パラメータ６３aに基づき、符号化ブロック内の各パーティションに対するイントラ予測処理が行われ(図１１のステップS27)、生成されるイントラ予測画像７１が加算部７３へ出力される。イントラ予測パラメータ６３aに基づくイントラ予測処理は、符号化装置側のイントラ予測部８における処理と同じである。
符号化ブロックに割り当てられた符号化モード６２がインター符号化モードの場合（図１１のステップS26でNo）、動き補償部７０では、復号したインター予測パラメータ６３ｂ（動きベクトルを含む）に基づき、符号化ブロック内の各パーティションに対するフレーム間動き予測処理が行われ(図１１のステップS28)、生成されるインター予測画像７２が加算部７３へ出力される。
一方、可変長復号部６１の出力先が逆量子化・逆変換部６６である場合（図１１のステップS25で逆量子化・逆変換部）、逆量子化・逆変換部６６は、可変長復号部６１から変換処理単位ごとに入力される圧縮データ６４を、予測差分符号化パラメータ６５に含まれる量子化パラメータに基づいて逆量子化し、さらに逆ＤＣＴ，逆ＫＬ変換等の逆変換処理を実施することで復号予測差分信号６７を生成し(図１１のステップS29)、加算部７３へ出力する。
加算部７３は、復号予測差分信号６７とイントラ予測画像７１またはインター予測画像７２とを加算して復号パーティション画像を生成し(図１１のステップS30)、符号化ブロック内に含まれる１つないし複数の復号パーティションの集まりとして、復号パーティション画像７４をループフィルタ部７８へ出力するとともにイントラ予測用メモリ７７に格納する。復号パーティション画像７４が以降のイントラ予測用の画像信号となる。
ループフィルタ部７８は、全符号化ブロックの処理後（図１１のステップS31でYes）符号化装置側のループフィルタ部２７と同じフィルタリング処理を行い(図１１のステップS32)、フィルタリング処理後の復号画像７９を動き補償予測フレームメモリ７５に格納する。この復号画像７９がその後の動き補償処理用の参照画像７６となるとともに再生画像となる。
以下、本発明の特徴である動き補償部７０について説明する。動き補償部７０の内部構成を図１２に示す。まず、動き情報生成部２００が、可変長復号部６１から与えられるインター予測パラメータ６３ｂと、動き情報メモリ２０１に保持される複数の符号化済ブロックの動き情報２０２を参照するなどして、動きベクトルを含む各パーティションPi nに関する動き情報２０３を生成し、インター予測画像生成部２０４に入力する。インター予測画像生成部２０４は入力された動き情報２０３と、動き補償予測用の参照画像７６、可変長復号部６１においてビットストリーム３０から復号された参照画像制限フラグ１０５とに基づいて、インター予測画像７２を生成し出力する。参照画像制限フラグ１０５がONの場合は、動きベクトルによって移動させた位置のパーティション領域について、タイル内に属する画素はタイル内の参照画像データで、タイル外に属する画素は、動き情報生成部１００で用いた方法と同一の手順で仮想的に参照画像データを生成して予測画像を得る。
一方、参照画像制限フラグ１０５がOFFの場合は、参照画像の使用範囲に特に制限はなく、動き情報生成部１００で用いた方法と同一の手順で参照画像から予測画像を得る。なお、前述したようにインター予測画像生成部２０４で生成されるインター予測画像７２は、符号化装置側で得られるインター予測画像１７と等価なデータである必要があるが、参照画像制限フラグ１０５を導入することによって、符号化装置で動きベクトル探索処理がタイルなどの単位で並列処理されていても、符号化・復号時の予測画像のミスマッチを回避することができ、安定かつ高能率な符号化を行うことができる。
また、本実施の形態１では、参照画像制限フラグ１０５がONのときにタイル外の画素を仮想的に拡張して生成するように構成したが、図１３のように、タイル外の参照可能エリアをカスタマイズできるように構成してもよい。図１３は、有意参照画像領域を拡張した場合の、参照画像制限フラグ１０５がONのケースの動作を示す。有意参照画像領域範囲を指定するパラメータdx,dyはプロファイル・レベルなどであらかじめ固定の値として決めておいてもよいし、シーケンスヘッダやピクチャヘッダなど上位ヘッダの一部としてビットストリームに多重してもよい。上位ヘッダで規定されるものとすることで、装置の性能に応じて参照エリアを決められるようになるため、性能と実装負荷のバランスをとることが可能となる。この場合であっても、有意参照画像領域外を参照する場合は、図８等で説明したように、仮想的に画素を拡張して予測画像を生成することが可能である。
なお、上記複数の符号化済みブロックから動き情報を生成する場合の例として、図１４に示すように、動き情報メモリ１０１ないし２０１に保持される、符号化済みの周囲のブロック、参照画像上で空間的に同じ位置にあるブロックの動き情報(動きベクトル、参照画像インデックス，予測方向など)をそのまま継承して用いるモードが考えられる。このモードに対応する動き情報を得るためには、参照画像制限フラグ１０５に基づいて、動き情報として使用できる候補のみを残して動き情報を生成するようにすればよい。図１４では、MV_Aに対応する候補が有意参照画像領域の外を指しているため、これを除き、MV_B、MV_Cに対応する候補のみを本モードに対応する動き情報として選択可能とする。MV_Aを除外しない場合、indexは０，１，２の3種類となり、indexとして符号化する情報量が多くなる。除外措置を行うことで、indexに要する符号量も抑制できる効果がある。
本実施の形態１では、参照画像制限フラグ１０５をシーケンスなどの上位ヘッダシンタックスとしてビットストリーム３０に多重するとしたが、本フラグに相当する制約をプロファイル、レベルなどで規定しても同様の効果が得られる。
本実施の形態１では、図４に示すようなLn = Mnのケースを示したが、これはLn ≠ Mnであってもよい。例えば図１５に示すように、Ln = kMnとなる場合が考えられる。次の分割では、(Ln+1, Mn+1) = (Mn, Mn)となり、以降の分割は図４と同様の分割を行ってもよいし図１６に示すように、(Ln+1, Mn+1) = (Ln/2, Mn/2)であってもよい。または図１７のように図１５と図１６の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかのフラグを符号化する。このケースは、例えば非特許文献１のAVC/H.264のような16x16を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持した符号化がやりやすい効果がある。
上記ではLn = kMnとしたが、これはkLn = Mnのように縦に連結したものであっても同様の考えで分割が可能であることはいうまでもない。
量子化・変換部、逆量子化・逆変換部の変換ブロック単位は変換処理単位によって一意に決定してもよいし、図１８に示すように階層構造にしてもよい。この場合、各階層では分割するかどうかのフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし符号化ブロック単位で行ってもよい。
上記変換は正方形での変換を仮定したが、これは長方形など他の矩形であってもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係る画像符号化装置、画像復号装置、画像符号化方法および画像復号方法は、高解像度映像などの処理負荷の高い運用においても高能率な画像符号化・復号処理を行うことができるので、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法などに用いるのに適している。
２ ブロック分割部、３ 符号化制御部、６ 切替スイッチ、８ イントラ予測部、９ 動き補償予測部、１２ 減算部、１４ 動き補償予測フレームメモリ、１９ 変換・量子化部、２２ 逆量子化・逆変換部、２３ 可変長符号化部、２５ 加算部、２７ ループフィルタ部、２８ イントラ予測用メモリ、６１ 可変長復号部、６６ 逆量子化・逆変換部、６８ 切替スイッチ、６９ イントラ予測部、７０ 動き補償部、７３ 加算部、７５ 動き補償予測フレームメモリ、７７ イントラ予測用メモリ、７８ ループフィルタ部、１００ 動き情報生成部、１０１ 動き情報メモリ、１０４ インター予測画像生成部、２００ 動き情報生成部、２０１ 動き情報メモリ、２０４ インター予測画像生成部。
本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。
ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４（以下、ＡＶＣ／Ｈ．２６４と記す）などの従来の国際標準映像符号化方式では、輝度信号１６×１６画素とそれに対応する２つの色差信号８×８画素分をまとめたブロックデータ(以下、マクロブロック)を単位として、動き補償予測技術及び直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。動き補償予測では前方または後方の符号化済みピクチャを参照画像として用いてマクロブロック単位で動きベクトル探索および予測画像の生成を行う。1枚のピクチャのみを参照して画面間予測符号化を行うピクチャをPピクチャと呼び、2枚のピクチャを同時に参照して画面間予測符号化を行うピクチャをBピクチャと呼ぶ。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
一般に、従来の符号化方式によって高解像度映像の符号化処理を行う場合には、画面1面分のメモリサイズが大きく、かつ動き探索処理の負荷が膨大となるため、フレームを一定のサイズの小領域(従来の符号化方式では、スライスという処理単位を利用することもある)の単位に画面分割して、動きベクトル探索に伴うメモリアクセス範囲を制限しつつ、並列に動きベクトル探索を処理する構成をとることがある(図１９)。この際、装置構成上、各動き探索処理単位がアクセスできる参照画像メモリ領域を制限する必要が生じることがある。このような場合、最適動きベクトルが探索できないことがある。
本発明はこのような問題を解決するためになされたものであり、メモリ量やメモリアクセス量が限られた符号化装置であっても、画面分割を行い、安定して高効率な高解像度画像の符号化、復号が可能な映像符号化方法を提供する画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法を提供することを目的とする。
本発明に係る画像符号化装置は、動画像信号の各ピクチャの所定の符号化単位となる符号化ブロックに分割して、該符号化ブロックごとに動き補償予測を用いて圧縮符号化を行う動画像符号化装置において、該符号化ブロックないしそれを分割した単位である動き補償予測単位領域ごとに選択された動きベクトルを用いて、動き補償予測単位領域に対する予測画像を生成する動き補償部と、予測画像に対応する入力信号と予測画像との差分画像を圧縮した圧縮データ、動きベクトルに関する情報を可変長符号化してビットストリームを生成するとともに、動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を予め定められたサイズ及び形状を有する領域に限定するか否かを示す参照画像制限フラグをビットストリームに多重化する可変長符号化部とを備え、動き補償部は、参照画像制限フラグに基づいて有意参照画像領域を特定し、予測画像が有意参照画像領域外の画素を含む場合、所定の拡張処理を行うものである。
この発明によれば、ピクチャを画面分割した単位で並列に動きベクトル検出ないし生成する符号化装置と、それを使用して動き補償予測画像を生成する復号装置において、少ないメモリ量かつメモリアクセスで効率的に最適な動きベクトルを利用できるように構成したので、高解像度映像などの処理負荷の高い運用においても高能率な画像符号化・復号処理を行うことができる効果がある。
この発明の実施の形態１による画像符号化装置の特徴を説明する説明図である。 この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の動作を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックへ分割される様子を説明する図面である。 最大符号化ブロックが階層的に複数の符号化ブロックへ分割された結果の例を示す図面である。 この発明の実施の形態１による動き補償予測部９の処理単位となるタイルの説明図である。 この発明の実施の形態１における動き補償予測部９を示す構成図である。 この発明の実施の形態１における参照画像制限フラグ１０５の説明図である。 この発明の実施の形態１における参照画像制限フラグ１０５の説明図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の動作を示すフローチャートである。 この発明の実施の形態１による動き補償部７０を示す構成図である。 この発明の実施の形態１におけるタイル外の参照可能エリアのカスタマイズを示す構成図である。 この発明の実施の形態１における複数の符号化済みブロックから動き情報を生成する場合を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 この発明の実施の形態１における階層的に複数の符号化ブロックへ分割する例を示す構成図である。 従来の符号化方式を説明する説明図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１を用いて、本発明の実施の形態１の符号化装置（復号装置）の特徴となる部分について説明する。同図では、符号化時の動きベクトル探索を、フレーム水平サイズをw、分割領域の垂直方向ライン数をhとした w*h の領域を所定の画面分割単位として実行する例を示す。w*hの領域が有意な画像データとして参照画像をアクセスできる領域(以下、有意参照画像領域)であるとする。この際、予測画像の良さを最大限にするように動きベクトル探索を行うことを考えると、理想的には同図(a)のように、予測画像の一部が有意参照画像領域の外部を指す場合も許容することが望ましい。しかし、このような有意参照画像領域外のデータは、動きベクトル探索を行う回路にとっては存在しないため、実際には、同図(b)のように、動きベクトル探索の範囲を強制的に狭めて、有意参照画像領域にアクセスを完結させるような動きベクトルを見つける必要がある。
一方、復号装置側では、同図(c)のように、負荷の高い動きベクトル探索処理を実行しないため、画面分割を行って並列処理を行う必要性は低い。こうした場合には、有意予測画像領域自体が分割されないため、(a),(b)のいずれの動きベクトルであっても、予測画像ブロック内の画素すべてを有意な参照画像データから生成することができる。つまり、復号装置側では理想的な動きベクトルを受信しても問題なく予測画像が生成できるにも関わらず、符号化側で理想的な動きベクトルを探索できない、という問題が生じる。
以下に実施の形態１における画像符号化装置および画像復号装置について説明する。
本実施の形態１では、映像の各フレーム画像を入力として、近接フレーム間で動き補償予測を行い、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施した後、可変長符号化を行ってビットストリームを生成する画像符号化装置と、当該画像符号化装置が出力するビットストリームを復号する画像復号装置について説明する。
本実施の形態１の画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴とする。一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を持つ。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分差信号を生成して全体の符号量を削減する処理を行うが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。一方、時間的・空間的に変化の大きい画像信号パターンに対しては、同一の予測パラメータを大きな画像領域に適用することで予測の誤りが増え、予測差分信号の符号量が削減できない。そこで、そういった領域では、予測対象の領域を小さくし、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。このような映像信号の一般的な性質に適応した符号化を行うため、本実施の形態１の符号化装置は、所定の最大ブロックサイズからはじめて階層的に映像信号の領域分割を行い、分割された領域ごとに予測、およびその予測差分の符号化処理を適応化させる構成をとる。
本実施の形態１の画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。各画素の階調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。ただし、以下の説明においては、特に断らない限り、入力映像信号はYUV信号とし、かつ2つの色差成分U,Vが輝度成分Yに対してサブサンプルされた4：2：0フォーマットの信号を扱う場合について述べるが、本発明はU,Vのサンプリング間隔が異なる他フォーマットにも適用できる（例えば4：2：2フォーマットや4：4：4フォーマットなど）。また、映像の各フレームに対応する処理データ単位を「ピクチャ」と呼ぶ。本実施の形態１においては、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号、として以下の説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
図２は、この発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
また、図３に図２の画像符号化装置のピクチャレベルの処理フローを示す。以下、これらの図を用いて、本実施の形態１の画像符号化装置の動作を説明する。図２に示す画像符号化装置は、まず、符号化制御部３において、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図３のステップS1)。最大符号化ブロックのサイズの決め方としては、例えば入力映像信号１の解像度に応じてすべてのピクチャに対して同じサイズに定めてもよいし、入力映像信号１の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャでは小さいサイズ、動きが少ないピクチャでは大きいサイズ、のように定めてもよい。分割階層数上限は例えば入力映像信号１の動きが激しい場合は階層数を深くしてより細かい動きが検出できるように設定し、動きが少ない場合は階層数を抑えるように設定するなどの方法がある。
次いで、ブロック分割部２において、ピクチャを上記定めた最大符号化ブロックサイズで分割する。符号化制御部３は、最大符号化ブロックサイズの画像領域ごとに、上記定めた分割階層数上限に至るまで、階層的に符号化ブロックサイズ４と各符号化ブロックに対する符号化モード７を決定する。そして、ブロック分割部２は、符号化ブロックサイズ４にしたがってさらにブロックを分割し符号化ブロック５を出力する（図３のステップS2）。
図４に、最大符号化ブロックが階層的に複数の符号化ブロック５へ分割される様子の例を示す。最大符号化ブロックは、図４において「第０階層」と記された輝度成分で(L0, M0)のサイズをもつ符号化ブロック、として定義する。最大符号化ブロックを出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって符号化ブロック５を得る。深さnにおいては、符号化ブロック５はサイズ(Ln, Mn)の画像領域である。LnはMnと同じであってもよいし異なっていてもよいが、図４ではLn = Mnのケースを示す。
以降、符号化ブロックサイズ４は、符号化ブロック５の輝度成分におけるサイズ(Ln, Mn)と定義する。４分木分割を行うため、常に(Ln+1, Mn+1) = (Ln/2, Mn/2)が成り立つ。なお、RGB信号など、すべての色成分が同一サンプル数をもつカラー映像信号(4:4:4フォーマット)では、すべての色成分のサイズが(Ln, Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2, Mn/2)である。以降、第n階層の符号化ブロック５をBnとし、Bnで選択しうる符号化モード７をm(Bn)と記す。複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)７は各色成分ごとにそれぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行うが、本発明は任意の映像フォーマット、色成分、符号化モードに適用できる。
符号化モードm(Bn)７には、１つないし複数のイントラ符号化モード(総称してINTRAと呼ぶ)、１つないし複数のインター符号化モード(総称してINTERと呼ぶ)があり、符号化制御部３は、後述する選択方法に基づいて、当該ピクチャで利用可能な全てのモードないしそのサブセットの中から、符号化ブロックBn５に対して最も符号化効率のよい符号化モードを選択する。
なお、図４に示すように、Bnはさらに１つないし複数の予測処理単位（パーティション）に分割される。Bnに属するパーティションを以降、Pi n（i: 第n階層におけるパーティション番号）と表記する。Bnのパーティション分割がどのようになされているかは符号化モードm(Bn)７の中に情報として含まれる。パーティションPi nはすべて符号化モードm(Bn)７に従って予測処理が行われるが、パーティションごとに個別の予測パラメータを選択できる。
符号化制御部３は、最大符号化ブロックに対して、例えば図５に示すようなブロック分割状態を生成して、符号化ブロック５を特定する。同図(a)の網がけ部分は分割後のパーティションの分布を、また、(b)には階層分割によって符号化モードm(Bn)７が割り当てられる状況を4分木グラフで図示する。(b)の□で囲んだノードが、符号化モード７が割り当てられたノード、すなわち符号化ブロック５である。符号化制御部３におけるこのような階層分割・符号化モード判定の詳細な処理は後述する。
符号化ブロック５においてイントラ符号化モードが選択された場合(m(Bn)∈INTRAの場合)は（図３のステップS3でYes）、図２のイントラ予測部８において、イントラ予測パラメータ１０に基づいて、Bn内の各パーティションPi nに対するイントラ予測処理が行われ、生成されるイントラ予測画像１１が減算部１２へ出力される(図３のステップS4)。イントラ予測画像１１の生成に用いられたイントラ予測パラメータ１０は、復号装置側でまったく同じイントラ予測画像１１を生成するために、可変長符号化部２３によってビットストリーム３０に多重化される。本実施の形態１におけるイントラ予測処理は、AVC/H.264規格(ISO/IEC 14496-10)に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、符号化装置側と復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。
符号化ブロック５においてインター符号化モードが選択された場合(m(Bn)∈INTERの場合)は（図３のステップS3でNo）、図２の動き補償予測部９において、インター予測パラメータ１６に基づいて、各パーティションPi nに対するフレーム間動き予測処理が行われ、生成されるインター予測画像１７が減算部１２へ出力されるとともに動きベクトル３１が可変長符号化部２３に出力される(図３のステップS5)。インター予測画像１７の生成に用いられたインター予測パラメータ１６は、復号装置側でまったく同じインター予測画像１７を生成するために、可変長符号化部２３によってビットストリーム３０に多重化される。
インター予測画像の生成に用いられたインター予測パラメータには、
・符号化ブロックＢn内のパーティション分割を記述するモード情報
・各パーティションの動きベクトル
・動き補償予測フレームメモリ１４内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報
・複数の動きベクトル予測値候補がある場合にいずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
・複数の動き補償内挿フィルタがある場合にいずれのフィルタを選択して使用するかを示すインデックス情報
・当該パーティションの動きベクトルが複数の画素精度(半画素、1/4画素、1/8画素など)を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
などの情報を含み、復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部２３によってビットストリームに多重化される。動き補償予測部９の詳細な処理内容は後述する。
減算部１２は、イントラ予測画像１１、またはインター予測画像１７のいずれか一方をパーティションPi nから差し引いて、予測差分信号ei n１３を得る(図３のステップS6)。変換・量子化部１９は、予測差分信号ei n１３に対して、符号化制御部３から指示される予測差分符号化パラメータ２０に基づいて、ＤＣＴ(離散コサイン変換)やあらかじめ特定の学習系列に対して基底設計がなされたKL変換等の直交変換処理を実施して変換係数を算出すると共に、その変換係数を、符号化制御部３から指示される予測差分符号化パラメータ２０に基づいて量子化し（図３のステップS7）、量子化後の変換係数である圧縮データ２１を逆量子化・逆変換部２２（図３のステップS8で逆量子化・逆変換処理部）および可変長符号化部２３（図３のステップS8で可変長符号化部）へ出力する。
逆量子化・逆変換部２２は、変換・量子化部１９から入力された圧縮データ２１を、符号化制御部３から指示される予測差分符号化パラメータ２０に基づいて逆量子化し、さらに逆ＤＣＴ、逆KL変換等の逆変換処理を実施することで予測差分信号ei n１３の局所復号予測差分信号ei n'２４を生成し、加算部２５へ出力する(図２のステップS9)。
予測差分符号化パラメータ２０は、符号化ブロック５の領域ごとに、その内部の予測差分信号ei n１３の符号化に用いる量子化パラメータ、変換ブロックサイズの情報を含む。予測差分符号化パラメータ２０は、符号化制御部３において、図３のステップS2の符号化モード判定の一環として決定される。量子化パラメータは、最大符号ブロックの単位でひとつ割り当て、それらを分割した符号化ブロック単位で共通に使用する形式でもよいし、各符号化ブロックごとに最大符号化ブロックの値からの差分値として表現するようにしてもよい。変換ブロックサイズ情報は、符号化ブロック５を起点として最大符号化ブロックの分割と同様、四分木分割表現がされていてもよいし、いくつかの選択可能な変換ブロックサイズがインデックス情報として表現された形式でもよい。変換・量子化部１９、逆量子化・逆変換部２２は、この変換ブロックサイズの情報に基づいて変換・量子化処理のブロックサイズを特定して処理を行う。なお、この変換ブロックサイズの情報は、符号化ブロック５ではなく、符号化ブロック５を分割するパーティションPi nを単位として決定するように構成されていてもよい。
加算部２５は、局所復号予測差分信号ei n'２４と、イントラ予測画像１１またはインター予測画像１７とを加算して局所復号パーティション画像Pi n'ないしその集まりとしての局所復号符号化ブロック画像Bn' (以下、局所復号画像)２６を生成し（図３のステップS10）、この局所復号画像２６をループフィルタ部２７へ出力すると共に（図３のステップS11でループフィルタ部）、イントラ予測用メモリ２８に格納する(図３のステップS11でイントラ予測用メモリ)。局所復号画像２６が以降のイントラ予測用の画像信号となる。
出力先がイントラ予測用メモリの場合、続いて、ピクチャ中の全ての符号化ブロックを処理したかどうかを判定し、全符号化ブロックの処理が終了していなければ次の符号化ブロックへ以降して同様の符号化処理を繰り返す（図３のステップS12）。
加算部２５の出力先がループフィルタ部２７の場合、ループフィルタ部２７は、加算部２５から出力された局所復号画像２６に対し、所定のフィルタリング処理を行い、フィルタリング処理後の局所復号画像２９を動き補償予測フレームメモリ１４に格納する(図３のステップS13)。このフィルタリング処理後の局所復号画像２９が動き補償予測用の参照画像１５となる。ループフィルタ部２７によるフィルタリング処理は、入力される局所復号画像信号２６の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号２６が入力された後に１画面分まとめて行ってもよい。
可変長符号化部２３は、変換・量子化部１９から出力された圧縮データ２１と、符号化制御部３から出力される(最大符号化ブロックの分割状態を含む)符号化モード７と、イントラ予測パラメータ１０ないしインター予測パラメータ１６、予測差分符号化パラメータ２０とをエントロピー符号化して、それらの符号化結果を示すビットストリーム３０を生成する（図３のステップS14）。
以下、本発明のポイントとなる動き補償予測部９について述べる。本実施の形態１では、図６に示すように、ピクチャを格子状に矩形領域分割し(以下、各分割単位をタイルと呼ぶ)、タイルごとに独立に動き補償予測を行う構成をとる。タイルの水平・垂直方向のサイズは最大符号化ブロックのサイズの倍数とする。タイルの分割状態は符号化装置側で固定的・一意に定めるようにしてもよいし(この場合、復号装置ではタイルという構造は意識せずに復号処理を行う)、動き補償予測以外の処理に対しても独立の処理が行えることを想定し、各タイルの左上隅位置やサイズをそれぞれ自由に決定できるように、復号装置側にビットストリームを介して伝達する仕組みを備えるようにしてもよい。なお、タイルは、従来のAVC/H.264等で用いられているスライスであってもかまわない。動き補償予測部９は、タイル内の各符号化ブロック５に対して処理を実行する。これにより、ピクチャ内を画面分割して動き補償予測の処理を並列に実行することができるため、入力映像信号が高解像度映像であっても高速に符号化処理を行うことができる。
図７に動き補償予測部９の構成を示す。まず、動き情報生成部１００は、参照画像１５を参照して動きベクトル探索を行ったり、動き情報メモリ１０１に保持される複数の符号化済ブロックの動き情報１０２を参照するなどして、符号化ブロック５内の各パーティションPi nに関する動き情報１０３を生成し、インター予測画像生成部１０４に出力する。この際、動き情報生成部１００は、動き補償予測に用いることのできる参照画像１５上の領域(以下、有意参照画像領域)を、所定の領域（例えばカレントのタイル領域）に限定するか否かを示す参照画像制限フラグ１０５の値に基づいて、動き情報の生成を行う。
図８、９にこの様子を示す。参照画像制限フラグ１０５がONすなわち「有意参照画像領域をカレントのタイル領域とする」場合（図８）、カレントパーティションを動きベクトルで動かした場合に、移動させた位置のパーティション内の画素の一部が有意参照画像領域の外部に位置する場合、有意参照画像領域の端点に位置する画素を所定の方法で拡張して仮想的に予測画像となる画素を生成する処置を行う。拡張の方法には、端点画素を繰り返す方法や、端点画素を中心にミラーリングを行って有意参照画像領域内の画素を補填する方法などがある。このようにすることで、参照ピクチャのメモリはタイルのサイズ分に制限することができるため、使用メモリを削減できる利点がある。使用するメモリを制限しても、所定の方法で画素を拡張することでタイル外も参照可能となるため、図１のように動きベクトル探索の範囲を強制的に狭める必要がなく、符号化効率の改善に寄与する。
一方、参照画像制限フラグ１０５がOFFすなわち「有意参照画像領域に制限が無い」場合（図９）は、動き情報生成部１００によって生成される動きベクトルは、カレントパーティションを動きベクトルで動かした場合に、移動させた位置のパーティション内の全ての画素が有意参照画像領域（ピクチャ）内に存在するように決定される。使用可能なメモリに制限がない場合（参照画像分のメモリを確保できる場合）は、参照画像内すべての画素を参照可能であるため、符号化効率を向上できるという利点がある。また、参照画像制限フラグ１０５がOFFで、符号化装置の構成上、使用できるメモリに制限がある場合は動きベクトル探索はタイル内の画素のみを参照するように探索範囲を定めればよいし（図１(b)の場合）、複数の符号化済みブロックの動き情報を参照して動き情報を生成する場合は、符号化済みブロックの動き情報のうちタイル外を参照する動きベクトルがあればそれを除外したり、補正したりするように構成すればよい。有意参照画像領域の端点での画素拡張を行わないことで、処理量を抑制することが可能であるため、画素拡張を行っても予測性能が向上しないような場合は参照画像制限フラグ１０５をOFFに設定するなどの制御を行うことも可能である。
インター予測画像生成部１０４は入力された動き情報１０３と、参照画像１５、参照画像制限フラグ１０５とに基づいて、インター予測画像１７を生成し出力する。参照画像制限フラグ１０５がONの場合は、動きベクトル（動き情報１０３）によって移動させた位置のパーティション領域について、タイル内に属する画素はタイル内の参照画像データで、タイル外に属する画素は、動き情報生成部１００で用いた方法と同一の手順で仮想的に参照画像データを生成してインター予測画像１７を得る。一方、参照画像制限フラグ１０５がOFFの場合はピクチャ全体で予測を行うものと解釈する。参照画像制限フラグ１０５は可変長符号化部２３に入力され、シーケンス単位等の上位シンタックスパラメータとしてエントロピー符号化されビットストリーム３０に多重される。なお、後述するようにインター予測画像生成部１０４で生成されるインター予測画像１７は復号装置側で得られるインター予測画像７２と等価なデータである必要がある。
以上の構成を有する動き補償予測部９により、動き情報生成処理をタイル単位で独立に動作させる場合でも、動きベクトル探索ないし符号化済みブロックの動きベクトルから予測・生成して得られた動きベクトルを最適に生成し、それにより生成される予測画像が常に復号装置側で得られる予測画像と一致するようにできる効果がある。
次に本実施の形態の画像符号化装置が出力するビットストリーム３０を復号する画像復号装置について説明する。図１０は、この発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。また、図１１に図１０の画像復号装置のピクチャレベルの処理フローを示す。以下、これらの図を用いて、本実施の形態１の画像復号装置の動作を説明する。
可変長復号部６１は、本実施の形態１に係る画像復号装置がビットストリーム３０を受け取ると、そのビットストリーム３０を可変長復号処理して(図１１のステップS21)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。本実施の形態1に係る画像符号化装置で決定された最大符号化ブロックサイズおよび分割階層数上限を符号化装置と同様の手順で決定する(図１１のステップS22)。例えば最大符号化ブロックサイズが入力映像信号の解像度に応じて決められた場合には、復号したフレームサイズに基づいて、符号化装置と同様の手順で最大符号化ブロックサイズを決定する。最大符号化ブロックサイズおよび分割階層数上限が符号化装置側でビットストリーム３０に多重化された場合には、ビットストリーム３０から復号した値を用いる。本実施の形態１に係る画像符号化装置は、図４で示されるように最大符号化ブロックを出発点に階層的に複数の符号化ブロックへ分割して得られる符号化ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリーム３０に多重化する。
当該ビットストリーム３０を受け取った可変長復号部６１は、決定された最大符号化ブロック単位に符号化モードに含まれる最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する(図１１のステップS23)。
次に特定された符号化ブロックに割り当てられた符号化モード６２を復号する。復号した符号化モード６２に含まれる情報に基づき、符号化ブロックをさらに１つないし複数の予測処理単位(パーティション)に分割した単位で予測パラメータ６３を復号する(図１１のステップS24)。
符号化ブロックに割り当てられた符号化モード６２がイントラ符号化モードの場合、符号化ブロックに含まれ、予測処理単位となる1つ以上のパーティションごとにイントラ予測パラメータ６３aを復号する。イントラ予測パラメータ６３aの復号は、符号化装置側と同じ手順で周辺の復号済みパーティションのイントラ予測パラメータ６３aに基づき、復号対象であるパーティションPi nのイントラ予測パラメータ６３aの予測値を算出し、算出した予測値を用いて復号する。
符号化ブロックに割り当てられた符号化モード６２がインター符号化モードの場合、符号化ブロックに含まれ、予測処理単位となる1つ以上パーティションごとにインター予測パラメータ６３ｂを復号する。
予測処理単位となるパーティションはさらに予測差分符号化パラメータ６５に含まれる変換ブロックサイズ情報（図示せず）に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティションごとに圧縮データ(変換・量子化後の変換係数)を復号する(図１１のステップS24)。
可変長復号部６１の出力先が切替スイッチの場合で（図１１のステップS25で切替スイッチ）、符号化ブロックに割り当てられた符号化モード６２がイントラ符号化モードの場合（図１１のステップS26でYes）イントラ予測部６９では、復号したイントラ予測パラメータ６３aに基づき、符号化ブロック内の各パーティションに対するイントラ予測処理が行われ(図１１のステップS27)、生成されるイントラ予測画像７１が加算部７３へ出力される。イントラ予測パラメータ６３aに基づくイントラ予測処理は、符号化装置側のイントラ予測部８における処理と同じである。
符号化ブロックに割り当てられた符号化モード６２がインター符号化モードの場合（図１１のステップS26でNo）、動き補償部７０では、復号したインター予測パラメータ６３ｂ（動きベクトルを含む）に基づき、符号化ブロック内の各パーティションに対するフレーム間動き予測処理が行われ(図１１のステップS28)、生成されるインター予測画像７２が加算部７３へ出力される。
一方、可変長復号部６１の出力先が逆量子化・逆変換部６６である場合（図１１のステップS25で逆量子化・逆変換部）、逆量子化・逆変換部６６は、可変長復号部６１から変換処理単位ごとに入力される圧縮データ６４を、予測差分符号化パラメータ６５に含まれる量子化パラメータに基づいて逆量子化し、さらに逆ＤＣＴ，逆ＫＬ変換等の逆変換処理を実施することで復号予測差分信号６７を生成し(図１１のステップS29)、加算部７３へ出力する。
加算部７３は、復号予測差分信号６７とイントラ予測画像７１またはインター予測画像７２とを加算して復号パーティション画像を生成し(図１１のステップS30)、符号化ブロック内に含まれる１つないし複数の復号パーティションの集まりとして、復号パーティション画像７４をループフィルタ部７８へ出力するとともにイントラ予測用メモリ７７に格納する。復号パーティション画像７４が以降のイントラ予測用の画像信号となる。
ループフィルタ部７８は、全符号化ブロックの処理後（図１１のステップS31でYes）符号化装置側のループフィルタ部２７と同じフィルタリング処理を行い(図１１のステップS32)、フィルタリング処理後の復号画像７９を動き補償予測フレームメモリ７５に格納する。この復号画像７９がその後の動き補償処理用の参照画像７６となるとともに再生画像となる。
以下、本発明の特徴である動き補償部７０について説明する。動き補償部７０の内部構成を図１２に示す。まず、動き情報生成部２００が、可変長復号部６１から与えられるインター予測パラメータ６３ｂと、動き情報メモリ２０１に保持される複数の符号化済ブロックの動き情報２０２を参照するなどして、動きベクトルを含む各パーティションPi nに関する動き情報２０３を生成し、インター予測画像生成部２０４に入力する。インター予測画像生成部２０４は入力された動き情報２０３と、動き補償予測用の参照画像７６、可変長復号部６１においてビットストリーム３０から復号された参照画像制限フラグ１０５とに基づいて、インター予測画像７２を生成し出力する。参照画像制限フラグ１０５がONの場合は、動きベクトルによって移動させた位置のパーティション領域について、タイル内に属する画素はタイル内の参照画像データで、タイル外に属する画素は、動き情報生成部１００で用いた方法と同一の手順で仮想的に参照画像データを生成して予測画像を得る。
一方、参照画像制限フラグ１０５がOFFの場合は、参照画像の使用範囲に特に制限はなく、動き情報生成部１００で用いた方法と同一の手順で参照画像から予測画像を得る。なお、前述したようにインター予測画像生成部２０４で生成されるインター予測画像７２は、符号化装置側で得られるインター予測画像１７と等価なデータである必要があるが、参照画像制限フラグ１０５を導入することによって、符号化装置で動きベクトル探索処理がタイルなどの単位で並列処理されていても、符号化・復号時の予測画像のミスマッチを回避することができ、安定かつ高能率な符号化を行うことができる。
また、本実施の形態１では、参照画像制限フラグ１０５がONのときにタイル外の画素を仮想的に拡張して生成するように構成したが、図１３のように、タイル外の参照可能エリアをカスタマイズできるように構成してもよい。図１３は、有意参照画像領域を拡張した場合の、参照画像制限フラグ１０５がONのケースの動作を示す。有意参照画像領域範囲を指定するパラメータdx,dyはプロファイル・レベルなどであらかじめ固定の値として決めておいてもよいし、シーケンスヘッダやピクチャヘッダなど上位ヘッダの一部としてビットストリームに多重してもよい。上位ヘッダで規定されるものとすることで、装置の性能に応じて参照エリアを決められるようになるため、性能と実装負荷のバランスをとることが可能となる。この場合であっても、有意参照画像領域外を参照する場合は、図８等で説明したように、仮想的に画素を拡張して予測画像を生成することが可能である。
なお、上記複数の符号化済みブロックから動き情報を生成する場合の例として、図１４に示すように、動き情報メモリ１０１ないし２０１に保持される、符号化済みの周囲のブロック、参照画像上で空間的に同じ位置にあるブロックの動き情報(動きベクトル、参照画像インデックス，予測方向など)をそのまま継承して用いるモードが考えられる。このモードに対応する動き情報を得るためには、参照画像制限フラグ１０５に基づいて、動き情報として使用できる候補のみを残して動き情報を生成するようにすればよい。図１４では、MV_Aに対応する候補が有意参照画像領域の外を指しているため、これを除き、MV_B、MV_Cに対応する候補のみを本モードに対応する動き情報として選択可能とする。MV_Aを除外しない場合、indexは０，１，２の3種類となり、indexとして符号化する情報量が多くなる。除外措置を行うことで、indexに要する符号量も抑制できる効果がある。
本実施の形態１では、参照画像制限フラグ１０５をシーケンスなどの上位ヘッダシンタックスとしてビットストリーム３０に多重するとしたが、本フラグに相当する制約をプロファイル、レベルなどで規定しても同様の効果が得られる。
本実施の形態１では、図４に示すようなLn = Mnのケースを示したが、これはLn ≠ Mnであってもよい。例えば図１５に示すように、Ln = kMnとなる場合が考えられる。次の分割では、(Ln+1, Mn+1) = (Mn, Mn)となり、以降の分割は図４と同様の分割を行ってもよいし図１６に示すように、(Ln+1, Mn+1) = (Ln/2, Mn/2)であってもよい。または図１７のように図１５と図１６の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかのフラグを符号化する。このケースは、例えば非特許文献１のAVC/H.264のような16x16を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持した符号化がやりやすい効果がある。
上記ではLn = kMnとしたが、これはkLn = Mnのように縦に連結したものであっても同様の考えで分割が可能であることはいうまでもない。
量子化・変換部、逆量子化・逆変換部の変換ブロック単位は変換処理単位によって一意に決定してもよいし、図１８に示すように階層構造にしてもよい。この場合、各階層では分割するかどうかのフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし符号化ブロック単位で行ってもよい。
上記変換は正方形での変換を仮定したが、これは長方形など他の矩形であってもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
２ ブロック分割部、３ 符号化制御部、６ 切替スイッチ、８ イントラ予測部、９ 動き補償予測部、１２ 減算部、１４ 動き補償予測フレームメモリ、１９ 変換・量子化部、２２ 逆量子化・逆変換部、２３ 可変長符号化部、２５ 加算部、２７ ループフィルタ部、２８ イントラ予測用メモリ、６１ 可変長復号部、６６ 逆量子化・逆変換部、６８ 切替スイッチ、６９ イントラ予測部、７０ 動き補償部、７３ 加算部、７５ 動き補償予測フレームメモリ、７７ イントラ予測用メモリ、７８ ループフィルタ部、１００ 動き情報生成部、１０１ 動き情報メモリ、１０４ インター予測画像生成部、２００ 動き情報生成部、２０１ 動き情報メモリ、２０４ インター予測画像生成部。
本発明に係る画像符号化装置は、動画像信号の各ピクチャの所定の符号化単位となる符号化ブロックに分割して、該符号化ブロックごとに動き補償予測を用いて圧縮符号化を行う動画像符号化装置において、該符号化ブロックないしそれを分割した単位である動き補償予測単位領域ごとに選択された動きベクトルを用いて、動き補償予測単位領域に対する予測画像を生成する動き補償部と、予測画像に対応する入力信号と予測画像との差分画像を圧縮した圧縮データ、動きベクトルに関する情報を可変長符号化してビットストリームを生成するとともに、動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を予め定められたサイズ及び形状を有する領域に限定するか否かを示す参照画像制限フラグをビットストリームに多重化する可変長符号化部とを備えるものである。

Claims (4)

  1. 動画像信号の各ピクチャの所定の符号化単位となる符号化ブロックに分割して、該符号化ブロックごとに動き補償予測を用いて圧縮符号化を行う動画像符号化装置において、
    該符号化ブロックないしそれを分割した単位である動き補償予測単位領域ごとに選択された動きベクトルを用いて、前記動き補償予測単位領域に対する予測画像を生成する動き補償部と、
    前記予測画像に対応する入力信号と前記予測画像との差分画像を圧縮した圧縮データ、前記動きベクトルに関する情報を可変長符号化してビットストリームを生成するとともに、前記動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を所定の領域に限定するか否かを示す参照画像制限フラグをビットストリームに多重化する可変長符号化部とを備え、
    前記動き補償部は、前記参照画像制限フラグに基づいて前記有意参照画像領域を特定し、前記予測画像が有意参照画像領域外の画素を含む場合、所定の拡張処理を行うことを特徴とする画像符号化装置。
  2. ビットストリームに多重化されている符号化データから符号化ブロックに係る圧縮データ、前記動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を所定の領域に限定するか否かを示す参照画像制限フラグ、動きベクトルの情報である動き情報を可変長復号する可変長復号部と、
    前記動き情報に基づいて、前記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測部と、
    前記符号化ブロックに係る圧縮データから生成された圧縮前の差分画像と前記予測画像とを加算して復号画像を生成する復号画像生成部とを備え、
    前記動き補償予測部は、前記予測画像を生成する際、前記参照画像制限フラグに基づき、前記動き情報を用いて、前記予測画像が有意参照画像領域外の画素を含む場合、所定の拡張処理を行って予測画像を生成することを特徴とする画像復号装置。
  3. 動画像信号の各ピクチャの所定の符号化単位となる符号化ブロックに分割して、該符号化ブロックごとに動き補償予測を用いて圧縮符号化を行う動画像符号化方法において、
    該符号化ブロックないしそれを分割した単位である動き補償予測単位領域ごとに選択された動きベクトルを用いて、前記動き補償予測単位領域に対する予測画像を生成する動き補償ステップと、
    前記予測画像に対応する入力信号と前記予測画像との差分画像を圧縮した圧縮データ、前記動きベクトルに関する情報を可変長符号化してビットストリームを生成するとともに、前記動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を所定の領域に限定するか否かを示す参照画像制限フラグをビットストリームに多重化する可変長符号化ステップとを備え、
    前記動き補償ステップは、前記参照画像制限フラグに基づいて前記有意参照画像領域を特定し、前記予測画像が有意参照画像領域外の画素を含む場合、所定の拡張処理を行うことを特徴とする画像符号化方法。
  4. ビットストリームに多重化されている符号化データから符号化ブロックに係る圧縮データ、前記動き補償予測に用いることのできる参照画像上の領域である有意参照画像領域を所定の領域に限定するか否かを示す参照画像制限フラグ、動きベクトルの情報である動き情報を可変長復号する可変長復号ステップと、
    前記動き情報に基づいて、前記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測ステップと、
    前記符号化ブロックに係る圧縮データから生成された圧縮前の差分画像と前記予測画像とを加算して復号画像を生成する復号画像生成ステップとを備え、
    前記動き補償予測ステップは、前記予測画像を生成する際、前記参照画像制限フラグに基づき、前記動き情報を用いて、前記予測画像が有意参照画像領域外の画素を含む場合、所定の拡張処理を行って予測画像を生成することを特徴とする画像復号方法。
JP2013522714A 2011-06-30 2012-06-11 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法 Active JP5711370B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013522714A JP5711370B2 (ja) 2011-06-30 2012-06-11 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011145572 2011-06-30
JP2011145572 2011-06-30
JP2013522714A JP5711370B2 (ja) 2011-06-30 2012-06-11 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
PCT/JP2012/003785 WO2013001730A1 (ja) 2011-06-30 2012-06-11 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015043616A Division JP6391500B2 (ja) 2011-06-30 2015-03-05 画像符号化装置、画像符号化方法および符号化データの製造方法

Publications (2)

Publication Number Publication Date
JPWO2013001730A1 true JPWO2013001730A1 (ja) 2015-02-23
JP5711370B2 JP5711370B2 (ja) 2015-04-30

Family

ID=47423662

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2013522714A Active JP5711370B2 (ja) 2011-06-30 2012-06-11 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
JP2015043616A Active JP6391500B2 (ja) 2011-06-30 2015-03-05 画像符号化装置、画像符号化方法および符号化データの製造方法
JP2017076778A Active JP6381724B2 (ja) 2011-06-30 2017-04-07 画像復号装置
JP2018143947A Active JP6615287B2 (ja) 2011-06-30 2018-07-31 画像復号装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2015043616A Active JP6391500B2 (ja) 2011-06-30 2015-03-05 画像符号化装置、画像符号化方法および符号化データの製造方法
JP2017076778A Active JP6381724B2 (ja) 2011-06-30 2017-04-07 画像復号装置
JP2018143947A Active JP6615287B2 (ja) 2011-06-30 2018-07-31 画像復号装置

Country Status (9)

Country Link
US (1) US9503718B2 (ja)
EP (1) EP2680588B1 (ja)
JP (4) JP5711370B2 (ja)
KR (1) KR20130135925A (ja)
CN (1) CN103385004B (ja)
BR (1) BR112013020878B1 (ja)
ES (1) ES2862898T3 (ja)
PL (1) PL2680588T3 (ja)
WO (1) WO2013001730A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5711370B2 (ja) * 2011-06-30 2015-04-30 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
CN103650501B (zh) * 2011-08-25 2017-10-27 太阳专利托管公司 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置
US10021414B2 (en) * 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
RU2018128647A (ru) 2013-03-21 2018-10-05 Сони Корпорейшн Устройство кодирования изображения и способ и устройство декодирования изображения и способ
JP6120707B2 (ja) * 2013-07-08 2017-04-26 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
US10313682B2 (en) * 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
US20160234523A1 (en) * 2013-09-06 2016-08-11 Mitsubishi Electric Corporation Video encoding device, video transcoding device, video encoding method, video transcoding method, and video stream transmission system
CN104702954B (zh) * 2013-12-05 2017-11-17 华为技术有限公司 视频编码方法及装置
GB201405649D0 (en) 2014-03-28 2014-05-14 Sony Corp Data encoding and decoding
WO2015169230A1 (en) * 2014-05-06 2015-11-12 Mediatek Inc. Video processing method for determining position of reference block of resized reference frame and related video processing apparatus
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
WO2017220164A1 (en) * 2016-06-24 2017-12-28 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
CN117176948A (zh) * 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
EP4375917A3 (en) * 2017-10-19 2024-10-09 Panasonic Intellectual Property Corporation of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
WO2020004349A1 (ja) * 2018-06-29 2020-01-02 シャープ株式会社 動画像符号化装置および動画像復号装置
JP7005480B2 (ja) * 2018-12-27 2022-01-21 Kddi株式会社 画像復号装置、画像符号化装置、プログラム及び画像処理システム
MX2021011619A (es) 2019-04-01 2021-10-13 Beijing Bytedance Network Tech Co Ltd Uso de filtros de interpolacion para la prediccion de vector de movimiento basada en historia.
BR112022002480A2 (pt) 2019-08-20 2022-04-26 Beijing Bytedance Network Tech Co Ltd Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador armazenado em uma mídia legível por computador não transitória

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261966A (ja) * 1998-03-12 1999-09-24 Toshiba Corp 映像符号化装置および映像符号化方法
JP2002084545A (ja) * 1997-10-24 2002-03-22 Matsushita Electric Ind Co Ltd ビットストリームの復号化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2809917B1 (fr) * 2000-05-30 2002-08-30 Cit Alcatel Codage d'image par segments avec prediction du mouvement
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4511842B2 (ja) * 2004-01-26 2010-07-28 パナソニック株式会社 動きベクトル検出装置及び動画撮影装置
JP4703449B2 (ja) 2006-03-23 2011-06-15 三洋電機株式会社 符号化方法
JP5437807B2 (ja) * 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
JP5115498B2 (ja) * 2009-03-05 2013-01-09 富士通株式会社 画像符号化装置、画像符号化制御方法およびプログラム
JPWO2012120840A1 (ja) * 2011-03-07 2014-07-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
JP5711370B2 (ja) * 2011-06-30 2015-04-30 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084545A (ja) * 1997-10-24 2002-03-22 Matsushita Electric Ind Co Ltd ビットストリームの復号化方法
JPH11261966A (ja) * 1998-03-12 1999-09-24 Toshiba Corp 映像符号化装置および映像符号化方法

Also Published As

Publication number Publication date
JP6615287B2 (ja) 2019-12-04
JP2015130689A (ja) 2015-07-16
EP2680588A1 (en) 2014-01-01
US9503718B2 (en) 2016-11-22
WO2013001730A1 (ja) 2013-01-03
CN103385004A (zh) 2013-11-06
JP6381724B2 (ja) 2018-08-29
BR112013020878A2 (pt) 2016-09-27
JP2018186569A (ja) 2018-11-22
EP2680588B1 (en) 2021-02-17
BR112013020878B1 (pt) 2022-05-10
PL2680588T3 (pl) 2021-09-06
ES2862898T3 (es) 2021-10-08
JP6391500B2 (ja) 2018-09-19
EP2680588A4 (en) 2015-04-29
JP5711370B2 (ja) 2015-04-30
US20130343460A1 (en) 2013-12-26
CN103385004B (zh) 2016-12-28
KR20130135925A (ko) 2013-12-11
JP2017121089A (ja) 2017-07-06

Similar Documents

Publication Publication Date Title
JP6615287B2 (ja) 画像復号装置
JP6863669B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6716836B2 (ja) 動画像符号化データ
KR101728285B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
KR101829594B1 (ko) 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기록 매체
JP6807987B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
KR102272564B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
WO2013065402A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JPWO2012096150A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JPWO2012176381A1 (ja) 画像復号装置及び画像復号方法
JP2012080213A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US20150271502A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method
JP2015076781A (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2015008341A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2012176387A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150305

R150 Certificate of patent or registration of utility model

Ref document number: 5711370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250