JPWO2013065402A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 Download PDF

Info

Publication number
JPWO2013065402A1
JPWO2013065402A1 JP2013541668A JP2013541668A JPWO2013065402A1 JP WO2013065402 A1 JPWO2013065402 A1 JP WO2013065402A1 JP 2013541668 A JP2013541668 A JP 2013541668A JP 2013541668 A JP2013541668 A JP 2013541668A JP WO2013065402 A1 JPWO2013065402 A1 JP WO2013065402A1
Authority
JP
Japan
Prior art keywords
encoding
image
tile
unit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013541668A
Other languages
English (en)
Inventor
守屋　芳美
芳美 守屋
亮史 服部
亮史 服部
裕介 伊谷
裕介 伊谷
杉本　和夫
和夫 杉本
彰 峯澤
彰 峯澤
関口　俊一
俊一 関口
憲道 日和佐
憲道 日和佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013541668A priority Critical patent/JPWO2013065402A1/ja
Publication of JPWO2013065402A1 publication Critical patent/JPWO2013065402A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

入力画像を指定されたサイズの矩形領域であるタイルに分割して、そのタイルを出力するタイル分割部１を設け、分割映像符号化部３のブロック分割部１０が、タイル分割部１から出力されたタイルを所定のサイズの符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するようにする。

Description

この発明は、画像を圧縮符号化して伝送する動画像符号化装置及び動画像符号化方法と、動画像符号化装置により伝送された符号化データから画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
従来、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームをマクロブロックと呼ばれる正方ブロックに分割し、各々のマクロブロック毎に、フレーム内予測処理、フレーム間予測処理、予測誤差信号の直交変換処理、量子化処理、エントロピー符号化処理などを実施するようにしている。
また、全てのマクロブロックの処理が完了して、画面一枚分の局所復号画像を作成すると、ループフィルタパラメータの導出処理、エントロピー符号化処理、導出パラメータに基づく局所復号画像のフィルタ処理を実施するようにしている。
ここで、各マクロブロックの符号化処理は、マクロブロックをラスタスキャン順に処理することを前提としており、あるマクロブロックの符号化処理では、ラスタスキャン順に前のマクロブロックの符号化結果を必要とする。
具体的には、フレーム間予測を行う場合、隣接マクロブロックの局所復号画像から画素参照を行う。
また、エントロピー符号化処理では、シンボル生起確率を推定するための確率遷移モデルをラスタスキャン順に前のマクロブロックと共有しており、また、確率モデル切り替えのために隣接マクロブロックのモード情報を参照する必要がある。
このため、あるマクロブロックの符号化処理を進めるために、ラスタスキャン順に前のマクロブロックの処理の一部又は全部が完了していなければならない。このようなマクロブロック間の依存性が、符号化処理や復号処理の並列化の障害となっている。
非特許文献１では、上記の問題を解決するために、入力画像（ピクチャ）を複数の矩形領域（タイル）に分割し、各々のタイル内で、マクロブロックをラスタスキャン順に処理し、異なるタイルに属するマクロブロック間の依存性を無くすことで、タイル単位で並列に符号化処理又は復号処理を行えるようにしている。
なお、タイルは、複数のマクロブロックから構成されており、タイルのサイズは、マクロブロックサイズの整数倍でのみ定義することができる。
Arild Fuldseth，Michael Horowitz，Shilin Xu，Andrew Segall，Minhua Zhou，"JCTVC-F335: Tiles"，Joint Collaborative Team on Video Coding（JCT-VC）of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino，IT，14-22July，2011
従来の動画像符号化装置は以上のように構成されているので、ピクチャを複数のタイル（矩形領域）に分割する際のタイルのサイズがマクロブロックサイズの整数倍に限定されている。このため、ピクチャのサイズが、設定されたマクロブロックサイズの整数倍でない場合には、ピクチャを均等なタイルに分割することができず、タイルのサイズによって、各タイルの符号化処理の負荷が異なり、並列化効率が落ちてしまう課題があった。
また、例えば、３８４０画素×２１６０画素や、７６８０画素×４３２０画素のように、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）で規定される画素数（１９２０画素×１０８０画素)の整数倍で規定されるような画像を符号化する場合、設定されたマクロブロックサイズによっては、ＨＤＴＶサイズのタイルに分割して符号化することができず、本装置におけるＨＤＴＶ用の入力インタフェースや機器を活用することができないことがある課題があった。
この発明は上記のような課題を解決するためになされたもので、入力画像のサイズがＨＤＴＶで規定される画素数の整数倍である場合に、本装置におけるＨＤＴＶ用の入力インタフェースや機器などを活用することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、入力画像のサイズがマクロブロックサイズの整数倍でない場合でも、並列化効率を落とさずに並列符号化処理を実現することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、上記の動画像符号化装置及び動画像符号化方法に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
この発明に係る動画像符号化装置は、入力画像を指定されたサイズの矩形領域であるタイルに分割して、そのタイルを出力するタイル分割手段と、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御手段と、タイル分割手段から出力されたタイルを所定のサイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割手段と、符号化制御手段により決定された符号化モードで、ブロック分割手段により分割された符号化ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、ブロック分割手段により分割された符号化ブロックと予測画像生成手段により生成された予測画像との差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段とを設け、可変長符号化手段が、画像圧縮手段から出力された圧縮データ及び符号化制御手段により決定された符号化モードを可変長符号化するとともに、タイル分割手段から出力されたタイルのサイズ及び入力画像におけるタイルの位置を示すタイル情報を可変長符号化して、その圧縮データ、符号化モード及びタイル情報の符号化データが多重化されたビットストリームを生成するようにしたものである。
この発明によれば、入力画像を指定されたサイズの矩形領域であるタイルに分割して、そのタイルを出力するタイル分割手段と、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御手段と、タイル分割手段から出力されたタイルを所定のサイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割手段と、符号化制御手段により決定された符号化モードで、ブロック分割手段により分割された符号化ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、ブロック分割手段により分割された符号化ブロックと予測画像生成手段により生成された予測画像との差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段とを設け、可変長符号化手段が、画像圧縮手段から出力された圧縮データ及び符号化制御手段により決定された符号化モードを可変長符号化するとともに、タイル分割手段から出力されたタイルのサイズ及び入力画像におけるタイルの位置を示すタイル情報を可変長符号化して、その圧縮データ、符号化モード及びタイル情報の符号化データが多重化されたビットストリームを生成するように構成したので、入力画像のサイズがＨＤＴＶで規定される画素数の整数倍である場合に、本装置におけるＨＤＴＶ用の入力インタフェースや機器などを活用することができる効果がある。
この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の分割映像符号化部３の内部を示す構成図である。 この発明の実施の形態１による動画像符号化装置の可変長符号化部７が内蔵している動きベクトル可変長符号化部７ａを示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の分割映像復号部３１の内部を示す構成図である。 この発明の実施の形態１による動画像復号装置の可変長復号部３０が内蔵している動きベクトル可変長復号部３０ａを示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。 横３８４０ピクセル×縦２１６０ピクセルの画像を均等に４つのタイルに分割している例を示す説明図である。 最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化対象ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を示す説明図である。 符号化対象ブロックＢn内の各パーティションＰi nが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌi n＝ｍi n＝４の場合のパーティションＰi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 パーティションＰi nの動きベクトルの予測ベクトル候補の算出に用いる符号化済み周辺パーティションの一例を示す説明図である。 パーティションＰi nの動きベクトルの予測ベクトル候補の算出に用いる参照フレームのパーティションの一例を示す説明図である。 この発明の実施の形態２による動画像符号化装置を示す構成図である。 この発明の実施の形態２による動画像復号装置を示す構成図である。 ピクチャ内をタイルサイズの単位の小ブロックに分割し、ピクチャ内を小ブロックの単位でラスタスキャン順に番号付けした小ブロックの位置でタイルを分割する例を示す説明図である。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図であり、図２はこの発明の実施の形態１による動画像符号化装置の分割映像符号化部３の内部を示す構成図である。
図１及び図２において、タイル分割部１は入力画像（ピクチャ）を示す映像信号を入力すると、その入力画像を符号化制御部２により決定されたタイルサイズのタイル（矩形領域）に分割して、１以上のタイルを分割映像符号化部３に出力する処理を実施する。なお、タイル分割部１はタイル分割手段を構成している。
符号化制御部２はタイルサイズの設定を受け付ける機能を有し、設定を受け付けた各タイルのサイズに基づいて入力画像における各タイルの位置を算出する処理を実施する。
また、符号化制御部２は予測処理が実施される際の処理単位となる符号化対象ブロック（符号化ブロック）のサイズ及び符号化対象ブロックが階層的に分割される際の上限の階層数を決定するとともに、選択可能な１以上のイントラ符号化モード及びインター符号化モードの中から、分割映像符号化部３のブロック分割部１０から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部２は分割映像符号化部３の変換・量子化部１５及び逆量子化・逆変換部１６に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。
分割映像符号化部３はタイル分割部１からタイルを入力する毎に、当該タイルを符号化制御部２により決定されたサイズのブロック（符号化対象ブロック）に分割し、符号化制御部２により決定された符号化モードで、その符号化対象ブロックに対する予測処理を実施して予測画像を生成する処理を実施する。
また、分割映像符号化部３は符号化対象ブロックと予測画像の差分画像に対する直交変換処理や量子化処理を実施して圧縮データを生成し、その圧縮データを可変長符号化部７に出力するとともに、その圧縮データに対する逆量子化処理や逆直交変換処理を実施して局所復号画像を生成し、その局所復号画像を画像メモリ４に格納する処理を実施する。
なお、局所復号画像を画像メモリ４に格納する際、符号化制御部２により算出された当該タイルの位置に対応する画像メモリ４内のアドレスに局所復号画像を格納する。
画像メモリ４は分割映像符号化部３により生成された局所復号画像を格納する記録媒体である。
ループフィルタ部５はピクチャ内の全てのタイルの符号化が完了して、１ピクチャ分の局所復号画像が画像メモリ４に書き込まれると、１ピクチャ分の局所復号画像に対して所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ６はループフィルタ部５によるフィルタリング処理後の局所復号画像を格納する記録媒体である。
可変長符号化部７は符号化制御部２から出力された各タイルの矩形領域サイズ及びピクチャにおける各タイルの位置を示すタイル情報と、符号化制御部２から出力された各符号化対象ブロックの符号化パラメータ（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と、分割映像符号化部３から出力された各符号化対象ブロックの符号化データ（圧縮データ、動き情報（符号化モードがインター符号化モードである場合））とを可変長符号化して、それらの符号化結果が多重化されているビットストリームを生成する処理を実施する。
また、可変長符号化部７はタイル分割部１がピクチャをタイルに分割しているか否かを示す分割確認用フラグを可変長符号化して、その分割確認用フラグの符号化結果が多重化されているビットストリームを生成する処理を実施する。ただし、タイル分割部１が常にピクチャをタイルに分割する場合には、その分割確認用フラグを動画像復号装置に送信する必要がないので、その分割確認用フラグの可変長符号化は行わない。
なお、可変長符号化部７は、分割映像符号化部３の動き補償予測部１３から出力された動きベクトルを可変長符号化する動きベクトル可変長符号化部７ａを内蔵している。
可変長符号化部７は可変長符号化手段を構成している。
ブロック分割部１０はタイル分割部１からタイルを入力する毎に、当該タイルを符号化制御部２により決定されたサイズの符号化対象ブロックに分割して、その符号化対象ブロックを出力する処理を実施する。
即ち、ブロック分割部１０はタイル分割部１から出力されたタイルを符号化制御部２により決定された最大サイズの符号化対象ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部１０はブロック分割手段を構成している。
切換スイッチ１１は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１０から出力された符号化対象ブロックをイントラ予測部１２に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１０から出力された符号化対象ブロックを動き補償予測部１３に出力する処理を実施する。
イントラ予測部１２はイントラ予測用メモリ１８に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、切換スイッチ１１から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
動き補償予測部１３は切換スイッチ１１から出力された符号化対象ブロックと動き補償予測フレームメモリ６に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
なお、イントラ予測部１２及び動き補償予測部１３から予測画像生成手段が構成されている。
減算部１４はブロック分割部１０より出力された符号化対象ブロックから、イントラ予測部１２により生成されたイントラ予測画像、または、動き補償予測部１３により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部１５に出力する処理を実施する。
変換・量子化部１５は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部１４から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ（差分画像の量子化係数）を逆量子化・逆変換部１６及び可変長符号化部７に出力する処理を実施する。
なお、減算部１４及び変換・量子化部１５から画像圧縮手段が構成されている。
逆量子化・逆変換部１６は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部１５から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部１４から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部１７は逆量子化・逆変換部１６により算出された局所復号予測差分信号が示す画像と、イントラ予測部１２により生成されたイントラ予測画像、または、動き補償予測部１３により生成されたインター予測画像とを加算して、ブロック分割部１０から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。
イントラ予測用メモリ１８は加算部１７により算出された局所復号画像を格納する記録媒体である。
図３はこの発明の実施の形態１による動画像符号化装置の可変長符号化部７が内蔵している動きベクトル可変長符号化部７ａを示す構成図である。
動きベクトル可変長符号化部７ａの動きベクトル予測ベクトル候補算出部２１はブロック分割部１０から出力された符号化対象ブロックに隣接している符号化済みブロックの動きベクトル及び動き補償予測フレームメモリ６に格納されている参照フレームの動きベクトルから、符号化対象ブロックの動きベクトルの予測ベクトル候補を算出する処理を実施する。
動きベクトル予測ベクトル決定部２２は動きベクトル予測ベクトル候補算出部２１により算出された１以上の予測ベクトル候補の中から、符号化対象ブロックの動きベクトルに最も近い予測ベクトル候補を予測ベクトルとして決定し、その予測ベクトルを動きベクトル差分算出部２３に出力するとともに、その予測ベクトルを示すインデックス（予測ベクトルインデックス）をエントロピー符号化部２４に出力する処理を実施する。
動きベクトル差分算出部２３は動きベクトル予測ベクトル決定部２２から出力された予測ベクトルと符号化対象ブロックの動きベクトルとの差分ベクトルを算出する処理を実施する。
エントロピー符号化部２４は動きベクトル差分算出部２３により算出された差分ベクトルと動きベクトル予測ベクトル決定部２２から出力された予測ベクトルインデックスを算術符号化などの可変長符号化を実施して動きベクトル情報符号語を生成し、その動きベクトル情報符号語を出力する処理を実施する。
図１の例では、動画像符号化装置の構成要素であるタイル分割部１、符号化制御部２、分割映像符号化部３、画像メモリ４、ループフィルタ部５、動き補償予測フレームメモリ６及び可変長符号化部７のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、タイル分割部１、符号化制御部２、分割映像符号化部３、ループフィルタ部５及び可変長符号化部７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
図５はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図５において、可変長復号部３０は図１の動画像符号化装置により生成されたビットストリームを入力すると、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位に、ピクチャが１以上のタイルに分割されているか否かを示す分割確認用フラグを可変長復号する処理を実施する。
可変長復号部３０は分割確認用フラグが、ピクチャが１以上のタイルに分割されている旨を示している場合、ビットストリームからタイル情報を可変長復号し、そのタイル情報が示すサイズのタイル内で階層的に分割されている各々の符号化対象ブロックの符号化パラメータ（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と符号化データ（圧縮データ、動き情報（符号化モードがインター符号化モードである場合））を可変長復号する処理を実施する。
また、可変長復号部３０はビットストリームに含まれている動きベクトル情報符号語から、予測ベクトルインデックスと差分ベクトルを可変長復号する処理を実施する動きベクトル可変長復号部３０ａを内蔵している。
なお、可変長復号部３０は可変長復号手段を構成している。
分割映像復号部３１は可変長復号部３０によりタイル単位に可変長復号された圧縮データと、符号化モードと、イントラ予測パラメータ又はインター予測パラメータ及び動きベクトルと、予測差分符号化パラメータとに基づいて、タイル単位に復号処理を実施して復号画像を生成し、その復号画像を画像メモリ３２に格納する処理を実施する。
なお、復号画像を画像メモリ３２に格納する際、タイル情報が示す当該タイルの位置に対応する画像メモリ３２内のアドレスに復号画像を格納する。
画像メモリ３２は分割映像復号部３１により生成された復号画像を格納する記録媒体である。画像メモリ３２は復号画像記憶手段を構成している。
ループフィルタ部３３はピクチャ内の全てのタイルの符号化が完了して、１ピクチャ分の復号画像が画像メモリ３２に書き込まれると、１ピクチャ分の復号画像に対して所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３４はループフィルタ部３３によるフィルタリング処理後の復号画像を格納する記録媒体である。
図６はこの発明の実施の形態１による動画像復号装置の分割映像復号部３１の内部を示す構成図である。
図６において、切換スイッチ４１は可変長復号部３０により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３０により可変長復号されたイントラ予測パラメータをイントラ予測部４２に出力し、可変長復号部３０により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３０により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部４３に出力する処理を実施する。
イントラ予測部４２はイントラ予測用メモリ４６に格納されている復号画像を参照しながら、切換スイッチ４１から出力されたイントラ予測パラメータを用いて、復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）に対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
動き補償部４３は動き補償予測フレームメモリ３４に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ４１から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
なお、イントラ予測部４２及び動き補償部４３から予測画像生成手段が構成されている。
逆量子化・逆変換部４４は可変長復号部３０により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３０により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、復号予測差分信号を算出する処理を実施する。
加算部４５は逆量子化・逆変換部４４により算出された復号予測差分信号が示す画像と、イントラ予測部４２により生成されたイントラ予測画像、または、動き補償部４３により生成されたインター予測画像とを加算して、復号対象ブロックの復号画像を算出する処理を実施する。
なお、逆量子化・逆変換部４４及び加算部４５から復号画像生成手段が構成されている。
イントラ予測用メモリ４６は加算部４５により算出された復号画像を格納する記録媒体である。
図７はこの発明の実施の形態１による動画像復号装置の可変長復号部３０が内蔵している動きベクトル可変長復号部３０ａを示す構成図である。
図７において、動きベクトル可変長復号部３０ａのエントロピー復号部５１はビットストリームに含まれている動きベクトル情報符号語から、予測ベクトルインデックスと差分ベクトルを可変長復号する処理を実施する。
動きベクトル予測ベクトル候補算出部５２は復号対象ブロックに隣接している復号済みのブロックの動きベクトル及び動き補償予測フレームメモリ３４に格納されている参照フレームの動きベクトルから、復号対象ブロックの動きベクトルの予測ベクトル候補を算出する処理を実施する。
動きベクトル予測ベクトル決定部５３は動きベクトル予測ベクトル候補算出部５２により算出された１以上の予測ベクトル候補の中から、エントロピー復号部５１により可変長復号された予測ベクトルインデックスが示す予測ベクトル候補を選択し、その予測ベクトル候補を予測ベクトルとして出力する処理を実施する。
動きベクトル算出部５４は動きベクトル予測ベクトル決定部５３から出力された予測ベクトルとエントロピー復号部５１により可変長復号された差分ベクトルを加算して、復号対象ブロックの動きベクトルを算出する処理を実施する。
図５の例では、動画像復号装置の構成要素である可変長復号部３０、分割映像復号部３１、画像メモリ３２、ループフィルタ部３３及び動き補償予測フレームメモリ３４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３０、分割映像復号部３１及びループフィルタ部３３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
次に動作について説明する。
この実施の形態１では、映像の各フレーム画像（ピクチャ）を入力画像として、ピクチャ内を１以上の矩形領域であるタイルに分割し、タイル単位で、近接フレーム間で動き補償予測等を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
図１の動画像符号化装置は、映像の各フレーム画像(ピクチャ)を複数の矩形領域(タイル)に分割して、各分割画像の符号化を並列に行うことを特徴としている。従って図１の分割映像符号化部３は、複数の分割画像の符号化を並列に行うことができるように、物理的に複数の分割映像符号化部から構成されていてもよい。
図１の動画像符号化装置の分割映像符号化部３は、映像信号が示すタイルの空間・時間方向の局所的な変化に適応して、タイルを多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分差信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、各分割画像であるタイルを階層的に分割して、各々の分割領域毎に、予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
さらに、各分割領域のピクチャ内での連続性を考慮し、時間方向に参照する情報（例えば、動きベクトルなど）は、分割領域の境界をまたがって、参照ピクチャ全体を参照できるような構成をとるようにしている。
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
最初に、図１の動画像符号化装置の処理内容を説明する。
符号化制御部２は、タイルサイズの設定を受け付ける機能を有しており、符号化対象となるピクチャを１以上のタイルに分割する際の各タイルのサイズを決定する（図４のステップＳＴ１）。
各タイルのサイズは、例えば、ユーザがキーボードやマウスなどのユーザインタフェースを使用することで指定するようにしてもよいし、外部から送信されたサイズ情報を受信し、そのサイズ情報によって設定するようにしてもよい。
図９は横３８４０ピクセル×縦２１６０ピクセルの画像を均等に４つのタイルに分割している例を示す説明図である。
図９の例では、各タイルのサイズは均一であり、横１９２０ピクセル×縦１０８０のピクセルになっている。
図９では、ピクチャを均等に分割している例を示しているが、ピクチャ内を異なるサイズのタイルに分割するようにしてもよい。
符号化制御部２は、各タイルのサイズを決定すると、各タイルのサイズに基づいて、入力画像であるピクチャ内での各タイルの位置を算出する（ステップＳＴ２）。
タイル分割部１は、ピクチャを示す映像信号を入力すると、符号化制御部２により決定された各タイルのサイズで、そのピクチャを各々のタイルに分割し、各々のタイルを順番に分割映像符号化部３に出力する（ステップＳＴ３）。
符号化制御部２は、ピクチャを１以上のタイルに分割する際の各タイルのサイズをピクセル単位で設定できるようにしたが、後述の最大符号化ブロックを階層分割する階層数の上限に基づいて決定される最小符号化ブロックサイズの単位で設定できるようにしてもよい。また、タイルのサイズの単位を２のべき乗のオーダで任意に定められるようにしてもよい。例えば、２の０乗ならば、１ピクセル単位で設定でき、２の２乗ならば４ピクセル単位で設定できる。この場合、タイルのサイズの単位を表すパラメータとして、指数（タイルサイズの単位の対数）を符号化するようにし、タイルのサイズをタイルサイズの単位に基づいて符号化するようにしてもよい。例えば、タイルサイズの単位が８ピクセルの場合には、タイルのサイズはタイルサイズの単位の整数倍、即ち、８の倍数で設定でき、タイルサイズの情報としてタイルサイズの縦、横それぞれを８で割った値を符号化する。
あるいは、ピクチャ内をタイルサイズの単位の小ブロックに分割し、ピクチャ内を小ブロックの単位でラスタスキャン順に番号付けした小ブロックの位置でタイルを分割するようにしてもよい（図１８）。この場合には、タイルの形状は必ずしも矩形である必要はない。また、タイルのサイズ（形状を含む）と位置情報は、タイルの先頭の小ブロックにつけられている番号（アドレス）で表され、タイルの先頭の小ブロックのアドレスをタイル毎に符号化すればよい。
また、符号化制御部２は、符号化対象となるタイルの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（ステップＳＴ４）。
最大符号化ブロックのサイズの決め方としては、例えば、ピクチャ内のすべてのタイルに対して同一のサイズを定めてもよいし、タイル内の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいタイルには、小さいサイズを定める一方、動きが少ないタイルには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、タイル内の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなど、タイルごとに適応的に定めるようにしてもよい。
分割映像符号化部３のブロック分割部１０は、タイル分割部１からタイルを受ける毎に、当該タイルを符号化制御部２により決定された最大符号化ブロックサイズの画像領域に分割する。
符号化制御部２は、ブロック分割部１０がタイルを最大符号化ブロックサイズの画像領域に分割すると、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、当該画像領域が階層的に符号化ブロックサイズを有する符号化対象ブロックに分割された場合の各符号化対象ブロックに対する符号化モードを決定する（ステップＳＴ５）。
ここで、図１０は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図１０において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ0，Ｍ0）のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは、同じであってもよいし、異なっていてもよいが、図１０では、Ｌn＝Ｍnのケースを示している。
以降、符号化制御部２により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
４分木分割を行うため、常に、（Ｌn，Ｍn）＝（Ｌn／２，Ｍn／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌn／２，Ｍn／２）になる。
以降、第ｎ階層の符号化対象ブロックをＢnで表し、符号化対象ブロックＢnで選択可能な符号化モードをｍ（Ｂn）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化モードｍ（Ｂn）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢnに対する符号化効率が最も高い符号化モードを選択する。
さらに、符号化対象ブロックＢnは、図１１に示すように、ブロック分割部１０によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢnに属するパーティションをＰi n（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢnのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂn）の中に情報として含まれる。
パーティションＰi nは、すべて符号化モードｍ（Ｂn）に従って予測処理が行われるが、パーティションＰi n毎に、個別の予測パラメータを選択することができる。
符号化制御部２は、最大符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図１１（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図１１（ｂ）は階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂn）が割り当てられたノード（符号化対象ブロック）である。
切換スイッチ１１は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、ブロック分割部１０から出力された符号化対象ブロックＢnをイントラ予測部１２に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、ブロック分割部１０から出力された符号化対象ブロックＢnを動き補償予測部１３に出力する。
イントラ予測部１２は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードであり（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、切換スイッチ１１から符号化対象ブロックＢnを受けると（ステップＳＴ６）、イントラ予測用メモリ１８に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢn内の各パーティションＰi nに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAi nを生成する（ステップＳＴ７）。
なお、画像復号装置がイントラ予測画像ＰINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部７に出力されて、ビットストリームに多重化される。
動き補償予測部１３は、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードであり（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、切換スイッチ１１から符号化対象ブロックＢnを受けると（ステップＳＴ６）、その符号化対象ブロックＢn内の各パーティションＰi nと動き補償予測フレームメモリ６に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢn内の各パーティションＰi nに対するインター予測処理を実施して、インター予測画像ＰINTERi nを生成する（ステップＳＴ８）。
なお、動き補償予測フレームメモリ６に格納されている局所復号画像は１ピクチャ分であり、タイル境界をまたがってインター予測画像ＰINTERi nを生成してもよい。
また、動画像復号装置がインター予測画像ＰINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰINTERi nの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部７に出力されて、ビットストリームに多重化される。
また、動き補償予測部１３により探索された動きベクトルも可変長符号化部７に出力されて、ビットストリームに多重化される。
減算部１４は、ブロック分割部１０から符号化対象ブロックＢnを受けると、その符号化対象ブロックＢn内のパーティションＰi nから、イントラ予測部１２により生成されたイントラ予測画像ＰINTRAi n、または、動き補償予測部１３により生成されたインター予測画像ＰINTERi nを減算して、その減算結果である差分画像を示す予測差分信号ｅi nを変換・量子化部１５に出力する（ステップＳＴ９）。
変換・量子化部１５は、減算部１４から予測差分信号ｅi nを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅi nに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する（ステップＳＴ１０）。
また、変換・量子化部１５は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部１６及び可変長符号化部７に出力する（ステップＳＴ１０）。
逆量子化・逆変換部１６は、変換・量子化部１５から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する（ステップＳＴ１１）。
また、逆量子化・逆変換部１６は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部１４から出力された予測差分信号ｅi nに相当する局所復号予測差分信号を算出する（ステップＳＴ１１）。
加算部１７は、逆量子化・逆変換部１６から局所復号予測差分信号を受けると、その局所復号予測差分信号が示す画像と、イントラ予測部１２により生成されたイントラ予測画像ＰINTRAi n、または、動き補償予測部１３により生成されたインター予測画像ＰINTERi nとを加算することで、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部１０から出力された符号化対象ブロックＢnに相当する局所復号画像を算出する（ステップＳＴ１２）。
なお、加算部１７は、その局所復号画像を画像メモリ４に格納するとともに、その局所復号画像をイントラ予測用メモリ１８に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。
ループフィルタ部５は、画像メモリ４に格納されている局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ６に格納する（ステップＳＴ１６）。
なお、ループフィルタ部５によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化対象ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、入力される映像信号が示すピクチャと局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、ピクチャと局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、ピクチャを示す映像信号をループフィルタ部５で参照する必要があるため、映像信号がループフィルタ部５に入力されるように図１の動画像符号化装置を変更する必要がる。
ステップＳＴ６〜ＳＴ１２の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢnに対する処理が完了するとステップＳＴ１５の処理に移行する（ステップＳＴ１３，ＳＴ１４）。
可変長符号化部７は、符号化制御部２から出力された各タイルの矩形領域サイズ及びピクチャにおける各タイルの位置を示すタイル情報（タイル情報は、タイルのサイズやタイルの位置を示す情報の他、算術符号化処理の初期化指示フラグ、タイル境界をまたがって復号画素の参照や各種符号化パラメータの参照を許可するか否かを示すフラグなどを含んでいる）、符号化制御部２から出力された各符号化対象ブロックの符号化パラメータ（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と、分割映像符号化部３から出力された各符号化対象ブロックの符号化データ（圧縮データ、動き情報（符号化モードがインター符号化モードである場合））とを可変長符号化して、その符号化結果が多重化されているビットストリームを生成する処理を実施する。
また、可変長符号化部７は、タイル分割部１がピクチャをタイルに分割しているか否かを示す分割確認用フラグを可変長符号化して、その分割確認用フラグの符号化結果が多重化されているビットストリームを生成する。
ただし、タイル分割部１が常にピクチャをタイルに分割しない場合には、その分割確認用フラグを動画像復号装置に送信する必要がないので、その分割確認用フラグの可変長符号化は行わない。
次に、イントラ予測部１２の処理内容を詳細に説明する。
図１２は符号化対象ブロックＢn内の各パーティションＰi nが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１２では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示している。
イントラ予測部１２は、パーティションＰi nのイントラ予測パラメータを参照して、そのパーティションＰi nに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAi nを生成するが、ここでは、パーティションＰi nの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、輝度信号のイントラ予測信号を生成するイントラ予測処理について説明する。
ここでは、パーティションＰi nのサイズをｌi n×ｍi n画素とする。
図１３はｌi n＝ｍi n＝４の場合のパーティションＰi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１３では、パーティションＰi nに隣接している符号化済みの上パーティションの画素（２×ｌi n＋１）個と、左パーティションの画素（２×ｍi n）個を予測に用いる画素としているが、予測に用いる画素は、図１３に示す画素より多くても少なくてもよい。
なお、イントラ予測用メモリ１８に符号化対象のタイルの局所復号画像が格納されており、上パーティションまたは左パーティションの画素が符号化対象のタイル（現分割画像）内の画素ではない場合には、所定のルールに従って、タイル内の符号化済み画素値あるいは一定値で置き換えるようにする。
また、図１３では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
パーティションＰi nに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰi n内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰi n内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。
Figure 2013065402
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１３の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
参照画素が整数画素位置にある場合でも、その整数画素と隣接する画素から補間画素を生成して予測値としてもよい。
同様の手順で、パーティションＰi n内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像ＰINTRAi nを出力する。
なお、イントラ予測画像ＰINTRAi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部７に出力される。
パーティションＰi nの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部７に出力する。
次に、可変長符号化部７の処理内容を詳細に説明する。
可変長符号化部７は、動きベクトルを可変長符号化する際、周囲の符号化済みパーティションの動きベクトルまたは参照フレームの動きベクトルに基づき、符号化対象のパーティションＰi nの動きベクトルの予測ベクトルを算出し、その予測ベクトルを用いて予測符号化を行う。
即ち、可変長符号化部７の一部を構成している動きベクトル可変長符号化部７ａの動きベクトル予測ベクトル候補算出部２１は、符号化対象のパーティションＰi nに隣接している符号化済みパーティションの動きベクトル及び動き補償予測フレームメモリ６に格納されている参照フレームの動きベクトルから、符号化対象のパーティションＰi nの予測ベクトル候補を算出する。
ここで、図１４はパーティションＰi nの動きベクトルの予測ベクトル候補の算出に用いる符号化済み周辺パーティションの一例を示す説明図である。
図１４の例では、パーティションＰi nの左下（Ａ0）の符号化済みパーティションの動きベクトルを予測ベクトル候補Ａとしている。
ただし、左下（Ａ0）のパーティションが、符号化対象タイル内のパーティションでない場合や、イントラ符号化モードで符号化されたパーティションである場合など、左下（Ａ0）のパーティションの動きベクトルを利用することができない場合には、左下（Ａ0）のパーティションに隣接しているＡ1の符号化済みパーティションの動きベクトルを予測ベクトル候補Ａとする。
また、パーティションＰi nの右上（Ｂ0）の符号化済みパーティションの動きベクトルを予測ベクトル候補Ｂとしている。
ただし、右上（Ｂ0）のパーティションが、符号化対象タイル内のパーティションでない場合や、イントラ符号化モードで符号化されたパーティションである場合など、右上（Ｂ0）のパーティションの動きベクトルを利用することができない場合には、右上（Ｂ0）のパーティションに隣接しているＢ1の符号化済みパーティションの動きベクトルや左上（Ｂ2）のパーティションの動きベクトルを予測ベクトル候補Ｂとする。
次に、参照フレームの動きベクトルから予測ベクトル候補Ｃを算出する方法について説明する。
動き補償予測フレームメモリ６に格納されている参照フレームの中から、予測ベクトル候補を算出するための参照フレームを決定する。
参照フレームの決定方法は、例えば、符号化対象タイルを含むフレームに表示順で最も近いフレームを選択する。
次に、参照フレームの中で、予測ベクトル候補を算出するためのパーティションを決定する。
図１５はパーティションＰi nの動きベクトルの予測ベクトル候補の算出に用いる参照フレームのパーティションの一例を示す説明図である。
図１５の例では、パーティションＰi nと同位置にあるパーティションＰi n co-locatedの中心位置にある画素（Ｃ0）を含むパーティションの動きベクトル（ｖ0）やパーティションＰi n co-locatedの右下位置にある画素（Ｃ1）を含むパーティションの動きベクトル（ｖ1）を予測ベクトル候補Ｃとする。
ただし、画素（Ｃ0）や画素（Ｃ1）以外でパーティションＰi n co-located内や、パーティションＰi n co-locatedに隣接する画素を含むパーティションの動きベクトルを動きベクトル候補Ｃとしてもよいし、所定位置の画素を含むパーティションが、イントラ符号化モードで符号化されたパーティションである場合など、そのパーティションの動きベクトルが利用できない場合に、他の位置の画素を含むパーティションの中から動きベクトル候補Ｃを決定するようにしてもよい。
なお、時間方向の動きベクトル候補Ｃについては、参照フレームのタイル境界をまたがって参照するようにしてもよいし、参照フレームのタイル境界をまたがって参照することを禁止してもよい。参照フレームのタイル境界をまたがって参照することを許可するか、参照フレームのタイル境界をまたがって参照することを禁止するかをシーケンス単位、フレーム単位、あるいは、タイル単位にフラグによって切り替えて、そのフラグをシーケンス単位、フレーム単位、あるいは、タイル単位のパラメータとしてビットストリームに多重化してもよい。
動きベクトル予測ベクトル候補算出部２１は、１以上の予測ベクトル候補を算出すると、１以上の予測ベクトル候補を動きベクトル予測ベクトル決定部２２に出力する。
予測ベクトル候補Ａ、予測ベクトル候補Ｂ、予測ベクトル候補Ｃのいずれも存在しない場合、即ち、予測ベクトル候補を算出する対象となるパーティションのいずれもがイントラ符号化モードで符号化されたパーティションであるなどの場合で、動きベクトルを利用できない場合には、固定のベクトル（例えば、０ベクトル（真裏を参照するベクトル）) を予測ベクトル候補として出力する。
動きベクトル予測ベクトル決定部２２は、動きベクトル予測ベクトル候補算出部２１から１以上の予測ベクトル候補を受けると、１以上の予測ベクトル候補の中から、符号化対象のパーティションＰi nの動きベクトルとの差分ベクトルの大きさや符号量が最小になる予測ベクトル候補を予測ベクトルとして選択する。
動きベクトル予測ベクトル決定部２２は、その選択した予測ベクトルを動きベクトル差分算出部２３に出力し、その予測ベクトルを示すインデックス（予測ベクトルインデックス）をエントロピー符号化部２４に出力する。
動きベクトル差分算出部２３は、動きベクトル予測ベクトル決定部２２から予測ベクトルを受けると、その予測ベクトルとパーティションＰi nの動きベクトルとの差分ベクトルを算出し、その差分ベクトルをエントロピー符号化部２４に出力する。
エントロピー符号化部２４は、動きベクトル差分算出部２３から差分ベクトルを受けると、その差分ベクトルと動きベクトル予測ベクトル決定部２２から出力された予測ベクトルインデックスを算術符号化などの可変長符号化を実施して動きベクトル情報符号語を生成し、その動きベクトル情報符号語を出力する。
次に、図５の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３０は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位にピクチャのフレームサイズを復号する。
また、可変長復号部３０は、そのビットストリームから、ピクチャをタイルに分割しているか否かを示す分割確認用フラグを復号する。
可変長復号部３０は、その分割確認用フラグが、ピクチャが１以上のタイルに分割されている旨を示している場合、ビットストリームからタイル情報を可変長復号する。
そのタイル情報は、タイルのサイズやタイルの位置を示す情報の他、算術符号化処理の初期化指示フラグ、タイル境界をまたがって復号画素の参照や各種符号化パラメータの参照を許可するか否かを示すフラグなどを含んでいる。
可変長復号部３０は、ビットストリームからタイル情報を可変長復号すると、そのタイル情報が示すサイズのタイル内で階層的に分割されている各々の符号化対象ブロックの符号化パラメータ（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と符号化データ（圧縮データ、動き情報（符号化モードがインター符号化モードである場合））を可変長復号する（図８のステップＳＴ２１）。
即ち、可変長復号部３０は、タイル情報が示すサイズを参照して、１以上のタイルを特定し、１以上のタイル毎に、最大符号化ブロックの符号化モードを参照して、その最大符号化ブロックの分割状態を復号する（ステップＳＴ２２）。
ここでは、最大符号化ブロックの符号化モードを参照して、その最大符号化ブロックの分割状態を復号するものを示したが、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定するようにしてもよい。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められている場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズ及び分割階層数の上限を決定する。
可変長復号部３０は、最大符号化ブロックの分割状態を復号すると、最大符号化ブロックの分割状態に基づいて、階層的に分割されている復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。
可変長復号部３０は、階層的に分割されている復号対象ブロック（符号化対象ブロック）を特定すると、その復号対象ブロックに割り当てられている符号化モードを復号し、その符号化モードに含まれている情報に基づいて、復号対象ブロックをさらに１つないし複数の予測処理単位に分割し、予測処理単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
可変長復号部３０は、復号対象ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号対象ブロックに含まれている１つ以上のパーティション毎に、イントラ予測パラメータを復号する。
可変長復号部３０は、符号化モードに割り当てられている符号化モードがインター符号化モードの場合、復号対象ブロックに含まれている１つ以上のパーティション毎に、動きベクトルとインター予測パラメータを復号する。
動きベクトルの復号は、図１の動画像符号化装置と同じ手順で、周囲の復号済みパーティションの動きベクトルまたは参照フレームの動きベクトルに基づき、復号対象パーティションＰi nの動きベクトルの予測ベクトルを算出し、その予測ベクトルを用いて復号する。
即ち、可変長復号部３０が内蔵している動きベクトル可変長復号部３０ａのエントロピー復号部５１は、ビットストリームに含まれている動きベクトル情報符号語から予測ベクトルインデックスと差分ベクトルを可変長復号する。
動きベクトル予測ベクトル候補算出部５２は、図３の動きベクトル予測ベクトル候補算出部２１と同じ手順で、１以上の予測ベクトル候補を算出する。
動きベクトル予測ベクトル決定部５３は、動きベクトル予測ベクトル候補算出部５２により算出された１以上の予測ベクトル候補の中から、エントロピー復号部５１により可変長復号された予測ベクトルインデックスが示す予測ベクトル候補を予測ベクトルとして選択し、その予測ベクトルを動きベクトル算出部５４に出力する。
動きベクトル算出部５４は、動きベクトル予測ベクトル決定部５３から予測ベクトルを受けると、その予測ベクトルとエントロピー復号部５１により可変長復号された差分ベクトルを加算することで、動きベクトル（予測ベクトル＋差分ベクトル）を復号する。
可変長復号部３０は、予測処理単位となるパーティションを、更に予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数のパーティションに分割し、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する。
なお、可変長復号部３０は、分割確認用フラグが、ピクチャが１以上のタイルに分割されていない旨を示している場合、図１の動画像符号化装置の入力画像であるピクチャ内で階層的に分割されている各々の符号化対象ブロックの符号化パラメータ（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と符号化データ（圧縮データ、動き情報（符号化モードがインター符号化モードである場合））を可変長復号する。
分割映像復号部３１の切換スイッチ４１は、可変長復号部３０により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、可変長復号部３０により可変長復号されたイントラ予測パラメータをイントラ予測部４２に出力する。
一方、可変長復号部３０により可変長復号された符号化モードｍ（Ｂn）がインター符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、可変長復号部３０により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部４３に出力する。
イントラ予測部４２は、可変長復号部３０により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モードであり（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、切換スイッチ４１からイントラ予測パラメータを受けると（ステップＳＴ２５）、図２のイントラ予測部１２と同様の手順で、イントラ予測用メモリ４６に格納されている復号画像を参照しながら、そのイントラ予測パラメータを用いて、復号対象ブロックＢn内の各パーティションＰi nに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAi nを生成する（ステップＳＴ２６）。
動き補償部４３は、可変長復号部３０により可変長復号された符号化モードｍ（Ｂn）がインター符号化モードであり（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、切換スイッチ４１からインター予測パラメータ及び動きベクトルを受けると（ステップＳＴ２５）、動き補償予測フレームメモリ３４に格納されているフィルタリング処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像ＰINTERi nを生成する（ステップＳＴ２７）。
逆量子化・逆変換部４４は、可変長復号部３０から圧縮データ及び予測差分符号化パラメータを受けると（ステップＳＴ２５）、図２の逆量子化・逆変換部１６と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、復号予測差分信号を算出する（ステップＳＴ２８）。
加算部４５は、逆量子化・逆変換部４４により算出された復号予測差分信号が示す画像と、イントラ予測部４２により生成されたイントラ予測画像ＰINTRAi n、または、動き補償部４３により生成されたインター予測画像ＰINTERi nとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像を画像メモリ３２に格納するとともに、その復号画像をイントラ予測用メモリ４６に格納する（ステップＳＴ２９）。この復号画像が、以降のイントラ予測用の画像信号になる。
なお、加算部４５が、復号画像を画像メモリ３２に格納する際、可変長復号部３０により可変長復号されたタイル情報が示す当該タイルの位置に対応する画像メモリ３２内のアドレスに復号画像を格納する。
ループフィルタ部３３は、ピクチャ内のすべてのタイルの復号が完了し、１ピクチャ分の復号画像が画像メモリ３２に書き込まれると（ステップＳＴ３０）、１ピクチャ分の復号画像に対して所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３４に格納する（ステップＳＴ３１）。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
以上で明らかなように、この実施の形態１によれば、入力画像を指定されたサイズのタイルに分割して、そのタイルを出力するタイル分割部１と、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御部２と、タイル分割部１から出力されたタイルを所定のサイズの符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割部１０と、符号化制御部２により決定された符号化モードで、ブロック分割部１０により分割された符号化ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段（イントラ予測部１２、動き補償予測部１３）と、ブロック分割部１０により分割された符号化ブロックと予測画像生成手段により生成された予測画像との差分画像を生成する減算部１４と、減算部１４により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する変換・量子化部１５とを設け、可変長符号化部７が、変換・量子化部１５から出力された圧縮データ及び符号化制御部２により決定された符号化モードを可変長符号化するとともに、タイル分割部１から出力されたタイルのサイズ及び入力画像におけるタイルの位置を示すタイル情報を可変長符号化して、その圧縮データ、符号化モード及びタイル情報の符号化データが多重化されているビットストリームを生成するように構成したので、入力画像のサイズがＨＤＴＶで規定される画素数の整数倍でない場合でも、本装置におけるＨＤＴＶ用の入力インタフェースや機器などを活用することができる効果を奏する。
即ち、この実施の形態１によれば、入力画像であるタイルのサイズがＨＤＴＶで規定される画素数の整数倍である場合でも、動画像符号化装置のタイル分割部１が、そのピクチャを任意の画素単位でタイルに分割することができるため、設定されたマクロブロックのサイズに関わらず、本装置におけるＨＤＴＶ用の入力インタフェースや機器などを活用することができる効果を奏する。
また、入力画像であるピクチャを複数のタイルに分割し、各タイルの分割階層数の上限を当該タイル内の局所的な動きの特徴などに応じて、タイル毎に適応的に定めることで、符号化効率を高めて符号化することができる。
この実施の形態１によれば、動画像復号装置の可変長復号部３０が、ピクチャが複数のタイルに分割されて符号化されることで生成されたビットストリームから、各タイルのサイズとピクチャ内の位置情報を復号するようにしたので、上記のビットストリームを正しく復号することができる。また、可変長復号部３０が、上記のビットストリームからタイル単位に、当該タイルに係るパラメータである分割階層数の上限値などを復号するようにしたので、タイル単位に適応的に分割階層数の上限値などを定めて符号化効率を高めて符号化されたビットストリームを正しく復号することができる。
実施の形態２．
上記実施の形態１では、動画像符号化装置が１台の分割映像符号化部３を搭載し、分割映像符号化部３がタイル分割部１から順次出力される各タイルをシーケンシャルに処理するものを示したが、図１６に示すように、動画像符号化装置が複数の分割映像符号化部３（タイル符号化装置）を搭載するようにしてもよい。
この場合、複数の分割映像符号化部３は、タイル分割部１により分割された複数のタイルに対する処理を並列に行うことができる。
この実施の形態２の場合も、上記実施の形態１と同様に、タイル分割部１が、ピクチャを任意の画素単位でタイルに分割することができるため、ピクチャのサイズが、設定されたマクロブロックサイズの整数倍でない場合でも、ピクチャを均等なタイルに分割することができる。このため、各タイルの符号化処理の負荷が均一になり、並列化効率を高めることができる。
上記実施の形態１では、動画像復号装置が１台の分割映像復号部３１を搭載し、分割映像復号部３１が各々のタイルをシーケンシャルに処理するものを示したが、図１７に示すように、動画像復号装置が複数の分割映像復号部３１（タイル復号装置）を搭載するようにしてもよい。
この場合、複数の分割映像復号部３１は、複数のタイルに対する処理を並列に行うことができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係る動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法は、入力画像のサイズがＨＤＴＶで規定される画素数の整数倍である場合に、本装置におけるＨＤＴＶ用の入力インタフェースや機器などを活用することができるため、画像を圧縮符号化して伝送する動画像符号化装置及び動画像符号化方法と、動画像符号化装置により伝送された符号化データから画像を復号する動画像復号装置及び動画像復号方法に用いるのに適している。
１ タイル分割部（タイル分割手段）、２ 符号化制御部（符号化制御手段）、３ 分割映像符号化部（タイル符号化装置）、４ 画像メモリ、５ ループフィルタ部、６ 動き補償予測フレームメモリ、７ 可変長符号化部（可変長符号化手段）、７ａ 動きベクトル可変長符号化部、１０ ブロック分割部（ブロック分割手段）、１１ 切換スイッチ、１２ イントラ予測部（予測画像生成手段）、１３ 動き補償予測部（予測画像生成手段）、１４ 減算部（画像圧縮手段）、１５ 変換・量子化部（画像圧縮手段）、１６ 逆量子化・逆変換部、１７ 加算部、１８ イントラ予測用メモリ、２１ 動きベクトル予測ベクトル候補算出部、２２ 動きベクトル予測ベクトル決定部、２３ 動きベクトル差分算出部、２４ エントロピー符号化部、３０ 可変長復号部（可変長復号手段）、３０ａ 動きベクトル可変長復号部、３１ 分割映像復号部（タイル復号装置）、３２ 画像メモリ（復号画像記憶手段）、３３ ループフィルタ部、３４ 動き補償予測フレームメモリ、４１ 切換スイッチ、４２ イントラ予測部（予測画像生成手段）、４３ 動き補償部（予測画像生成手段）、４４ 逆量子化・逆変換部（復号画像生成手段）、４５ 加算部（復号画像生成手段）、４６ イントラ予測用メモリ、５１ エントロピー復号部、５２ 動きベクトル予測ベクトル候補算出部、５３ 動きベクトル予測ベクトル決定部、５４ 動きベクトル算出部。
この発明に係る動画像復号装置は、ビットストリームに多重化された符号化データからタイル情報を可変長復号し、タイル情報が示すサイズのタイル内で階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、符号化ブロックに係る圧縮データから生成された差分画像と符号化ブロックに係る符号化モードで符号化ブロックに対する予測処理を実施して生成された予測画像とを加算して生成された復号画像を、可変長復号手段により可変長復号されたタイル情報が示すタイルの位置に対応するアドレスに格納する復号画像記憶手段とを備え、可変長復号手段は、タイルのサイズを示す情報およびタイルの位置を示すタイル情報を可変長復号するようにしたものである。
この発明によれば、ビットストリームに多重化された符号化データからタイル情報を可変長復号し、タイル情報が示すサイズのタイル内で階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、符号化ブロックに係る圧縮データから生成された差分画像と符号化ブロックに係る符号化モードで符号化ブロックに対する予測処理を実施して生成された予測画像とを加算して生成された復号画像を、可変長復号手段により可変長復号されたタイル情報が示すタイルの位置に対応するアドレスに格納する復号画像記憶手段とを備え、可変長復号手段は、タイルのサイズを示す情報およびタイルの位置を示すタイル情報を可変長復号するように構成したので、入力画像のサイズがＨＤＴＶで規定される画素数の整数倍である場合に、本装置におけるＨＤＴＶ用の入力インタフェースや機器などを活用することができる効果がある。

Claims (6)

  1. 入力画像を指定されたサイズの矩形領域であるタイルに分割して、上記タイルを出力するタイル分割手段と、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御手段と、上記タイル分割手段から出力されたタイルを所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記符号化制御手段により決定された符号化モードで、上記ブロック分割手段により分割された符号化ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により決定された符号化モードを可変長符号化するとともに、上記タイル分割手段から出力されたタイルのサイズ及び上記入力画像における上記タイルの位置を示すタイル情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記タイル情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備えた動画像符号化装置。
  2. ブロック分割手段、予測画像生成手段及び画像圧縮手段からなるタイル符号化装置が複数台搭載されており、
    複数のタイル符号化装置は、タイル分割手段から出力された各タイルに対する処理を並列に実施することを特徴とする請求項１記載の動画像符号化装置。
  3. ビットストリームに多重化された符号化データからタイル情報を可変長復号し、上記タイル情報が示すサイズのタイル内で階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードで、上記符号化ブロックに対する予測処理を実施して予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成し、上記差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段により生成された復号画像を上記可変長復号手段により可変長復号されたタイル情報が示すタイルの位置に対応するアドレスに格納する復号画像記憶手段とを備えた動画像復号装置。
  4. 予測画像生成手段及び復号画像生成手段からなるタイル復号装置が複数台搭載されており、
    複数のタイル復号装置は、各タイルに対する処理を並列に実施することを特徴とする請求項３記載の動画像復号装置。
  5. タイル分割手段が、入力画像を指定されたサイズの矩形領域であるタイルに分割して、上記タイルを出力するタイル分割処理ステップと、符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御処理ステップと、ブロック分割手段が、上記タイル分割処理ステップによって出力されたタイルを所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、予測画像生成手段が、上記符号化制御処理ステップで決定された符号化モードで、上記ブロック分割処理ステップで分割された符号化ブロックに対する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、画像圧縮手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップによって出力された圧縮データ及び上記符号化制御処理ステップで決定された符号化モードを可変長符号化するとともに、上記タイル分割処理ステップによって出力されたタイルのサイズ及び上記入力画像における上記タイルの位置を示すタイル情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記タイル情報の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備えた動画像符号化方法。
  6. 可変長復号手段が、ビットストリームに多重化された符号化データからタイル情報を可変長復号し、上記タイル情報が示すサイズのタイル内で階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードで、上記符号化ブロックに対する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成し、上記差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップと、復号画像記憶手段が、上記復号画像生成処理ステップで生成された復号画像を上記可変長復号処理ステップで可変長復号されたタイル情報が示すタイルの位置に対応するアドレスに格納する復号画像記憶ステップとを備えた動画像復号方法。
JP2013541668A 2011-10-31 2012-09-10 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 Pending JPWO2013065402A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013541668A JPWO2013065402A1 (ja) 2011-10-31 2012-09-10 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011239009 2011-10-31
JP2011239009 2011-10-31
JP2013541668A JPWO2013065402A1 (ja) 2011-10-31 2012-09-10 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Publications (1)

Publication Number Publication Date
JPWO2013065402A1 true JPWO2013065402A1 (ja) 2015-04-02

Family

ID=48191760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013541668A Pending JPWO2013065402A1 (ja) 2011-10-31 2012-09-10 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Country Status (8)

Country Link
US (1) US20140247876A1 (ja)
EP (1) EP2775716A4 (ja)
JP (1) JPWO2013065402A1 (ja)
KR (1) KR20140092861A (ja)
CN (1) CN104025591A (ja)
BR (1) BR112014009571A2 (ja)
IN (1) IN2014CN03712A (ja)
WO (1) WO2013065402A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848391B (zh) * 2005-09-26 2014-11-26 三菱电机株式会社 运动图像编码装置以及运动图像译码装置
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
EP3008896B1 (en) 2013-07-15 2021-03-31 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
KR102111436B1 (ko) * 2014-01-06 2020-05-18 에스케이 텔레콤주식회사 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
US9693076B2 (en) * 2014-01-07 2017-06-27 Samsung Electronics Co., Ltd. Video encoding and decoding methods based on scale and angle variation information, and video encoding and decoding apparatuses for performing the methods
US10057599B2 (en) * 2014-02-19 2018-08-21 Mediatek Inc. Method for performing image processing control with aid of predetermined tile packing, associated apparatus and associated non-transitory computer readable medium
JP5973526B2 (ja) * 2014-02-21 2016-08-23 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置及び画像符号化装置
JP2015173404A (ja) * 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
EP3069322B1 (en) * 2014-03-20 2020-08-26 Huawei Technologies Co., Ltd. An apparatus and a method for associating a video block partitioning pattern to a video coding block
WO2016113585A1 (en) * 2015-01-16 2016-07-21 Intel Corporation Encoder slice size control with cost estimation
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
KR102426131B1 (ko) * 2016-06-17 2022-07-27 세종대학교산학협력단 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR102534604B1 (ko) * 2016-06-17 2023-05-26 세종대학교 산학협력단 비디오 신호의 부호화 또는 복호화 방법 및 장치
WO2017220164A1 (en) * 2016-06-24 2017-12-28 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2019041165A (ja) 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
EP3811611A4 (en) 2018-06-22 2022-06-15 OP Solutions, LLC BLOCK LEVEL GEOMETRIC PARTITIONING
WO2020004349A1 (ja) * 2018-06-29 2020-01-02 シャープ株式会社 動画像符号化装置および動画像復号装置
KR102132335B1 (ko) * 2018-09-20 2020-07-09 주식회사 핀텔 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
JP6835177B2 (ja) * 2018-11-30 2021-02-24 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
EP3664451B1 (en) * 2018-12-06 2020-10-21 Axis AB Method and device for encoding a plurality of image frames
CN115665412A (zh) * 2018-12-17 2023-01-31 华为技术有限公司 视频译码中用于光栅扫描分块组和矩形分块组的分块组分配
SG11202108103WA (en) 2019-01-28 2021-08-30 Op Solutions Llc Inter prediction in geometric partitioning with an adaptive number of regions
MX2021009028A (es) * 2019-01-28 2021-10-13 Op Solutions Llc Inter prediccion en particion exponencial.
SG11202107974YA (en) 2019-01-28 2021-08-30 Op Solutions Llc Shape adaptive discrete cosine transform for geometric partitioning with an adaptive number of regions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122610A (ja) * 1997-10-17 1999-04-30 Toshiba Corp 画像符号化方法及び画像復号化方法並びにこれらの装置
WO2009063554A1 (ja) * 2007-11-13 2009-05-22 Fujitsu Limited 符号化装置および復号装置
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
WO2011125313A1 (ja) * 2010-04-09 2011-10-13 三菱電機株式会社 動画像符号化装置および動画像復号装置
JP2011526770A (ja) * 2008-07-02 2011-10-13 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及び装置、並びにその復号化方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
JP5524584B2 (ja) * 2009-11-20 2014-06-18 キヤノン株式会社 画像処理装置及びその制御方法
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
US9300976B2 (en) * 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122610A (ja) * 1997-10-17 1999-04-30 Toshiba Corp 画像符号化方法及び画像復号化方法並びにこれらの装置
WO2009063554A1 (ja) * 2007-11-13 2009-05-22 Fujitsu Limited 符号化装置および復号装置
JP2011526770A (ja) * 2008-07-02 2011-10-13 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及び装置、並びにその復号化方法及び装置
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
WO2011125313A1 (ja) * 2010-04-09 2011-10-13 三菱電機株式会社 動画像符号化装置および動画像復号装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6012062676; Ａｒｉｌｄ　Ｆｕｌｄｓｅｔｈ　ｅｔ　ａｌ．: 'Ｔｉｌｅｓ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　６ｔｈ　Ｍ , 20110714 *

Also Published As

Publication number Publication date
CN104025591A (zh) 2014-09-03
US20140247876A1 (en) 2014-09-04
EP2775716A4 (en) 2015-06-17
IN2014CN03712A (ja) 2015-09-04
WO2013065402A1 (ja) 2013-05-10
KR20140092861A (ko) 2014-07-24
BR112014009571A2 (pt) 2017-04-18
EP2775716A1 (en) 2014-09-10

Similar Documents

Publication Publication Date Title
JP6261660B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2013065402A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP5782169B2 (ja) 動画像符号化装置及び動画像符号化方法
JP7012809B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
JP2018186569A (ja) 画像復号装置
WO2014051081A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014168107A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090327A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090326A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098715A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098711A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JPWO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2015080002A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2012023609A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014135552A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150630