WO2013065673A1

WO2013065673A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Info

Publication number: WO2013065673A1
Application number: PCT/JP2012/078012
Authority: WO
Inventors: 亮史服部; 彰峯澤; 裕介伊谷; 杉本　和夫; 関口　俊一; 守屋　芳美; 憲道日和佐
Original assignee: 三菱電機株式会社
Priority date: 2011-10-31
Filing date: 2012-10-30
Publication date: 2013-05-10
Also published as: KR102145782B1; BR112014009569A2; US20140247875A1; US11051014B2; US20180152702A1; JPWO2013065673A1; KR102272561B1; US10708586B2; BR112014009569B1; US10523935B2; KR20140092862A; KR20160038062A; JP2016029821A; KR101893664B1; EP2775715A4; IN2014CN02948A; KR20200097817A; US20200296361A1; KR20180097775A; CN103907348A

Abstract

　入力画像を所定サイズのタイルに分割し、分割後のタイルを分配する並列処理開始部３と、並列処理開始部３により分配されたタイルに対する予測差分符号化処理を実施して、局所復号画像を生成するＮ個のタイル符号化部５－１～５－Ｎとを設け、Ｎ個のタイルループフィルタ部７－１～７－Ｎが、タイル符号化部５－１～５－Ｎにより生成された局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを用いて、その局所復号画像に対するフィルタリング処理を実施する。

Description

動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

　この発明は、画像を圧縮符号化して伝送する動画像符号化装置及び動画像符号化方法と、動画像符号化装置により伝送された符号化データから画像を復号する動画像復号装置及び動画像復号方法とに関するものである。

　従来、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）や「ＩＴＵ－Ｔ　Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームをマクロブロック（ＭＢ）、コーディングユニット（ＣＵ）などの名称で呼ばれる正方ブロックに分割し、ブロック毎に、フレーム内予測、フレーム間予測、予測誤差信号の直交変換、量子化、エントロピー符号化処理などを実施している。
　また、全てのマクロブロックの処理が完了して、画面一枚分の局所復号画像が作成された後に、ループフィルタのパラメータを決定する処理、そのループフィルタを用いて、局所復号画像をフィルタリングする処理や、エントロピー符号化処理を実施している。

　ここで、各コーディングユニットの符号化処理は、コーディングユニットをラスタスキャン順に処理することを前提としており、あるコーディングユニットの符号化処理では、ラスタスキャン順に前のコーディングユニットの符号化結果を必要とする。
　具体的には、フレーム間予測を行う場合、隣接しているコーディングユニットの局所復号画像を画素参照として使用する。
　また、エントロピー符号化処理では、シンボルの生起確率を推定する際、確率遷移モデルをラスタスキャン順に前のコーディングユニットと共有しており、また、確率モデルの切り替えのために、隣接しているマクロブロックのモード情報を参照する必要がある。
　よって、あるコーディングユニットの符号化処理を進めるためには、ラスタスキャン順で前のコーディングユニットの処理の一部または全部が完了していなければならない。
　このようなコーディングユニット間の依存性が、符号化処理及び復号処理の並列化の障害となっている。

　以下の非特許文献１では、上記の問題を解決するために、タイルと呼ばれる構造体を用いている。
　ここで、タイルは、図１１に示すように、複数のコーディングユニットからなる矩形領域である。異なるタイルに属するコーディングユニットとの依存性を無くすことで、タイルレベルでの並列処理が可能になる。
　具体的には、タイルは、以下に示すような特徴を有している。

（１）画像のタイルによる分割は、コーディングユニット単位で行われる。
（２）画像のタイルによる分割は、各行・各列の幅が非均一な格子状となる。即ち、縦方向に隣接しているタイルは、左右両端の座標が等しく、横方向に隣接しているタイルは上下両端の座標が等しい。
（３）各コーディングユニットはタイル内で閉じたラスタスキャン順に処理される。また、タイル内でスライス分割を行うことが可能である。
（４）タイル内で最初に処理されるコーディングユニットは、エントロピー符号化が初期状態から開始される。
（５）フレーム内予測、フレーム間予測、エントロピー符号化・復号の処理において、隣接しているコーディングユニットの局所復号画像及び符号化モードの参照を行う際、隣接しているコーディングユニットが異なるタイルに属している場合、隣接しているコーディングユニットの参照を行わずに、画面端の処理を実施する。
（６）ループフィルタ処理は、全てのタイルの処理が完了して、画面全体分の復号画像が作成された後に、画面全体に対して実施する。

　以上より、あるタイルに属するコーディングユニットの符号化処理では、予測・予測誤差信号の直交変換・量子化・エントロピー符号化の処理において、同じタイル内に属するコーディングユニットの結果のみを必要とする。
　よって、符号化処理のうち、フレーム内／フレーム間予測、予測誤差信号の直交変換・量子化、エントロピー符号化の処理をタイルレベルで並列処理することが可能になる。
　また、タイルを用いて作成されたビットストリームの復号処理では、エントロピー復号、予測誤差信号の逆量子化・逆変換、フレーム内／フレーム間予測の処理をタイルレベルでの並列処理が可能になる。

Arild Fuldseth，Michael Horowitz，Shilin Xu，Andrew Segall，Minhua Zhou，"JCTVC-F335: Tiles"，Joint Collaborative Team on Video Coding（JCT-VC）of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino，IT，14-22July，2011

　従来の動画像符号化装置は以上のように構成されているので、フレーム内／フレーム間予測、予測誤差信号の直交変換・量子化、エントロピー符号化の処理については並列処理が可能であるが、ループフィルタの処理は画面全体に対して行われる。この場合、タイル境界のフィルタリング処理では、境界に隣接している両方のタイルの局所復号画像を参照する必要があるため、両方のタイルの処理が完了していなければならず、タイルレベルでの並列処理を行うことができない課題があった。

　この発明は上記のような課題を解決するためになされたもので、ループフィルタの処理をタイルレベルで並列に行うことができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。

　この発明に係る動画像符号化装置は、入力画像の分割状態を指示する分割制御情報を出力する分割制御手段と、分割制御手段から出力された分割制御情報にしたがって入力画像を所定サイズの矩形領域であるタイルに分割し、分割後のタイルを分配するタイル分配手段と、フィルタリング処理後の局所復号画像を記憶する画像メモリと、画像メモリに記憶されている局所復号画像を参照して、タイル分配手段により分配されたタイルに対する予測差分符号化処理を実施することで、その符号化結果である符号化ビットデータを出力するとともに、その符号化ビットデータから局所復号画像を生成する１以上のタイル符号化手段と、タイル符号化手段により生成された局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを用いて、上記局所復号画像に対するフィルタリング処理を実施する１以上のタイルフィルタ手段と、分割制御手段から出力された分割制御情報にしたがって１以上のタイルフィルタ手段によるフィルタリング処理後の局所復号画像を組み合わせてフレーム単位の局所復号画像を生成し、その局所復号画像を画像メモリに格納する局所復号画像格納手段とを設け、多重化手段が、タイル符号化手段から出力された符号化ビットデータ、タイルフィルタ手段により決定されたタイル単位のフィルタを示すフィルタパラメータ及び分割制御手段から出力された分割制御情報を多重化してビットストリームを生成するようにしたものである。

　この発明によれば、入力画像の分割状態を指示する分割制御情報を出力する分割制御手段と、分割制御手段から出力された分割制御情報にしたがって入力画像を所定サイズの矩形領域であるタイルに分割し、分割後のタイルを分配するタイル分配手段と、画像メモリに記憶されている局所復号画像を参照して、タイル分配手段により分配されたタイルに対する予測差分符号化処理を実施することで、その符号化結果である符号化ビットデータを出力するとともに、その符号化ビットデータから局所復号画像を生成する１以上のタイル符号化手段とを設け、１以上のタイルフィルタ手段が、タイル符号化手段により生成された局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを用いて、その局所復号画像に対するフィルタリング処理を実施するように構成したので、ループフィルタの処理をタイルレベルで並列に行うことができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。この発明の実施の形態１による動画像符号化装置のタイル符号化部５－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。この発明の実施の形態１による動画像符号化装置のタイル符号化部５－ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容を示すフローチャートである。この発明の実施の形態１による動画像符号化装置のタイルループフィルタ部７－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。この発明の実施の形態１による動画像復号装置を示す構成図である。この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。この発明の実施の形態１による動画像復号装置のタイル復号部５４－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。この発明の実施の形態１による動画像復号装置のタイル復号部５４－ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容を示すフローチャートである。この発明の実施の形態１による動画像復号装置のタイルループフィルタ部５６－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。画像のＬＣＵ分割及びタイル分割の一例を示す説明図である。最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示す説明図である。タイルとフィルタ定義領域を示す説明図である。フィルタパラメータが多重化されているビットストリームを示す説明図である。フィルタ境界でのフィルタリング処理を示す説明図である。この発明の実施の形態２による動画像符号化装置を示す構成図である。この発明の実施の形態２による動画像復号装置を示す構成図である。格子状配置でない自由なタイル分割の一例を示す説明図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
　図１において、符号化制御部１は映像信号が示す入力画像を所定サイズの矩形領域であるタイルに分割する際の分割状態を指示するタイル分割制御情報（分割制御情報）を出力する処理を実施する。
　また、符号化制御部１はタイル符号化部５－１～５－Ｎにより生成されたタイル単位の局所復号画像のフィルタリング処理に用いるフィルタを各タイルで共通させるか否かを示すフィルタパラメータ共有フラグ（フィルタ共有フラグ）を出力する処理を実施する。
　なお、符号化制御部１は分割制御手段を構成している。

　タイル分割制御部２は符号化制御部１から出力されたタイル分割制御情報が指示している分割状態と一致するように、並列処理開始部３における入力画像の分割を制御する処理を実施する。
　並列処理開始部３はタイル分割制御部２の指示の下、映像信号が示す入力画像を所定サイズのタイルに分割し、分割後のタイルをタイル符号化部５－１～５－Ｎに分配する処理を実施する。
　なお、タイル分割制御部２及び並列処理開始部３からタイル分配手段が構成されている。

　動き補償予測フレームメモリ４はフィルタリング処理後の局所復号画像を記憶する記録媒体である。なお、動き補償予測フレームメモリ４は画像メモリを構成している。
　タイル符号化装置５はＮ個のタイル符号化部５－１～５－Ｎを実装しており、Ｎ個のタイル符号化部５－１～５－Ｎが独立して予測差分符号化処理を実施する。Ｎは１以上の整数である。
　タイル符号化部５－１～５－Ｎは動き補償予測フレームメモリ４に記憶されているフィルタリング処理後の局所復号画像を参照して、並列処理開始部３により分配されたタイルに対する予測差分符号化処理を実施することで、その符号化結果であるビット系列データ（符号化ビットデータ）及び符号化パラメータ（符号化パラメータは予測差分符号化処理を実施する際に用いられたパラメータであり、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ、インター予測パラメータが該当する）を出力するとともに、タイル局所復号画像（局所復号画像）を生成する処理を実施する。なお、タイル符号化部５－１～５－Ｎはタイル符号化手段を構成している。

　ループフィルタ制御部６は符号化制御部１から出力されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、タイル符号化部５－１～５－Ｎにより生成されたタイル局所復号画像からフレーム単位の局所復号画像を得て、フレーム単位の局所復号画像に適するフレーム単位のフィルタを決定し、そのフィルタを示すフィルタパラメータをタイルループフィルタ装置７に出力する処理を実施する。
　また、ループフィルタ制御部６はフレーム単位のフィルタを示すフィルタパラメータを可変長符号化し、そのフィルタパラメータの符号化データを並列処理終了部８に出力する処理を実施する。
　なお、ループフィルタ制御部６はフレーム単位フィルタ決定手段を構成している。

　タイルループフィルタ装置７はＮ個のタイルループフィルタ部７－１～７－Ｎを実装しており、Ｎ個のタイルループフィルタ部７－１～７－Ｎが独立してフィルタリング処理を実施する。Ｎは１以上の整数である。
　タイルループフィルタ部７－１～７－Ｎは符号化制御部１から出力されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、タイル符号化部５－１～５－Ｎにより生成されたタイル局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを用いて、タイル局所復号画像に対するフィルタリング処理を実施するとともに、タイル単位のフィルタを示すフィルタパラメータを可変長符号化し、そのフィルタパラメータの符号化データをタイル符号化部５－１～５－Ｎから出力されたビット系列データに多重化する処理を実施する。
　一方、フィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、ループフィルタ制御部６から出力されたフィルタパラメータが示すフレーム単位のフィルタを用いて、タイル符号化部５－１～５－Ｎにより生成されたタイル局所復号画像のフィルタリング処理を実施するとともに、タイル符号化部５－１～５－Ｎから出力されたビット系列データをそのまま出力する処理を実施する。
　なお、タイルループフィルタ部７－１～７－Ｎはタイルフィルタ手段を構成している。

　並列処理終了部８は符号化制御部１から出力されたタイル分割制御情報にしたがってタイルループフィルタ部７－１～７－Ｎによるフィルタリング処理後のタイル局所復号画像を組み合わせてフレーム単位の局所復号画像を生成し、その局所復号画像を動き補償予測フレームメモリ４に格納するとともに、タイルループフィルタ部７－１～７－Ｎから出力されたビット系列データを可変長符号多重化部９に出力する処理を実施する。
　また、並列処理終了部８は符号化制御部１から出力されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、ループフィルタ制御部６から出力されたフレーム単位のフィルタを示すフィルタパラメータの符号化データを可変長符号多重化部９に出力する処理を実施する。
　なお、並列処理終了部８は局所復号画像格納手段を構成している。

　可変長符号多重化部９は符号化制御部１から出力されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、並列処理終了部８から出力されたビット系列データと、符号化制御部１から出力されたタイル分割制御情報及びフィルタパラメータ共有フラグとを多重化してビットストリームを生成する処理を実施する。
　一方、フィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、並列処理終了部８から出力されたビット系列データ及びフレーム単位のフィルタを示すフィルタパラメータの符号化データと、符号化制御部１から出力されたタイル分割制御情報及びフィルタパラメータ共有フラグとを多重化してビットストリームを生成する処理を実施する。
　なお、可変長符号多重化部９は多重化手段を構成している。

　図１の例では、動画像符号化装置の構成要素である符号化制御部１、タイル分割制御部２、並列処理開始部３、動き補償予測フレームメモリ４、タイル符号化装置５、ループフィルタ制御部６、タイルループフィルタ装置７、並列処理終了部８及び可変長符号多重化部９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、タイル分割制御部２、並列処理開始部３、タイル符号化装置５、ループフィルタ制御部６、タイルループフィルタ装置７、並列処理終了部８及び可変長符号多重化部９の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

　図３はこの発明の実施の形態１による動画像符号化装置のタイル符号化部５－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
　図３において、タイル符号化制御部２１は符号化対象ブロックのサイズである符号化ブロックサイズを決定するとともに、選択可能な１以上のイントラ符号化モード及びインター符号化モードの中から、ブロック分割部２２から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
　また、タイル符号化制御部２１は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
　さらに、タイル符号化制御部２１は変換・量子化部２７、逆量子化・逆変換部２８及び可変長符号化部３１に与える予測差分符号化パラメータを決定する処理を実施する。
　以降、タイル符号化制御部２１により決定された符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータをまとめて符号化パラメータと称する。タイル符号化制御部２１は符号化パラメータをタイルループフィルタ部７－ｎ（ｎ＝１，２，・・・，Ｎ）に出力する処理を実施する。

　ブロック分割部２２は並列処理開始部３により分配されたタイルをタイル符号化制御部２１により決定された符号化ブロックサイズのブロック（予測処理単位のブロック）に分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。
　切換スイッチ２３はタイル符号化制御部２１により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部２２から出力された符号化対象ブロックをイントラ予測部２４に出力し、タイル符号化制御部２１により決定された符号化モードがインター符号化モードであれば、ブロック分割部２２から出力された符号化対象ブロックを動き補償予測部２５に出力する処理を実施する。

　イントラ予測部２４はタイル局所復号画像メモリ３０に格納されている局所復号画像を参照しながら、タイル符号化制御部２１により決定されたイントラ予測パラメータを用いて、切換スイッチ２３から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
　なお、タイル局所復号画像メモリ３０に格納されている局所復号画像は、同じタイルに属するブロックの局所復号画像のみであるため、イントラ予測部２４におけるイントラ予測処理では、異なるタイルに属するブロックの局所復号画像の参照は行わない。参照位置のブロックが異なるタイルに属するブロックである場合は、画素参照が不要なイントラ予測処理を実施する。

　動き補償予測部２５は切換スイッチ２３から出力された符号化対象ブロックと動き補償予測フレームメモリ４に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルとタイル符号化制御部２１により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
　減算部２６はブロック分割部２２より出力された符号化対象ブロックから、イントラ予測部２４により生成されたイントラ予測画像、または、動き補償予測部２５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部２７に出力する処理を実施する。

　変換・量子化部２７はタイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、減算部２６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ（差分画像の量子化係数）を逆量子化・逆変換部２８及び可変長符号化部３１に出力する処理を実施する。

　逆量子化・逆変換部２８はタイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、変換・量子化部２７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部２６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
　加算部２９は逆量子化・逆変換部２８により算出された局所復号予測差分信号と、イントラ予測部２４により生成されたイントラ予測画像、または、動き補償予測部２５により生成されたインター予測画像とを加算して、ブロック分割部２２から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。

　タイル局所復号画像メモリ３０は加算部２９により算出された局所復号画像を格納する記録媒体である。タイルに属する全てのコーディングユニット（ＣＵ）の符号化処理が終了した時点で、内部に格納されているタイル１つ分の局所復号画像がタイルループフィルタ部７－ｎに出力される。
　可変長符号化部３１は変換・量子化部２７から出力された圧縮データと、タイル符号化制御部２１から出力された符号化パラメータと、動き補償予測部２５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化し、その符号化結果であるビット系列データをタイルループフィルタ部７－ｎに出力する処理を実施する。
　なお、図４はこの発明の実施の形態１による動画像符号化装置のタイル符号化部５－ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容を示すフローチャートである。

　図５はこの発明の実施の形態１による動画像符号化装置のタイルループフィルタ部７－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
　図５において、タイルループフィルタ制御部４１は符号化制御部１から出力されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、タイル符号化部５－ｎにより生成されたタイル局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを示すフィルタパラメータをループフィルタ実施部４２及び可変長符号化部４３に出力する処理を実施する。

　ループフィルタ実施部４２は符号化制御部１から出力されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、タイルループフィルタ制御部４１から出力されたフィルタパラメータが示すタイル単位のフィルタとタイル符号化部５－ｎから出力された符号化パラメータを用いて、タイル符号化部５－ｎから出力されたタイル局所復号画像に対するフィルタリング処理を実施する。
　一方、フィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、ループフィルタ制御部６から出力されたフィルタパラメータが示すフレーム単位のフィルタとタイル符号化部５－ｎから出力された符号化パラメータを用いて、タイル符号化部５－ｎから出力されたタイル局所復号画像に対するフィルタリング処理を実施する。

　可変長符号化部４３は符号化制御部１から出力されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、タイルループフィルタ制御部４１から出力されたタイル単位のフィルタを示すフィルタパラメータを可変長符号化し、そのフィルタパラメータの符号化データをタイル符号化部５－ｎから出力されたビット系列データに多重化して並列処理終了部８に出力する処理を実施する。
　一方、フィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、タイル符号化部５－ｎから出力されたビット系列データをそのまま並列処理終了部８に出力する処理を実施する。

　図６はこの発明の実施の形態１による動画像復号装置を示す構成図である。
　図６において、可変長符号分離部５１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されているフレーム単位のビット系列データ（タイル単位のビット系列データが纏まっているデータ）と、入力画像の分割状態を指示するタイル分割制御情報と、各タイルでフィルタを共通させるか否かを示すフィルタ共有フラグと、フレーム単位のフィルタを示すフィルタパラメータの符号化データ（フィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合）とを分離する処理を実施する。なお、可変長符号分離部５１は分離手段を構成している。

　並列処理開始部５２は可変長符号分離部５１から出力されたフレーム単位のビット系列データをタイル単位のビット系列データに分割し、タイル単位のビット系列データをタイル復号部５４－１～５４－Ｎに分配する処理を実施する。なお、並列処理開始部５２は符号化ビットデータ分配手段を構成している。
　動き補償予測フレームメモリ５３はフィルタリング処理後の復号画像を記憶する記録媒体である。なお、動き補償予測フレームメモリ５３は画像メモリを構成している。

　タイル復号装置５４はＮ個のタイル復号部５４－１～５４－Ｎを実装しており、Ｎ個のタイル復号部５４－１～５４－Ｎが独立して予測差分復号処理を実施する。Ｎは１以上の整数である。
　タイル復号部５４－１～５４－Ｎは動き補償予測フレームメモリ５３に記憶されているフィルタリング処理後の復号画像を参照して、並列処理開始部５２により分配されたタイル単位のビット系列データに対する予測差分復号処理を実施することで、タイル復号画像（タイル単位の復号画像）を生成するとともに、その予測差分復号処理を実施する際に用いている符号化パラメータ（ビット系列データに多重化されている符号化パラメータ）をタイルループフィルタ部５６－１～５６－Ｎに出力する処理を実施する。
　また、タイル単位のフィルタを示すフィルタパラメータの符号化データがビット系列データに多重化されている場合、そのフィルタパラメータの符号化データをタイルループフィルタ部５６－１～５６－Ｎに出力する処理を実施する。
　なお、タイル復号部５４－１～５４－Ｎはタイル復号手段を構成している。

　フィルタパラメータ復号部５５は可変長符号分離部５１により分離されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、フィルタパラメータ復号部５５から出力された符号化データからフレーム単位のフィルタを示すフィルタパラメータを復号し、そのフィルタパラメータをタイルループフィルタ部５６－１～５６－Ｎに出力する処理を実施する。

　タイルループフィルタ装置５６はＮ個のタイルループフィルタ部５６－１～５６－Ｎを実装しており、Ｎ個のタイルループフィルタ部５６－１～５６－Ｎが独立してフィルタリング処理を実施する。Ｎは１以上の整数である。
　タイルループフィルタ部５６－１～５６－Ｎは可変長符号分離部５１により分離されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、タイル復号部５４－１～５４－Ｎから出力された符号化データからタイル単位のフィルタを示すフィルタパラメータを復号し、そのフィルタパラメータが示すタイル単位のフィルタを用いて、タイル復号部５４－１～５４－Ｎにより生成されたタイル復号画像に対するフィルタリング処理を実施する処理を実施する。
　一方、フィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、フィルタパラメータ復号部５５から出力されたフィルタパラメータが示すフレーム単位のフィルタを用いて、タイル復号部５４－１～５４－Ｎにより生成されたタイル復号画像に対するフィルタリング処理を実施する処理を実施する。
　なお、タイルループフィルタ部５６－１～５６－Ｎはタイルフィルタ手段を構成している。

　タイル分割制御部５７は可変長符号分離部５１により分離されたタイル分割制御情報からタイルの分割状態を把握し、元の入力画像に相当する復号画像が得られるように、並列処理終了部５８における各タイル復号画像の配置を制御する処理を実施する。
　並列処理終了部５８はタイル分割制御部５７の制御の下で、タイルループフィルタ部５６－１～５６－Ｎによるフィルタリング処理後のタイル復号画像を組み合わせてフレーム単位の復号画像を生成し、その復号画像を動き補償予測フレームメモリ５３に格納する処理を実施する。
　なお、タイル分割制御部５７及び並列処理終了部５８から復号画像格納手段が構成されている。

　図６の例では、動画像復号装置の構成要素である可変長符号分離部５１、並列処理開始部５２、動き補償予測フレームメモリ５３、タイル復号装置５４、フィルタパラメータ復号部５５、タイルループフィルタ装置５６、タイル分割制御部５７及び並列処理終了部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長符号分離部５１、並列処理開始部５２、タイル復号装置５４、フィルタパラメータ復号部５５、タイルループフィルタ装置５６、タイル分割制御部５７及び並列処理終了部５８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図７はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

　図８はこの発明の実施の形態１による動画像復号装置のタイル復号部５４－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
　図８において、可変長復号部６１は並列処理開始部５２により分配されたタイル単位のビット系列データから予測処理単位のブロックである復号対象ブロック（符号化対象ブロックに相当するブロック）に係る圧縮データと、符号化パラメータ（符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ）と、動きベクトル（符号化モードがインター符号化モードである場合）とを可変長復号するとともに、可変長復号後の符号化パラメータ及びタイル単位のビット系列データに多重化されているタイル単位のフィルタを示すフィルタパラメータの符号化データをタイルループフィルタ部５６－ｎに出力する処理を実施する。

　切換スイッチ６２は可変長復号部６１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部６１により可変長復号されたイントラ予測パラメータをイントラ予測部６３に出力し、可変長復号部６１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部６１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部６４に出力する処理を実施する。

　イントラ予測部６３はタイル復号画像メモリ６７に格納されている復号画像を参照しながら、切換スイッチ６２から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
　動き補償部６４は動き補償予測フレームメモリ５３に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ６２から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。

　逆量子化・逆変換部６５は可変長復号部６１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部６１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、復号予測差分信号を算出する処理を実施する。
　加算部６６は逆量子化・逆変換部６５により算出された復号予測差分信号と、イントラ予測部６３により生成されたイントラ予測画像、または、動き補償部６４により生成されたインター予測画像とを加算して、復号画像を算出する処理を実施する。
　タイル復号画像メモリ６７は加算部６６により算出された復号画像を格納する記録媒体である。
　タイルに属する全てのコーディングユニット（ＣＵ）の復号処理が終了した時点で、格納されているタイル１つ分の復号画像がタイル復号部５４－ｎの外部に出力される。
　なお、図９はこの発明の実施の形態１による動画像復号装置のタイル復号部５４－ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容を示すフローチャートである。

　図１０はこの発明の実施の形態１による動画像復号装置のタイルループフィルタ部５６－ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
　図１０において、タイルフィルタパラメータ復号部７１は可変長符号分離部５１により分離されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、可変長符号分離部５１により分離されたタイル単位のフィルタを示すフィルタパラメータの符号化データを復号し、その復号結果であるフィルタパラメータをループフィルタ実施部７２に出力する処理を実施する。

　ループフィルタ実施部７２は可変長符号分離部５１により分離されたフィルタパラメータ共有フラグが各タイルでフィルタを共通させない旨を示している場合、タイルフィルタパラメータ復号部７１により復号されたフィルタパラメータが示すタイル単位のフィルタとタイル復号部５４－ｎの可変長復号部６１により可変長復号された符号化パラメータを用いて、タイル復号部５４－ｎから出力されたタイル復号画像に対するフィルタリング処理を実施する。
　一方、フィルタパラメータ共有フラグが各タイルでフィルタを共通させる旨を示している場合、フィルタパラメータ復号部５５から出力されたフィルタパラメータが示すフレーム単位のフィルタとタイル復号部５４－ｎの可変長復号部６１により可変長復号された符号化パラメータを用いて、タイル復号部５４－ｎから出力されたタイル復号画像に対するフィルタリング処理を実施する。

　次に動作について説明する。
　この実施の形態１では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

　最初に、図１の動画像符号化装置の動作を説明するが、図１の動画像符号化装置は、入力画像をタイルと呼ばれる矩形領域に分割して、タイル間の処理の依存性を無くすことで、符号化処理において、タイルレベルでの並列処理を可能とすることを特徴としている。
　同時に、復号処理において、タイルレベルでの並列処理が可能となる符号化結果を出力することを特徴としている。

　映像信号の符号化処理は、一般に入力映像の空間・時間・輝度レベル解像度に比例して処理量が増加する。
　撮像装置、記憶装置及び伝送装置などの進化に伴って、映像信号の時間・空間・輝度レベル解像度は増加する傾向にあり、既存の動画像符号化装置、動画像復号装置では、所定の速度で符号化処理や復号処理を行うことが不可能になることが考えられる。
　このような状況に対応する解の一つとして、入力画像を空間的に分割して、複数の符号化部に与え、複数の符号化部を並列に動作させることで、処理時間を低減させることが考えられる。この場合、復号側においても、分割されて符号化されたデータをそれぞれ異なる復号部に与え、複数の復号部が復号処理を並列処理することで、処理時間を低減させることが可能となる。

　ここで、より高速に並列処理を実行するには、並列的に動作している符号部・復号部間での情報の参照はなるべく減らすことが望ましい。これには、フレーム内予測のための画素の参照、動きベクトル予測のための動きベクトル情報の参照、その他エントロピー符号化のための近接領域の符号化パラメータ情報の参照、エントロピー符号化におけるシンボル生起確率推定モデルの状態が含まれる。
　ある領域の符号化を行う際に、近接領域が別の符号化部で並列的に処理されていた場合、これらの情報の参照を行うためには処理の同期が必要になるため、並列性能を高めるためには好ましくない。
　また、上記の情報以外にも、画面のフィルタリング処理を行う場合に近接領域の画素参照が必要になる。よって、フィルタリング処理も含めた並列性能を高めるためには、フィルタリング処理においても、別の符号化部・復号部で並列的に処理されている近接領域の画素参照を行うべきではない。

　この実施の形態１では、このような動画像符号化の並列処理に求められる機能を実現するために、入力画像をタイルと呼ばれる矩形領域に分割し、タイルレベルで予測差分符号化処理の並列化を可能にするとともに、フィルタ係数導出およびフィルタリング処理の並列化を可能にし、かつ、フィルタ係数導出を並列化するか否かを切り替えられる構成をとっている。

　図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
　ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。
　以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
　また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
　この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

　まず、符号化制御部１は、映像信号が示す入力画像を所定サイズのタイルに分割する際の分割状態を指示するタイル分割制御情報をタイル分割制御部２、並列処理終了部８及び可変長符号多重化部９に出力する。
　また、符号化制御部１は、タイル符号化部５－１～５－Ｎにより生成されたタイル単位の局所復号画像のフィルタリング処理に用いるフィルタを各タイルで共通させるか否かを示すフィルタパラメータ共有フラグ（各タイルで共通させる場合：ＯＮのフラグ、各タイルで共通させない場合：ＯＦＦのフラグ）をタイル分割制御部２、ループフィルタ制御部６、タイルループフィルタ部７－１～７－Ｎ及び可変長符号多重化部９に出力する。

　タイル分割制御部２は、符号化制御部１からタイル分割制御情報を受けると、そのタイル分割制御情報が指示している分割状態と一致するように、並列処理開始部３における入力画像の分割を制御する。
　並列処理開始部３は、入力画像を示す映像信号を入力すると、タイル分割制御部２の指示の下、その入力画像を所定サイズのタイルに分割し、分割後のタイルをタイル符号化部５－１～５－Ｎに分配する（図２のステップＳＴ１）。
　ここで、タイル分割を制御する情報は様々な表現が考えられるが、例えば、タイルを最大サイズのＣＵ（Ｌａｒｇｅｓｔ　ＣＵ：ＬＣＵ）を最小単位として、ＬＣＵをいくつ含むかという情報によってタイル分割を指定することを考える。

　図１１は画像のＬＣＵ分割及びタイル分割の一例を示す説明図である。
　入力画像は、図１１に示すように、左上を始点として、格子状に並ぶＬＣＵに分割される。画像の高さと幅及びＬＣＵの一辺の長さを指定すると、この分割は一意に定まる。
　タイル分割は、ＬＣＵを最小単位として行われるため、各タイルの幅及び高さは、横及び縦の辺に含まれるＬＣＵの数で表すことができる。
　よって、タイル分割制御情報として、２つの整数の系列であるColumnWidthArray[]，RowHeightArray[]を与える。
　ColumnWidthArray[]は、横方向に並ぶタイルの幅をＬＣＵの数で表現した値を、右から順に並べたものである。
　また、RowHeightArray[]は、上下方向に並ぶタイルの高さをＬＣＵの数で表現した値を、上から順に並べたものである。

　例えば、ColumnWidthArray[]={4, 3, 6, 4, 6}、RowHeightArray[]={3, 3, 4, 5}と指定された場合、図１１のようにタイル分割される。
　また、入力画像のＬＣＵ分割は、画像サイズとＬＣＵの一辺の長さから一意に決定されるため、最も右の列の幅と、最も下の行の高さは指定しなくとも、その他の行や列の情報から一意に定めることが可能となる。
　よって、これらの情報は省略が可能であり、その場合、ColumnWidthArray[]={4, 3, 6, 4}、RowHeightArray[]={3, 3, 4}と指定すればよい。
　上記では、図１１に示されるように、フレームを格子状に分割するタイルの例を説明したが、図１９に示すような、格子状配置でないより自由なタイル分割も可能である。このような場合、タイル分割制御情報もこのような分割状態を表現できる情報でなければならない。例えば、タイルの最も左上の画素またはＬＣＵの座標、タイルの幅及び高さの情報により表現することが例として挙げられる。
　またタイル分割状態は、シーケンス全体で同じ分割状態を維持してもよいし、フレーム単位で変更してもよいし、またはイントラピクチャ、インターピクチャなどのピクチャ種ごとに切り替えてもよい。シーケンス全体で同じタイル分割状態を用いる場合は、タイル分割情報はシーケンスのヘッダで多重化すればよく、シーケンスの途中で切り替える場合は、切り替わった直後のピクチャのピクチャヘッダに多重化すればよい。

　なお、図１の動画像符号化装置は、あらゆるタイルレベルでの並列処理を行わないという動作も可能である。
　この場合、タイルの数が１つであり、かつ、タイルのサイズが入力画像のサイズと一致するようにタイル分割制御情報を指定してもよいし、また、タイル符号化並列フラグやタイルループフィルタ並列フラグによって、全ての並列処理をＯＦＦにしてもよい。
　また、別のフラグをタイル分割制御情報に多重化し、そのフラグで並列処理の実施／不実施を切り替えるようにしてもよい。
　以下では、タイルレベルでの並列処理を行う場合について説明するが、並列処理を行わない場合の動作はフレーム全体が１つのタイルである場合の動作と同等である。

　並列処理開始部３は、上述したように、入力画像を所定サイズのタイルに分割し、分割後のタイルをタイル符号化部５－１～５－Ｎに分配するが、同時に並列処理できるタイル数は、タイル符号化部５－１～５－Ｎの個数が上限となるため、タイル数がタイル符号化部５－１～５－Ｎの個数よりも多い場合には、一つのタイル符号化部５－ｎに対して、複数のタイルを出力する。
　例えば、タイル数が７で、タイル符号化部の個数が３である場合、タイル１～３の処理をタイル符号化部５－１、タイル４～５の処理をタイル符号化部５－２、タイル６～７の処理をタイル符号化部５－３に割り当てるようにする。
　また、タイルの分割数がタイル符号化部の個数に満たない場合でも、１つのタイル符号化部に対して、複数のタイルを割り当てるように制御してもよい。

　符号化制御部１から出力されるフィルタパラメータ共有フラグがＯＦＦである場合（ステップＳＴ２）、タイル符号化部５－ｎ及びタイルループフィルタ部７－ｎの処理が続けて行われることになる（ステップＳＴ３，ＳＴ４）。
　このとき、タイル符号化部５－ｎ及びタイルループフィルタ部７－ｎの処理は、タイルの数だけ繰り返し実行され（ステップＳＴ５，ＳＴ６）、かつ、各ループの処理は独立しているため、タイル符号化部５－ｎの個数だけ並列的に実行することが可能である。
　フィルタパラメータ共有フラグがＯＦＦである場合、タイルの符号化処理とタイルのループフィルタ処理をまとめて並列化することが可能であるため、より符号化処理の並列性を向上させることが可能となる。また、フィルタパラメータが局所化されるため、画面領域毎に、画像の性質が大きく異なる場合に画質向上につながる。
　なお、タイル符号化部５－ｎ及びタイルループフィルタ部７－ｎの処理内容の詳細については後述する。

　一方、符号化制御部１から出力されるフィルタパラメータ共有フラグがＯＮである場合（ステップＳＴ２）、タイル符号化部５－ｎは、全てのタイルの符号化処理が終了するまでタイルの符号化処理を繰り返し実行し（ステップＳＴ８～ＳＴ１０）、全てのタイルの符号化処理が終了すると、ループフィルタ制御部６が、タイル符号化部５－ｎにより生成されたタイル局所復号画像から、画面全体であるフレーム単位の局所復号画像を得て、フレーム単位の局所復号画像に適するフレーム単位のフィルタを決定し、そのフィルタを示すフィルタパラメータをタイルループフィルタ部７－ｎ及び並列処理終了部８に出力する（ステップＳＴ１１）。ループフィルタ制御部６の処理内容の詳細については後述する。
　タイルループフィルタ部７－ｎは、ループフィルタ制御部６からフィルタパラメータを受けると、全てのタイル局所復号画像のフィルタリング処理が終了するまで、タイル局所復号画像のフィルタリング処理を繰り返し実行する（ステップＳＴ１２～ＳＴ１４）。

　フィルタパラメータ共有フラグがＯＮである場合、フィルタパラメータが全てのタイルで共有されるため、フィルタパラメータ共有フラグがＯＦＦの場合と比較して、フィルタパラメータの符号量を抑えることが可能になる。またフレーム全体の局所復号画像を用いてフィルタパラメータを設計した場合の方が画質が向上する場合などに有効になる。
　ただし、フィルタパラメータ共有フラグがＯＮである場合、タイル符号化部５－ｎとタイルループフィルタ部７－ｎの間で並列処理を一旦同期させる必要があるため、符号化処理の並列性能は低下する。
　後述する動画像復号装置においては、フィルタパラメータ共有フラグがＯＮの際に作成されたビットストリームを復号する場合でも並列性能が低下しない。

　並列処理終了部８は、タイルループフィルタ部７－１～７－Ｎのフィルタリング処理が完了すると、符号化制御部１から出力されたタイル分割制御情報にしたがって、タイルループフィルタ部７－１～７－Ｎによるフィルタリング処理後のタイル局所復号画像を組み合わせてフレーム単位の局所復号画像を生成し、その局所復号画像を動き補償予測フレームメモリ４に格納するとともに、タイルループフィルタ部７－１～７－Ｎから出力されたビット系列データを可変長符号多重化部９に出力する。
　また、並列処理終了部８は、符号化制御部１から出力されたフィルタパラメータ共有フラグがＯＮである場合、ループフィルタ制御部６から出力されたフレーム単位のフィルタを示すフィルタパラメータの符号化データを可変長符号多重化部９に出力する。

　可変長符号多重化部９は、符号化制御部１から出力されたフィルタパラメータ共有フラグがＯＦＦである場合、並列処理終了部８から出力されたビット系列データ（タイル符号化部５－１～５－Ｎにより生成されたビット系列データ）と、符号化制御部１から出力されたタイル分割制御情報及びフィルタパラメータ共有フラグとを所定の方式で多重化してビットストリームを生成する（ステップＳＴ７）。
　一方、フィルタパラメータ共有フラグがＯＮである場合、並列処理終了部８から出力されたビット系列データ（タイル符号化部５－１～５－Ｎにより生成されたビット系列データ）と、符号化制御部１から出力されたタイル分割制御情報及びフィルタパラメータ共有フラグと、ループフィルタ制御部６から出力されたフレーム単位のフィルタを示すフィルタパラメータの符号化データとを所定の方式で多重化してビットストリームを生成する（ステップＳＴ１５）。

　次に、タイル符号化装置５におけるタイル符号化部５－１～５－Ｎの処理内容を詳細に説明する。
　タイル符号化装置５は、Ｎ個のタイル符号化部５－１～５－Ｎを実装しており、Ｎ個のタイル符号化部５－１～５－Ｎが独立して予測差分符号化処理（タイル間のいかなる情報参照も行わない予測差分符号化処理）を実施する。

　タイル符号化部５－ｎのタイル符号化制御部２１は、最大符号化ブロック（ＬＣＵ）のサイズ及び分割階層数の上限を決定し、各ＬＣＵの画像領域に対して特定の順序で図４のステップＳＴ２１～ＳＴ３１の処理を実施する。
　まず、タイル符号化制御部２１は、上記で定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割する指示をブロック分割部２２に出力するとともに、各符号化対象ブロックに対する符号化モードを決定する（図４のステップＳＴ２１）。
　ブロック分割部２２は、タイル符号化制御部２１の指示の下、並列処理開始部３により分配されたタイルを符号化ブロックサイズのブロック（予測処理単位のブロック）に分割して、予測処理単位のブロックである符号化対象ブロックを出力する。
　ここで、図１２は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
　図１２において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化対象ブロックである。

　ＬＣＵサイズのブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
　深さｎにおいては、符号化対象ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
　ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図１２では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。
　以降、タイル符号化制御部２１により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
　４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。

　なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。
　以降、第ｎ階層の符号化対象ブロックをＢ^ｎで表し、符号化対象ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
　複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

　符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、タイル符号化制御部２１は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢ^ｎに対する符号化効率が最も高い符号化モードを選択する。
　さらに、符号化対象ブロックＢ^ｎは、図１３に示すように、ブロック分割部２２によって、１つないし複数の予測処理単位（パーティション）に分割される。
　以降、符号化対象ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉは、第ｎ階層におけるパーティション番号）と表記する。
　符号化対象ブロックＢ^ｎのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
　パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、符号化対象ブロックＢ^ｎないしパーティションＰ_ｉ ^ｎ毎に、予測パラメータが選択される。

　タイル符号化制御部２１は、最大符号化ブロックに対して、例えば、図１３に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
　図１３（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図１３（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
　図１３（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化対象ブロック）である。

　切換スイッチ２３は、タイル符号化制御部２１により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部２２から出力された符号化対象ブロックＢ^ｎをイントラ予測部２４に出力する。
　一方、タイル符号化制御部２１により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部２２から出力された符号化対象ブロックＢ^ｎを動き補償予測部２５に出力する。

　イントラ予測部２４は、タイル符号化制御部２１により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ２３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ２２）、タイル局所復号画像メモリ３０に格納されている局所復号画像を参照しながら、タイル符号化制御部２１により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２３）。

　なお、タイル局所復号画像メモリ３０に格納されている局所復号画像は、カレントタイルに属するブロックの局所復号画像のみであるため、タイル端におけるイントラ予測処理は、隣接画素の参照が不要な画面端でのイントラ予測と同様の処理を行う。
　また、図６の動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、タイル符号化制御部２１から可変長符号化部３１に出力されて、ビットストリームに多重化される。

　動き補償予測部２５は、タイル符号化制御部２１により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ２３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ２２）、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎと動き補償予測フレームメモリ４に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルとタイル符号化制御部２１により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２４）。
　なお、図６の動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、タイル符号化制御部２１から可変長符号化部３１に出力されて、ビットストリームに多重化され、その動きベクトルは、動き補償予測部２５から可変長符号化部３１に出力されて、ビットストリームに多重化される。

　減算部２６は、ブロック分割部２２から符号化対象ブロックＢ^ｎを受けると、その符号化対象ブロックＢ^ｎ内のパーティションＰ_ｉ ^ｎから、イントラ予測部２４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部２５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを減算して、その減算結果である予測差分信号ｅ_ｉ ^ｎを変換・量子化部２７に出力する（ステップＳＴ２５）。
　変換・量子化部２７は、減算部２６から予測差分信号ｅ_ｉ ^ｎを受けると、タイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、その変換係数を算出する。
　また、変換・量子化部２７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部２８及び可変長符号化部３１に出力する（ステップＳＴ２６）。

　逆量子化・逆変換部２８は、変換・量子化部２７から圧縮データを受けると、タイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
　また、逆量子化・逆変換部２８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部２６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出する（ステップＳＴ２９）。

　加算部２９は、逆量子化・逆変換部２８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部２４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部２５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部２２から出力された符号化対象ブロックＢ^ｎに相当する局所復号画像を算出する（ステップＳＴ３０）。
　なお、加算部２９は、その局所復号画像をタイル局所復号画像メモリ３０に格納する。この局所復号画像が、カレントタイルにおける以降のイントラ予測用の画像信号になる。

　可変長符号化部３１は、全ての符号化対象ブロックＢ^ｎに対するステップＳＴ２２～ＳＴ３０の処理が完了すると（ステップＳＴ２７，ＳＴ２８）、変換・量子化部２７から出力された圧縮データと、タイル符号化制御部２１から出力された符号化モードｍ（Ｂ^ｎ）と、タイル符号化制御部２１から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部２５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビット系列データを生成する（ステップＳＴ３１）。
　なお、可変長符号化の手法として、例えば、コンテキスト適応型算術符号化などを用いた場合、可変長符号化部３１の内部の状態を符号化の進行に合わせて更新していくが、この内部状態の初期値は、所定の固定値もしくは図１の並列処理開始部３から出力される値を使用するものとして、タイル間での状態の引継ぎは行わないようにする。

　また、タイル符号化部５－ｎの動作においては、上記のイントラ予測や可変長符号を含む如何なる処理においても、カレントタイルと異なるタイルに属するブロックの符号化パラメータ、局所復号画像の参照を行わない。タイル端での参照処理は、何らかの参照が不要な処理に置き換えられる。
　どのような処理に置き換えられるかは、動画像符号化装置と動画像復号装置で一致させる必要があるが、符号化側と復号側で固定的に同じ処理を行ってもよいし、処理内容を示す信号をシグナリングしてもよい。
　以上よりタイル符号化部５－１～５－Ｎの処理は各タイルで独立しており、並列実行可能である。
　また、タイル符号化部５－１～５－Ｎの一つのモジュールに対して、並列処理開始部３から複数のタイルが出力された場合、当該モジュールは、それぞれのタイルに対して逐次的に符号化処理を実施する。また、同じモジュールで符号化されたタイル同士であっても、タイル間の独立性は維持し、出力されるビット系列が、並列的に処理した場合と等しくなるように動作する。

　また、タイル符号化部５－ｎでは、カレントタイルをスライスと呼ばれる１つ以上の構造体に分割して処理を行なっても良い。スライスは、タイルを更に分割する構造体であり、連続して処理される１つ以上のＬＣＵ、またはＬＣＵよりも小さな符号化ブロックが含まれる。同じスライスの内部では、スライス毎に独立して定められたパラメータやモードを用いることができる。またタイルと同様に、カレントスライスと異なるスライスに属するブロックの情報の参照を禁止したり、スライスの先頭のブロックでエントロピー符号化の内部状態を初期化するなどの処理を行うことができる。スライスは、タイルと同様に並列処理を容易にする効果がある。また１スライスの処理により出力されるビット系列をパケット化するなど、データをパケッタイズに利用できる。またエラー耐性の面でも利点がある。
　タイル内をスライスに分割する場合、スライスの分割情報、各スライス独立のパラメータやモード情報及びスライス間を跨いだ情報参照を行うかどうかを示すフラグなどの情報はビットストリームに多重化され復号側に伝送される。
　可変長符号化の手法として前記コンテキスト適応型算術符号化を用いる場合、コンテキスト適応算術符号化処理の演算が複雑であるため処理速度のボトルネックとなる場合がある。タイル符号化処理の並列処理性を向上させるためは、すべてのタイルの符号化が同時に終了することが望ましいため、スライス単位にコンテキスト適応算術符号化の処理の一部を制限するよう構成する。

　具体的には、スライスヘッダに可変長符号化処理制御情報を多重化し、前記可変長符号化処理制御情報がコンテキスト切り替えを行わないよう制限することを示す場合には、当該スライスにおいてはコンテキスト切り替えを行わないで適応算術符号化を行う。同様に前記可変長符号化処理制御情報がコンテキスト切り替えおよび適応処理を行わないよう制限することを示す場合には、当該スライスにおいてはコンテキスト切り替えおよび適応処理を行わずに算術符号化を行う。このように構成することで、コンテキスト切り替えや適応処理を適宜省略して可変長符号化処理が行えるため、符号化に要する時間が他のタイルに比べて長くなっていると判断されたタイルについては、次に処理するスライスにおいて上記のように符号化処理に制限を加えることにより高速にタイルの符号化処理を行うことができ、他のタイルとの符号化処理時間の差を短縮することができるため、タイルの並列処理性を向上させることができる。
　ここではコンテキスト適応算術符号化を例に説明したが、他のいかなる可変長符号化手法であっても、その一部の処理を取り除いてもなお可変長符号化が可能であれば同様の手段によって同様の効果が得られる。

　次に、タイルループフィルタ装置７におけるタイルループフィルタ部７－１～７－Ｎの処理内容を詳細に説明する。
　タイルループフィルタ部７－ｎでは、局所復号画像に含まれている符号化歪を補正するフィルタの設計やフィルタリング処理を行う。
　ここで、ループフィルタ処理は、異なる１種以上のループフィルタ（ブロック境界の不連続を緩和するデブロッキングフィルタ、量子化誤差による直流成分の変動、エッジの不連続を補正するＳＡＯ（Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）、入力画像との誤差を最小にするフィルタを都度設計する適応型ループフィルタなど）を、入力された局所復号画像に対して直列的に実施するフィルタリング処理である。このとき、いずれのフィルタリング処理においても、タイルを跨いだ画素や、その他の情報の参照を行わないフィルタリング処理を実施する。

　図１の符号化制御部１から出力されたフィルタパラメータ共有フラグがＯＮである場合、ループフィルタ制御部６から出力されるフィルタパラメータが示すフレーム単位のフィルタを使用する。
　一方、フィルタパラメータ共有フラグがＯＦＦである場合、タイルループフィルタ制御部４１が、タイル符号化部５－ｎから出力されるタイル局所復号画像に適するタイル単位のフィルタを決定し、そのフィルタを使用する。

　以下、タイル符号化部５－ｎが用いるフィルタが適応型ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ　Ｌｏｏｐ　Ｆｉｌｔｅｒ）である例を説明する。
　ＡＬＦは、画面を一定数のフィルタ定義領域に分割し、かつ、フィルタ定義領域毎に局所復号画像と入力画像の誤差が最小となるようなフィルタを定義する手法である。
　ＡＬＦにおけるフィルタパラメータは、分割領域の形状、各領域に定義されたフィルタの形状及びフィルタ係数を示す情報となる。
　ここでは、説明の便宜上、フィルタ定義領域数を１６として、処理単位の矩形（フレーム又はタイル）を４×４の矩形領域に分割する領域分割手法を用いた場合を考える。

　図１のループフィルタ制御部６は、符号化制御部１から出力されたフィルタパラメータ共有フラグがＯＮである場合、フレーム１枚分の局所復号画像を４×４の１６個のフィルタ定義領域に分割し（図１４（ａ）を参照）、各々のフィルタ定義領域毎にフィルタ形状及びフィルタ係数を決定する。
　また、各フィルタ定義領域の各タイル内での相対位置情報を求め、その相対位置情報及びフィルタ形状／フィルタ係数情報をフィルタパラメータとして各タイルに出力する。
　タイルループフィルタ部７－ｎのループフィルタ実施部４２は、ループフィルタ制御部６からフィルタ定義領域の相対位置及びフィルタ形状／フィルタ係数情報を受けると、その相対位置及びフィルタ形状／フィルタ係数情報に基づいてフィルタリング処理を実施する。

　図１４の例では、フィルタパラメータ共有フラグがＯＦＦである場合、各タイルに対して１６種類のフィルタの設計が可能であるため、フレーム全体としては１４４種類のフィルタが設計されることになる。
　したがって、例えば、画像の特性が局所的に大きく変化しているような画像に対しては画質への改善効果が大きくなる利点が考えられる。
　一方、個々のタイル対して、１６種類のフィルタを設計することが、画質改善上オーバスペックであり、むしろフィルタパラメータの符号量の増加が問題になることも考えられる。
　このような場合は、フィルタパラメータ共有フラグをＯＮにすることで、フィルタパラメータの符号量を削減し、効率的にループフィルタ処理を行うことが可能となる。

　タイルループフィルタ制御部４１は、フィルタパラメータ共有フラグがＯＦＦである場合、タイル毎に独立してフィルタ定義領域の分割を行い、各フィルタ定義領域に対してフィルタ形状／フィルタ係数を決定し（図１４（ｂ）を参照）、フィルタ定義領域情報及びフィルタ形状／フィルタ係数情報をフィルタパラメータとしてループフィルタ実施部４２に出力する。
　ループフィルタ実施部４２は、タイルループフィルタ制御部４１からフィルタ定義領域情報及びフィルタ形状／フィルタ係数情報を受けると、そのフィルタ定義領域情報及びフィルタ形状／フィルタ係数情報に基づいてフィルタリング処理を実施する。

　可変長符号化部４３は、フィルタパラメータ共有フラグがＯＦＦである場合、タイルループフィルタ制御部４１から出力されたフィルタ定義領域情報及びフィルタ形状／フィルタ係数情報を可変長符号化し、その符号化結果をタイル符号化部５－ｎから出力されたビット系列データに多重化して並列処理終了部８に出力する。
　一方、フィルタパラメータ共有フラグがＯＮである場合、タイル符号化部５－ｎから出力されたビット系列データをそのまま並列処理終了部８に出力する。

　以上より、フィルタパラメータ共有フラグがＯＮである場合は、フィルタパラメータがフレームに最大１セット定義されるが、フィルタパラメータ共有フラグがＯＦＦである場合は、タイル毎に最大１セット定義される。
　フィルタパラメータ共有フラグがＯＮである場合、フィルタパラメータは、ビットストリーム上では、例えば、図１５（ａ）に示すように、ピクチャのヘッダとして多重化される。
　フィルタパラメータ共有フラグがＯＦＦである場合、タイル毎に定義されるフィルタパラメータセットは、ビットストリーム上では、例えば、図１５（ｂ）に示すように、タイルのヘッダとして各タイルデータの先頭位置に多重化される。

　ループフィルタ実施部４２は、上述したように、ループフィルタ制御部６又はタイルループフィルタ制御部４１から出力されるフィルタパラメータが示すフィルタを用いて、タイル局所復号画像に対するフィルタリング処理を実施する。
　この際、タイル境界においては、カレントタイルと異なるタイルの画素を参照しないフィルタリングを実施する。
　例えば、図１６（ａ）に示すフィルタ形状の線形フィルタを用いる場合、フィルタ境界では、図１６（ｂ）に示すように、フィルタ境界の外部を参照しないようにフィルタ形状を変更する。
　あるいは、図１６（ｃ）に示すように、フィルタ境界付近の画素をコピーするような処理によって、カレントタイルと異なるタイルの画素を参照しないフィルタリング処理を実施する。

　異なるタイル間の画素参照が不要なフィルタリング手法は、動画像符号化装置と動画像復号装置で一致させる必要があるが、符号化側と復号側で固定的に同じ手法を行ってもよいし、処理内容を示す信号をシグナリングしてもよい。
　フィルタパラメータ共有フラグがＯＮであり、カレントタイルと隣接するタイルで同じフィルタパラメータを用いる場合でも、タイルを跨いだ画素参照は行わない。
　タイルを跨いだ画素参照を行わないことで、タイル符号化部７－ｎのループフィルタ処理の並列化が可能になるとともに、このタイル符号化部７－ｎで作成されたビットストリームの復号において、ループフィルタ処理の並列化が可能になる。

　次に、図６の動画像復号装置の処理内容を具体的に説明する。
　可変長符号分離部５１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されているフィルタパラメータ共有フラグを分離して、そのフィルタパラメータ共有フラグをフィルタパラメータ復号部５５及びタイルループフィルタ部５６－ｎに出力する。
　また、可変長符号分離部５１は、ビットストリームに多重化されているタイル分割制御情報を分離して、そのタイル分割制御情報をタイル分割制御部５７に出力し、そのフィルタパラメータ共有フラグがＯＮであれば、ビットストリームに多重化されているフレーム単位のフィルタを示すフィルタパラメータの符号化データを分離して、そのフィルタパラメータの符号化データをフィルタパラメータ復号部５５に出力する。
　また、可変長符号分離部５１は、タイルの個数だけビットストリームに多重化されているビット系列データを分離して、そのビット系列データを並列処理開始部５２に出力する（図７のステップＳＴ４１）。

　タイル分割制御部５７は、可変長符号分離部５１からタイル分割制御情報を受けると、そのタイル分割制御情報からタイルの分割状態を把握し（ステップＳＴ４２）、元の入力画像に相当する復号画像が得られるように、後述する並列処理終了部５８における各タイル復号画像の配置を制御する。
　並列処理開始部５２は、可変長符号分離部５１からタイルの個数分のビット系列データ（フレーム単位のビット系列データ）を受けると、タイル単位のビット系列データに分割し、タイル単位のビット系列データをタイル復号部５４－１～５４－Ｎに分配する。

　フィルタパラメータ復号部５５は、可変長符号分離部５１から出力されたフィルタパラメータ共有フラグがＯＮである場合（ステップＳＴ４３）、可変長符号分離部５１から出力された符号化データからフレーム単位のフィルタを示すフィルタパラメータを復号し、そのフィルタパラメータをタイルループフィルタ部５６－ｎに出力する（ステップＳＴ４４）。

　タイル復号部５４－ｎの処理とタイルループフィルタ部５６－ｎの処理は連続して行われ（ステップＳＴ４５，ＳＴ４６）、これら２つの処理が全てのタイルに対して繰り返し実行される（ステップＳＴ４７，ＳＴ４８）。
　ステップＳＴ４５～ＳＴ４８のループ内の処理は、後述するように、各タイルで独立しているため並列的に実行することができる。
　図１の動画像符号化装置と異なり、フィルタパラメータ共有フラグのＯＮ／ＯＦＦに関わらず、ステップＳＴ４５～ＳＴ４８の処理をまとめて並列化することが可能である。

　並列処理終了部５８は、全てのタイルの復号処理とループフィルタ処理が完了すると（ステップ４７）、タイル分割制御部５７の制御の下で、タイルループフィルタ部５６－１～５６－Ｎによるフィルタリング処理後のタイル復号画像を組み合わせてフレーム単位の復号画像を生成し、その復号画像を動き補償予測フレームメモリ５３に格納するとともに、その復号画像を再生画像として外部に出力する。

　次に、タイル復号装置５４におけるタイル復号部５４－１～５４－Ｎの処理内容を詳細に説明する。
　タイル復号装置５４は、Ｎ個のタイル復号部５４－１～５４－Ｎを実装しており、Ｎ個のタイル復号部５４－１～５４－Ｎが独立して予測差分復号処理（タイル間のいかなる情報参照も行わない予測差分復号処理）を実施する。

　タイル復号部５４－ｎの可変長復号部６１は、並列処理開始部５２により分配されたタイル単位のビット系列データを入力すると、図３のタイル符号化制御部２１と同様の方法で、最大符号化ブロック（ＬＣＵ）のサイズと分割階層数の上限を決定する。
　可変長復号部６１は、最大符号化ブロックのサイズと分割階層数の上限を決定すると、タイル単位のビット系列データから最大符号化ブロックに割り当てられている符号化モードｍ（Ｂ^ｎ）を復号し、その符号化モードｍ（Ｂ^ｎ）に含まれている最大符号化ブロックの分割状態を示す情報を復号する（図９のステップＳＴ５１）。
　可変長復号部６１は、最大符号化ブロックの分割状態を示す情報を復号すると、その分割状態に基づいて、階層的に分割されている復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ５２）。

　可変長復号部６１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合、タイル単位のビット系列データから、その復号対象ブロックに含まれている１つ以上のパーティション毎にイントラ予測パラメータを復号する。
　一方、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合、タイル単位のビット系列データから、復号対象ブロック毎、あるいは、その復号対象ブロックに含まれている１つ以上のパーティション毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ５３）。

　可変長復号部６１は、予測処理単位となるパーティションを、更に予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数のパーティションに分割し、タイル単位のビット系列データから、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ５３）。
　可変長復号部６１は、フィルタパラメータ共有フラグがＯＦＦであるために、タイル単位のフィルタを示すフィルタパラメータの符号化データがタイル単位のビット系列データに多重化されている場合、その符号化データを分離してタイルループフィルタ部５６－ｎに出力する。
　また、可変長復号部６１は、符号化パラメータをタイルループフィルタ部５６－ｎに出力する。

　切換スイッチ６２は、可変長復号部６１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部６１により可変長復号されたイントラ予測パラメータをイントラ予測部６３に出力する。
　一方、可変長復号部６１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部６１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部６４に出力する。
　なお、入力されたビット系列データがコンテキスト適応型算術符号など、過去のブロックの符号化結果により内部状態が変化する符号化方式を用いている場合、可変長復号部６１の内部状態の初期値は、図３の可変長符号化部３１と同様の値を使用し、タイル間の引継ぎを行わない。

　イントラ予測部６３は、可変長復号部６１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ６２からイントラ予測パラメータを受けると（ステップＳＴ５４）、図３のイントラ予測部２４と同様の手順で、タイル復号画像メモリ６７に格納されている復号画像を参照しながら、切換スイッチ６２から出力されたイントラ予測パラメータを用いて、復号対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ５５）。

　動き補償部６４は、可変長復号部６１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ６２からインター予測パラメータ及び動きベクトルを受けると（ステップＳＴ５４）、動き補償予測フレームメモリ５３に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ６２から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックＢ^ｎ又はパーティションＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５６）。
　ただし、動き補償部６４は、復号対象ブロックＢ^ｎ内の全てのパーティションＰ_ｉ ^ｎに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定されている場合、その参照画像指示インデックスが示す全てのパーティションＰ_ｉ ^ｎで共通の参照画像と、パーティションＰ_ｉ ^ｎ毎の動きベクトルとを用いて、当該パーティションＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する。

　逆量子化・逆変換部６５は、可変長復号部６１から圧縮データ及び予測差分符号化パラメータを受けると、図３の逆量子化・逆変換部２８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図３の減算部２６から出力された予測差分信号に相当する復号予測差分信号を算出する（ステップＳＴ５７）。

　加算部６６は、逆量子化・逆変換部６５により算出された復号予測差分信号と、イントラ予測部６３により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償部６４により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をタイル復号画像メモリ６７に格納する（ステップＳＴ５８）。
　この復号画像が、以降のイントラ予測用の画像信号になる。

　タイル復号部５４－ｎにおいては、上記のイントラ予測や可変長復号を含む如何なる処理においても、カレントタイルと異なるブロックの復号パラメータ及び復号画像の参照を行わない。タイル端における参照処理は、符号化側と同様の参照が不要な処理に置き換えられる。よって、タイル復号部５４－ｎの処理は各タイルで独立しており、並列実行可能である。
　また、タイル復号部５４－ｎにおいては、上述のように符号化側でタイル内がスライスに分割されていた場合、ビットストリームに多重化されているスライス分割情報に基づいてカレントタイルをスライスに分割し、スライス毎に独立して定義されたパラメータおよびモード情報に従い復号処理を行う。
　また、可変長復号手段としてコンテキスト適応算術復号を用いる場合、スライスヘッダに多重化された可変長符号化処理制御情報を復号し、前記可変長符号化処理制御情報がコンテキスト切り替えを行わないよう制限することを示す場合には、当該スライスにおいてはコンテキスト切り替えを行わないで適応算術復号を行う。同様に前記可変長符号化処理制御情報がコンテキスト切り替えおよび適応処理を行わないよう制限することを示す場合には、当該スライスにおいてはコンテキスト切り替えおよび適応処理を行わずに算術復号を行う。このように構成することで、本発明による符号化手段によって生成されたビットストリームを好適に復号することができる。ここではコンテキスト適応算術復号を例に説明したが、他のいかなる可変長復号手法であっても、その一部の処理を取り除いてもなお可変長復号が可能であれば同様の手段によって同様の効果が得られる。

　次に、タイルループフィルタ装置５６におけるタイルループフィルタ部５６－１～５６－Ｎの処理内容を詳細に説明する。
　タイルループフィルタ部５６－ｎのタイルフィルタパラメータ復号部７１は、可変長符号分離部５１により分離されたフィルタパラメータ共有フラグがＯＦＦである場合、タイル復号部５４－ｎから出力されたフィルタパラメータの符号化データからタイル単位のフィルタを示すフィルタパラメータを復号し、その復号結果であるフィルタパラメータをループフィルタ実施部７２に出力する。

　ループフィルタ実施部７２は、可変長符号分離部５１により分離されたフィルタパラメータ共有フラグがＯＦＦであるために、タイルフィルタパラメータ復号部７１からフィルタパラメータを受けると、そのフィルタパラメータが示すタイル単位のフィルタとタイル復号部５４－ｎの可変長復号部６１により可変長復号された符号化パラメータを用いて、タイル復号部５４－ｎから出力されたタイル復号画像に対するフィルタリング処理を実施する。
　一方、可変長符号分離部５１により分離されたフィルタパラメータ共有フラグがＯＮであるために、フィルタパラメータ復号部５５からフィルタパラメータを受けると、そのフィルタパラメータが示すフレーム単位のフィルタとタイル復号部５４－ｎの可変長復号部６１により可変長復号された符号化パラメータを用いて、タイル復号部５４－ｎから出力されたタイル復号画像に対するフィルタリング処理を実施する。
　ループフィルタ実施部７２は、図５のループフィルタ実施部４２と等しい処理を行うものである。即ち、異なるタイルを跨いだ画素参照を行わないフィルタリング処理を行うため、タイルループフィルタ部４５－ｎの処理は各タイルで独立しており、並列実行可能である。

　以上で明らかなように、この実施の形態１によれば、入力画像の分割状態を指示する分割制御情報を出力する符号化制御部１と、符号化制御部１から出力された分割制御情報にしたがって入力画像を所定サイズの矩形領域であるタイルに分割し、分割後のタイルを分配する並列処理開始部３と、動き補償予測フレームメモリ４に記憶されている局所復号画像を参照して、並列処理開始部３により分配されたタイルに対する予測差分符号化処理を実施することで、その符号化結果である符号化ビットデータを出力するとともに、その符号化ビットデータから局所復号画像を生成するＮ個のタイル符号化部５－１～５－Ｎとを設け、Ｎ個のタイルループフィルタ部７－１～７－Ｎが、タイル符号化部５－１～５－Ｎにより生成された局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを用いて、その局所復号画像に対するフィルタリング処理を実施するように構成したので、ループフィルタの処理をタイルレベルで並列に行うことができる効果を奏する。

実施の形態２．
　この実施の形態２では、上記実施の形態１における動画像符号化装置に対して、タイルレベルでの並列処理の実施／不実施の切り替え機能を追加している動画像符号化装置について説明する。
　また、当該動画像符号化装置により作成されたビットストリームから動画像を復号することが可能な動画像復号装置について説明する。

　図１７はこの発明の実施の形態２による動画像符号化装置を示す構成図である。
　図１７において、符号化制御部８１は図１の符号化制御部１と同様に、映像信号が示す入力画像を所定サイズのタイルに分割する際の分割状態を指示するタイル分割制御情報（分割制御情報）を出力する処理を実施する。
　また、符号化制御部８１は入力画像を分割して並列化するか否かを示す符号化並列フラグ（分割フラグ）を出力するとともに、フィルタリング処理の種類別に、当該フィルタリング処理に用いるフィルタを各タイルで共通させるか否かを示すフィルタパラメータ共有フラグ（フィルタ共有フラグ）＃１～Ｍを出力する処理を実施する。
　さらに、符号化制御部８１は前段の処理部と後段の処理部の接続関係を示すループフィルタ並列フラグ＃１～Ｍを出力する処理を実施する。
　なお、符号化制御部８１は分割制御手段を構成している。

　タイル分割制御部８２は符号化制御部８１から出力されたタイル分割制御情報が指示している分割状態と一致するように、並列処理開始部８３における入力画像の分割を制御する処理を実施する。
　並列処理開始部８３は符号化制御部８１から出力された符号化並列フラグが入力画像を分割して並列化する旨を示している場合、タイル分割制御部２の指示の下、映像信号が示す入力画像を所定サイズのタイルに分割し、分割後のタイルをタイル符号化部８５－１～８５－Ｎに分配する処理を実施する。
　一方、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、映像信号が示す入力画像を分割せずに、フレーム単位の画像である入力画像をフレーム符号化部８６に出力する処理を実施する。
　なお、タイル分割制御部８２及び並列処理開始部８３からタイル分配手段が構成されている。

　動き補償予測フレームメモリ８４はフィルタリング処理後の局所復号画像を記憶する記録媒体である。なお、動き補償予測フレームメモリ８４は画像メモリを構成している。
　タイル符号化装置８５はＮ個のタイル符号化部８５－１～８５－Ｎを実装しており、Ｎ個のタイル符号化部８５－１～８５－Ｎが独立して予測差分符号化処理を実施する。Ｎは１以上の整数である。
　タイル符号化部８５－１～８５－Ｎは図１のタイル符号化部５－１～５－Ｎと同様に、動き補償予測フレームメモリ８４に記憶されているフィルタリング処理後の局所復号画像を参照して、並列処理開始部８３により分配されたタイルに対する予測差分符号化処理を実施することで、その符号化結果であるビット系列データ及び符号化パラメータを出力するとともに、タイル局所復号画像（局所復号画像）を生成する処理を実施する。なお、タイル符号化部８５－１～８５－Ｎはタイル符号化手段を構成している。

　フレーム符号化部８６は動き補償予測フレームメモリ８４に記憶されているフィルタリング処理後の局所復号画像を参照して、入力画像（並列処理開始部８３により分割されていないフレーム単位の画像）に対する予測差分符号化処理を実施することで、その符号化結果であるビット系列データ及び符号化パラメータを出力するとともに、フレーム局所復号画像（局所復号画像）を生成する処理を実施する。なお、フレーム符号化部８６はフレーム符号化手段を構成している。

　ループフィルタ制御部８７－１～８７－Ｍは符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃１～Ｍが各タイルでフィルタを共通させる旨を示している場合、並列処理切替部９０－１～９０－Ｍから出力されたタイル局所復号画像からフレーム単位の局所復号画像を得て、フレーム単位の局所復号画像に適するフレーム単位のフィルタを決定し、そのフィルタを示すフィルタパラメータをタイルループフィルタ装置８８－１～８８－Ｍに出力する処理を実施する。
　また、ループフィルタ制御部８７－１～８７－Ｍはフレーム単位のフィルタを示すフィルタパラメータを可変長符号化し、そのフィルタパラメータの符号化データを並列処理終了部９１に出力する処理を実施する。

　タイルループフィルタ装置８８－１～８７－Ｍは互いに異なる種類のフィルタリング処理を実施するフィルタ装置であって、Ｎ個のタイルループフィルタ部８８－ｍ－１～８８－ｍ－Ｎ（ｍ＝１，２，・・・，Ｍ）を実装しており、Ｎ個のタイルループフィルタ部８８－ｍ－１～８８－ｍ－Ｎが独立してフィルタリング処理を実施する。Ｍは１以上の整数である。
　タイルループフィルタ部８８－ｍ－ｎ（ｎ＝１，２，・・・，Ｎ）は符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃ｍが各タイルでフィルタを共通させない旨を示している場合、並列処理切替部９０－ｍから出力されたタイル局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを用いて、タイル局所復号画像に対するフィルタリング処理を実施するとともに、タイル単位のフィルタを示すフィルタパラメータを可変長符号化し、その符号化結果を並列処理切替部９０－１～９０－Ｍから出力されたビット系列データに多重化する処理を実施する。
　一方、フィルタパラメータ共有フラグ＃ｍが各タイルでフィルタを共通させる旨を示している場合、ループフィルタ制御部８７－ｍから出力されたフィルタパラメータが示すフレーム単位のフィルタを用いて、並列処理切替部９０－ｍから出力されたタイル局所復号画像のフィルタリング処理を実施するとともに、並列処理切替部９０－ｍから出力されたビット系列データをそのまま出力する処理を実施する。
　なお、タイルループフィルタ部８８－１－１～８８－１－Ｎ，８８－２－１～８８－２－Ｎ，・・・，８８－Ｍ－１～８８－Ｍ－Ｎはタイルフィルタ手段を構成している。

　フレームループフィルタ部８９－ｍは並列処理切替部９０－ｍからタイル局所復号画像が出力された場合、そのタイル局所復号画像から得られるフレーム局所復号画像（フレーム単位の局所復号画像）のフィルタリング処理に適するフレーム単位のフィルタを決定し、並列処理切替部９０－ｍからフレーム局所復号画像が出力された場合、そのフレーム局所復号画像に適するフレーム単位のフィルタを決定し、フレーム単位のフィルタを用いて、フレーム局所復号画像に対するフィルタリング処理を実施するとともに、フレーム単位のフィルタを示すフィルタパラメータを可変長符号化し、その符号化結果を並列処理切替部９０－１～９０－Ｍから出力されたビット系列データに多重化する処理を実施する。なお、フレームループフィルタ部８９－１～８９－Ｍはフレームフィルタ手段を構成している。

　並列処理切替部９０－ｍは符号化制御部８１から出力されたループフィルタ並列フラグ＃ｍにしたがって前段の処理部と後段の処理部との接続関係を制御する処理を実施する。
　これにより、符号化制御部８１から出力された符号化並列フラグが入力画像を分割して並列化する旨を示している場合でも、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃１～Ｍのうち、例えば、フィルタパラメータ共有フラグ＃ｘが各タイルでフィルタを共通させる旨を示している場合、前段の処理部から出力された局所復号画像、符号化パラメータ及びビット系列データをタイルループフィルタ部８８－ｘ－ｎではなく、フレームループフィルタ部８９－ｘに出力するようになる。

　並列処理終了部９１は符号化制御部８１から出力された符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃Ｍが各タイルでフィルタを共通させない旨を示していれば、符号化制御部８１から出力されたタイル分割制御情報にしたがってタイルループフィルタ部８８－Ｍ－１～８８－Ｍ－Ｎによるフィルタリング処理後のタイル局所復号画像を組み合わせてフレーム単位の局所復号画像を生成し、その局所復号画像を動き補償予測フレームメモリ８４に格納するとともに、タイルループフィルタ部８８－Ｍ－１～８８－Ｍ－Ｎから出力されたビット系列データを可変長符号多重化部９２に出力する処理を実施する。
　また、符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃Ｍが各タイルでフィルタを共通させる旨を示していれば、フレームループフィルタ部８８－Ｍによるフィルタリング処理後のフレーム局所復号画像を動き補償予測フレームメモリ８４に格納するとともに、フレームループフィルタ部８８－Ｍから出力されたビット系列データを可変長符号多重化部９２に出力する処理を実施する。
　一方、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、フレームループフィルタ部８８－Ｍによるフィルタリング処理後のフレーム局所復号画像を動き補償予測フレームメモリ８４に格納するとともに、フレームループフィルタ部８８－Ｍから出力されたビット系列データを可変長符号多重化部９２に出力する処理を実施する。
　なお、並列処理終了部９１は局所復号画像格納手段を構成している。

　可変長符号多重化部９２は並列処理終了部９１から出力されたビット系列データと、符号化制御部８１から出力されたタイル分割制御情報、符号化並列フラグ、ループフィルタ並列フラグ＃１～Ｍ及びフィルタパラメータ共有フラグ＃１～Ｍと、タイルループフィルタ部８８－ｍ－ｎ又はフレームループフィルタ部８９－ｍにより決定されたフィルタを示すフィルタパラメータの符号化データとを多重化してビットストリームを生成する処理を実施する。
　なお、可変長符号多重化部９２は多重化手段を構成している。

　図１７の例では、動画像符号化装置の構成要素である符号化制御部８１、タイル分割制御部８２、並列処理開始部８３、動き補償予測フレームメモリ８４、タイル符号化装置８５、フレーム符号化部８６、ループフィルタ制御部８７－１～８７－Ｍ、タイルループフィルタ装置８８－１～８８－Ｍ、フレームループフィルタ部８９－１～８９－Ｍ、並列処理切替部９０－１～９０－Ｍ、並列処理終了部９１及び可変長符号多重化部９２のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部８１、タイル分割制御部８２、並列処理開始部８３、タイル符号化装置８５、フレーム符号化部８６、ループフィルタ制御部８７－１～８７－Ｍ、タイルループフィルタ装置８８－１～８８－Ｍ、フレームループフィルタ部８９－１～８９－Ｍ、並列処理切替部９０－１～９０－Ｍ、並列処理終了部９１及び可変長符号多重化部９２の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

　図１８はこの発明の実施の形態２による動画像復号装置を示す構成図である。
　図１８において、可変長符号分離部１０１は図１７の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されているビット系列データと、タイル分割制御情報と、符号化並列フラグと、ループフィルタ並列フラグ＃１～Ｍと、フィルタパラメータ共有フラグ＃１～Ｍと、フィルタパラメータの符号化データとを分離する処理を実施する。なお、可変長符号分離部１０１は分離手段を構成している。

　並列処理開始部１０２は可変長符号分離部１０１により分離された符号化並列フラグが入力画像を分割して並列化する旨を示している場合、可変長符号分離部１０１から出力されたフレーム単位のビット系列データをタイル単位のビット系列データに分割し、タイル単位のビット系列データをタイル復号部１０４－１～１０４－Ｎに分配する処理を実施する。
　一方、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、可変長符号分離部１０１から出力されたフレーム単位のビット系列データをフレーム復号部１０５に出力する処理を実施する。なお、並列処理開始部１０２は符号化ビットデータ分配手段を構成している。
　動き補償予測フレームメモリ１０３はフィルタリング処理後の復号画像を記憶する記録媒体である。なお、動き補償予測フレームメモリ１０３は画像メモリを構成している。

　タイル復号装置１０４はＮ個のタイル復号部１０４－１～１０４－Ｎを実装しており、Ｎ個のタイル復号部１０４－１～１０４－Ｎが独立して予測差分復号処理を実施する。Ｎは１以上の整数である。
　タイル復号部１０４－１～１０４－Ｎは図６のタイル復号部５４－１～５４－Ｎと同様に、動き補償予測フレームメモリ１０３に記憶されているフィルタリング処理後の復号画像を参照して、並列処理開始部１０２により分配されたタイル単位のビット系列データに対する予測差分復号処理を実施することで、タイル復号画像（タイル単位の復号画像）を生成するとともに、そのタイル復号画像と予測差分復号処理を実施する際に用いている符号化パラメータ（ビット系列データに多重化されている符号化パラメータ）を並列処切替部１１０－１に出力する処理を実施する。
　また、ビット系列データに多重化されているタイル単位のフィルタを示すフィルタパラメータの符号化データを並列処理切替部１１０－１に出力する処理を実施する。
　なお、タイル復号部１０４－１～１０４－Ｎはタイル復号手段を構成している。

　フレーム復号部１０５は動き補償予測フレームメモリ１０３に記憶されているフィルタリング処理後の局所復号画像を参照して、並列処理開始部１０２から出力されたフレーム単位のビット系列データに対する予測差分復号処理を実施することで、フレーム復号画像（フレーム単位の復号画像）を生成するとともに、そのフレーム復号画像と予測差分復号処理を実施する際に用いている符号化パラメータ（ビット系列データに多重化されている符号化パラメータ）を並列処切替部１１０－１に出力する処理を実施する。
　また、ビット系列データに多重化されているフレーム単位のフィルタを示すフィルタパラメータの符号化データを並列処理切替部１１０－１に出力する処理を実施する。
　なお、フレーム復号部１０５はフレーム復号手段を構成している。

　フィルタパラメータ復号部１０６－１～１０６－Ｍは可変長符号分離部１０１により分離されたフィルタパラメータ共有フラグ＃１～Ｍが各タイルでフィルタを共通させる旨を示している場合、可変長符号分離部１０１により分離されたフィルタパラメータの符号化データ＃１～Ｍからフレーム単位のフィルタを示すフィルタパラメータを復号し、そのフィルタパラメータをタイルループフィルタ装置１０７－１～１０７－Ｍに出力する処理を実施する。

　タイルループフィルタ装置１０７－１～１０７－Ｍは互いに異なる種類のフィルタリング処理を実施するフィルタ装置であって、Ｎ個のタイルループフィルタ部１０７－ｍ－１～１０７－ｍ－Ｎ（ｍ＝１，２，・・・，Ｍ）を実装しており、Ｎ個のタイルループフィルタ部１０７－ｍ－１～１０７－ｍ－Ｎが独立してフィルタリング処理を実施する。Ｍは１以上の整数である。
　タイルループフィルタ部１０７－ｍ－ｎ（ｎ＝１，２，・・・，Ｎ）は並列処理切替部１１０－ｍからタイル復号画像が出力されると、可変長符号分離部１０１により分離されたフィルタパラメータ共有フラグ＃ｍが各タイルでフィルタを共通させない旨を示している場合、並列処理切替部１１０－ｍから出力されたフィルタパラメータの符号化データからタイル単位のフィルタを示すフィルタパラメータを復号し、タイル単位のフィルタを用いて、タイル復号画像に対するフィルタリング処理を実施する。
　一方、フィルタパラメータ共有フラグ＃ｍが各タイルでフィルタを共通させる旨を示している場合、並列処理切替部１１０－ｍから出力されたフィルタパラメータの符号化データからフレーム単位のフィルタを示すフィルタパラメータを復号し、フレーム単位のフィルタを用いて、タイル復号画像に対するフィルタリング処理を実施する。
　なお、タイルループフィルタ部１０７－１－１～１０７－１－Ｎ，１０７－２－１～１０７－２－Ｎ，・・・，１０７－Ｍ－１～１０７－Ｍ－Ｎはタイルフィルタ手段を構成している。

　フレームループフィルタ部１０８－ｍは並列処理切替部１１０－ｍからフレーム復号画像が出力されると、並列処理切替部１１０－ｍから出力されたフィルタパラメータの符号化データからフレーム単位のフィルタを示すフィルタパラメータを復号し、フレーム単位のフィルタを用いて、フレーム復号画像に対するフィルタリング処理を実施する。なお、フレームループフィルタ部１０８－１～１０８－Ｍはフレームフィルタ手段を構成している。

　タイル分割制御部１０９は可変長符号分離部１０１により分離されたタイル分割制御情報からタイルの分割状態を把握し、元の入力画像に相当する復号画像が得られるように、並列処理終了部１１１における各タイル復号画像の配置を制御する処理を実施する。
　並列処理切替部１１０－ｍは可変長符号分離部１０１により分離されたループフィルタ並列フラグ＃ｍにしたがって前段の処理部と後段の処理部との接続関係を制御する処理を実施する。
　これにより、可変長符号分離部１０１により分離された符号化並列フラグが入力画像を分割して並列化する旨を示している場合でも、可変長符号分離部１０１により分離されたフィルタパラメータ共有フラグ＃１～Ｍのうち、例えば、フィルタパラメータ共有フラグ＃ｘが各タイルでフィルタを共通させる旨を示している場合、前段の処理部から出力された復号画像、符号化パラメータ及びフィルタパラメータの符号化データをタイルループフィルタ部１０７－ｘ－ｎではなく、フレームループフィルタ部１０８－ｘに出力するようになる。

　並列処理終了部１１１はタイル分割制御部１０９の制御の下で、タイルループフィルタ部１０７－Ｍ－１～１０７－Ｍ－Ｎによるフィルタリング処理後のタイル復号画像を組み合わせてフレーム単位の復号画像を生成し、その復号画像を動き補償予測フレームメモリ１０３に格納する処理を実施する。
　なお、タイル分割制御部１０９及び並列処理終了部１１１から復号画像格納手段が構成されている。

　図１８の例では、動画像復号装置の構成要素である可変長符号分離部１０１、並列処理開始部１０２、動き補償予測フレームメモリ１０３、タイル復号装置１０４、フレーム復号部１０５、フィルタパラメータ復号部１０６－１～１０６－Ｍ、タイルループフィルタ装置１０７－１～１０７－Ｍ、フレームループフィルタ部１０８－１～１０８－Ｍ、タイル分割制御部１０９、並列処理切替部１１０－１～１１０－Ｍ及び並列処理終了部１１１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長符号分離部１０１、並列処理開始部１０２、タイル復号装置１０４、フレーム復号部１０５、フィルタパラメータ復号部１０６－１～１０６－Ｍ、タイルループフィルタ装置１０７－１～１０７－Ｍ、フレームループフィルタ部１０８－１～１０８－Ｍ、タイル分割制御部１０９、並列処理切替部１１０－１～１１０－Ｍ及び並列処理終了部１１１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

実施の形態３．
　上記実施の形態１では、タイルループフィルタ装置７が１段構成であるものを示したが、この実施の形態３では、互いに異なる種類のループフィルタを実現するタイルループフィルタ装置８８－１～８８－Ｍが多段に接続されている点で相違している。
　例えば、画像に施すループフィルタとして、デブロッキングフィルタ、ＳＡＯ、ＡＬＦが定義されている場合、画像がタイルに分割されていれば、符号化処理及び全てのフィルタリング処理を、タイル間で参照を行わない手法で実施しなければならない。
　ただし、ループフィルタの種類によっては、タイル単位でフィルタリング処理を行うよりも、フレーム単位でフィルタリング処理を行う方が、都合がよい場合もある。

　例えば、ＡＬＦの場合、フレーム１枚分の画像でもＨ／Ｗで高速に処理が可能であるため並列処理が不要であるが、デブロッキングフィルタの場合、Ｈ／Ｗでの高速処理が困難であるため並列処理が不可欠であるという状況が考えられる。
　このような状況下では、画質の観点から、並列化が不要なループフィルタはタイル間を跨いだ画素参照を行うフィルタリング処理を施すことが望ましい。
　また、予測差分符号化処理や復号処理は並列化の必要性があるが、ループフィルタ処理は並列化の必要性がない場合、あるいは、その逆で、予測差分符号化処理や復号処理は並列化の必要性がないが、ループフィルタ処理は並列化の必要性がある場合がある。
　このような状況に対処するには、予測差分符号化処理・復号処理と各種のループフィルタ処理は、それぞれ独立に並列化のためのタイル間を跨る参照を行うか否かを切り替えられるような手法が有効となる。

　この実施の形態３では、入力画像を分割して、タイル単位の並列化処理を行うか、並列化しないでフレーム単位で処理を行うかを切り替えられるようにしている。
　また、ループフィルタ毎に、タイル単位のフィルタリング処理を行うか、フレーム単位のフィルタリング処理を行うかを切り替えられるようにしている。

　最初に、動画像符号化装置の処理内容を説明する。
　符号化制御部８１は、図１の符号化制御部１と同様に、映像信号が示す入力画像を所定サイズのタイルに分割する際の分割状態を指示するタイル分割制御情報をタイル分割制御部８２、並列処理終了部９１及び可変長符号多重化部９２に出力する。
　また、符号化制御部８１は、入力画像を分割して並列化するか否かを示す符号化並列フラグを並列処理開始部８３に出力するとともに、フィルタリング処理の種類別に、当該フィルタリング処理に用いるフィルタを各タイルで共通させるか否かを示すフィルタパラメータ共有フラグ＃１～Ｍ（各タイルで共通させる場合：ＯＮのフラグ、各タイルで共通させない場合：ＯＦＦのフラグ）をループフィルタ制御部８７－１～８７－Ｍ、タイルループフィルタ装置８８－１～８８－Ｍ及び可変長符号多重化部９１に出力する。
　さらに、符号化制御部８１は、前段の処理部と後段の処理部の接続関係を示すループフィルタ並列フラグ＃１～Ｍを並列処理切替部９０－１～９０－Ｍに出力する。

　タイル分割制御部８２は、符号化制御部８１からタイル分割制御情報を受けると、そのタイル分割制御情報が指示している分割状態と一致するように、並列処理開始部８３における入力画像の分割を制御する。
　並列処理開始部８３は、符号化制御部８１から出力された符号化並列フラグが入力画像を分割して並列化する旨を示している場合、タイル分割制御部８２の指示の下、映像信号が示す入力画像を所定サイズのタイルに分割し、分割後のタイルをタイル符号化部８５－１～８５－Ｎに分配する。
　一方、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、映像信号が示す入力画像を分割せずに、フレーム単位の画像である入力画像をフレーム符号化部８６に出力する。

　タイル符号化部８５－１～８５－Ｎは、並列処理開始部８３からタイルを受けると、図１のタイル符号化部５－１～５－Ｎと同様の手順でタイル局所復号画像を生成する。
　即ち、タイル符号化部８５－１～８５－Ｎは、動き補償予測フレームメモリ８４に記憶されているフィルタリング処理後の局所復号画像を参照して、並列処理開始部８３により分配されたタイルに対する予測差分符号化処理を実施することで、その符号化結果であるビット系列データ及び符号化パラメータを出力するとともに、タイル局所復号画像を生成する。

　フレーム符号化部８６は、並列処理開始部８３からフレーム単位の画像である入力画像を受けると、動き補償予測フレームメモリ８４に記憶されているフィルタリング処理後の局所復号画像を参照して、その入力画像に対する予測差分符号化処理を実施することで、その符号化結果であるビット系列データ及び符号化パラメータを出力するとともに、フレーム局所復号画像を生成する。
　符号化処理の処理単位がフレーム単位である点で、タイル符号化部８５－１～８５－Ｎと相違しているが、符号化処理自体はタイル符号化部８５－１～８５－Ｎと同様であるため詳細な説明を省略する。

　並列処理切替部９０－ｍは、符号化制御部８１から出力されたループフィルタ並列フラグ＃ｍにしたがって前段の処理部と後段の処理部との接続関係を制御するが、例えば、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、並列処理開始部８３が入力画像を分割せずに、フレーム符号化部８６がフレーム単位の符号化処理を行うので、フレーム符号化部８６（または、前段のフレームループフィルタ部）の出力信号（フレーム局所復号画像、ビット系列データ、符号化パラメータ）を後段のフレームループフィルタ部に伝送する。
　一方、符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、フィルタパラメータ共有フラグ＃ｍがＯＦＦであれば、タイル単位のフィルタリング処理を行うため、タイル符号化部８５－１～８５－Ｎ（または、前段のタイルループフィルタ部）の出力信号（タイル局所復号画像、ビット系列データ、符号化パラメータ）を後段のタイルループフィルタ部に伝送する。
　ただし、ｍ－１段目のループフィルタで、フレーム単位のフィルタリング処理が行われている場合、前段のフレームループフィルタ部から出力されたフレーム局所復号画像をタイル局所復号画像に分割し、そのタイル局所復号画像、ビット系列データ及び符号化パラメータを後段のタイルループフィルタ部に伝送する。

　符号化並列フラグが入力画像を分割して並列化する旨を示している場合でも、フィルタパラメータ共有フラグ＃ｍがＯＮであれば、ｍ段目のループフィルタでは、フレーム単位のフィルタリング処理を行うため、タイル符号化部８５－１～８５－Ｎ（または、前段のタイルループフィルタ部）の出力信号（タイル局所復号画像、ビット系列データ、符号化パラメータ）、あるいは、前段のフレームループフィルタ部の出力信号（フレーム局所復号画像、ビット系列データ、符号化パラメータ）を後段のフレームループフィルタ部に伝送する。

　ループフィルタ制御部８７－ｍは、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃ｍがＯＮである場合、並列処理切替部９０－ｍから出力されたタイル局所復号画像からフレーム局所復号画像を得て、そのフレーム局所復号画像に適するフレーム単位のフィルタを決定する。並列処理切替部９０－ｍからフレーム局所復号画像が出力された場合、そのフレーム局所復号画像に適するフレーム単位のフィルタを決定する。
　ループフィルタ制御部８７－ｍは、フレーム単位のフィルタを決定すると、そのフィルタを示すフィルタパラメータをタイルループフィルタ装置８８－ｍに出力する。
　また、ループフィルタ制御部８７－ｍは、フレーム単位のフィルタを示すフィルタパラメータを可変長符号化し、そのフィルタパラメータの符号化データを並列処理終了部９１に出力する。

　タイルループフィルタ部８８－ｍ－ｎは、並列処理切替部９０－ｍからタイル局所復号画像を受けると、図１のタイルループフィルタ部７－ｎと同様に、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃ｍがＯＦＦであれば、並列処理切替部９０－ｍから出力された符号化パラメータに基づいて、そのタイル局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、そのフィルタを用いて、タイル局所復号画像に対するフィルタリング処理を実施し、フィルタリング処理後のタイル局所復号画像を後段の並列処理切替部又は並列処理終了部９１に出力する。
　また、タイルループフィルタ部８８－ｍ－ｎは、タイル単位のフィルタを示すフィルタパラメータを可変長符号化し、そのフィルタパラメータの符号化データを並列処理切替部９０－ｍから出力されたビット系列データに多重化して後段の並列処理切替部又は並列処理終了部９１に出力する。

　なお、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃ｍがＯＮであれば、ループフィルタ制御部８７－ｍから出力されたフィルタパラメータが示すフレーム単位のフィルタを用いて、並列処理切替部９０－ｍから出力されたタイル局所復号画像のフィルタリング処理を実施するが、この実施の形態２では、符号化並列フラグが入力画像を分割して並列化する旨を示している場合でも、フィルタパラメータ共有フラグ＃ｍがＯＮである場合、並列処理切替部９０－ｍがフレーム局所復号画像をフレームループフィルタ部８９－ｍに与えて、タイル局所復号画像をタイルループフィルタ部８８－ｍ－ｎに与えないので、この状況下では、フレーム単位のフィルタを用いて、タイル局所復号画像のフィルタリング処理を実施することはない。
　タイルループフィルタ部８８－ｍ－ｎが、フレーム単位のフィルタを用いて、タイル局所復号画像のフィルタリング処理を実施する状況としては、例えば、符号化制御部８１が符号化並列フラグを出力する機能を使用せずに、フレームループフィルタ部８９－ｍの機能を停止している状況などが考えられる（実施の形態１と類似の構成）。

　フレームループフィルタ部８９－ｍは、並列処理切替部９０－ｍからタイル局所復号画像を受けると、そのタイル局所復号画像からフレーム局所復号画像を得て、並列処理切替部９０－ｍから出力された符号化パラメータに基づいて、そのフレーム局所復号画像のフィルタリング処理に適するフレーム単位のフィルタを決定する。並列処理切替部９０－ｍからフレーム局所復号画像が出力された場合、その符号化パラメータに基づいて、そのフレーム局所復号画像に適するフレーム単位のフィルタを決定する。
　フレームループフィルタ部８９－ｍは、フレーム単位のフィルタを決定すると、フレーム単位のフィルタを用いて、そのフレーム局所復号画像に対するフィルタリング処理を実施し、フィルタリング処理後のフレーム局所復号画像を後段の並列処理切替部又は並列処理終了部９１に出力する。
　また、フレームループフィルタ部８９－ｍは、フレーム単位のフィルタを示すフィルタパラメータを可変長符号化し、そのフィルタパラメータの符号化データを並列処理切替部９０－ｍから出力されたビット系列データに多重化して後段の並列処理切替部又は並列処理終了部９１に出力する。

　並列処理終了部９１は、符号化制御部８１から出力された符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃ＭがＯＦＦであれば、符号化制御部８１から出力されたタイル分割制御情報にしたがってタイルループフィルタ部８８－Ｍ－１～８８－Ｍ－Ｎによるフィルタリング処理後のタイル局所復号画像を組み合わせてフレーム単位の局所復号画像を生成し、その局所復号画像を動き補償予測フレームメモリ８４に格納するとともに、タイルループフィルタ部８８－Ｍ－１～８８－Ｍ－Ｎから出力されたビット系列データを可変長符号多重化部９２に出力する。
　また、符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、符号化制御部８１から出力されたフィルタパラメータ共有フラグ＃ＭがＯＮであれば、フレームループフィルタ部８８－Ｍによるフィルタリング処理後のフレーム局所復号画像を動き補償予測フレームメモリ８４に格納するとともに、フレームループフィルタ部８８－Ｍから出力されたビット系列データを可変長符号多重化部９２に出力する。
　一方、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、フレームループフィルタ部８８－Ｍによるフィルタリング処理後のフレーム局所復号画像を動き補償予測フレームメモリ８４に格納するとともに、フレームループフィルタ部８８－Ｍから出力されたビット系列データを可変長符号多重化部９２に出力する。

　可変長符号多重化部９２は、並列処理終了部９１から出力されたビット系列データと、符号化制御部８１から出力されたタイル分割制御情報、符号化並列フラグ、ループフィルタ並列フラグ＃１～Ｍ及びフィルタパラメータ共有フラグ＃１～Ｍとを多重化してビットストリームを生成する。

　次に、動画像復号装置の処理内容を説明する。
　可変長符号分離部１０１は、図１７の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されているビット系列データと、タイル分割制御情報と、符号化並列フラグと、ループフィルタ並列フラグ＃１～Ｍと、フィルタパラメータ共有フラグ＃１～Ｍと、フィルタパラメータの符号化データとを分離して出力する。

　並列処理開始部１０２は、可変長符号分離部１０１により分離された符号化並列フラグが入力画像を分割して並列化する旨を示している場合、可変長符号分離部１０１から出力されたフレーム単位のビット系列データをタイル単位のビット系列データに分割し、タイル単位のビット系列データをタイル復号部１０４－１～１０４－Ｎに分配する。
　一方、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、可変長符号分離部１０１から出力されたフレーム単位のビット系列データをフレーム復号部１０５に出力する。

　タイル復号部１０４－１～１０４－Ｎは、並列処理開始部１０２からタイル単位のビット系列データを受けると、図６のタイル復号部５４－１～５４－Ｎと同様の手順でタイル復号画像を生成する。
　即ち、タイル復号部１０４－１～１０４－Ｎは、動き補償予測フレームメモリ１０３に記憶されているフィルタリング処理後の復号画像を参照して、並列処理開始部１０２により分配されたタイル単位のビット系列データに対する予測差分復号処理を実施することで、タイル復号画像を生成するとともに、そのタイル復号画像及び予測差分復号処理を実施する際に用いている符号化パラメータ（ビット系列データに多重化されている符号化パラメータ）を並列処理終了部１１１に出力する。
　また、ビット系列データに多重化されているタイル単位のフィルタを示すフィルタパラメータの符号化データを並列処理切替部１１０－１に出力する処理を実施する。

　フレーム復号部１０５は、並列処理開始部１０２からフレーム単位のビット系列データを受けると、動き補償予測フレームメモリ１０３に記憶されているフィルタリング処理後の局所復号画像を参照して、そのフレーム単位のビット系列データに対する予測差分復号処理を実施することでフレーム復号画像を生成し、そのフレーム復号画像及び予測差分復号処理を実施する際に用いている符号化パラメータ（ビット系列データに多重化されている符号化パラメータ）を並列処理終了部１１１に出力する。
　また、ビット系列データに多重化されているフレーム単位のフィルタを示すフィルタパラメータの符号化データを並列処理切替部１１０－１に出力する処理を実施する。

　並列処理切替部１００－ｍは、可変長符号分離部１０１により分離されたループフィルタ並列フラグ＃ｍにしたがって前段の処理部と後段の処理部との接続関係を制御するが、例えば、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、並列処理開始部１０２がフレーム単位のビット系列データをタイル単位のビット系列データに分割せずに、フレーム復号部１０５がフレーム単位の復号処理を行うので、フレーム復号部１０５（または、前段のフレームループフィルタ部）の出力信号（フレーム復号画像、符号化パラメータ、フレーム単位のフィルタを示すフィルタパラメータの符号化データ）を後段のフレームループフィルタ部に伝送する。
　一方、符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、フィルタパラメータ共有フラグ＃ｍがＯＦＦであれば、タイル単位のフィルタリング処理を行うため、タイル復号部１０４－１～１０４－Ｎ（または、前段のタイルループフィルタ部）の出力信号（タイル局所復号画像、符号化パラメータ、タイル単位のフィルタを示すフィルタパラメータの符号化データ）を後段のタイルループフィルタ部に伝送する。
　ただし、ｍ－１段目のループフィルタで、フレーム単位のフィルタリング処理が行われている場合、前段のフレームループフィルタ部から出力されたフレーム復号画像をタイル復号画像に分割し、そのタイル復号画像、符号化パラメータ及びタイル単位のフィルタを示すフィルタパラメータの符号化データを後段のタイルループフィルタ部に伝送する。

　符号化並列フラグが入力画像を分割して並列化する旨を示している場合でも、フィルタパラメータ共有フラグ＃ｍがＯＮであれば、ｍ段目のループフィルタでは、フレーム単位のフィルタリング処理を行うため、タイル復号部１０４－１～１０４－Ｎ（または、前段のタイルループフィルタ部）の出力信号（タイル局所復号画像、符号化パラメータ、タイル単位のフィルタを示すフィルタパラメータの符号化データ）、あるいは、前段のフレームループフィルタ部の出力信号（フレーム復号画像、符号化パラメータ、フレーム単位のフィルタを示すフィルタパラメータの符号化データ）を後段のフレームループフィルタ部に伝送する。

　フィルタパラメータ復号部１０６－ｍは、可変長符号分離部１０１により分離されたフィルタパラメータ共有フラグ＃ｎがＯＮである場合、可変長符号分離部１０１により分離されたフィルタパラメータの符号化データ＃ｍからフレーム単位のフィルタを示すフィルタパラメータを復号し、そのフィルタパラメータをタイルループフィルタ装置１０７－ｍに出力する。

　タイルループフィルタ部１０７－ｍ－ｎは、並列処理切替部１１０－ｍからタイル復号画像を受けると、可変長符号分離部１０１により分離されたフィルタパラメータ共有フラグ＃ｍがＯＦＦであれば、並列処理切替部１１０－ｍから出力されたフィルタパラメータの符号化データからタイル単位のフィルタを示すフィルタパラメータを復号し、タイル単位のフィルタを用いて、そのタイル復号画像に対するフィルタリング処理を実施する。
　なお、フィルタパラメータ共有フラグ＃ｍがＯＮであれば、フィルタパラメータ復号部１０６－ｍから出力されたフィルタパラメータが示すフレーム単位のフィルタを用いて、タイル復号画像に対するフィルタリング処理を実施するが、この実施の形態２では、符号化並列フラグが入力画像を分割して並列化する旨を示している場合でも、フィルタパラメータ共有フラグ＃ｍがＯＮである場合、並列処理切替部１１０－ｍがフレーム復号画像をフレームループフィルタ部１０８－ｍに与えて、タイル復号画像をタイルループフィルタ部１０７－ｍ－ｎに与えないので、この状況下では、フレーム単位のフィルタを用いて、タイル復号画像のフィルタリング処理を実施することはない。
　タイルループフィルタ部１０７－ｍ－ｎが、フレーム単位のフィルタを用いて、タイル復号画像のフィルタリング処理を実施する状況としては、例えば、符号化側が符号化並列フラグを出力する機能を使用せずに、フレームループフィルタ部１０８－ｍの機能を停止している状況などが考えられる（実施の形態１と類似の構成）。

　フレームループフィルタ部１０８－ｍは、並列処理切替部１１０－ｍからフレーム復号画像を受けると、並列処理切替部１１０－ｍから出力されたフィルタパラメータの符号化データからフレーム単位のフィルタを示すフィルタパラメータを復号し、フレーム単位のフィルタを用いて、そのフレーム復号画像に対するフィルタリング処理を実施する。

　タイル分割制御部１０９は、可変長符号分離部１０１により分離されたタイル分割制御情報からタイルの分割状態を把握し、元の入力画像に相当する復号画像が得られるように、並列処理終了部１１１における各タイル復号画像の配置を制御する処理を実施する。
　並列処理終了部１１１は、可変長符号分離部１０１により分離された符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、可変長符号分離部１０１により分離されたフィルタパラメータ共有フラグ＃ＭがＯＦＦであれば、タイル分割制御部１０９の制御の下で、タイルループフィルタ部１０７－Ｍ－１～１０７－Ｍ－Ｎによるフィルタリング処理後のタイル復号画像を組み合わせてフレーム単位の復号画像を生成し、その復号画像を動き補償予測フレームメモリ１０３に格納する。
　また、符号化並列フラグが入力画像を分割して並列化する旨を示している場合において、そのフィルタパラメータ共有フラグ＃ＭがＯＮであれば、フレームループフィルタ部１０８－Ｍによるフィルタリング処理後のフレーム復号画像を動き補償予測フレームメモリ１０３に格納する。
　一方、符号化並列フラグが入力画像を分割して並列化しない旨を示している場合、フレームループフィルタ部１０８－Ｍによるフィルタリング処理後のフレーム復号画像を動き補償予測フレームメモリ１０３に格納する。

　以上で明らかなように、この実施の形態３によれば、入力画像を分割してタイル単位の並列化処理を行うか、並列化しないでフレーム単位で処理を行うかを切り替えられるとともに、ループフィルタ毎に、タイル単位のフィルタリング処理を行うか、フレーム単位のフィルタリング処理を行うかを切り替えられるように構成したので、異なる種類のループフィルタを多段に接続して、全体のフィルタ性能を高める場合でも、処理の高速化を図ることができる効果を奏する。

　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

　この発明に係る動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法は、タイル単位の局所復号画像を生成して、その局所復号画像に適するタイル単位のフィルタを決定し、そのタイルを用いて局所復号画像のフィルタリング処理を実施し、ループフィルタの処理をタイルレベルで並列に行うことができるようにしたため、画像を圧縮符号化して伝送する動画像符号化装置及び動画像符号化方法と、動画像符号化装置により伝送された符号化データから画像を復号する動画像復号装置及び動画像復号方法に適用することができる。

　１　符号化制御部（分割制御手段）、２　タイル分割制御部（タイル分配手段）、３　並列処理開始部（タイル分配手段）、４　動き補償予測フレームメモリ（画像メモリ）、５　タイル符号化装置、５－１～５－Ｎ　タイル符号化部（タイル符号化手段）、６　ループフィルタ制御部（フレーム単位フィルタ決定手段）、７　タイルループフィルタ装置、７－１～７－Ｎ　タイルループフィルタ部（タイルフィルタ手段）、８　並列処理終了部（局所復号画像格納手段）、９　可変長符号多重化部（多重化手段）、２１　タイル符号化制御部、２２　ブロック分割部、２３　切換スイッチ、２４　イントラ予測部、２５　動き補償予測部、２６　減算部、２７　変換・量子化部、２８　逆量子化・逆変換部、２９　加算部、３０　タイル局所復号画像メモリ、３１　可変長符号化部、４１　タイルループフィルタ制御部、４２　ループフィルタ実施部、４３　可変長符号化部、５１　可変長符号分離部（分離手段）、５２　並列処理開始部（符号化ビットデータ分配手段）、５３　動き補償予測フレームメモリ（画像メモリ）、５４　タイル復号装置、５４－１～５４－Ｎ　タイル復号部（タイル復号手段）、５５　フィルタパラメータ復号部、５６　タイルループフィルタ装置、５６－１～５６－Ｎ　タイルループフィルタ部（タイルフィルタ手段）、５７　タイル分割制御部（復号画像格納手段）、５８　並列処理終了部（復号画像格納手段）、６１　可変長復号部、６２　切換スイッチ、６３　イントラ予測部、６４　動き補償部、６５　逆量子化・逆変換部、６６　加算部、６７　タイル復号画像メモリ、７１　タイルフィルタパラメータ復号部、７２　ループフィルタ実施部、８１　符号化制御部（分割制御手段）、８２　タイル分割制御部（タイル分配手段）、８３　並列処理開始部（タイル分配手段）、８４　動き補償予測フレームメモリ（画像メモリ）、８５　タイル符号化装置、８５－１～８５－Ｎ　タイル符号化部（タイル符号化手段）、８６　フレーム符号化部（フレーム符号化手段）、８７－１～８７－Ｍ　ループフィルタ制御部、８８－１～８７－Ｍ　タイルループフィルタ装置、８８－１－１～８８－１－Ｎ，８８－２－１～８８－２－Ｎ，・・・，８８－Ｍ－１～８８－Ｍ－Ｎ　タイルループフィルタ部（タイルフィルタ手段）、８９－１～８９－Ｍ　フレームループフィルタ部（フレームフィルタ手段）、９０－１～９０－Ｍ　並列処理切替部、９１　並列処理終了部（局所復号画像格納手段）、９２　可変長符号多重化部（多重化手段）、１０１　可変長符号分離部（分離手段）、１０２　並列処理開始部（符号化ビットデータ分配手段）、１０３　動き補償予測フレームメモリ（画像メモリ）、１０４　タイル復号装置、１０４－１～１０４－Ｎ　タイル復号部（タイル復号手段）、１０５　フレーム復号部（フレーム復号手段）、１０６－１～１０６－Ｍ　フィルタパラメータ復号部、１０７－１～１０７－Ｍ　タイルループフィルタ装置、１０７－１－１～１０７－１－Ｎ，１０７－２－１～１０７－２－Ｎ，・・・，１０７－Ｍ－１～１０７－Ｍ－Ｎ　タイルループフィルタ部（タイルフィルタ手段）、１０８－１～１０８－Ｍ　フレームループフィルタ部（フレームフィルタ手段）、１０９　タイル分割制御部（復号画像格納手段）、１１０－１～１１０－Ｍ　並列処理切替部、１１１　並列処理終了部（復号画像格納手段）。

Claims

　入力画像の分割状態を指示する分割制御情報を出力する分割制御手段と、上記分割制御手段から出力された分割制御情報にしたがって入力画像を所定サイズの矩形領域であるタイルに分割し、分割後のタイルを分配するタイル分配手段と、フィルタリング処理後の局所復号画像を記憶する画像メモリと、上記画像メモリに記憶された局所復号画像を参照して、上記タイル分配手段により分配されたタイルに対する予測差分符号化処理を実施し、その符号化結果である符号化ビットデータを出力するとともに、上記符号化ビットデータから局所復号画像を生成する１以上のタイル符号化手段と、上記タイル符号化手段により生成された局所復号画像のフィルタリング処理に対応したタイル単位のフィルタを決定し、上記フィルタを用いて、上記局所復号画像に対するフィルタリング処理を実施する１以上のタイルフィルタ手段と、上記分割制御手段から出力された分割制御情報にしたがって１以上のタイルフィルタ手段によるフィルタリング処理後の局所復号画像を組み合わせてフレーム単位の局所復号画像を生成し、上記局所復号画像を上記画像メモリに格納する局所復号画像格納手段と、上記タイル符号化手段から出力された符号化ビットデータ、上記タイルフィルタ手段により決定されたタイル単位のフィルタを示すフィルタパラメータ及び上記分割制御手段から出力された分割制御情報を多重化してビットストリームを生成する多重化手段とを備えた動画像符号化装置。
　分割制御手段から、１以上のタイル符号化手段により生成された局所復号画像のフィルタリング処理に用いるフィルタを各タイルで共通させるか否かを示すフィルタ共有フラグが出力される場合において、上記フィルタ共有フラグが各タイルでフィルタを共通させる旨を示していれば、各タイルで共通であるフレーム単位のフィルタを決定するフレーム単位フィルタ決定手段を設け、
　１以上のタイルフィルタ手段は、上記フィルタ共有フラグが各タイルでフィルタを共通させない旨を示していれば、タイル単位のフィルタを用いて、上記タイル符号化手段により生成された局所復号画像に対するフィルタリング処理を実施し、上記フィルタ共有フラグが各タイルでフィルタを共通させる旨を示していれば、上記フレーム単位フィルタ決定手段により決定されたフレーム単位のフィルタを用いて、上記タイル符号化手段により生成された局所復号画像に対するフィルタリング処理を実施し、
　多重化手段は、上記分割制御手段から出力されたフィルタ共有フラグをビットストリームに多重化するとともに、上記フィルタ共有フラグが各タイルでフィルタを共通させない旨を示していれば、上記タイルフィルタ手段により決定されたタイル単位のフィルタを示すフィルタパラメータを多重化し、上記フィルタ共有フラグが各タイルでフィルタを共通させる旨を示していれば、上記フレーム単位フィルタ決定手段により決定されたフレーム単位のフィルタを示すフィルタパラメータを多重化する
　ことを特徴とする請求項１記載の動画像符号化装置。
　入力画像の分割状態を指示する分割制御情報を出力するとともに、上記入力画像を分割するか否かを示す分割フラグを出力する分割制御手段と、上記分割制御手段から出力された分割フラグが分割する旨を示している場合、上記分割制御手段から出力された分割制御情報にしたがって入力画像を所定サイズの矩形領域であるタイルに分割して、分割後のタイルを分配し、上記分割フラグが分割しない旨を示している場合、上記入力画像を分割せずに出力するタイル分配手段と、フィルタリング処理後の局所復号画像を記憶する画像メモリと、上記画像メモリに記憶されている局所復号画像を参照して、上記タイル分配手段により分配されたタイルに対する予測差分符号化処理を実施し、その符号化結果である符号化ビットデータを出力するとともに、上記符号化ビットデータから局所復号画像を生成する１以上のタイル符号化手段と、上記画像メモリに記憶されている局所復号画像を参照して、上記タイル分配手段から出力された入力画像に対する予測差分符号化処理を実施し、その符号化結果である符号化ビットデータを出力するとともに、上記符号化ビットデータから局所復号画像を生成するフレーム符号化手段と、上記タイル符号化手段により生成された局所復号画像のフィルタリング処理に適するタイル単位のフィルタを決定し、上記フィルタを用いて、上記局所復号画像に対するフィルタリング処理を実施する１以上のタイルフィルタ手段と、上記フレーム符号化手段により生成された局所復号画像のフィルタリング処理に適するフレーム単位のフィルタを決定し、上記フィルタを用いて、上記局所復号画像に対するフィルタリング処理を実施するフレームフィルタ手段と、上記分割制御手段から出力された分割フラグが分割する旨を示している場合、上記分割制御手段から出力された分割制御情報にしたがって１以上のタイルフィルタ手段によるフィルタリング処理後の局所復号画像を組み合わせてフレーム単位の局所復号画像を生成して、上記局所復号画像を上記画像メモリに格納し、上記分割フラグが分割しない旨を示している場合、上記フレームフィルタ手段によるフィルタリング処理後の局所復号画像を上記画像メモリに格納する局所復号画像格納手段と、上記タイル符号化手段又は上記フレームフィルタ手段から出力された符号化ビットデータ、上記タイルフィルタ手段又は上記フレームフィルタ手段により決定されたフィルタを示すフィルタパラメータ、上記分割制御手段から出力された分割制御情報及び分割フラグを多重化してビットストリームを生成する多重化手段とを備えた動画像符号化装置。
　分割制御手段は、タイルフィルタ手段及びフレームフィルタ手段が複数の種類のフィルタリング処理を実施する機能を備えている場合、フィルタリング処理の種類別に、当該フィルタリング処理に用いるフィルタを各タイルで共通させるか否かを示すフィルタ共有フラグを出力し、
　上記分割制御手段から出力された分割フラグが分割する旨を示している場合でも、上記分割制御手段から出力されたフィルタ共有フラグが或る種類のフィルタリング処理について、各タイルでフィルタを共通させる旨を示している場合、当該フィルタリング処理については、タイルフィルタ手段の代わりに、フレームフィルタ手段がフレーム単位のフィルタを用いて、局所復号画像に対するフィルタリング処理を実施し、
　多重化手段は、上記分割制御手段から出力されたフィルタリング処理の種類別のフィルタ共有フラグをビットストリームに多重化する
　ことを特徴とする請求項３記載の動画像符号化装置。
　ビットストリームに多重化された符号化ビットデータ、所定サイズの矩形領域であるタイル単位のフィルタを示すフィルタパラメータ及び入力画像の分割状態を指示する分割制御情報を分離する分離手段と、上記分離手段により分離された分割制御情報にしたがって上記符号化ビットデータをタイル単位の符号化ビットデータに分割し、分割後の符号化ビットデータを分配する符号化ビットデータ分配手段と、フィルタリング処理後の復号画像を記憶する画像メモリと、上記画像メモリに記憶されている復号画像を参照して、上記符号化ビットデータ分配手段により分配された符号化ビットデータに対する予測差分復号処理を実施し、タイル単位の復号画像を生成する１以上のタイル復号手段と、上記分離手段により分離されたフィルタパラメータが示すタイル単位のフィルタを用いて、上記タイル復号手段により生成された復号画像に対するフィルタリング処理を実施する１以上のタイルフィルタ手段と、上記分離手段により分離された分割制御情報にしたがって１以上のタイルフィルタ手段によるフィルタリング処理後の復号画像を組み合わせてフレーム単位の復号画像を生成し、上記復号画像を上記画像メモリに格納する復号画像格納手段とを備えた動画像復号装置。
　分離手段は、各タイルでフィルタを共通させるか否かを示すフィルタ共有フラグがビットストリームに多重化されている場合、上記フィルタ共有フラグを分離するとともに、タイル単位のフィルタを示すフィルタパラメータ又はフレーム単位のフィルタを示すフィルタパラメータを分離し、
　１以上のタイルフィルタ手段は、上記分離手段により分離されたフィルタ共有フラグが各タイルでフィルタを共通させない旨を示していれば、上記分離手段により分離されたフィルタパラメータが示すタイル単位のフィルタを用いて、上記タイル復号手段により生成されたタイル単位の復号画像に対するフィルタリング処理を実施し、上記フィルタ共有フラグが各タイルでフィルタを共通させる旨を示していれば、上記分離手段により分離されたフィルタパラメータが示すフレーム単位のフィルタを用いて、上記タイル復号手段により生成されたタイル単位の復号画像に対するフィルタリング処理を実施する
　ことを特徴とする請求項５記載の動画像復号装置。
　ビットストリームに多重化された符号化ビットデータ、タイル単位のフィルタを示すフィルタパラメータ又はフレーム単位のフィルタを示すフィルタパラメータ、入力画像の分割状態を指示する分割制御情報及び入力画像を分割するか否かを示す分割フラグを分離する分離手段と、上記分離手段により分離された分割フラグが分割する旨を示している場合、上記分離手段により分離された分割制御情報にしたがって上記符号化ビットデータをタイル単位の符号化ビットデータに分割して、分割後の符号化ビットデータを分配し、上記分割フラグが分割しない旨を示している場合、上記分離手段により分離された符号化ビットデータを分割せずにフレーム単位の符号化ビットデータを出力する符号化ビットデータ分配手段と、フィルタリング処理後の復号画像を記憶する画像メモリと、上記画像メモリに記憶された復号画像を参照して、上記符号化ビットデータ分配手段により分配されたタイル単位の符号化ビットデータに対する予測差分復号処理を実施し、タイル単位の復号画像を生成する１以上のタイル復号手段と、上記画像メモリに記憶された復号画像を参照して、上記分離手段から出力されたフレーム単位の符号化ビットデータに対する予測差分復号処理を実施し、フレーム単位の復号画像を生成するフレーム復号手段と、上記分離手段により分離されたフィルタパラメータが示すタイル単位のフィルタを用いて、上記タイル復号手段により生成された復号画像に対するフィルタリング処理を実施する１以上のタイルフィルタ手段と、上記分離手段により分離されたフィルタパラメータが示すフレーム単位のフィルタを用いて、上記フレーム復号手段により生成された復号画像に対するフィルタリング処理を実施するフレームフィルタ手段と、上記分離手段により分離された分割フラグが分割する旨を示している場合、上記分離手段により分離された分割制御情報にしたがって１以上のタイルフィルタ手段によるフィルタリング処理後の復号画像を組み合わせてフレーム単位の復号画像を生成して、上記復号画像を上記画像メモリに格納し、上記分割フラグが分割しない旨を示している場合、上記フレームフィルタ手段によるフィルタリング処理後の復号画像を上記画像メモリに格納する復号画像格納手段とを備えた動画像復号装置。
　分離手段は、タイルフィルタ手段及びフレームフィルタ手段が複数の種類のフィルタリング処理を実施する機能を備えている場合、ビットストリームから各タイルでフィルタを共通させるか否かを示すフィルタリング処理の種類別のフィルタ共有フラグを分離し、
　上記分離手段により分離された分割フラグが分割する旨を示している場合でも、上記分離手段により分離されたフィルタ共有フラグが或る種類のフィルタリング処理について、各タイルでフィルタを共通させる旨を示している場合、当該フィルタリング処理については、タイルフィルタ手段の代わりに、フレームフィルタ手段がフレーム単位のフィルタを用いて、フレーム復号手段により生成された復号画像に対するフィルタリング処理を実施する
　ことを特徴とする請求項７記載の動画像復号装置。
　分割制御手段が、入力画像の分割状態を指示する分割制御情報を出力する分割制御処理ステップと、タイル分配手段が、上記分割制御処理ステップで出力された分割制御情報にしたがって入力画像を所定サイズの矩形領域であるタイルに分割し、分割後のタイルを分配するタイル分配処理ステップと、１以上のタイル符号化手段が、画像メモリに記憶されたフィルタリング処理後の局所復号画像を参照して、上記タイル分配処理ステップで分配されたタイルに対する予測差分符号化処理を実施し、その符号化結果である符号化ビットデータを出力するとともに、上記符号化ビットデータから局所復号画像を生成するタイル符号化処理ステップと、１以上のタイルフィルタ手段が、上記タイル符号化処理ステップで生成された局所復号画像のフィルタリング処理に対応したタイル単位のフィルタを決定し、上記フィルタを用いて、上記局所復号画像に対するフィルタリング処理を実施するタイルフィルタ処理ステップと、局所復号画像格納手段が、上記分割制御処理ステップで出力された分割制御情報にしたがって上記タイルフィルタ処理ステップでのフィルタリング処理後の局所復号画像を組み合わせてフレーム単位の局所復号画像を生成し、上記局所復号画像を上記画像メモリに格納する局所復号画像格納処理ステップと、多重化手段が、上記タイル符号化処理ステップで出力された符号化ビットデータ、上記タイルフィルタ処理ステップで決定されたタイル単位のフィルタを示すフィルタパラメータ及び上記分割制御処理ステップで出力された分割制御情報を多重化してビットストリームを生成する多重化処理ステップとを備えた動画像符号化方法。
　分離手段が、ビットストリームに多重化された符号化ビットデータ、所定サイズの矩形領域であるタイル単位のフィルタを示すフィルタパラメータ及び入力画像の分割状態を指示する分割制御情報を分離する分離処理ステップと、符号化ビットデータ分配手段が、上記分離処理ステップで分離された分割制御情報にしたがって上記符号化ビットデータをタイル単位の符号化ビットデータに分割し、分割後の符号化ビットデータを分配する符号化ビットデータ分配処理ステップと、１以上のタイル復号手段が、画像メモリに記憶されているフィルタリング処理後の復号画像を参照して、上記符号化ビットデータ分配処理ステップで分配された符号化ビットデータに対する予測差分復号処理を実施し、タイル単位の復号画像を生成するタイル復号処理ステップと、１以上のタイルフィルタ手段が、上記分離処理ステップで分離されたフィルタパラメータが示すタイル単位のフィルタを用いて、上記タイル復号処理ステップで生成された復号画像に対するフィルタリング処理を実施するタイルフィルタ処理ステップと、復号画像格納手段が、上記分離処理ステップで分離された分割制御情報にしたがって上記タイルフィルタ処理ステップでのフィルタリング処理後の復号画像を組み合わせてフレーム単位の復号画像を生成し、上記復号画像を上記画像メモリに格納する復号画像格納処理ステップとを備えた動画像復号方法。