JP6209026B2

JP6209026B2 - 画像符号化装置及びその制御方法

Info

Publication number: JP6209026B2
Application number: JP2013180354A
Authority: JP
Inventors: 成記望月
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-08-30
Filing date: 2013-08-30
Publication date: 2017-10-04
Anticipated expiration: 2033-08-30
Also published as: US9762916B2; JP2015050584A; US20150063439A1

Description

本発明は、動画像の符号化技術に関するものである。

従来、動画データを圧縮符号化する画像処理装置として撮像装置や携帯型通信装置等が知られている。撮像装置や携帯型通信装置では、撮像部で撮影された画像に基づいて動画信号を取得し、取得した動画信号を圧縮符号化して、記録媒体に記録していた。

また、近年、このような記録コンテンツを再生することができる機器のアスペクト比も多種多様のものが登場してきている。

このような再生環境の多様化にともない、たとえば特許文献１のような、複数の解像度の動画像の符号化を実現する方法が提案されてきている。特許文献１では、動画像に対して、注目領域を切り出した低解像度と切出していない動画像の解像度の２つの動画像を符号化する技術を開示している。特許文献１では、動画像の解像度の注目領域に対応する画素値を単一色に置き換えることで符号量を抑えつつ、２つの異なる解像度の動画像データを符号化している。

特開２０１０−２１２８１１号公報

しかしながら、特許文献１の技術により符号化された動画像データは、高解像度の動画像を再生する場合に２つの符号化データを復号化し、１つの再生画像として合成する処理が必要であった。そのため、復号処理が複雑化してしまうことがあった。

そこで、本発明は、復号装置における表示画面のサイズが、設定した複数の画面サイズのいずれかに一致している限りは、その復号処理を簡略化可能とするための符号化データを生成する技術を提供する。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像の符号化を行う画像符号化装置であって、
符号化対象のフレームに対し、当該フレームより小さくかつ互いに異なるサイズの複数の画面サイズを設定する設定手段と、
設定された各画面サイズに従って前記フレームをタイル状に分割する分割手段と、
該分割手段で分割したタイル毎に、符号化を行う際の予測画素ブロックの探索する参照領域を決定する決定手段と、
所定の符号化対象ブロックを符号化する際に、前記決定手段により決定された、前記所定の符号化対象ブロックを含む所定のタイルに対応する参照領域から予測画素ブロックを探索し、前記所定の符号化対象ブロックと探索された前記予測画素ブロックとの差分に基づいて、前記符号化対象ブロックを予測符号化する符号化手段と、
前記分割手段によって分割されたタイル毎に独立して復号を可能なように、前記符号化手段により符号化された符号化データを処理する処理手段とを有し、
前記設定手段は、前記複数の画面サイズの中央を、前記符号化対象のフレームの中央の位置と一致させ、
前記分割手段は、各画面サイズの辺で示される座標位置を前記フレームを分割する位置として決定し、
前記決定手段は、
前記分割手段で分割したタイルの総数をＮとし、各タイルをＴ ₀ 乃至Ｔ _N-1 で表し、
前記フレームを構成するタイルの集合をＡ0＝｛Ｔ ₁ ,Ｔ ₂ , …, Ｔ _N-1 ｝と表し、
前記設定手段で設定した画面サイズの個数をＭとした場合の、各画面サイズに含まれるタイルの集合をＡ1乃至ＡMと表したとき、
タイルＴ _i （ｉは０乃至Ｎ−１のいずれか）を符号化する際に参照する参照領域を、集合Ａ0乃至ＡMの中の、タイルＴ _i を要素に有する集合に共通するタイルで構成される領域とすることを特徴とする。

本発明によれば、設定した画面サイズで復号する限り、復号処理を不要とするタイルを特定できることになり、復号処理を簡略化できるようになる。

第１の実施形態における画像符号化装置のブロック構成図。画面分割部の画面分割処理を説明するための図。設定した画面サイズとその中に含まれるタイルとの関係を示し図。第２の実施形態におけるタイル分割の例を示す図。第１の実施形態における画像符号化装置の処理手順を示すフローチャート。第３の実施形態における画像符号化装置のブロック構成図。第３の実施形態におけるｕｓｅｒｄａｔａｕｎｒｅｇｉｓｔｅｒｅｄＳＥＩのシンタクスを示す図である。第１の実施形態における画像符号化装置で生成される動画像データファイルの構造の一例を示す図である。

以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

［第１の実施形態］
本実施形態では、映像符号化装置の構成、処理について説明する。本発明の適用範囲は、動画像の圧縮符号化部を有する装置であればどのような装置であっても良い。たとえば、ビデオカメラやデジタルカメラに代表される撮像装置、携帯型通信装置、コンピュータであってもよい。

本発明を適用可能な第１の実施形態であるＨ．２６５（ＩＴＵＨ．２６５又はＩＳＯ／ＩＥＣ２３００８−２）方式で符号化する映像符号化装置の構成及び処理の流れについて図１に示すブロック図を参照しながら説明を行う。

まず、画面分割部１０１は、復号側の表示画面のサイズに適合するため、符号化対象の入力映像の画面サイズよりも小さい、いくつかの画面サイズに関する画面サイズ情報を画像サイズ設定部１１０より取得する。画面サイズ設定部１１０は、典型的には、不図示の操作部より設定した情報を記憶する記憶部（不揮発性メモリなど）であり、各画面サイズを示す画面サイズ情報を画面分割部１０１に供給する。従って、特に変更がない限り、画面分割部１０１は、毎回、同じ画面サイズ情報を取得することになる。なお、ここでは画面サイズ情報の入力源を不揮発性メモリとしたが、これに限られるわけではなく、その種類は問わない。また、画面サイズは、水平、垂直方向の画素数で定義されるものとする。また、ここで言う画面サイズとは、水平、垂直方向の画素数で表されるものとする。ただし、一方の辺の画素数とアスペクト比があれば画面サイズは特定できるので、この限りではない。

さて、画面分割部１０１は、取得した画面サイズ情報を解析する。そして、各画面サイズで定義される矩形の中央位置を、符号化対象のフレームの中央位置に合わせた場合の、各画面サイズの境界を示す座標から、符号化対象の画面を分割する分割位置を決定する。そして、画面分割部１０１は、決定した座標位置で、符号化対象の画面をタイル状に分割した各領域（以下、この領域を単にタイルと呼ぶ）に番号（以下、タイル番号という）を付し、タイル番号で示されるタイル番号と符号化対象の画面におけるタイルの位置とを対応づける。そして、画面分割部１０１は、符号化処理中に、タイル毎の予測符号化条件を予測符号化方法決定部１０２へ出力する。この予測符号化条件には、或るタイル内の着目画素ブロックを符号化する際、その着目画素ブロック（符号化対象ブロック）の予測画素ブロックを取得する範囲を規定する情報が含まれる（詳細後述）。

予測符号化方法決定部１０２は、画面分割部１０１から入力される画面分割情報及び予測符号化条件に基づき符号化対象画面内の各画素ブロックに対する予測方法を決定する。そして、予測符号化方法決定部１０２は、入力される映像信号と符号化済みの復号画像を格納するメモリ１０４から読み出した符号化済み画素値から簡易的な画面内予測又は動き検出を含む画面間予測処理を行うことにより符号化効率を示す評価値を算出し、その符号化効率が最適となる予測方式を決定する。符号化対象画素ブロックがＩスライスの場合は、画面内予測画素ブロックサイズ及び予測モードを決定する。Ｐスライス又はＢスライスの場合には、画面内予測又は画面間予測の内、符号化効率の高い方を選択する。ここで、画面間予測の場合には画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。また、画面間予測の場合には、参照画像フレーム、画素ブロック分割パターン、動きベクトル等の画面間予測符号化用パラメータを決定する。予測符号化方法決定部１０２は、決定した予測符号化用パラメータを予測符号化処理部１０３へ出力する。

予測符号化処理部１０３は、符号化対象のフレーム中の着目タイル内の着目画素ブロックを符号化する際、予測符号化方法決定部１０２により決定された予測符号化用パラメータに応じて、メモリ１０４から読出した符号化済み画像から予測画素ブロックを生成する。そして、着目画素ブロックと予測画素ブロックの差分である予測残差ブロックを、直交変換・量子化部１０５へ出力する。また、予測画素ブロックを、局所復号化部１０６にも出力する。

直交変換・量子化部１０５は、与えられた予測残差ブロックに対して直交変換処理を行う。また、直交変換・量子化部１０５は、後述する符号量制御部１０７から設定された量子化パラメータに応じた量子化ステップを用いて、直交変換して得られた係数を量子化する。その量子化後の係数（量子化データ）はエントロピー符号化部１０８、局所復号化部１０６へ供給される。局所復号化部１０６は、入力した量子化データに対し逆量子化処理、逆直交変換処理を行うことで、予測残差データを生成する。そして、局所復号化部１０６は、その予測残差データに、予測符号化処理部１０３から入力される予測画像を加算して復号化処理を行い、得られた画素ブロックが示す画像データをメモリ１０４へ格納する。メモリ１０４へ格納された復号後の画像データは、以降の画面内予測処理に利用される。更にデブロッキングフィルタ処理が施された復号化画像データをメモリ１０４へ保持する。メモリ１０４へ保持されたデブロッキングフィルタ処理後の復号化データは、以降の画面間予測処理にも利用される。

エントロピー符号化部１０８では、入力された量子化データに対してスライス単位にＣＡＢＡＣ（コンテキスト適応型２値算術符号化）によるエントロピー符号化処理を行う。エントロピー符号化部１０８は、このため入力される量子化データ（多値データ）を２値データに変換する２値化部、その２値化部により生成された２値化データを格納する２値化データ・メモリを有する。また、エントロピー符号化部１０８は、２値化データの発生確率をコンテキストに応じて計算し、保持するコンテキスト計算部、及びコンテキスト計算部により供給される発生確率に応じて算術符号化を行う算術符号化部を有する。こうして符号化したデータをタイル単位に多重化処理部１０９へ供給すると共に、発生符号量を符号量制御部１０７へ出力する。

符号量制御部１０７は、符号化ピクチャバッファをオーバーフロー、又はアンダーフローさせないように符号化データの符号量を制御する処理部である。符号量制御部１０７は、エントロピー符号化部１０８から供給されるエントロピー符号化後の発生符号量を元に、後続して入力するフレームに対する量子化パラメータを生成し、直交変換・量子化部１０５へ供給する。

ここで、実施の形態における画面分割部１０１の画面分割処理方法について説明を行う。実施形態における符号化対象のフレームは、水平方向４１６０画素、垂直方向２３５２画素のサイズを有するものとする。また、説明を単純化するため、Ｈ．２６５におけるＣＵを１６×１６画素として説明する。このため、符号化対象のフレームのタイルへの分割位置は、垂直、水平とも１６の整数倍になる。

実施の形態では、画面分割部１０１が取得する複数の画面サイズ情報は次の３通りであるものとする。
画面１：３８４０×２１６０画素（アスペクト比＝１６：９）
画面２：２８８０×２１６０画素（アスペクト比＝４：３）
画面３：３８４０×１５８４画素（アスペクト比＝１２：５）
先に説明したように、画面分割部１０１は、各画面サイズの中央位置を、符号化対象のフレームの中央位置と一致させる。このため、各画面サイズを規定する矩形の左上、右下の座標をまず算出する。符号化対象のフレームの水平方向サイズ（画素数）をＷＨ（＝４１６０），垂直方向サイズ（画素数）をＷＶ（＝２３５２）とする。そして、より小さい画面の水平サイズをＳＨ、垂直サイズをＳＶと表す。原点を、符号化対象のフレームの左上隅位置とすると、その画面が示す矩形の左上座標、右下座標はそれぞれ以下の式（１）、（２）により算出する。
左上座標：（Ｘ０，Ｙ０）＝（（ＷＨ−ＳＨ）／２，（ＷＶ−ＳＶ）／２）…式（１）
右下座標：（Ｘ１，Ｙ１）＝（Ｘ０＋ＳＨ，Ｙ０＋ＳＶ） …式（２）

上式（１）、（２）により画面１が表す矩形の左上隅、右下隅の座標は次のようになる。
左上座標：（Ｘ０，Ｙ０）＝（１６０，９６）
右下座標：（Ｘ１，Ｙ１）＝（４０００，２２５６）
また、画面２の左上隅、右下隅の座標は次のようになる。
左上座標：（Ｘ０，Ｙ０）＝（６４０，９６）
右下座標：（Ｘ１，Ｙ１）＝（３２５０，２２５６）
そして、画面３の左上隅、右下隅の座標は次のようになる。
左上座標：（Ｘ０，Ｙ０）＝（１６０，３８４）
右下座標：（Ｘ１，Ｙ１）＝（４０００，１９６８）
上記の算出した結果の、符号化対象のフレームに対する画面１乃至３の領域との関係を示すのが図２である。

符号化対象のフレームを、上記の算出で得られた各座標を通る水平、垂直線で分割した状態を示すのが図２である。同図の矩形領域Ｔ０乃至Ｔ２４がタイルであり、各タイルはＨ．２６５のスライスとして符号化される。

画面１は、図３（ａ）に示すように、タイルＴ６乃至Ｔ８、Ｔ１１乃至Ｔ１３、及びＴ１５乃至Ｔ１８の計９個のタイルで表される。画面２は、図３（ｂ）に示すように、タイルＴ７，Ｔ１２、Ｔ１７の計３個のタイルで表される。そして、画面３は、図３（ｃ）に示すように、タイルＴ１１乃至Ｔ１３の計３つで表される。

実施形態における画面分割部１０１は、さらに画面１、２及び３を構成するタイルを、それぞれにタイルのみを参照することで復号化が可能にするため、分割された各タイルに対する予測符号化条件となる画像参照範囲を決定する。すなわち、各画面のサイズを構成するタイルのみを参照することで復号可能とするために、各タイルに対する予測符号化条件となる画像参照範囲を決定する。
（ｉ）まず、符号化対象のフレーム全体で利用されるタイルＴ０〜４、５、９、１０、１４、１５、１９、２０〜２４に対しては画面全体を参照可能とする。たとえば、タイルＴ０は、画面全体を参照可能であるので、タイルＴ０を符号化する際に参照することが許容されるタイルの集合をＲ（Ｔ０）と表現するのであれば、
Ｒ（Ｔ０）＝｛Ｔ０、Ｔ１、Ｔ２，…、Ｔ２４｝（全タイル）として決定する。
（ii）次に、全画面及び画面１のみで利用されるタイル番号６、８、１６、１８は、画面１を構成する全てのタイル内を参照可能とする。上記と同様にＲ（）で表すと次の通りである。
Ｒ（Ｔ６）＝Ｒ（Ｔ８）＝Ｒ（Ｔ１６）＝Ｒ（Ｔ１８）＝｛Ｔ６，Ｔ７、Ｔ８，Ｔ１１．Ｔ１２．Ｔ１３，Ｔ１６，Ｔ１７，Ｔ１８｝として決定する。
（iii）次に、全画面、画面１及び画面２でのみ利用されるタイルＴ７、１７は、画面２を構成する全てのタイル内を参照可能とする。Ｒ（Ｔ７）＝Ｒ（Ｔ１７）＝｛Ｔ７、Ｔ１２、Ｔ１７｝
（iv）次に、全画面、画面１、及び、画面３でのみ利用されるタイルＴ１１、Ｔ１３は、画面３を構成する全てのタイル内を参照可能とする。Ｒ（Ｔ１１）＝Ｒ（１３）＝｛Ｔ１１、Ｔ１２，Ｔ１３｝として決定する。
（v）最後にタイルＴ１２は、自身のタイルＴ１２のみを参照可能とする。すなわち、Ｒ（Ｔ１２）＝｛Ｔ１２｝である。

上記は設定する画面数が３つの場合であったが、設定する画面数をＭ個、それによってタイル数の総数がＮ個、各タイルをＴ₀乃至Ｔ_N-1と定義して、一般化して表せば次の通りである。

符号化対象のフレームを構成するタイルの集合Ａ0とすると、Ａ0は全てのタイルを含むことになるので、Ａ0＝｛Ｔ₁,Ｔ₂, …, Ｔ_N-1｝と表せる。同様に、画面１乃至画面Ｍそれぞれを構成するタイルの集合Ａ1乃至ＡMも同様に定義できる。タイルＴ_i（ｉは０乃至Ｎ−１のいずれか）を符号化する際に参照するタイルは、集合Ａ0乃至ＡMの中で、タイルＴiを要素に持つ集合に共通にタイルとして決定すればよい。

たとえば、上記実施の形態に適合した場合（設定する画面の個数が３つの場合）、タイルＴ１に着目すると、タイルＴ１を要素に持つ集合はＡ0のみとなるので、集合Ａ0の全要素（全タイル）が参照対象となる。また、タイルＴ７に着目すると、Ｔ７を要素に持つ集合はＡ0と、図３からＡ1，Ａ2である（Ａ3は除外される）。そこで、Ａ0，Ａ1，Ａ2に共通な要素を求めると｛Ｔ７、Ｔ１２，Ｔ１７｝となる。また、Ｔ１１を着目した場合、タイルＴ１１を要素に持つ集合はＡ0,Ａ1,Ａ3（Ａ２は除外される）となる。そこで、この集合に共通な要素は｛Ｔ１１、Ｔ１２、Ｔ１３｝となる。また、Ｔ１２に着目すると、集合Ａ0乃至Ａ3の全てがＴ１２を有するが、それらすべてに共通に有する要素はＴ１２のみとなる。

以上のようにして、画面分割部１０１は、各タイル毎に、そのタイルを符号化する際に参照できる範囲を決定する。そして、画面分割部１０１は、各タイルＴ０乃至Ｔ２５の位置とサイズを規定するための情報で構成される画面分割情報を予測符号化方法決定部１０２へ供給する。さらに、画面分割部１０１は、タイル毎にそのタイルを符号化する際に参照可能な範囲を規定する情報（予測符号化の条件情報）をも予測符号化方法決定部１０２へ供給する。

予測符号化処理部１０３は、例えば、タイルＴ１１内の着目画素ブロックを符号化するとき、参照可能な範囲Ｒ（Ｔ１１）＝｛Ｔ１１．Ｔ１２，Ｔ１３｝が指定されているので、これらのタイルで規定される画像領域の中から、予測画素ブロックを探索する。そして、予測符号化処理部１０３は、探索した予測画素ブロックと着目画素ブロックとの差分である残差ブロックデータを直行変換・量子化部１０５に供給する。上記は画面内（イントラ）、画面間（インター）符号化を問わない。たとえば、タイルＴ１１内の着目画素ブロックを画面間符号化を行う場合には、時間的に異なるフレームを参照するものの、その参照する範囲はその参照することになるフレームにおけるタイルＴ１１，Ｔ１２，Ｔ１３で表される領域となる。

図８は実施の形態の符号化装置の多重化処理部１０９が生成する符号化画像ファイルのデータ構造の例を示している。

多重化処理部１０９は、画像の符号化の開始時には、ファイルヘッダに符号化対象のフレームのサイズ等の情報に加えて、各タイルの分割位置と、設定された画面サイズ、タイル番号、並びに、設定した画面で利用するタイル番号（たとえば画面２では、タイルＴ７、Ｔ１２，Ｔ１７を用いること）を示す情報を格納する。なお、タイル番号が、タイルを単位とするラスタースキャン順に符番されることが、符号化、復号化を行う装置双方の共通事項である場合にはタイル番号は不要としてもよい。また、多重化処理部１０９は、１フレーム毎の符号化データを生成する際、各タイルの符号化データの開始位置を特定するための情報をフレームのヘッダに格納する。典型的には、１フレームの符号化データの先頭からのビット位置である。また、各タイルの符号量でも構わない。すなわち、符号化データの順番がタイル番号順に並んでいる場合には、タイルＴ３の符号化データのオフセットアドレスは、タイルＴ１とタイルＴ２の符号量の合計値が示すビット位置とすれば良い。

上記処理をまとめると、図２に示す符号化装置は、図５のフローチャートに従って処理を行えばよい。

まず、Ｓ１にて、画面分割部１０１は画面サイズ情報を入力する。そして、Ｓ２にて、入力した画面サイズ情報を解析し、符号化対象のフレームの分割位置の座標を決定する。そして、Ｓ３にて、画面サイズ情報を参照して、各分割領域に順番にタイル番号を割り当て、各タイル毎に、そのタイルを符号化する際に参照が許容されるタイル領域を決定する。先の例では、タイルＴ１１を符号化する際に参照することが許容されるのは、タイルＴ１１、Ｔ１２．Ｔ１３で規定される領域となる。

上記のようにして、各タイル毎に参照するタイル領域が決定されると、Ｓ４にて１フレームの着目画素ブロックを入力する。そして、Ｓ５にて予測符号化方法決定部１０２、予測符号化処理部１０３、直交変換・量子化部１０５に代表される処理部で、着目画素ブロックを符号化する。このとき、着目タイルが属するいずれのタイルに属するかを判定し、そのタイルに対して設定されたタイル領域から、予測画素ブロックを探索する。予測ブロックを探索する対象のフレームが現在のフレームか他のフレームかは、その際の符号化モードに依存するが、かかる点は本願発明には直接には関係しないので、その説明は省略する。着目画素ブロックについての符号化を終えると、Ｓ６に進み、多重化処理部１０９が有するメモリに予め確保された、タイル毎のバッファにその符号化データを一時的に格納する。そして、現フレームにおける全画素ブロックについての符号化が未完であると判断される限り、Ｓ５、Ｓ６の処理を繰り返す。

上記のようにして１フレーム分の符号化を終えると、処理はＳ８に進み、多重化処理部１０９は、内部のバッファに格納されや各タイル毎の符号化データを所定の順序で結合し、タイルヘッダをその先頭に付加して出力する。このとき、タイルヘッダには、各タイルの符号化データそれぞれを独立してアクセス可能にするため、それぞれの符号化データの開始位置を示すオフセットアドレスを格納する。

この後、処理はＳ９に進み、符号化すべきフレームがあるか否かを判定し、あればＳ４以降の処理を繰り返す。また、なければ、符号化処理を終了する。

上記実施形態の結果、入力するフレームに対し、画面１としてＱＦＨＤ（ＱｕａｄＦｕｌｌＨｉｇｈＤｉｆｉｎｉｔｉｏｎ＝３８４０×２１６０画素）、画面２、３としてＱＦＨＤに対してそれぞれ４：３のアスペクト比の画面サイズ、１２：５のアスペクト比の画面サイズの符号化データを生成できる。

この符号化データ（符号化ストリーム）を再生する復号装置が、仮に、画面２（２８８０×２１６０画素）の画像を表示する機能を有している場合には、フレーム後の符号化データのうち、タイルＴ７、Ｔ１２，Ｔ１７の符号化データのみの復号処理を行えば良くなり、復号処理にかかる負担を最小化させることも可能になる。

なお、上記実施の形態によって生成される符号化データは、Ｈ．２６５に適用した復号装置であれば復号可能できる。しかしながら、復号装置が画面２（２８８０×２１６０画素）の画像を表示すれば十分である場合であっても、受信した全符号化データの全タイルを復号化してしまう可能性がある。そこで、実施形態で示した符号化装置で符号化したことを示す情報、いいかえれば、表示すべき画面に対応するタイルの符号化データのみを復号するだけで十分であることを示す情報（復号処理から除外しても構わないタイルが存在し得ることを示す情報とも言える）を、ファイルヘッダに格納するようにしても良い。この情報がファイルヘッダに存在し、ファイルヘッダに規定される画面サイズの中に、現実の画面サイズと一致しているものがあれば、復号処理で参照する領域が、必ず画面に規定されるタイル内にあることが約束され、無駄な復号処理をしなくて済むことになる。なお、この情報に、設定された画面サイズを用いても構わない。

［第２の実施形態］
１つのタイルを符号化する際に参照する領域（予測画素ブロックを導出する領域）を以下のようにして決定しても良い。

符号化対象のタイルを着目タイルとしたとき、符号化しようとするフレームの中心位置に対して点対象の位置にあるタイルと着目タイルが対角位置となる矩形領域の範囲を参照領域とする。

たとえば、タイルＴ０に着目したとき、図４（ａ）に示すように、点対称のタイルはＴ２４となる。それ故、タイルＴ０とＴ２４を対角に有する矩形領域、すなわち、全領域がタイル０を符号化する際に参照する領域とする。また、タイルＴ６に着目したとき、図４（ｂ）に示すように、点対称のタイルがＴ１８となる。それ故、タイルＴ６乃至Ｔ８，Ｔ１１乃至Ｔ１３，Ｔ１６乃至Ｔ１８が、タイルＴ６を符号化する際の参照領域となる。さらに、タイルＴ１１を着目したとき、図４（ｃ）に示すように、その点対称に位置するのはタイルＴ１３となる。それ故、タイルＴ１１を符号化する際の参照領域はＴ１１乃至Ｔ１３となる。

［第３の実施形態］
本発明を適用可能な第３の実施形態であるＨ．２６５方式で符号化する画像符号化装置の構成及び処理の流れについて図６に示すブロック図を参照しながら説明を行う。ここで、図６の画面分割部５０１〜多重化処理部５０９は、第１の実施形態で示した映像符号化装置の画面分割部１０１〜多重化処理部１０９と共通であるため説明は省略する。従って、以下では、図６に固有の復号化補助情報生成部５１０について説明を行う。

まず、Ｈ．２６５では、映像符号化処理を扱うビデオ符号化層（ＶＣＬ：ＶｉｄｅｏＣｏｄｉｎｇＬａｙｅｒ）と実際の伝送・蓄積のシステムとの間にネットワーク抽象化層（ＮＡＬ：ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）が規定されている。ＮＡＬは、ＮＡＬヘッダとＲＢＳＰ（ＲｏｗＢｙｔｅＳｅｑｕｅｎｃｅＰａｙｌｏａｄ）から構成されるＮＡＬユニットと呼ばれる単位でパケット化される。ＮＡＬヘッダによりＮＡＬユニットの種類が識別できるようになっており、続くＲＢＳＰに実際の符号化データが格納される。ＮＡＬユニットの種類は、主に映像符号化データ（スライス）、映像符号化データのシーケンスに関する情報であるＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、映像符号化データのピクチャに関する情報であるＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）、映像符号化データの付加情報であるＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）等がある。ＳＥＩには、ユーザー定義のシンタクスを使用可能なｕｓｅｒｄａｔａＳＥＩが用意されており、ｕｓｅｒｄａｔａｕｎｒｅｇｉｓｔｅｒｅｄＳＥＩを利用してユーザー定義の復号化補助情報を生成することが可能となっている。

図７（ａ）にｕｓｅｒｄａｔａｕｎｒｅｇｉｓｔｅｒｅｄＳＥＩのシンタクスを示す。シンタクス要素の内、ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ領域にユーザー定義情報を格納することが可能であり、ｕｓｅｒｄａｔａｕｎｒｅｇｉｓｔｅｒｅｄＳＥＩにユーザー定義情報が格納されていることをｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８によりＵＵＩＤとして識別できるようにしておくことでユーザー定義情報を利用可能となる。

そこで、復号化補助情報生成部５１０では、画面分割部５０１から入力される画面サイズ情報と画面分割情報に基づき、符号化データが対応する各画面サイズに関わるコンフィギュレーション情報をＳＥＩとして生成する。ここで、ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ領域に格納するための各画面サイズに関わるコンフィギュレーション情報を「ｐｉｃ＿ｃｏｎｆｉｇ」、そのＳＥＩを「ｐｉｃ＿ｃｏｎｆｉｇＳＥＩ」と呼ぶものとし、そのシンタクスの定義を図７（ｂ）に示す。

「ｃｏｎｆｉｇ＿ｎｕｍ」は、符号化ストリームが対応する画面サイズのコンフィギュレーション数を示す。「ａｓｐｅｃｔ＿ｒａｔｉｏ」は、各画面サイズのアスペクト比を示し、上位８ビットに水平、下位８ビットに垂直の比が格納される。例えば１６：９の場合は、１６進数で０ｘ１００９となる。「ｐｉｃ＿ｗｉｄｔｈ」、「ｐｉｃ＿ｈｅｉｇｈｔ」は、それぞれ各画面の水平画素数、垂直画素数を示す。「ｔｉｌｅ＿ｎｕｍ」は、各画面を構成するタイルの数を示す。「ｔｉｌｅ」は、各画面を構成するタイル番号を示す。

第１の実施形態に示した例の場合、全画面を含む４つのコンフィギュレーション情報となり、「ｃｏｎｆｉｇ＿ｎｕｍ」には“４”が格納され、それぞれのコンフィギュレーション情報は以下のように格納される。
全画面は、
ａｓｐｅｃｔ＿ｒａｔｉｏ［０］＝０ｘ１００９（１６：９）
ｐｉｃ＿ｗｉｄｔｈ［０］＝４１６０
ｐｉｃ＿ｈｅｉｇｈｔ［０］＝２３５２
ｔｉｌｅ＿ｎｕｍ［０］＝２５
ｔｉｌｅ［０］［２５］＝｛０，１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９，２０，２１，２２，２３，２４｝

画面１は以下の通りになる。
ａｓｐｅｃｔ＿ｒａｔｉｏ［１］＝０ｘ１００９（１６：９）
ｐｉｃ＿ｗｉｄｔｈ［１］＝３８４０
ｐｉｃ＿ｈｅｉｇｈｔ［１］＝２１６０
ｔｉｌｅ＿ｎｕｍ［１］＝９
ｔｉｌｅ［１］［９］＝｛６，７，８，１１，１２，１３，１６，１７，１８｝

画面２は以下の通りになる。
ａｓｐｅｃｔ＿ｒａｔｉｏ［２］＝０ｘ０４０３（４：３）
ｐｉｃ＿ｗｉｄｔｈ［２］＝２８８０
ｐｉｃ＿ｈｅｉｇｈｔ［２］＝２１６０
ｔｉｌｅ＿ｎｕｍ［２］＝３
ｔｉｌｅ［２］［３］＝｛７，１２，１７｝

画面３は以下の通りになる。
ａｓｐｅｃｔ＿ｒａｔｉｏ［３］＝０ｘ０ｃ０５（１２：５）
ｐｉｃ＿ｗｉｄｔｈ［３］＝３８４０
ｐｉｃ＿ｈｅｉｇｈｔ［３］＝１５８４
ｔｉｌｅ＿ｎｕｍ［３］＝３
ｔｉｌｅ［３］［３］＝｛１１，１２，１３｝

このように「ｐｉｃ＿ｃｏｎｆｉｇＳＥＩ」を復号化補助情報として符号化データに多重化しておくことで、事前に符号化データの対応する画面サイズやアスペクト比及びタイル情報を取得することが可能となり、所望の画面サイズの再生や変換を容易にする事が可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

動画像の符号化を行う画像符号化装置であって、
符号化対象のフレームに対し、当該フレームより小さくかつ互いに異なるサイズの複数の画面サイズを設定する設定手段と、
設定された各画面サイズに従って前記フレームをタイル状に分割する分割手段と、
該分割手段で分割したタイル毎に、符号化を行う際の予測画素ブロックの探索する参照領域を決定する決定手段と、
所定の符号化対象ブロックを符号化する際に、前記決定手段により決定された、前記所定の符号化対象ブロックを含む所定のタイルに対応する参照領域から予測画素ブロックを探索し、前記所定の符号化対象ブロックと探索された前記予測画素ブロックとの差分に基づいて、前記符号化対象ブロックを予測符号化する符号化手段と、
前記分割手段によって分割されたタイル毎に独立して復号を可能なように、前記符号化手段により符号化された符号化データを処理する処理手段とを有し、
前記設定手段は、前記複数の画面サイズの中央を、前記符号化対象のフレームの中央の位置と一致させ、
前記分割手段は、各画面サイズの辺で示される座標位置を前記フレームを分割する位置として決定し、
前記決定手段は、
前記分割手段で分割したタイルの総数をＮとし、各タイルをＴ₀乃至Ｔ_N-1で表し、
前記フレームを構成するタイルの集合をＡ0＝｛Ｔ₁,Ｔ₂, …, Ｔ_N-1｝と表し、
前記設定手段で設定した画面サイズの個数をＭとした場合の、各画面サイズに含まれるタイルの集合をＡ1乃至ＡMと表したとき、
タイルＴ_i（ｉは０乃至Ｎ−１のいずれか）を符号化する際に参照する参照領域を、集合Ａ0乃至ＡMの中の、タイルＴ_iを要素に有する集合に共通するタイルで構成される領域とする
ことを特徴とする画像符号化装置。
動画像の符号化を行う画像符号化装置であって、
符号化対象のフレームに対し、当該フレームより小さくかつ互いに異なるサイズの複数の画面サイズを設定する設定手段と、
設定された各画面サイズに従って前記フレームをタイル状に分割する分割手段と、
該分割手段で分割したタイル毎に、符号化を行う際の予測画素ブロックの探索する参照領域を決定する決定手段と、
所定の符号化対象ブロックを符号化する際に、前記決定手段により決定された、前記所定の符号化対象ブロックを含む所定のタイルに対応する参照領域から予測画素ブロックを探索し、前記所定の符号化対象ブロックと探索された前記予測画素ブロックとの差分に基づいて、前記符号化対象ブロックを予測符号化する符号化手段と、
前記分割手段によって分割されたタイル毎に独立して復号を可能なように、前記符号化手段により符号化された符号化データを処理する処理手段とを有し、
前記設定手段は、前記複数の画面サイズの中央を、前記符号化対象のフレームの中央の位置と一致させ、
前記分割手段は、各画面サイズの辺で示される座標位置を前記フレームを分割する位置として決定し、
前記決定手段は、
着目タイルと当該着目タイルに対して点対象に位置するタイルとが対角位置に有する矩形領域を、前記着目タイルを符号化する際に参照する参照領域として決定する
ことを特徴とする画像符号化装置。
動画像の符号化を行う画像符号化装置の制御方法であって、
設定手段が、符号化対象のフレームに対し、当該フレームより小さくかつ互いに異なるサイズの複数の画面サイズを設定する設定工程と、
分割手段が、設定された各画面サイズに従って前記フレームをタイル状に分割する分割工程と、
決定手段が、該分割工程で分割したタイル毎に、符号化を行う際の予測画素ブロックの探索する参照領域を、前記設定工程で設定した画面サイズに基づいて決定する決定工程と、
符号化手段が、着目タイル内の着目画素ブロックに対し、前記決定工程で前記着目タイルに対して決定した参照領域から予測画素ブロックを探索し、前記着目画素ブロックを予測符号化する符号化工程と、
処理手段が、前記分割工程によって分割されたタイル毎に独立して復号を可能なように前記符号化工程により符号化された符号化データを処理する処理工程とを有し、
前記設定工程では、前記複数の画面サイズの中央を、前記符号化対象のフレームの中央の位置と一致させ、
前記分割工程では、各画面サイズの辺で示される座標位置を前記フレームを分割する位置として決定し、
前記決定工程では、
前記分割工程で分割したタイルの総数をＮとし、各タイルをＴ ₀ 乃至Ｔ _N-1 で表し、
前記フレームを構成するタイルの集合をＡ0＝｛Ｔ ₁ ,Ｔ ₂ , …, Ｔ _N-1 ｝と表し、
前記設定工程で設定した画面サイズの個数をＭとした場合の、各画面サイズに含まれるタイルの集合をＡ1乃至ＡMと表したとき、
タイルＴ _i （ｉは０乃至Ｎ−１のいずれか）を符号化する際に参照する参照領域を、集合Ａ0乃至ＡMの中の、タイルＴ _i を要素に有する集合に共通するタイルで構成される領域とする
ことを特徴とする画像符号化装置の制御方法。
動画像の符号化を行う画像符号化装置の制御方法であって、
設定手段が、符号化対象のフレームに対し、当該フレームより小さくかつ互いに異なるサイズの複数の画面サイズを設定する設定工程と、
分割手段が、設定された各画面サイズに従って前記フレームをタイル状に分割する分割工程と、
決定手段が、該分割工程で分割したタイル毎に、符号化を行う際の予測画素ブロックの探索する参照領域を、前記設定工程で設定した画面サイズに基づいて決定する決定工程と、
符号化手段が、着目タイル内の着目画素ブロックに対し、前記決定工程で前記着目タイルに対して決定した参照領域から予測画素ブロックを探索し、前記着目画素ブロックを予測符号化する符号化工程と、
処理手段が、前記分割工程によって分割されたタイル毎に独立して復号を可能なように前記符号化工程により符号化された符号化データを処理する処理工程とを有し、
前記設定工程では、前記複数の画面サイズの中央を、前記符号化対象のフレームの中央の位置と一致させ、
前記分割工程では、各画面サイズの辺で示される座標位置を前記フレームを分割する位置として決定し、
前記決定工程では、
着目タイルと当該着目タイルに対して点対象に位置するタイルとが対角位置に有する矩形領域を、前記着目タイルを符号化する際に参照する参照領域として決定する
ことを特徴とする画像符号化装置の制御方法。
コンピュータに読み込ませ、実行させることで、前記コンピュータに請求項３又は４に記載の方法の各工程を実行させるためのプログラム。
請求項５に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。