JP4660408B2 - 符号化方法 - Google Patents

Description

本発明は、画像を符号化する符号化方法、特に動画像を階層的に符号化する符号化方法に関する。

ブロードバンドネットワークが急速に発展しており、高品質な動画像を利用したサービスに期待が集まっている。また、ＤＶＤなど大容量の記録媒体が利用されており、高画質の画像を楽しむユーザ層が広がっている。動画像を通信回線で伝送したり、記録媒体に蓄積するために不可欠な技術として圧縮符号化がある。動画像圧縮符号化技術の国際標準として、ＭＰＥＧ４の規格やＨ．２６４／ＡＶＣ規格がある。また、１つのストリームで、符号量に応じて、異なる画質（たとえば高画質と低画質）、異なる解像度（たとえば高解像度と低解像度）、異なるフレームレート（たとえば高フレームレートと低フレームレート）の画像の圧縮および伸長を実現することのできる、Ｈ．２６４／ＡＶＣの拡張として規格化が進められているＳＶＣ（Scalable Video Coding）のような次世代画像圧縮技術がある。

次世代画像圧縮技術であるＳＶＣでは、動画像を複数の異なる解像度、フレームレート、画質で再生することができるように、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティなどの各種スケーラビリティをもたせて動画像を符号化する。これらのスケーラビリティを任意に組み合わせて符号化することも可能であり、ＳＶＣのスケーラビリティ機能は柔軟性に富んでいる。

特許文献１には、画像を階層的にサブバンド分解して画像を圧縮符号化するための装置および方法が開示されている。
特表平８−５０６２２６号公報

ＳＶＣでは、動画像を階層的に符号化できるが、基本レイヤの上に拡張レイヤを１つずつ積み重ねて符号化するため、復号の時も、基本レイヤを最初に復号し、一つずつ階層を上にたどりながら拡張レイヤを復号することになる。これは、階層が上がるにつれて、低画質から高画質、低解像度から高解像度、あるいは低フレームレートから高フレームレートなど順に再生品質が高まるように階層的に符号化することなどを想定したものである。現段階で検討されているＳＶＣの階層符号化では、階層を飛び越えることなどは許されないため、自由度が制限されており、柔軟性に欠けるところがある。

本発明はこうした状況に鑑みてなされたもので、その目的は、より柔軟で自由度のある階層符号化が可能な符号化技術を提供することにある。

上記課題を解決するために、本発明のある態様の符号化方法は、動画像の階層的符号化のためにルートを起点としてノードを連結したツリー構造を設定し、前記ツリー構造をルートからたどるパス毎に前記動画像を複数のレイヤに分けて階層的に符号化し、前記パス上のノードに対応づけて各レイヤの符号化データを格納した前記動画像の符号化ストリームを生成する。

この態様によると、単一の動画ストリームにおいて、ツリー構造のパス単位で階層符号化データを格納することができる。また、単一の動画ストリームにおいて、ツリー構造のパスを指定することで、指定されたパスに応じた階層符号化データを用いて動画像を再生することができる。

前記ツリー構造に関する情報を前記動画像の符号化ストリームに含めてもよい。前記動画像の各レイヤの符号化単位毎に前記ツリー構造のいずれのノードの符号化データであるかを識別するための識別情報を設けて前記動画像の符号化ストリームに含めてもよい。

ここで、動画像の各レイヤの符号化単位は、ピクチャもしくはピクチャ内をさらに分割したスライスであってもよい。ここでピクチャは符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などを含む。

前記ツリー構造のパス毎に空間解像度、フレームレートおよびＳＮ比のいずれかのスケーラビリティをもたせて前記動画像を階層的に符号化したデータを格納してもよい。

本発明の別の態様の符号化方法は、動画像を階層的に符号化する際、同一の階層レベルに前記動画像の１つ以上の異なる種類の符号化データを格納し、各階層レベルに格納される前記符号化データの種類を識別するための識別情報を前記動画像の符号化ストリームに含める。これによれば、下位階層から上位階層に進みながら、各階層においていずれかの種類の符号化データを選択することでパスが形成され、そのパス上の符号化データを用いて動画像を階層的に復号することができる。各パス上には、いろいろな種類のスケーラビリティをもたせて動画像を階層的に符号化したデータを格納してもよい。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動画像の階層符号化の自由度を高め、いろいろな種類の階層符号化が可能となる。

図１は、実施の形態に係る符号化装置２００の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

本実施の形態の符号化装置２００は、次世代画像圧縮技術であるＳＶＣ（Scalable Video Coding）に準拠して、動画像に空間（spatial）スケーラビリティ、時間（temporal）スケーラビリティ、ＳＮＲ（signal to noise ratio）スケーラビリティなどをもたせて符号化する「スケーラブル符号化」を行う。

ＳＶＣでは、スケーラビリティを階層符号化により実現しており、空間解像度、フレームレートおよびＳＮ比などの動画像の再生品質の異なる画像データをレイヤに分けて符号化し、再生品質レベルがそれぞれ異なる複数のレイヤからなる符号化ストリームを生成する。このようにしてスケーラブル階層符号化された動画像は、任意の再生品質レベルを選択して復号することができるというスケーラビリティをもつ。たとえば下位層の符号化データだけを復号すると、低い再生品質レベルで動画像が再生され、上位層の符号化データを含めて復号すると、高い再生品質レベルで動画像が再生される。

図１では、基本レイヤ、第１拡張レイヤ、第２拡張レイヤの３つのレイヤを符号化する場合を例に挙げて構成と動作を説明するが、拡張レイヤの個数は任意である。

符号化装置２００は、基本レイヤ、第１拡張レイヤ、第２拡張レイヤの符号化データをそれぞれ生成する基本レイヤ符号化部１００、第１拡張レイヤ符号化部１１０、第２拡張レイヤ符号化部１２０をもち、入力画像の必要なデータが基本レイヤ符号化部１００、第１拡張レイヤ符号化部１１０、第２拡張レイヤ符号化部１２０にそれぞれ入力される。

基本レイヤ符号化部１００、第１拡張レイヤ符号化部１１０および第２拡張レイヤ符号化部１２０は、各レイヤにおいて入力された動画像のフレームを符号化する。ただし、拡張レイヤについては、下位レイヤとの差分が符号化される。

本実施の形態では、動画像の階層符号化にあたって、ルートを起点としてノードを連結したツリー（木）構造を設定し、ツリー構造をルートからたどるパス毎に動画像を複数のレイヤに分けて階層的に符号化し、パス上のノードに対応づけて各レイヤの符号化データを格納することができる。

レイヤ構造設定部１３０は、動画像のレイヤ構造を設定する。レイヤ構造はツリー構造で規定され、レイヤの数と種類、ツリー構造におけるレイヤ間のつながりなどが設定される。レイヤ構造設定部１３０は、設定したレイヤ構造の情報をスケーラビリティ制御部１４０に与える。

スケーラビリティ制御部１４０は、レイヤ構造設定部１３０により設定されたツリー構造にもとづいて基本レイヤ符号化部１００、第１拡張レイヤ符号化部１１０および第２拡張レイヤ符号化部１２０を制御する。

たとえば、基本レイヤをルートとして、第１拡張レイヤと第２拡張レイヤが基本レイヤの上位に位置するツリー構造の場合、第１拡張レイヤでは基本レイヤとの差分が符号化され、第２拡張レイヤでも基本レイヤとの差分が符号化される。このために、スケーラビリティ制御部１４０は、基本レイヤ符号化部１００により符号化された基本レイヤの符号化データもしくはその中間データが第１拡張レイヤ符号化部１１０および第２拡張レイヤ符号化部１２０に入力されるように制御し、第１拡張レイヤ符号化部１１０および第２拡張レイヤ符号化部１２０がそれぞれ基本レイヤの符号化データもしくは中間データとの差分のみを符号化するように制御する。

基本レイヤ符号化部１００、第１拡張レイヤ符号化部１１０、第２拡張レイヤ符号化部１２０は、それぞれ基本レイヤ、第１拡張レイヤ、第２拡張レイヤの符号化データを出力し、ストリーム結合部１６０に与える。

スケーラビリティ制御部１４０は、ツリー構造の情報とツリー構造におけるノードとレイヤの対応関係の情報をヘッダ生成部１５０に与える。ヘッダ生成部１５０は、ツリー構造を特定するための情報とレイヤ数、レイヤ種別などのレイヤ情報を含むヘッダ情報を生成し、ヘッダ情報をストリーム結合部１６０に与える。

ストリーム結合部１６０は、基本レイヤ、第１拡張レイヤ、第２拡張レイヤのデータを結合してストリームデータを生成し、ストリームのヘッダ部にヘッダ生成部１５０により生成されたヘッダ情報を格納し、動画像の符号化ストリームを生成し、出力する。

基本レイヤ符号化部１００、第１拡張レイヤ符号化部１１０および第２拡張レイヤ符号化部１２０の構成と動作は基本的には同じであるから、ここでは基本レイヤ符号化部１００の構成と動作を代表して説明する。なお、第１拡張レイヤ符号化部１１０および第２拡張レイヤ符号化部１２０では、スケーラビリティの方式によってさまざまな符号化方法を採用することが可能であり、それに伴って適宜、構成に変更を加えてもよい。

本実施の形態の基本レイヤ符号化部１００は、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。

ＭＰＥＧシリーズの規格では、フレーム内符号化を行うフレームをＩ（Intra）フレーム、過去のフレームを参照フレームとして順方向のフレーム間予測符号化を行うフレームをＰ（Predictive）フレーム、過去と未来のフレームを参照フレームとして双方向のフレーム間予測符号化を行うフレームをＢフレームという。

一方、Ｈ．２６４／ＡＶＣでは、参照フレームとして利用できるフレームは、時間の先後を問わず、過去の２枚のフレームを参照フレームとしてもよく、未来の２枚のフレームを参照フレームとしてもよい。また、参照フレームとして利用できるフレームの枚数も問わず、３枚以上のフレームを参照フレームとして用いることもできる。したがって、ＭＰＥＧ−１／２／４では、Ｂフレームは双方向予測（Bi-directional prediction）フレームのことを指していたが、Ｈ．２６４／ＡＶＣでは、Ｂフレームは、参照フレームの時間の先後は問わないため、双予測（Bi-predictive prediction）フレームのことを指すことに留意する。

なお、実施の形態では、符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。

基本レイヤ符号化部１００は、フレーム単位で動画像の入力を受け取り、動画像を符号化し、符号化ストリームを出力する。

ブロック生成部１０は、入力された動画像のフレームをマクロブロックに分割する。フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部１０は生成したマクロブロックを差分器１２と動き補償予測部６０に供給する。

差分器１２は、ブロック生成部１０から供給されるフレームがＩフレームであれば、そのままＤＣＴ部２０に出力するが、ＰフレームまたはＢフレームであれば、動き補償予測部６０から供給される予測フレームとの差分を計算してＤＣＴ部２０に供給する。

動き補償予測部６０は、フレームバッファ８０に格納されている過去または未来のフレームを参照フレームとして利用し、ブロック生成部１０から入力されたＰフレームまたはＢフレームのマクロブロック毎に動き補償を行い、動きベクトルと予測フレームを生成する。動き補償予測部６０は、生成した動きベクトルを可変長符号化部９０に供給し、予測フレームを差分器１２と加算器１４に供給する。

差分器１２は、ブロック生成部１０から出力される現在の符号化対象フレームと、動き補償予測部６０から出力される予測フレームとの差分を求め、ＤＣＴ部２０に出力する。ＤＣＴ部２０は、差分器１２から与えられた差分フレームを離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を量子化部３０に与える。

量子化部３０は、ＤＣＴ係数を量子化し、可変長符号化部９０に与える。可変長符号化部９０は、動き補償予測部６０から与えられた動きベクトルとともに差分フレームの量子化されたＤＣＴ係数を可変長符号化し、符号化ストリームを生成する。可変長符号化部９０は、符号化ストリームを生成する際、符号化されたフレームを時間順序に並べ替える処理を行う。

量子化部３０は、フレームの量子化されたＤＣＴ係数を逆量子化部４０に供給する。逆量子化部４０は、与えられた量子化データを逆量子化し、逆ＤＣＴ部５０に与え、逆ＤＣＴ部５０は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化されたフレームが復元される。復元されたフレームは加算器１４に入力される。

加算器１４は、逆ＤＣＴ部５０から供給されるフレームがＩフレームであれば、そのままフレームバッファ８０に格納する。加算器１４は、逆ＤＣＴ部５０から供給されるフレームがＰフレームまたはＢフレームであれば、それは差分フレームであるため、逆ＤＣＴ部５０から供給された差分フレームと動き補償予測部６０から供給される予測フレームとを加算することにより、元のフレームを再構築し、フレームバッファ８０に格納する。

フレームバッファ８０に格納された再構築フレームは、動き補償予測部６０による動き補償の参照フレームとして利用される。

ＰフレームもしくはＢフレームの符号化処理の場合は、上述のように動き補償予測部６０が動作するが、Ｉフレームの符号化処理の場合は、動き補償予測部６０は動作せず、ここでは図示しないが、フレーム内予測が行われる。

動き補償予測部６０は、ブロック生成部１０から与えられた符号化対象フレームのマクロブロック（「対象マクロブロック」という）に対して、フレームバッファ８０に格納された再構築フレームを参照フレームとして、参照フレーム内をマクロブロック単位で探索し、対象マクロブロックとの差分が最も小さいマクロブロックを参照マクロブロックとして選択する。これにより、対象マクロブロックから参照マクロブロックへの動きを示す動きベクトルが定まる。

図２（ａ）〜（ｂ）は、レイヤ構造設定部１３０により設定される動画像のレイヤ構造を説明する図である。

本実施の形態では、ツリー構造で動画像の階層構造が設定されるが、比較のため、図２（ａ）にツリー構造でない動画像の階層構造を示す。通常、動画像の階層構造は、同図のようにレイヤ１、レイヤ２、レイヤ３の順にレイヤの符号化データが積み重ねられる。レイヤ１は基本レイヤ、レイヤ２とレイヤ３は拡張レイヤである。レイヤ２では、レイヤ１の符号化データとの差分が符号化され、レイヤ３では、レイヤ２の符号化データとの差分が符号化される。レイヤ１のみ取り出して復号するか、レイヤ１だけでなくレイヤ２も取り出して復号するか、レイヤ１からレイヤ３までを取り出して復号するかのいずれかである。途中の階層を飛ばして、レイヤ１とレイヤ３を取り出しても復号することはできない。

それに対して、本実施の形態では、図２（ｂ）のようなツリー構造をもった階層構造を設定することができる。最下位の基本レイヤであるレイヤ１のすぐ上の階層に、２つの拡張レイヤとしてレイヤ２ａとレイヤ２ｂが設けられる。このツリー階層構造には、ルートからたどるパスとして、レイヤ１−レイヤ２ａの第１パスと、レイヤ１−レイヤ２ｂの第２パスの２つのパスがある。レイヤ２ａでは、レイヤ１の符号化データとの差分が符号化され、レイヤ２ｂでは、レイヤ１の符号化データとの差分が符号化される。

このように、ツリー階層構造をもたせて符号化された動画像のストリームには、レイヤ１とレイヤ２ａを組み合わせた第１階層符号化データと、レイヤ１とレイヤ２ｂを組み合わせた第２階層符号化データの２種類の符号化データが含まれている。このツリー階層構造において、レイヤ１、レイヤ２ａの順でたどる第１パスを指定すると、第１階層符号化データによって階層的な復号が可能であり、レイヤ１、レイヤ２ｂの順でたどる第２パスを指定すると、第２階層符号化データによって階層的な復号が可能である。

図３（ａ）〜（ｃ）は、アスペクト比の異なる複数の画像を含む動画像をツリー構造をもたせて階層符号化する例を説明する図である。１つの動画像ストリーム内にアスペクト比の異なる複数の動画ストリームをもたせることで、パーソナルコンピュータのディスプレイ、携帯電話の液晶ディスプレイ、デジタルハイビジョン放送におけるテレビモニタなどのアスペクト比に合わせて動画を再生することができる。

図３（ａ）は、動画像に含まれる横長画像７１０と縦長画像７２０を示す。横長画像７１０と縦長画像７２０を別々に符号化して２つの動画ストリームを生成すると、全体の符号量が大きくなり、動画ストリームの管理や配信も複雑になる。

図３（ｂ）に示すように、横長画像７１０と縦長画像７２０には共通領域７００があるため、本実施の形態の符号化装置２００では、共通領域７００を基本レイヤで符号化し、横長画像７１０の共通領域７００以外の固有領域７１０ａ、７１０ｂを第１拡張レイヤで符号化し、縦長画像７２０の共通領域７００以外の固有領域７２０ａ、７２０ｂを第２拡張レイヤで符号化する。

図３（ｃ）は、横長画像７１０と縦長画像７２０を含む動画像のツリー階層構造を示す。レイヤ１には、共通領域７００の符号化データが格納され、レイヤ２ａには、横長画像７１０の符号化データ、レイヤ２ｂには、縦長画像７２０の符号化データが格納される。レイヤ２ａでは下位のレイヤ１との差分が符号されるため、レイヤ２ａには横長画像７１０の内、図３（ｂ）に示した左右の固有領域７１０ａ、７１０ｂの符号化データが格納される。また、レイヤ２ｃでは下位のレイヤ１との差分が符号されるため、レイヤ２ｂには縦長画像７２０の内、図３（ｂ）に示した上下の固有領域７２０ａ、７２０ｂの符号化データが格納される。

図４は、アスペクト比の異なる複数の画像を含む動画像のツリー階層構造の別の例を示す図である。ここでも、図３（ａ）で説明した横長画像７１０と縦長画像７２０を含む動画像を例に説明する。図３（ｃ）と同様に、レイヤ１には横長画像７１０と縦長画像７２０の共通領域７００の符号化データが格納され、レイヤ２ａには横長画像７１０の左右の固有領域７１０ａ、７１０ｂの符号化データが格納され、レイヤ２ｂには縦長画像７２０の上下の固有領域７２０ａ、７２０ｂの符号化データが格納される。

図４では、レイヤ２ａの上位にさらにレイヤ３ａが設けられ、横長画像７１０の高解像度の符号化データが格納され、横長画像７１０について空間スケーラビリティをもたせる。横長画像７１０を高解像度で再生するためには、共通領域７００についても高解像度の符号化データを必要とするため、レイヤ３ａには、高解像度の横長画像７１０の共通領域７００について、レイヤ１の低解像度の共通領域７００との差分データが格納され、横長画像７１０の固有領域７１０ａ、７１０ｂについて、レイヤ２ａの低解像度の固有領域７１０ａ、７１０ｂとの差分データが格納される。

図４のツリー階層構造では、レイヤ１−レイヤ２ａ−レイヤ３ａからなる第１の階層符号化データと、レイヤ１−レイヤ２ｂからなる第２の階層符号化データの２種類を利用して復号することができる。レイヤ１だけを選択して復号すると、共通領域７００だけの動画が再生される。第１の階層符号化データを指定して、レイヤ１とレイヤ２ａを用いて復号すると、低解像度の横長画像７１０が再生され、レイヤ１、レイヤ２ａおよびレイヤ３ａを用いて復号すると、高解像度の横長画像７１０が再生される。第２の階層符号化データを指定して、レイヤ１とレイヤ２ｂを用いて復号すると、低解像度の縦長画像７２０が再生される。

なお、図４では、基本レイヤに共通領域７００の画像を基本データとして格納し、拡張レイヤに横長画像７１０、縦長画像７２０の差分データをオブションデータとして格納したが、基本レイヤに低解像度の横長画像７１０を基本データとして格納し、拡張レイヤに低解像度の横長画像７１０との差分を取る形で横長画像７１０および縦長画像７２０をオプションデータとして格納してもよい。

図５は、ツリー階層構造の別の例を説明する図である。レイヤ１の１つ上にはレイヤ２ａとレイヤ２ｂが設けられ、レイヤ２ａの１つ上にはレイヤ３ａとレイヤ３ｂが設けられ、レイヤ２ｂの１つ上にはレイヤ３ｃが設けられる。さらにレイヤ３ｂとレイヤ３ｃの上には共通するレイヤ４が設けられる。

同図のツリー階層構造では、レイヤ１−レイヤ２ａ−レイヤ３ａ、レイヤ１−レイヤ２ａ−レイヤ３ｂ−レイヤ４、レイヤ１−レイヤ２ｂ−レイヤ３ｃ−レイヤ４の３つのパスを選択可能であり、それぞれのパスに沿ってレイヤを積み重ねることによりスケーラビリティをもたせて動画像を再生することができる。

ツリー構造は、連結されたノード対の集合で表すことができる。図５のツリー構造は、｛（レイヤ１，レイヤ２ａ）、（レイヤ１，レイヤ２ｂ）、（レイヤ２ａ，レイヤ３ａ）、（レイヤ２ａ，レイヤ３ｂ）、（レイヤ２ｂ，レイヤ３ｃ）、（レイヤ３ｂ，レイヤ４）、（レイヤ３ｃ，レイヤ４）｝と表される。

図６（ａ）〜（ｂ）は、フレームレートと走査方式との異なる画像を含む動画像のレイヤ構造を説明する図である。この例では、動画像は、毎秒６０フレームのインタレース走査方式の符号化データと、毎秒６０フレームのプログレッシブ走査方式の符号化データと、毎秒１２０フレームのインタレース走査方式の符号化データを含む。

図６（ａ）は、比較のため、通常の階層符号化による動画像のデータ構造を示す。レイヤ１には、６０ｆｐｓ（フレーム／秒）のインタレース走査方式の符号化データが格納され、レイヤ２には、６０ｆｐｓのプログレッシブ走査方式の符号化データが格納され、レイヤ３には、１２０ｆｐｓのインタレース走査方式の符号化データが格納される。レイヤ２では、６０ｆｐｓのプログレッシブ走査方式による画像とレイヤ１の６０ｆｐｓのインタレース走査方式の画像の差分が符号化される。レイヤ３では、１２０ｆｐｓのインタレース走査方式の画像とレイヤ２の６０ｆｐｓのプログレッシブ走査方式の画像の差分が符号化される。

図６（ｂ）は、ツリー構造をもたせて階層符号化した場合の動画像のデータ構造を示す。レイヤ１をルートとして、１つ上にレイヤ２ａとレイヤ２ｂがノードとしてルートに連結されたツリー構造が設定される。レイヤ１には、６０ｆｐｓのインタレース走査方式の符号化データが格納され、レイヤ２ａには、６０ｆｐｓのプログレッシブ走査方式の符号化データが格納され、レイヤ２ｂには、１２０ｆｐｓのインタレース走査方式の符号化データが格納される。レイヤ２ａでは、６０ｆｐｓのプログレッシブ走査方式による画像とレイヤ１の６０ｆｐｓのインタレース走査方式の画像の差分が符号化される。レイヤ２ｂでは、１２０ｆｐｓのインタレース走査方式の画像とレイヤ１の６０ｆｐｓのインタレース走査方式の画像の差分が符号化される。

図６（ｂ）のツリー階層構造においてレイヤ１−レイヤ２ａのパスを選択すると、６０ｆｐｓのインタレース走査方式の動画から６０ｆｐｓのプログレッシブ走査方式の動画へとスケーラビリティをもたせて段階的に復号することができる。また、レイヤ１−レイヤ２ｂのパスを選択すると、６０ｆｐｓのインタレース走査方式の動画から１２０ｆｐｓのインタレース走査方式の動画へとスケーラビリティをもたせて段階的に復号することができる。

図７は、動画像のツリー階層構造のさらに別の例を説明する図である。この例では、動画像は、空間解像度スケーラビリティ、フレームレートスケーラビリティ、およびＳＮＲスケーラビリティをもたせて階層符号化される。基本レイヤ（レイヤ１）には、低解像度、低フレームレート、低ＳＮ比の画像の符号化データが格納される。基本レイヤの上位には、３つのパスに分けて、２つの拡張レイヤが設けられている。

第１パスについて、レイヤ２ａには中解像度画像の差分符号化データ、レイヤ３ａには高解像画像の差分符号化データが格納されている。第２パスについて、レイヤ２ｂには中フレームレートの差分符号化データ、レイヤ３ｂには高フレームレートの差分符号化データが格納されている。第３パスについて、レイヤ２ｃには中ＳＮ比の差分符号化データ、レイヤ３ｃには高ＳＮ比の差分符号化データが格納されている。

図７のツリー階層構造において、いずれかのパスを選択することにより、空間解像度スケーラビリティ、フレームレートスケーラビリティ、およびＳＮＲスケーラビリティのいずれかを選択して、動画像を各種のスケーラビリティをもたせて段階的に復号することができる。

動画像のツリー階層構造のさらに別の例として、空間解像度スケーラビリティ、フレームレートスケーラビリティ、ＳＮＲスケーラビリティなど複数種類のスケーラビリティ構造を混ぜ合わせたデータ構造にしてもよい。

たとえば、基本レイヤ（レイヤ１）に、低解像度、低フレームレート、低ＳＮ比の画像の符号化データを格納し、基本レイヤの１つ上に２つのパスに分けてレイヤ２ａ、２ｂを設け、第１パスのレイヤ２ａには中解像度の画像（フレームレートとＳＮ比はレイヤ１と同じで低レベル）の差分符号化データを格納し、第２パスのレイヤ２ｂには中フレームレートの画像（解像度とＳＮ比はレイヤ１と同じで低レベル）の差分符号化データを格納する。

第１パスのレイヤ２ａの１つ上にレイヤ３ａを設け、そのレイヤ３ａには中解像度で中フレームレートの画像（ＳＮ比は低レベル）の差分符号化データを格納する。第１パスのレイヤ３ａの画像はすぐ下のレイヤ２ａの画像に比べてフレームレートが１段階上がっている。一方、第２パスのレイヤ２ｂの上位にはレイヤ３ｂを設け、そのレイヤ３ｂには中フレームレートで中解像度の画像（ＳＮ比は低レベル）の差分符号化データを格納する。第２パスのレイヤ３ｂの画像はすぐ下のレイヤ２ｂの画像に比べて空間解像度が１段階上がっている。第１パスのレイヤ３ａの画像も第２パスのレイヤ３ｂの画像も中解像度、中フレームレート、低ＳＮ比の画像であり、両者は結果的には同じものである。

第１パスのレイヤ３ａと第２パスのレイヤ３ｂの１つ上に両パスに共通してレイヤ４を設け、高解像度、中フレームレートの画像（ＳＮ比は低レベル）の差分符号化データを格納する。レイヤ４の画像はすぐ下のレイヤ３ａ、３ｂの画像に比べて空間解像度が１段階上がっている。

このような４階層からなるツリー階層構造において、第１パスを選択すると、レイヤ１の低解像度、低フレームレート、低ＳＮ比の画像から始まって、レイヤ２ａに進めば、空間解像度を低から中に上げた画像、レイヤ３ａに進めば、さらにフレームレートを低から中に上げた画像、レイヤ４に進めば、空間解像度を中から高に上げた画像へと段階的に再生品質を高めていくことができる。また、第２パスを選択すると、レイヤ１の低解像度、低フレームレート、低ＳＮ比の画像から始まって、レイヤ２ｂに進めば、フレームレートを低から中に上げた画像、レイヤ３ｂに進めば、さらに空間解像度を低から中に上げた画像、レイヤ４に進めば、空間解像度を中から高に上げた画像へと段階的に再生品質を高めていくことができる。この例では、パスによって、空間解像度とフレームレートのいずれかを選択的に上げていくことができる。

このように、空間解像度スケーラビリティ、フレームレートスケーラビリティ、ＳＮＲスケーラビリティなど複数種類のスケーラビリティ構造を混ぜ合わせて複数のパスで階層的に符号化することで、再生時には選択したパスに応じた各種のスケーラビリティを適用しながら再生画質を高めていくことができる。

図８（ａ）〜（ｄ）は、ツリー階層構造をもつ動画像の符号化ストリームのデータフォーマットを説明する図である。図８（ａ）に示すように、動画像の符号化ストリーム６００のヘッダ部には、シーケンスパラメータセット（ＳＰＳ）６１０とピクチャパラメータセット（ＰＰＳ）６２０が格納される。ヘッダ部につづいて、第１フレームの基本レイヤ、第１拡張レイヤ、第２拡張レイヤのスライスの符号化データ６３０が格納される。第１フレームの後には、同様に第２フレーム以降の各レイヤのスライスの符号化データが格納される。

シーケンスパラメータセットとピクチャパラメータセットにはそれぞれ一意に番号が付けられており、スライスのヘッダには、参照するピクチャパラメータセットの番号が含まれ、ピクチャパラメータセットには、参照するシーケンスパラメータセットの番号が含まれている。これにより、各スライスが属するシーケンスとそのスライスに適用されるべきピクチャパラメータが特定されるようになっている。Ｈ．２６４／ＡＶＣでは、ストリーム上のパラメータセットの配置の自由度は高いので、同図に示した以外のいろいろなフォーマットがありうる。

シーケンスパラメータセット６１０には、Ｈ．２６４／ＡＶＣで規定されるパラメータ以外に、図８（ｂ）に示すように、ツリー構造情報６１２が含まれる。ツリー構造情報６１２は、ツリー構造を特定する情報であり、ルートに位置する基本レイヤと、ルートを起点として連なるノードに位置する拡張レイヤについて、レイヤ間の連結関係が規定されている。

ピクチャパラメータセット６２０には、図８（ｃ）に示すように、ＰＰＳ番号６２２とレイヤタイプ６２４が含まれる。ＰＰＳ番号６２２は、当該ピクチャパラメータセットを一意に特定するための番号であり、スライスでピクチャパラメータセットを指定するために使われる。レイヤタイプ６２４は、ツリー構造におけるレイヤの種類を識別するフラグであり、図３（ａ）〜（ｃ）のツリー階層構造の例では、横長画像、縦長画像の区別を示す情報である。

ピクチャパラメータセット６２０は、一般にはレイヤの数だけ生成され、各レイヤのスライスは、当該レイヤで参照すべきピクチャパラメータセットを利用して符号化される。もっとも複数のレイヤで同一のピクチャパラメータセットを共有してもよい。

スライスの符号化データ６３０のヘッダ部には、図８（ｄ）に示すように、参照ＰＰＳ番号６３２が格納される。この参照ＰＰＳ番号６３２により、当該スライスに適用されるピクチャパラメータセット６２０が一意に特定される。

図９は、図３（ａ）〜（ｃ）で説明した横長画像と縦長画像を含む動画像の符号化ストリーム６００のデータフォーマットを示す。

図９（ａ）に示すように、動画像の符号化ストリーム６００のヘッダ部には、シーケンスパラメータセット（ＳＰＳ）６１０、第１、第２、第３のピクチャパラメータセット（ＰＰＳ０、ＰＰＳ１、ＰＰＳ２）６２０ａ、６２０ｂ、６２０ｃが格納され、データ部には、基本レイヤのスライス符号化データ６３０ａ、第１拡張レイヤのスライス符号化データ６３０ｂ、第２拡張レイヤのスライス符号化データ６３０ｃが格納される。

シーケンスパラメータセット６１０には、図９（ｂ）に示すように、ツリー構造情報６１２として｛（レイヤ１（共通），レイヤ２ａ（横長））、（レイヤ１（共通），レイヤ２ｂ（縦長）｝が格納される。

図９（ｃ）〜（ｅ）に示すように、第１のピクチャパラメータセット（ＰＰＳ０）６２０ａには、ＰＰＳ番号６２２ａとしてＰＰＳ＃０が格納され、レイヤタイプ６２４ａとして共通領域であることを示す情報が格納される。第２のピクチャパラメータセット（ＰＰＳ１）６２０ｂには、ＰＰＳ番号６２２ｂとしてＰＰＳ＃１が格納され、レイヤタイプ６２４ｂとして横長画像であることを示す情報が格納される。第３のピクチャパラメータセット（ＰＰＳ２）６２０ｃには、ＰＰＳ番号６２２ｃとしてＰＰＳ＃２が格納され、レイヤタイプ６２４ｃとして縦長画像であることを示す情報が格納される。

基本レイヤのスライス符号化データ６３０ａは、共通領域を符号化したものであるから、図９（ｆ）に示すように、参照ＰＰＳ番号６４２には、共通領域に対応する図９（ｃ）のピクチャパラメータセット（ＰＰＳ０）６２０ａを参照するためにＰＰＳ＃０が格納される。

第１拡張レイヤのスライス符号化データ６３０ｂは、横長画像を差分符号化したものであるから、図９（ｇ）に示すように、参照ＰＰＳ番号６５２には、横長画像に対応する図９（ｄ）のピクチャパラメータセット（ＰＰＳ１）６２０ｂを参照するためにＰＰＳ＃１が格納される。

第２拡張レイヤのスライス符号化データ６３０ｃは、縦長画像を差分符号化したものであるから、図９（ｈ）に示すように、参照ＰＰＳ番号６６２には、縦長画像に対応する図９（ｅ）のピクチャパラメータセット（ＰＰＳ２）６２０ｃを参照するためにＰＰＳ＃２が格納される。

図１０は、実施の形態に係る復号装置５００の構成図である。これらの機能ブロックもハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現することができる。

復号装置５００は、ＳＶＣに準拠して、動画像に空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティなどのスケーラビリティをもたせて復号する「スケーラブル復号」を行う。

図１０の復号装置５００は、図１の符号化装置２００に対応して、基本レイヤ、第１拡張レイヤ、第２拡張レイヤの３つのレイヤで動画像を復号する構成であるが、拡張レイヤの個数は任意である。

復号装置５００は、ツリー構造をもたせて階層符号化された動画像の符号化ストリームの入力を受け取り、符号化ストリームを復号して出力画像を生成する。

ストリーム分離部４３０は、入力された符号化ストリームから基本レイヤ、第１拡張レイヤ、第２拡張レイヤの符号化データを分離して取り出し、それぞれ基本レイヤ復号部４００、第１拡張レイヤ復号部４１０、第２拡張レイヤ復号部４２０に与える。

また、ストリーム分離部４３０は、入力された符号化ストリームのヘッダをヘッダ解析部４４０に与える。ヘッダ解析部４４０は、ヘッダ情報を解析して、ツリー構造情報をスケーラビリティ制御部４６０に与える。

レイヤ指定部４５０は、ツリー階層構造のルートからたどるパスと、パス上の複数のレイヤをどこまで復号するかを指定する情報をユーザから受け取る。ユーザは、たとえば、横長画像、縦長画像のいずれかのモードを選択するなど、モード設定により、ツリー階層構造のパスと復号すべきレイヤ数を指定してもよい。

レイヤ指定部４５０は、指定されたパスと復号すべきレイヤの情報をスケーラビリティ制御部４６０に与える。

スケーラビリティ制御部４６０は、ツリー階層構造の指定されたパスにおいて指定されたレイヤまでの符号化データを復号するように、基本レイヤ復号部４００、第１拡張レイヤ復号部４１０および第２拡張レイヤ復号部４２０を制御する。指定されたレイヤだけを復号すればよいため、スケーラビリティ制御部４６０は、不要なレイヤのストリームを読み飛ばすように全体を制御する。

基本レイヤ復号部４００、第１拡張レイヤ復号部４１０および第２拡張レイヤ復号部４２０は、各レイヤの符号化データを復号して、各レイヤの画像データを再生する。ただし、拡張レイヤについては、下位レイヤとの差分画像が復号される。

基本レイヤ復号部４００、第１拡張レイヤ復号部４１０および第２拡張レイヤ復号部４２０により復号されたデータは画像合成部４７０に入力される。画像合成部４７０は、各レイヤの画像を合成して最終的な画像を生成し、出力する。

基本レイヤ復号部４００、第１拡張レイヤ復号部４１０および第２拡張レイヤ復号部４２０の構成と動作は基本的に同じであるから、ここでは、基本レイヤ復号部４００の構成と動作を代表して説明する。なお、第１拡張レイヤ復号部４１０および第２拡張レイヤ復号部４２０では、スケーラビリティの方式によってさまざまな復号方法を採用することが可能であり、それに伴って適宜、構成に変更を加えてもよい。

可変長復号部３１０は、入力された符号化ストリームを可変長復号し、復号された画像データを逆量子化部３２０に供給し、動きベクトル情報を動き補償部３６０に供給する。

逆量子化部３２０は、可変長復号部３１０により復号された画像データを逆量子化し、逆ＤＣＴ部３３０に供給する。逆量子化部３２０により逆量子化された画像データはＤＣＴ係数である。逆ＤＣＴ部３３０は、逆量子化部３２０により逆量子化されたＤＣＴ係数を逆離散コサイン変換（ＩＤＣＴ）することにより、元の画像データを復元する。逆ＤＣＴ部３３０により復元された画像データは、加算器３１２に供給される。

加算器３１２は、逆ＤＣＴ部３３０から供給された画像データが、Ｉフレームである場合、そのＩフレームの画像データをそのまま出力するとともに、ＰフレームやＢフレームの予測フレームを生成するための参照フレームとして、フレームバッファ３８０に格納する。

加算器３１２は、逆ＤＣＴ部３３０から供給された画像データが、Ｐフレームである場合、その画像データは差分フレームであるから、逆ＤＣＴ部３３０から供給された差分フレームと動き補償部３６０から供給される予測フレームを加算することにより、元の画像データを復元し、出力する。

動き補償部３６０は、可変長復号部３１０から供給される動きベクトル情報と、フレームバッファ３８０に格納された参照フレームを用いて、ＰフレームまたはＢフレームの予測フレームを生成し、加算器３１２に供給する。

動き補償部３６０は、可変長復号部３１０から復号対象フレームの動きベクトルを取得し、復号対象フレームの対象マクロブロックに対して、動きベクトルが参照する参照マクロブロックを特定し、参照マクロブロックの画素データを用いて、動き補償された予測フレームを生成し、加算器３１２に与える。

以上述べたように、本実施の形態によれば、動画像をスケーラビリティをもたせて階層的に符号化する際、ルートを起点としてノードを連結したツリー構造を設定し、そのツリー構造をルートからたどるパス毎に動画像を複数のレイヤに分けて階層的に符号化することができる。

ツリー構造を設定することにより、ツリー構造のパス毎に各レイヤの符号化データを階層的に格納された単一の符号化ストリームを生成することができ、符号量を削減することができる。また、単一の符号化ストリーム内に複数の種類の階層符号化データが格納されているため、動画ストリームの管理や配信が簡単になり、またユーザにとっても利便性が高まる。

復号の際、符号化ストリームからツリー構造の情報を取得し、ツリー構造においてパスを指定することで、指定したパスの各レイヤに格納された符号化データを用いて動画像を階層的に復号することができる。

たとえば、横長画像と縦長画像という２種類の画像をツリー構造の２つのパスに分けて階層的に符号化し、単一の符号化ストリームを生成することができる。横長画像と縦長画像のストリームを別々に生成するよりも、符号量、利便性などの面で有利である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

なお、実施の形態では、ＤＣＴをベースにしたＭＰＥＧシリーズ、Ｈ．２６ｘシリーズ、Ｈ．２６４／ＡＶＣの規格を例に説明したが、本発明は、これらの規格に限らず、他の動画像の圧縮規格にも適用可能である。たとえば、本発明は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００にも適用可能である。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００に適用する場合は、ヘッダ部分にツリー構造情報を含むデータ構造をとる。

実施の形態に係る符号化装置の構成図である。 図１のレイヤ構造設定部により設定される動画像のレイヤ構造を説明する図である。 アスペクト比の異なる複数の画像を含む動画像をツリー構造をもたせて階層符号化する例を説明する図である。 アスペクト比の異なる複数の画像を含む動画像のツリー階層構造の別の例を示す図である。 動画像のツリー階層構造の別の例を説明する図である。 フレームレートと走査方式との異なる画像を含む動画像のレイヤ構造を説明する図である。 動画像のツリー階層構造のさらに別の例を説明する図である。 ツリー階層構造をもつ動画像の符号化ストリームのデータフォーマットを説明する図である。 横長画像と縦長画像を含む動画像の符号化ストリームのデータフォーマットを示す図である。 実施の形態に係る復号装置の構成図である。

符号の説明

１０ ブロック生成部、 ２０ ＤＣＴ部、 ３０ 量子化部、 ４０ 逆量子化部、 ５０ 逆ＤＣＴ部、 ６０ 動き補償予測部、 ８０ フレームバッファ、 ９０ 可変長符号化部、 １００ 基本レイヤ符号化部、 １１０ 第１拡張レイヤ符号化部、 １２０ 第２拡張レイヤ符号化部、 １３０ レイヤ構造設定部、 １４０ スケーラビリティ制御部、 １５０ ヘッダ生成部、 １６０ ストリーム結合部、 ２００ 符号化装置、 ３１０ 可変長復号部、 ３２０ 逆量子化部、 ３３０ 逆ＤＣＴ部、 ３６０ 動き補償部、 ３８０ フレームバッファ、 ４００ 基本レイヤ復号部、 ４１０ 第１拡張レイヤ復号部、 ４２０ 第２拡張レイヤ復号部、 ４３０ ストリーム分離部、 ４４０ ヘッダ解析部、 ４５０ レイヤ指定部、 ４６０ スケーラビリティ制御部、 ４７０ 画像合成部、 ５００ 復号装置。

Claims (3)

1. 動画像の階層的符号化のためにルートを起点としてノードを連結したツリー構造を設定し、前記ツリー構造をルートからたどるパス毎に前記動画像を複数のレイヤに分けて階層的に符号化し、前記パス上のノードに対応づけて各レイヤの符号化データを格納した前記動画像の符号化ストリームを生成し、
   前記ツリー構造に関する情報を前記動画像の符号化ストリームに含めることを特徴とする符号化方法。
2. 前記動画像の各レイヤの符号化単位毎に前記ツリー構造のいずれのノードの符号化データであるかを識別するための識別情報を設けて前記動画像の符号化ストリームに含めることを特徴とする請求項１に記載の符号化方法。
3. 前記ツリー構造のパス毎に空間解像度、フレームレートおよびＳＮ比のいずれかのスケーラビリティをもたせて前記動画像を階層的に符号化したデータを格納することを特徴とする請求項１または２に記載の符号化方法。

Images