JP6046843B2 - 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法 - Google Patents

Description

本発明は、動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法に関するものである。

従来の動画像圧縮技術では、ビットストリームはネットワーク・アブストラクション・レイヤー（ＮＡＬ）ユニットにカプセル化される。ＮＡＬユニットは自己完結したパケットを提供し、ビデオ・レイヤーに異なるネットワーク環境における同一性を与える。ＮＡＬユニットのヘッダにはシステム・レイヤーで必要となる情報が含まれている。ＮＡＬユニットのヘッダはパケットネットワークにおけるパケットヘッダの一部となり、メディア・アウェア・ネットワーク・エレメンツ（ＭＡＮＥｓ）によって動作するようになるように設計されている。

従来技術のＮＡＬユニットヘッダは以下のシンタックス・エレメンツを含んでいる。ｎａｌ＿ｒｅｆ＿ｆｌａｇは、そのＮＡＬユニットが他のＮＡＬユニットの復号処理において参照に用いられるか否かを指示する。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＮＡＬユニットによって伝達される内容の型を指示する。ＮＡＬユニットはパラメータ・セット、符号化スライス、サプリメンタル・エンハンスメント・インフォメーション（ＳＥＩ）メッセージなどの情報を含む。ｔｅｍｐｏｒａｌ＿ｉｄはＮＡＬユニットの時間識別子を指示する。

従来技術は非特許文献１に記載されている。

Benjamin Bross et. al.,"Highefficiency video coding (HEVC) text specification draft 7", JointCollaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IECJTC1/SC29/WG11, 9th Meeting: Geneva, CH, 27th April - 7th May 2012

ＭＡＮＥｓがパケットの冒頭で最小限のバイト数を調べるように設計されているように、ＮＡＬユニットヘッダは限られた資源である。従来技術においては、ＮＡＬユニットヘッダは２バイトに過ぎない。それゆえ、ＮＡＬユニットヘッダの全てのシンタックスエレメントは重要であり、可能な限り数多くの、かつ、他のシンタックスエレメントとは相関のない情報を伝達するべきである。

大部分のＮＡＬユニットタイプの場合、ｎａｌ＿ｒｅｆ＿ｆｌａｇは固定値に設定される必要があるため、ｎａｌ＿ｒｅｆ＿ｆｌａｇは必要とされない。非特許文献１に記載の仕様において、ｎａｌ＿ｒｅｆ＿ｆｌａｇが０または１の値をとりうるＮＡＬユニットタイプは３種類のみである。仕様で定義されているその他のＮＡＬユニットタイプではｎａｌ＿ｒｅｆ＿ｆｌａｇの値は固定されている。これを表１に示す。

表１は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値（NAL unit type range列）とｎａｌ＿ｒｅｆ＿ｆｌａｇが取りうる値（Possible nal_ref_flag列）との対応を示す表である。ここで、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が１、２、あるいは３であるＮＡＬユニットタイプは、ｎａｌ＿ｒｅｆ＿ｆｌａｇの値として０あるいは１をとりうる。残りのＮＡＬユニットタイプはリザーブされている、あるいは仕様化されていない。

このようにｎａｌ＿ｒｅｆ＿ｆｌａｇの値が、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に応じて一意に決定される場合においても、従来手法ではｎａｌ＿ｒｅｆ＿ｆｌａｇ及びｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのそれぞれにビットを割り当てており、非効率な設計となっている。

上述の課題を解決するための解決策はＮＡＬユニットヘッダでｎａｌ＿ｒｅｆ＿ｆｌａｇを明示的に送らずに、ＮＡＬユニットタイプから暗示することである。ＮＡＬユニットの内容が、参照ピクチャあるいは非参照ピクチャになりうる３通りのＮＡＬユニットタイプについて、ｎａｌ＿ｒｅｆ＿ｆｌａｇが１であることを暗示する３通りのＮＡＬユニットタイプを追加する。元の３通りのＮＡＬユニットタイプについては、ｎａｌ＿ｒｅｆ＿ｆｌａｇが０であることを暗示している。

上述の課題を解決するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数のピクチャを入力する入力手段と、ピクチャを符号化し、圧縮画像データを生成し、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化する符号化手段と、を具備し、ＮＡＬユニットヘッダ情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、符号化手段は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する。

本発明に係る動画像予測復号装置は、動画像を構成する複数のピクチャが符号化され、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化された、圧縮画像データを入力する入力手段と、ＮＡＬユニットヘッダ情報及び圧縮画像データを復元する復号手段と、を具備し、ＮＡＬユニットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、復号手段は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに基づいて、圧縮画像データを復号する。

本発明に係る動画像予測復号装置における復号手段は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、圧縮画像データを復号することとしてもよい。

本発明に係る動画像予測符号化方法は、動画像を構成する複数のピクチャを入力する入力ステップと、ピクチャを符号化し、圧縮画像データを生成し、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化する符号化ステップと、を具備し、ＮＡＬユニットヘッダ情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、符号化ステップは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する。

本発明に係る動画像予測復号方法は、動画像を構成する複数のピクチャが符号化され、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化された、圧縮画像データを入力する入力ステップと、ＮＡＬユニットヘッダ情報及び圧縮画像データを復元する復号ステップと、を具備し、ＮＡＬユニットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、復号ステップは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに基づいて、圧縮画像データを復号する。

本発明に係る動画像予測復号方法における復号ステップは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、圧縮画像データを復号することとしてもよい。

本発明の効果は、ｎａｌ＿ｒｅｆ＿ｆｌａｇに使われているビットを節約し、他の指示情報として利用可能にすることである。これはＮＡＬユニットヘッダのより効率的な利用である。もうひとつの利用法は、ＮＡＬユニットタイプを６ビットから７ビットに拡張できることである。現時点では利用可能な６４通りのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値の半分には既存のＮＡＬユニットタイプが割り当てられており、３２通りのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値についてはリザーブされ、将来新しいＮＡＬユニットタイプを規定する際に利用可能である。これらリザーブされたＮＡＬユニットタイプの値のうち３つを使い、かつＮＡＬユニットタイプのビット数を７ビットに拡張することで、将来的に９３通り（１２８−３２−３＝９３）の更なるＮＡＬユニットを規定することができる。

本発明の実施形態に係る動画像予測符号化装置を示すブロック図である。 本発明の実施形態に係る動画像予測復号装置を示すブロック図である。 本発明の実施形態に係る動画像予測符号化方法の処理の流れを示すフローチャートである。 本発明の実施形態に係る動画像予測符号化方法の処理のうち一部処理の詳細な流れを示すフローチャートである。 本発明の実施形態に係る動画像予測復号方法の処理の流れを示すフローチャートである。 本発明の実施形態に係る動画像予測復号方法の処理のうち一部処理の詳細な流れを示すフローチャートである。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 動画像予測符号化プログラムの構成例を示すブロック図である。 動画像予測復号プログラムの構成例を示すブロック図である。

以下、本発明の実施の形態について、図１から図１０を用いて説明する。

まず、本発明による動画像予測符号化方法について説明する。図１は本発明の実施形態による動画像予測符号化装置を示すブロック図である。１０１は入力端子、１０２はブロック分割器、１０３は予測信号生成器、１０４はフレームメモリ、１０５は減算器、１０６は変換器、１０７は量子化器、１０８は逆量子化器、１０９は逆変換器、１１０は加算器、１１１はエントロピー符号化器、１１２は出力端子、１１３は入力端子である。入力端子１０１は入力手段に対応する。減算器１０５と変換器１０６と量子化器１０７とエントロピー符号化器１１１とは符号化手段に対応する。逆量子化器１０８、逆変換器１０９と加算器１１０は復号手段に対応する。

以上のように構成された動画像予測符号化装置について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。本発明による実施形態では、８ｘ８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。次に符号化処理の対象となる領域（以下対象ブロックとよぶ）に対して、予測信号を生成する。本発明による実施形態では、２種類の予測方法が用いられる。すなわち画面間予測と画面内予測である。

画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明による実施形態では、予測信号生成器１０３にて行われ、対象ブロックはラインＬ１０２、参照画像はＬ１０４経由で入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。詳細は従来の技術であるＭＰＥＧ−２、４、Ｈ．２６４のいずれかの方法と同じである。このように決定された動き情報及び小領域の分割方法はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（リファレンス・インデックス）もラインＬ１１２経由でエントロピー符号化器１１１に送られる。予測信号生成器１０３では、小領域の分割方法及びそれぞれの小領域に対応する、参照画像と動き情報をもとにフレームメモリ１０４から参照画像信号を取得し、予測信号を生成する。このように生成された画面間予測信号はラインＬ１０３経由で減算器１０５に送られる。

画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には予測信号生成器１０３では、フレームメモリ１０４から同じ画面内にある既再生の画素信号を取得し、これらの信号を外挿することによって画面内予測信号を生成する。外挿の方法に関する情報はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。このように生成された画面内予測信号は減算器１０５に送られる。予測信号生成器１０３における画面内の予測信号生成方法は、従来の技術であるＨ．２６４の方法と同じである。上述のように求められた画面間予測信号と画面内予測信号に対し、誤差の最も小さいものが選択され、減算器１０５に送られる。

減算器１０５にて対象ブロックの信号（ラインＬ１０２経由）から予測信号（ラインＬ１０３経由）を引き算し、残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、その各係数は量子化器１０７にて量子化される。最後にエントロピー符号化器１１１にて量子化された変換係数を符号化して、予測方法に関する情報とともに出力端子１１２より送出される。

後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理し復元される。すなわち、量子化された変換係数は逆量子化器１０８にて逆量子化されたのちに逆変換器１０９にて逆離散コサイン変換され、残差信号を復元する。加算器１１０にて復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施の形態では変換器１０６と逆変換器１０９を用いているが、これらの変換器に代わるほかの変換処理を用いてもよい。場合によって、変換器１０６と逆変換器１０９がなくてもよい。

入力端子１１３より各画像の表示順番情報や画像を符号化するタイプ（画面内予測符号化、画面間予測符号化、双方向予測符号化）、ＮＡＬユニットタイプに関する情報が入力され、これらの情報に基づいて予測信号生成器１０３が動作する。またこれらの情報はラインＬ１１３を経由してエントロピー符号化器１１１に送られ、符号化した上で出力端子１１２から送出される。ＮＡＬユニットタイプを符号化するためのエントロピー符号化器１１１の動作については後述する。

次に本発明による動画像予測復号方法について説明する。図２は本発明の実施形態による画像予測復号装置のブロック図を示す。２０１は入力端子、２０２はデータ解析器、２０３は逆量子化器、２０４は逆変換器、２０５は加算器、２０６は出力端子、２０７はフレームメモリ、２０８は予測信号生成器、２０９はフレームメモリ管理器である。入力端子２０１は入力手段に対応する。データ解析器２０２と逆量子化器２０３と逆変換器２０４と加算器２０５とは復号手段に対応する。復号手段としてそれ以外のものを用いてもよい。また逆変換器２０４がなくてもよい。

以上のように構成された動画像予測復号装置について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子２０１から入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測信号の生成に関連する情報などが含まれている。予測信号の生成に関連する情報として、ＮＡＬユニットタイプに加え、画面間予測の場合はブロック分割に関する情報（ブロックのサイズ）や、動き情報と上述のリファレンス・インデックスに関する情報が含まれ、画面内予測の場合は周辺の既再生の画素から外挿方法に関する情報が含まれている。

データ解析器２０２にて、圧縮データから対象ブロックの残差信号、ＮＡＬユニットタイプを含む予測信号の生成に関連する情報、量子化パラメータ、画像の表示順番情報を抽出する。データ解析器２０２におけるＮＡＬユニットタイプ抽出のための動作については後述する。対象ブロックの残差信号は逆量子化器２０３にて量子化パラメータ（ラインＬ２０２経由）をもとに逆量子化される。その結果は逆変換器２０４にて逆離散コサイン変換される。

次にラインＬ２０６経由で、対象画像の表示順番情報、画像の符号化タイプＮＡＬユニットタイプ、およびリファレンス・インデックスなど予測信号の生成に関連する情報が予測信号生成器２０８に送られる。予測信号生成器２０８では、予測信号の生成に関連する情報をもとに、フレームメモリ２０７にアクセスし、複数の参照画像の中から参照信号を取得し（ラインＬ２０７経由）予測信号を生成する。この予測信号はラインＬ２０８経由で加算器２０５に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインＬ２０５経由で出力端子２０６から出力すると同時にフレームメモリ２０７に格納される。

フレームメモリ２０７には、後続の画像の復号・再生に用いられる再生画像が格納されている。

表２および表３は、ＮＡＬユニットヘッダの２バイトの使用形態に関する２通りのシンタックスの選択肢を示す表である。

表２および表３において、Ｄｅｓｃｒｉｐｔｏｒ列の括弧内の数字は、対応する項目が有するビット数を表す。

表２のＮＡＬユニットヘッダシンタックスでは、ｎａｌ＿ｒｅｆ＿ｆｌａｇはリザーブドビット（reserved）に置き換わっている。このビットは現在の復号装置では無視されるが、将来の復号装置のために新たな意味やセマンティクスを割り当てることができる。なお、表２におけるビットの配置は説明のために過ぎず、リザーブドビットは２バイトのヘッダ内の他の場所に配置してもよい。

表３のＮＡＬユニットヘッダシンタックスでは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに７ビットが割り当てられており、最大１２８通りの異なるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを規定することができる。なお、本実施形態においてはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに７ビットを割り当てることを選択したが、ｎａｌ＿ｒｅｆ＿ｆｌａｇで節約されたビットは、ｔｅｍｐｏｒａｌ＿ｉｄに割り当てられてもよい。

表４に本実施形態におけるＮＡＬユニットタイプを示す。

表４は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値から推定されるｎａｌ＿ｒｅｆ＿ｆｌａｇの値を示す表である。ＮＡＬユニットタイプは表４の２列目に示されるように、複数のカテゴリにグループ分けすることができる。そのカテゴリとは下記の通りである。１）ＲＡＰスライス（RAP slice）：ランダム・アクセス・ピクチャの符号化スライスを含んでいるＮＡＬユニット
２）ＴＬＡスライス（TLA slice）：テンポラル・レイヤー・アクセスの符号化スライスを含んでいるＮＡＬユニット
３）ＴＦＤスライス（TFD slice）：ディスカードのためのタグ付けがされたピクチャの符号化スライスを含んでいるＮＡＬユニット
４）その他のスライス（Other slice）：上記のいずれでもない符号化スライスを含んでいるＮＡＬユニット
５）パラメータ・セット（Parameter Set）：ビデオ、シーケンス、ピクチャの適応パラメータセットを含んでいるＮＡＬユニット
６）インフォメーション（Information）：アクセス・デリミタ、フィラーデータ、あるいはサプリメンタル・エンハンスメント・インフォメーション（ＳＥＩ）を含んでいるＮＡＬユニット

本実施形態では、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ（ピクチャタイプ）の値として９、１０、１１に対応する３通りの新しいＮＡＬユニットタイプが従来技術のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに追加される。これらのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値をもつＮＡＬユニットは、それぞれｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値として１、２、３をもつＮＡＬユニットと同じスライスタイプを含む。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ：１は非ＲＡＰ、非ＴＦＤかつ非ＴＬＡピクチャの符号化スライスを含み、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ：２はＴＦＤピクチャの符号化スライスを含み、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ：３は非ＴＦＤのＴＬＡピクチャの符号化スライスを含んでいる。
従来技術との違いは、本実施形態において、値１、２、３が非参照ピクチャに属する符号化スライスであり、値９、１０、１１が非参照ピクチャに属する符号化スライスであることである。

なおそれぞれのカテゴリに割り当てられる値は、上記に限定されない。さらには、それぞれのカテゴリをいくつかのサブカテゴリに拡張し、表４におけるリザーブされた値を用いて、新規の値をそれらのサブカテゴリに割り当ててもよい。

図３に本実施形態におけるＮＡＬユニットヘッダの符号化のための動画像予測符号化装置の動作を示す。ステップ１１０において、動画像予測符号化装置はパケット化されるビデオデータを取得する。ステップ１２０において、常に０に固定されているＮＡＬユニットの最初のビットを符号化する。ステップ１３０において、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを決定し、符号化する。ステップ１４０において、ｔｅｍｐｏｒａｌ＿ｉｄを符号化し、ステップ１５０において、リザーブされている５ビット（ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ）を符号化し、ＮＡＬユニットヘッダを完結させる。ステップ１６０において、残りのペイロード（ｐａｙｌｏａｄ）をパケット化し、処理を終了する。

図４に上述のステップ１３０におけるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの決定及び符号化における処理の詳細を示す。

ステップ２１０において、動画像予測符号化装置はパケット化されるデータがランダム・アクセス・ピクチャ（ＲＡＰ）のいずれかに属する符号化スライスであるか否かを判定し、ＲＡＰのいずれかに属する符号化スライスである場合（ＹＥＳ）はステップ２２０に進む。そうでない場合（ＮＯ）はステップ２３０に進む。

ステップ２２０において、動画像予測符号化装置はＲＡＰタイプに応じて、ｎａｌ＿ｒｅｆ＿ｆｌａｇが１であることを暗示する４から８までのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを符号化し、ステップ１４０に進む。

ステップ２３０において、動画像予測符号化装置はパケット化されるデータがパラメータ・セットであるか否かを判定し、パラメータ・セットである場合（ＹＥＳ）はステップ２４０に進む。そうでない場合（ＮＯ）はステップ２５０に進む。

ステップ２４０において、動画像予測符号化装置はパラメータ・セットに応じて、ｎａｌ＿ｒｅｆ＿ｆｌａｇが１であることを暗示する２５から２８までのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを符号化し、ステップ１４０に進む。

ステップ２５０において、動画像予測符号化装置はパケット化されるデータがインフォメーション・データであるか否かを判定し、インフォメーション・データである場合（ＹＥＳ）はステップ２６０に進む。そうでない場合（ＮＯ）はステップ２７０に進む。

ステップ２６０において、動画像予測符号化装置はインフォメーション・タイプに応じて、ｎａｌ＿ｒｅｆ＿ｆｌａｇが０であることを暗示する２９から３１までのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを符号化し、ステップ１４０に進む。

ステップ２７０において、動画像予測符号化装置はパケット化されるデータが参照ピクチャであるか否かを判定し、参照ピクチャである場合（ＹＥＳ）はステップ２８０に進む。そうでない場合（ＮＯ）はステップ２９０に進む。ここで、参照ピクチャであるか否かの判定は、予測信号生成器から出力されるピクチャ間の参照情報に基づいて行われる。

ステップ２７０における条件分岐は以下の通りでもよい。ステップ２７０においては、ビデオデータは参照ピクチャや非参照ピクチャかのいずれかでなくてはならない。ステップ２７０において、動画像予測符号化装置はピクチャが参照ピクチャであるか否かを判定し、参照ピクチャである場合（ＹＥＳ）はステップ２８０に進む。そうでない場合（ＮＯ）はステップ２９０に進む。

ステップ２８０において、動画像予測符号化装置はスライスタイプに応じて、ｎａｌ＿ｒｅｆ＿ｆｌａｇが１であることを暗示する９から１１までのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを符号化し、ステップ１４０に進む。

ステップ２９０において、動画像予測符号化装置はスライスタイプに応じて、ｎａｌ＿ｒｅｆ＿ｆｌａｇが０であることを暗示する１から３までのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを符号化し、ステップ１４０に進む。

図５に、本実施形態におけるＮＡＬユニットヘッダの復号のための動画像予測復号装置の動作を示す。ステップ３１０において、動画像予測復号装置は復号のための次のパケットを取得する。ステップ３２０において、常に０に固定されているＮＡＬユニットの最初のビット（ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ）を復号する。ステップ３３０において、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを復号し、ｎａｌ_ｒｅｆ＿ｆｌａｇの値を設定する。ステップ３４０において、ｔｅｍｐｏｒａｌ＿ｉｄを復号し、ステップ３５０において、リザーブされている５ビット（ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ）を復号し、ＮＡＬユニットヘッダを完結させる。ステップ３６０において、残りのペイロードをパケットから読み出し、処理を終了する。

図６に、上述のステップ３３０におけるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの復号及びｎａｌ_ｒｅｆ＿ｆｌａｇの値の設定における処理の詳細を示す。

ステップ４００において、動画像予測復号装置はＮＡＬユニットヘッダを復号することで、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を取得する。

ステップ４１０において、動画像予測復号装置はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が１から３までのいずれかであるか否かを判定し、１から３までのいずれかである場合（ＹＥＳ）はＮＡＬユニットが非参照ピクチャの符号化スライスのひとつを含んでおり、ステップ４２０に進む。そうでない場合（ＮＯ）はステップ４３０に進む。

ステップ４２０において、動画像予測復号装置はｎａｌ＿ｒｅｆ＿ｆｌａｇの値を０に設定し、ステップ３４０に進む。

ステップ４３０において、動画像予測復号装置はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が４から１１までのいずれかであるか否かを判定し、４から１１までのいずれかである場合（ＹＥＳ）はＮＡＬユニットがランダム・アクセス・ピクチャの符号化スライス、あるいは参照ピクチャの符号化スライスのひとつを含んでおり、ステップ４４０に進む。そうでない場合（ＮＯ）はステップ４５０に進む。

ステップ４５０において、動画像予測復号装置はｎａｌ＿ｒｅｆ＿ｆｌａｇの値を１に設定し、ステップ３４０に進む。

ステップ４５０において、動画像予測復号装置はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が２５から２８までのいずれかであるか否かを判定し、２５から２８までのいずれかである場合（ＹＥＳ）はＮＡＬユニットがパラメータ・セットを含んでおり、ステップ４６０に進む。そうでない場合（ＮＯ）はステップ４７０に進む。

ステップ４６０において、動画像予測復号装置はｎａｌ＿ｒｅｆ＿ｆｌａｇの値を１に設定し、ステップ３４０に進む。

ステップ４７０において、動画像予測復号装置はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が２９から３１までのいずれかであるか否かを判定し、２９から３１までのいずれかである場合（ＹＥＳ）はＮＡＬユニットがインフォメーション・データを含んでおり、ステップ４８０に進む。そうでない場合（ＮＯ）はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは無効な値であり、ステップ４９０に進む。

ステップ４８０において、動画像予測復号装置はｎａｌ＿ｒｅｆ＿ｆｌａｇの値を０に設定し、ステップ３４０に進む。

ステップ４９０において、動画像予測復号装置はｎａｌ＿ｒｅｆ＿ｆｌａｇの値は未定義とし、ステップ３４０に進む。

本実施形態において、上述したｎａｌ＿ｒｅｆ＿ｆｌａｇの設定は論理的な判定を通じたものであるが、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅをインデックスとしたｎａｌ＿ｒｅｆ＿ｆｌａｇの参照テーブルを用いて、ｎａｌ＿ｒｅｆ＿ｆｌａｇの値を設定してもよい。表５は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅをインデックスとしたｎａｌ＿ｒｅｆ＿ｆｌａｇの参照テーブルの一例である。

表５では、ｎａｌ＿ｒｅｆ＿ｆｌａｇの３２通りのエントリーは表４の最終列と同様の値に設定されている。

なお、上述したｎａｌ＿ｒｅｆ＿ｆｌａｇの推定あるいは設定方法は動画像予測復号装置に限定されず、ＭＡＮＥｓにも適用可能である。

本実施形態において、動画像予測復号装置はｎａｌ＿ｒｅｆ＿ｆｌａｇの設定を行わないことを選択し、復号されたピクチャが参照ピクチャであるか否かを決定する際に、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を直接使用してもよい。これは論理的な表現を用いると以下のように説明される。当該ピクチャのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１、２、または３である場合、当該ピクチャは非参照ピクチャである。そうでない場合、当該ピクチャは参照ピクチャであり、他のピクチャが参照に用いるため保存される。

本実施形態では、参照ピクチャ並びに非参照ピクチャの定義は映像全体に対して適用される。しかしながら、映像が、より高いテンポラル・レイヤのピクチャを捨てる、選択フレームドロップの処理が行われた場合には、この定義はもはや正確ではない可能性がある。

そのような状況においては、いくつかの参照ピクチャは実際には参照されないピクチャになりうる。これを回避するために、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが９、１０、１１である参照ピクチャ、並びにｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１、２、３である非参照ピクチャは以下のように定義してもよい。

参照ピクチャとは前記ピクチャと同じテンポラル・レイヤの他のいずれかのピクチャによって画面間予測のために使用されるピクチャである。

非参照ピクチャとは前記ピクチャと同じテンポラル・レイヤの他のいずれのピクチャによっても画面間予測のために使用されないピクチャである。

非特許文献１に記載の従来法においては、画面間予測はどのピクチャが画面間予測のために利用可能かを規定するリファレンス・ピクチャ・セット（ＲＰＳ）の中身によって指示される。それゆえ、上述の定義は下記のように記載してもよい。

非参照ピクチャ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１、２または３）は前記ピクチャと同じテンポラル・レイヤの他のいずれのピクチャのＲＰＳにも含まれない。

参照ピクチャ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが９、１０または１１）とは前記ピクチャと同じテンポラル・レイヤの他のいずれかのピクチャのＲＰＳに含まれる。

コンピュータを上述の動画像予測符号化装置及び動画像予測復号装置として機能させるための本発明に係る動画像予測符号化プログラム及び動画像予測復号プログラムは、プログラムとして記録媒体に格納されて提供される。記録媒体としては、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図７に示すように、コンピュータ３０は、フロッピー（登録商標）ディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像予測符号化・復号プログラムにアクセス可能になり、当該動画像予測符号化・復号プログラムによって、本発明による動画像予測符号化装置・復号装置として動作することが可能になる。

図８に示すように、動画像予測符号化プログラムもしくは動画像復号プログラは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラムもしくは動画像予測復号プログラをメモリ１６に格納し、当該動画像予測符号化プログラムもしくは動画像予測復号プログラムを実行することができる。

具体的には、図９に示す通り、動画像予測符号化プログラムＰ１００は、動画像を構成する複数の画像を入力する入力モジュールＰ１０１と、画像を、画面内予測もしくは画面間予測のいずれかのプログラムで符号化し、圧縮画像データを生成し、パケットヘッダ情報とともにパケット化する符号化モジュールＰ１０２と、を具備し、パケットヘッダ情報は、ピクチャタイプを含み、符号化モジュールＰ１０２は、ピクチャタイプを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する、ことを特徴とする動画像予測符号化プログラムである。

同様に、図１０に示す通り、動画像予測復号プログラムＰ２００は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、パケットヘッダ情報とともにパケット化された、圧縮画像データを入力する入力モジュールＰ２０１と、パケットヘッダ情報及び圧縮画像データを復元する復号モジュールＰ２０２と、を具備し、パケットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すピクチャタイプを含み、復号モジュールＰ２０２は、ピクチャタイプに基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定することを特徴とする動画像予測復号プログラムである。

復号モジュールＰ２０２は、ピクチャタイプと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定する、ことを特徴としてもよい。

上述の課題を解決するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、圧縮画像データを生成し、パケットヘッダ情報とともにパケット化する符号化手段と、を具備し、パケットヘッダ情報は、ピクチャタイプを含み、符号化手段は、ピクチャタイプを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する、ことを特徴とする。

また、本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、パケットヘッダ情報とともにパケット化された、圧縮画像データを入力する入力手段と、パケットヘッダ情報及び圧縮画像データを復元する復号手段と、を具備し、パケットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すピクチャタイプを含み、復号手段は、ピクチャタイプに基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定する、ことを特徴とする。

また、本発明に係る動画像予測復号装置における復号手段は、ピクチャタイプと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定する、ことを特徴とする。

本発明に係る動画像予測符号化方法は、動画像を構成する複数の画像を入力する入力ステップと、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、圧縮画像データを生成し、パケットヘッダ情報とともにパケット化する符号化ステップと、を具備し、パケットヘッダ情報は、ピクチャタイプを含み、符号化ステップは、ピクチャタイプを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する、ことを特徴とする。

本発明に係る動画像予測復号方法は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、パケットヘッダ情報とともにパケット化された、圧縮画像データを入力する入力ステップと、パケットヘッダ情報及び圧縮画像データを復元する復号ステップと、を具備し、パケットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すピクチャタイプを含み、復号ステップは、ピクチャタイプに基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定する、ことを特徴とする。

本発明に係る動画像予測復号方法における復号ステップは、ピクチャタイプと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定する、ことを特徴とする。

本発明に係る動画像予測符号化プログラムは、動画像を構成する複数の画像を入力する入力モジュールと、画像を、画面内予測もしくは画面間予測のいずれかのプログラムで符号化し、圧縮画像データを生成し、パケットヘッダ情報とともにパケット化する符号化モジュールと、を具備し、パケットヘッダ情報は、ピクチャタイプを含み、符号化モジュールは、ピクチャタイプを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する、ことを特徴とする。

本発明に係る動画像予測復号プログラムは、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、パケットヘッダ情報とともにパケット化された、圧縮画像データを入力する入力モジュールと、パケットヘッダ情報及び圧縮画像データを復元する復号モジュールと、を具備し、パケットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すピクチャタイプを含み、復号モジュールは、ピクチャタイプに基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定する、ことを特徴とする。

本発明に係る動画像予測復号プログラムにおける復号モジュールは、ピクチャタイプと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを決定する、ことを特徴とする。

上述の課題を解決するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数のピクチャを入力する入力手段と、ピクチャを符号化し、圧縮画像データを生成し、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化する符号化手段と、を具備し、動画像を構成する複数のピクチャは複数のテンポラル・レイヤに分類され、ＮＡＬユニットヘッダ情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、符号化手段は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを、符号化されたピクチャデータが、同じテンポラル・レイヤの他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する。

また、本発明に係る動画像予測復号装置は、動画像を構成する複数のピクチャが符号化され、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化された、圧縮画像データを入力する入力手段と、ＮＡＬユニットヘッダ情報及び圧縮画像データを復元する復号手段と、を具備し、動画像を構成する複数のピクチャは複数のテンポラル・レイヤに分類され、ＮＡＬユニットヘッダ情報は、復元されたピクチャデータが、同じテンポラル・レイヤの他のピクチャを復号する際に参照のために使われるか否かを一意に示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、復号手段は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに基づいて、圧縮画像データを復元する。

本発明に係る動画像予測符号化方法は、動画像を構成する複数のピクチャを入力する入力ステップと、ピクチャを符号化し、圧縮画像データを生成し、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化する符号化ステップと、を具備し、動画像を構成する複数のピクチャは複数のテンポラル・レイヤに分類され、ＮＡＬユニットヘッダ情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、符号化ステップは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを、符号化されたピクチャデータが、同じテンポラル・レイヤの他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する。

本発明に係る動画像予測復号方法は、動画像を構成する複数のピクチャが符号化され、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化された、圧縮画像データを入力する入力ステップと、ＮＡＬユニットヘッダ情報及び圧縮画像データを復元する復号ステップと、を具備し、動画像を構成する複数のピクチャは複数のテンポラル・レイヤに分類され、ＮＡＬユニットヘッダ情報は、復元されたピクチャデータが、同じテンポラル・レイヤの他のピクチャを復号する際に参照のために使われるか否かを一意に示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、復号ステップは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに基づいて、圧縮画像データを復元する。

本発明に係る動画像予測符号化プログラムは、動画像を構成する複数のピクチャを入力する入力モジュールと、ピクチャを符号化し、圧縮画像データを生成し、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化する符号化モジュールと、を具備し、動画像を構成する複数のピクチャは複数のテンポラル・レイヤに分類され、ＮＡＬユニットヘッダ情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、符号化モジュールは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを、符号化されたピクチャデータが、同じテンポラル・レイヤの他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する。

本発明に係る動画像予測復号プログラムは、動画像を構成する複数のピクチャが符号化され、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化された、圧縮画像データを入力する入力モジュールと、ＮＡＬユニットヘッダ情報及び圧縮画像データを復元する復号モジュールと、を具備し、動画像を構成する複数のピクチャは複数のテンポラル・レイヤに分類され、ＮＡＬユニットヘッダ情報は、復元されたピクチャデータが、同じテンポラル・レイヤの他のピクチャを復号する際に参照のために使われるか否かを一意に示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、復号モジュールは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに基づいて、圧縮画像データを復元する。

１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…入力端子、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器。

Claims (6)

1. 動画像を構成する複数のピクチャを入力する入力手段と、
   前記ピクチャを符号化し、圧縮画像データを生成し、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化する符号化手段と、を具備し、
   前記ＮＡＬユニットヘッダ情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、
   前記符号化手段は、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する、動画像予測符号化装置。
2. 動画像を構成する複数のピクチャが符号化され、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化された、圧縮画像データを入力する入力手段と、
   前記ＮＡＬユニットヘッダ情報及び圧縮画像データを復元する復号手段と、を具備し、
   前記ＮＡＬユニットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、
   前記復号手段は、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに基づいて、前記圧縮画像データを復号する、動画像予測復号装置。
3. 前記復号手段は、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、前記圧縮画像データを復号する、請求項２に記載の動画像予測復号装置。
4. 動画像を構成する複数のピクチャを入力する入力ステップと、
   前記ピクチャを符号化し、圧縮画像データを生成し、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化する符号化ステップと、を具備し、
   前記ＮＡＬユニットヘッダ情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、
   前記符号化ステップは、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを、符号化されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すように決定する、動画像予測符号化方法。
5. 動画像を構成する複数のピクチャが符号化され、ＮＡＬユニットヘッダ情報とともにＮＡＬユニットにカプセル化された、圧縮画像データを入力する入力ステップと、
   前記ＮＡＬユニットヘッダ情報及び圧縮画像データを復元する復号ステップと、を具備し、
   前記ＮＡＬユニットヘッダ情報は、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを一意に示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含み、
   前記復号ステップは、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに基づいて、前記圧縮画像データを復号する、動画像予測復号方法。
6. 前記復号ステップは、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅと、復元されたピクチャデータが、他のピクチャを復号する際に参照のために使われるか否かを示す情報とが対応付いた予め格納された対応表に基づいて、前記圧縮画像データを復号する、請求項５に記載の動画像予測復号方法。
   

Images