JP4600574B2 - 動画像復号装置、動画像復号方法、及びプログラム - Google Patents

Description

本発明は、動画像データの復号装置に関し、特に対応範囲に制約がある動画像データ、或いは、一部の動作に不具合が存在する動画像データを復号する動画像復号装置に関する。

動画像データ（動画像信号）を低ビットレート、高圧縮率かつ高画質で符号化して符号化データを生成したり、符号化された動画像データを復号化したりする技術として、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が標準化したＨ．２６１、Ｈ．２６３や、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のＶＣ-１などが国際標準規格として広く用いられている。さらに、近年ＩＴＵとＩＳＯ が共同で規格化を行なったＨ．２６４がある（非特許文献１参照）。このＨ．２６４は従来の動画像符号化技術に比べ、さらなる圧縮効率向上、画質向上を実現できることが知られている。

また、近年は映像の大画面化、高精細化への要求が高まっており、放送や光ディスクによる映像コンテンツ販売、映像配信などで利用される映像は、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）と呼ばれる従来よりも高い解像度（１９２０×１０８０画素、１２８０×７２０画素など）のものが主流になりつつある。
Ｈ．２６４方式などで符号化された動画像の復号処理には複雑な演算が必要であるため、高精細映像の復号処理には非常に高い演算能力が要求される。このため、復号処理を汎用のプロセッサ上で動作するソフトウェアで処理するのではなく、復号処理に特化して設計された専用半導体チップや、ＩＰコア（Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｅ）と呼ばれる回路ブロックで処理する場合がある。このような場合でも、復号化ＩＰコアへの動画像ビットストリームの供給や、復号結果を格納した画像バッファの管理など外部との入出力が発生する処理などは専用設計するのは得策ではなく、これらの処理は汎用プロセッサで処理し、復号処理そのものは復号化ＩＰコアで処理する、というように機能分担して協調動作することがよく行なわれる。

例えば、ＰＣ（パーソナルコンピュータ）で用いられるＤＸＶＡ（ＤｉｒｅｃｔＸ Ｖｉｄｅｏ Ａｃｃｅｌｅｒａｔｉｏｎ）規格（非特許文献２参照）では、例えばＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）のような入力データからＨ．２６４のＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を抜き出し、ピクチャ（以下、フレームとも表記）単位に分割し、その内容を解析して、決められた形式に従った中間データを作成するまでは汎用プロセッサ（以下、ＣＰＵと略記する）で行い、生成された中間データを復号して復号画像を生成する処理は通常ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に内蔵されている復号化アクセラレータで処理する、というように機能分担して復号処理を実行する。

図１１は、復号処理を行う動画像復号装置１０００の機能ブロック構成図である。ハードディスク等の記憶装置（図示せず）に格納されたビットストリーム１００１は、符号化された動画像ビットストリームであり、解析部１００２に供給される。解析部１００２は、ビットストリーム１００１を解析し、決められた形式の中間データ１００３を出力する。中間データ１００３は復号部１００４に供給される。復号部１００４は、入力される中間データ１００３と、画像メモリ１００５に格納された過去の復号画像を用いて画像の復号処理を行い、結果を画像メモリ１００５に格納する。画像メモリ１００５は、複数枚の画像を記憶し、復号部１００４から出力される復号画像を記憶し、後続の復号処理のために復号画像を供給するとともに、出力部１００６に画像を供給する。出力部１００６は、入力される画像の画面表示等の出力処理を行う。制御部１００７は、画像メモリ１００５のうち、どの領域を復号部１００４での復号処理のために供給し、どの領域に復号結果を格納し、どの領域の画像を出力部１００６に供給するか、といった制御を行う。また、制御部１００７は、解析部１００２、復号部１００４、出力部１００６の動作を制御し、上記のような復号処理を行わせる。

ここで、ＣＰＵとＧＰＵでの機能分担には種々の場合が考えられる。図１２及び図１３は、図１１に示す動画像復号装置１０００におけるＣＰＵとＧＰＵとの機能分担の例を示す図である。例えば、図１２に示す動画像復号装置では、復号部１００４のみがＧＰＵにあり、その他はすべてＣＰＵおよびＣＰＵに接続された記憶装置で分担する。また、図１３に示す動画像復号装置では、復号部１００４、画像メモリ１００５、出力部１００６がＧＰＵおよびＧＰＵに接続された記憶装置で、それ以外をＣＰＵおよびＣＰＵに接続された記憶装置で分担する場合などが考えられる。

中間データ１００３の形式は、複数のモードが規定される。例えば、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、Ｓｌｉｃｅ Ｈｅａｄｅｒの情報は、ＣＰＵで解析した結果をＧＰＵに供給し、Ｓｌｉｃｅ Ｄａｔａの情報はＣＰＵでは解析せずにビットストリームをそのままＧＰＵに供給するように動作する。

図１４は、中間データ１００３の構成の一例を示す図である。中間データ１００３には、ヘッダ解析情報２００２、画像バッファ情報２００３、ビットストリーム２００４が含まれる。ヘッダ解析情報２００２として、ＳＰＳ、ＰＰＳ，Ｓｌｉｃｅ Ｈｅａｄｅｒのビットストリームを解析部１００２で解析した結果の情報が記憶される。ここには、例えば画像の幅、高さ情報、復号処理に利用する参照ピクチャ枚数を示すｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ、ピクチャ出力順を示すＦｉｅｌｄＯｒｄｅｒＣｎｔ、ピクチャ復号時の量子化パラメータの初期値を示すｐｉｃ＿ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６等の情報が含まれる。
画像バッファ情報２００３には、復号処理に利用するＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）の状態の情報が格納される。ＤＰＢへのピクチャ追加、ＤＰＢからのピクチャ消去、ＤＰＢ内での参照状態変更などのＤＰＢ操作はＳＰＳ、ＰＰＳの解析情報に従ってビットストリームを解析部１００２で処理し、あるピクチャをデコードする時点でのＤＰＢの状態を画像バッファ情報２００３に格納する。ここには、例えば、各参照フレームのＦｉｅｌｄ Ｏｒｄｅｒ Ｃｎｔ、Ｆｒａｍｅ Ｎｕｍ、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャかどうかを示すフラグ等が含まれる。また、図１１に示す動画像複合装置１０００の構成では、画像データの実体は画像メモリ１００５に格納されているため、ＤＰＢ内の各ピクチャが画像メモリ１００５内のどの領域の画像データであるかの対応を占めすインデックス情報（画像メモリへのインデックス）も格納される。ビットストリーム２００４には、ビットストリームを解析部１００２で解析し、Ｓｌｉｃｅ Ｄａｔａ部のビットストリームを抜き出したものが格納される。

ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４「Ａｄｖａｎｃｅd ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、２００５年３月 「ＤｉｒｅｃｔＸ Ｖｉｄｅｏ Ａｃｃｅｌｅｒａｔｉｏｎ Ｓｐｅｃｉｆｉｃａｔｉｏｎ ｆｏｒ Ｈ．２６４／ＡＶＣ Ｄｅｃｏｄｉｎｇ」、２００７年１２月

図１１に示す動画像復号装置１０００の構成を用いる場合、復号部１００４は、復号装置全体の外部入出力とは独立した仕様で動作可能であり、この部分だけを再利用可能なＩＰコアとして設計し、種々の用途に利用することが行われる。
一方、Ｈ．２６４方式のような動画像符号化技術は多数の符号化技術（符号化ツールと呼ばれる）の集合であるため、全体としては非常に複雑な規格となっており、すべての符号化ツールに対応するとともに、エラー混入等も含めビットストリームに異常がある場合の動作も保証するなど、どのような環境でも問題なく動作する復号部１００４を開発するのは容易ではない。このため、想定する用途をあらかじめ限定することで復号部１００４の仕様を制限し、開発を容易にすることがある。例えば、エラー混入を考えなくてよい用途を想定し、異常のあるビットストリームへの対応を簡素化する、などが考えられる。

また、Ｈ．２６４方式のような動画像符号化技術は複雑であるため、復号部の開発にあたってすべての符号の復号動作を完全に検証するのは困難で、例えば、極めて稀にしか発生しない符号の復号処理が正しく行えない、等の不具合が残る場合がある。
上記のような、対応範囲に制約があったり、不具合があったりする復号ＩＰコアを利用して、例えば図１１に示すような動画像復号装置１０００を構成した場合、入力ビットストリームの条件等によっては復号部１００４が誤動作する可能性がある。この誤動作には、例えば復号画像の一部に乱れが発生するといった比較的軽微なものから、本来許容されていない領域の記憶装置への書き込みや、動作の停止など、復号化装置全体の動作の安定性を損なう可能性があるものまで考えられる。

本来なら、上記のような対応範囲の制約や不具合は復号ＩＰコアを適切に修正して完全な動作にするのが本質的な解決である。しかし、復号ＩＰコアの修正は設計、検証コストの大幅な増加を招く場合がある。また、他者が設計した復号ＩＰコアを利用する場合など、設計情報を直接修正することが非常に困難である場合もある。このような場合には、対応範囲に制約があったり、不具合が残っていたりする復号ＩＰコアを利用せざるを得ない。
本発明は、対応範囲に制約がある、或いは、一部の動作に不具合が存在する動画像に対しても、所望の動画像復号処理を安定して実行可能な動画像復号装置を提供することを目的とする。

前述した目的を達成するために本発明は、入力されたビットストリームを解析し、第１の中間データと、フレームを識別する識別情報を含む解析情報とを出力する解析部と、前記解析部から入力した解析情報中に、直前のフレームの識別情報との差分が１より大きい参照フレームの識別情報が含まれる場合に、当該参照フレームの識別情報を当該参照フレームの直前のフレームの識別情報との差分が１になるように変換した第２の中間データを出力する変換部と、前記解析部及び前記変換部から出力される第１及び第２の中間データを復号する復号部と、を備えることを特徴とする。

解析情報には、動き補償に利用する画像への参照情報やフレームを識別する識別情報や異常を検出したビットストリームなどが含まれ、それぞれに対応した変換規則に従って、変換部による変換処理が行われ、中間データとして出力される。したがって、復号部が解析情報に出力された情報に対応していない場合であっても、安定して復号処理を行うことが可能となる。
即ち、入力されたビットストリームから復号部に入力する中間データを生成する際に、入力ビットストリームの解析情報を変換部に入力し、その解析情報を基に復号部の対応に問題がある可能性のある情報をより一般的な情報に変換したうえで中間データを生成するため、安定した復号処理を行うことが可能である。
また、その変換において、逆量子化、逆直交変換、動き補償、画面内予測といった画像信号そのものに対する処理は伴わないため、上記の効果を少ない演算量で得られる。

本発明によれば、対応範囲に制約がある動画像データ、或いは、一部の動作に不具合が存在する動画像データに対しても、安定した所望の動画像復号処理を、演算量を抑えて実行することが可能となる。

動画像復号装置１のブロック構成図である。 ＤＰＢ情報および画像メモリへのインデックス情報の一例を示す図である。 インデックスに無効値を含む場合の動き補償処理を説明するため図である。 変換規則３４に基づいた変換処理の一例を示す図である。 変換規則３４に基づいた変換処理の別の一例を示す図である。 ヘッダ解析情報２００２の一部を示す図である。 第２の実施の形態での変換部３３による変換処理の一例を示す図である。 動画像ビットストリームにエラーが混入した場合の影響の一例を示す図である。 第３の実施の形態での変換部３３による変換処理の一例を説明するための図である。 第３の実施の形態での変換部３３による変換処理の別の一例を説明するための図である。 動画像復号装置１０００の機能ブロック構成図である。 動画像復号装置１０００におけるＣＰＵとＧＰＵとの機能分担の例を示す図である。 動画像復号装置１０００におけるＣＰＵとＧＰＵとの機能分担の例を示す図である。 中間データ１００３として記憶される情報を示す図である。

以下に、添付図面を参照しながら、本発明に係る動画像復号装置の好適な実施形態について詳細に説明する。なお、説明および添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。

図１は、本発明の第１の実施の形態である動画像復号装置１のブロック構成図である。
動画像復号装置１は、解析部３２、変換部３３、変換規則３４、中間データ３５、復号部３６、画像メモリ３７、出力部３８、制御部３９を有し、ビットストリーム３１の入力を受け付ける。動画像復号装置１は、図１２に示す動画像復号装置と同様、復号部３６がＧＰＵにあり、その他はすべてＣＰＵおよびＣＰＵに接続された記憶装置で分担する場合例に説明する。

図１に示す復号部３６、画像メモリ３７、出力部３８の機能、動作は、それぞれ、図１１に示す復号部１００４、画像メモリ１００５、出力部１００６と同様である。ビットストリーム３１は、図１１に示すビットストリーム１００１と同じ符号化された動画像ビットストリームである。また、中間データ３５は、図１１に示す中間データ１００３と同様に、ヘッダ解析情報２００２、画像バッファ情報２００３、ビットストリーム２００４を含む。
動画像復号装置１において、解析部３２、制御部３９の動作が、図１１に示す解析部１００２、制御部１００７の動作とは異なり、また、変換部３３、変換規則３４を備える点が動画像復号装置１０００と異なる。

解析部３２は、入力されるビットストリーム３１を解析し、一部の解析結果は従来と同じ中間データの形式にして中間データ３５に出力するが、それ以外の解析結果は変換部３３に供給される。変換部３３は、供給されるビットストリーム３１の解析結果に対し、記憶装置に格納された変換規則３４に従って所定の変換処理を実行し、中間データの形式にして中間データ３５に出力する。制御部３９は、解析部３２、復号部３６、出力部３８から取得した情報に基づいて解析部３２、変換部３３の動作を制御するとともに、前述のように、画像メモリ３７のうち、どの領域を復号部３６での復号処理のために供給し、どの領域に復号結果を格納し、どの領域の画像を出力部３８に供給するか、といった制御を行う。

次に、動画像復号装置１の動作について具体例を挙げてより詳細に説明する。ここでは、Ｈ．２６４方式で圧縮された動画像ビットストリームを復号する場合で、中間データ３５が図１４に示す中間データ１００３と同じデータ形式である例について説明する。本発明の第１の実施の形態では、解析部３２で解析した情報のうち、図１４でヘッダ解析情報２００２およびビットストリーム２００４に該当する情報は、従来と同様にそのまま中間データ３５に出力され、図１４の画像バッファ情報２００３に該当する情報は変換部３３に供給される。

画像バッファ情報２００３には、図１４に示すように復号処理で利用するＤＰＢ関連の情報が含まれている。
図２は、ＤＰＢ情報および画像メモリへのインデックス情報の一例を示す図である。Ｈ．２６４方式では通常１６フレーム分のエントリーがあるが、図２では６フレーム分のエントリー（エントリーＮｏ．が「０」〜「５」とする）がある場合の例を示している。各エントリーには、ＤＰＢ中の各フレームに対応したＦｒａｍｅＮｕｍ、ＦｉｅｌｄＯｒｄｅｒＣｎｔ、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャかどうかを示すフラグ（ＬｏｎｇＴｅｒｍＦｌａｇ）が記録されており、また、画像メモリ３７中で各フレームに対応する画像メモリへのインデックス（参照情報）が関連付けられて記録されている。また、ＤＰＢ情報のエントリーのうち、未使用のエントリーについては、図２に示す例のように、ＦｒａｍｅＮｕｍ等には無効値（図２では「――」で表記）を格納するとともに、画像メモリへのインデックスにも該当エントリーが無効であることを示す値が格納される。なお、ここでは説明のために代表的な情報のみについて説明しているが、ＤＰＢ情報のエントリーにはさらに種々の関連情報を格納しても良い。

図１に示す復号部３６は、復号処理のうちの動き補償処理において、中間データ３５の画像バッファ情報２００３を参照し、動画像ビットストリーム中に記録された参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）に従って参照ピクチャを選択し、画像メモリ３７中の該当する画像領域の画像を参照して動き補償を行なう。図３は、インデックスに無効値を含む場合の動き補償処理を説明するため図である。図３でｒｅｆ＿ｉｄｘ＝１の場合、画像バッファ情報２００３のエントリーＮｏ．「１」を参照し、画像メモリへのインデックス「２」を得る。そこで、画像メモリ３７中のインデックス「２」に該当する画像を参照し動き補償を行なう。

しかし、図３でｒｅｆ＿ｉｄｘ＝５の場合は、画像バッファ情報２００３のエントリーＮｏ．「５」を参照すると画像メモリへのインデックスとして無効値が返される。インデックスが無効値の画像は画像メモリ３７中には存在しない場合があるため、この場合は動き補償処理を実行できない。正常なビットストリーム３１であれば、このように無効な画像を参照する動き補償処理を行なうことは無いが、ビットストリーム３１にエラーが混入した場合などにはこのようなｒｅｆ＿ｉｄｘが発生する場合がある。この場合、復号部３６がエラー環境下での利用も考慮して設計されていれば、無効な画像を参照する動き補償処理は実行せずにエラー処理が行なわれる。しかし、エラー無しの動作環境を前提に設計されていた場合、無効な画像を参照する動き補償処理であっても特別処理をせず、そのまま実行してしまう場合がある。このような場合、無効値の値と、画像メモリ３７の状態に依存して、画像が乱れる、不正なメモリアクセスが発生する、等の不具合が発生する。特に、不正なメモリアクセスが発生する場合は、動画像復号装置全体の動作停止や再起動など深刻な悪影響を及ぼす可能性がある。

そこで、動画像復号装置１では、画像バッファ情報２００３に該当する情報を変換部３３に供給し、変換部３３は、変換規則３４に基づいて変換処理を行なったうえで中間データ３５に出力する。図４は、変換規則３４に基づいた変換処理の一例を示す図である。図４に示す例では、画像バッファ情報２００３の各エントリーのうち、画像メモリへのインデックスが無効値となっているエントリーに関しては、他のエントリーのうちインデックスが無効値では無い、即ち、有効なエントリーのインデックスで上書きするように変換する。

なお、図４には記載していないが、変換部３３は、該当するエントリーに含まれるＦｒａｍｅＮｕｍ、ＦｉｅｌｄＯｒｄｅｒＣｎｔ、Ｌｏｎｇ Ｔｅｒｍ参照ピクチャかどうかを示すフラグ（ＬｏｎｇＴｅｒｍＦｌａｇ）などの他の情報も同様に上書きする。画像メモリ３７へのインデックスが無効でないエントリーが複数存在する場合は、変換部３３は、例えば、そのうちの先頭のエントリーのもので上書きする。あるいは、画像メモリ３７へのインデックスが最も小さいもので上書きするなど他の選択方法も考えられる。画像メモリ３７へのインデックスが無効でないエントリーが一つも無かった場合は、画像メモリ３７中の画像のうち適当なもののインデックス（例えば先頭のインデックス＝０）で上書きし、ＦｒａｍｅＮｕｍ等は決められた値（例えば全て「０」）で上書きする。このような変換部３３による変換処理の規則は変換規則３４として記憶装置に記憶される。

また、図４に示す変換処理が有効であるかどうかは復号部３６の機能や動作に依るため、制御部３９は、例えば、復号部３６から仕様や対応機能の情報やデバイス名、バージョン情報などを取得し、解析部３２および変換部３３に上記の変換処理を行なわせるか否かを切り替えるように制御してもよい。後述の他の実施例等でも同様である。

このように、本発明の第１の実施の形態によると、変換部３３が、画像メモリ３７へのインデックスが無効値であったエントリーを、有効なインデックスのいずれかで上書きして復号部３６に入力するため、復号部３６が十分なエラー処理を行なわない場合であっても不正なメモリアクセスの発生を回避することができ、動画像復号装置１の安定動作を実現できる。

図５は、変換規則３４に基づいた変換処理の別の一例を示す図である。図５に示す例では、あらかじめ画像メモリ３７中に１フレームの画像領域を確保し、インデックスを割り当てておく（図５の例ではインデックス＝１６）。この画像領域には、例えばグレー画像（輝度成分、色差成分とも画素値が１２８の画像）を格納しておく。そして、変換部３３では、画像バッファ情報２００３の各エントリーのうち、画像メモリ３７へのインデックスが無効値となっているエントリーに関しては、画像メモリへのインデックスを上記のグレー画像へのインデックス（図５の例ではインデックス＝１６）に上書きするように変換し、ＦｒａｍｅＮｕｍ等は予め決められた値（例えば全て「０」）で上書きする。ここでの、インデックスやＦｒａｍｅＮｕｍ等の値も、変換規則３４として記憶装置に記憶される。

図５に示す変換処理によれば、変換部３３は、画像メモリ３７へのインデックスが無効値であったエントリーを、グレー画像等の既定画像を参照するインデックスで上書きして、復号部３６に入力するため、復号部３６が十分なエラー処理を行なわない場合であっても不正なメモリアクセスの発生を回避して動画像復号装置１の安定動作を実現できるとともに、画像の乱れの大きさも一定値以内に抑えられる。

次に、本発明の第２の実施の形態を説明する。本発明の第２の実施の形態に係る動画像復号装置の構成は、第１の実施形態である動画像復号装置１（図１）と同じである。ただし、第１の実施の形態では解析部３２で解析した情報のうち、図１４に示すヘッダ解析情報２００２およびビットストリーム２００４に該当する情報が同様にそのまま中間データ３５に出力され、図１４に示す画像バッファ情報２００３に該当する情報が変換部３３に供給されたのに対し、本発明の第２の実施の形態では、ビットストリーム２００４に該当する情報がそのまま中間データ３５に出力され、ヘッダ解析情報２００２および画像バッファ情報２００３に該当する情報が変換部３３に供給される。

変換部３３によるヘッダ解析情報２００２の変換処理について説明する。図６は、ヘッダ解析情報２００２の一部を示す図である。図６に示すように、ヘッダ解析情報２００２には、例えば参照フレームの識別等に用いられるｆｒａｍｅ＿ｎｕｍが含まれる。ｆｒａｍｅ＿ｎｕｍは、通常、シーケンスの先頭では「０」で、参照フレーム毎に１ずつ増加するように付加される。しかし、Ｈ．２６４の規格上は増加分が１より大きくなることも認められており、図６に示すような例もありうる。

図６では、フレーム０、１、２まではｆｒａｍｅ＿ｎｕｍは「１」ずつ増加している。即ち、参照フレームとその参照フレームの直前フレームとのｆｒａｍｅ＿ｎｕｍの差分は「１」である。しかし、フレーム３では、直前のフレーム２に比較してｆｒａｍｅ＿ｎｕｍが「４」増えており、ｆｒａｍｅ＿ｎｕｍの差分が「１」より大きくなっている。Ｈ．２６４では、ｆｒａｍｅ＿ｎｕｍ増分（差分）が「１」より大きい場合には、ＤＰＢ等に対する例外処理が必要であり、復号部３６が対応している必要がある。しかし、ｆｒａｍｅ＿ｎｕｍ増分が１より大きくなるビットストリームはごく稀にしか存在しないため、復号部３６の設計によっては、仕様上このようなビットストリームに対応していない、或いは、動作検証が不十分である、などの理由により正常に復号できず、復号画像が乱れるなどの問題が発生する場合がある。

図７は、本発明の第２の実施の形態での変換部３３による変換処理の一例を示す図である。変換部３３は、ヘッダ解析情報２００２の入力を受け付け、直前フレームとのｆｒａｍｅ＿ｎｕｍ差分を調べ、差分が「１」より大きい場合には、差分が「１」になるようにｆｒａｍｅ＿ｎｕｍの値を変換して中間データ３５に出力する。

また、図７に示すｆｒａｍｅ＿ｎｕｍの値は、図２に示すＤＰＢ情報のＦｒａｍｅＮｕｍの値と対応しているため、変換部３３が前記のようにｆｒａｍｅ＿ｎｕｍの値を変換した場合には、ＤＰＢ情報の該当するＦｒａｍｅＮｕｍの値も連動して変換する。さらに、ｆｒａｍｅ＿ｎｕｍの増分が「１」より大きい場合のＤＰＢに対する例外処理については、復号部３６は変換前のｆｒａｍｅ＿ｎｕｍの値を用いて例外処理を実行し、ＤＰＢ内容の整合を確保する。このようにＤＰＢ処理を行ない、ｆｒａｍｅ＿ｎｕｍ変換に対応してＦｒａｍｅＮｕｍを変換した画像バッファ情報２００３を中間データ３５に出力する。

このように、本発明の第２の実施の形態によれば、ｆｒａｍｅ＿ｎｕｍの差分が「１」より大きいような発生頻度が低いビットストリーム３１が入力された場合でも、ｆｒａｍｅ＿ｎｕｍの差分が「１」である、即ち、発生頻度が高く、より一般的に見られる中間データ３５に変換されて復号部３６に入力されるため、復号部３６が上記のような差分「１」より大きいｆｒａｍｅ＿ｎｕｍの復号処理に十分対応できていない場合であっても、復号画像の乱れなどの問題が発生するのを回避できる。

次に、本発明の第３の実施の形態を説明する。本発明の第３の実施の形態である動画像復号装置の構成は、第１の実施の形態である図１に示す動画像復号装置１と同じである。ただし、動画像復号装置１では、解析部３２で解析した情報のうち、図１４に示すヘッダ解析情報２００２およびビットストリーム２００４に該当する情報は中間データ３５に出力し、図１４に示す画像バッファ情報２００３に該当する情報は変換部３３に供給していたのに対し、本発明の第３の実施の形態では、ヘッダ解析情報２００２および画像バッファ情報２００３に該当する情報は中間データ３５に出力し、ビットストリーム２００４に該当する情報を変換部３３に供給する。

動画像復号装置１には、必ず正常なビットストリーム３１が入力されるとは限らず、伝送路や記憶媒体などのどこかでエラーが混入したビットストリーム３１が入力される場合がある。図８は、動画像ビットストリームにエラーが混入した場合の影響の一例を示す図である。Ｈ．２６４等では、図８（ａ）に示すように、画像をマクロブロック（ＭＢ）と呼ばれる１６×１６画素のブロックに分割し、ＭＢ単位で画面の左上から右下に向かってラスタースキャン順に符号化処理が行なわれる。この際、符号化されたビットストリーム３１の一部にエラーが混入した場合、エラーの影響でビットストリーム３１の解析処理に不整合が発生し、図８（ｂ）に示すように、エラー混入箇所周辺だけでなく、エラー混入箇所以降のラスタースキャン順のすべてのＭＢの画像（図８（ｂ）に示すグレー塗りつぶし領域）が乱れる場合が多い。

また、エラーが混入したビットストリーム３１の復号結果は自然画像とは懸け離れた大きく乱れた画像になる場合が多く、復号画像の印象が非常に悪くなる。さらに、復号部３６が、エラーの混入したビットストリーム３１の復号処理に十分に対応していない場合は、復号動作の停止や異常終了など致命的な問題が発生する可能性もある。

図９は、本発明の第３の実施の形態での変換処理の一例を説明するための図である。変換部３３は、解析部３２で解析されたビットストリーム２００４の入力を受け付けて解析処理を行なう。この解析処理には、動画像復号処理のうち可変長符号復号処理（Ｈ．２６４の場合はＣＡＶＬＣ符号復号およびＣＡＢＡＣ符号復号処理）を含まれるが、逆量子化、逆直交変換、動き補償、画面内予測等の画像信号そのものに対する処理は含まれない。

変換部３３は、可変長符号の復号処理に加え、復号結果に不整合（定義されていない符号が存在する、存在しない参照ピクチャを参照している、禁止されている符号化モードが存在する、など）を随時調査し、ビットエラー混入を検出する。図９に示すように、変換部３３は、ビットエラー混入を検出した場合、エラー検出位置から当該スライス終端までのビットストリームを、代替ＭＢのビットストリームで置き換える変換を行う。

ここで、代替ＭＢは、動き予測、直交変換、量子化などの画像信号そのものに対する処理を必要としないものを用いる。例えば、（Ａ）動きベクトル零で動き補償を行なう有意係数無しのインターＭＢ、（Ｂ）エラー検出位置より前の近傍ＭＢと同じ動きベクトルで動き補償を行なう有意係数無しのインターＭＢ、（Ｃ）ＤＣ画面内予測を行なう有意係数無しイントラＭＢ、などが考えられ、例えばＰピクチャ（Predictive-coded picture）またはＢピクチャ（Bidirectionally predictive-coded picture）では（Ａ）を、Ｉピクチャ（Intra-coded picture）では（Ｃ）を使う、などが考えられる。図９に示す例のように、通常はエラー混入が検出できるエラー検出位置はエラー混入位置から少し先であるため、エラーが混入したＭＢがある程度は残る可能性があるが、その影響は変換前よりは軽減される。変換部３３は、図９に示す例のような変換処理を施したビットストリームを中間データ３５に出力する。

本発明の第３の実施の形態によると、ビットストリームへのエラー混入を検査し、エラー混入を検出すると、それ以降のビットストリームを代替ＭＢのビットストリームに置き換える変換を行なうことで、不自然な画像の乱れを軽減できるとともに、復号部３６が異常動作等する可能性を軽減でき安定した動画像復号装置を実現できる。また、変換部３３では動き予測、動き補償、直交変換／逆直交変換、量子化／逆量子化などの画像信号そのものに対する処理は行なわないため、少ない演算量で上記の効果を実現できる。

次に、第３の実施の形態の変形例について説明する。図１０は、変換部３３による変換処理の別の一例を示す図である。変換部３３は、ビットストリーム解析、エラー混入の検出を行なうまでは前述の例と同じであるが、図１０に示す例では、エラー混入を検出した際に、当該スライスを全て代替ＭＢに置き換える。

このように、変換部３３がビットストリームへのエラー混入を検査し、エラー混入を検出した場合に該当スライスのビットストリームを全て代替ＭＢのビットストリームに置き換える変換を行なうことで、不自然な画像の乱れを軽減できるとともに、完全に正常なビットストリームに変換することで復号部３６が異常動作等する可能性を無くして安定した動画像復号装置を実現できる。また、変換部３３での変換をスライス単位で一括して処理することで、より少ない演算量で上記の効果を実現できる。

以上説明した本発明の実施の形態では、Ｈ．２６４に則した適用について述べたが、本発明はこの適用に限定されるものではない。また、変換処理の具体的な内容に関しては限られた例についてのみ説明したが、本発明は、例示した変換内容に限定されるものではなく、例示した以外の種々の変換にも適用可能である。例えば、ヘッダ解析情報２００２の変換に関してはｆｒａｍｅ＿ｎｕｍの例のみを説明したが、それ以外にもＦｉｅｌｄＯｒｄｅｒＣｎｔやｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｔｙｐｅなど他の種々の値についても同様の構成で変換が可能である。また、中間データ３５をヘッダ解析情報２００２、画像バッファ情報２００３、ビットストリーム２００４に分類してそれぞれに関する変換処理を例に挙げて説明したが、当然これらを組み合わせて利用することも可能である。
また、中間データ３５の形式についても例示して説明したものに限定されるものではない。

また、以上に説明した実施の形態では、復号部３６をＧＰＵ、解析部３２等をＣＰＵで実現する例（図１２参照）について説明したが、実現の形態はこれに限定されるものではない。例えば、復号部３６を専用ＩＰコア、解析部３２等をそれに接続した制御プロセッサで実現し、全体を１つのＬＳＩチップに内蔵するような形態も考えられる。
また、以上説明した動画像復号装置１による復号処理（復号方法）を実現するプログラムを作成し、コンピュータがそのプログラムを読み込んで実現することも可能である。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されてもよいし、ネットワークを介して流通させることも可能である。

以上、添付図面を参照しながら、本発明に係る動画像復号装置（復号方法）の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

このように、本発明によれば、対応範囲に制約がある動画像データ、或いは、一部の動作に不具合が存在する動画像データに対しても、安定して動画像復号処理を行うことができ、動画復号装置における演算量を抑えつつ、精度のよい動画像を供給することが可能である。

１………動画像復号装置
３１………ビットストリーム
３２………解析部
３３………変換部
３４………変換規則
３５………中間データ
３６………複合部
３７………画像メモリ
３８………出力部
３９………制御部
２００２………ヘッダ解析情報
２００３………画像バッファ情報
２００４………ビットストリーム

Claims (6)

1. ビットストリームを解析し、第１の中間データと、フレームを識別する識別情報を含む解析情報とを出力する解析部と、
   前記解析部から入力した解析情報中に、直前のフレームの識別情報との差分が１より大きい参照フレームの識別情報が含まれる場合に、当該参照フレームの識別情報を当該参照フレームの直前のフレームの識別情報との差分が１になるように変換した第２の中間データを出力する変換部と、
   前記解析部及び前記変換部から出力される第１及び第２の中間データを復号する復号部と
   を備えることを特徴とする動画像復号装置。
2. 前記変換部による変換には、逆量子化、逆直交変換、動き補償、画面内予測といった画像信号に対する変換処理は含まれないことを特徴とする請求項１記載の動画像復号装置。
3. 前記解析情報は、動き補償に利用する画像への参照情報を含み、
   前記変換部は、前記参照情報が、無効である画像への参照情報である場合に、当該参照情報を、有効な画像への参照情報に変換することを特徴とする請求項１記載の動画像復号装置。
4. 前記解析情報は、異常を検出したビットストリームを含み、
   前記変換部は、前記異常を検出したフレームにおいて、少なくとも異常検出位置以降のビットストリームを予め決められた代替ビットストリームに変換することを特徴とする請求項１記載の動画像復号装置。
5. ビットストリームを解析し、第１の中間データと、フレームを識別する識別情報を含む解析情報とを出力する解析ステップと、
   前記解析部から入力した解析情報中に、直前のフレームの識別情報との差分が１より大きい参照フレームの識別情報が含まれる場合に、当該参照フレームの識別情報を当該参照フレームの直前のフレームの識別情報との差分が１になるように変換した第２の中間データを出力する変換ステップと、
   前記解析ステップ及び前記変換ステップによって出力される第１及び第２の中間データを復号する復号部と
   を備えることを特徴とする動画像復号方法。
6. コンピュータを、
   ビットストリームを解析し、第１の中間データと、フレームを識別する識別情報を含む解析情報とを出力する解析部と、
   前記解析部から入力した解析情報中に、直前のフレームの識別情報との差分が１より大きい参照フレームの識別情報が含まれる場合に、当該参照フレームの識別情報を当該参照フレームの直前のフレームの識別情報との差分が１になるように変換した第２の中間データを出力する変換部と、
   前記解析部及び前記変換部から出力される第１及び第２の中間データを復号する復号部と
   して動作させるプログラム。

Images