JP5159927B2 - 動画像復号装置及び動画像復号方法 - Google Patents

Description

本発明の実施形態は、動画像復号装置及び動画像復号方法に関する。

MPEG4-AVC/H.264（以下、H.264と略する）には、多視点映像符号化技術(Multiview Video Codec、以下MVCと略する)がサポートされている。MVCが符号化対象としている多視点映像の代表例として、3D映像や多視点による立体視映像が挙げられる。3D映像として提供される映像は、左目用、右目用に別々の角度から撮影された2つの二次元映像（または左目、右目の視差を考慮して処理された映像）である。これを再生する際に左目には左目用映像を、右目には右目用映像を投射することで、立体映像として認識することができる。

MVCの特徴は、時間方向の予測の他に視差間の予測を導入した点と、ストリームのヘッダー情報が微増したが信号処理部に変更がない点にある。従い、視差間予測での画素ブロックの変位量を示す視差ベクトルも、インター予測での画素ブロックの動きベクトルも同じ信号処理が行なわれる。

一方で、視点数に比例して増加する処理量の多さが課題となる。特に、Blu-ray 3Dのように高解像度の多視点動画像を再生する場合には深刻な問題となる。対して、動画像復号装置内の処理負荷が大きい場合に、その処理負荷のレベルに応じて、デブロッキングフィルタ処理を行わない試みがある（例えば、特許文献１参照。）。

しかしながら更に、多視点動画像復号装置において、スムーズな再生と画質劣化の抑制の両立が期待できるように、視差間予測情報を利用してデブロッキングフィルタ処理をバイパスすることへの要望がある。

特開２００７−２０８４７６号公報（段落０００９、図２）

本発明の実施の形態は、視差間予測情報を利用してデブロッキングフィルタ処理をバイパスすることができる動画像復号装置及び動画像復号方法を提供することを目的とする。

上記課題を解決するために、実施形態によれば動画像復号装置は、圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、デコードする各フレームに対してデブロッキングフィルタ処理を行うデブロッキングフィルタ手段と、装置内処理負荷の大きさを検出する負荷検出手段と、前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて前記デブロッキングフィルタ処理を行うか否かを判定する判定手段と、該判定手段の判定結果に基づき、前記負荷レベルが所定のしきい値以上と判定された場合は、前記デブロッキングフィルタ手段は前記フレームの二つの隣接し合うブロックが視差間予測の場合に前記デブロッキングフィルタ処理の省略を行う。

この発明の一実施形態のビデオデコーダと負荷検出部を示すブロック構成図。 同実施形態のH.264/MVCビデオデコーダのブロック構成図。 同実施形態の負荷量判定処理フロー（１）。 同実施形態の判定処理１の処理フロー。 実施形態に負荷量判定処理フロー（２）。 同実施形態の判定処理２の処理フロー。 同実施形態に用いられる判定処理３の処理フロー。 実施形態のH.264/MVCにおける視差間予測を説明するために示す図。 実施の形態に於ける動画像復号装置が適用される映像再生装置の内部構成を記録媒体およびネットワークストレージとともに示すブロック図。

以下、本発明の一実施形態を説明する。
（第１の実施形態）
第１の実施形態を図１乃至図４、図８及び図９を参照して説明する。
実施の形態に於ける動画像復号装置１００は、図９に示す映像再生装置１に備えられている。図９は、映像再生装置１の内部構成を記録媒体２０３およびネットワークストレージ２０４とともに示すブロック図である。図９に示すように、映像再生装置１は、光ディスク等の記録媒体２０３が用いられ、記録媒体２０３に記録されているデジタル形式の映像コンテンツデータ（映画、ドラマなどの映像コンテンツを再生するためのデータ）を読取って映像コンテンツおよびインタラクティブデータ（映像コンテンツに関連して再生されるメニューデータ、アニメーションデータ、効果音データ、映像コンテンツの解説等のコンテンツ解説データ、クイズの問題などを含むデータ）を再生することができ、また、インターネット２０２を介してネットワークストレージ２０４に接続し、ネットワークストレージ２０４からも映像コンテンツデータを取得して映像コンテンツおよびインタラクティブデータを再生可能な構成を有している。

映像再生装置１は、ハードディスクドライブ２、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）３、ディスクドライブ４およびネットワークコントローラ５を有し、いずれもバス１９に接続されている。ハードディスクドライブ２は、高速回転する磁気ディスクに映像コンテンツデータ等のデジタルデータを記録して、デジタルデータの読み書きを行う。フラッシュメモリ３には、映像コンテンツデータ等のデジタルデータが記憶されてデジタルデータの読み書きが行われる。ディスクドライブ４は記録媒体２０３から映像コンテンツデータ等のデジタルデータを読み取り、再生信号を出力する機能を有している。ネットワークコントローラ５は、インターネット２０２を介してネットワークストレージ２０４との間で行われる映像コンテンツデータ等のデジタルデータの読み書きを制御する。

また、映像再生装置１は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ部７、ＲＯＭ８およびビデオメモリ部９を有し、いずれもバス１９に接続されている。ＭＰＵ６は、ＲＯＭ８からメモリ部７に読み出された起動プログラムにしたがい起動され、また、プレイヤプログラムをＲＯＭ８からメモリ部７に読み出し、そのプレイヤプログラムにしたがってシステム初期化、システム終了などを制御し、システムマイコン１６の処理を制御する。さらに、ＭＰＵ６は、後述するデータプロセッサ部１０に対して、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ２およびフラッシュメモリ３のいずれかから読み出される映像コンテンツデータから映像および音声を再生するように指示する。メモリ部７には、ＭＰＵ６が作動する際に用いるデータやプログラムが記憶される。ＲＯＭ８には、起動プログラム、プレイヤプログラムといったＭＰＵ６が実行するプログラムや、データプロセッサ部１０が実行するプログラム（例えば、映像コンテンツデータ等の圧縮符号化されている動画音声データをデコードし、映像および音声を再生するための映像再生プログラム）、恒久的なデータなどが記憶されている。ビデオメモリ部９には、後述するデコードされたデコード画像データＤが順次書き込まれる。

データプロセッサ部１０は映像再生プログラムにしたがい作動して、圧縮符号化されている動画音声データを動画像データと音声データに分離してそれぞれをデコードし、映像および音声を再生する。システムマイコン１６は、映像コンテンツの再生情報を表示パネル１７へ表示させ、ユーザ入力装置１８（リモコンまたは映像再生装置１に備えられた操作ボタン等操作入力可能な装置）から入力される操作入力信号をバス１９を介してＭＰＵ６に入力する。表示パネル１７は、液晶表示パネルを有し、システムマイコン１６の指示にしたがい、映像コンテンツおよびインタラクティブデータの再生に関する様々な情報を液晶表示パネルに表示する。

(動画像復号装置１００の実施例)
図１は映像再生装置１に備えられている動画像復号装置１００の内部構成を示すブロック図である。この動画像復号装置１００は、映像再生プログラムの１モジュールとして構成されている動画像復号処理プログラムにより実現されるソフトウェアデコーダである。動画像復号処理プログラムは、H.264/MVC規格で定義されている符号化方式で圧縮符号化されている動画像ストリームデータ（以下「動画像ストリーム」といい、例えば映像コンテンツデータ）をデコードするためのソフトウェアであって、データプロセッサ部１０によって実行され、図１に示す処理負荷検出部２００（動画像復号処理プログラムにおける処理負荷検出モジュール）と、ビデオデコーダ３００（動画像復号処理プログラムにおけるデコード実行モジュール）とに相当する機能を有している。

処理負荷検出部２００は、ビデオデコーダ３００におけるデコードに要する処理負荷を含む映像再生装置１内で発生する各種の処理負荷（以下「装置内処理負荷」という）の大きさを検出する負荷検出手段としての機能を有している。本実施の形態では、装置内処理負荷として、再生された映像データを可視化し表示されるべき画像を生成するレンダリングに要するレンダリング処理負荷Ｌ１、音声出力に要するオーディオ処理負荷Ｌ２およびビデオデコーダ３００におけるデコードに要するビデオデコード処理負荷Ｌ３が検出の対象となっている。

そして、処理負荷検出部２００は、検出した装置内処理負荷の大きさを示す負荷情報ＬＤを生成し、ビデオデコーダ３００に入力する。負荷情報ＬＤは映像再生装置がビデオデコーダ３００におけるデコード処理の実行に支障をきたす負荷量である（この場合を後述する高負荷状態という）か否かの判定に用いられる。

ビデオデコーダ３００は詳しくは後述するが、動画像ストリームＳを入力し、伸張するためのデコードを行う等してデコード画像データを出力する。
図２はビデオデコーダ３００を示すブロック図である。本実施形態の特徴である負荷量判定部３０１及びその制御信号出力がデブロッキングフィルタ部３０２の前段のスイッチＳＷを切り替えている個所以外は、一般的なH.264デコーダと同じである。

外部入力の動画像ストリームＳは、エントロピー復号部３０３に入力される。エントロピー復号部３０３では可変長符号化されたデータを復号し、量子化ＤＣＴ係数、動きベクトル情報、フレーム内予測情報およびモード情報を分離して出力する。この場合、例えば、デコードの対象とされるフレーム（デコード対象フレーム）内の各マクロブロックは、ブロック（４×４画素、８×８画素）ごとにエントロピー復号部３０３で処理される。

そして、エントロピー復号部３０３から出力されるデータのうち、動きベクトル情報がインター予測部３０４に入力され、フレーム内予測情報は、イントラ予測部３０５に入力される。また、モード情報はモード切替スイッチＭＣに入力される。

ＩＱ／ＩＴＲＡＮＳ部（逆量子化／逆直交変換部）３０６は、逆量子化処理を行い、デコード対象のブロックの４×４の量子化ＤＣＴ係数を４×４のＤＣＴ係数（直交変換係数）に変換する。また、ＩＱ／ＩＴＲＡＮＳ部３０６は、逆ＤＣＴ（逆直交変換）処理を行い、４×４のＤＣＴ係数から４×４の画素値に変換する。この４×４の画素値は、デコード対象のブロックに対応する予測誤差信号である。この予測誤差信号は加算部３０７に入力される。８×８の量子化ＤＣＴ係数を８×８画素値に変換するフローも、上記の４×４の量子化ＤＣＴ係数を４×４画素に変換するフローと同じである。

なお、イントラ予測モードでは、モード切替スイッチＭＣによってイントラ予測部３０５が選択されるので、加算部３０７により、イントラ予測部３０５からのフレーム内予測信号が予測誤差信号に加算される。また、インター予測モードでは、モード切替スイッチＭＣによってインター予測部３０４が選択されるので、動きベクトル予測と補間予測および重み付け予測によって得られる動き補償フレーム間予測信号が予測誤差信号に加算される。

負荷量判定部３０１で負荷量に応じて、デブロッキングフィルタを行うか否かが決定され、その決定に応じて、スイッチＳＷを開閉する信号を出力する。負荷量判定部３０１の説明は後述する。

デブロッキングフィルタ部３０２によってデブロッキングフィルタ処理が施される。デブロッキングフィルタ部３０２は、ブロック単位（４×４画素または８×８画素）にデコードされた各フレームに対して、ブロックノイズを低減するためのデブロッキングフィルタ処理を施す。二つの隣接し合うブロックの間にある境界（エッジ）のうち、連続性が途絶えるような段差がある箇所を対象とし、その段差を解消して滑らかにするための処理がデブロッキングフィルタ処理である。なお、ブロックの境界のすべてがデブロッキングフィルタ処理の対象とされるわけではなく、段差を滑らかに解消する必要のある境界が対象とされる。

このデブロッキングフィルタ処理は、ブロック歪みが参照画像に含まれてしまい、これによってブロック歪みが復号画像に伝播してしまうことを防止する。デブロッキングフィルタ部３０２によるデブロッキングフィルタ処理はブロック歪みが生じやすい箇所に対してはより強いフィルタリング処理が施され、ブロック歪みが生じ難い箇所に対しては弱いフィルタリング処理が施されるように、適応的に実行される。

そして、デブロッキングフィルタ処理、または負荷量判定部３０１によりデブロッキングフィルタ処理をバイパスして出力された各フレームは、モニタ出力されるか参照画像としてフレームメモリＦＭへ入力される。フレームメモリＦＭの参照画像は、定められた出力時間になるとモニタ出力される。

なお、動き補償フレーム間予測のための参照画像として使用されるべき各フレーム（参照フレーム）は、フレームメモリＦＭ内に一定期間保存されている。
次に、Ｉｎｔｅｒ予測部３０４で行われる動きベクトル予測、補間予測及び重み付け予測を説明する。フレームメモリＦＭから得られる既にデコード済みの周辺ブロックの動きベクトル情報に基づいて、動きベクトル予測をし、動きベクトルの予測値を求める。処理対象のブロックに対応する動きベクトル差分情報及び動きベクトルの予測値から、動きベクトルを求める。H.264の動きベクトルは１／４画素精度であり、参照フレーム内の整数精度の画素から１／４画素精度の予測補間画素（動き補償フレーム間予測信号）を生成する。動き補償フレーム間予測信号に対し、重み係数を乗じる処理（重み付け予測）を動き補償ブロック単位で実行し、重み付けされた動き補償フレーム間予測信号を生成する。

Ｉｎｔｒａ予測部３０５は、エントロピー復号部から入力されるフレーム内予測情報に従い、フレームメモリＦＭから得られるすでにデコードされた処理対象のブロックに隣接するブロックの画素値からフレーム内予測信号を生成する。

多視点動画像符号化方式H.264/MVCは、図８に示すように、同一視差内の画面間予測（横向き矢印）に加えて異なる視差間を参照する視差間予測（下向き矢印）を適用することにより符号化効率を向上させている。視差間予測は同時刻の異なる視点のピクチャを参照するため、その相関は高く、隣接する視点のピクチャであればその領域の多くで類似していると考えられる。したがって視差間予測を用いて復号されるブロックに対して、以下のような条件で、デブロッキングフィルタ処理を省略したデコード処理を実行すれば、画質劣化とデコード処理量の両面を抑制することができる。

次に、本実施形態の特徴である負荷量判定部３０１について説明する。負荷量判定部３０１は入力情報から負荷量を判定し、デブロッキングフィルタをバイパスするか否かを制御する信号を出力する。図３は負荷量判定部３０１の判定処理フローを示す。負荷量がしきい値Ｌ１未満の場合には（ステップＳ１のＹｅｓ）、通常通りデブロッキングフィルタを実行するように（ステップＳ２）スイッチＳＷのｂ側を閉じるように制御信号を出力する（以下、”デブロッキングフィルタＯＮを出力する”と略する）。Ｌ１以上の場合には（ステップＳ１のＮｏ）、判定処理１を実行する（ステップＳ３）。

この判定処理１の処理フローを図４に示す。二つの隣接し合うブロックが視差間予測の場合には（ステップＳ４のＹｅｓ）、デブロッキングフィルタを実行しないように（ステップＳ５）スイッチＳＷのa側を閉じるように制御信号を出力する（以下、”デブロッキングフィルタＯＦＦを出力する”と略する）。この視差間予測に当てはまらない場合には（ステップＳ４のＮｏ）、通常通りデブロッキングフィルタＯＮを出力する（ステップＳ６）。視差間予測は、同時刻の異なる視点のフレーム内のブロックを使った予測であり、似た画像であることが考えられる。従い、ブロック境界の画素値の不連続さ（ブロック歪み）は、比較的に目立たないと考えられる。この処理では、判定が一つだけで、より多くのブロックでデブロッキングフィルタを適用されなくなり、負荷削減には効果が高いが、一方で画質への影響があることが予想される。従い、この処理フローは非常に高負荷な状態での利用を想定している。

（第２の実施形態）
第２の実施形態を主に図５乃至図７を参照して説明する。図３以外の実施形態１と共通する部分は説明を省略する。
図５に負荷量に応じて、判定処理を切り替える負荷量判定処理フローを示す。図中のしきい値Ｌ１，Ｌ２，Ｌ３は、Ｌ１＞Ｌ２＞Ｌ３の大小関係を持つ。
ステップ７では、負荷量がＬ１未満の場合にはステップ８へ進む。未満に当てはまらない場合には、ステップ１３の判定処理１を実行する。
ステップ８では、負荷量がＬ２未満の場合にはステップ９へ進む。未満に当てはまらない場合には、ステップ１２の判定処理２を実行する。
ステップ９では、負荷量がＬ３未満の場合にはステップ１０としてデブロッキングフィルタＯＮを出力する。当てはまらない場合には、ステップ１１の判定処理３を実行する。

このステップ１２で行われる判定処理２の処理フローを図６で説明する。
ステップ１４では、二つの隣接し合うブロックで視差間予測である場合にはステップ１５に進む。当てはまらない場合には、通常通りステップ１７としてデブロッキングフィルタＯＮを出力する。

ステップ１５では、二つの隣接し合うブロックで残差信号（ＤＣＴ係数）がある場合には、ステップ１６としてデブロッキングフィルタＯＦＦを出力する。当てはまらない場合には、通常通りステップ１７としてデブロッキングフィルタＯＮを出力する。

上述のステップ１１で行われる判定処理３の処理フローを図７で説明する。
ステップ１８では、二つの隣接し合うブロックで視差間予測である場合にはステップ１９に進む。当てはまらない場合には、通常通りステップ２２としてデブロッキングフィルタＯＮを出力する。

ステップ１９では、二つの隣接し合うブロックで残差信号（ＤＣＴ係数）がある場合には、ステップ２０に進む。当てはまらない場合には、通常通りステップ２２としてデブロッキングフィルタＯＮを出力する。

ステップ２０では、二つの隣接し合うブロックで参照ピクチャが異なる場合には、ステップ２１としてデブロッキングフィルタＯＦＦを出力する。当てはまらない場合には、通常通りステップ２２としてデブロッキングフィルタＯＮを出力する。

上記のようにAV機器おけるプロセッサの負荷や電池残量に応じてビデオデコーダの処理の一部を省略することにより、消費電力の軽減や、膨大な処理量が必要となる多視点動画像のリアルタイムデコードを実現できる。

これは、視差間予測は同時刻の異なる視点のピクチャを参照するため、その相関は高く、隣接する視点のピクチャであればその領域の多くで類似していると想定できる点に依る。即ち、隣接ブロック間の画素信号の連続性が高いことが予想され、前記処理をスキップしても、ブロック歪が目立たないと考えられる。

本実施形態では、この類似性に着目し、視差間予測を行うブロックの復号処理において、デブロッキングフィルタ処理を行わないことを特徴とする。
即ち、動画像を復号する装置（図1）において，復号にかかる処理量を削減するため，以下のような処理を行う．
（１）処理負荷検出部において，ビデオデコーダの処理負荷と，ビデオ以外のオーディオ，レンダリングなどの処理負荷から，全体の処理負荷を検出する．ビデオデコーダではこの負荷情報に応じて簡略処理を制御する（図2）．

（２）ビデオデコーダの復号処理において簡略処理を指示された場合（図3、５）、視差間予測を利用したブロックに関して、デブロッキングフィルタ処理を行わないように制御する。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１…映像再生装置、２…ハードディスクドライブ
３…フラッシュメモリ，６…ＭＰＵ，８…ＲＯＭ
１０…データプロセッサ部、１７…表示パネル
１００…動画像復号装置、２００…処理負荷検出部
３００…ビデオデコーダ、３０１…負荷量判定部
３０２…デブロッキングフィルタ部、３０６…IQ/ITRANS部
３０７…加算部、ＳＷ…スイッチ

Claims (5)

1. 圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、
   デコードする各フレームに対してデブロッキングフィルタ処理を行うデブロッキングフィルタ手段と、
   装置内処理負荷の大きさを検出する負荷検出手段と、
   前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて前記デブロッキングフィルタ処理を行うか否かを判定する判定手段と、
   該判定手段の判定結果に基づき、前記負荷レベルが所定のしきい値以上と判定された場合は、前記デブロッキングフィルタ手段は前記フレームの二つの隣接し合うブロックが視差間予測の場合に前記デブロッキングフィルタ処理の省略を行う動画像復号装置。
2. 前記負荷レベルが所定のしきい値以上と判定された場合は、前記フレームの二つの隣接し合うブロックが視差間予測でかつ前記二つの隣接し合うブロックで残差信号がある場合に、前記省略を行う請求項１に記載の動画像復号装置。
3. 前記負荷レベルが所定のしきい値以上と判定された場合は、前記フレームの二つの隣接し合うブロックが視差間予測でかつ前記二つの隣接し合うブロックで残差信号がありかつ参照ピクチャが隣接ブロックと異なる場合に、前記省略を行う請求項１に記載の動画像復号装置。
4. デコードされた前記各フレームを表示するモニタを更に備えた請求項１に記載の動画像復号装置。
5. 圧縮符号化された動画像ストリームをデコードする動画像復号方法であって、
   装置内処理負荷の大きさを検出し、
   該検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じてデブロッキングフィルタ処理を行うか否かを判定し、
   該判定結果に基づき、前記負荷レベルが所定のしきい値以上と判定された場合は、前記フレームの二つの隣接し合うブロックが視差間予測の場合に前記デブロッキングフィルタ処理の省略を行うように制御する動画像復号方法。

Images