JP5248583B2 - 動画像復号装置及び動画像復号方法 - Google Patents

Description

本発明の実施形態は、多視点の動画像を復号する動画像復号装置及び動画像復号方法に関する。

H.264/AVCの規格拡張であるH.264/MVCは多視点動画像符号化方式でBlu-ray 3Dに採用されている。H.264/MVCは動き補償においてH.264/AVCの画面間予測に加えて視差間予測を行うことにより高い圧縮率を実現している反面、視点数に比例して増加する処理量の多さが課題となる。特に、Blu-ray 3Dのように高解像度の多視点動画像を再生する場合には深刻な問題となる。

他方、視差間予測は同時刻の異なる視点のピクチャを参照するため、その相関は高く、隣接する視点のピクチャであればその領域の多くで類似していると考えられる。これまでのデブロッキング処理の技術（例えば、特許文献１参照。）に加え、この視差間予測を用いたより効率的な処理の要望があるが、かかる要望を実現するための手段は知られていない。

特開２００７−２０８４７６号公報

本発明は、多視点の動画像を復号する際の視差間予測を用いたより効率的な処理技術を提供することを目的とする。

上記課題を解決するために、実施形態によれば動画像復号装置は、圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、デコードする各フレームに対して逆直交変換／逆量子化処理を行う逆直交変換／逆量子化手段と、デコードに要する処理負荷を含む装置内処理負荷の大きさを検出する負荷検出手段と、前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて前記逆直交変換／逆量子化処理を行うか否かを判定するための判定を行う判定手段と、該判定手段の判定結果に基づき、前記負荷レベルが小さくないと判定された場合は、前記逆直交変換／逆量子化処理手段が前記逆直交変換／逆量子化処理の省略を行うように制御する制御手段とを有する。

この発明の一実施形態を示すH.264/MVCビデオデコーダの（ブロック図と本発明の中心部分）ブロック構成図。 同実施形態のビデオデコーダと負荷検出部を示すブロック構成図。 同実施形態のH.264/MVCにおける視差間予測を説明するために示す図。 同実施形態の逆変換・逆量子化処理のスキップ判定を示すフローチャート。 他の実施形態に用いられる逆変換・逆量子化処理のスキップ判定を示すフローチャート。 同実施形態のスキップ判定L3ルーチンのフローチャート。 同実施形態のスキップ判定L2ルーチンのフローチャート。 同実施形態のスキップ判定L1ルーチンのフローチャート。 同実施形態のスキップ判定L0ルーチンのフローチャート。 実施形態のプレイヤーのフローチャート。 本発明の実施の形態に於ける動画像復号装置が適用される映像再生装置の内部構成を記録媒体およびネットワークストレージとともに示すブロック図。

以下、本発明の実施形態を説明する。
（第１の実施形態）
本発明による第１の実施形態を図１乃至図４及び図１１を参照して説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
まず本発明の実施の形態に於ける動画像復号装置１００は、図１１に示す映像再生装置１に備えられている。図１１は、映像再生装置１の内部構成を記録媒体２０３およびネットワークストレージ２０４とともに示すブロック図である。図１１に示すように、映像再生装置１は、光ディスク等の記録媒体２０３が用いられ、記録媒体２０３に記録されているデジタル形式の映像コンテンツデータ（映画、ドラマなどの映像コンテンツを再生するためのデータ）を読取って映像コンテンツおよびインタラクティブデータ（映像コンテンツに関連して再生されるメニューデータ、アニメーションデータ、効果音データ、映像コンテンツの解説等のコンテンツ解説データ、クイズの問題などを含むデータ）を再生することができ、また、インターネット２０２を介してネットワークストレージ２０４に接続し、ネットワークストレージ２０４からも映像コンテンツデータを取得して映像コンテンツおよびインタラクティブデータを再生可能な構成を有している。

映像再生装置１は、ハードディスクドライブ２、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）３、ディスクドライブ４およびネットワークコントローラ５を有し、いずれもバス１９に接続されている。ハードディスクドライブ２は、高速回転する磁気ディスクに映像コンテンツデータ等のデジタルデータを記録して、デジタルデータの読み書きを行う

。フラッシュメモリ３には、映像コンテンツデータ等のデジタルデータが記憶されてデジタルデータの読み書きが行われる。ディスクドライブ４は記録媒体２０３から映像コンテンツデータ等のデジタルデータを読み取り、再生信号を出力する機能を有している。ネットワークコントローラ５は、インターネット２０２を介してネットワークストレージ２０４との間で行われる映像コンテンツデータ等のデジタルデータの読み書きを制御する。

また、映像再生装置１は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ部７、ＲＯＭ８およびビデオメモリ部９を有し、いずれもバス１９に接続されている。ＭＰＵ６は、ＲＯＭ８からメモリ部７に読み出された起動プログラムにしたがい起動され、また、プレイヤプログラムをＲＯＭ８からメモリ部７に読み出し、そのプレイヤプログラムにしたがってシステム初期化、システム終了などを制御し、システムマイコン１６の処理を制御する。さらに、ＭＰＵ６は、後述するデータプロセッサ部１０に対して、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ２およびフラッシュメモリ３のいずれかから読み出される映像コンテンツデータから映像および音声を再生するように指示する。メモリ部７には、ＭＰＵ６が作動する際に用いるデータやプログラムが記憶される。ＲＯＭ８には、起動プログラム、プレイヤプログラムといったＭＰＵ６が実行するプログラムや、データプロセッサ部１０が実行するプログラム（例えば、映像コンテンツデータ等の圧縮符号化されている動画音声データをデコードし、映像および音声を再生するための映像再生プログラム）、恒久的なデータなどが記憶されている。ビデオメモリ部９には、後述するデコードされたデコード画像データＤが順次書き込まれる。

データプロセッサ部１０は映像再生プログラムにしたがい作動して、圧縮符号化されている動画音声データを動画像データと音声データに分離してそれぞれをデコードし、映像および音声を再生する。システムマイコン１６は、映像コンテンツの再生情報を表示パネル１７へ表示させ、ユーザ入力装置１８（リモコンまたは映像再生装置１に備えられた操作ボタン等操作入力可能な装置）から入力される操作入力信号をバス１９を介してＭＰＵ６に入力する。表示パネル１７は、液晶表示パネルを有し、システムマイコン１６の指示にしたがい、映像コンテンツおよびインタラクティブデータの再生に関する様々な情報を液晶表示パネルに表示する。

次に、図２は映像再生装置１に備えられている動画像復号装置１００の内部構成を示すブロック図である。この動画像復号装置１００は、映像再生プログラムの１モジュールとして構成されている動画像復号処理プログラムにより実現されるソフトウェアデコーダである。動画像復号処理プログラムは、H.264/MVC規格で定義されている符号化方式で圧縮符号化されている動画像データＳ（以下「動画像ストリーム」といい、例えば映像コンテンツデータ）をデコードするためのソフトウェアであって、データプロセッサ部１０によって実行され、図２に示す処理負荷検出部（動画像復号処理プログラムにおける処理負荷検出モジュール）２００と、ビデオデコーダ（動画像復号処理プログラムにおけるデコード実行モジュール）３００とに相当する機能を有している。

処理負荷検出部２００は、ビデオデコーダ３００におけるデコードに要する処理負荷を含む映像再生装置１内で発生する各種の処理負荷（以下「装置内処理負荷」という）の大きさを検出する負荷検出手段としての機能を有している。本実施の形態では、装置内処理負荷として、再生された映像データを可視化し表示されるべき画像を生成するレンダリングに要するレンダリング処理負荷ＬＲ、音声出力に要するオーディオ処理負荷ＬＡおよびビデオデコーダ３００におけるデコードに要するビデオデコード処理負荷ＬＶが検出の対象となっている。これらの処理負荷の大きさ（負荷量）は例えばＭＰＵ６（またはデータプロセッサ部１０）の使用率に基づいて決定されるが、ＭＰＵ６の使用率とＲＯＭ８の使用率との組み合わせによって決定することもできる。

通常、ソフトウェアデコーダをスムーズに作動させるためには、ある一定サイズ以上のメモリ（ＲＯＭ８など）を必要とする。メモリの使用率が高くなると、ソフトウェアデコーダのパフォーマンスが低下する。そのため、ＭＰＵ６（またはデータプロセッサ部１０）の使用率とＲＯＭ８の使用率との組み合わせによって、装置内処理負荷の大きさを検出すると、ソフトウェアデコーダのスムーズな動作に支障をきたす負荷量であるか否かが精度よく判別される。

そして、処理負荷検出部２００は、検出した装置内処理負荷の大きさを示す負荷情報ＬＤを生成し、ビデオデコーダ３００に入力する。負荷情報ＬＤは映像再生装置１がビデオデコーダ３００におけるデコード処理の実行に支障をきたす負荷量である（この場合を後述する高負荷状態という）か否かの判定に用いられる。

ビデオデコーダ３００は詳しくは後述するが、動画像ストリームＳを入力し、伸張するためのデコードを行う等してデコード画像データＤを出力する。なお、図２には示していないが、デコード画像データＤについては合成処理が行われ、その合成処理後の合成画像に対応した映像出力信号が映像再生装置１から出力される。

次に、図１を参照してビデオデコーダ３００について説明する。ビデオデコーダ３００は、H.264/MVC規格に対応しており、図１に示すとおり、エントロピー復号部３０１、逆直交変換（逆ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ））／逆量子化部３０２、加算部３０４、デブロッキングフィルタ部３０５、フレームメモリ３０６、動きベクトル予測や補間予測や重み付け予測を行うインター予測部３０９、イントラ予測部３１０およびモード切替スイッチ３１１を有している。なお、Ｈ．２６４の直交変換は整数精度であり、従来のＤＣＴとは異なるが、本実施の形態では、ＤＣＴとして説明する。

ビデオデコーダ３００では、動画像ストリームＳを構成するフレーム（ピクチャ）を例えば４×４の１６ブロックからなるマクロブロック単位に分割し、マクロブロックごとにデコードを実行する。各マクロブロックは、例えば１６個のブロックによって構成され、各ブロックは４×４の１６画素が含まれている。

そして、マクロブロックごとにフレーム内符号化モード（イントラ符号化モード）および動き補償フレーム間予測符号化モード（インター符号化モード）のいずれか一方が選択されてデコードが実行される。

イントラ符号化モードにおいては、符号化の対象とされるフレーム（符号化対象フレーム）のすでに符号化されている信号からの画面内予測信号が定められた形状単位で生成されている。そして、符号化対象フレームから画面内予測信号を引いた予測誤差信号が直交変換（ＤＣＴ）、量子化およびエントロピー符号化によって符号化されている。また、動き補償フレーム間予測符号化モードにおいては、動き補償フレーム間予測信号が定められた形状単位で生成されている。動き補償フレーム間予測信号はすでに符号化されているフレームと異なっている部分のみを変化分として検出し、それを用いて動きを推定するために生成されている。そして、符号化対象フレームから動き補償フレーム間予測信号を引いた予測誤差信号が、直交変換（ＤＣＴ）、量子化およびエントロピー符号化によって符号化されている。

なお、H.264/MVC規格の前身であるH.264/AVC規格に対応するコーデックは、さらに圧縮率を高めるために、以下の（１）〜（６）に示す各技術などを利用している。

（１）従来のＭＰＥＧよりも高い画素精度（１／４画素精度）の動き補償
（２）フレーム内符号化を効率的に行うためのフレーム内予測
（３）ブロック歪みを低減するためのデブロッキングフィルタ
（４）４×４画素単位の整数ＤＣＴ
（５）任意の位置の複数フレームを参照画面として使用可能なマルチリファレンスフレーム
（６）重み付け予測
次に、図１に示したソフトウェアデコーダとしてのビデオデコーダ３００の動作について説明する。動画像ストリームＳは、まず、エントロピー復号部３０１に入力される。動画像ストリームＳには、符号化されている動画像データのほかに、動き補償フレーム間予測符号化（インター予測符号化）で用いられた動きベクトル情報、フレーム内予測符号化（イントラ予測符号化）で用いられたフレーム内予測情報、予測モード（インター予測符号化／イントラ予測符号化）を示すモード情報等が含まれている。

エントロピー復号部３０１は動画像ストリームＳに対して可変長復号のようなエントロピー復号処理を施し、入力される動画像ストリームＳから量子化ＤＣＴ係数、動きベクトル情報、フレーム内予測情報およびモード情報を分離して出力する。この場合、例えば、デコードの対象とされるフレーム（デコード対象フレーム）内の各マクロブロックは、ブロックごとにエントロピー復号部３０１で処理されるが、以下では、ブロックが４×４画素である場合を想定しており、ブロックは４×４の量子化ＤＣＴ係数に変換される。ただし、ブロックは８×８画素のこともある。

そして、エントロピー復号部３０１から出力されるデータのうち、動きベクトル情報がインター予測部３０９に入力され、フレーム内予測情報は、イントラ予測部３１０に入力される。また、モード情報はモード切替スイッチ３１１に入力される。

逆直交変換／逆量子化部３０２は、逆量子化処理を行い、デコード対象のブロックの４×４の量子化ＤＣＴ係数を４×４のＤＣＴ係数（直交変換係数）に変換する。また、逆直交変換／逆量子化部３０２は、逆ＤＣＴ（逆直交変換）処理を行い、４×４のＤＣＴ係数を周波数情報から４×４の画素値に変換する。この４×４の画素値は、デコード対象のブロックに対応する予測誤差信号である。この予測誤差信号は加算部３０４に入力される。加算部３０４は入力される予測誤差信号にデコード対象のブロックに対応する予測信号（動き補償フレーム間予測信号またはフレーム内予測信号）を加算する。これにより、デコード対象のブロックに対応する４×４の画素値がデコードされる。

このように、ビデオデコーダ３００では、デコード対象のブロックに対応する予測誤差信号に予測信号（動き補償フレーム間予測信号またはフレーム内予測信号）を加算してデコード対象フレームをデコードする処理をブロックごとに実行している。

なお、イントラ予測モードでは、モード切替スイッチ３１１によってイントラ予測部３１０が選択されるので、加算部３０４により、イントラ予測部３１０からのフレーム内予測信号が予測誤差信号に加算される。また、インター予測モードでは、モード切替スイッチ３１１によってインター予測部３０９が選択されるので、動きベクトル予測と補間予測および重み付け予測によって得られる動き補償フレーム間予測信号が予測誤差信号に加算される。

そして、デコードされた各フレームは、デブロッキングフィルタ部３０５によってデブロッキングフィルタ処理が施される。デブロッキングフィルタ部３０５は、例えば４×４画素のブロック単位にデコードされた各フレームに対して、ブロックノイズを低減するためのデブロッキングフィルタ処理を施す。マクロブロックに含まれている隣接するブロックの境界（エッジ）のうち、連続性が途絶えるような段差がある箇所を対象とし、その段差を解消して滑らかにするための処理がデブロッキングフィルタ処理である。なお、ブロックの境界のすべてがデブロッキングフィルタ処理の対象とされるわけではなく、段差を滑らかに解消する必要のある境界が対象とされる。

このデブロッキングフィルタ処理は、ブロック歪みが参照画像に含まれてしまい、これによってブロック歪みが復号画像に伝播してしまうことを防止する。デブロッキングフィルタ部３０５によるデブロッキングフィルタ処理はブロック歪みが生じやすい箇所に対してはより強いフィルタリング処理が施され、ブロック歪みが生じ難い箇所に対しては弱いフィルタリング処理が施されるように、適応的に実行される。デブロッキングフィルタ処理はループフィルタ処理によって実現されている。

そして、デブロッキングフィルタ処理が施された各フレームは、フレームメモリ３０６に格納され、フレームメモリ３０６からデコード画像として出力フレーム（または出力画像フィールド）として読み出される。

なお、動き補償フレーム間予測のための参照画像として使用されるべき各フレーム（参照フレーム）は、フレームメモリ３０６内に一定期間保存されている。また、H.264/MVC規格の動き補償フレーム間予測符号化においては、複数のフレームを参照画面として使用することができるため（マルチリファレンスフレーム）、フレームメモリ３０６は複数のフレームを記憶するための複数個のメモリ部を有している。

次に、動きベクトル予測部３０７はデコード対象のブロックに対応する動きベクトル情報に基づいて、動きベクトル差分情報を生成する。補間予測部３０８は、デコード対象のブロックに対応する動きベクトル差分情報に基づいて、参照フレーム内の整数精度の画素群および１／４画素精度の予測補間画素群から、動き補償フレーム間予測信号を生成する。なお、１／４画素精度の予測補間画素の生成においては、６タップフィルタ（入力６つ、出力１つ）が用いられるため、高周波成分まで考慮した高精度の予測補間処理を実行できるが、その分、動き補償には多くの処理量が必要となる。

インター予測部３０９は、動き補償フレーム間予測信号に対し、重み係数を乗じる処理（重み付け予測）を動き補償ブロック単位で実行し、重み付けされた動き補償フレーム間予測信号を生成する。この重み付け予測は、デコード対象フレームの明るさを予測する処理である。この重み付け予測処理により、フェードイン、フェードアウトのように明るさが時間とともに変化する動画像の画質を向上させることができる。しかし、その分、ビデオデコーダ３００に必要な処理量は増大する。

イントラ予測部３１０はデコード対象フレームから、そのフレーム内に含まれるデコード対象のブロックのフレーム内予測信号を生成する。イントラ予測部３１０は、エントロピー復号部３０１から入力されるフレーム内予測情報に従って画面内予測処理を実行し、デコード対象のブロックと同一のフレーム内に存在するブロックのうちのデコード対象のブロックに近接するすでにデコードされたほかのブロック内の画素値からフレーム内予測信号を生成する。このフレーム内予測（イントラ予測）はブロック間の画素相関を利用して圧縮率を高める技術である。このフレーム内予測では、フレーム内予測情報に従って、垂直予測（予測モード０）、水平予測（予測モード１）、平均値予測（予測モード３）および平面予測（予測モード４）を含む４種類の予測モードのうちの１つが、フレーム内予測ブロック（例えば１６×１６の画素）単位で選択される。なお、平面予測が選択される頻度は他のフレーム内予測モードよりも低いが、平面予測のために必要とされ処理量はほかのどのフレーム内予測モードの処理量よりも多い。

そして、本実施の形態における動画像復号装置１００では、装置内処理負荷が増大しても動画像ストリームＳを制限時間内にリアルタイムにデコードできるようにするため、図４に示すフローチャートに沿って、上述の逆直交変換／逆量子化部を含むすべてのデコード処理（以下「通常デコード処理」という）と特殊デコード処理（通常デコード処理から逆直交変換／逆量子化部の一部を省略した処理）とを装置内処理負荷の大きさに応じて選択的に実行するようになっている。

多視点動画像符号化方式H.264/MVCは、図３に示すように、同一視差内の画面間予測（横向き矢印）に加えて異なる視差間を参照する視差間予測（下向き矢印）を適用することにより符号化効率を向上させている。視差間予測は同時刻の異なる視点のピクチャを参照するため、その相関は高く、隣接する視点のピクチャであればその領域の多くで類似していると考えられる。したがって視差間予測を用いて復号されるブロックに対して、以下のような条件で、逆変換・逆量子化処理を省略したデコード処理を実行すれば、画質劣化とデコード処理量の両面を抑制することができる。

さて図４に示すように、あるタイミングで検出した負荷量から得られる負荷レベルが、ある値L以上で当該ブロックが視差間予測の場合に、逆変換・逆量子化処理を省略したデコード処理を実行し、それ以外は通常デコード処理を実行する。

上記の負荷量検出のタイミング（すなわち通常デコードと省略デコードの切替判定のタイミング）は、ブロック単位、マクロブロック単位、スライス単位、ピクチャ単位、シーケンス単位（IDRの単位）のいずれでも構わない。

以下、この図４のフローチャートを参照して、動画像復号装置１００によるデコード処理の動作手順について説明する。なお、図４に示すフローチャートに沿ったデコード処理が行われる場合、データプロセッサ部１０が動画像復号処理プログラムを実行し本実施形態における制御手段として作動している。

データプロセッサ部１０は、動画像復号処理プログラムによるデコード処理を開始すると、ステップ１に進み、映像再生装置１の現在の負荷を問い合わせる。この場合、処理負荷検出部２００によって、データプロセッサ部１０の使用率等に基づき装置内処理負荷の大きさが検出され、負荷情報ＬＤがビデオデコーダ３００に入力される。

次に、データプロセッサ部１０はステップ２に進み、ステップ１で入力された負荷情報ＬＤに基づいて、映像再生装置１の現在の負荷が所定の基準値Ｌ以上か否かによって高負荷状態であるか否かを判定する。

そして、高負荷状態ではないと判定されたときはステップ３に進む。この場合、データプロセッサ部１０は通常デコード処理を選択して、逆直交変換／逆量子化部の全部を含む上述の一連のデコード処理を実行する。したがって、映像再生装置１が高負荷状態にならないかぎり、つまりデコードパフォーマンスが低下しないかぎり、動画像ストリームＳは通常デコード処理によってデコードされる。

一方、高負荷状態であると判定されたときはステップ４に進み、データプロセッサ部１０は実行すべきデコード処理として上述の特殊デコード処理を選択し、ビデオデコーダ３００による上述の一連のデコード処理から逆直交変換／逆量子化部の一部を除いた残りの処理を実行する。

以上のようにして、逆直交変換／逆量子化部の一部の実行を省略することにより、フレームあたりのデコードに必要な処理を大幅に削減することができるようになる。そのため、たとえデコード処理の実行中にほかのプログラムが実行されていることにより、映像再生装置１が高負荷状態になっても、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合を招くようなことはなく、動画像データのデコードおよび再生をスムーズに継続して実行できるようになる。

（第２の実施形態）
本発明による第２の実施形態を図５乃至図９を参照して説明する。実施形態１と共通する部分は説明を省略する。
実施形態１の図４とはまた異なり図５に示すように、負荷レベルと符号化状況とを組み合わせたスキップ判定を用いても良い。さらに図６乃至図９に示すように負荷レベルに応じて段階的に符号化状況判定方法を変更しても良い。

この符号化状況判定としては、例えば以下の４種があり、負荷レベルに応じて、満たすべき上記条件の数を変える。
（１）当該ブロックが視差間予測を用いているかどうか
（２）当該ブロックの参照ピクチャが隣接ブロックの参照ピクチャと同じであるかどうか
（３）当該ブロックの動きベクトルが隣接ブロックと同じであるかどうか
（４）隣接ブロックに残差信号があるかどうか
負荷レベルが高いほど、条件数を少なく、つまりスキップになりやすくし、負荷レベルが低いほど、条件数を多く、つまりスキップになりにくくする。これによりスキップによる画質劣化を極力抑制しつつ、デコードによる負荷を軽減する。

図５以下のフローチャートを参照して、動画像復号装置１００によるデコード処理の動作手順について説明する。なお、図５に示すフローチャートに沿ったデコード処理が行われる場合、データプロセッサ部１０が動画像復号処理プログラムを実行し本実施形態における制御手段として作動している。

データプロセッサ部１０は、動画像復号処理プログラムによるデコード処理を開始すると、ステップ１１に進み、映像再生装置１の現在の負荷を問い合わせる。この場合、処理負荷検出部２００によって、データプロセッサ部１０の使用率等に基づき装置内処理負荷の大きさが検出され、負荷情報ＬＤがビデオデコーダ３００に入力される。

次に、データプロセッサ部１０はステップ１２に進み、ステップ１１で入力された負荷情報ＬＤに基づいて、映像再生装置１の現在の負荷が所定の基準値Ｌ３以上か否かによって高負荷状態であるか否かを判定する。

そして、高負荷状態ではないと判定されたときはステップ１３に進む。一方、高負荷状態であると判定されたときはステップ１４に進み、データプロセッサ部１０は実行すべきデコード処理として上述の特殊デコード処理として後述のスキップ判定Ｌ３処理を選択し、ビデオデコーダ３００による上述の一連のデコード処理から逆直交変換／逆量子化部の一部を除いた残りの処理を実行する。

ステップ１３に進んだ場合は、ステップ１１で入力された負荷情報ＬＤに基づいて、映像再生装置１の現在の負荷が所定の基準値Ｌ２以上か否かによって高負荷状態であるか否かを判定する。

そして、高負荷状態ではないと判定されたときはステップ１５に進む。一方、高負荷状態であると判定されたときはステップ１６に進み、データプロセッサ部１０は実行すべきデコード処理として上述の特殊デコード処理として後述のスキップ判定Ｌ２処理を選択し、ビデオデコーダ３００による上述の一連のデコード処理から逆直交変換／逆量子化部の一部を除いた残りの処理を実行する。

ステップ１５に進んだ場合は、ステップ１１で入力された負荷情報ＬＤに基づいて、映像再生装置１の現在の負荷が所定の基準値Ｌ１以上か否かによって高負荷状態であるか否かを判定する。

そして、高負荷状態ではないと判定されたときはステップ１７に進む。一方、高負荷状態であると判定されたときはステップ１８に進み、データプロセッサ部１０は実行すべきデコード処理として上述の特殊デコード処理として後述のスキップ判定Ｌ１処理を選択し、ビデオデコーダ３００による上述の一連のデコード処理から逆直交変換／逆量子化部の一部を除いた残りの処理を実行する。

ステップ１７に進んだ場合は、ステップ１１で入力された負荷情報ＬＤに基づいて、映像再生装置１の現在の負荷が所定の基準値Ｌ０以上か否かによって高負荷状態であるか否かを判定する。

そして、高負荷状態ではないと判定されたときはステップ１９に進む。一方、高負荷状態であると判定されたときはステップ２０に進み、データプロセッサ部１０は実行すべきデコード処理として上述の特殊デコード処理として後述のスキップ判定Ｌ０処理を選択し、ビデオデコーダ３００による上述の一連のデコード処理から逆直交変換／逆量子化部の一部を除いた残りの処理を実行する。

ステップ１９に進んだ場合、データプロセッサ部１０は通常デコード処理を選択して、逆直交変換／逆量子化部の全部を含む上述の一連のデコード処理を実行する。したがって、映像再生装置１が高負荷状態にならないかぎり、つまりデコードパフォーマンスが低下しないかぎり、動画像ストリームＳは通常デコード処理によってデコードされる。

まず図６のフローチャートを参照して、動画像復号装置１００によるスキップ判定Ｌ３処理の動作手順について説明する。
データプロセッサ部１０は、ステップ２１に進み、当該ブロックが視差間予測の場合に、逆変換・逆量子化処理を省略したデコード処理を実行し（ステップ２２）、それ以外は通常デコード処理を実行する（ステップ２３）。

次に、図７のフローチャートを参照して、動画像復号装置１００によるスキップ判定Ｌ２処理の動作手順について説明する。
データプロセッサ部１０は、ステップ３１に進み、当該ブロックが視差間予測の場合に、ステップ３２に進む。またステップ３２で、参照ピクチャが隣接ブロックと同じ場合に、ステップ３３に進み逆変換・逆量子化処理を省略したデコード処理を実行する。

以上でステップ３３に進まなかった場合には、ステップ３４に進み通常デコード処理を実行する。
次に、図８のフローチャートを参照して、動画像復号装置１００によるスキップ判定Ｌ１処理の動作手順について説明する。
データプロセッサ部１０は、ステップ４１に進み、当該ブロックが視差間予測の場合に、ステップ４２に進む。またステップ４２で、参照ピクチャが隣接ブロックと同じ場合に、ステップ４３に進む。またステップ４３で、動きベクトルが隣接ブロックと同じ場合に、ステップ４４に進み逆変換・逆量子化処理を省略したデコード処理を実行する。

以上でステップ４４に進まなかった場合には、ステップ４５に進み通常デコード処理を実行する。
次に、図９のフローチャートを参照して、動画像復号装置１００によるスキップ判定Ｌ０処理の動作手順について説明する。
データプロセッサ部１０は、ステップ５１に進み、当該ブロックが視差間予測の場合に、ステップ５２に進む。またステップ５２で、参照ピクチャが隣接ブロックと同じ場合に、ステップ５３に進む。またステップ５３で、動きベクトルが隣接ブロックと同じ場合に、ステップ５４に進む。またステップ５４で、隣接ブロックの残差信号がない場合に、ステップ５５に進み逆変換・逆量子化処理を省略したデコード処理を実行する。

以上でステップ５５に進まなかった場合には、ステップ５６に進み通常デコード処理を実行する。
（第３の実施形態）
本発明による第３の実施形態を図１乃至図４及び図１０を参照して説明する。実施形態１、２と共通する部分は説明を省略する。
以下、図１０のフローチャートを参照して、映像再生装置１（プレイヤー）によるデコード処理の動作手順について説明する。なお、図１０に示すフローチャートに沿ったデコード処理が行われる場合、データプロセッサ部１０が動画像復号処理プログラムを実行し本実施形態における制御手段として作動している。

データプロセッサ部１０は、動画像復号処理プログラムによるデコード処理を開始すると、ステップ６１に進み、映像再生装置１の現在の負荷を問い合わせる。この場合、処理負荷検出部２００によって、データプロセッサ部１０の使用率等に基づき装置内処理負荷の大きさが検出され、負荷情報ＬＤがビデオデコーダ３００に入力される。

次に、データプロセッサ部１０はステップ６２に進み、ステップ６１で入力された負荷情報ＬＤに基づいて、映像再生装置１の現在の負荷が所定の基準値Ｌ以上か否かによって高負荷状態であるか否かを判定する。

そして、高負荷状態ではないと判定されたときはステップ６３に進む。この場合、データプロセッサ部１０は通常デコード処理を選択して、逆直交変換／逆量子化部の全部を含む上述の一連のデコード処理を実行する。したがって、映像再生装置１が高負荷状態にならないかぎり、つまりデコードパフォーマンスが低下しないかぎり、動画像ストリームＳは通常デコード処理によってデコードされる。

一方、高負荷状態であると判定されたときはステップ６４に進み、データプロセッサ部１０は実行すべきデコード処理として上述の特殊デコード処理を選択し、ビデオデコーダ３００による上述の一連のデコード処理から逆直交変換／逆量子化部の一部を除いた残りの処理を実行する。

ステップ６３、ステップ６４のいずれの場合も次にステップ６５へ進む。ステップ６５では、すべてのデコードが完了したか判定し、完了してなければステップ６１へ戻り、完了していれば一連の処理を終了する。

以上のようにして、逆直交変換／逆量子化部の一部の実行を省略することにより、フレームあたりのデコードに必要な処理を大幅に削減することができるようになる。そのため、たとえデコード処理の実行中にほかのプログラムが実行されていることにより、映像再生装置１が高負荷状態になっても、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合を招くようなことはなく、動画像データのデコードおよび再生をスムーズに継続して実行できるようになる。

以上説明した実施例によれば、視差間予測の類似性に着目し、視差間予測を行うピクチャの復号処理において、予測残差信号の復号および加算処理を省略することによりデコーダの処理量を軽減する。この軽減処理は常時行うのではなく、プレイヤーで行う各種処理の負荷を検出し、負荷が高い場合に行うようにすることにより、可能な限り画質劣化を抑える。

以上の実施形態の効果として、AV機器おけるプロセッサの負荷や電池残量に応じてビデオデコーダの処理の一部を省略することにより、消費電力の軽減や、膨大な処理量が必要となる多視点動画像のリアルタイムデコードを実現できる。

即ち動画像を復号する装置（図1）において，復号にかかる処理量を削減するため，以下のような処理を行う．
（１）処理負荷検出部において、ビデオデコーダの処理負荷と、ビデオ以外のオーディオ，レンダリングなどの処理負荷から、全体の処理負荷を検出する。ビデオデコーダではこの負荷情報に応じて簡略処理を制御する。（図2）

（２）ビデオデコーダの復号処理において簡略処理を指示された場合、逆直交変換・逆量子化処理をスキップする．（図4）
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１…映像再生装置、２…ハードディスクドライブ
３…フラッシュメモリ，６…ＭＰＵ，８…ＲＯＭ
１０…データプロセッサ部、１１…映像デコーダ
１２…オーディオデコーダ、１３…映像合成部
１４…映像出力部、１５…オーディオ出力部
１００…動画像復号装置、２００…処理負荷検出部
３００…ビデオデコーダ、３０２…逆直交変換／逆量子化部
３０５…デブロッキングフィルタ部

Claims (5)

1. 圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、
   デコードする各フレームのブロック毎に逆直交変換／逆量子化処理を行う逆直交変換／逆量子化手段と、
   デコードに要する処理負荷を含む装置内処理負荷の大きさを検出する負荷検出手段と、
   前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて異なる、１以上の符号化状況の中から前記フレームの処理対象ブロックが該当する符号化状況を判定し、前記符号化状況として視差間予測が適用されていた場合に、前記逆直交変換／逆量子化処理を行わないと決定する決定手段と、
   前記決定手段の決定に基づき、前記逆直交変換／逆量子化手段が前記逆直交変換／逆量子化処理を省略するように制御する制御手段と
   を有する動画像復号装置。
2. 圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、
   デコードする各フレームのブロック毎に逆直交変換／逆量子化処理を行う逆直交変換／逆量子化手段と、
   デコードに要する処理負荷を含む装置内処理負荷の大きさを検出する負荷検出手段と、
   前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて異なる、１以上の符号化状況の中から前記フレームの処理対象ブロックが該当する符号化状況を判定し、前記符号化状況として、視差間予測が適用され、前記処理対象ブロックの参照ピクチャが隣接ブロックの参照ピクチャと同じ場合に、前記逆直交変換／逆量子化処理を行わないと決定する決定手段と、
   前記決定手段の決定に基づき、前記逆直交変換／逆量子化手段が前記逆直交変換／逆量子化処理を省略するように制御する制御手段と
   を有する動画像復号装置。
3. 圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、
   デコードする各フレームのブロック毎に逆直交変換／逆量子化処理を行う逆直交変換／逆量子化手段と、
   デコードに要する処理負荷を含む装置内処理負荷の大きさを検出する負荷検出手段と、
   前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて異なる、１以上の符号化状況の中から前記フレームの処理対象ブロックが該当する符号化状況を判定し、前記符号化状況として、視差間予測が適用され、前記処理対象ブロックの参照ピクチャが隣接ブロックの参照ピクチャと同じであり、前記処理対象ブロックの動きベクトルが隣接ブロックの動きベクトルと同じ場合に、前記逆直交変換／逆量子化処理を行わないと決定する決定手段と、
   前記決定手段の決定に基づき、前記逆直交変換／逆量子化手段が前記逆直交変換／逆量子化処理を省略するように制御する制御手段と
   を有する動画像復号装置。
4. 圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、
   デコードする各フレームのブロック毎に逆直交変換／逆量子化処理を行う逆直交変換／逆量子化手段と、
   デコードに要する処理負荷を含む装置内処理負荷の大きさを検出する負荷検出手段と、
   前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて異なる、１以上の符号化状況の中から前記フレームの処理対象ブロックが該当する符号化状況を判定し、前記符号化状況として、視差間予測が適用され、前記処理対象ブロックの参照ピクチャが隣接ブロックの参照ピクチャと同じで、前記処理対象ブロックの動きベクトルが隣接ブロックの動きベクトルと同じであり、隣接ブロックに残差信号がない場合に、前記逆直交変換／逆量子化処理を行わないと決定する決定手段と、
   前記決定手段の決定に基づき、前記逆直交変換／逆量子化手段が前記逆直交変換／逆量子化処理を省略するように制御する制御手段と
   を有する動画像復号装置。
5. 圧縮符号化された動画像ストリームをデコードする画像復号方法であって、
   デコードに要する処理負荷を含む装置内処理負荷の大きさを検出し、
   前記検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて異なる、１以上の符号化状況の中から前記フレームの処理対象ブロックが該当する符号化状況を判定し、前記符号化状況として視差間予測が適用されていた場合に、前記逆直交変換／逆量子化処理を行わないことを決定し、
   前記決定に基づき、前記逆直交変換／逆量子化処理を省略するように制御する動画像復号方法。

Images