JP5092011B2 - 動画像復号装置及び動画像復号方法 - Google Patents

Description

本発明の実施形態は、多視点の動画像を復号する動画像復号装置及び動画像復号方法に関する。

H.264/AVCの規格拡張であるH.264/MVCは多視点動画像符号化方式でBlu-ray 3Dに採用されている。H.264/MVCは動き補償においてH.264/AVCの画面間予測に加えて視差間予測を行うことにより高い圧縮率を実現している反面、視点数に比例して増加する処理量の多さが課題となる。特に、Blu-ray 3Dのように高解像度の多視点動画像を再生する場合には深刻な問題となる。

他方、視差間予測は同時刻の異なる視点のピクチャを参照するため、その相関は高く、隣接する視点のピクチャであればその領域の多くで類似していると考えられる。これまでのデブロッキング処理の技術（例えば、特許文献１参照。）に加え、この視差間予測を用いたより効率的な処理の要望があるが、かかる要望を実現するための手段は知られていない。

特開２００７−２０８４７６号公報

本発明は、多視点の動画像を復号する際の視差間予測を用いたより効率的な処理技術を提供することを目的とする。

上記課題を解決するために、実施形態によれば動画像復号装置は、圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、デコードする各フレームに対してこのフレームの処理対象ブロックに視差間予測処理を行う視差間予測手段と、デコードに要する処理負荷を含む装置内処理負荷の大きさを検出する負荷検出手段と、前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて前記視差間予測処理の省略をするか否かを判定するための判定を行う判定手段と、該判定手段の判定結果に基づき、前記負荷レベルが小さくないと判定された場合は、前記視差間予測手段が前記視差間予測処理の省略を行うように制御する制御手段とを有する。

この発明の一実施形態を示す動き／視差補償予測部３０９を含むブロック構成図。 同実施形態のビデオデコーダと負荷検出部を示すブロック構成図。 同実施形態の動き予測により、補間される画素位置を説明するために示す図。 同実施形態の視差予測により、補間される画素位置を示すブロック構成図。 同実施形態に用いられる装置の説明のために利用する画素ライン、画素列の識別図。 同実施形態の動き補償予測部３０９ｃの画素補間生成部を示すブロック構成図。 同実施形態に用いられる6tap w/SW FIR filterを示すブロック構成図。 同実施形態に用いられる6tap w/SW FIR filter×6を示すブロック構成図。 同実施形態の視差補償予測部３０９ｄの画素補間生成部を示すブロック構成図。 ビデオデコーダの処理切り替えのフローチャート。 本発明の実施の形態に於ける動画像復号装置が適用される映像再生装置の内部構成を記録媒体およびネットワークストレージとともに示すブロック図。

以下、本発明の実施形態を説明する。
（第１の実施形態）
本発明による第１の実施形態を図１乃至図１１を参照して説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
まず本発明の実施の形態に於ける動画像復号装置１００は、図１１に示す映像再生装置１に備えられている。図１１は、映像再生装置１の内部構成を記録媒体２０３およびネットワークストレージ２０４とともに示すブロック図である。図１１に示すように、映像再生装置１は、光ディスク等の記録媒体２０３が用いられ、記録媒体２０３に記録されているデジタル形式の映像コンテンツデータ（映画、ドラマなどの映像コンテンツを再生するためのデータ）を読取って映像コンテンツおよびインタラクティブデータ（映像コンテンツに関連して再生されるメニューデータ、アニメーションデータ、効果音データ、映像コンテンツの解説等のコンテンツ解説データ、クイズの問題などを含むデータ）を再生することができ、また、インターネット２０２を介してネットワークストレージ２０４に接続し、ネットワークストレージ２０４からも映像コンテンツデータを取得して映像コンテンツおよびインタラクティブデータを再生可能な構成を有している。

映像再生装置１は、ハードディスクドライブ２、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）３、ディスクドライブ４およびネットワークコントローラ５を有し、いずれもバス１９に接続されている。ハードディスクドライブ２は、高速回転する磁気ディスクに映像コンテンツデータ等のデジタルデータを記録して、デジタルデータの読み書きを行う

。フラッシュメモリ３には、映像コンテンツデータ等のデジタルデータが記憶されてデジタルデータの読み書きが行われる。ディスクドライブ４は記録媒体２０３から映像コンテンツデータ等のデジタルデータを読み取り、再生信号を出力する機能を有している。ネットワークコントローラ５は、インターネット２０２を介してネットワークストレージ２０４との間で行われる映像コンテンツデータ等のデジタルデータの読み書きを制御する。

また、映像再生装置１は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ部７、ＲＯＭ８およびビデオメモリ部９を有し、いずれもバス１９に接続されている。ＭＰＵ６は、ＲＯＭ８からメモリ部７に読み出された起動プログラムにしたがい起動され、また、プレイヤプログラムをＲＯＭ８からメモリ部７に読み出し、そのプレイヤプログラムにしたがってシステム初期化、システム終了などを制御し、システムマイコン１６の処理を制御する。さらに、ＭＰＵ６は、後述するデータプロセッサ部１０に対して、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ２およびフラッシュメモリ３のいずれかから読み出される映像コンテンツデータから映像および音声を再生するように指示する。メモリ部７には、ＭＰＵ６が作動する際に用いるデータやプログラムが記憶される。ＲＯＭ８には、起動プログラム、プレイヤプログラムといったＭＰＵ６が実行するプログラムや、データプロセッサ部１０が実行するプログラム（例えば、映像コンテンツデータ等の圧縮符号化されている動画音声データをデコードし、映像および音声を再生するための映像再生プログラム）、恒久的なデータなどが記憶されている。ビデオメモリ部９には、後述するデコードされたデコード画像データＤが順次書き込まれる。

データプロセッサ部１０は映像再生プログラムにしたがい作動して、圧縮符号化されている動画音声データを動画像データと音声データに分離してそれぞれをデコードし、映像および音声を再生する。システムマイコン１６は、映像コンテンツの再生情報を表示パネル１７へ表示させ、ユーザ入力装置１８（リモコンまたは映像再生装置１に備えられた操作ボタン等操作入力可能な装置）から入力される操作入力信号をバス１９を介してＭＰＵ６に入力する。表示パネル１７は、液晶表示パネルを有し、システムマイコン１６の指示にしたがい、映像コンテンツおよびインタラクティブデータの再生に関する様々な情報を液晶表示パネルに表示する。

次に、図２は映像再生装置１に備えられている動画像復号装置１００の内部構成を示すブロック図である。この動画像復号装置１００は、映像再生プログラムの１モジュールとして構成されている動画像復号処理プログラムにより実現されるソフトウェアデコーダである。動画像復号処理プログラムは、H.264/MVC規格で定義されている符号化方式で圧縮符号化されている動画像データＳ（以下「動画像ストリーム」といい、例えば映像コンテンツデータ）をデコードするためのソフトウェアであって、データプロセッサ部１０によって実行され、図２に示す処理負荷検出部（動画像復号処理プログラムにおける処理負荷検出モジュール）２００と、ビデオデコーダ（動画像復号処理プログラムにおけるデコード実行モジュール）３００とに相当する機能を有している。

処理負荷検出部２００は、ビデオデコーダ３００におけるデコードに要する処理負荷を含む映像再生装置１内で発生する各種の処理負荷（以下「装置内処理負荷」という）の大きさを検出する負荷検出手段としての機能を有している。本実施の形態では、装置内処理負荷として、再生された映像データを可視化し表示されるべき画像を生成するレンダリングに要するレンダリング処理負荷Ｌ1、音声出力に要するオーディオ処理負荷Ｌ2およびビデオデコーダ３００におけるデコードに要するビデオデコード処理負荷Ｌ3が検出の対象となっている。これらの処理負荷の大きさ（負荷量）は例えばＭＰＵ６（またはデータプロセッサ部１０）の使用率に基づいて決定されるが、ＭＰＵ６の使用率とメモリ部７、ビデオメモリ部９の使用率との組み合わせによって決定することもできる。

通常、ソフトウェアデコーダをスムーズに作動させるためには、ある一定サイズ以上のメモリ（メモリ部７など）を必要とする。メモリの使用率が高くなると、ソフトウェアデコーダのパフォーマンスが低下する。そのため、ＭＰＵ６（またはデータプロセッサ部１０）の使用率とメモリ部７、ビデオメモリ部９の使用率との組み合わせによって、装置内処理負荷の大きさを検出すると、ソフトウェアデコーダのスムーズな動作に支障をきたす負荷量であるか否かが精度よく判別される。

そして、処理負荷検出部２００は、検出した装置内処理負荷の大きさを示す負荷情報ＬＤを生成し、ビデオデコーダ３００に入力する。負荷情報ＬＤは映像再生装置１がビデオデコーダ３００におけるデコード処理の実行に支障をきたす負荷量である（この場合を後述する高負荷状態という）か否かの判定に用いられる。

ビデオデコーダ３００は詳しくは後述するが、動画像ストリームＳを入力し、伸張するためのデコードを行う等してデコード画像データＤを出力する。なお、図２には示していないが、デコード画像データＤについては合成処理が行われ、その合成処理後の合成画像に対応した映像出力信号が映像再生装置１から出力される。

さてMPEG4-AVC/H.264（以下、H.264と略する）には、多視点映像符号化技術(Multiview Video Codec、以下MVCと略する)がサポートされている。MVCが符号化対象としている多視点映像の代表例として、3D映像や多視点による立体視映像が挙げられる。3D映像として提供される映像は、左目用、右目用に別々の角度から撮影された2つの二次元映像（または左目、右目の視差を考慮して処理された映像）である。これを再生する際に左目には左目用映像を、右目には右目用映像を投射することで、立体映像として認識することができる。

多視点動画像符号化方式H.264/MVCは、同一視差内の画面間予測に加えて異なる視差間を参照する視差間予測を適用することにより符号化効率を向上させている。視差間予測は同時刻の異なる視点のピクチャを参照するため、その相関は高く、隣接する視点のピクチャであればその領域の多くで類似していると考えられる。したがって視差間予測を用いて復号されるブロックに対して、以下のような条件で、一部の省略したデコード処理を実行すれば、画質劣化とデコード処理量の両面を抑制することができる。

MVCの特徴は、時間方向の予測の他に視差間の予測を導入した点と、ストリームのヘッダー情報が微増したが信号処理部に変更がない点にある。従い、視差間予測での画素ブロックの変位量を示す視差ベクトルも、インター予測での画素ブロックの動きベクトルも同じ信号処理が行なわれる。

一方で、視点数に比例して増加する処理量の多さが課題となる。特に、Blu-ray 3Dのように高解像度の多視点動画像を再生する場合には深刻な問題となる。他方、視差間予測は同時刻の異なる視点のピクチャを参照するため、その相関は高く、隣接する視点のピクチャであればその領域の多くで類似していると考えられる。本実施形態では、この類似性に着目し、視差間予測を行うピクチャの復号処理において、視差ベクトルの水平成分は、符号化データに記載された1/4画素精度の動きベクトルを利用するが、垂直成分では整数画素精度に丸め処理、または切り捨て/切り上げ処理を行うことで、FIRフィルタ処理を伴う補間処理を削減できる。

次に、図１を参照してビデオデコーダ３００について説明する。
ビデオデコーダ３００は、H.264/MVC規格に対応しており、図１に示すとおり、符号化データバッファ３０１、逆直交変換（逆ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ））／逆量子化部（以下、IQ/ITRANS部）３０２、加算部３０４、参照画像バッファ（フレームメモリ）３０６、動き/視差間予測部３０９、イントラ（Intra）予測部３１０およびモード切替スイッチ３１１を有している。なお、Ｈ．２６４の直交変換は整数精度であり、従来のＤＣＴとは異なるが、本実施の形態では、ＤＣＴとして説明する。

更に動き/視差間予測部３０９は、動き/視差補償ブロック分割部３０９ａ、予測種別判定部３０９ｂ、動き補償予測部３０９ｃ、視差補償予測部３０９ｄ、重み付け処理部３０９ｅを含む。

なお加算部３０４の後にデブロッキングフィルタ部３０５を備えてもよい。またモニタ出力（表示パネル１７など）は、参照画像バッファ（フレームメモリ）３０６から行うように構成してもよい。

ビデオデコーダ３００では、動画像ストリームＳを構成するフレーム（ピクチャ）を例えば４×４の１６ブロックからなるマクロブロック単位に分割し、マクロブロックごとにデコードを実行する。各マクロブロックは、例えば１６個のブロックによって構成され、各ブロックは４×４の１６画素が含まれている。

そして、マクロブロックごとにフレーム内符号化モード（イントラ符号化モード）および動き補償フレーム間予測符号化モード（インター符号化モード）のいずれか一方が選択されてデコードが実行される。

イントラ符号化モードにおいては、符号化の対象とされるフレーム（符号化対象フレーム）のすでに符号化されている信号からの画面内予測信号が定められた形状単位で生成されている。そして、符号化対象フレームから画面内予測信号を引いた予測誤差信号が直交変換（ＤＣＴ）、量子化およびエントロピー符号化によって符号化されている。また、動き補償フレーム間予測符号化モードにおいては、動き補償フレーム間予測信号が定められた形状単位で生成されている。動き補償フレーム間予測信号はすでに符号化されているフレームと異なっている部分のみを変化分として検出し、それを用いて動きを推定するために生成されている。そして、符号化対象フレームから動き補償フレーム間予測信号を引いた予測誤差信号が、直交変換（ＤＣＴ）、量子化およびエントロピー符号化によって符号化されている。また、視差補償フレーム間予測符号化モードにおいては、視差補償フレーム間予測信号が定められた形状単位で生成されている。視差補償フレーム間予測信号はすでに符号化されているフレームと異なっている部分のみを変化分として検出し、それを用いて視差の変位量を推定するために生成されている。そして、符号化対象フレームから視差補償フレーム間予測信号を引いた予測誤差信号が、直交変換（ＤＣＴ）、量子化およびエントロピー符号化によって符号化されている。

なお、H.264/MVC規格の前身であるH.264/AVC規格に対応するコーデックは、MPEG2と比較しさらに圧縮率を高めるために、以下の（１）〜（６）に示す各技術などを利用している。

（１）従来のＭＰＥＧよりも高い画素精度（１／４画素精度）の動き補償
（２）フレーム内符号化を効率的に行うためのフレーム内予測
（３）ブロック歪みを低減するためのデブロッキングフィルタ
（４）４×４画素単位の整数ＤＣＴ
（５）任意の位置の複数フレームを参照画面として使用可能なマルチリファレンスフレーム
（６）重み付け予測
さて次に図１０に示すように、あるタイミングで検出した負荷量から得られる負荷レベルが、ある値L以上で当該ブロックが視差間予測の場合に、視差間予測を省略したデコード処理を実行し、それ以外は通常デコード処理を実行する。

上記の負荷量検出のタイミング（すなわち通常デコードと省略デコードの切替判定のタイミング）は、ブロック単位、マクロブロック単位、スライス単位、ピクチャ単位、GOVU単位（Iの単位）、シーケンス単位（IDRの単位）のいずれでも構わない。

以下、図１０のフローチャートを参照して、映像再生装置１（プレイヤー）によるデコード処理の動作手順について説明する。なお、図１０に示すフローチャートに沿ったデコード処理が行われる場合、データプロセッサ部１０が動画像復号処理プログラムを実行し本実施形態における制御手段として作動している。

データプロセッサ部１０は、動画像復号処理プログラムによるデコード処理を開始すると、ステップ６１に進み、映像再生装置１の現在の負荷を問い合わせる。この場合、処理負荷検出部２００によって、データプロセッサ部１０の使用率等に基づき装置内処理負荷の大きさが検出され、負荷情報ＬＤがビデオデコーダ３００に入力される。

次に、データプロセッサ部１０はステップ６２に進み、ステップ６１で入力された負荷情報ＬＤに基づいて、映像再生装置１の現在の負荷が所定の基準値Ｌ以上か否かによって高負荷状態であるか否かを判定する。

そして、高負荷状態ではないと判定されたときはステップ６３に進む。この場合、データプロセッサ部１０は通常デコード処理を選択して、視差間予測処理部の全部を含む上述の一連のデコード処理を実行する。したがって、映像再生装置１が高負荷状態にならないかぎり、つまりデコードパフォーマンスが低下しないかぎり、動画像ストリームＳは通常デコード処理によってデコードされる。

一方、高負荷状態であると判定されたときはステップ６４に進み、データプロセッサ部１０は実行すべきデコード処理として上述の特殊デコード処理を選択し、ビデオデコーダ３００による上述の一連のデコード処理から視差間予測処理部の一部を除いた残りの処理を実行する。

ステップ６３、ステップ６４のいずれの場合も次にステップ６５へ進む。ステップ６５では、すべてのデコードが完了したか判定し、完了してなければステップ６１へ戻り、完了していれば一連の処理を終了する。

以下で本実施形態の動き/視差間予測部３０９を中心とする動作例を示す。符号化されたデータは、マクロブロック単位で信号処理が行われる。マクロブロックとは、縦16画素横16画素の大きさをもつ符号化処理単位であり、復号化の信号処理もマクロブロック単位で行われる。IQ/ITRANS部３０２で残差成分は逆量子化及び逆変換が行われる。予測画像のうち、画面内予測されたマクロブロックはIntra予測部３１０で処理が行われ、IQ/ITRANS部３０２からの出力と加算される。予測画像のうち画面間の動き予測または視差間予測の場合には、動き/視差間予測部３０９へ入力され、処理の後に、IQ/ITRANS部３０２からの出力と加算される。動き予測/視差間予測で利用される参照画像は、参照画像バッファ３０６に保存される。

次に、動き/視差間予測部３０９について、説明する。動き/視差補償ブロック分割部３０９ａで、マクロブロックを動き/視差補償ブロックに分割を行う。ここでは、動き/視差補償ブロック毎に、ベクトル残差と、参照画像を特定する参照番号と、双方向/前方向/後方向の予測方向の情報を得る。この情報を元に、予測種別判定部３０９ｂで動き/視差補償ブロックが動き補償ブロックか視差補償ブロックであるかの判定を行ない、動き/視差補償ブロック分割部３０９ａからの出力である予測方向と、参照画像バッファ３０６から、参照番号から特定された参照画像と、既にデコードされたマクロブロックのベクトルを動き補償予測部３０９ｃ、視差補償予測部３０９ｄに振り分ける。またベクトル残差を、動き/視差補償ブロック分割部３０９ａから、動き補償予測部３０９ｃ、視差補償予測部３０９ｄに振り分ける。動き補償予測部３０９ｃでは、参照画像バッファ３０６からのデコード済みのベクトルから動き補償ブロックのベクトルの予測値を求め、この予測値とベクトル残差を加算し、実際のベクトルを求める。視差補償予測部３０９ｄでも同様で、参照画像バッファ３０６からのデコード済みのベクトルから視差補償ブロックのベクトルの予測値を求め、この予測値とベクトル残差を加算し、実際のベクトルを求める。算出されたベクトル及び参照画像から予測補間を行なう際、動き補償予測部３０９ｃと視差補償予測部３０９ｄで処理方法が異なる（後述）。動き補償予測部３０９ｃと視差補償予測部３０９ｄから得られる画素ブロックを重み付け処理部３０９ｅで重み付け処理した後、予測画素ブロックを得て、1マクロブロックを構成した後、IQ/ITRANS部３０２から出力される残差成分と加算した後、モニタ出力される。

図3に動き予測により補間される画素位置を示す。動きベクトルは1/4精度の精度をもち、整数精度部と1/4精度部にベクトルを分けると、基準となる整数画素位置に対して、斜線で示した1/4画素に動きベクトルが指す場合に、画素補間が行なわれる。図4に視差予測により補間される画素位置を示す。視差ベクトルは動きベクトルと同様に1/4精度の精度をもち、H.264規格書の通りであると、図3の動き予測による補間画素と同じ画素位置が補間されるが、本特許では図4の視差予測により補間される画素位置のように、水平方向では1/4精度の精度をもつが、垂直方向成分は整数精度とすることで、補間生成される画素を減らすことができる。垂直方向成分の視差ベクトルを整数精度にする手段は、切捨て処理もしくは丸め処理による。この視差ベクトルの垂直成分の整数精度化により、視差補間部での補間処理時間または処理回路を削減することができる。

以下で、H.264での動き予測による補間処理と、本実施形態の視差予測による補間予測を比較する。
図5に本実施形態の装置の説明のために利用する画素ライン、画素列の識別図を示す。画素ラインはline1〜line6で示し、画素列はcol1〜col6で示す。図中の灰色で示された四角が整数画素位置であり、そのうち画素Gが図3，4で示した基準となる整数画素である。白色で示された四角が補間によって生成された画素位置である。処理の概略を1/4精度の画素位置の画素を生成するためには(例：f)、第一段階は1/2精度の画素位置の画素を6tapFIRフィルタによって得る（例：line1の整数画素ラインを入力としてaa、以下、line2からbb、line3からb、line4からs、line5からgg、line6からhhを得る）。得られた1/2精度の画素位置の画素（例：aa,bb,b,s,gg,hh）から4つの整数画素(例：G、H、M、N)の中間位置にある1/2精度の画素位置の画素を6tapFIRフィルタによって生成する（例：aa,bb,b,s,gg,hhを入力として、jを生成する）。1/2画素位置の画素二つの平均をとって、中間の1/4精度の画素位置の画素を生成する（例：jとbの平均値フィルタによって、fが生成される）。

図6に、動き補償予測部３０９ｃの画素補間生成部を示す。入力する整数位置の画素は、G,H,M及びline1〜6の6画素で構成される画素ライン及び、col1〜6の6画素で構成される画素列である(但し、col3はG,Mを含む6画素列、col4はHを含む6画素列、line3はG,Hを含む6画素ライン、line4はMを含む6画素ライン）。出力される画素信号は、G及び補間生成されたa,b,c,d,e,f,g,h,i,j,k,n,p,q,rである。1/4精度ベクトル判定部では、ベクトルの1/4精度部を判定し、水平成分(x)、垂直成分(y)の大きさから、生成する画素位置を求め、処理の切り替えを行なう。処理の切り替え信号は、6tap w/SW (with switch)FIR filter×6, 6tap w/SW FIR filterと、出力最終段へ入力し、生成画素に関係する回路だけをONにする。6tap w/SW FIR filterは図7で詳細を示す。これは、1/4精度ベクトル判定部からのON信号によって、6画素信号の入力を6tap FIR filterで受付け、フィルタされた画素として出力する。フィルタ係数は、(1,-5,20,20,-5,1)/32である。ONにする条件は補間生成される座標位置によって異なり、条件となる座標位置を図6の1/4精度ベクトル判定部からの矢印に記載した。6tap w/SW FIR filterx6は図8で詳細を示す。これは6tap w/SW FIR filterを6つ備え、1/4精度ベクトル判定部からの信号から同時にON/OFFされ、6組の6画素信号が入力し、フィルタされた画素を出力する。図６の6tap FIR filterは6tap w/SW FIR filterx6から出力される6画素からなる信号から1画素を生成する。このフィルタ係数は、6tap w/SW FIR filterと同じく(1,-5,20,20,-5,1)/32である。aveは2画素信号を入力として、線形補間するフィルタで係数は(1/2,1/2)である。

一方、視差補償予測部３０９ｄの画素補間生成部を図９に示す。1/4精度の精度をもつ視差ベクトルが入力し、ベクトルy成分が処理される。整数精度への処理方法は、切捨て、切上げ及び丸めのどちらかを選択できる。入力される画素信号G,line3,Hは整数精度の画素位置の画素信号であり、出力される画素信号a,b,cは補間生成された信号である。1/4精度ベクトル判定部、6tap w/SW FIR filter、aveは、動き補償予測部３０９ｃの画素補間生成部と同じである。図6において、視差補償予測部３０９ｄの画素補間生成部に相当する箇所を四角の一点鎖線の枠で囲った。視差ベクトルも動きベクトルと同じ精度で処理を行なう場合に比べて、大きく回路規模が異なることが分かる。

図6で図示した回路は、1/4精度の画素位置に応じて異なる処理を明示する目的で、並列的に回路を記述したため、実際には動き補償予測部３０９ｃの画素補間生成部の回路は、図示した回路より小さい回路規模で構成されることが予想される。しかし、視差補償予測部３０９ｄの画素補間生成部では、6tap FIR filterを1段用意するだけでよいことを見ても、本特許によって回路規模、または処理速度が大きく削減されるメリットが分かる。

以上のようにして、視差間予測の視差ベクトルの演算の一部の実行を省略することにより、フレームあたりのデコードに必要な処理を大幅に削減することができるようになる。そのため、たとえデコード処理の実行中にほかのプログラムが実行されていることにより、映像再生装置１が高負荷状態になっても、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合を招くようなことはなく、動画像データのデコードおよび再生をスムーズに継続して実行できるようになる。

以上説明した実施例によれば、視差間予測の類似性に着目し、視差間予測を行うピクチャの復号処理において、視差補償予測の垂直ベクトル成分を整数精度に演算することによりデコーダの処理量を軽減する。この軽減処理は常時行うのではなく、プレイヤーで行う各種処理の負荷を検出し、負荷が高い場合に行うようにすることにより、可能な限り画質劣化を抑える。

以上の実施形態の効果として、AV機器おけるプロセッサの負荷や電池残量に応じてビデオデコーダの処理の一部を省略することにより、消費電力の軽減や、膨大な処理量が必要となる多視点動画像のリアルタイムデコードを実現できる。

即ち動画像を復号する装置（図1）において，復号にかかる処理量を削減するため，以下のような処理を行う。
（１）処理負荷検出部において、ビデオデコーダの処理負荷と、ビデオ以外のオーディオ，レンダリングなどの処理負荷から、全体の処理負荷を検出する。ビデオデコーダではこの負荷情報に応じて簡略処理を制御する。（図2）

（２）ビデオデコーダの復号処理において簡略処理を指示された場合、視差間予測の視差ベクトルのうち垂直方向の視差ベクトル成分を整数精度で演算する．（図10）

以上の概要として、多視点動画像復号装置で、処理負荷検出部において、ビデオデコーダの処理負荷、ビデオ以外のオーディオ処理負荷、そしてレンダリング処理負荷などから全体の処理負荷を検出し、所定の負荷以上の場合に簡略処理を制御する。その場合、視差間予測の視差ベクトルのうち垂直方向の視差ベクトル成分を整数精度で演算する。

AV機器おけるプロセッサの負荷や電池残量に応じてビデオデコーダの処理の一部を省略することにより、消費電力の軽減や、膨大な処理量が必要となる多視点動画像のリアルタイムデコードを実現できる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。左右２画面の立体視映像では、視差間予測の視差ベクトルのうち垂直方向の視差ベクトル成分の変動が少なく、整数精度で演算することによる画質の低減は少ないという前提がある。これとは別にカメラを上下に並べて撮像した画像を処理するには、視差間予測の視差ベクトルのうち水平方向の視差ベクトル成分を整数精度で演算するように構成したほうが好適な場合がある。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１…映像再生装置、２…ハードディスクドライブ
３…フラッシュメモリ，６…ＭＰＵ，８…ＲＯＭ
１０…データプロセッサ部、
１００…動画像復号装置、２００…処理負荷検出部
３００…ビデオデコーダ、３０２…IQ/ITRANS部
３０９…動き/視差間予測部、３１１…モード切替スイッチ

Claims (4)

1. 圧縮符号化された動画像ストリームをデコードする動画像復号装置であって、
   デコードする各フレームの処理対象ブロックに対して、すでにデコード処理が行われた他視点の処理対象ブロックから得られるベクトル情報に応じて、整数画素間の画素を補間する視差間予測処理を行う視差間予測手段と、
   デコードに要する処理負荷を含む装置内処理負荷の大きさを検出する負荷検出手段と、
   前記負荷検出手段により検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて、垂直方向の整数画素間の前記視差間予測処理の省略をするか否かを判定するための判定を行う判定手段と、
   前記判定手段の判定結果に基づき、前記負荷レベルが閾値より小さくないと判定された場合は、前記視差間予測手段が、前記処理対象ブロックの垂直方向の整数画素間の視差間予測処理の省略を行い、前記処理対象ブロックの水平方向の整数画素間の視差間予測処理を行うように制御する制御手段とを有する動画像復号装置。
2. 前記省略は垂直方向の視差ベクトル成分を整数精度で演算するものである請求項１に記載の動画像復号装置。
3. デコードされた前記各フレームを表示するモニタを更に備えた請求項１に記載の動画像復号装置。
4. 圧縮符号化された動画像ストリームをデコードする動画像復号方法であって、
   デコードに要する処理負荷を含む装置内処理負荷の大きさを検出し、
   デコードする各フレームの処理対象ブロックに対して、すでにデコード処理が行われた他視点の処理対象ブロックから得られるベクトル情報に応じて、整数画素間の画素を補間する視差間予測処理において、前記検出された前記装置内処理負荷の大きさのレベルを示す負荷レベルに応じて、垂直方向の整数画素間の前記視差間予測処理を省略をするか否かを判定し、
   前記判定結果に基づき、前記負荷レベルが閾値より小さくないと判定された場合は、前記処理対象ブロックの垂直方向の整数画素間の前記視差間予測処理の省略を行い、前記処理対象ブロックの水平方向の整数画素間の視差間予測処理を行うように制御する動画像復号方法。

Images