JP4643453B2

JP4643453B2 - 情報処理装置及び情報処理装置の動画像復号方法

Info

Publication number: JP4643453B2
Application number: JP2006002973A
Authority: JP
Inventors: 達朗藤澤; 義浩菊池; 裕司川島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-01-10
Filing date: 2006-01-10
Publication date: 2011-03-02
Anticipated expiration: 2026-01-10
Also published as: US20070160140A1; JP2007184870A; US8625668B2

Description

本発明は、圧縮符号化された動画像ストリームを復号する動画像復号処理をソフトウェアによって実現する情報処理装置及びその動画像復号方法に関する。

動画像符号化の標準技術として、ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）のＨ．２６１やＨ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが開発されている。このＨ．２６１〜３、ＭＰＥＧ−１〜４などの技術を承継し、更に発展させた次世代動画像符号化方式として、ＩＳＯとＩＴＵが共同で標準化を行ったＨ．２６４がある。Ｈ．２６４では、ループ内フィルタの一つとして、ブロック境界で生じた歪みを緩和するためのデブロッキングフィルタが採用されており、特に低ビットレートでの画質改善効果を高めている（非特許文献１及び非特許文献２参照）。

一方、ＤＶＤ（Digital Versatile Disc）プレーヤ、ＴＶ装置のようなオーディオ・ビデオ（ＡＶ）機器と同様のＡＶ機能を備えたパーソナルコンピュータが開発されている。このようなパーソナルコンピュータにおいては、圧縮符号化された動画像ストリームをソフトウェアによってデコードするソフトウェアデコーダが用いられている。ソフトウェアデコーダの使用により、専用のハードウェアを設けることなく、圧縮符号化された動画像ストリームをプロセッサ（ＣＰＵ）によってデコードすることが可能になる。
ITU-T Recommendation H.264 (2003), "Advanced Video Coding for generic audiovisual services" | ISO/IEC 14496-10: 2003, "Information technology, Coding of audio-visual objects - Part 10: Advanced video coding" Ｈ．２６４／ＡＶＣ教科書（株式会社インプレスコミュニケーションズ）

ところが、上記パーソナルコンピュータ等の情報処理装置において、上記Ｈ．２６４に基づく標準化仕様等の動画像復号処理をソフトウェアによって実現する場合には、復号処理全体に占めるデブロッキングフィルタの処理量の割合が高いため、全体の負荷が高い場合にはリアルタイムでの復号処理が間に合わなくなり、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合が発生する可能性がある。特に、ノートブック型パーソナルコンピュータのようにバッテリ駆動による情報処理装置にあっては、バッテリ駆動モードで負荷が大きくなると消費電力が多くなり、駆動時間が極端に短くなってしまう。

本発明は上記の問題を解決するためになされたもので、デブロッキングフィルタ処理の効果を維持しながら、負荷を軽減して消費電力を低減し、リアルタイムでの復号処理を良好に行うことのできる情報処理装置及びその動画像復号方法を提供することを目的とする。

上記問題を解決するために、本発明に係る情報処理装置及びその動画像復号方法は、圧縮符号化された動画像ストリームをソフトウェアにより復号する場合に、前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいて画面内予測画像及び画面間予測画像のいずれか一方を選択的に生成し、前記動画像ストリームから、復号対象の量子化パラメータに基づいて差復号画像を生成し、前記選択的に生成される画面内予測画像及び画面間予測画像と前記残差復号画像とを加算して復号画像を生成し、前記復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、前記動画像ストリームから復号対象の量子化パラメータに関する情報、符号化モードに関する情報の少なくともいずれか一方を抽出し、その抽出情報に基づいて、前記フィルタ処理を省略するか否かを判定して、この判定の結果に基づいて前記フィルタ処理を選択的に省略するものとし、前記判定及び省略処理を有効にするか無効にするかを選択的に切り替えられるようにし、前記判定は、前記復号対象の量子化パラメータの代表値を特定して判定の基準となる閾値と比較し、その比較結果に基づいて前記省略の判定を行うこととし、前記判定の基準となる閾値には、復号された過去のピクチャあるいはスライスにおける前記量子化パラメータの代表値の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする。

このように、本発明では、復号対象の量子化パラメータに関する情報、符号化モードに関する情報の少なくともいずれか一方から画質改善のためのデブロッキングフィルタ処理が必要か不要かを予測可能であることを利用し、量子化パラメータまたは符号化モードに関する情報からデブロッキングフィルタ処理による負荷が大きく、復号処理速度に影響が出ると予測される場合には、そのフィルタ処理を省略することで復号処理を優先させ、量子化パラメータまたは符号化モードに関する情報からデブロッキングフィルタ処理による負荷が小さく、復号処理速度に影響が出ないと予測される場合には、そのフィルタ処理を実行させるようにし、さらにフィルタ処理に対する判定及び省略を有効にするか無効にするかを選択的に切り替えられるようにして、ユーザの選択操作あるいは条件別の自動切替を可能としている。

以上のように、本発明によれば、低ビットレートでの画質改善を図りつつ、デブロッキングフィルタ処理の効率を高め、負荷を軽減して消費電力を低減し、リアルタイムでの復号処理を良好に行うことのできる情報処理装置及びその動画像復号方法を提供することができる。

以下、図面を参照して本発明の実施の形態について説明する。

まず、図１及び図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。

図１はノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における正面図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２にはＬＣＤ（Liquid Crystal Display）１７から構成される表示装置が組み込まれており、そのＬＣＤ１７の表示画面はディスプレイユニット１２のほぼ中央に位置されている。

ディスプレイユニット１２は、コンピュータ本体１１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１を電源オン／オフするためのパワーボタン１４、入力操作パネル１５、およびタッチパッド１６などが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ起動ボタン１５Ａ、ＤＶＤ（Digital Versatile Disc）起動ボタン１５Ｂも含まれている。ＴＶ起動ボタン１５Ａは、デジタルＴＶ放送番組のような放送番組データの再生及び記録を行うためのＴＶ機能を起動するためのボタンである。ＴＶ起動ボタン１５Ａがユーザによって押下された時、ＴＶ機能を実行するためのアプリケーションプログラムが自動的に起動される。ＤＶＤ起動ボタン１５Ｂは、ＤＶＤに記録されたビデオコンテンツを再生するためのボタンである。ＤＶＤ起動ボタン１５Ｂがユーザによって押下された時、ビデオコンテンツを再生するためのアプリケーションプログラムが自動的に起動される。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、主メモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、デジタルＴＶ放送チューナ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４、およびネットワークコントローラ１２５等を備えている。

ＣＰＵ１１１は本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１から主メモリ１１３にロードされる、オペレーティングシステム（ＯＳ）、およびビデオ再生アプリケーションプログラム２０１のような各種アプリケーションプログラムを実行する。

ビデオ再生アプリケーションプログラム２０１は、圧縮符号化された動画像データをデコードおよび再生するためのソフトウェアである。このビデオ再生アプリケーションプログラム２０１は、Ｈ．２６４／ＡＶＣ規格に対応するソフトウェアデコーダである。ビデオ再生アプリケーションプログラム２０１は、Ｈ．２６４／ＡＶＣ規格で定義された符号化方式で圧縮符号化されている動画像ストリーム（例えば、デジタルＴＶ放送チューナ１２３によって受信されたデジタルＴＶ放送番組、光ディスクドライブ（ＯＤＤ）１２２から読み出されるＨＤ（High Definition）規格のビデオコンテンツ、など）をデコードするための機能を有している。

このビデオ再生アプリケーションプログラム２０１は、図３に示すように、負荷検出モジュール２１１、デコード制御モジュール２１２、およびデコード実行モジュール２１３を備えている。

デコード実行モジュール２１３は、Ｈ．２６４／ＡＶＣ規格で定義されたデコード処理を実行するデコーダである。負荷検出モジュール２１１は、コンピュータ１０の負荷を検出するモジュールである。この負荷検出モジュール２１１は、例えば、オペレーティングシステム（ＯＳ）２００にコンピュータ１０の現在の負荷を問い合わせることによって、コンピュータ１０の現在の負荷量を検出する。コンピュータ１０の負荷量は、例えば、ＣＰＵ１１１の使用率に基づいて決定される。

また、コンピュータ１０の負荷量は、ＣＰＵ１１１の使用率とメモリ１１３の使用率との組み合わせによって決定することもできる。通常、ソフトウェアデコーダをスムーズに実行するためには、ある一定サイズ以上のメモリが必要である。システムのメモリ使用率が高くなると、ＯＳのページングにより、ソフトウェアデコーダのデコードパフォーマンスは低下する。よって、ＣＰＵ１１１の使用率とメモリ１１３の使用率との組み合わせによってコンピュータ１０の負荷量を検出することにより、コンピュータ１０の現在の負荷量がソフトウェアデコーダの実行に支障を来す負荷量（高負荷状態）であるかどうかをより精度よく判別することができる。

デコード制御モジュール２１２は、負荷検出モジュール２１１によって検出されたコンピュータ１０の負荷に応じて、デコード実行モジュール２１３によって実行されるデコード処理の内容を制御する。

具体的には、デコード制御モジュール２１２は、コンピュータ１０の負荷量が予め決められた基準値以下である場合には、Ｈ．２６４／ＡＶＣ規格で定義されたデコード処理がＣＰＵ１１１によって実行されるように、デコード実行モジュール２１３によって実行すべきデコード処理の内容を制御する。一方、コンピュータ１０の負荷量が基準値よりも大きい場合には（高負荷状態）、デコード制御モジュール２１２は、Ｈ．２６４／ＡＶＣ規格で定義されたデコード処理の一部が省略または簡略された処理に置換されるように、デコード実行モジュール２１３によって実行すべきデコード処理の内容を制御する。

ビデオ再生アプリケーションプログラム２０１によってデコードされた動画像データは、表示ドライバ２０２を介してグラフィクスコントローラ１１４のビデオメモリ１１４Ａに順次書き込まれる。これにより、デコードされた動画像データはＬＣＤ１７に表示される。表示ドライバ２０２はグラフィクスコントローラ１１４を制御するためのソフトウェアである。

また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたシステムＢＩＯＳ（Basic Input Output System）も実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、主メモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能も有している。

グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このグラフィクスコントローラ１１４はビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれた画像データからＬＣＤ１７に送出すべき表示信号を生成する。

サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１１９は、ＨＤＤ１２１、ＯＤＤ１２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１１９は、デジタルＴＶ放送チューナ１２３を制御する機能、およびＢＩＯＳ−ＲＯＭ１２０をアクセス制御するための機能も有している。

ＨＤＤ１２１は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１２３は、ビデオコンテンツが格納されたＤＶＤなどの記憶メディアを駆動するためのドライブユニットである。デジタルＴＶ放送チューナ１２３は、デジタルＴＶ放送番組のような放送番組データを外部から受信するための受信装置である。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるＴＶ起動ボタン１５Ａ、ＤＶＤ起動ボタン１５Ｂの操作に応じて、本コンピュータ１０をパワーオンすることもできる。ネットワークコントローラ１２５は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。

次に、図４を参照して、ビデオ再生アプリケーションプログラム２０１によって実現されるソフトウェアデコーダの機能構成を説明する。

図４は本発明に係る動画像復号装置の一実施形態として、本発明をＨ．２６４に基づく標準化仕様のソフトウェアデコーダに適用した場合の構成を示すブロック図である。図４において、入力ストリームはＨ．２６４規格に沿って圧縮符号化された動画像ストリームであり、可変長変換部（エントロピー復号部とも称される）３０１に送られる。この可変長変換部３０１は、入力ストリームを可変長復号し、シンタックスを生成する。逆量子化部３０２、逆変換部３０３は、生成されたシンタックスに基づいて、動画像符号化ストリーム復号結果から残差画像を生成する。

一方、符号化モード制御部３０４は可変長変換部３０１の入力ストリームから符号化モードを判別し、その判別結果に基づいて画面内予測部３０５、画面間予測部３０６を選択的に駆動制御する。画面内予測部３０５、画面間予測部３０６は、それぞれ符号化モード制御部３０４で指定される符号化モードに従って画面内、画面間の予測画像を生成する。生成された予測画像は選択的に残差加算部３０７に送られる。この残差加算部３０７は画面内予測部３０５または画面間予測部３０６からの予測画像と逆変換部３０３からの残差画像とを加算し、復号画像を生成する。生成された復号画像は画面内予測部３０５において参照される。

また、デブロッキングフィルタ省略判定部３１０は、可変長変換部３０１から量子化ステップ等の量子化パラメータに関する情報、符号化モードに関する情報を抽出し、残差加算部３０７において生成された復号画像にデブロッキングフィルタ処理を行うかどうかを判定する。判定方法については後述する。ここで、デブロッキングフィルタ処理を行う場合は、デブロッキングフィルタ部３０８に復号画像が入力され、フィルタ処理を行って再構成画像を生成し、ピクチャメモリ３０９に記憶される。デブロッキングフィルタ処理を行わない場合は、復号画像が再構成画像として直接ピクチャメモリ３０９に記憶される。ピクチャメモリ３０９に記憶された再構成画像は出力画像として出力される他、画面間予測部３０６において参照される。

本発明の特徴は、処理負荷の高いデブロッキングフィルタを省略して処理量を削減する場合に、画質劣化を考慮して、画質劣化が少ないと予測される部分だけを省略して画質劣化を極力抑えつつ処理量の削減を図った点にある。具体的には、画質劣化を抑えるために、（１）フィルタ効果が弱い部分だけ省略すること（フィルタ効果が強い部分は省略しない）、（２）後続に誤差が伝わる部分は省略しないこと（独立な部分のみ省略する）を原則とする。

デブロッキングフィルタの省略判定には、可変長変換部３０１にて入力ストリームから得られる量子化パラメータに関する情報、符号化モードに関する情報を利用する。デブロッキングフィルタには、量子化パラメータが大きいほどフィルタがかかりやすい、符号化モードに関する情報（Ｂｓ値）が大きいほど強くフィルタがかかりやすいという特徴があり、本発明はこれらの特徴を利用して、フィルタ処理の省略を効果的に行う。

ここで、量子化パラメータとは、マクロブロックの直交変換係数（ＤＣＴ係数）を量子化する度合いで、この値が大きすぎるとブロックノイズと呼ばれるノイズが発生する。ブロックノイズの発生しやすさに合わせて、すなわち量子化パラメータが大きいほどフィルタ効果が強くなる。Ｈ．２６４規格の量子化パラメータには、スライスの量子化パラメータとマクロブロックの量子化パラメータが取り決められている。

（量子化パラメータに関する情報による省略判定）
量子化パラメータに関する情報により省略判定を行う場合には、量子化パラメータの代表値と予め決められた閾値とを比較し、
量子化パラメータの代表値＜閾値
となる場合にデブロッキングフィルタを省略するものとする。

上記量子化パラメータの代表値としては、以下の５パターンが考えられる。
パターン１：フィルタ処理の省略範囲をピクチャ単位とし、代表値を参照ピクチャに属するスライスの量子化パラメータの平均値とする。
パターン２：フィルタ処理の省略範囲をピクチャ単位とし、代表値を参照ピクチャに属するマクロブロックの量子化パラメータの平均値とする。
パターン３：フィルタ処理の省略範囲をスライス単位とし、代表値を参照スライスの量子化パラメータとする。
パターン４：フィルタ処理の省略範囲をスライス単位とし、代表値を参照スライスに属するマクロブロックの量子化パラメータの平均値とする。
パターン５：フィルタ処理の省略範囲をマクロブロック単位とし、代表値を参照マクロブロックの量子化パラメータとする。

上記閾値としては、以下の３種が考えられる。
（１）定数（固定値または負荷状態の程度に基づいて設定）
（２）過去（復号済み）のピクチャまたはスライスにおける代表値の平均値
（３）過去（復号済み）のピクチャまたはスライスにおける代表値の平均値にオフセット値（定数）を加算した値
（符号化モードに関する情報による省略判定）
次に、符号化モードに関する情報により省略判定を行う場合の第１乃至第４の方法を説明する。

符号化モードによる第１の方法は、復号対象がＩピクチャ中のスライス（以下、Ｉスライス）の場合にデブロッキングフィルタ処理を省略しないものとする。イントラ予測マクロブロックではフィルタ効果が強く、省略による画質劣化が大きくなるためである。この方法では、以下の２パターンが考えられる。

パターン１：フィルタ処理の省略範囲をスライス単位とし、参照スライスがＩスライスの場合には省略しない。
パターン２：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属するＩスライスの数または割合が閾値より多い場合には省略しない。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去のピクチャにおけるＩスライス数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

符号化モードによる第２の方法は、復号対象がイントラ予測マクロブロックの場合にデブロッキングフィルタ処理を省略しないものとする。前述のように、イントラ予測マクロブロックではフィルタ効果が強く、省略による画質劣化が大きくなるためである。この方法では、以下の３パターンが考えられる。

パターン１：フィルタ処理の省略範囲をマクロブロック単位とし、参照マクロブロックがイントラ予測マクロブロックの場合には省略しない。
パターン２：フィルタ処理の省略範囲をスライス単位とし、参照スライスに属するイントラ予測マクロブロック数が閾値より多い場合には省略しない。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のスライスに属するイントラ予測マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。
パターン３：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属するイントラ予測マクロブロック数が閾値より多い場合には省略しない。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャに属するイントラ予測マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

符号化モードによる第３の方法は、復号対象がＢピクチャ中のスライス（以下、Ｂスライス）の場合にデブロッキングフィルタ処理を省略する。Ｂスライスでは後続の参照を受けないため画質劣化が後続に波及しないこと、かつ処理量が多いため省略の効果が大きいことがその理由である。この方法では、以下の２パターンが考えられる。

パターン１：フィルタ処理の省略範囲をスライス単位とし、参照スライスがＢスライスの場合には省略する。
パターン２：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属するＢスライス数が閾値より多い場合には省略する。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャに属するＢスライス数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

符号化モードによる第４の方法は、Ｂピクチャの双予測マクロブロック（以下、双予測（Ｂ）マクロブロック）の場合には、後続の参照を受けず、かつ処理量が多いため、フィルタ処理を省略する。この方法では、以下の３パターンが考えられる。

パターン１：フィルタ処理の省略範囲をマクロブロック単位とし、参照マクロブロックが双予測（Ｂ）マクロブロックの場合には省略する。
パターン２：フィルタ処理の省略範囲をスライス単位とし、参照スライスに属する双予測（Ｂ）マクロブロック数が閾値より多い場合には省略する。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のスライスに属する双予測（Ｂ）マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。
パターン３：フィルタ処理の省略範囲をピクチャ単位とし、参照ピクチャに属する双予測（Ｂ）マクロブロック数が閾値より多い場合には省略する。閾値には、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャに属する双予測（Ｂ）マクロブロック数（または割合）の平均値（または平均値にオフセット値（定数）を加算した値）を利用する。

上記デブロッキングフィルタ処理の省略判定処理によれば、大幅な画質の劣化を防ぎつつ処理量を削減することができる。さらに、従来の構成に対する変更点が非常に少ないため、本発明の構成を容易に組み込みことが可能である。

ここで、上記の動画像復号方法では、従来の方法に比べて、デブロッキングフィルタ省略判定部３１０で行われる判定処理の処理量分だけ増加してしまう。しかしながら、これは省略可能なデブロッキングフィルタ処理全体に対して非常に小さいと考えられるため、全体として処理量を大幅に削減することができると考えられる。

図５は、図４に示したソフトウェアデコーダを動画像復号部４０１として含む情報処理装置の構成例を示している。この情報処理装置は、処理負荷検出部４０２を備える。この処理負荷検出部４０２は、動画像復号部４０１から動画像復号処理の処理負荷情報を取得する他、音声・オーディオ信号の復号処理、レンダリング処理等、システムの他の処理負荷情報を取得し、入力された負荷情報より全体の負荷を算出し、その負荷情報を動画像復号部２０１に通知する。また、バッテリ駆動時には、例えばバッテリの残量通知を受け、許容残量を下回った場合には、処理負荷の状況にかかわらず、動画像復号部４０１にデブロッキングフィルタ処理の省略制御を実行させる。また、ＡＣ電源駆動時には、自動的にデブロッキングフィルタ処理の省略をオフにして、画質向上に努めることが望ましい。

上記負荷情報は、動画像復号部４０１の中で、図４におけるデブロッキングフィルタ省略判定部３１０に入力される。この判定部３１０の基本的な処理例を図６及び図７に示す。尚、図７において、図６と同一ステップには同一符号を付して示す。

図６に示す処理例では、まず復号処理時に省略判定の開始が指示されると、フィルタ処理の省略範囲をピクチャ、スライス、マクロブロックのいずれかの単位のループに設定し（ステップＳ１１）、高負荷状態にあるかを判定する（ステップＳ１２）。ここで、高負荷状態にあると判定された場合には、復号対象の符号化モード、量子化パラメータに関する情報から前述の方法による省略条件に適合するかを判定し（ステップＳ１３）、適合する場合には復号対象のデブロッキングフィルタ処理が省略されるように処理を行う（ステップＳ１４）。ステップＳ１３で省略条件に適合しないと判定された場合には、ステップＳ１４の処理をパスして次の復号対象の処理に移行する。また、ステップＳ１２で高負荷状態にないと判定された場合には、デブロッキングフィルタ処理がリアルタイムで実行可能であるため、省略判定処理を終了し、デブロッキングフィルタ処理を実行させる。

これに対し、図７に示す処理例では、高負荷状態の判定ステップＳ１２で高負荷状態と判定されたとき、負荷の程度から条件判定用の閾値を設定し（ステップＳ２１）、この閾値を用いて前述のステップＳ１３と同様に省略条件の適合判定を行う（ステップＳ２２）。

すなわち、上記２つの処理例の手順では、いずれも復号対象毎に負荷状態に応じてフィルタ処理を適切に制御することで、システム全体の負荷が低い場合や処理能力の高いシステムの場合にデブロッキングフィルタ処理の省略が行われず、十分にリアルタイムでの復号処理が可能である場合にデブロッキングフィルタ処理が実行されるようにしている。このため、不必要な画質劣化を防ぎつつ、効果的にフィルタ処理を省略することができる。

以下、上記デブロッキングフィルタ省略判定部３１０の省略判定方法の一部について、省略条件別に実施例をあげて説明する。

（第１の実施例）
図８は、第１の実施例として、前述の量子化パラメータに関する情報による省略判定におけるパターン３の場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をスライス単位のループに設定する（ステップＳ３１）。次に、高負荷状態か判定し（ステップＳ３２）、高負荷状態ならば、代表値に復号対象のスライスの量子化パラメータを設定し（ステップＳ３３）、閾値に（復号済みのスライスの量子化パラメータの平均値）＋定数（オフセット値）を設定して（ステップＳ３４）、代表値が閾値より小さいかを判定する（ステップＳ３５）。代表値が閾値より小さい場合には、復号対象のスライスのデブロッキングフィルタ処理が省略されるように処理し（ステップＳ３６）、復号対象のスライスの量子化パラメータを記憶して次のスライス単位の省略判定に移行する（ステップＳ３７）。上記ステップＳ３５において、代表値が閾値より小さくないと判定された場合には、ステップＳ３６をパスするものとする。また、上記ステップＳ３２において、高負荷状態でないと判定された場合には、復号対象のスライスに対してデブロッキングフィルタ処理を実行するように処理する。

（第２の実施例）
図９は、第２の実施例として、前述の量子化パラメータに関する情報による省略判定におけるパターン２の場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ単位のループに設定する（ステップＳ４１）。次に、高負荷状態か判定し（ステップＳ４２）、高負荷状態ならば、代表値に（復号対象のピクチャに属するマクロブロックの量子化パラメータの平均値）を設定し（ステップＳ４３）、閾値に定数を設定して（ステップＳ４４）、代表値が閾値より小さいかを判定する（ステップＳ４５）。代表値が閾値より小さい場合には、復号対象のピクチャのデブロッキングフィルタ処理が省略されるように処理する（ステップＳ４６）。上記ステップＳ４５において、代表値が閾値より小さくないと判定された場合には、ステップＳ４６をパスするものとする。また、上記ステップＳ４２において、高負荷状態でないと判定された場合には、復号対象のピクチャに対してデブロッキングフィルタ処理を実行するように処理する。

（第３の実施例）
図１０は、第３の実施例として、前述の符号化モードに関する情報による省略判定における第３の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をスライス単位のループに設定する（ステップＳ５１）。次に、高負荷状態か判定し（ステップＳ５２）、高負荷状態ならば、復号対象がＢスライスか判定し（ステップＳ５３）、Ｂスライスならば復号対象のスライスのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ５４）、次のスライス単位の省略判定に移行する。ステップＳ５３でＢスライスでないと判定された場合には、ステップＳ５４の処理をパスするものとする。また、上記ステップＳ５２において、高負荷状態でないと判定された場合には、復号対象のスライスに対してデブロッキングフィルタ処理を実行するように処理する。

（第４の実施例）
図１１は、第４の実施例として、前述の符号化モードに関する情報による省略判定における第３の方法のパターン２による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ単位のループに設定する（ステップＳ６１）。次に、高負荷状態か判定し（ステップＳ６２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャにおけるＢスライスの割合の平均値に定数を加算した値を設定し（ステップＳ６３）、復号対象のピクチャ中のＢスライスの割合が閾値より大きいか判定し（ステップＳ６４）、Ｂスライスの割合が閾値より大きい場合には、復号対象のピクチャのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ６５）、次のピクチャ単位の省略判定に移行する。ステップＳ６４でＢスライスの割合が閾値より大きくないと判定された場合には、ステップＳ６５の処理をパスするものとする。また、上記ステップＳ６２において、高負荷状態でないと判定された場合には、復号対象のピクチャに対してデブロッキングフィルタ処理を実行するように処理する。

（第５の実施例）
図１２は、第５の実施例として、前述の符号化モードに関する情報による省略判定における第４の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をマクロブロック単位のループに設定する（ステップＳ７１）。次に、高負荷状態か判定し（ステップＳ７２）、高負荷状態ならば、復号対象が双予測（Ｂ）マクロブロックか判定し（ステップＳ７３）、双予測（Ｂ）マクロブロックならば復号対象のマクロブロックのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ７４）、次のマクロブロック単位の省略判定に移行する。ステップＳ７３で双予測（Ｂ）マクロブロックでないと判定された場合には、ステップＳ７４の処理をパスするものとする。また、上記ステップＳ７２において、高負荷状態でないと判定された場合には、復号対象のマクロブロックに対してデブロッキングフィルタ処理を実行するように処理する。

（第６の実施例）
図１３は、第６の実施例として、前述の符号化モードに関する情報による省略判定における第４の方法のパターン２（または３）による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ（またはスライス）単位のループに設定する（ステップＳ８１）。次に、高負荷状態か判定し（ステップＳ８２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャ（またはスライス）におけるＢスライスの割合の平均値に定数を加算した値を設定し（ステップＳ８３）、復号対象のピクチャ（またはスライス）中のＢスライスの割合が閾値より大きいか判定し（ステップＳ８４）、Ｂスライスの割合が閾値より大きい場合には、復号対象のピクチャ（またはスライス）のデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ８５）、次のピクチャ（またはスライス）単位の省略判定に移行する。ステップＳ８４でＢスライスの割合が閾値より大きくないと判定された場合には、ステップＳ８５の処理をパスするものとする。また、上記ステップＳ８２において、高負荷状態でないと判定された場合には、復号対象のピクチャ（またはスライス）に対してデブロッキングフィルタ処理を実行するように処理する。

（第７の実施例）
図１４は、第７の実施例として、前述の符号化モードに関する情報による省略判定における第１の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をスライス単位のループに設定する（ステップＳ９１）。次に、高負荷状態か判定し（ステップＳ９２）、高負荷状態ならば、復号対象がＩスライスではないか判定し（ステップＳ９３）、Ｉスライスでないと判定された場合には、復号対象のスライスのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ９４）、次のスライス単位の省略判定に移行する。ステップＳ９３でＩスライスであると判定された場合には、ステップＳ９４の処理をパスするものとする。また、上記ステップＳ９２において、高負荷状態でないと判定された場合には、復号対象のスライスに対してデブロッキングフィルタ処理を実行するように処理する。

（第８の実施例）
図１５は、第８の実施例として、前述の符号化モードに関する情報による省略判定における第１の方法のパターン２による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ単位のループに設定する（ステップＳ１０１）。次に、高負荷状態か判定し（ステップＳ１０２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャにおけるＩスライスの割合の平均値に定数を加算した値を設定し（ステップＳ１０３）、復号対象のピクチャ中のＩスライスの割合が閾値より小さいか判定し（ステップＳ１０４）、Ｉスライスの割合が閾値より小さい場合には、復号対象のピクチャのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ１０５）、次のピクチャ単位の省略判定に移行する。ステップＳ１０４でＩスライスの割合が閾値より小さくないと判定された場合には、ステップＳ１０５の処理をパスするものとする。また、上記ステップＳ１０２において、高負荷状態でないと判定された場合には、復号対象のピクチャに対してデブロッキングフィルタ処理を実行するように処理する。

（第９の実施例）
図１６は、第９の実施例として、前述の符号化モードに関する情報による省略判定における第２の方法のパターン１による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をマクロブロック単位のループに設定する（ステップＳ１１１）。次に、高負荷状態か判定し（ステップＳ１１２）、高負荷状態ならば、復号対象がイントラ予測マクロブロックか判定し（ステップＳ１１３）、イントラ予測マクロブロックでないと判定された場合には、復号対象のマクロブロックのデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ１１４）、次のマクロブロック単位の省略判定に移行する。ステップＳ１１３でイントラ予測マクロブロックであると判定された場合には、ステップＳ１１４の処理をパスするものとする。また、上記ステップＳ１１２において、高負荷状態でないと判定された場合には、復号対象のマクロブロックに対してデブロッキングフィルタ処理を実行するように処理する。

（第１０の実施例）
図１７は、第１０の実施例として、前述の符号化モードに関する情報による省略判定における第２の方法のパターン３（または２）による場合の処理を示すフローチャートである。この実施例では、まずフィルタ処理の省略範囲をピクチャ（またはスライス）単位のループに設定する（ステップＳ１２１）。次に、高負荷状態か判定し（ステップＳ１２２）、高負荷状態ならば、閾値として、定数（固定値または負荷状態の程度に基づいて設定）、または過去（復号済み）のピクチャ（またはスライス）におけるイントラ予測マクロブロックの割合の平均値に定数を加算した値を設定し（ステップＳ１２３）、復号対象のピクチャ（またはスライス）中のイントラ予測マクロブロックの割合が閾値より小さいか判定し（ステップＳ１２４）、イントラ予測マクロブロックの割合が閾値より小さい場合には、復号対象のピクチャ（またはスライス）のデブロッキングフィルタ処理が省略されるように処理を行い（ステップＳ１２５）、次のピクチャ（またはスライス）単位の省略判定に移行する。ステップＳ１２４でイントラ予測マクロブロックの割合が閾値より小さくないと判定された場合には、ステップＳ１２５の処理をパスするものとする。また、上記ステップＳ１２２において、高負荷状態でないと判定された場合には、復号対象のピクチャ（またはスライス）に対してデブロッキングフィルタ処理を実行するように処理する。

以上、第１乃至第１０の実施例を説明したが、前述した他のパターンについても同様に実施可能である。また、量子化パラメータ及び符号化モードそれぞれに関する情報による省略判定の個々のパターンを組み合わせることにより、より効率的な省略を実施可能である。

尚、本発明は、上記のような動画像復号装置として実現することができるだけでなく、このような動画像復号方法が含む特徴的なステップを手段として備える動画像復号方法として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るコンピュータの概観を示す斜視図。図１のコンピュータのシステム構成を示すブロック図。図１のコンピュータで用いられるビデオ再生アプリケーションプログラムの機能構成を示すブロック図。図３のビデオ再生アプリケーションプログラムによって実現されるソフトウェアデコーダとして、Ｈ．２６４に基づく標準化仕様の動画像復号処理に適用した場合の構成を示すブロック図。図１に示した動画像復号装置を動画像復号部として含むコンテンツ情報処理システムの構成例を示すブロック図。図４におけるデブロッキングフィルタ省略判定部の基本的な処理例を示すフローチャート。図４におけるデブロッキングフィルタ省略判定部の他の基本的な処理例を示すフローチャート。第１の実施例として、量子化パラメータに関する情報による省略判定におけるパターン３の場合の処理を示すフローチャート。第２の実施例として、量子化パラメータに関する情報による省略判定におけるパターン２の場合の処理を示すフローチャート。第３の実施例として、符号化モードに関する情報による省略判定における第３の方法のパターン１による場合の処理を示すフローチャート。第４の実施例として、符号化モードに関する情報による省略判定における第３の方法のパターン２による場合の処理を示すフローチャート。第５の実施例として、符号化モードに関する情報による省略判定における第４の方法のパターン１による場合の処理を示すフローチャート。第６の実施例として、符号化モードに関する情報による省略判定における第４の方法のパターン２（または３）による場合の処理を示すフローチャート。第７の実施例として、符号化モードに関する情報による省略判定における第１の方法のパターン１による場合の処理を示すフローチャート。第８の実施例として、符号化モードに関する情報による省略判定における第１の方法のパターン２による場合の処理を示すフローチャート。第９の実施例として、符号化モードに関する情報による省略判定における第２の方法のパターン１による場合の処理を示すフローチャート。第１０の実施例として、符号化モードに関する情報による省略判定における第２の方法のパターン３（または２）による場合の処理を示すフローチャート。

符号の説明

３０１…可変長変換部（エントロピー復号部）、３０２…逆量子化部、３０３…逆変換部、３０４…符号化モード制御部、３０５…画面内予測部、３０６…画面間予測部、３０７…残差加算部、３０８…デブロッキングフィルタ部、３０９…ピクチャメモリ、３１０…デブロッキングフィルタ省略判定部。

Claims

圧縮符号化された動画像ストリームをソフトウェアにより復号する情報処理装置において、
前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいて画面内予測画像及び画面間予測画像のいずれか一方を選択的に生成する予測復号手段と、
前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成する残差復号手段と、
前記予測復号手段で選択的に生成される画面内予測画像及び画面間予測画像と前記残差復号手段によって生成される残差復号画像とを加算して復号画像を生成する残差加算手段と、
前記残差加算手段で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施すフィルタ処理手段と、
前記動画像ストリームから復号対象の量子化パラメータに関する情報、符号化モードに関する情報の少なくともいずれか一方を抽出し、その抽出情報に基づいて、前記フィルタ処理を省略するか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて前記フィルタ処理を選択的に省略する省略手段と、
前記判定手段及び省略手段を有効にするか無効にするかを選択的に切り替える切替手段と
を具備し、
前記判定手段は、前記復号対象の量子化パラメータの代表値を特定して判定の基準となる閾値と比較し、その比較結果に基づいて前記省略の判定を行うこととし、
前記判定の基準となる閾値には、復号された過去のピクチャあるいはスライスにおける前記量子化パラメータの代表値の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする情報処理装置。
前記切替手段は、商用電源駆動時には無効状態とし、バッテリ駆動時にバッテリ残量情報に基づいて自動的に有効状態に切り替えることを特徴とする請求項１記載の情報処理装置。
前記判定手段は、前記復号画像のスライス単位、またはマクロブロック単位、または任意個数のマクロブロック単位、またはピクチャ単位で判定を行うことを特徴とする請求項１記載の情報処理装置。
前記復号対象の量子化パラメータの代表値には、スライスの量子化パラメータ、またはスライスに属するマクロブロックの量子化パラメータの平均値、またはマクロブロックの量子化パラメータ、任意個数のマクロブロックの量子化パラメータの平均値、またはピクチャに属するスライスの量子化パラメータの平均値、またはピクチャに属するマクロブロックの量子化パラメータの平均値を用いることを特徴とする請求項１記載の情報処理装置。
前記判定手段は、前記復号対象の符号化モードに関する情報が少なくとも画面内予測のみのピクチャであって、他のピクチャから参照されるピクチャ内のスライスの場合には、前記フィルタ処理を省略しないと判定することを特徴とする請求項１記載の情報処理装置。
前記判定手段は、前記復号対象の符号化モードに関する情報が少なくとも画面内予測マクロブロックの場合には、前記フィルタ処理を省略しないと判定することを特徴とする請求項１記載の情報処理装置。
前記判定手段は、前記復号対象の符号化モードに関する情報が少なくとも非参照ピクチャ内のスライスの場合には、前記フィルタ処理を省略すると判定することを特徴とする請求項１記載の情報処理装置。
前記判定手段は、前記復号対象の符号化モードに関する情報が少なくとも双予測マクロブロック（双方向の画面間予測マクロブロック）の場合には、前記フィルタ処理を省略すると判定することを特徴とする請求項１記載の情報処理装置。
情報処理装置に用いられ、圧縮符号化された動画像ストリームをソフトウェアにより復号する動画像復号方法において、
前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいて画面内予測画像及び画面間予測画像のいずれか一方を選択的に生成し、
前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成し、
前記選択的に生成される画面内予測画像及び画面間予測画像と前記残差復号画像とを加算して復号画像を生成し、
前記復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、
前記動画像ストリームから復号対象の量子化パラメータに関する情報、符号化モードに関する情報の少なくともいずれか一方を抽出し、その抽出情報に基づいて、前記フィルタ処理を省略するか否かを判定して、この判定の結果に基づいて前記フィルタ処理を選択的に省略するものとし、
前記判定及び省略処理を有効にするか無効にするかを選択的に切り替えられるようにし、
前記判定は、前記復号対象の量子化パラメータの代表値を特定して判定の基準となる閾値と比較し、その比較結果に基づいて前記省略の判定を行うこととし、
前記判定の基準となる閾値には、復号された過去のピクチャあるいはスライスにおける前記量子化パラメータの代表値の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする動画像復号方法。
前記判定及び省略処理について、商用電源駆動時には無効状態とし、バッテリ駆動時にバッテリ残量情報に基づいて自動的に有効状態に切り替えることを特徴とする請求項９記載の動画像復号方法。