JP4643437B2

JP4643437B2 - 情報処理装置

Info

Publication number: JP4643437B2
Application number: JP2005375203A
Authority: JP
Inventors: 裕司川島; 義浩菊池; 達朗藤澤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-12-27
Filing date: 2005-12-27
Publication date: 2011-03-02
Anticipated expiration: 2025-12-27
Also published as: CN1992899A; US20070147515A1; EP1819171A2; JP2007180767A

Description

本発明は、動画像符号化データを復号する動画像復号処理機能を備えた情報処理装置に関する。

動画像符号化の標準技術として、ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）のＨ．２６１やＨ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが開発されている。このＨ．２６１〜３、ＭＰＥＧ−１〜４などの技術を承継し、更に発展させた次世代動画像符号化方式として、ＩＳＯとＩＴＵが共同で標準化を行ったＨ．２６４がある。Ｈ．２６４では、ループ内フィルタの一つとして、ブロック境界で生じた歪みを緩和するためのデブロッキングフィルタが採用されており、特に低ビットレートでの画質改善効果を高めている（非特許文献１及び非特許文献２参照）。
ITU-T Recommendation H.264 (2003), "Advanced Video Coding for generic audiovisual services" | ISO/IEC 14496-10: 2003, "Information technology, Coding of audio-visual objects - Part 10: Advanced video coding" Ｈ．２６４／ＡＶＣ教科書（株式会社インプレスコミュニケーションズ）

ところが、上記Ｈ．２６４に基づく標準化仕様の動画像復号処理機能を備えた情報処理装置では、実際には復号処理全体に占めるループ内フィルタ処理、特にデブロッキングフィルタの処理量の割合が高いため、ＣＰＵ（演算処理装置）やグラフィック・コントローラの処理能力の低い場合、あるいは全体の処理負荷が高い場合には、リアルタイムでの復号処理が間に合わなくなり、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合が発生する可能性がある。

本発明は上記の問題を解決するためになされたもので、低ビットレートでの画質改善を図りつつ、ループ内フィルタ処理を段階的に行い、システム全体の負荷レベルに応じてフィルタ処理を軽減してリアルタイムでの復号処理を良好に行うことのできる情報処理装置を提供することを目的とする。

上記問題を解決するために、本発明は、動画像符号化データを復号処理する復号手段と、前記動画像符号化データ以外のデータ処理に要する負荷情報を取得する負荷情報取得手段とを具備し、前記復号手段は、前記動画像符号化データから予測復号画像を生成する予測復号手段と、前記動画像符号化データから量子化された直交変換係数を逆量子化、逆変換して残差復号画像を生成する逆量子化・逆変換手段と、前記予測復号画像と前記逆量子化・逆変換手段によって生成された残差復号画像とを加算して復号画像を生成する残差加算手段と、前記復号画像の各画面のブロック歪みを低減するためのデブロッキングフィルタ処理を行うフィルタ処理手段とを備え、前記フィルタ処理手段は、前記負荷情報取得手段で取得される負荷情報から全体の処理負荷のレベルを検出する負荷レベル検出手段と、前記デブロッキングフィルタ処理に要するパラメータから前記デブロッキングフィルタ処理による画素値の変化が小さい境界を検出する境界検出手段と、前記処理負荷のレベルに応じて前記画素値の変化が小さい境界から順にデブロッキングフィルタ処理を省略する省略手段とを備えることを特徴とする。

このように、本発明では、予め前記動画像符号化データの復号に要するパラメータに基づきフィルタ処理の省略優先順位を決定しておき、動画像符号化データ以外のデータ処理に要する負荷情報から負荷レベルを求め、そのレベルに応じて前記フィルタ処理を前記優先順位に従って段階的に省略するようにして、他のデータ処理の負荷レベルに応じてフィルタ処理の負荷を段階的に軽減し、復号処理速度に影響が出ないようにしている。

以上のように、本発明によれば、低ビットレートでの画質改善を図りつつ、ループ内フィルタ処理を段階的に行い、システム全体の負荷レベルに応じてフィルタ処理を軽減してリアルタイムでの復号処理を良好に行うことのできる情報処理装置を提供することができる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は本発明に係る動画像復号機能を備えた情報処理装置の一実施形態の基本構成を示すブロック図である。図１に示す情報処理装置では、伝送系から入力される圧縮符号化された動画像ストリーム（動画像符号化データ）を、例えばＨ．２６４に基づく標準化仕様のグラフィック・コントローラによるビデオデコーダ１０に供給し、デコード処理して出力する。このとき、ビデオデコーダ１０は、デコードに要した処理負荷を負荷情報取得部１１に通知する。この負荷情報取得部１１は、ビデオでコード処理負荷以外に、レンダリング処理負荷、オーディオ処理負荷の情報も取得し、全体の負荷情報をビデオデコーダ１０に通知する。ビデオデコーダ１０では、予め復号処理に要するパラメータに基づき、デコード処理に要するフィルタ処理の省略優先順位を決定しておき、負荷情報から負荷レベルを求め、そのレベルに応じてフィルタ処理を優先順位に従って段階的に省略する。

負荷情報の取得は、情報処理上で実行されるオペレーティングシステムに対して負荷を問い合わせる手法、情報処理を実行するプロセッサ、メモリの少なくともいずれかの使用率に基づいて負荷を検出する手法が考えられる。

図２は上記ビデオデコーダ１０の具体的な構成を示すブロック図である。図２において、入力ストリームはＨ．２６４規格に沿って圧縮符号化されたストリームであり、可変長変換部（エントロピー復号部とも称される）１０１に送られる。この可変長変換部１０１は、入力された動画像符号化ストリームを可変長復号し、シンタックスを生成する。逆量子化部１０２、逆変換部１０３は、生成されたシンタックスに基づいて、動画像符号化ストリーム復号結果から残差画像を生成する。符号化モード制御部１０４は可変長変換部１０１の復号結果から符号化モードを判定する。

また、画面内予測部１０５、画面間予測部１０６は、それぞれ符号化モード制御部１０４で指定される符号化モードに従って画面内、画面間の予測画像を生成する。生成された予測画像は選択的に残差加算部１０７に送られる。この残差加算部１０７は画面内予測部１０５または画面間予測部１０６からの予測画像と逆変換部１０３からの残差画像とを加算し、復号画像を生成する。生成された復号画像は画面内予測部１０５において参照されると共に、デブロッキングフィルタ部１０８に送られる。

一方、デブロッキングフィルタ制御部１１０は、デブロッキングフィルタ部１０８に対し、制御情報または可変長復号部１０１、逆量子化部１０２から入力される量子化パラメータに関する情報により、予め残差加算部１０７において生成された復号画像に対する段階的な処理レベルを設定する。そして、量子化パラメータに関する情報からビデオでコード処理に要する負荷情報を負荷情報取得部１１に送り、当該取得部１１から全体の負荷情報を受け取り、その負荷レベルに基づいてデブロッキングフィルタの処理レベルを決定する。デブロッキングフィルタ部１０８は、その決定に基づいて入力復号画像のフィルタ処理を段階的に省略する。デブロッキングフィルタ部１０８にてフィルタ処理された再構成画像はピクチャメモリ１０９に記憶される。ピクチャメモリ１０９に記憶された再構成画像はデコード画像として出力される他、画面間予測部１０６において参照される。

前述のように、Ｈ．２６４規格の動画像符号化方式は、多くの符号化技術の組み合わせにより高い圧縮率を実現している反面、処理量の多さが課題となっている。特に、ＨＤ−ＤＶＤ（高精細映像用ＤＶＤ）のように高解像度の動画像を再生する場合には深刻な問題となる。Ｈ．２６４デコーダの中でも、デブロッキングフィルタ処理は４画素ごとのブロックエッジに対して演算を行うため、処理量が非常に多い。そこで、本発明では、ＤＶＤ再生処理等の映像処理で行う各種処理の負荷を検出し、オーディオ処理、レンダリング処理等の負荷が高い場合に、デブロッキングフィルタ処理を適応的に省略することによりデコーダの処理量を軽減する。

すなわち、上記構成による本発明のビデオデコーダ１０では、デブロッキングフィルタ制御部１１０において、量子化パラメータとしてフィルタ強度を示すパラメータboundary strength（以下，bS）及び画素変化量のクリッピング値tcを取得し、例えば図３（ａ）、（ｂ）に示すような１６×１６マクロブロックの垂直エッジ（luma, chroma）、水平エッジ（luma, chroma）について、デブロッキングフィルタ処理を行う。この際、フィルタ強度のパラメータbS及び画素変化量のクリッピング値tcから、図４（ａ）、（ｂ）に示すようなデブロッキングフィルタ処理による画素値の変化が小さい境界（エッジ）を検出し、処理負荷のレベルに応じて、優先的にデブロッキングフィルタ処理の省略を適用する。これにより、デコード画像に誤差が蓄積するのを防ぎつつ、処理削減を実現することができる。

尚、上記１６×１６マクロブロックに対するデブロッキングフィルタ処理のフィルタ強度のパラメータbSは以下のように与えられる。

bS＝４の場合
ｐ’₀ ＝（ｐ₂ ＋２＊ｐ₁ ＋２＊ｐ₀ ＋２＊ｑ₀ ＋ｑ₁ ＋４）>>３
ｐ’₁ ＝（ｐ₂ ＋ｐ₁ ＋ｐ₀ ＋ｑ₀＋２）>>２
ｐ’₂ ＝（２＊ｐ₃ ＋３＊ｐ₂ ＋ｐ₁ ＋ｐ₀ ＋ｑ₀＋４）>>３
ｑ’₀ ＝（ｐ₁ ＋２＊ｐ₀＋２＊ｑ₀＋２＊ｑ₁ ＋ｑ₂ ＋４）>>３
ｑ’₁ ＝（ｐ₀＋ｑ₀＋ｑ₁ ＋ｑ₂ ＋２）>>２
ｑ’₂ ＝（２＊ｑ₃＋３＊ｑ₂＋ｑ₁ ＋ｑ₀ ＋ｐ₀＋４）>>３
bS＝１，２，３の場合
Δ＝clip３（−ｔ_c ，ｔ_c ，（（（（ｑ₀ −ｐ₀ ）<<２）＋（ｐ₁ −ｑ₁ ）＋４）>>３））
ｐ’₀ ＝clip１（ｐ₀ ＋Δ）
ｐ’₁ ＝ｐ1 ＋clip３（−ｔ_c0，ｔ_c0，（ｐ₂ ＋（（ｐ₀ ＋ｑ₀ ＋１）>>１）−（ｐ₁ <<１））>>１）
ｑ’₀ ＝clip１（ｑ₀ −Δ）
ｑ’₁ ＝ｑ₁ ＋clip３（−ｔ_c0，ｔ_c0，（ｑ₂ ＋（（ｐ₀ ＋ｑ₀ ＋１）>>１）−（ｑ₁ <<１））>>１）
以下、本発明に係る負荷レベルに応じたデブロッキングフィルタ処理の省略方法について図５を参照して説明する。

まず、各ピクチャのデコード開始時に装置全体の負荷状態を問い合わせ（ステップＳ１）、高負荷状態であるか否かを判断する（ステップＳ２）。高負荷状態ではない場合は、通常のデコード処理（デブロッキングフィルタ処理を含む）を行う（ステップＳ３）。高負荷状態である場合には、その負荷レベルおよびフィルタ強度を示すパラメータbS、画素変化量のクリッピング値tcに応じて、デブロッキングフィルタ処理を段階的に省略したデコード処理を実行する（ステップＳ４）。上記の処理を全てのピクチャのデコードが完了するまで繰り返す（ステップＳ５）。

上記フィルタ処理の段階的な省略には、第１乃至第３の実施例が考えられる。

（第１の実施例）
フィルタ強度のパラメータbSは０から４まで存在し、値が大きいほどフィルタ強度が高いことを示す。そこで、図６に示すように、負荷量検出後（ステップＳ１１）、負荷レベルを判断する（ステップＳ１２）。ここで、予め負荷レベル＝１のときbS_th＝１、負荷レベル＝２のときbS_th＝２、負荷レベル＝３のときbS_th＝３をセットしておき（ステップＳ１３１〜Ｓ１３３）、実際に取得されたパラメータbSがbS＞bS_thか否かを判断し（ステップＳ１４）、bS＞bS_thならば通常のデコード処理（デブロッキングフィルタ処理を含む）を行う（ステップＳ１５）。bS＞bS_thでなければ、高負荷状態であるものとして、そのbS値に対応する負荷レベルでフィルタ処理を実行する（ステップＳ１６）。尚、負荷レベルが０のときは、通常デコード処理（ステップＳ１５）がなされる。

（第２の実施例）
画素変化量のクリッピング値tcはフィルタ強度パラメータbSが１から３までの場合に存在するパラメータで、フィルタ対象画素に対する画素変化量のクリッピング値を示す。したがって、クリッピング値tcが大きいほどフィルタ強度が高いことを示す。そこで、図７に示すように、負荷量検出後（ステップＳ２１）、負荷レベルを判断する（ステップＳ２２）。ここで、予め負荷レベル＝１のときtc_th＝１、負荷レベル＝２のときtc_th＝２、…、負荷レベル＝Ｌのときtc_th＝Ｌをセットしておき（ステップＳ２３１〜Ｓ２３Ｌ）、実際に取得されたパラメータtcがtc＞tc_thか否かを判断し（ステップＳ２４）、tc＞tc_thならば通常のデコード処理（デブロッキングフィルタ処理を含む）を行う（ステップＳ２５）。tc＞tc_thでなければ、高負荷状態であるものとして、そのtc値に対応する負荷レベルでフィルタ処理を実行する（ステップＳ２６）。尚、負荷レベルが０のときは、通常デコード処理（ステップＳ２５）がなされる。

（第３の実施例）
フィルタ強度が高いエッジほど画素変化量が大きいため、デブロッキングフィルタ処理を省略した場合に画素の誤差が蓄積されてしまい、正しいデコード画像との差が大きくなってしまう。そこで、フィルタ強度が小さいエッジに対するデブロッキングフィルタ処理を優先的に省略する。

以下の式で求まる評価値ｅは、フィルタ強度bSに比例する値である。そこで、評価値ｅがしきい値θより小さいエッジに対してデブロッキングフィルタ処理を省略する。
ｅ＝γ×bS＋φ×tc
θ＝ｆ(L)（負荷レベル）
但し、γ，φを０以上の定数とする。θは負荷レベルが高いほど大きい値を返す関数ｆ(L)により決定する。ここで、tcをパラメータに用いたが、tc0としてもよい。

第３の実施例の処理フローを図８に示す。まず、負荷量検出後（ステップＳ３１）、負荷レベルＬ＞０を判断する（ステップＳ３２）。ここで、予め負荷レベルＬ＞０のとき、しきい値θをθ＝ｆ(L)として（ステップＳ３３）、上式から評価値ｅを算出し（ステップＳ３４）、しきい値θと比較する（ステップＳ３５）。この比較において、ｅ＞θならば通常のデコード処理（デブロッキングフィルタ処理を含む）を行う（ステップＳ３６）。ｅ＞θでなければ、高負荷状態であるものとして、その負荷レベルに対応するフィルタ処理を実行する（ステップＳ３７）。尚、ステップＳ３２で負荷レベルＬ＞０とならない場合には、通常デコード処理（ステップＳ２５）がなされる。

以上のように、第１の実施例では、負荷レベルとbSによるデブロッキングフィルタ処理の制御を行うものとし、負荷レベルが高いほどbSが高いエッジにのみブロッキングフィルタ処理を実行する。第２の実施例では、負荷レベルと画素変化量のクリッピング値tcによるデブロッキングフィルタ処理の制御を行うものとし、負荷レベルが高いほどtcが高いエッジにのみデブロッキングフィルタ処理を実行する。第３の実施例では、負荷レベルとbS、画素変化量のクリッピング値tcの両方によるデブロッキングフィルタ処理の制御を行うものとし、負荷レベルが高いほど値が大きいしきい値θと評価値とを比較して、θより大きい評価値ｅを有するエッジにのみデブロッキングフィルタ処理を実行する。

いずれの実施例も、処理負荷のレベルに応じて優先的にデブロッキングフィルタ処理を段階的に省略することができ、復号画像の誤差蓄積を防ぎつつ処理削減を実現することができる。

以上述べたように、本発明によれば、予め前記動画像符号化データの復号に要するパラメータに基づきフィルタ処理の省略優先順位を決定しておき、動画像符号化データ以外のデータ処理に要する負荷情報から負荷レベルを求め、そのレベルに応じてフィルタ処理を優先順位に従って段階的に省略するようにして、他のデータ処理負荷レベルに応じてフィルタ処理の負荷を段階的に軽減し、復号処理速度に影響が出ないようにしている。この結果、低ビットレートでの画質改善を図りつつ、ループ内フィルタ処理を段階的に行い、システム全体の負荷レベルに応じてフィルタ処理を軽減してリアルタイムでの復号処理を良好に行うことができる。また、携帯用コンピュータへの利用に際し、バッテリ残量、省電力モードの情報を負荷情報の一部としてモニタすると、バッテリ残量が少なくなったとき、あるいは省電力モードであるときの動画像復号処理の消費電力を低減しつつ、効果的に復号処理を継続することができる。

尚、上記復号処理は、ＣＰＵ、グラフィック・コントローラのいずれで実施される場合にも適用可能である。また、上記のような動画像復号処理機能として実現することができるだけでなく、このような動画像復号方法が含む特徴的なステップを手段として備える動画像復号方法として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に係る動画像復号機能を備えた情報処理装置の一実施形態の基本構成を示すブロック図。図１に示すビデオデコーダの具体的な構成を示すブロック図。図２に示すデブロッキングフィルタ部の処理のエッジについて説明するための図。図２に示すデブロッキングフィルタ部の処理のフィルタリングについて説明するための図。本発明に係る負荷レベルに応じたデブロッキングフィルタ処理の省略方法を示すフローチャート。図６に示すフィルタ処理省略方法の第１の実施例を示すフローチャート。図６に示すフィルタ処理省略方法の第２の実施例を示すフローチャート。図６に示すフィルタ処理省略方法の第３の実施例を示すフローチャート。

符号の説明

１０…ビデオデコーダ、１１…負荷情報取得部、１０１…可変長変換部（エントロピー復号部）、１０２…逆量子化部、１０３…逆変換部、１０４…符号化モード制御部、１０５…画面内予測部、１０６…画面間予測部、１０７…残差加算部、１０８…デブロッキングフィルタ部、１０９…ピクチャメモリ、１１０…デブロッキングフィルタ制御部。

Claims

動画像符号化データを復号処理する復号手段と、
前記動画像符号化データ以外のデータ処理に要する負荷情報を取得する負荷情報取得手段とを具備し、
前記復号手段は、
前記動画像符号化データから予測復号画像を生成する予測復号手段と、
前記動画像符号化データから量子化された直交変換係数を逆量子化、逆変換して残差復号画像を生成する逆量子化・逆変換手段と、
前記予測復号画像と前記逆量子化・逆変換手段によって生成された残差復号画像とを加算して復号画像を生成する残差加算手段と、
前記復号画像の各画面のブロック歪みを低減するためのデブロッキングフィルタ処理を行うフィルタ処理手段とを備え、
前記フィルタ処理手段は、
前記負荷情報取得手段で取得される負荷情報から全体の処理負荷のレベルを検出する負荷レベル検出手段と、
前記デブロッキングフィルタ処理に要するパラメータから前記デブロッキングフィルタ処理による画素値の変化が小さい境界を検出する境界検出手段と、
前記処理負荷のレベルに応じて前記画素値の変化が小さい境界から順にデブロッキングフィルタ処理を省略する省略手段とを備えること
を特徴とする情報処理装置。
前記境界検出手段は、前記デブロッキングフィルタ処理に要するパラメータとして、フィルタ強度及び画素変化量のクリッピング値の少なくともいずれか一方を用いることを特徴とする請求項１記載の情報処理装置。
前記負荷情報取得手段は、実行されるオペレーティングシステムに対して負荷を問い合わせる手段を含むことを特徴とする請求項１記載の情報処理装置。
前記負荷情報取得手段は、前記データ処理を実行するプロセッサ、メモリの少なくともいずれかの使用率に基づいて前記負荷を検出する手段を含むことを特徴とする請求項１記載の情報処理装置。
前記動画像符号化データは、ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）勧告のＨ．２６４に基づくデータであることを特徴とする請求項１記載の情報処理装置。
動画像符号化データを復号処理するためのソフトウェアを実行するプロセッサと、
前記プロセッサが前記ソフトウェアを実行している期間中、前記動画像符号化データ以外のデータ処理に要する負荷情報を取得する負荷情報取得手段とを備え、
前記ソフトウェアは、
前記動画像符号化データから予測復号画像を生成する予測復号処理と、
前記動画像符号化データから量子化された直交変換係数を逆量子化、逆変換して残差復号画像を生成する逆量子化・逆変換処理と、
前記予測復号画像と前記逆量子化・逆変換処理によって生成された残差復号画像とを加算して復号画像を生成する残差加算処理と、
前記復号画像の各画面のブロック歪みを低減するためのデブロッキングフィルタ処理を行うフィルタ処理とを前記プロセッサに実行させるもので、
前記フィルタ処理は、
前記負荷情報取得手段で取得される負荷情報から全体の処理負荷のレベルを検出する負荷レベル検出処理と、
前記デブロッキングフィルタ処理に要するパラメータから前記デブロッキングフィルタ処理による画素値の変化が小さい境界を検出する境界検出処理と、
前記処理負荷のレベルに応じて前記画素値の変化が小さい境界から順にデブロッキングフィルタ処理を省略する省略処理とを備えること
を特徴とする情報処理装置。
動画像符号化データを復号する処理をコンピュータに実行させるプログラムであって、
前記動画像符号化データから予測復号画像を生成する予測復号処理を、前記コンピュータに実行させる手順と、
前記動画像符号化データから量子化された直交変換係数を逆量子化、逆変換して残差復号画像を生成する逆量子化・逆変換処理を、前記コンピュータに実行させる手順と、
前記予測復号画像と前記逆量子化・逆変換処理によって生成された残差復号画像とを加算して復号画像を生成する残差加算処理を、前記コンピュータに実行させる手順と、
前記復号画像の各画面のブロック歪みを低減するためのデブロッキングフィルタ処理を行うフィルタ処理を、前記コンピュータに実行させる手順とを備え、
前記フィルタ処理として、
前記動画像符号化データ以外のデータ処理に要する負荷情報から全体の処理負荷のレベルを検出する負荷レベル検出処理を、前記コンピュータに実行させる手順と、
前記デブロッキングフィルタ処理に要するパラメータから前記デブロッキングフィルタ処理による画素値の変化が小さい境界を検出する境界検出処理を、前記コンピュータに実行させる手順と、
前記処理負荷のレベルに応じて前記画素値の変化が小さい境界から順にデブロッキングフィルタ処理を省略する省略処理を、前記コンピュータに実行させる手順とを備えること
を特徴とするプログラム。