JP5066232B2 - 情報処理装置および画像処理方法 - Google Patents

Description

本発明の実施形態は、映像をデコード処理後にポストフィルタリング処理する情報処理装置および画像処理方法に関する。

近年、ＤＶＤ（Digital Versatile Disc）プレーヤ、ＴＶ装置のようなオーディオ・ビデオ（ＡＶ）機器と同様のＡＶ機能を備えたパーソナルコンピュータが開発されている。

このようなパーソナルコンピュータにおいては、圧縮符号化された動画像ストリームをソフトウェアによってデコードするソフトウェアデコーダが用いられている。ソフトウェアデコーダの使用により、専用のハードウェアを設けることなく、圧縮符号化された動画像ストリームをプロセッサ（ＣＰＵ）によってデコードすることが可能になる。

ところで、最近では、動画像圧縮符号化技術として、Ｈ．２６４／ＡＶＣ（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格が使用されている。Ｈ．２６４／ＡＶＣ規格は、ＭＰＥＧ２、ＭＰＥＧ４のような従来の圧縮符号化技術よりも高能率の圧縮符号化技術であり、ＨＤ（High Definition）のような高精細画像の符号化に使用される。このため、Ｈ．２６４／ＡＶＣ規格に対応するエンコード処理およびデコード処理の各々においては、ＭＰＥＧ２、ＭＰＥＧ４のような従来の圧縮符号化技術よりも多くの処理量が必要とされる。

したがって、Ｈ．２６４／ＡＶＣ規格で圧縮符号化された動画像ストリームをソフトウェアによってデコードするように設計されたパーソナルコンピュータにおいては、高精細画像の再生が可能になる反面、システムの負荷が増大すると、デコード処理自体に遅れが生じ、これによってスムーズな動画再生を実行できなくなる危険がある。この事情はＨ．２６４／ＡＶＣ規格に続いて策定中の類似規格でも同様である。フィルタ処理は、処理量が重く高精細な画像では復号時に遅延が生じる可能性がある。

この圧縮符号化の代表的な関連技術としては、デコード処理の一環であるデブロッキングフィルタ処理があり、その後の処理であるポストフィルタリング処理が知られているが、それらを効率よく実行する必要性が生じている。

ポストフィルタリング処理を行うシステムとしては、ポストフィルタリング処理を施す効果を判断するシステムが知られている（例えば、特許文献１参照。）。このシステムにおいては、動画の復号化において動画像の各ブロックについてポストフィルタリング処理を施す効果を判断し、所定の条件を満たす場合、即ち効果が少ないあるいは効果を及ぼさなくても支障がない場合にはポストフィルタリングを行わない。従って復号化処理においてポストフィルタリングに要する処理を軽減させることが出来、高速化、消費電力の低減化を実現できるとされている。

また画像復号化装置で、ループ内フィルタを実装し、CPUの稼働率によって、処理対象ピクチャの優先度の高いものだけをフィルタ処理するシステムが知られている（例えば、特許文献２参照。）。

しかし、これらに記載のシステムは、場合によりポストフィルタリングを行わないことを特徴とするものであることより、一般的なポストフィルタリングが必要な場合においては、特に効果をもたらすものではなかった。

ポストフィルタリングを行うことを前提として、より効率的に行うことが可能な技術が待たれる。

特開２００３−１１６１３２号公報 特開２００３−３０４５３８号公報

本発明は、ポストフィルタリングをより効率的に行うことが可能な情報処理装置および画像処理方法を提供することを目的とする。

上記課題を解決するために、実施形態の情報処理装置は、複数のピクチャ内の複数の画
素をブロック単位で符号化することで生成された動画像ストリームに少なくともデコード
処理及び変換処理を行うことによって、複数のデコードされたピクチャを生成する変換手
段と、前記複数のデコードされたピクチャのうちから、デコード中に他のピクチャによっ
て参照された参照ピクチャを検出する検出手段と、前記検出手段により検出された参照ピ
クチャに対してはデブロッキングフィルタ処理とＢＡＬＦ(Block-based Adaptive Loop F
ilter)処理とを実行し、前記複数のデコードされたピクチャのうち前記参照ピクチャでな
いピクチャに対しては前記デブロッキングフィルタ処理を実行し前記ＢＡＬＦ処理を非実
行とするフィルタ処理手段とを具備する。

本発明の一実施形態であるコンピュータの概観を示す斜視図。 図１のコンピュータのシステム構成を示すブロック図。 図１のコンピュータで用いられるビデオ再生アプリケーションプログラムの機能構成を示すブロック図。 図２のシステム構成において実現される機能構成を示すブロック図。 図３のビデオ再生アプリケーションプログラムによって実現されるソフトウェアデコーダ（動画像復号化装置）の構成を示すブロック図。 動画像ストリームに含まれる参照画面／非参照画面とFilter ON/OFF関係概念図。 図３のビデオ再生アプリケーションプログラムによって実行されるデコード処理の手順を示すフローチャート。 実施例に関わる動画像符号化装置を示すブロック図。

以下、本発明による実施形態を図１乃至図７を参照して説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。デスクトップPCとして実現しても良い。

図１はノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における正面図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２にはＬＣＤ（Liquid Crystal Display）１７から構成される表示装置が組み込まれており、そのＬＣＤ１７の表示画面はディスプレイユニット１２のほぼ中央に位置されている。

ディスプレイユニット１２は、コンピュータ本体１１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０を電源オン／オフするためのパワーボタン１４、入力操作パネル１５、およびタッチパッド１６などが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ起動ボタン１５Ａ、ＤＶＤ（Digital Versatile Disc）起動ボタン１５Ｂも含まれている。ＴＶ起動ボタン１５Ａは、デジタルＴＶ放送番組のような放送番組データの再生及び記録を行うためのＴＶ機能を起動するためのボタンである。ＴＶ起動ボタン１５Ａがユーザによって押下された時、ＴＶ機能を実行するためのアプリケーションプログラムが自動的に起動される。ＤＶＤ起動ボタン１５Ｂは、ＤＶＤに記録されたビデオコンテンツを再生するためのボタンである。ＤＶＤ起動ボタン１５Ｂがユーザによって押下された時、ビデオコンテンツを再生するためのアプリケーションプログラムが自動的に起動される。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、主メモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、デジタルＴＶ放送チューナ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４、およびネットワークコントローラ１２５等を備えている。

ＣＰＵ１１１は本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１から主メモリ１１３にロードされる、オペレーティングシステム（ＯＳ）、およびビデオ再生アプリケーションプログラム２０１のような各種アプリケーションプログラムを実行する。

なおＣＰＵ１１１には図示せぬキャッシュメモリがありキャッシュメモリ中には実行中の各種プログラムの一部や関連データが存在し、それらを改めて主メモリ１１３から参照せずまた細かく変更内容を書き戻さずとも継続的利用をすることにより処理効率を上げることができる。

ビデオ再生アプリケーションプログラム２０１は、圧縮符号化された動画像データをデコードおよび再生するためのソフトウェアである。このビデオ再生アプリケーションプログラム２０１は、Ｈ．２６４／ＡＶＣ規格に対応するソフトウェアデコーダである。ビデオ再生アプリケーションプログラム２０１は、Ｈ．２６４／ＡＶＣ規格で定義された符号化方式で圧縮符号化されている動画像ストリーム（例えば、デジタルＴＶ放送チューナ１２３によって受信されたデジタルＴＶ放送番組、光ディスクドライブ（ＯＤＤ）１２２から読み出されるＨＤ（High Definition）規格のビデオコンテンツ、など）をデコードするための機能を有している。

このビデオ再生アプリケーションプログラム２０１は、図３に示すように、非参照画面検出機能２１１、デコード制御機能２１２、およびデコード実行機能２１３を備えている。

デコード実行機能２１３は、Ｈ．２６４／ＡＶＣ規格で定義されたデコード処理を実行するデコーダである。非参照画面検出機能２１１は、デコード処理のなかで後述する非参照画面を検出する機能である。この非参照画面検出機能２１１は、例えば、デコード実行機能２１３にデコード実行の現在の状態を問い合わせることによって、非参照画面を検出する。

デコード制御機能２１２は、非参照画面検出機能２１１によって検出された画面が非参照画面であるか否かに基づき、デコード実行機能２１３によって実行されるデコード処理の内容を制御する。

より詳しくは、デコード制御機能２１２は、非参照画面に対しＨ．２６４／ＡＶＣ規格で定義されたデコード処理としてデコード実行機能２１３によって実行すべきデコード処理の内容の他に、非参照画面に対し予め決められた処理をデコード実行機能２１３に実行させた場合には、その予め決められた処理を後に非参照画面に対し実行が省略されるよう、言い換えると参照画面にのみ実行されるように、後のＣＰＵ１１１におけるポストフィルタリング処理の内容を制御する。これはデコード処理の結果の画像出力とは別にデコード制御機能２１２がデコード実行機能２１３を通じて付加情報として出力する。

ビデオ再生アプリケーションプログラム２０１によってデコードされた動画像データは、表示ドライバ２０２を介してグラフィクスコントローラ１１４のビデオメモリ１１４Ａに順次書き込まれる。これにより、デコードされた動画像データはＬＣＤ１７に表示される。表示ドライバ２０２はグラフィクスコントローラ１１４を制御するためのソフトウェアである。

また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたシステムＢＩＯＳ（Basic Input Output System）も実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、主メモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能も有している。

グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このグラフィクスコントローラ１１４はビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれた画像データからＬＣＤ１７に送出すべき表示信号を生成する。

サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１１９は、ＨＤＤ１２１、ＯＤＤ１２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１１９は、デジタルＴＶ放送チューナ１２３を制御する機能、およびＢＩＯＳ−ＲＯＭ１２０をアクセス制御するための機能も有している。

ＨＤＤ１２１は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１２３は、ビデオコンテンツが格納されたＤＶＤなどの記憶メディアを駆動するためのドライブユニットである。デジタルＴＶ放送チューナ１２３は、デジタルＴＶ放送番組のような放送番組データを外部から受信するための受信装置である。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるＴＶ起動ボタン１５Ａ、ＤＶＤ起動ボタン１５Ｂの操作に応じて、本コンピュータ１０をパワーオンすることもできる。ネットワークコントローラ１２５は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。

次に、図４を参照して、コンピュータ１０のシステム構成においてビデオ再生アプリケーションプログラム２０１によって実現される機能構成を説明する。デマルチプレクサ２０１ａは、多重化されたストリームの中から音声・画像・字幕などの次段階の入力ストリームを取り出し、次段階のビデオデコーダ２０１ｂへ画像の入力ストリームを渡す。ビデオデコーダ２０１ｂは、ポストフィルタ２０１ｃへ出力画像と共に破線で示した前述の付加情報を渡す。ポストフィルタ２０１ｃはポストフィルタ処理後の出力画像を表示ドライバ２０２へ渡す。

次に、図５を参照して、ビデオ再生アプリケーションプログラム２０１によって実現されるソフトウェアデコーダから成る動画像復号化装置の機能構成を説明する。図４のビデオデコーダ２０１ｂに対応するものである。

ビデオ再生アプリケーションプログラム２０１のデコード実行機能２１３は、現在規格が検討されているHEVCに対応しており、図５に図示のように、エントロピー復号部３０１、逆変換部３０１ｐ（図示せぬ逆量子化部と逆ＤＣＴ部（DCT：Discrete Cosine Transform）の縦列構成）、加算部３０４、デブロッキングフィルタ部３０５、画像適用ループフィルタ部３０５ｐ、フレームメモリ３０６、イントラ／インター予測部３１０、およびモード切替スイッチ部３１１を含む。Ｈ．２６４の直交変換は整数精度であり、従来のＤＣＴとは異なるが、ここではＤＣＴと称することとする。

各画面（ピクチャ）の符号化は、たとえば１６×１６画素のマクロブロック単位で実行される。各マクロブロックごとに、フレーム内符号化モード（イントラ符号化モード）および動き補償フレーム間予測符号化モード（インター符号化モード）のいずれか一方が選択される。

動き補償フレーム間予測符号化モードにおいては、既に符号化された画面（ピクチャ）からの動きを推定することによって、符号化対象画面に対応する動き補償フレーム間予測信号が定められた形状単位で生成される。そして、符号化対象画面（ピクチャ）から動き補償フレーム間予測信号を引いた予測誤差信号が、直交変換（ＤＣＴ）、量子化、およびエントロピー符号化によって、符号化される。また、イントラ符号化モードにおいては、符号化対象画面（ピクチャ）から予測信号が生成され、その予測信号が直交変換（ＤＣＴ）、量子化、およびエントロピー符号化によって、符号化される。

Ｈ．２６４／ＡＶＣ規格に対応するコーデックは、以前の規格よりさらに圧縮率を高めるために、
（１）従来のＭＰＥＧよりも高い画素精度（１／４画素精度）の動き補償
（２）フレーム内符号化を効率的に行うためのフレーム内予測
（３）ブロック歪みを低減するためのデブロッキングフィルタ
（４）４×４画素単位の整数ＤＣＴ
（５）任意の位置の複数の画面（ピクチャ）を参照画面として使用可能なマルチリファレンスフレーム
（６）重み付け予測
等の技術を利用する。
以下、図５のソフトウェアデコーダの動作を説明する。
圧縮符号化された動画像ストリームは、まず、可変長復号化のようなエントロピー復号処理を施すエントロピー復号部３０１に入力される。圧縮符号化された動画像ストリームには、符号化された画像情報の他に、動き補償フレーム間予測符号化（インター予測符号化）で用いられた動きベクトル情報、フレーム内予測符号化（イントラ予測符号化）で用いられたフレーム内予測情報、予測モード（インター予測符号化／イントラ予測符号化）を示すモード情報等が含まれている。

デコード処理は、たとえば１６×１６画素のマクロブロック単位で実行される。エントロピー復号部３０１は動画像ストリームに対して可変長復号のようなエントロピー復号処理を施して、動画像ストリームから、量子化ＤＣＴ係数、動きベクトル情報（動きベクトル差分情報）、フレーム内予測情報、およびモード情報を分離する。この場合、例えば、デコード対象画面（ピクチャ）内の各マクロブロックは４×４画素（または８×８画素）のブロック毎にエントロピー復号処理され、各ブロックは４×４（または８×８画素）の量子化ＤＣＴ係数に変換される。以下では、各ブロックが４×４である場合を想定する。

フレーム内予測情報は、イントラ／インター予測部３１０に送られる。後述のモード情報はモード切替スイッチ部３１１に送られる。画像適用ループフィルタ部３０５ｐでは、画像適用ループフィルタ：ＢＡＬＦ（Block-based Adaptive Loop Filter、T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, and T.Yamakage, “Block-based Adaptive Loop Filter”,ITU-T SG16 Q.6, VCEG-AI18, Berlin, July. 2008を参照）処理が行われる。

各デコード対象ブロックの４×４の量子化ＤＣＴ係数は、逆量子化部３０２による逆量子化処理により４×４のＤＣＴ係数（直交変換係数）に変換される。この４×４のＤＣＴ係数は、逆ＤＣＴ部３０３による逆整数ＤＣＴ（逆直交変換）処理によって、周波数情報から、４×４の画素値に変換される。この４×４の画素値は、デコード対象ブロックに対応する予測誤差信号である。この予測誤差信号は加算部３０４に送られ、そこでデコード対象ブロックに対応する予測信号（動き補償フレーム間予測信号またはフレーム内予測信号）が加算され、これによってデコード対象ブロックに対応する４×４の画素値がデコードされる。

イントラ予測モードにおいては、イントラ／インター予測部３１０からのフレーム内予測信号が予測誤差信号に加算される。インター予測モードにおいては、図示せぬ動き補償フレーム間予測信号が予測誤差信号に加算される。

このように、デコード対象画面に対応する予測誤差信号に予測信号（動き補償フレーム間予測信号またはフレーム内予測信号）を加算してデコード対象画面をデコードする処理が所定のブロック単位で実行される。

デコードされた各画面（ピクチャ）は、デブロッキングフィルタ部３０５によってデブロッキングフィルタ処理が施された後に、フレームメモリ３０６に格納される。このデブロッキングフィルタ部３０５は、例えば４×４画素のブロック単位で、デコードされた各画面に対してブロックノイズを低減するためのデブロッキングフィルタ処理を施す。このデブロッキングフィルタ処理は、ブロック歪みが参照画像に含まれてしまい、これによってブロック歪みが復号画像に伝搬してしまうことを防止する。デブロッキングフィルタ処理は、ブロック歪みが生じやすい箇所に対してはより強いフィリタリングが施され、ブロック歪みが生じにくい箇所に対しては弱いフィリタリングが施されるように、適応的に実行される。デブロッキングフィルタ処理はループフィルタ処理によって実現されている。

そして、デブロッキングフィルタ処理された各画面は、フレームメモリ３０６から出力画像フレーム（または出力画像フィールド）として読み出される。また、動き補償フレーム間予測のための参照画像として使用されるべき各画面（参照画面）は、フレームメモリ３０６内に一定期間保持される。Ｈ．２６４／ＡＶＣ規格の動き補償フレーム間予測符号化においては、複数の画面を参照画面として使用することができる。このため、フレームメモリ３０６は、複数画面分の画像を記憶するための複数個のフレームメモリ部を備えている。

イントラ／インター予測部３１０は、デコード対象画面からその画面内に含まれるデコード対象ブロックのフレーム内予測信号を生成するものである。このイントラ／インター予測部３１０は、上述のフレーム内予測情報に従って画面内予測処理を実行して、デコード対象ブロックと同一画面内に存在する、当該デコード対象ブロックに近接する既にデコードされた他のブロック内の画素値からフレーム内予測信号を生成する。このフレーム内予測（イントラ予測）は、ブロック間の画素相関を利用して圧縮率を高める技術である。このフレーム内予測においては、フレーム内予測情報に従って、垂直予測（予測モード０）、水平予測（予測モード１）、平均値予測（予測モード３）、平面予測（予測モード４）を含む４種類の予測モードの内の一つが、フレーム内予測ブロック（例えば１６×１６画素）単位で選択される。

次に、図６を参照して、動画像ストリームに含まれる参照画面および非参照画面について説明する。
デコード処理前の動画像ストリームに含まれる各種の画面は、所定の順序でソフトウェアデコーダ（図５）に入力されて動き補償フレーム間予測やフレーム内予測などの処理が施される。ここでは、画面（Ｉピクチャ）４０１，画面（Ｂピクチャ）４０２，画面（Ｂピクチャ）４０３，画面（Ｂピクチャ）４０４，画面（Ｐピクチャ４０５）がこの順序でソフトウェアデコーダに入力されて処理される場合を考える。

なお、Ｐピクチャは、１つの画面を参照することによって動き補償フレーム間予測を行うための画面である。Ｂピクチャは、２つの画面を参照することによって動き補償フレーム間予測を行うための画面である。Ｉピクチャは、他の画面を参照することなく当該画面内（イントラ）だけで独立してフレーム内予測を行うための画面である。

図６中に示される画面４０１は、他の画面を参照することはないが、画面４０２，画面４０３，および画面４０５から参照される。また、画面４０３は、画面４０１および画面４０５を参照し、画面４０２および画面４０４から参照される。また、画面４０５は、画面４０１を参照し、画面４０３および画面４０４から参照される。このように画面間予測に際して他の画面から参照される画面４０１，画面４０３，および画面４０５は、参照画面に該当する。

一方、図６中に示される画面４０２は、画面４０１および画面４０３を参照するが、他の画面からは参照されない。また、画面４０４は、画面４０３および画面４０５を参照するが、他の画面からは参照されない。このように画面間予測に際して他の画面から参照されない画面４０２および画面４０４は、非参照画面に該当する。

このような参照画面と非参照画面とのモード情報はモード切替スイッチ部３１１に送られ、参照画面の場合は更に画像適用ループフィルタ部３０５ｐによる処理が行われる。

以下、図７のフローチャートを参照して、ビデオ再生アプリケーションプログラム２０１によって実行されるデコード処理の手順を説明する。
ビデオ再生アプリケーションプログラム２０１は、デコード処理の実行期間中、画面の参照関係を調べて参照画面を検出する処理を定期的に繰り返し実行する（ステップＳ１０１）。

そして、ビデオ再生アプリケーションプログラム２０１は、目下扱っている画面が参照画面であるかどうかを判別する（ステップＳ１０２）。
目下扱っている画面が参照画面ではないならば（ステップＳ１０２のＮＯ）、ビデオ再生アプリケーションプログラム２０１は、ＣＰＵ１１１に実行させるべきデコード処理として通常デコード処理を選択し、これによって図５で説明した一連のデコード処理をＣＰＵ１１１上で実行する（ステップＳ１０３）。

一方、目下扱っている画面が参照画面であるならば（ステップＳ１０２のＹＥＳ）、
ビデオ再生アプリケーションプログラム２０１は、ＣＰＵ１１１に実行させるべきデコード処理として上述の通常デコード処理に加えた処理を、具体的には通常デコード処理のデブロッキングフィルタ処理を行った後キャッシュメモリからデータが消えないうちにポストフィルタリング処理をＣＰＵ１１１上で実行する（ステップＳ１０４）。

動画像ストリーム全てのデコードが完了するまで、図５のステップＳ１０１〜Ｓ１０４の処理は繰り返し実行される（ステップＳ１０５）。上記のポストフィルタリング処理の具体例としては、色調整、ノイズ除去がある。

以上のように、本実施形態によれば、コンピュータ１０のデコード処理の一環で行われるデブロッキングフィルタ処理に続け可能な画面にポストフィルタリング処理を実現することができる。画素データへのアクセスの際のメモリキャッシュを効率よく利用でき、性能の向上が期待できる。

なお、上述のデコード制御処理は全てコンピュータプログラムによって実現されているので、このコンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に実現することができる。

また、本実施形態のソフトウェアデコーダは、パーソナルコンピュータに限らず、ＰＤＡ、携帯型電話機等にも適用することができる。
（符号化装置）
参考として実施形態に関連する符号化装置を図８を参照して説明する。
図８は図５における符号化データを作成する際に必要となる動画像符号化装置を示すブロック図である。この動画像符号化装置は放送局などで用いられる。図５の構成要素に、加算部３１２と変換・量子化部３１３とが加えられている。

図８の動画像符号化装置で作成された符号化データは，図５の画像適用ループフィルタ内で用いるフィルタ係数、各スライスにおけるループフィルタ適用処理が適用されるブロック情報、フィルタ形状のフィルタ処理を行う際に必要なデータをSyntaxとして含んでいる。

上記の符号化データを入力すると、本実施形態の動画像復号化装置では、可変長復号化を行い、上記フィルタ処理を行う際に必要なデータを画像適用ループフィルタ部３０５ｐに送信する。フィルタ情報を受け取った画像適用ループフィルタ部３０５ｐは、モード切替スイッチ部３１１により入力フレームのピクチャタイプによりフィルタ処理を行うか行わないかの処理を行う。もし、入力画像が参照画面の場合は、フィルタ処理を行い、非参照画面の場合はフィルタ処理を行わないこととする。

先行技術のあるものは、エンコーダ側で決定されたフィルタ適用対象ピクチャに関してデコーダ側で必ずフィルタ処理を行うが、本実施形態は非参照ピクチャではフィルタ処理を行わない。先行技術の問題点としてフィルタ処理は、処理量が重く高精細な画像では復号時に遅延が生じる可能性がある。

本実施形態の効果として、非参照画面ではフィルタ処理を行わないようにすることで、画質劣化を防ぎつつ復号時における遅延を抑制することができる。
以下のポイントのように動画像復号化装置側で、画像適用ループフィルタを参照画面には適用するが、非参照画面には適用しないようにすることで、画質劣化を抑制しつつ復号遅延を抑制することが可能となる。

（１）次世代動画像符号化規格におけるループフィルタに関する提案となる。
（２）動画像復号化方法において、画質劣化を抑えつつ復号化の遅延を抑制するため、参照画面ではフィルタ処理を行うが、非参照画面ではフィルタ処理を行わない。
（３）符号化の際は、参照画面、非参照画面全てを対象にフィルタ処理を行うが、復号化の際は全てのピクチャタイプにフィルタ処理を行うか、参照画面のみフィルタ処理を行うかはユーザが決定することができる。

（４）符号化側で設定したフィルタ係数を送信し、復号化側で受信して用いる動画像符号化／復号化方法の位置づけである。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば上記実施例では、非参照画面のみフィルタ処理を行わないこととしたが、フィルタ処理量を軽減するために非参照画面のみフィルタ形状などを変えても良い。具体的には、参照画面では２次元フィルタを使用するのに対して、非参照画面では１次元フィルタを使用したり、非参照画面では参照画面と比較してフィルタタップ数の少ないフィルタを適用しても良い。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

1０…コンピュータ、１１１…ＣＰＵ、１１３…メモリ、１１４…グラフィクスコントローラ、２１１…非参照画面検出機能、２１２…デコード制御機能、２１３…デコード実行機能、３０１…エントロピー復号部、３０１ｐ…逆量子化・逆変換部、３０４…加算部、３０５…デブロッキングフィルタ部、３０５ｐ…画像適用ループフィルタ部、３０６…フレームメモリ、３１０…イントラ／インター予測部、３１１…モード切替スイッチ部。

Claims (7)

1. 複数のピクチャ内の複数の画素をブロック単位で符号化することで生成された動画像ス
   トリームに少なくともデコード処理及び変換処理を行うことによって、複数のデコードさ
   れたピクチャを生成する変換手段と、
   前記複数のデコードされたピクチャのうちから、デコード中に他のピクチャによって参
   照された参照ピクチャを検出する検出手段と、
   前記検出手段により検出された参照ピクチャに対してはデブロッキングフィルタ処理と
   ＢＡＬＦ(Block-based Adaptive Loop Filter)処理とを実行し、前記複数のデコードされ
   たピクチャのうち前記参照ピクチャでないピクチャに対しては前記デブロッキングフィル
   タ処理を実行し前記ＢＡＬＦ処理を非実行とするフィルタ処理手段と
   を具備する情報処理装置。
2. 前記検出手段は、デコード制御手段を含む請求項１に記載の情報処理装置。
3. ノートブック型コンピュータに備えられている請求項１に記載の情報処理装置。
4. 前記変換処理は、量子化ＤＣＴ係数の生成処理を含む請求項１に記載の情報処理装置。
5. 前記デコード処理は、エントロピー復号処理を含む請求項１に記載の情報処理装置。
6. 前記参照ピクチャは、少なくともＩピクチャ又はＢピクチャを含む請求項１に記載の情
   報処理装置。
7. 複数のピクチャ内の複数の画素をブロック単位で符号化することで生成された動画像ス
   トリームに少なくともデコード処理及び変換処理を行うことによって、複数のデコードさ
   れたピクチャを生成するステップと、
   前記複数のデコードされたピクチャのうちから、デコード中に他のピクチャによって参
   照された参照ピクチャを検出するステップと、
   前記検出された参照ピクチャに対してはデブロッキングフィルタ処理とＢＡＬＦ(Block
   -based Adaptive Loop Filter)処理とを実行し、前記複数のデコードされたピクチャのう
   ち前記参照ピクチャでないピクチャに対しては前記デブロッキングフィルタ処理を実行し
   前記ＢＡＬＦ処理を非実行とするステップと
   を有する画像処理方法。

Images