JP4592562B2

JP4592562B2 - 画像復号装置

Info

Publication number: JP4592562B2
Application number: JP2005318421A
Authority: JP
Inventors: 浩行岡田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2005-11-01
Filing date: 2005-11-01
Publication date: 2010-12-01
Anticipated expiration: 2025-11-01
Also published as: JP2007129318A

Description

本発明は、画像復号装置に関し、特に、復号画像にフィルタ処理を行なう画像復号装置に関する。

近年、広帯域の通信手段や大容量の記録メディアの普及に伴い、動画像データの利用が盛んになっている。動画像データはデータ量が膨大であるので、通信手段の広帯域化や記録メディアの大容量化が進んでいるとはいえ、動画像データを利用するためには符号化によるデータ量の圧縮が必要不可欠となっている。

動画像の符号化方式としては、国際標準であるＭＰＥＧ（Moving Picture Experts Group）−２やＭＰＥＧ−４などが知られている。これらは画像の統計的な性質を利用して、その画像に含まれる冗長性を取り除くことにより情報量の削減を行なっている。具体的には、画像フレームを基本処理単位であるブロックに分割してブロック単位で符号化を行なう動き補償予測と離散コサイン変換（ＤＣＴ（Discrete Cosine Transform））を組合せたハイブリッド符号化方式である。

一方、原画像を、前述のＭＰＥＧ−２等の符号化方式により符号化した符号化データを復号した復号画像には、符号化雑音であるブロックひずみおよびモスキート雑音等が生じ、原画像より劣化した画像となる。したがって、画像復号装置側でこれらを低減するポストフィルタリング処理を実施して復号画像の画質の改善を行っている。

また、静止画像符号化方式であるＪＰＥＧ（Joint Photographic Experts Group）も上記の動画像符号化方式と同様に画像を分割してブロック単位でＤＣＴを実施している。そのため、ＪＰＥＧで符号化したデータを復号した復号画像にも、符号化雑音であるブロックひずみとモスキート雑音が発生する。

一方、圧縮効率を向上させたＪＰＥＧ２０００では、ＤＣＴの代わりに離散ウェーブレット変換（ＤＷＴ（Discrete Wavelet Transform））を用いている。しかしながら、この離散ウェーブレット変換において発生する量子化雑音の折返し成分が原因で、ＪＰＥＧ２０００で符号化したデータを復号した復号画像には、モスキート雑音と同様のリンギング雑音が発生する。また、ＪＰＥＧ２０００でもＪＰＥＧのブロック分割と同様にブロック分割して、ブロック単位でＤＷＴを実施した場合にはブロック間の境界が見えて、ブロックひずみと同様の画質劣化が生じる。したがって、静止画像の場合でも画像復号装置側でこれらを低減するポストフィルタを実施して画質の改善を行っている。

このような画像復号装置においては、フィルタリングによる処理量の増加を抑えながら画像のぼけ等の劣化を防止しつつ、ブロックひずみおよびモスキート雑音のみを低減することが課題となる。

そこで、上記課題を解決する技術（以下、従来技術Ａともいう）が、特開平７−２３６１４０号公報（特許文献１）に開示されている。図２０は、特開平７−２３６１４０号公報（特許文献１）に開示されている雑音低減装置と同様な機能を有する画像復号装置１００００の構成例を示すブロック図である。

以下、図２０を参照して従来技術による画像復号装置１００００について説明する。画像復号装置１００００は、画像復号部１２０２と、アクティビティ計算回路１２０４と、ブロック雑音予測回路１２０５と、画素雑音予測回路１２０６と、フィルタ係数決定回路１２０７と、フィルタ回路１２０８とを備える。

画像復号部１２０２には、画像符号化データ１２０１が入力される。画像符号化データは、たとえば、ビットストリームである。なお、画像符号化データは、ビットストリームに限定されることなく、他の形式のデータであってもよい。画像復号部１２０２は、画像符号化データ１２０１に基づいて、ブロック単位で復号した復号画像データ１２０３を出力する。

アクティビティ計算回路１２０４には、ブロック単位で復号された復号画像データ１２０３が入力される。アクティビティ計算回路１２０４は、復号画像データ１２０３に基づいて、各画素データのアクティビティ、画素平均値、ブロック内の最大アクティビティおよびブロック平均アクティビティを算出する。ここで、アクティビティは、画像における輝度変化の大きさを示し、輝度変化の少ない画像はアクティビティが小さく、輝度変換の大きい画像はアクティビティが大きくなる。

ブロック雑音予測回路１２０５は、アクティビティ計算回路１２０４で得られたブロック内最大アクティビティ、ブロックの量子化ステップサイズ、ブロックの符号化モードによりブロック内の平均雑音値（以下、ブロック雑音予測値ともいう）を予測する。

画素雑音予測回路１２０６は、ブロック雑音予測回路１２０５で得られたブロック雑音予測値と、アクティビティ計算回路１２０４で得られたブロック平均アクティビティおよび画素アクティビティとから各画素の雑音予測値を求める。

フィルタ係数決定回路１２０７は、画素雑音予測回路１２０６で得られた画素雑音予測値と、アクティビティ計算回路１２０４で得られた画素アクティビティとに基づいて、フィルタ係数の決定を行う。

フィルタ回路１２０８は、フィルタ係数決定回路１２０７で得られたフィルタ係数と、アクティビティ計算回路１２０４で得られた画素平均値と、復号画像データ１２０３とから雑音成分を除去した画像データを予測して、雑音低減された復号画像データ１２０９を出力する。
特開平７−２３６１４０号公報

しかしながら、従来技術Ａでは、フィルタリングを行なう際のフィルタ係数を決定するために、各種の統計データとして、復号画像の各画素データのアクティビティ、画素平均値、ブロック内の最大アクティビティ、ブロック平均アクティビティ、ブロック雑音予測値等を算出しなければならない。これらは復号画像の各画素値を基に算出されるので、非常に多くの処理量を要する。したがって、画像復号装置１００００の消費電力を増大させるという問題がある。

また、上記統計データはすべての画素やブロックついて算出する必要があり、そのため符号化雑音が小さく本来、フィルタリングが必要ない部分に対しては無駄な処理となり、処理量軽減の観点から望ましくない。

また、一般的にフィルタリング処理量と画質改善効果はトレードオフの関係にあり、フィルタリング処理量を軽減すると画質改善効果は低減する。そのため、画像復号装置１００００で処理が可能な範囲で妥当な大きさのフィルタリング処理量のポストフィルタを用いることになる。しかし、想定外の大きな画像復号処理量を要した場合に、このフィルタリングを行うと画像復号装置１００００自体の処理能力を超えることになり、結果として画像復号装置１００００の処理が破綻し正常な画像の復号が行えないこともある。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、適切に符号化雑音が低減された復号画像を得ることが可能な、画像復号装置を提供することにある。

本発明の他の目的は、復号時の処理量に応じて、ポストフィルタリング処理の処理量を変化させることで、画像の復号処理の破綻を防ぐことが可能な画像復号装置を提供することにある。

上述の課題を解決するために、この発明のある局面に従うと、画像を符号化した画像符号化データを復号して復号画像を生成する画像復号装置は、画像符号化データの復号処理を行なうことにより、復号画像を生成する復号手段と、復号手段が復号処理を行なう処理量を算出するための処理量算出手段と、処理量算出手段により算出された処理量に基づいて、フィルタ強度を決定するフィルタ強度決定手段と、フィルタ強度決定手段が決定したフィルタ強度に基づいて、復号画像に対しフィルタ処理を行なうフィルタ手段とを備える。

この発明の他の局面に従うと、画像を符号化した画像符号化データを復号して復号画像を生成する画像復号装置は、画像符号化データの復号処理を行なうことにより、復号画像を生成する復号手段と、復号手段が復号処理を行なう処理量を算出するための処理量算出手段と、処理量算出手段により算出された処理量に基づいて、フィルタ強度を決定するフィルタ強度決定手段と、復号画像に対しフィルタ処理を行なうフィルタ処理手段とを備え、フィルタ処理手段は、各々が、フィルタ処理を行なった場合の処理量が異なる複数のフィルタ手段を含み、処理量算出手段により算出された処理量が所定の処理量以上の場合、複数のフィルタ手段のうち、フィルタ処理を行なった場合の処理量が最も大きくないフィルタ手段に、復号画像に対しフィルタ強度に基づいたフィルタ処理を行なわせる制御を行なうフィルタ切換制御手段をさらに備える。

好ましくは、処理量算出手段は、復号画像を所定の処理単位で復号するのに要する時間に基づいて、処理量を算出する。

好ましくは、処理量算出手段は、所定の単位時間に対する復号画像を所定の処理単位で復号するのに要する時間の割合を、処理量として算出する。

好ましくは、フィルタ強度決定手段は、処理量算出手段により算出された処理量が大きくなるほど、フィルタ強度を大きな値に決定する。

好ましくは、フィルタ強度決定手段は、処理量算出手段により算出された処理量が、所定の処理量以下の場合は、フィルタ強度をフィルタ処理が行なわれない値に決定する。

好ましくは、フィルタ強度決定手段は、処理量算出手段により算出された処理量が、所定の処理量である第１の処理量より大きい第２の処理量以上の場合は、フィルタ強度を、所定値に決定する。

好ましくは、画像符号化データの符号化制御方式を判定する判定手段をさらに備え、フィルタ強度決定手段は、画像符号化データの符号化制御方式に基づいて、所定の処理量を変化させる。

好ましくは、フィルタ強度決定手段は、画像符号化データの符号化制御方式に基づいて、第２の処理量を変化させる。

好ましくは、画像符号化データの符号化制御方式が、固定ビットレートで符号化を行なう第１の方式および可変ビットレートで符号化を行なう第２の方式のいずれであるかを判定する判定手段をさらに備え、フィルタ強度決定手段は、画像符号化データの符号化制御方式が第１の方式であると判定された場合、第１の処理量および第２の処理量を、画像符号化データの符号化制御方式が第２の方式であると判定された場合における第１の処理量および第２の処理量より、それぞれ、小さな値に設定する。

好ましくは、所定時間における画像符号化データのビットレートの平均値である平均ビットレートを算出するビットレート算出手段をさらに備え、フィルタ強度決定手段は、ビットレート算出手段により算出された平均ビットレートが大きいほど、フィルタ強度を小さな値に決定する。

好ましくは、画像符号化データの符号化方式を判定する符号化方式判定手段をさらに備え、フィルタ強度決定手段は、符号化方式判定手段により判定された符号化方式に基づいて、フィルタ強度を決定する。

好ましくは、フィルタ強度決定手段は、符号化方式判定手段により判定された符号化方式の符号化効率がよいほど、フィルタ強度を小さな値に決定する。

本発明に係る画像復号装置は、画像符号化データの復号処理を行なうことにより、復号画像を生成する復号手段と、画像符号化データの復号処理を行なう処理量に基づいて、フィルタ強度を決定するフィルタ強度決定手段と、フィルタ強度に基づいて、復号画像に対しフィルタ処理を行なうフィルタ手段とを備える。

したがって、復号画像の画質に適応的なフィルタ処理が可能となり、復号画像の画質に適合したフィルタ強度の決定ができる。その結果、適切に符号化雑音が低減された復号画像を得ることができるという効果を奏する。

本発明に係る画像復号装置は、画像符号化データの復号処理を行なうことにより、復号画像を生成する復号手段と、画像符号化データの復号処理を行なう処理量に基づいて、フィルタ強度を決定するフィルタ強度決定手段と、処理量算出手段により算出された処理量が所定の処理量以上の場合、複数のフィルタ手段のうち、フィルタ処理を行なった場合の処理量が最も大きくないフィルタ手段に、復号画像に対しフィルタ強度に基づいたフィルタ処理を行なわせる制御を行なうフィルタ切換制御手段とを備える。

したがって、復号時の処理量に応じて、フィルタ処理の処理量を変化させることで、画像の復号処理の破綻を防ぐことができるという効果を奏する。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１は、第１の実施の形態における、画像復号装置１０００の構成を示すブロック図である。図１を参照して、画像復号装置１０００は、画像復号部１１０を備える、画像復号部１１０は、画像符号化データＧ１００を復号して、復号画像データＧＡ１００を生成する。画像符号化データＧ１００は、たとえば、ビットストリームである。なお、画像符号化データＧ１００は、ビットストリームに限定されることなく、他の形式のデータであってもよい。

なお、画像符号化データＧ１００を生成する画像符号化方式は、たとえば、Ｈ．２６４、Ｈ．２６３、Ｈ．２６１、ＭＰＥＧ−２およびＭＰＥＧ−４のいずれであってもよい。Ｈ．２６４、Ｈ．２６３、Ｈ．２６１は、ＩＴＵ−Ｔ勧告の符号化方式である。ＭＰＥＧ−２およびＭＰＥＧ−４は、ＩＳＯ／ＩＥＣ国際標準の符号化方式である。

画像復号部１１０は、画像符号化データＧ１００を生成した画像符号化方式に対応した復号処理を行なう。たとえば、画像符号化データＧ１００が、ＭＰＥＧ−２で符号化されたデータであれば、画像復号部１１０は、ＭＰＥＧ−２に基づいて、復号処理を行なう。

画像復号装置１０００は、さらに、システム制御部１２０と、処理量算出部１３０と、フィルタ強度決定部１４０とを備える。システム制御部１２０は、画像復号装置１０００内の各部を制御する機能を有する。また、システム制御部１２０は、画像復号部１１０が画像符号化データＧ１００の復号処理に要する時間（以下、復号処理時間ともいう）を計測する。システム制御部１２０は、復号処理時間を示す復号処理時間情報ＤＥＴＭを、処理量算出部１３０へ送信する。

復号処理時間は、画像復号部１１０が、実際に、画像符号化データＧ１００の復号処理のみに要した時間である。したがって、復号処理時間には、復号処理以外の処理、たとえば、ディスプレイに復号画像を表示する処理、当該表示のために画像を変換する処理等の時間は含まれない。

ここで、復号処理がソフトウェアにより行なわれる処理であれば、復号処理時間は、復号処理を行なうＣＰＵを占有していた時間となる。一方、復号処理がハードウェアによる行なわれる場合、復号処理時間は、当該ハードウェアが、復号に要したクロック数を時間に換算した値となる。また、復号処理がソフトウェアおよびハードウェアの両方により行われる場合、復号処理時間は、それぞれの復号処理時間を加算した時間となる。

次に、復号処理時間の具体的な算出方法を説明する。本実施の形態では、画像符号化データＧ１００は、ＭＰＥＧ−２で符号化されたデータであるとする。したがって、画像符号化データＧ１００を復号すると、Ｉフレーム、Ｂフレーム、Ｐフレームが生成される。なお、画像符号化データＧ１００は、ＭＰＥＧ−２で符号化されたデータに限定されることなく、他の方式、たとえば、ＭＰＥＧ−４で符号化されたデータあってもよい。

まず、システム制御部１２０が、復号開始信号ＤＥＳＴを、画像復号部１１０へ送信する。画像復号部１１０は、復号開始信号ＤＥＳＴを受信すると、画像符号化データＧ１００の復号処理を開始する。画像復号部１１０は、所定の処理単位の復号処理が終了する毎に、復号終了信号ＦＩＮを、システム制御部１２０へ送信する。また、画像復号部１１０は、所定の処理単位の復号処理が終了する毎に、所定の処理単位の符号量を示す符号量情報ＣＤＱＵを、システム制御部１２０へ送信する。すなわち、システム制御部１２０は、所定の処理単位の処理時間毎に、復号終了信号ＦＩＮおよび符号量情報ＣＤＱＵを受信する。

なお、所定の処理単位は、たとえば、フレーム単位、スライス単位、ブロック単位等のいずれの処理単位であってもよい。

図２は、所定の処理単位を説明するための図である。図２（Ａ）は、フレームＧ２００を示す図である。すなわち、図２（Ａ）は、処理単位が、フレームである場合における、所定の処理単位を説明するための図である。この場合、復号処理時間は、画像復号部１１０がフレームＧ２００の復号処理を開始してから、復号処理が終了するまでの時間となる。

図２（Ｂ）は、画像（フレーム）Ｇ２００Ａを、複数のスライスに分割した図である。すなわち、図２（Ｂ）は、処理単位が、スライスである場合における、所定の処理単位を説明するための図である。画像Ｇ２００Ａは、スライスＳＬ１，ＳＬ２，ＳＬ３，・・・，ＳＬＮに分割される。スライスＳＬ１，ＳＬ２，ＳＬ３，・・・，ＳＬＮの各々は、縦のサイズが、たとえば、１６画素である。

この場合、復号処理時間は、画像復号部１１０が、１つのスライス（たとえば、スライスＳＬ１）の復号処理を開始してから、復号処理が終了するまでの時間となる。

図２（Ｃ）は、画像（フレーム）Ｇ２００Ｂを、複数のブロックに分割した図である。すなわち、図２（Ｃ）は、処理単位が、ブロックである場合における、所定の処理単位を説明するための図である。画像（フレーム）Ｇ２００Ｂは、ブロックＢＬ１，ＢＬ２，・・・，ＢＬＭに分割される。ブロックＢＬ１，ＢＬ２，・・・，ＢＬＭの各々サイズは、たとえば、縦１６画素、横１６画素のサイズである。

この場合、復号処理時間は、画像復号部１１０が、１つのブロック（たとえば、ブロックＢＬ１）の復号処理を開始してから、復号処理が終了するまでの時間となる。

したがって、処理単位をフレーム単位に設定すればフレーム毎の大局的な処理量の変動を把握できる。一方、処理単位をブロック単位に設定すれば局所的な処理量の変動を把握できる。本実施の形態では、画像復号部１１０の所定の処理単位を、フレーム単位として説明する。

再び、図１を参照して、システム制御部１２０は、復号開始信号ＤＥＳＴを、画像復号部１１０へ送信してから、送信した復号開始信号ＤＥＳＴに対応する復号終了信号ＦＩＮを受信するまでの時間（復号処理時間）を算出する。

また、システム制御部１２０では各処理単位における再生所要時間の算出も行う。これは復号時の所定の処理単位における再生時間で表される。たとえば、復号画像のフレームレートが１５ｆｐｓ（ｆｒａｍｅｓ／ｓｅｃ）の場合、１フレームあたりの再生所要時間は、１／１５より、６６．７（ミリ秒）となる。

すなわち、復号時の所定の処理単位をフレームとすると、１５ｆｐｓの画像符号化データにおける、１フレーム当たりの再生所要時間は、６６．７（ミリ秒）となる。すなわち、再生所要時間は、所定の単位時間である。

システム制御部１２０は、再生所要時間を示す再生所要時間情報ＰＬＡＹＴＭを処理量算出部１３０へ送信する。なお、システム制御部１２０は、復号時の所定の処理単位がスライス単位またはブロック単位であれば、フレーム単位の場合と同様に対応する単位に換算した再生所要時間を算出する。

処理量算出部１３０は、システム制御部１２０からの復号処理時間情報ＤＥＴＭおよび再生所要時間情報ＰＬＡＹＴＭに基づいて処理量を算出する。本実施の形態では処理量を、再生所要時間に対する所定の処理単位における復号処理時間の割合と定義する。

次に、処理量の具体的な算出方法を説明する。まず、システム制御部１２０が、所定の処理単位で、処理量算出起動信号ＰＲＣＬＳＴ、復号処理時間情報ＤＥＴＭおよび再生所要時間情報ＰＬＡＹＴＭを、処理量算出部１３０へ送信する。

処理量算出部１３０は、処理量算出起動信号ＰＲＣＬＳＴを受信する毎に、以下の式（１）に基づいて、処理量Ｐを算出する。
Ｐ＝（復号処理時間）／（再生所要時間）・・・（１）
たとえば、復号処理時間が１８．２（ミリ秒）であり、再生所要時間が６６．７（ミリ秒）であるとする。この場合、式（１）により、処理量Ｐは、１８．２／６６．７＝２７．３（％）となる。

この処理量Ｐが大きいほど、画像復号部１１０は、復号処理に大きな処理量を要することになる。処理量算出部１３０は、処理量算出起動信号ＰＲＣＬＳＴを受信する毎に、この処理量Ｐを示す処理量情報ＰＩを、後述するフィルタ強度決定部１４０へ送信する。なお、処理量は、単に復号処理時間であってもよい。

図３は、フレームに対する処理量の変動を示したグラフである。図３を参照して、縦軸は、処理量（％）を示す。横軸は、フレーム番号を示す。フレーム番号“１”は、動画像の最初のフレームであるＩフレームを示す。Ｉフレームは、イントラ復号が行なわれる必要があるため、Ｉフレームであるフレーム番号“１”の処理量は、他のフレームの処理量よりも大きい。以下において、フレーム番号“Ｔ”（Ｔは自然数）に対応するフレームを、単にフレームＴともいう。

フレームＫの処理量は、他のフレームの処理量よりもかなり小さい。これは、フレームＫを含む、フレームＫの前後の複数のフレーム間で、大きな変化がないためである。

フレームＬの処理量は、前後のフレームの処理量と比較よりも、大きな処理量となっている。これは、フレームＬが、フレームＬの１つ前のフレームに対して変化量が多いためである。すなわち、フレームＬは、１つ前のフレームと全く似通ってないフレームであり、Ｉフレームである。そのため、フレームＬを復号する場合、イントラ符号が行なわれるため処理量が増大する。

また、フレームＬのように大きな処理量を要するフレームは、一般的に符号量が大きくなるので、量子化ステップサイズが大きくなり、復号画像の画質が劣化する傾向にある。

したがって、フレームＬのようなフレームに対してのみポストフィルタリング処理を行うことで、効率的な画質改善が可能であり、不必要なフィルタリングを防止できる。なお、前述において、処理量は、再生所要時間に対する所定の処理単位における復号処理時間の割合と定義したが、所定の処理単位を復号するのに要する時間を処理量としてもよい。

再び、図１を参照して、システム制御部１２０は、前述した所定の処理単位の処理時間毎に、フィルタ強度決定タイミング情報ＦＬＩＮＴＴＭを、フィルタ強度決定部１４０へ送信する。所定の処理単位は、前述したように、たとえば、フレーム単位、スライス単位、ブロック単位等である。なお、本実施の形態では、前述したように所定の処理単位は、フレーム単位である。

フィルタ強度決定部１４０は、処理量算出部１３０から送信される処理量情報ＰＩが示す処理量Ｐおよびフィルタ強度線に基づき、強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、フィルタ強度を決定する。フィルタ強度線は、フィルタ強度決定部１４０が、処理量Ｐに基づいてフィルタ強度を決定するための線である。本実施の形態では、前述したように、所定の処理単位を、フレーム単位としているので、フィルタ強度が決定されるタイミングは、フレーム単位の処理時間毎となる。

図４は、一例としてのフィルタ強度線Ｌ１００を示す図である。図４を参照して、横軸および縦軸は、それぞれ、処理量およびフィルタ強度を示す。フィルタ強度線Ｌ１００は、処理量が、所定範囲の間において、処理量が大きくなる程、フィルタ強度が大きくなる。フィルタ強度線Ｌ１００は、予め設定された線である。

フィルタ強度線Ｌ１００により、たとえば、処理量が、ＫＶ（０以上の整数）の場合、フィルタ強度はＫＫ（０以上の整数）となる。また、フィルタ強度線Ｌ１００により、処理量がＬＶ（０以上の整数）場合、フィルタ強度はＬＬ（０以上の整数）となる。ＬＶは、ＫＶより大きい値である。また、ＬＬは、ＫＫより大きい値である。ＨＶは、第一の所定の処理量としての第一のオフセット値である。なお、ＨＶは０以上の整数である。ＮＶは、第ニの所定の処理量としての第ニのオフセット値である。なお、オフセット値ＮＶは、オフセット値ＨＶより大きく、かつ、０以上の整数である。

したがって、処理量が、オフセット値ＨＶ〜オフセット値ＮＶの範囲の値である場合、処理量が大きくなる程、フィルタ強度決定部１４０が決定するフィルタ強度は大きくなる。また、処理量が０以上〜オフセット値ＨＶ以下の場合、フィルタ強度決定部１４０が決定するフィルタ強度は同じ値である。

これにより、処理量が、小さい場合（オフセット値ＨＶ以下の場合）、フィルタ強度を最小（ゼロ）にしてフィルタ処理を実施しないことができ、比較的画質のよいフレームに対して余分なフィルタリングが実施されないようにすることができる。これはフィルタリングを行わないことによるフィルタ処理量の軽減にもつながり、画像復号装置１０００の消費電力の削減に貢献する。

また、処理量がオフセット値ＮＶ以上の場合、フィルタ強度決定部１４０が決定するフィルタ強度は同じ値である。これにより、ある程度以上の画質劣化のある画像には一定の強さのフィルタリングが実施されて、処理量の変動に伴うフィルタ強度の振動を抑制する効果があり、画質を一定に保つことができる。

なお、フィルタ強度決定部１４０が使用するフィルタ強度線は、以下のフィルタ強度線Ｌ１００Ａであってもよい。

図５は、一例としてのフィルタ強度線Ｌ１００Ａを示す図である。図５を参照して、フィルタ強度線Ｌ１００Ａは、図４のフィルタ強度線Ｌ１００から、所定の処理量によるオフセット値をなくしたフィルタ強度線である。

再び、図１を参照して、画像復号装置１０００は、さらに、ポストフィルタ部１５０を備える。フィルタ強度決定部１４０は、フィルタ強度を示すフィルタ強度情報ＦＬＩＮＴを、ポストフィルタ部１５０へ送信する。また、前述の画像復号部１１０は、生成した復号画像データＧＡ１００をポストフィルタ部１５０へ送信する。

システム制御部１２０は、前述した所定の処理単位の処理時間毎に、フィルタ処理タイミング情報ＦＬＰＲＴＭを、ポストフィルタ部１５０へ送信する。本実施の形態では、所定の処理単位は、前述したように、フレーム単位である。

ポストフィルタ部１５０は、フィルタ処理タイミング情報ＦＬＰＲＴＭを受信する毎に、復号画像データＧＡ１００に基づく復号画像ＧＡＧ１００に対し、受信したフィルタ強度情報ＦＬＩＮＴに基づくフィルタ強度によりポストフィルタリング処理を実行する。これにより、復号画像ＧＡＧ１００に生じる符号化雑音を低減する。符号化雑音は、たとえば、ブロックひずみ、モスキート雑音等である。

図６は、一例としての復号画像ＧＡＧ１００を示す図である。図６を参照して、復号画像ＧＡＧ１００は、横（ｉ方向）６４０画素、縦（ｊ方向）４８０画素のサイズの画像である。以下においては、画像内の任意の座標を（ｉ，ｊ）とする。なお、画像の左上の座標を（０，０）とし、右下の座標を（６３９，４７９）とする。本実施の形態では、ポストフィルタリング処理において、雑音を低減するためのフィルタとして、非線形フィルタを使用する。なお、フィルタは、非線形フィルタに限定されることなく、符号化雑音を低減するためのフィルタであればどのようなフィルタであってもよい。たとえば、非線形フィルタの代わりにメディアンフィルタや平滑化フィルタが使用されてもよい。なお、画像復号装置１０００で行なわれる処理が破綻なく正常に動作する処理量のフィルタを適切に用いることは言うまでもない。

復号画像ＧＡＧ１００を構成する複数の画素の各々は、Ｙ（輝度）成分、Ｃｂ（色差）成分およびＣｒ（色差）成分で構成される。ポストフィルタリング処理は、復号画像ＧＡＧ１００の複数の画素にそれぞれ対応する、複数のＹ（輝度）成分の画素値に対して行なわれる。本実施の形態において、画素値は、０〜２５５の範囲のいずれかの値であるとする。また、ポストフィルタリング処理は、復号画像ＧＡＧ１００の複数の画素にそれぞれ対応する、複数のＣｂ（色差）成分の画素値に対して行なわれる。また、ポストフィルタリング処理は、復号画像ＧＡＧ１００の複数の画素にそれぞれ対応する、複数のＣｒ（色差）成分の画素値に対して行なわれる。

ここでは、複数のＹ（輝度）成分に対して行なわれるポストフィルタリング処理について説明する。まず、３×３画素のサイズのフィルタウインドＦＬＷを復号画像ＧＡＧ１００内の座標（０，０）に設定する。

図７は、フィルタウインドＦＬＷを示す図である。図７を参照して、Ｘ_ｉ，ｊは、座標（ｉ，ｊ）にある注目画素の画素値を示す。ただし、ｉ，ｊは、１以上の自然数であるとする。なお、復号画像ＧＡＧ１００内の座標（０，０）に設定されたフィルタウインドＦＬＷ内のＸ_{ｉ−１，ｊ−１}は、座標（０，０）にある画素の画素値を示す。非線形フィルタを使用するポストフィルタリング処理では、以下の式（２），式（３），式（４）に基づいて、ポストフィルタ部１５０が、出力画素値Ｙ_ｉ、ｊを算出する。

式（３）のｆ（ｘ）内のｘは、以下の式（４）で表される。

式（３）のεは、フィルタ強度ＦＬＩＮＴを示す。式（３）より、ｘの絶対値が、フィルタ強度ε以下の場合、ｆ（ｘ）＝Ｘ_ｉ，ｊ−Ｘ_{ｉ＋ｋ，ｊ＋ｌ}となる。たとえば、画素値Ｘ_ｉ，ｊ＝１０、画素値Ｘ_{ｉ＋ｋ，ｊ＋ｌ}＝１４、フィルタ強度ε＝５であるとする。この場合、式（４）より、ｘは、１０−１４より“−４”となる。したがって、ｘ（−４）の絶対値“４”は、フィルタ強度ε（５）以下であるので、式（３）より、ｆ（ｘ）＝−４となる。

また、式（３）より、ｘの絶対値が、フィルタ強度εより大きい場合、ｆ（ｘ）＝０となる。たとえば、画素値Ｘ_ｉ，ｊ＝１６、画素値Ｘ_{ｉ＋ｋ，ｊ＋ｌ}＝１０、フィルタ強度ε＝５であるとする。この場合、式（４）より、ｘは、１６−１０より“６”となる。したがって、ｘ（６）の絶対値“６”は、フィルタ強度ε（５）より大きいので、式（３）より、ｆ（ｘ）＝０となる。すなわち、フィルタ強度ＦＬＩＮＴが大きいほど強い平滑化が実施され、大きな符号化雑音を低減することができる。つまり、フィルタ強度の値が大きいほど、フィルタ処理の効果が大きくなる。

ポストフィルタリング処理において、ポストフィルタ部１５０は、画素値算出処理を行なう。画素値算出処理では、ポストフィルタ部１５０が、ｋおよびｌの値の組合せ（ｋ，ｌ）を、（−１，−１），（−１，０），（−１，１），（０，−１），（０，１），（１，−１），（１，０）、（１，１）の順に、変化させる毎に、式（３），式（４）により、ｆ（ｘ）の値を求め、式（２）に代入することで、画素値Ｙ_ｉ、ｊを算出する。すなわち、式（２）より注目画素の画素値Ｘ_ｉ，ｊから、注目画素を取り囲む８個の画素値（図７参照）の合計値を８で除算した値で減算した値が、画素値Ｙ_ｉ、ｊとなる。そして、ポストフィルタ部１５０は、画素値Ｘ_ｉ，ｊを、画素値Ｙ_ｉ、ｊと置き換える。

以上の画素値算出処理を、ポストフィルタ部１５０は、復号画像ＧＡＧ１００内において、フィルタウインドＦＬＷを１画素ずつ、右に移動させる毎に行なう。なお、フィルタウインドＦＬＷの位置が、復号画像ＧＡＧ１００内の右端の位置となった次のフィルタウインドＦＬＷの位置は、復号画像ＧＡＧ１００内の左端の位置であって、１画素下に移動した位置となる。以上の処理を繰り返すことにより、フィルタウインドＦＬＷの位置が、復号画像ＧＡＧ１００内の右下の位置まで移動する。以上の処理（以下、画素値置換処理ともいう）を、複数のＣｂ（色差）成分の画素値、複数のＣｒ（色差）成分の画素値に対しても同様に行なわれる。

なお、画素値置換処理は、復号画像ＧＡＧ１００のＹ（輝度）成分、Ｃｂ（色差）成分およびＣｒ（色差）成分全てに対し行なわれなくてもよい。たとえば、画素値置換処理は、Ｙ（輝度）成分のみに行なわてもよい。また、画素値置換処理は、復号画像ＧＡＧ１００内の符号化雑音が発生しやすい部分に対応する複数の画素のみに行なわれてもよい。

以上により、ポストフィルタ部１５０は、復号画像ＧＡＧ１００の符号化雑音が低減された復号画像ＧＡＧ２００を出力する。これにより、ポストフィルタリング処理は終了する。

次に、画像復号装置１０００が、画像符号化データＧ１００から、復号画像ＧＡＧ２００を生成するまでの処理（以下、雑音低減復号化処理ともいう）について説明する。

図８は、雑音低減復号化処理のフローチャートである。図８を参照して、ステップＳ１１０では、システム制御部１２０が、前述したように、復号処理時間および再生所要時間を算出する。そして、システム制御部１２０は、算出した復号処理時間および再生所要時間の情報を、処理量算出部１３０へ送信する。その後、ステップＳ１２０に進む。

ステップＳ１２０では、処理量算出部１３０が、前述の式（１）より、算出された復号処理時間および再生所要時間から、処理量を算出する。処理量算出部１３０は、算出した処理量を示す処理量情報を、フィルタ強度決定部１４０へ送信する。その後、ステップＳ１３０に進む。

ステップＳ１３０では、フィルタ強度決定部１４０は、前述したように、処理量算出部１３０から送信された処理量情報に示される処理量および前述のフィルタ強度線に基づき、フィルタ強度を決定する。そして、フィルタ強度決定部１４０は、決定したフィルタ強度の情報を、ポストフィルタ部１５０へ送信する。その後、ステップＳ１４０に進む。

なお、雑音低減復号化処理とは独立して並列的に、画像復号処理が行なわれる。画像復号処理では、画像復号部１１０が、前述した所定の処理単位の処理時間毎に、画像符号化データの復号処理を所定の処理単位で行い、復号処理により得られた復号画像データを、ポストフィルタ部１５０へ送信する。

ステップＳ１４０では、前述したポストフィルタリング処理が行なわれるので詳細な説明は繰り返さない。

以上の処理により、画像符号化データＧ１００を復号した、復号画像ＧＡＧ１００の符号化雑音が低減された復号画像ＧＡＧ２００が生成される。

以上説明したように、本実施の形態では、フィルタ強度を、画像符号化データＧ１００を所定の処理単位で復号する際の処理量から算出する。そのため、フィルタ強度の算出には簡単な演算を実施すればよく、余分な処理量の増加を防止できる。

また、復号画像の画質に適応的なフィルタリングが可能となり、復号画像の画質に適合したフィルタ強度の決定ができる。その結果、適切に符号化雑音が低減された復号画像を得ることができる。

＜第１の実施の形態の変形例１＞
本実施の形態では、画像符号化データの生成方法に応じて、フィルタ強度決定部１４０が決定するフィルタ強度を適応的に変化させる処理について説明する。

図９は、第１の実施の形態の変形例１における、画像復号装置１０００Ａの構成を示すブロック図である。図９を参照して、画像復号装置１０００Ａは、図１の画像復号装置１０００と比較して、システム制御部１２０が、さらに、符号化制御方式情報ＣＤＣＴを、フィルタ強度決定部１４０へ送信する点が異なる。それ以外の構成は、画像復号装置１０００と同様なので詳細な説明は繰り返さない。符号化制御方式情報ＣＤＣＴは、画像符号化データＧ１００が、固定ビットレート（ＣＢＲ（Constant Bit Rate））符号化および可変ビットレート（ＶＢＲ（Variable Bit Rate））符号化のいずれで符号化されたかを特定する情報である。

ＣＢＲ符号化は、符号化する画像の時間経過に伴う情報量の変化に関わらず、単位時間当たり一定の符号量で符号化する手法である。したがって、画像符号化データＧ１００がＣＢＲ符号化で符号化されたデータである場合、画像符号化データＧ１００を復号処理した場合の時間経過に伴うデータ量は、画像に関係なく常に一定となる。そのため、ＣＢＲ符号化では、画像内の動きが大きいシーンが存在する場合、前述の符号化雑音が発生する場合がある。

ＶＢＲ符号化は、符号化する画像の時間経過に伴う情報量の変化に応じて、ビットレートを可変にして符号化する手法である。したがって、画像符号化データＧ１００がＶＢＲ符号化で符号化されたデータである場合、画像符号化データＧ１００は、画像内の動きが大きい部分は高ビットレートで符号化され、画像内の動きが小さい部分では低ビットレートで符号化されたデータとなる。したがって、画像がＶＢＲ符号化されると、画像の状況に応じて最適なビットレートで符号化したデータが生成できる。その結果、ＶＢＲ符号化された画像の符号化データは、単位時間当たりの符号量が画像内の動き等に応じて変化するが、画質が所定レベル以上の品質を保ったデータとなる。

すなわち、符号化制御方式情報ＣＤＣＴは、ＣＢＲ符号化およびＶＢＲ符号化のいずれかを特定するための情報である。

本実施の形態で行なわれる処理は、第１の実施の形態の画像復号装置１０００が行なう処理と比較して、システム制御部１２０およびフィルタ強度決定部１４０が行なう処理が異なるのみなので、システム制御部１２０およびフィルタ強度決定部１４０が行なう処理についてのみ説明する。

システム制御部１２０は、前述の所定の処理単位の復号処理が終了する毎に、画像復号部１１０から送信される符号量情報ＣＤＱＵを受信する。システム制御部１２０は、符号量情報ＣＤＱＵに基づいて、所定時間（たとえば、１秒）における符号量の変動量を算出する。システム制御部１２０は、算出した変動量が、所定量以下であれば、ＣＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを、フィルタ強度決定部１４０へ送信する。一方、システム制御部１２０は、算出した変動量が、所定量より大きければ、ＶＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを、フィルタ強度決定部１４０へ送信する。なお、それ以外のシステム制御部１２０の動作は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

フィルタ強度決定部１４０は、符号化制御方式情報ＣＤＣＴおよび前述した処理量算出部１３０から送信される処理量情報ＰＩが示す処理量Ｐおよびフィルタ強度線に基づき、前述の強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、フィルタ強度を決定する。

図１０は、一例としてのフィルタ強度線Ｌ２００，Ｌ２００Ａを示す図である。図１０を参照して、フィルタ強度線Ｌ２００は、フィルタ強度決定部１４０がＶＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを受信した場合、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線である。なお、フィルタ強度線Ｌ２００は、図４のフィルタ強度線Ｌ１００と同様なフィルタ強度線であるので詳細な説明は繰り返さない。

フィルタ強度線Ｌ２００Ａは、フィルタ強度決定部１４０がＣＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを受信した場合、フィルタ強度線Ｌ２００を、左に所定量、シフトさせた後のフィルタ強度線である。

すなわち、フィルタ強度決定部１４０は、ＣＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを受信した場合、フィルタ強度線Ｌ２００Ａの第一の所定の処理量としての第一のオフセット値ＧＶを、フィルタ強度線Ｌ２００の第一の所定の処理量としての第一のオフセット値ＨＶよりも小さい値に設定する。また、フィルタ強度決定部１４０は、ＶＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを受信した場合、フィルタ強度線Ｌ２００Ａの第ニの所定の処理量としての第ニのオフセット値ＭＶを、フィルタ強度線Ｌ２００の第ニの所定の処理量としての第ニのオフセット値ＮＶよりも小さい値に設定する。

したがって、フィルタ強度決定部１４０は、ＣＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを受信した場合、ＶＢＲ符号化を特定する符号化制御方式情報ＣＤＣＴを受信した場合より、同じ処理量でも、決定するフィルタ強度を大きくすることができる。その結果、少ない処理量でも大きな符号化雑音が発生しやすいＣＢＲ符号化においては、前述のポストフィルタリング処理において、強い平滑化が実施され、符号化雑音を低減することができる。

また、符号化雑音が発生しにくいＶＢＲ符号化においては、無駄なフィルタ処理を防止でき、符号化制御方式に適したフィルタ制御が可能となる。

＜第１の実施の形態の変形例２＞
本実施の形態では、画像符号化データの生成方法に応じて、フィルタ強度決定部１４０が決定するフィルタ強度を適応的に変化させる処理の別の例について説明する。

図１１は、第１の実施の形態の変形例２における、画像復号装置１０００Ｂの構成を示すブロック図である。図１１を参照して、画像復号装置１０００Ｂは、図１の画像復号装置１０００と比較して、システム制御部１２０が、さらに、平均ビットレート情報ＡＶＢＩＴを、フィルタ強度決定部１４０へ送信する点が異なる。それ以外の構成は、画像復号装置１０００と同様なので詳細な説明は繰り返さない。平均ビットレート情報ＡＶＢＩＴは、所定時間における画像符号化データＧ１００のビットレートの平均値（以下、平均ビットレートともいう）を示す情報である。ここで、所定時間は、たとえば、１００ミリ秒、５００ミリ秒、１秒、１０秒、２０秒等の任意の時間である。

システム制御部１２０は、前述の所定の処理単位（フレーム単位）の復号処理が終了する毎に、画像復号部１１０から送信される符号量情報ＣＤＱＵを受信する。システム制御部１２０は、所定個数（２以上の自然数）の符号量情報ＣＤＱＵを受信する毎に、受信した個数の符号量情報ＣＤＱＵに基づいて、平均ビットレートを算出する。たとえば、システム制御部１２０が、１０個の符号量情報ＣＤＱＵを受信した場合、１０個の符号量情報ＣＤＱＵの平均値が、平均ビットレートとなる。

システム制御部１２０は、平均ビットレートを算出する毎に、算出した平均ビットレートが、たとえば、１００ｋｂｐｓ以上〜１Ｍｂｐｓ未満の範囲にあれば、平均ビットレートが小さいことを示す平均ビットレート情報ＡＶＢＩＴを、フィルタ強度決定部１４０へ送信する。また、システム制御部１２０は、平均ビットレートを算出する毎に、算出した平均ビットレートが、たとえば、１Ｍｂｐｓ以上〜４Ｍｂｐｓ未満の範囲にあれば、平均ビットレートが中程度であることを示す平均ビットレート情報ＡＶＢＩＴを、フィルタ強度決定部１４０へ送信する。

また、システム制御部１２０は、平均ビットレートを算出する毎に、算出した平均ビットレートが、たとえば、４Ｍｂｐｓ以上であれば、平均ビットレートが大きいことを示す平均ビットレート情報ＡＶＢＩＴを、フィルタ強度決定部１４０へ送信する。なお、それ以外のシステム制御部１２０の動作は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

フィルタ強度決定部１４０は、平均ビットレート情報ＡＶＢＩＴおよび前述した処理量算出部１３０から送信される処理量情報ＰＩが示す処理量Ｐおよびフィルタ強度線に基づき、前述の強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、フィルタ強度を決定する。

図１２は、一例としてのフィルタ強度線Ｌ３００Ａ，Ｌ３００Ｂ，Ｌ３００Ｃを示す図である。図１２を参照して、フィルタ強度線Ｌ３００Ａは、フィルタ強度決定部１４０が、平均ビットレートが小さいことを示す平均ビットレート情報ＡＶＢＩＴを受信した場合、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線である。フィルタ強度線Ｌ３００Ａは、平均ビットレートが小さく、画質劣化が大きい復号画像に、大きいフィルタ強度を適用するための傾きの大きいフィルタ強度線である。

フィルタ強度線Ｌ３００Ｃは、フィルタ強度決定部１４０が、平均ビットレートが大きいことを示す平均ビットレート情報ＡＶＢＩＴを受信した場合、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線である。フィルタ強度線Ｌ３００Ｃは、平均ビットレートが大きく、画質劣化が非常に少ない復号画像に、小さいフィルタ強度を適用するための傾きの小さいフィルタ強度線である。

フィルタ強度線Ｌ３００Ｂは、フィルタ強度決定部１４０が平均ビットレートが中程度であることを示す平均ビットレート情報ＡＶＢＩＴを受信した場合、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線である。画質劣化が少し存在する程度の復号画像に、中程度のフィルタ強度を適用するための傾きのフィルタ強度線である。フィルタ強度線Ｌ３００Ｂの傾きは、フィルタ強度線Ｌ３００Ａとフィルタ強度線Ｌ３００Ｃとの間の傾きである。

なお、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線Ｌ３００Ａ，Ｌ３００Ｂ，Ｌ３００Ｃは、予め設定されたフィルタ強度線である。なお、フィルタ強度線Ｌ３００Ａ，Ｌ３００Ｂ，Ｌ３００Ｃは、予め設定されたフィルタ強度線でなくてもよい。たとえば、フィルタ強度線Ｌ３００Ａ，Ｌ３００Ｃは、フィルタ強度決定部１４０が平均ビットレート情報ＡＶＢＩＴを受信した場合、フィルタ強度決定部１４０が、フィルタ強度線Ｌ３００Ｂの傾きを変化させた曲線であってもよい。

したがって、フィルタ強度決定部１４０は、平均ビットレートの大きさに応じて、すなわち、復号画質の画質に応じて、適切なフィルタ強度を決定することができる。その結果、前述のポストフィルタリング処理において、復号画像の画質に応じて、適切に符号化雑音を低減することができる。

＜第１の実施の形態の変形例３＞
本実施の形態では、画像符号化データの生成方法に応じて、フィルタ強度決定部１４０が決定するフィルタ強度を適応的に変化させる処理の別の例について説明する。

図１３は、第１の実施の形態の変形例３における、画像復号装置１０００Ｃの構成を示すブロック図である。図１３を参照して、画像復号装置１０００Ｃは、図１の画像復号装置１０００と比較して、画像復号部１１０が、さらに、符号化方式情報ＣＤＩを、フィルタ強度決定部１４０へ送信する点が異なる。それ以外の構成は、画像復号装置１０００と同様なので詳細な説明は繰り返さない。符号化方式情報ＣＤＩは、画像符号化データＧ１００を生成するのに使用した符号化方式を特定するための情報である。

符号化方式には、たとえば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の各種方式があるが、方式によって圧縮手法が異なるため符号化効率に差がある。たとえば、ＭＰＥＧ−４はＭＰＥＧ−２の２倍の符号化効率を有すること、および、Ｈ．２６４はＭＰＥＧ−４の２倍の符号化効率を有することが一般的に知られている。したがって、同じビットレートの画像符号化データであれば符号化効率がよい符号化方式ほど復号画像の画質がよくなる。すなわち、Ｈ．２６４、ＭＰＥＧ−４、ＭＰＥＧ−２の順に符号化効率が悪くなる。

一方、復号化の処理量について、各符号化方式を比較した場合、符号化効率を向上させるため複雑な処理を実施しているＨ．２６４の処理量が一番大きい。また、Ｈ．２６４、ＭＰＥＧ−４、ＭＰＥＧ−２の順に復号化の処理量が小さくなる。すなわち、同じビットレートの画像符号化データであっても符号化方式により復号画像の画質や復号画像の復号処理量が異なることになる。

本実施の形態で行なわれる処理は、第１の実施の形態の画像復号装置１０００が行なう処理と比較して、画像復号部１１０およびフィルタ強度決定部１４０が行なう処理が異なるのみなので、画像復号部１１０およびフィルタ強度決定部１４０が行なう処理についてのみ説明する。

画像復号部１１０は、前述の所定の処理単位（フレーム単位）の復号処理が終了する毎に、画像符号化データＧ１００を生成するのに使用した符号化方式がＭＰＥＧ−２の場合、ＭＰＥＧ−２を特定するための符号化方式情報ＣＤＩを、フィルタ強度決定部１４０へ送信する。

画像復号部１１０は、前述の所定の処理単位（フレーム単位）の復号処理が終了する毎に、画像符号化データＧ１００を生成するのに使用した符号化方式がＭＰＥＧ−４の場合、ＭＰＥＧ−４を特定するための符号化方式情報ＣＤＩを、フィルタ強度決定部１４０へ送信する。

画像復号部１１０は、前述の所定の処理単位（フレーム単位）の復号処理が終了する毎に、画像符号化データＧ１００を生成するのに使用した符号化方式がＨ．２６４の場合、Ｈ．２６４を特定するための符号化方式情報ＣＤＩを、フィルタ強度決定部１４０へ送信する。なお、それ以外の画像復号部１１０の動作は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

フィルタ強度決定部１４０は、符号化方式情報ＣＤＩおよび前述した処理量算出部１３０から送信される処理量情報ＰＩが示す処理量Ｐおよびフィルタ強度線に基づき、前述の強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、フィルタ強度を決定する。

図１４は、一例としてのフィルタ強度線Ｌ４００Ａ，Ｌ４００Ｂ，Ｌ４００Ｃを示す図である。図１４を参照して、フィルタ強度線Ｌ４００Ａは、ＭＰＥＧ−２を特定するための符号化方式情報ＣＤＩを受信した場合、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線である。

フィルタ強度線Ｌ４００Ｂは、ＭＰＥＧ−４を特定するための符号化方式情報ＣＤＩを受信した場合、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線である。フィルタ強度線Ｌ４００Ｃは、Ｈ．２６４を特定するための符号化方式情報ＣＤＩを受信した場合、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線である。

すなわち、フィルタ強度線Ｌ４００Ａ，Ｌ４００Ｂ，Ｌ４００Ｃは、同じ復号化の処理量でも、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４の順に小さなフィルタ強度が決定されることを示す。つまり、符号化効率がよい符号化方式ほど、フィルタ強度を小さな値とする。たとえば、同じ復号化の処理量の場合、Ｈ．２６４のフィルタ強度が最も小さな値となる。

なお、フィルタ強度決定部１４０がフィルタ強度を決定するときに使用するフィルタ強度線Ｌ４００Ａ，Ｌ４００Ｂ，Ｌ４００Ｃは、予め設定されたフィルタ強度線である。なお、フィルタ強度線Ｌ４００Ａ，Ｌ４００Ｂ，Ｌ４００Ｃは、予め設定されたフィルタ強度線でなくてもよい。たとえば、フィルタ強度線Ｌ４００Ａ，Ｌ４００Ｃは、フィルタ強度決定部１４０が符号化方式情報ＣＤＩを受信した場合、フィルタ強度決定部１４０が、フィルタ強度線Ｌ４００Ｂの傾きを変化させた曲線であってもよい。

以上により、フィルタ強度決定部１４０は、前述した符号化方式を特定するための符号化方式情報ＣＤＩを受信した場合、符号化方式情報ＣＤＩにより特定される符号化方式の符号化効率が悪い程、同じ復号化の処理量でも、決定するフィルタ強度を大きくすることができる。その結果、前述のポストフィルタリング処理において、復号画像に適さない強さのフィルタ処理が行われることを防止したり、画像に存在する強い符号化雑音を効果的に低減したりできる。すなわち、復号画像に適したフィルタ処理を行なうことができる。

以上説明したように、第１の実施の形態および第１の実施の形態の変形例１〜変形例３では、状況に応じたフィルタ強度線を使用し、復号化の処理量からフィルタ強度を決定する手法について述べた。しかしながら、本発明は、これに限定されることなく、処理量に対してフィルタ強度が一意的に決定できればよい。たとえば、ルックアップテーブルを使用して、処理量からフィルタ強度を決定してもよい。

なお、フィルタ強度線は、画像復号部１１０の性能や能力等に合わせて復号画像の符号化雑音が最適に低減されるように事前に設定しておく。たとえば、前述したポストフィルタリング処理を行なったとき、復号画像を表示するディスプレイ上で効果的に符号化雑音が低減し、かつ、フィルタリングによるぼけもないフィルタ強度となることが望ましい。このような状態になる処理量とフィルタ強度の関係を事前に調査することで、フィルタ強度線は設定可能である。なお、フィルタ強度決定部１４０が使用するフィルタ強度線は、第１の実施の形態および第１の実施の形態の変形例１〜変形例３において説明したフィルタ強度線だけに限定されず、他の特性を有するフィルタ強度線を使用してもよい。

また、第１の実施の形態および第１の実施の形態の変形例１〜変形例３において行なわれるポストフィルタリング処理では、フィルタ処理に要する時間が復号処理に要する時間と同等、あるいはそれ以上となることもある。したがって、復号処理やフィルタ処理、さらにはそれ以外の処理として復号画像の表示処理等を行なうのに十分な性能をもつＣＰＵやハードウェアを用いて画像復号装置を構成することが必要である。

また、第１の実施の形態および第１の実施の形態の変形例１〜変形例３においては、復号時の所定の処理単位をフレームとしフレーム内で１つフィルタ強度を決定してフィルタリングする例を説明した。しかしながら、処理単位をスライス単位、ブロック単位としてもよい。これにより、フレーム内の局所的な処理量に基づいてフレーム内で複数のフィルタ強度が決定でき、フレーム内の部分的な劣化に適合したフィルタリングを行なうことができる。たとえば、フレーム内の上部に空が表示され、フレーム内の下部に大きく動く車があった場合、画質の劣化が大きい下部の車部分のみに強いフィルタ強度でフィルタリングを行なってもよい。

＜第２の実施の形態＞
第２の実施の形態では、復号時の処理量に応じて、使用するポストフィルタ部を切替えることにより、画像復号装置における処理の破綻を防ぐ。

図１５は、第２の実施の形態における、画像復号装置２０００の構成を示すブロック図である。図１５を参照して、画像復号装置２０００は、図１の画像復号装置１０００と比較して、フィルタ切替制御部１６０と、スイッチ１９０Ａ，１９０Ｂとをさらに備える点と、ポストフィルタ部１５０の代わりにポストフィルタ部１５０Ａを備える点と、処理量情報ＰＩおよびフィルタ強度決定タイミング情報ＦＬＩＮＴＴＭがさらにフィルタ切替制御部１６０へ送信される点と、復号画像データＧＡ１００がスイッチ１９０Ａへ送信される点とが異なる。それ以外の構成は、画像復号装置１０００と同様なので詳細な説明は繰り返さない。

ポストフィルタ部１５０Ａは、第１ポストフィルタ部１５１Ａと、第２ポストフィルタ部１５２Ａとを含む。

第１ポストフィルタ部１５１Ａは、図１のポストフィルタ部１５０と同様な機能を有するので詳細な説明は繰り返さない。すなわち、第１ポストフィルタ部１５１Ａは、前述のポストフィルタリング処理を行なう。

第２ポストフィルタ部１５２Ａは、第１ポストフィルタ部１５１Ａよりも処理量の小さいポストフィルタリング処理Ａを行なう。ポストフィルタリング処理Ａは、ポストフィルタリング処理と比較して、処理量が少ない。たとえば、ポストフィルタリング処理Ａの処理量は、ポストフィルタリング処理の処理量の、６０〜８０（％）であるとする。なお、ポストフィルタリング処理Ａの処理量は、ポストフィルタリング処理の処理量の、６０〜８０（％）に限定されることはなく、他の値（たとえば、５０％）であってもよい。

また、ポストフィルタリング処理Ａの処理量が、ポストフィルタリング処理の処理量より少ないことを実現する一例は、ポストフィルタリング処理Ａにおいて使用するフィルタを、ポストフィルタリング処理で使用されるフィルタより、演算量が少ないフィルタとすることである。なお、ポストフィルタリング処理Ａにおいて使用されるフィルタは、復号画像ＧＡＧ１００の符号化雑音を低減するものであれば、どのようなフィルタであってもよい。

また、ポストフィルタリング処理Ａの処理量が、ポストフィルタリング処理の処理量より少ないことを実現する他の例は、ポストフィルタリング処理Ａにおいて使用するフィルタを、ポストフィルタリング処理で使用されるフィルタと同じとし、フィルタ処理を行なう対象画素を、たとえば、ポストフィルタリング処理の２分の１に減らすことである。

したがって、第２ポストフィルタ部１５２Ａによりポストフィルタリング処理Ａが行なわれた復号画像は、第１ポストフィルタ部１５１Ａによりポストフィルタリング処理が行なわれた復号画像より、符号化雑音の除去率が低い画像となる。それ以外の処理は、ポストフィルタリング処理と同様なので詳細な説明は繰り返さない。また、復号画像ＧＡＧ１００に対してポストフィルタリング処理Ａを行なうのに必要な時間は、復号画像ＧＡＧ１００に対してポストフィルタリング処理を行なうのに必要な時間よりも短い。

本実施の形態で行なわれる処理は、第１の実施の形態の画像復号装置１０００が行なう処理と比較して、処理量算出部１３０が、処理量Ｐを算出するまでの処理は、第１の実施の形態と同様なので、第１の実施の形態と異なる部分の処理についてのみ説明する。

処理量算出部１３０は、前述の処理量算出起動信号ＰＲＣＬＳＴを受信する毎に、処理量Ｐを示す処理量情報ＰＩを、フィルタ強度決定部１４０およびフィルタ切替制御部１６０へ送信する。

システム制御部１２０は、前述した所定の処理単位の処理時間毎に、フィルタ強度決定タイミング情報ＦＬＩＮＴＴＭを、フィルタ強度決定部１４０およびフィルタ切替制御部１６０へ送信する。本実施の形態では、所定の処理単位は、フレーム単位とする。なお、所定の処理単位は、スライス単位、ブロック単位であってもよい。

フィルタ強度決定部１４０は、第１の実施の形態で説明したのと同様に、処理量算出部１３０から送信される処理量情報ＰＩが示す処理量Ｐおよびフィルタ強度線に基づき、強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、フィルタ強度を決定する。この場合、フィルタ強度線は、第１の実施の形態で説明したフィルタ強度線であるとする。本実施の形態では、前述したように、所定の処理単位を、フレーム単位としているので、フィルタ強度が決定されるタイミングは、フレーム単位の処理時間毎となる。

フィルタ強度決定部１４０は、フィルタ強度を示すフィルタ強度情報ＦＬＩＮＴを、第１ポストフィルタ部１５１Ａおよび第２ポストフィルタ部１５２Ａへ送信する。

システム制御部１２０は、前述した所定の処理単位の処理時間毎に、フィルタ処理タイミング情報ＦＬＰＲＴＭを、第１ポストフィルタ部１５１Ａおよび第２ポストフィルタ部１５２Ａへ送信する。本実施の形態では、所定の処理単位は、前述したように、フレーム単位である。

フィルタ切替制御部１６０は、フィルタ強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、受信した処理量情報ＰＩの示す処理量Ｐに応じた切換制御情報ＳＷＣＴを決定する。

図１６は、切換制御情報ＳＷＣＴの決定方法を説明するための図である。図１６を参照して、縦軸は、処理量（％）を示す。横軸は、フレーム番号を示す。また、図１６は、フレームに対する処理量の変動を示したグラフである。

図１５および図１６を参照して、フィルタ切替制御部１６０は、処理量Ｐが、所定の処理量ＰＳ未満の場合は、復号画像ＧＡＧ１００を、第１ポストフィルタ部１５１Ａに処理させるための切換制御情報ＳＷＣＴを、フィルタ強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、スイッチ１９０Ａ，１９０Ｂへ送信する。この場合、切換制御情報ＳＷＣＴは、たとえば、“１”を示す情報である。

フィルタ切替制御部１６０は、処理量Ｐが、所定の処理量ＰＳ以上の場合は、復号画像ＧＡＧ１００を、第２ポストフィルタ部１５２Ａに処理させるための切換制御情報ＳＷＣＴを、フィルタ強度決定タイミング情報ＦＬＩＮＴＴＭを受信する毎に、スイッチ１９０Ａ，１９０Ｂへ送信する。この場合、切換制御情報ＳＷＣＴは、たとえば、“２”を示す情報である。

スイッチ１９０Ａは、“１”を示す切換制御情報ＳＷＣＴを受信した場合、画像復号部１１０から受信した画像データＧＡ１００を第１ポストフィルタ部１５１Ａへ送信する。

第１ポストフィルタ部１５１Ａは、フィルタ処理タイミング情報ＦＬＰＲＴＭを受信する毎に、復号画像データＧＡ１００に基づく復号画像ＧＡＧ１００に対し、受信したフィルタ強度情報ＦＬＩＮＴに基づくフィルタ強度により前述したポストフィルタリング処理を実行する。そして、第１ポストフィルタ部１５１Ａは、復号画像ＧＡＧ１００の符号化雑音が低減された復号画像ＧＡＧ２００のデータを、スイッチ１９０Ｂへ送信する。

スイッチ１９０Ｂは、“１”を示す切換制御情報ＳＷＣＴを受信した場合、受信した復号画像ＧＡＧ２００のデータを出力する。

スイッチ１９０Ｂは、“２”を示す切換制御情報ＳＷＣＴを受信した場合、画像復号部１１０から受信した画像データＧＡ１００を第２ポストフィルタ部１５２Ａへ送信する。

第２ポストフィルタ部１５２Ａは、フィルタ処理タイミング情報ＦＬＰＲＴＭを受信する毎に、復号画像データＧＡ１００に基づく復号画像ＧＡＧ１００に対し、受信したフィルタ強度情報ＦＬＩＮＴに基づくフィルタ強度により前述したポストフィルタリング処理Ａを実行する。そして、第２ポストフィルタ部１５２Ａは、復号画像ＧＡＧ１００の符号化雑音が低減された復号画像ＧＡＧ２００のデータを、スイッチ１９０Ｂへ送信する。

スイッチ１９０Ｂは、“２”を示す切換制御情報ＳＷＣＴを受信した場合、受信した復号画像ＧＡＧ２００のデータを出力する。

以上説明したように、本実施の形態では、画像復号部１１０における復号時の処理量が、所定の処理量以上となったとしても、適応的にポストフィルタリング処理を行なう際の処理量の小さいポストフィルタ部で、復号画像を処理させる。

したがって、復号画像の符号化雑音が低減率は減少するものの、画像復号装置における画像の復号処理を破綻させることなく、ポストフィルタリング処理を行なうことができるという効果を奏する。

なお、本実施の形態では第１ポストフィルタ部１５１Ａおよび第２ポストフィルタ部１５２Ａの２つのポストフィルタ部を切換えて使用する例を説明した。しかしながら、本実施の形態は、これに限定されることなく、フィルタリング処理量の異なる３つ以上のポストフィルタ部を切換えて使用してもよい。

＜第２の実施の形態の変形例１＞
本実施の形態では、画像符号化データの生成方法に応じて、フィルタ強度決定部１４０が決定するフィルタ強度を適応的に変化させる処理について説明する。

図１７は、第２の実施の形態の変形例１における、画像復号装置２０００Ａの構成を示すブロック図である。図１７を参照して、画像復号装置２０００Ａは、図１５の画像復号装置２０００と比較して、システム制御部１２０が、さらに、前述した符号化制御方式情報ＣＤＣＴを、フィルタ強度決定部１４０へ送信する点が異なる。それ以外の構成は、画像復号装置２０００と同様なので詳細な説明は繰り返さない。

本実施の形態で行なわれる処理は、第２の実施の形態の画像復号装置２０００が行なう処理と比較して、システム制御部１２０およびフィルタ強度決定部１４０が行なう処理が異なるのみなので、システム制御部１２０およびフィルタ強度決定部１４０が行なう処理についてのみ説明する。

ここで、システム制御部１２０およびフィルタ強度決定部１４０が行なう処理は、第１の実施の形態の変形例１で説明した処理と同様なので詳細な説明は繰り返さない。

したがって、本実施の形態においては、第２の実施の形態の奏する効果に加え、第１の実施の形態の変形例１の奏する効果を得ることができる。

＜第２の実施の形態の変形例２＞
本実施の形態では、画像符号化データの生成方法に応じて、フィルタ強度決定部１４０が決定するフィルタ強度を適応的に変化させる処理の別の例について説明する。

図１８は、第２の実施の形態の変形例２における、画像復号装置２０００Ｂの構成を示すブロック図である。図１８を参照して、画像復号装置２０００Ｂは、図１５の画像復号装置２０００と比較して、システム制御部１２０が、さらに、前述した平均ビットレート情報ＡＶＢＩＴを、フィルタ強度決定部１４０へ送信する点が異なる。それ以外の構成は、画像復号装置２０００と同様なので詳細な説明は繰り返さない。

ここで、システム制御部１２０およびフィルタ強度決定部１４０が行なう処理は、第１の実施の形態の変形例２で説明した処理と同様なので詳細な説明は繰り返さない。

したがって、本実施の形態においては、第２の実施の形態の奏する効果に加え、第１の実施の形態の変形例２の奏する効果を得ることができる。

＜第２の実施の形態の変形例３＞
本実施の形態では、画像符号化データの生成方法に応じて、フィルタ強度決定部１４０が決定するフィルタ強度を適応的に変化させる処理の別の例について説明する。

図１９は、第２の実施の形態の変形例３における、画像復号装置２０００Ｃの構成を示すブロック図である。図１９を参照して、画像復号装置１０００Ｃは、図１の画像復号装置１０００と比較して、画像復号部１１０が、さらに、前述の符号化方式情報ＣＤＩを、フィルタ強度決定部１４０へ送信する点が異なる。それ以外の構成は、画像復号装置１０００と同様なので詳細な説明は繰り返さない。

本実施の形態で行なわれる処理は、第２の実施の形態の画像復号装置２０００が行なう処理と比較して、画像復号部１１０およびフィルタ強度決定部１４０が行なう処理が異なるのみなので、画像復号部１１０およびフィルタ強度決定部１４０が行なう処理についてのみ説明する。

ここで、画像復号部１１０およびフィルタ強度決定部１４０が行なう処理は、第１の実施の形態の変形例３で説明した処理と同様なので詳細な説明は繰り返さない。

したがって、本実施の形態においては、第２の実施の形態の奏する効果に加え、第１の実施の形態の変形例３の奏する効果を得ることができる。

以上、本発明の各実施の形態について説明したが、本発明に係る画像復号装置は、前述した各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加え得ることは勿論である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

第１の実施の形態における、画像復号装置の構成を示すブロック図である。所定の処理単位を説明するための図である。フレームに対する処理量の変動を示したグラフである。一例としてのフィルタ強度線を示す図である。一例としてのフィルタ強度線を示す図である。一例としての復号画像を示す図である。フィルタウインドを示す図である。雑音低減復号化処理のフローチャートである。第１の実施の形態の変形例１における、画像復号装置の構成を示すブロック図である。一例としてのフィルタ強度線を示す図である。第１の実施の形態の変形例２における、画像復号装置の構成を示すブロック図である。一例としてのフィルタ強度線を示す図である。第１の実施の形態の変形例３における、画像復号装置の構成を示すブロック図である。一例としてのフィルタ強度線を示す図である。第２の実施の形態における、画像復号装置の構成を示すブロック図である。切換制御情報ＳＷＣＴの決定方法を説明するための図である。第２の実施の形態の変形例１における、画像復号装置の構成を示すブロック図である。第２の実施の形態の変形例２における、画像復号装置の構成を示すブロック図である。第２の実施の形態の変形例３における、画像復号装置の構成を示すブロック図である。従来の画像復号装置の構成例を示すブロック図である。

符号の説明

１１０画像復号部、１２０システム制御部、１３０処理量算出部、１４０フィルタ強度決定部、１５０ポストフィルタ部、１０００，１０００Ａ，１０００Ｂ，１０００Ｃ，２０００，２０００Ａ，２０００Ｂ，２０００Ｃ画像復号装置。

Claims

画像を符号化した画像符号化データを復号して復号画像を生成する画像復号装置であって、
前記画像符号化データの復号処理を行なうことにより、前記復号画像を生成する復号手段と、
前記復号処理の処理量を算出するための処理量算出手段と、
前記処理量算出手段により算出された前記処理量に基づいて、ポストフィルタのフィルタ強度を決定するフィルタ強度決定手段と、
前記フィルタ強度決定手段が決定した前記フィルタ強度に基づいて、前記復号画像に対し前記ポストフィルタによるフィルタ処理を行なうフィルタ手段とを備え、
前記フィルタ強度決定手段は、前記処理量算出手段により算出された前記処理量が大きくなるほど、前記フィルタ強度を大きな値に決定する、画像復号装置。
画像を符号化した画像符号化データを復号して復号画像を生成する画像復号装置であって、
前記画像符号化データの復号処理を行なうことにより、前記復号画像を生成する復号手段と、
前記復号処理の処理量を算出するための処理量算出手段と、
前記処理量算出手段により算出された前記処理量に基づいて、ポストフィルタのフィルタ強度を決定するフィルタ強度決定手段と、
前記復号画像に対し前記ポストフィルタによるフィルタ処理を行なうフィルタ処理手段とを備え、
前記フィルタ処理手段は、
各々が、前記フィルタ処理を行なった場合の処理量が異なる複数のフィルタ手段を含み、
前記処理量算出手段により算出された前記処理量が所定の処理量以上の場合、前記複数のフィルタ手段のうち、前記フィルタ処理を行なった場合の処理量が最も大きくないフィルタ手段に、前記復号画像に対し前記フィルタ強度に基づいた前記フィルタ処理を行なわせる制御を行なうフィルタ切換制御手段をさらに備え、
前記フィルタ強度決定手段は、前記処理量算出手段により算出された前記処理量が大きくなるほど、前記フィルタ強度を大きな値に決定する、画像復号装置。
前記処理量算出手段は、前記復号画像を所定の処理単位で復号するのに要する時間に基づいて、前記処理量を算出する、請求項１または請求項２に記載の画像復号装置。
前記処理量算出手段は、所定の単位時間に対する前記復号画像を所定の処理単位で復号するのに要する時間の割合を、前記処理量として算出する、請求項１〜請求項３のいずれかに記載の画像復号装置。