JPWO2014091943A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、イントラフレームの出現周期に合わせて知覚されるノイズを抑制できるようにする画像処理装置および方法に関する。時刻t0においては、１つ前の時刻の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて三角が示されている画素のみが置き換えられる。時刻t1においては、１つ前の時刻t0の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいてバツが示されている画素のみが置き換えられる。このとき、画像中のすべての画素がデコード画像に置き換えられる。すなわち、デコード画像がイントラフレームである１つ前の時刻t1で、画像中のすべての画素がデコード画像に置き換えられる。本開示は、例えば、画像処理装置に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、イントラフレームの出現周期に合わせて知覚されるノイズを抑制することができるようにした画像処理装置および方法に関する。

一般的な動画像符号化は、フレーム内符号化を行うイントラフレームと、フレーム間予測を行うインターフレームで構成される。一般的にイントラフレームは、0.5秒乃至数秒ごとに設定され、残りのフレームは、インターフレームとして符号化される。インターフレームの符号化時には、イントラフレームもしくは他のインターフレームを参照するフレーム間予測の参照先として用いられる。

このような動画像符号化により周期的なノイズが発生することがあり、そのノイズは、一般的に、ハートビートノイズと呼ばれる。ハートビートノイズは、イントラフレームの出現周期に合わせて知覚されるノイズであり、ハートビートノイズにより、一定周期で画像が変化しているように見える。ハートビートノイズは、動体、カメラのパン等が少なく、インターフレームでのフレーム間予測が有効な箇所で発生しやすい傾向にある。

例えば、最初の周期で出現したイントラフレームの後、フレーム間予測を用いて、スキップなどDCT係数を伝送しない符号化が採用される。そして、次の周期で出現したイントラフレームについても同様に、フレーム間予測を用いて、スキップなどDCT係数を伝送しない符号化が採用される。

このような符号化が行われた画像を視聴した場合、最初の周期で出現したイントラフレームの後のフレーム間予測画像群１と、次の周期で出現したイントラフレームの後のフレーム間予測画像群２との境界部分で視覚的なギャップを感じることがある。このギャップによる主観的な画像劣化が、ここでいう、ハートビートノイズである。

このハートビートノイズを抑える手法として、上述した予測画像群１と予測画像群２間の視覚的なギャップを時間方向の平滑化フィルタにより抑える手法がある。例えば、特許文献１に記載の手法は、カメラなどで撮影した画像に重畳したグレインノイズを除去する方法であるが、この方法もハートビートノイズに適用することができる。

特許４３２１６２６号

しかしながら、このような時間方向の平滑化フィルタを適用すると、画素値の変化は、図１に示すような曲線となり、視覚的なギャップが残ってしまう。

図１は、特許文献１に記載の手法を、予測画像群１と予測画像群２間に適用した例を示す図である。図１の例においては、特許文献１に記載の手法により、点線で示される入力データが、実線で示される時間方向平滑化後の画素値に変換されることが示されている。

また、時間方向平滑化フィルタの帰還係数を大きくし、時間方向の変動をより平滑化することは可能であるが、該当領域が静止しているように見え、動画像として視聴した際に、静止画像を連続表示しているような不自然さを生じる結果となる。そのため、単純な時間方向の平滑化による処理は、ハートビートノイズに適していない。

本開示は、このような状況に鑑みてなされたものであり、イントラフレームの出現周期に合わせて知覚されるノイズを抑制することができるようにするものである。

本開示の第１の側面の画像処理装置は、ビットストリームを復号処理して、画像を生成する復号部と、前記復号部により生成された画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換える置き換え部とを備える。

前記置き換えパターンは、ランダムに生成されている。

前記前記置き換えパターンの周期は、イントラフレームの出現周期に基づいて決められる。

前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成する係数制限部をさらに備えることができる。

前記置き換え部により画素が置き換えられた画像に対して、ノイズを付加するノイズ付加部をさらに備え、前記係数制限部は、前記ノイズ付加部によりノイズが付加された画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行うことができる。

前記復号部により生成された画像から特徴量を検出する特徴量検出部と、前記特徴量検出部により検出された特徴量と前記ビットストリームから得られる符号化パラメータとを用いて、前記ビットストリームから得られる量子化パラメータの値を調整するパラメータ調整部とをさらに備え、前記係数制限部は、前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記パラメータ調整部により値が調整された量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成することができる。

ユーザの操作に応じて、前記ビットストリームから得られる量子化パラメータの値を調整するパラメータ調整部とをさらに備え、前記係数制限部は、前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記パラメータ調整部により値が調整された量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成することができる。

前記係数制限部により再構成された前フレームの画像を格納する記憶部をさらに備え、前記置き換え部は、前記置き換えパターンを用いて、前記記憶部に格納された前フレーム画像の画素を、前記復号部により生成された画像の画素に置き換えることができる。

前記復号部により生成された画像を低域画像と高域画像に分離する帯域分離部と、前記帯域分離部により分離された低域画像と高域画像とを統合する帯域統合部とをさらに備え、前記記憶部は、前記係数制限部により再構成された前フレームの低域画像を格納し、前記置き換え部は、前記置き換えパターンを用いて、前記記憶部に格納された前フレームの低域画像の画素を、前記帯域分離部により分離された低域画像の画素に置き換え、前記置き換え部により画素が置き換えられた低域画像に周波数変換を行うことで得られた係数に対して、前記帯域分離部により分離された低域画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から低域画像を再構成し、前記帯域統合部は、前記係数制限部により再構成された低域画像と高域画像とを統合することができる。

前記帯域統合部により統合された画像の平坦部に対して平滑化処理を行う平坦部処理部をさらに備えることができる。

前記置き換えパターンを生成する置き換えパターン生成部をさらに備え、前記置き換え部は、前記復号部により生成された画像に対して、前記置き換えパターン生成部により生成された置き換えパターンを用いて、画素を置き換えることができる。

前記ビットストリームと、前記置き換えパターンとを受け取る受け取り部をさらに備え、前記復号部は、前記受け取り部により受け取られたビットストリームを復号処理して、画像を生成し、前記置き換え部は、前記復号部により生成された画像に対して、前記受け取り部により受け取られた置き換えパターンを用いて、画素を置き換えることができる。

本開示の第１の側面の画像処理方法は、画像処理装置が、ビットストリームを復号処理して、画像を生成し、生成された画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換える。

本開示の第２の側面の画像処理装置は、ビットストリームを復号処理した画像に対する置き換えに用いられる、画素値の変動分布を示す置き換えパターンを設定する設定部と、画像を符号化処理して、前記ビットストリームを生成する符号化部と、前記符号化部により生成されたビットストリームと前記設定部により設定された置き換えパターンとを伝送する伝送部とを備える。

本開示の第２の側面の画像処理方法は、画像処理装置が、ビットストリームを復号処理した画像に対する置き換えに用いられる、画素値の変動分布を示す置き換えパターンを設定し、画像を符号化処理して、前記ビットストリームを生成し、生成されたビットストリームと設定された置き換えパターンとを伝送する。

本開示の第１の側面においては、ビットストリームを復号処理して、画像が生成される。そして、生成された画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素が置き換えられる。

本開示の第２の側面においては、ビットストリームを復号処理した画像に対する置き換えに用いられる、画素値の変動分布を示す置き換えパターンが設定され、画像を符号化処理して、前記ビットストリームが生成される。そして、生成されたビットストリームと設定された置き換えパターンとが伝送される。

なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。

本開示の第１の側面によれば、画像を復号することができる。特に、イントラフレームの出現周期に合わせて知覚されるノイズを抑制することができる。

本開示の第２の側面によれば、画像を符号化することができる。特に、イントラフレームの出現周期に合わせて知覚されるノイズを抑制することができる。

従来手法を説明する図である。 本技術を適用した復号装置の構成例を示すブロック図である。 復号部の構成例を示すブロック図である。 従来手法を説明する図である。 本技術の概要を説明する図である。 本技術による画素の置き換えの例を示す図である。 本技術による画素の置き換えの他の例を示す図である。 本技術の動体領域保護について説明する図である。 本技術の動体領域保護について説明する図である。 フィルタ部の構成例を示すブロック図である。 パラメータ変換器の構成例を示すブロック図である。 画素置き換え器の構成例を示すブロック図である。 ノイズ付加器の構成例を示すブロック図である。 動体領域保護器の構成例を示すブロック図である。 図２の復号装置の表示処理を説明するフローチャートである。 復号処理を説明するフローチャートである。 図１０のフィルタ部によるフィルタ処理を説明するフローチャートである。 画素置き換え処理を説明するフローチャートである。 係数制限実施処理を説明するフローチャートである。 フィルタ部の他の構成例を示すブロック図である。 パラメータ変換器の構成例を示すブロック図である。 画像特徴量検出器の構成例を示すブロック図である。 調整値選択器の構成例を示すブロック図である。 量子化値の調整方法を説明する図である。 図２０のフィルタ部によるフィルタ処理を説明するフローチャートである。 本技術を適用した符号化装置の構成例を示すブロック図である。 符号化部の構成例を示すブロック図である。 図２６の符号化装置の生成処理を説明するフローチャートである。 符号化処理を説明するフローチャートである。 符号化処理を説明するフローチャートである。 本技術を適用した復号装置の他の構成例を示すブロック図である。 図３１のフィルタ部の構成例を示すブロック図である。 画素置き換え器の構成例を示すブロック図である。 図３１の復号装置の表示処理を説明するフローチャートである。 図３２のフィルタ部によるフィルタ処理を説明するフローチャートである。 本技術を適用した復号装置のさらに他の構成例を示すブロック図である。 本技術を適用した符号化装置の他の構成例を示すブロック図である。 フィルタ部のさらに他の構成例を示すブロック図である。 図３８のフィルタ部によるフィルタ処理を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（復号装置の基本構成例）
２．第２の実施の形態（復号装置の応用構成例１）
３．第３の実施の形態（符号化側パターン設定の構成例）
４．第４の実施の形態（AVC方式の装置の構成例）
５．第５の実施の形態（復号装置の応用構成例２）
６．第６の実施の形態（コンピュータ）

＜第１の実施の形態＞
［復号装置の構成例］
図２は、本技術を適用した画像処理装置としての、復号装置の構成例を示すブロック図である。

図２の復号装置５０は、受け取り部５１、抽出部５２、復号部５３、フィルタ部５４、表示制御部５５、および表示部５６により構成される。

復号装置５０の受け取り部５１は、図示せぬ符号化装置から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS（Sequence Parameter Set）、PPS（Picture Parameter Set）、符号化データに対応する画像の特性（ユーザビリティ）をシーケンスごとに示すVUI(Video Usability Information)、SEI（Supplemental Enhancement Information）、および符号化データ等を抽出する。抽出部５２は、符号化データを復号部５３に供給する。また、抽出部５２は、SPS、PPS、VUI、およびSEI等も、必要に応じて復号部５３とフィルタ部５４に供給する。なお、SPS、PPS、VUI、およびSEI等は、抽出部５２において必要に応じて復号されるようにしてもよい。

復号部５３は、必要に応じて抽出部５２から供給されるSPS、PPS、VUI、およびSEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する。復号部５３は、復号の結果得られるデコード画像を、出力信号としてフィルタ部５４に供給する。また、復号部５３は、復号の結果得られる符号化パラメータもフィルタ部５４に供給する。

フィルタ部５４は、抽出部５２から供給されるSPS、PPS、VUI、およびSEIや復号部５３からの符号化パラメータ等に基づき、復号部５３から供給されるデコード画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換えるフィルタを施す。フィルタ部５４は、フィルタを施した画像を表示制御部５５に供給する。

表示制御部５５は、フィルタ部５４から供給される画像（必要に応じて、表示部５６から通知される表示方法）に基づいて、表示画像を生成する。表示制御部５５は、生成された表示画像を表示部５６に供給することにより、表示させる。

表示部５６は、表示制御部５５から供給される表示画像を表示する。また、表示部５６は、予め設定された表示方法、または、予め設定された表示方法のうちのユーザにより指定された表示方法を表示制御部５５に通知する。

［復号部の構成例］
図３は、図２の復号部５３の構成例を示すブロック図である。復号部５３は、必要に応じて抽出部５２から供給されるSPS、PPS、VUI、およびSEIを参照して、抽出部５２から供給される符号化データをHEVC方式で復号する。

図３の復号部５３は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、動き補償部１１２、およびスイッチ１１３により構成される。

また、デブロックフィルタ１０６と、画面並べ替えバッファ１０７およびフレームメモリ１０９との間には、適応オフセットフィルタ１４１と適応ループフィルタ１４２が備えられている。

復号部５３の蓄積バッファ１０１は、図２の抽出部５２から符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。

可逆復号部１０２は、蓄積バッファ１０１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化に用いられた符号化パラメータを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、符号化パラメータとしてのイントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き補償部１１２に供給する。さらに、可逆復号部１０２は、符号化パラメータとしてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。

可逆復号部１０２は、符号化パラメータとしてのオフセットフィルタ情報を適応オフセットフィルタ１４１に供給し、フィルタ係数を適応ループフィルタ１４２に供給する。なお、この符号化パラメータは、後段のフィルタ部５４にも供給される。

逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、および、動き補償部１１２は、可逆復号部１０２からの量子化された係数を復号して、画像を生成する。

具体的には、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

加算部１０５は、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１３から供給される予測画像を加算することにより、復号を行う。加算部１０５は、復号の結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、スイッチ１１３から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像を復号の結果得られる画像として、デブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給して蓄積させる。

デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像を適応オフセットフィルタ１４１に供給する。

適応オフセットフィルタ１４１は、可逆復号部１０２から供給されるオフセットを順に格納するバッファを有する。また、適応オフセットフィルタ１４１は、LCUごとに、可逆復号部１０２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１０６による適応デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。

具体的には、オフセットフィルタ情報に含まれる格納フラグが０である場合、適応オフセットフィルタ１４１は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。

一方、オフセットフィルタ情報に含まれる格納フラグが１である場合、適応オフセットフィルタ１４１は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるインデックスが示す位置に格納されるオフセットを読み出す。そして、適応オフセットフィルタ１４１は、読み出されたオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ１４１は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１４２に供給する。

適応ループフィルタ１４２は、適応オフセットフィルタ１４１から供給される画像に対して、可逆復号部１０２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１４２は、その結果得られる画像をフレームメモリ１０９および画面並べ替えバッファ１０７に供給する。

フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して読み出され、動き補償部１１２またはイントラ予測部１１１に供給される。

画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。

D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として図２のフィルタ部５４に出力する。

イントラ予測部１１１は、タイルおよびスライス単位で、フレームメモリ１０９からスイッチ１１０を介して読み出されたデブロックフィルタ１０６でフィルタリングされていない参照画像を用いて、可逆復号部１０２から供給されるイントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１１１は、その結果生成される予測画像をスイッチ１１３に供給する。

動き補償部１１２は、タイルおよびスライス単位で、可逆復号部１０２から供給される参照画像を特定するための情報に基づいて、フレームメモリ１０９からスイッチ１１０を介して、デブロックフィルタ１０６でフィルタリングされた参照画像を読み出す。動き補償部１１２は、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１１２は、その結果生成される予測画像をスイッチ１１３に供給する。

スイッチ１１３は、可逆復号部１０２からイントラ予測モード情報が供給された場合、イントラ予測部１１１から供給される予測画像を加算部１０５に供給する。一方、可逆復号部１０２からインター予測モード情報が供給された場合、スイッチ１１３は、動き補償部１１２から供給される予測画像を加算部１０５に供給する。

[周期的ノイズの説明]
一般的な動画像符号化は、フレーム内符号化を行うイントラフレームと、フレーム間予測を行うインターフレームで構成される。一般的にイントラフレームは、0.5秒乃至数秒ごとに設定され、残りのフレームは、インターフレームとして符号化される。インターフレームの符号化時には、イントラフレームもしくは他のインターフレームを参照するフレーム間予測の参照先として用いられる。

このような動画像符号化により周期的なノイズが発生することがあり、そのノイズは、一般的に、ハートビートノイズと呼ばれる。ハートビートノイズは、イントラフレームの出現周期に合わせ、ＧＯＰ単位で知覚されるノイズであり、ハートビートノイズにより、一定周期で画像が変化しているように見える。ハートビートノイズは、動体、カメラのパン等が少なく、インターフレームでのフレーム間予測が有効な箇所（すなわち、静止画像）でノイズが重畳される場合に発生しやすい傾向にある。

例えば、時間方向に信号成分が変化せず、ノイズ成分のみが変化する領域が存在する。最初の周期で出現したイントラフレームでテクスチャとノイズが符号化される。その後のフレーム間予測においては、信号成分が時間方向に変化せず、ノイズが圧縮により潰れてしまうため、参照フレームからのコピーが発生する。そして、次の周期で出現したイントラフレームにおいて、テクスチャとノイズが符号化されることで、突然、画像が変化したように感じられる。このような視覚的なギャップによる主観的な画像劣化が、ここでいう、ハートビートノイズである。

なお、ハートビートノイズは、静止画像上にノイズが重畳する以外にも、イントラフレーム符号化時の量子化スケールまたはイントラ予測モードの時間的な変化によっても発生する場合がある。

この視覚的なギャップ、すなわち、ハートビートノイズを抑える従来手法として、特許文献１に記載の時間方向の平滑化フィルタによる手法がある。

[従来手法の説明]
図４を参照して従来手法について説明する。

図４の例においては、ハートビートノイズが発生している画像において、LPF(Low Pass Filter：平滑化フィルタ)前後のフレーム毎のフレーム間差分のグラフが示されている。各グラフにおいては、図中右上に示されるように、横軸がフレームのＸ座標、斜め手前および奥の軸がフレームのＹ座標、縦軸がフレーム間差分を表している。

LPF前においては、Ｉスライス（すなわち、イントラフレーム）と、時間的にその前のフレームとの間に、大きなフレーム間差分があり、その他のフレームについては、フレーム間差分は微量である。

これに対して、LPF後においては、イントラフレームと、時間的にその前のフレームとの間のフレーム間差分は、LPF前と比して小さくなっており、イントラフレームの後の数枚のフレームに対して、フレーム間差分が分散されている。

このように、時間方向にLPF、すなわち、平滑化を行ったとしても、フレーム間差分は残ってしまっていた。

[本技術の概要]
そこで、本技術においては、図５に示されるように、画素を置き換えて、フレーム間差分の発生箇所を時空間方向でランダムに配置する（すなわち、分散させる）ことで、フレーム間差分の均一化を図るようにした。

図５の例においては、ハートビートノイズが発生している画像において、本技術による画素の置き換え前後のフレーム毎のフレーム間差分のグラフが示されている。各グラフにおいては、図４のグラフと同様に、横軸がフレームのＸ座標、斜め手前および奥の軸がフレームのＹ座標、縦軸がフレーム間差分を表している。

画素の置き換え前においては、図４を参照して上述したように、Ｉスライス（すなわち、イントラフレーム）と、時間的にその前のフレームとの間に、大きなフレーム間差分があり、その他のフレームについては、フレーム間差分は微量である。

これに対して、図５に示されるように、画素の置き換え後においては、フレーム間差分の発生箇所が時空間方向でランダムに配置されるので、フレーム間差分の発生箇所が、イントラフレームを含む各フレームに分散されている。

これにより、フレーム間差分の均一化を図ることができるので、ハートビートノイズ、すなわち、イントラフレームの出現周期に合わせて知覚されるノイズを抑制することができる。

[画素の置き換えの例]
図６は、本技術による画素の置き換えの例を示す図である。

本技術においては、置き換えパターンにより予め設定された更新タイミングでのみ、画素値が現フレーム（デコード画像）に置き換えられ、それ以外の画素は、前フレームの画素値が継承される。

図６の例においては、左側に示される、丸、三角、およびバツの３回の更新タイミングからなる置き換えパターンで、デコード画像の各画素が置き換えられる例が示されている。すなわち、３回の更新タイミングによる置き換えで、画像中のすべての画素が置き換えられる。つまり、この３回は、イントラフレームの出現周期と一致している。

具体的には、時刻t0においては、１つ前の時刻の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて三角が示されている画素のみが置き換えられる。時刻t1においては、１つ前の時刻t0の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいてバツが示されている画素のみが置き換えられる。このとき、画像中のすべての画素がデコード画像に置き換えられることになる。すなわち、デコード画像がイントラフレームである１つ前の時刻t1で、画像中のすべての画素がデコード画像に置き換えられる。

そして、デコード画像がイントラフレームである時刻t2においては、１つ前の時刻t1の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて丸が示されている画素のみが置き換えられる。時刻t3においては、１つ前の時刻t2の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて三角が示されている画素のみが置き換えられる。

時刻t4においては、１つ前の時刻t3の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいてバツが示されている画素のみが置き換えられる。このとき、画像中のすべての画素がデコード画像に置き換えられることになる。すなわち、デコード画像がイントラフレームである１つ前の時刻t4で、画像中のすべての画素がデコード画像に置き換えられる。

さらに、デコード画像がイントラフレームである時刻t5においては、１つ前の時刻t4の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて丸が示されている画素のみが置き換えられる。時刻t6においては、１つ前の時刻t5の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて三角が示されている画素のみが置き換えられる。

なお、図示は省略されるが、時刻t7以降も同様に、置き換えパターンにおいて指定されている画素のみが置き換えられる。

[画素の置き換えの他の例]
図７は、本技術による画素の置き換えの他の例を示す図である。

図７の例においては、左側に示される、丸、二重丸、四角、三角、およびバツの５回の更新タイミングからなる置き換えパターンで、デコード画像の各画素が置き換えられる例が示されている。すなわち、５回の更新タイミングによる置き換えで、画像中のすべての画素が置き換えられる。つまり、この５回は、イントラフレームの出現周期と一致している。

時刻t20においては、１つ前の時刻の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて三角が示されている画素のみが置き換えられる。時刻t21においては、１つ前の時刻t20の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいてバツが示されている画素のみが置き換えられる。このとき、画像中のすべての画素がデコード画像に置き換えられることになる。すなわち、デコード画像がイントラフレームである１つ前の時刻t21で、画像中のすべての画素がデコード画像に置き換えられる。

そして、デコード画像がイントラフレームである時刻t22においては、１つ前の時刻t21の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて丸が示されている画素のみが置き換えられる。時刻t23においては、１つ前の時刻t22の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて二重丸が示されている画素のみが置き換えられる。

時刻t24においては、１つ前の時刻t23の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて四角が示されている画素のみが置き換えられる。デコード画像がイントラフレームである時刻t25においては、１つ前の時刻t24の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて三角が示されている画素のみが置き換えられる。

時刻t26においては、１つ前の時刻t25の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいてバツが示されている画素のみが置き換えられる。このとき、画像中のすべての画素がデコード画像に置き換えられることになる。すなわち、デコード画像がイントラフレームである１つ前の時刻t26で、画像中のすべての画素がデコード画像に置き換えられる。

さらに、デコード画像がイントラフレームである時刻t27においては、１つ前の時刻t26の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて丸が示されている画素のみが置き換えられる。時刻t28においては、１つ前の時刻t27の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて二重丸が示されている画素のみが置き換えられる。時刻t29においては、１つ前の時刻t28の出力画像から各画素がコピーされ、そのうち、置き換えパターンにおいて四角が示されている画素のみが置き換えられる。

なお、図示は省略されるが、時刻t30以降も同様に、置き換えパターンにおいて指定されている画素のみが置き換えられる。

以上のように、置き換えパターンにより予め設定された更新タイミングでのみ、画素値が現フレーム（デコード画像）に置き換えられる。また、置き換えパターンにおいては、更新タイミングの周期が、イントラフレームの出現周期と一致するように設定されている。

これにより、イントラフレームの出現周期に合わせて発生していたノイズを抑制することができる。このとき、背景などの完全に静止することなく、若干の変化が見られて自然であり、さらに、平坦部などのばたつきも改善される。

ただし、上述した画素の置き換え処理により、デコード画像において、動体部分が破綻してしまう。そこで、本技術においては、動体領域の保護処理を行う。

[本技術の動体領域保護の説明]
ここで、図８および図９を参照して、本技術の動体領域保護について説明する。

本技術においては、画素値が大きく違う箇所は、原画像に置き換え、画素値が十分近い点は、そのまま処理結果をキープすることで、上述した動体部分に対応する。

その際、画素の差分値のみで閾値処理で行ってしまうと処理が難しい。

図８および図９の例においては、デコード画像と符号化前の画像とが、模式的に２次元で示されている。

図８の左側に示されるように、符号化前の画像を、Ｑスケール値を用いて量子化（符号化）すると、デコード画像は、Ｑスケールの中心の位置となる。

したがって、図８の右側に示されるように、デコード側からみると、デコード画像の位置だけはわかるが、符号化前の画像（真の画像）がどこにあるかはわからない。しかしながら、どの範囲にいるかの推定は可能である。すなわち、この場合、Ｑスケールの範囲が、符号化前の画像の存在可能範囲とされる。

以上のことから、処理画像がデコード画像からＱスケール値内に入る場合、図９の左側に示されるように、その処理画像が真の値を有している可能性があるので、処理画像の位置は、そのままの位置とされる。

一方、図９の右側に示されるように、処理画像がＱスケールの範囲外に出ている場合、処理画像は、存在可能範囲（Ｑスケールの範囲内）に射影される。

なお、実際には、２次元ではなく、図１４を参照して後述するようにDCT係数次元で比較が行われ、DCT係数がクリッピングされ、IDCT変換されて、画像が出力される。また、本実施の形態においては、DCT係数で説明を行っているが、アダマール変換などの計算量の少ない周波数変換を用い、近似的な解を求めることも可能である。

このようにすることで、画素の置き換えにより発生する動体部分の破綻を抑制し、動体領域を保護することができる。

以上の処理を行うフィルタ部５４は、次の図１０に示すように構成される。

[フィルタ部の構成例]
図１０は、上述した処理を行うフィルタ部の構成例を示すブロック図である。

図１０の例においては、図２のフィルタ部５４は、パラメータ変換器１５１、画素置き換え器１５２、ノイズ付加器１５３、動体領域保護器１５４、およびフレームバッファ１５５を含むように構成されている。

外部からの符号化タイプと、図２の復号部５３からの符号化パラメータとが、パラメータ変換器１５１に入力される。

パラメータ変換器１５１は、符号化ストリーム生成に用いられた符号化の種類を示す符号化タイプに応じて、復号部５３の符号化パラメータ（特に、量子化スケール）の変換を行う。パラメータ変換器１５１は、変換が行われた符号化パラメータを、動体領域保護器１５４に供給する。

復号部５３からのデコード画像は、画素置き換え器１５２および動体領域保護器１５４に入力される。なお、画素置き換え器１５２には、フレームバッファ１５５に蓄積された前フレームの処理画像も入力される。また、動体領域保護器１５４には、ノイズ付加器１５３からのノイズが付加された処理画像も供給される。

画素置き換え器１５２は、図６および図７を参照して上述した画素の置き換え処理を行う。具体的には、画素置き換え器１５２は、処理開始時には、初期化を行い、外部より設定された置き換え周期を基に、画像内の各画素に対し、画像の置き換えパターンを生成する。そして、画素置き換え器１５２は、生成した置き換えパターンを用いて、一定周期で、前フレームの処理画像の画素を、デコード画像の画素に置き換える処理を行う。画素置き換え器１５２は、処理後の画像を、ノイズ付加器１５３に供給する。

ノイズ付加器１５３は、画素置き換え器１５２からの処理画像のノイズを付加して、ノイズが付加された処理画像を、動体領域保護器１５４に供給する。

動体領域保護器１５４は、図８および図９を参照して上述した動体領域の保護処理を行う。具体的には、動体領域保護器１５４は、パラメータ変換器１５１からのパラメータであるQP（量子化値）とノイズ付加画像のDCT係数とを用いて、デコード画像より生成されたDCT係数のクリップ処理、すなわち、係数制限処理を行う。

係数制限が行われたDCT係数は、IDCT変換が行われて画像に再構成され、処理画像として、後段の表示制御部５５に出力される。また、動体領域保護器１５４からの処理画像は、次のフレームで用いられるため、フレームバッファ１５５にも供給される。

フレームバッファ１５５は、処理開始時、適切な値、例えば、デコード画像の初期フレームの画素値などで、初期化を行う。また、フレームバッファ１５５は、次のフレームで用いるために、動体領域保護器１５４からの処理画像を一旦蓄積し、次のフレームの処理タイミングに、画素置き換え器１５２に供給する。

なお、図１０の例においては、画素置き換え部１５２および動体領域保護器１５４の間に、ノイズ付加器１５３を備える例を示したが、ノイズ付加器１５３を除いて構成することも可能である。その際、画素置き換え器１５２からの置き換え処理後の画素が、動体領域保護器１５４に入力される。

[パラメータ変換器の構成例]
図１１は、パラメータ変換器の構成例を示すブロック図である。パラメータ変換器１５１は、入力されたストリームの符号化パラメータおよび符号化の種別により、動体保護領域１５４で用いられるパラメータを生成する。

図１１の例において、パラメータ変換器１５１は、量子化スケール値取り出し器１６１、セレクタ１６２、MPEG-2 QP量子化値変換器１６３、AVC-Qp量子化値変換器１６４、およびHEVC量子化スケール変換器１６５を含むように構成されている。

量子化スケール値取り出し器１６１は、復号部５３からの符号化パラメータから量子化スケールの値を取り出し、取り出した量子化スケールの値を、セレクタ１６２に供給する。

セレクタ１６２は、図示せぬ外部からの符号化ストリーム生成に用いられた符号化の種類を示す符号化タイプに対応する変換器に、量子化スケールの値を供給する。

すなわち、セレクタ１６２は、符号化タイプがMPEG2を示す場合、MPEG-2 QP量子化値変換器１６３に量子化スケールの値を供給する。セレクタ１６２は、符号化タイプがAVCを示す場合、AVC-Qp量子化値変換器１６４に量子化スケールの値を供給する。セレクタ１６２は、符号化タイプがHEVCを示す場合、HEVC量子化スケール変換器１６５に量子化スケールの値を供給する。

MPEG-2 QP量子化値変換器１６３、AVC-Qp量子化値変換器１６４、およびHEVC量子化スケール変換器１６５は、それぞれ、入力された量子化スケールの値から、後段の動体領域保護器１５４でDCT係数を量子化する際の量子化値への変換を行う。MPEG-2 QP量子化値変換器１６３、AVC-Qp量子化値変換器１６４、およびHEVC量子化スケール変換器１６５は、変換後の量子化値を、動体領域保護器１５４に供給する。

なお、MPEG-2 QP量子化値変換器１６３、AVC-Qp量子化値変換器１６４、およびHEVC量子化スケール変換器１６５は、後段の動体領域保護器１５４で用いられているDCTと符号化で用いられたDCTのサイズや精度などが異なる場合には、それらも調整する。

[画素置き換え器の構成例]
図１２は、画素置き換え器の構成例を示すブロック図である。

図１２の例において、画素置き換え器１５２は、置き換えパターン生成器１７１、画素置き換えパターン記録バッファ１７２、フレームカウンタ１７３、および画素選択器１７４を含むように構成されている。

図示せぬ外部から、画素の置き換え周期が、置き換えパターン生成器１７１およびフレームカウンタ１７３に供給される。画素の置き換え周期は、例えば、イントラフレームの出現周期（ＧＯＰの周期）、またはイントラフレームの出現周期より長い周期とされる。

置き換えパターン生成器１７１は、処理開始の初期化時のみ動作し、外部により設定された置き換え周期に基づいて、画像内の各画素に対し、画素置き換えパターンを生成する。置き換えパターン生成器１７１は、生成された画素置き換えパターンを、画素置き換えパターン記録バッファ１７２に記録する。

画素置き換えパターンは、ランダムに生成されている。すなわち、画素置き換えパターンは、次の式（１）に示されるように、画素毎に整数の乱数を発生し、その値を外部からの置き換え周期で除算した際の剰余を割り当てて生成される。

そのため、画素置き換えパターンは、０乃至（置き換え周期−１）の値が各画素にランダムに割り振られることとなる。なお、画素置き換えパターン記録バッファ１７２を保持しておくことが難しい場合、M系列のような疑似乱数を用いて、画素置き換えパターンを利用する都度に生成することも可能である。

次の式（２）に疑似乱数を用いた場合の画素置き換えパターンの一例を示す。

画素置き換えパターンの生成時に利用する乱数に関しては、生成された画素置き換えパターンが空間的に無相関になるようなものを選択する必要がある。空間的な相関を持つ乱数が選択された場合、処理結果において、画素の置き換えパターンが視認されることがあり、主観画質が劣化してしまうからである。

フレームカウンタ１７３は、処理開始時に内部カウンタのリセット処理を行い、画像を１枚処理する毎に、内部カウンタの値を１増加し、内部カウンタの値を置き換え周期の値で除算した際の剰余を、画素選択器１７４に供給する。すなわち、フレームカウンタ１７３においては、０乃至（置き換え周期−１）の値を周期的に画素選択器１７４に出力することとなる。

フレームカウンタ１７３は、次の式（３）のように示される処理をフレーム単位に行う。

画素選択器１７４には、復号部５３からのデコード画像と、フレームバッファ１５５からの前フレーム処理画像が入力される。また、画素選択器１７４には、画素置き換えパターン記録バッファ１７２からの画素置き換えパターンおよびフレームカウンタ１７３からの内部カウンタが示す値である置き換え番号が供給される。

画素選択器１７４は、画素毎に設定された画素置き換えパターンの値と、フレームカウンタ１７３からの置き換え番号を比較し、一致する場合、デコード画像の該当画素を出力画素値として選択して、ノイズ付加器１５３に出力する。画素選択器１７４は、画素置き換えパターンの値と、フレームカウンタ１７３からの置き換え番号とが一致しない場合、前フレームの処理結果の該当画素を出力画素値として選択して、ノイズ付加器１５３に出力する。

以上のように、画素置き換え器１５２においては、予め設定された画素パターンを用い、一定周期で画素が入れ替わる処理を行うことで、ハートビートノイズを抑制しつつ、画素の変動値の過度の平滑化を防止することができる。

[ノイズ付加器の構成例]
図１３は、ノイズ付加器の構成例を示すブロック図である。

図１３の例において、ノイズ付加器１５３は、ノイズ発生器１８１、および加算器１８２を含むように構成されている。

ノイズ発生器１８１は、ガウシアンノイズを発生し、発生したノイズを加算器１８２に出力する。なお、ノイズ発生器１８１において発生するノイズは、空間的にランダムなノイズであれば何を用いてもよく、分布、強度などは総合的な画質を考慮して、ユーザが任意に設定可能とされる。

画素置き換え器１５２からの画素置き換え画像は、加算器１８２に入力される。加算器１８２は、入力された画素置き換え画像に、ノイズ発生器１８１からのノイズを付加し、ノイズ付加画像を、動体領域保護器１５４に出力する。

[動体領域保護器の構成例]
図１４は、動体領域保護器の構成例を示すブロック図である。

図１４の例において、動体領域保護器１５４は、DCT変換器１９１、DCT変換器１９２、係数制限器１９３、およびIDCT変換器１９４を含むように構成されている。動体領域保護器１５４においては、例えば、アダマール変換が用いられているが、図９において上述したように周波数変換が用いられてもよい。

復号部５３からのデコード画像は、DCT変換器１９１に供給される。ノイズ付加器１５３からのノイズ付加画像は、DCT変換器１９２に供給される。また、パラメータ変換器１５１からの量子化値は、係数制限器１９３に供給される。

DCT変換器１９１は、供給されたデコード画像に対して、一定サイズのブロック毎にDCT変換を行い、DCT係数を生成し、生成したDCT係数を、係数制限器１９３に供給する。

DCT変換器１９２は、供給されたノイズ付加画像に対して、一定サイズのブロック毎にDCT変換を行い、DCT係数を生成し、生成したDCT係数を、係数制限器１９３に供給する。

係数制限器１９３は、パラメータ変換器１５１からのパラメータであるQP（量子化値）とノイズ付加画像のDCT係数とを用いて、デコード画像より生成されたDCT係数のクリップ処理、すなわち、係数制限処理を行う。

具体的には、係数制限器１９３は、デコード画像より生成されたDCT係数のプラスマイナスQP/2の範囲にノイズ付加画像より生成されたDCT係数が存在できるようにクリップ処理を行う。この処理は、次の式（４）のように表すことができる。

係数制限器１９３は、係数制限が施されたDCT係数を、IDCT変換器１９４に出力する。

IDCT変換器１９４は、係数制限器１９３からのDCT係数に対してIDCT変換を施し、画像を再構成して、処理結果である再構成された画像を、表示制御部５５およびフレームバッファ１５５に出力する。

[復号装置の動作]
次に、図１５のフローチャートを参照して、復号装置５０の表示処理について説明する。

ステップＳ５１において、復号装置５０の受け取り部５１は、図示せぬ符号化装置から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。

ステップＳ５２において、抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS,PPS,VUI,SEIなどのパラメータ、および符号化データ等を抽出する。抽出部５２は、符号化データを復号部５３に供給する。また、抽出部５２は、SPS,PPS,VUI,SEI等も、必要に応じて復号部５３とフィルタ部５４に供給する。

ステップＳ５３において、復号部５３は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する復号処理を行う。この復号処理の詳細は、後述する図１６を参照して説明する。復号部５３は、復号したデコード画像と符号化に用いられた符号化パラメータをフィルタ部５４に供給する。

ステップＳ５４において、フィルタ部５４は、抽出部５２から供給されるSPS,PPS,VUI,SEIや復号部５３からの符号化パラメータ等に基づいて、復号部５３から出力信号として供給されるデコード画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換えるフィルタを施す。このフィルタ処理の詳細は、後述する図１７を参照して説明する。フィルタ部５４は、フィルタを施した画像を表示制御部５５に供給する。

ステップＳ５５において、表示制御部５５は、フィルタ部５４から供給される画像に基づいて、表示画像を生成し、生成した表示画像を表示部５６に供給することにより、表示部５６に表示画像を表示させ、処理を終了する。

[復号処理の例]
図１６は、図１５のステップＳ５３の復号処理の詳細を説明するフローチャートである。

図１６のステップＳ１１１において、復号部５３の蓄積バッファ１０１は、図２の抽出部５２からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。なお、以下のステップＳ１１２乃至Ｓ１２４の処理は、例えばCU単位で行われる。

ステップＳ１１２において、可逆復号部１０２は、蓄積バッファ１０１からの符号化データを可逆復号し、量子化された係数と符号化パラメータを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、蓄積バッファ１０１からの符号化パラメータとしてのイントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き補償部１１２に供給する。さらに、可逆復号部１０２は、蓄積バッファ１０１からの符号化パラメータとしてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。

さらに、可逆復号部１０２は、蓄積バッファ１０１からの符号化パラメータとしてのオフセットフィルタ情報を適応オフセットフィルタ１４１に供給し、フィルタ係数を適応ループフィルタ１４２に供給する。なお、符号化パラメータは、後段のフィルタ部５４にも供給される。

ステップＳ１１３において、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

ステップＳ１１４において、動き補償部１１２は、可逆復号部１０２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１１４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１１５に進む。

ステップＳ１１５において、動き補償部１１２は、可逆復号部１０２から供給される動きベクトル、インター予測モード情報、および参照画像を特定するための情報に基づいて、デブロックフィルタ１０６でフィルタリングされた参照画像を読み出し、動き補償処理を行う。動き補償部１１２は、その結果生成される予測画像を、スイッチ１１３を介して加算部１０５に供給し、処理をステップＳ１１７に進める。

一方、ステップＳ１１４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１１１に供給された場合、処理はステップＳ１１６に進む。

ステップＳ１１６において、イントラ予測部１１１は、フレームメモリ１０９からスイッチ１１０を介して読み出された、デブロックフィルタ１０６でフィルタリングされていない参照画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１１１は、イントラ予測処理の結果生成される予測画像を、スイッチ１１３を介して加算部１０５に供給し、処理をステップＳ１１７に進める。

ステップＳ１１７において、逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

ステップＳ１１８において、加算部１０５は、逆直交変換部１０４から供給される残差情報と、スイッチ１１３から供給される予測画像を加算する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。

ステップＳ１１９において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像を適応オフセットフィルタ１４１に供給する。

ステップＳ１２０において、適応オフセットフィルタ１４１は、可逆復号部１０２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１０６によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１４１は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１４２に供給する。

ステップＳ１２１において、適応ループフィルタ１４２は、適応オフセットフィルタ１４１から供給される画像に対して、可逆復号部１０２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１４２は、その結果得られる画像をフレームメモリ１０９および画面並べ替えバッファ１０７に供給する。

ステップＳ１２２において、フレームメモリ１０９は、加算部１０５から供給されるフィルタリング前の画像と、デブロックフィルタ１０６から供給されるフィルタリング後の画像を蓄積する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して動き補償部１１２またはイントラ予測部１１１に供給される。

ステップＳ１２３において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。

ステップＳ１２４において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として図２のフィルタ部５４に供給する。そして、処理は、図１５のステップＳ５３に戻り、ステップＳ５４に進む。

[フィルタ処理の例]
次に、図１７のフローチャートを参照して、図１５のステップＳ５４のフィルタ処理について説明する。

図示せぬ外部から、画素の置き換え周期が、置き換えパターン生成器１７１およびフレームカウンタ１７３に供給される。ステップＳ１３１において、置き換えパターン生成器１７１は、外部により設定された置き換え周期に基づいて、画像内の各画素に対し、画素置き換えパターンを生成する。置き換えパターン生成器１７１は、生成された画素置き換えパターンを、画素置き換えパターン記録バッファ１７２に記録する。

ステップＳ１３２において、フレームカウンタ１７３は、内部カウンタの初期化（リセット処理）を行う。

ステップＳ１３３において、フレームバッファ１５５は、例えば、デコード画像の初期フレームの画素値などをコピーし、初期化を行う。

ステップＳ１３４において、画素選択器１７４は、画素置き換え処理を行う。この画素置き換え処理は、後述する図１８を参照して説明する。ステップＳ１３４の処理により、画素置き換え画像が、ノイズ付加器１５３に出力される。

ステップＳ１３５においてノイズ付加器１５３の加算器１８２は、入力された画素置き換え画像に、ノイズ発生器１８１からのノイズを付加し、ノイズ付加画像を、動体領域保護器１５４に出力する。

ステップＳ１３６において、パラメータ変換器１５１は、復号部５３から供給された符号化パラメータから量子化スケールの値を読み込む。そして、パラメータ変換器１５１は、符号化タイプに応じて、入力された量子化スケールの値から、後段の動体領域保護器１５４でDCT係数を量子化する際の量子化値への変換を行う。変換された量子化値は、動体領域保護器１５４に供給される。

ステップＳ１３７において、動体領域保護器１５４は、動体領域保護のため、係数制限を行う。この係数制限処理については、後述する図１９を参照して説明する。ステップＳ１３７の処理により係数が制限されたDCT係数に対して、IDCT変換が行われて、画像が再構成される。

そして、動体領域保護器１５４は、ステップＳ１３８において、再構成された処理画像を、図２の表示制御部５５に出力し、ステップＳ１３９において、処理画像をフレームバッファ１５５に記録する。

画素置き換え器１５２は、ステップＳ１４０において、処理中のフレームが、最後のフレームであるか否かを判定する。ステップＳ１４０において、最後のフレームではないと判定された場合、処理は、ステップＳ１３４に戻り、それ以降の処理が繰り返される。

ステップＳ１４０において、最後のフレームであると判定された場合、図１７のフィルタ処理は終了され、図１５のステップＳ５４に戻り、ステップＳ５５に進む。

[画素置き換え処理の例]
次に、図１８のフローチャートを参照して、図１７のステップＳ１３４の画素置き換え処理について説明する。なお、この画素置き換え処理は、M系列のような疑似乱数を用いて、画素置き換えパターンを利用する都度に生成する場合の例である。

画素置き換え器１５２の画素選択器１７４には、復号部５３からのデコード画像と、フレームバッファ１５５からの前フレーム処理画像が入力される。また、画素選択器１７４には、画素置き換えパターン記録バッファ１７２からの画素置き換えパターンが供給される。

画素選択器１７４は、ステップＳ１５１において、画素置き換えパターンにおけるM系列を初期化する。ステップＳ１５２において、フレームカウンタ１７３は、内部カウンタの値を置き換え周期の値で除算した際の剰余である置き換え番号を計算し、計算した置き換え番号を、画素選択器１７４に供給する。

画素選択器１７４は、ステップＳ１５３において、該当画素の置き換えパターンと置き換え番号が一致するか否かを判定する。

ステップＳ１５３において、該当画素の置き換えパターンと置き換え番号が一致すると判定された場合、処理は、ステップＳ１５４に進む。ステップＳ１５４において、画素選択器１７４は、同位置のデコード画像の画素値を、ノイズ付加器１５３に出力する。

ステップＳ１５３において、該当画素の置き換えパターンと置き換え番号が一致しないと判定された場合、処理は、ステップＳ１５５に進む。ステップＳ１５５において、画素選択器１７４は、同位置の前フレーム処理画像の画素値を、ノイズ付加器１５３に出力する。

ステップＳ１５４またはＳ１５５の後、処理は、ステップＳ１５６に進む。ステップＳ１５６において、画素選択器１７４は、フレームにおける全画素の処理が終了したか否かを判定する。ステップＳ１５６において全画素の処理が終了していないと判定された場合、処理は、ステップＳ１５３に戻り、それ以降の処理が繰り返される。

ステップＳ１５６において全画素の処理が終了したと判定された場合、処理は、ステップＳ１５７に進む。ステップＳ１５７において、フレームカウンタ１７３は、内部カウンタの値を更新し、その後、処理は、図１７のステップＳ１３４に戻り、ステップＳ１３５に進む。

[係数制限実施処理の例]
次に、図１９のフローチャートを参照して、図１７のステップＳ１３７の係数制限実施処理について説明する。

復号部５３からのデコード画像は、DCT変換器１９１に供給される。ノイズ付加器１５３からのノイズ付加画像は、DCT変換器１９２に供給される。また、パラメータ変換器１５１からの量子化値QPは、係数制限器１９３に供給される。

DCT変換器１９１は、ステップＳ１７１において、デコード画像のn×n画素のブロックを取得し、ステップＳ１７２において、デコード画像ブロックの周波数変換を実施し、デコード画像のDCT係数を生成する。デコード画像のDCT係数は、係数制限器１９３に供給される。

DCT変換器１９２は、ステップＳ１７３において、ノイズ付加画像のn×n画素のブロックを取得し、ステップＳ１７４において、ノイズ付加画像ブロックの周波数変換を実施し、ノイズ付加画像のDCT係数を生成する。ノイズ付加画像のDCT係数は、係数制限器１９３に供給される。

ステップＳ１７５において、係数制限器１９３は、係数上限値（デコード画像のDCT係数＋QP/2）を計算する。係数制限器１９３は、ステップＳ１７６において、ノイズ付加画像のDCT係数が、ステップＳ１７５において計算された係数上限値より大きいか否かを判定する。

ステップＳ１７６において、ノイズ付加画像のDCT係数が、係数上限値より大きいと判定された場合、処理は、ステップＳ１７７に進む。ステップＳ１７７において、係数制限器１９３は、ノイズ付加画像の該当DCT係数を、係数上限値に置き換える。

ステップＳ１７６において、ノイズ付加画像のDCT係数が、係数上限値より小さいと判定された場合、処理は、ステップＳ１７７をスキップし、ステップＳ１７８に進む。

ステップＳ１７８において、係数制限器１９３は、係数下限値（デコード画像のDCT係数−QP/2）を計算する。係数制限器１９３は、ステップＳ１７９において、ノイズ付加画像のDCT係数が、ステップＳ１７８において計算された係数下限値より小さいか否かを判定する。

ステップＳ１７９において、ノイズ付加画像のDCT係数が、係数下限値より小さいと判定された場合、処理は、ステップＳ１８０に進む。ステップＳ１８０において、係数制限器１９３は、ノイズ付加画像の該当DCT係数を、係数下限値に置き換える。

ステップＳ１７９において、ノイズ付加画像のDCT係数が、係数下限値より大きいと判定された場合、処理は、ステップＳ１８０をスキップし、ステップＳ１８１に進む。

ステップＳ１８１において、係数制限器１９３は、処理中のDCT係数が最後のDCT係数であるか否かを判定する。ステップＳ１８１において、処理中のDCT係数が最後のDCT係数ではないと判定された場合、処理は、ステップＳ１７５に戻り、それ以降の処理が繰り返される。

ステップＳ１８１において、処理中のDCT係数が最後のDCT係数であると判定された場合、係数制限器１９３は、ノイズ付加画像のDCT係数を、IDCT変換器１９４に出力し、処理は、ステップＳ１８２に進む。

ステップＳ１８２において、IDCT変換器１９４は、係数制限器１９３からのノイズ付加画像のDCT係数に対して、周波数逆変換を実施する。

ステップＳ１８３において、DCT変換器１９１および１９２は、処理中のブロックが、最後のブロックであるか否かを判定する。ステップＳ１８３において、処理中のブロックが、最後のブロックであると判定された場合、係数制限実施処理を終了する。

ステップＳ１８３において、処理中のブロックが、最後のブロックではないと判定された場合、処理は、ステップＳ１７１に戻り、それ以降の処理が繰り返される。

以上のように、イントラフレームの出現周期に基づいて生成された画素置き換えパターンを用いて、画像の各画素を置き換えるようにしたので、イントラフレームの出現周期に合わせて発生していたノイズを抑制することができる。このとき、背景などの完全に静止することなく、若干の変化が見られて自然であり、さらに、平坦部などのばたつきも改善される。

また、DCT係数をクリップ処理するようにしたので、画素の置き換えにより発生する動体部分の破綻を抑制し、動体領域を保護することができる。

さらに、画素の置き換え後の画像にノイズを付加し、ノイズ付加画像についてのDCT係数をクリップ処理するようにしたことで、すなわち、クリップ処理により、ノイズが付加され過ぎることなく、ほどよく付加されるので、さらに画質を向上させることができる。

＜第２の実施の形態＞
[フィルタ部の構成例]
図２０は、フィルタ部の他の構成例を示すブロック図である。図２０のフィルタ部５４においては、画像の動きを検出して、その情報が、動体領域保護に用いられている。

図２０のフィルタ部５４は、パラメータ変換器１５１が、パラメータ変換器２０１と入れ替わった点、並びに、画像特徴量検出器２０２および調整値選択器２０３が追加された点が、図１０のフィルタ部５４と異なっている。図２０のフィルタ部５４は、画素置き換え器１５２、ノイズ付加器１５３、動体領域保護器１５４、およびフレームバッファ１５５を備える点が、図１０のフィルタ部５４と共通している。

すなわち、外部からの符号化タイプと、復号部５３からの符号化パラメータとは、パラメータ変換器２０１に入力される。パラメータ変換器２０１は、量子化スケールに加えて、量子化スケール以外の動体検出に適用可能な符号化パラメータの取り出しを行い、符号化タイプに応じて、符号化パラメータの補正を行う。

符号化パラメータとして、例えば、マクロブロックタイプ、動きベクトル、コーデットブロックパターンなどが取り出される。

変換が行われた量子化値と、補正が行われた符号化パラメータとは、調整値選択器２０３に供給される。

図２０の例においては、復号部５３からのデコード画像は、画素置き換え器１５２および動体領域保護器１５４の他に、画像特徴量検出器２０２にも供給される。また、フレームバッファ１５５からの前フレーム処理画像は、画素置き換え器１５２の他に、画像特徴量検出器２０２にも供給される。

画像特徴量検出器２０２は、復号部５３からのデコード画像とフレームバッファ１５５からの前フレーム処理画像とを用いて、動体領域保護器１５４のDCTサイズに合わせた画像特徴量の算出を行う。画像特徴量検出器２０２は、算出した特徴量を、調整値選択器２０３に供給する。

調整値選択器２０３は、画像特徴量検出器２０２からの画像の特徴量、パラメータ変換器２０１からの符号化パラメータや、図示せぬ操作部などで設定されるユーザ設定値などを用いて、パラメータ変換器２０１からの量子化値を調整する。調整値選択器２０３は、調整された量子化値を、動体領域保護器１５４に供給する。

[パラメータ変換器の構成例]
図２１は、パラメータ変換器の構成例を示すブロック図である。

図２１のパラメータ変換器２０１は、量子化スケール値取り出し器１６１、セレクタ１６２、MPEG-2 QP量子化値変換器１６３、AVC-Qp量子化値変換器１６４、およびHEVC量子化スケール変換器１６５を備える点が、図１１のパラメータ変換器１５１と共通している。

図２１のパラメータ変換器２０１は、符号化パラメータ取り出し器２２１、セレクタ２２２、MPEG-2パラメータ変換器２２３、AVCパラメータ変換器２２４、およびHEVCパラメータ変換器２２５が追加された点が、図１１のパラメータ変換器１５１と異なっている。

符号化パラメータ取り出し器２２１は、復号部５３から供給された符号化パラメータから量子化スケールの値以外の動体検出に適用可能な符号化パラメータを取り出す。符号化パラメータ取り出し器２２１は、取り出した符号化パラメータを、セレクタ２２２に供給する。

符号化パラメータとして、例えば、マクロブロックタイプ、動きベクトル、コーデットブロックパターンなどが取り出される。

セレクタ２２２は、図示せぬ外部からの符号化ストリーム生成に用いられた符号化の種類を示す符号化タイプに対応する変換器に、上述した符号化パラメータを供給する。

すなわち、セレクタ２２２は、符号化タイプがMPEG2を示す場合、MPEG-2パラメータ変換器２２３に符号化パラメータを供給する。セレクタ２２２は、符号化タイプがAVCを示す場合、AVCパラメータ変換器２２４に符号化パラメータを供給する。セレクタ２２２は、符号化タイプがHEVCを示す場合、HEVCパラメータ変換器２２５に符号化パラメータを供給する。

MPEG-2パラメータ変換器２２３、AVCパラメータ変換器２２４、およびHEVCパラメータ変換器２２５は、それぞれ、入力された符号化パラメータに対して、DCTブロックサイズ、演算精度、符号化方式の差などの補正を行う。MPEG-2パラメータ変換器２２３、AVCパラメータ変換器２２４、およびHEVCパラメータ変換器２２５は、補正後の符号化パラメータを、動体領域保護器１５４に供給する。

[画像特徴量検出器の構成例]
図２２は、画像特徴量検出器の構成例を示すブロック図である。

図２２の例においては、画像特徴量検出器２０２は、ブロック特徴量検出器２３１−１および２３１−２、画素間特徴量検出器２３２、並びに、特徴選択器２３３を含むように構成されている。

復号部５３からのデコード画像は、ブロック特徴量検出器２３１−１および画素間特徴量検出器２３２に入力される。フレームバッファ１５５からの前フレーム処理画像は、ブロック特徴量検出器２３１−２および画素間特徴量検出器２３２に入力される。

ブロック特徴量検出器２３１−１および２３１−２は、それぞれ、デコード画像および前フレーム処理画像に対して、ブロック単位の画素値の平均、分散、ダイナミックレンジ、およびエッジ強度などを検出する。ブロック特徴量検出器２３１−１および２３１−２は、検出したブロック単位の画像特徴量を、特徴選択器２３３に供給する。

画素間特徴量検出器２３２は、デコード画像と前フレーム処理画像間の差分和、差分平均値、差分絶対値和、差分画像上のエッジ強度、および差分画像分散などを計算し、計算した画素間特徴量を、特徴選択器２３３に供給する。

特徴選択器２３３は、ブロック特徴量検出器２３１−１および２３１−２、画素間特徴量検出器２３２からの画像特徴量に基づいて、各ブロックに対し、静止領域、動体領域、動体境界領域などのラベリングを行う。特徴選択器２３３は、画像特徴量（領域ラベル）を、調整値選択器２０３に供給する。

[調整値選択器の構成例]
図２３は、調整値選択器の構成例を示すブロック図である。

図２３の例においては、調整値選択器２０３は、量子化値調整機２４１および量子化値変換器２４２を含むように構成されている。

量子化値調整器２４１には、パラメータ変換器２０１からの量子化値QPおよび符号化パラメータ、並びに画像特徴量検出器２０２からの画像特徴量を示す領域ラベルが入力されている。

量子化値調整器２４１は、領域ラベルおよび符号化パラメータを用いて、パラメータ変換器２０１からの量子化値を調整し、調整した量子化値を、量子化値変換器２４２に出力する。

具体的には、量子化値調整器２４１は、図２４に示されるように、画像特徴量、並びに、マクロブロックタイプ(MB Type)、動きベクトル(Motion vector)、およびコーデットブロックパターン(Coded Block Pattern)などの符号化パラメータに基づいて、量子化値を調整する。

画像特徴量は、静止領域、動体領域、および動体境界周辺の３種類の領域ラベルに分類される。マクロブロックタイプとしては、イントラ予測であるか、インター予測であるかの２種類に分類される。動きベクトルは、０ベクトル（静止）であるか、非０ベクトル(動きがある)かの２種類に分類される。コーデットブロックパターンは、係数伝送があるかなしかの２種類に分類される。

入力がQPである場合について、図２４の上から順に説明していくと、領域ラベルが静止であり、マクロブロックタイプがイントラである場合、量子化値調整器２４１は、調整後の量子化値がQP/2となるように調整する。領域ラベルが静止であり、マクロブロックタイプがインターであり、０ベクトルであり、係数伝送なしの場合、量子化値調整器２４１は、調整後の量子化値がQPとなるように調整する。領域ラベルが静止であり、マクロブロックタイプがインターであり、非０ベクトルであり、係数伝送なしの場合、量子化値調整器２４１は、調整後の量子化値がQPとなるように調整する。

領域ラベルが静止であり、マクロブロックタイプがインターであり、非０ベクトルであり、係数伝送ありの場合、量子化値調整器２４１は、調整後の量子化値がQP/2となるように調整する。領域ラベルが動体境界周辺であり、マクロブロックタイプがイントラである場合、量子化値調整器２４１は、調整後の量子化値が0となるように調整する。領域ラベルが動体境界周辺であり、マクロブロックタイプがインターであり、０ベクトルであり、係数伝送なしの場合、量子化値調整器２４１は、調整後の量子化値がQPとなるように調整する。

領域ラベルが動体境界周辺であり、マクロブロックタイプがインターであり、非０ベクトルであり、係数伝送なしの場合、量子化値調整器２４１は、調整後の量子化値がQP/2となるように調整する。領域ラベルが動体境界周辺であり、マクロブロックタイプがインターであり、非０ベクトルであり、係数伝送ありの場合、量子化値調整器２４１は、調整後の量子化値がQP/4となるように調整する。領域ラベルが動体であり、マクロブロックタイプがイントラである場合、量子化値調整器２４１は、調整後の量子化値が0となるように調整する。

領域ラベルが動体であり、マクロブロックタイプがインターであり、０ベクトルであり、係数伝送なしの場合、量子化値調整器２４１は、調整後の量子化値がQP/2となるように調整する。

領域ラベルが動体境界周辺であり、マクロブロックタイプがインターであり、非０ベクトルであり、係数伝送なしの場合、量子化値調整器２４１は、調整後の量子化値がQP/4となるように調整する。領域ラベルが動体であり、マクロブロックタイプがインターであり、非０ベクトルであり、係数伝送ありの場合、量子化値調整器２４１は、調整後の量子化値が0となるように調整する。

なお、これらのマクロブロックタイプ(MB Type)、動きベクトル(Motion vector)、およびコーデットブロックパターン(Coded Block Pattern)などの符号化パラメータが、符号化タイプによって異なる。したがって、それを補正するのが、図２１のMPEG-2パラメータ変換器２２３、AVCパラメータ変換器２２４、およびHEVCパラメータ変換器２２５である。

また、符号化パラメータとしては、上述したマクロブロックタイプ、動きベクトル、コーデットブロックパターンについて記載したが、それら以外のパラメータを用いるようにしてもよい。

図２３に戻って、量子化値変換器２４２は、量子化値調整器２４１により調整された量子化値に対して、図示せぬ操作入力部などから設定されるユーザ設定値に応じた変換処理を行う。この変換処理は、次の式（５）のように表される。

ここで、Offset（オフセット値）,MaxQP（最大量子化値）,MinQP（最小量子化値）がユーザ設定値である。これにより、ユーザが量子化スケールの値を制御することができる。なお、これ以外のユーザ設定値を用いてもよい。

量子化値変換器２４２は、変換後の量子化値を、動体領域保護器１５４に供給する。

なお、動体領域保護器１５４においては、調整値選択器２０３から供給された調整後の量子化値を受け取り、図１０の場合と同様の動体領域保護処理を行うが、QP=0の値が入力された場合、出力値がデコード画像に完全に一致することを意味する。そのため、QP=0の場合、動体領域保護器１５４の処理を行うのではなく、デコード画像をスルーするような代替処理で代用させることも可能である。

[フィルタ処理の例]
次に、図２５のフローチャートを参照して、図２０のフィルタ部５４が行うフィルタ処理について説明する。なお、この処理は、図１７を参照して上述した、図１５のステップＳ５４のフィルタ処理の他の例である。

図示せぬ外部から、画素の置き換え周期が、置き換えパターン生成器１７１およびフレームカウンタ１７３に供給される。ステップＳ２０１において、置き換えパターン生成器１７１は、外部により設定された置き換え周期に基づいて、画像内の各画素に対し、画素置き換えパターンを生成する。置き換えパターン生成器１７１は、生成された画素置き換えパターンを、画素置き換えパターン記録バッファ１７２に記録する。

ステップＳ２０２において、フレームカウンタ１７３は、内部カウンタの初期化（リセット処理）を行う。

ステップＳ２０３において、フレームバッファ１５５は、例えば、デコード画像の初期フレームの画素値などをコピーし、初期化を行う。

ステップＳ２０４において、画素選択器１７４は、画素置き換え処理を行う。この画素置き換え処理は、図１８を参照して上述した画素置き換え処理と基本的に同様の処理を行うため、その説明は繰り返しになるので省略する。ステップＳ２０４の処理により、画素置き換え画像が、ノイズ付加器１５３に出力される。

ステップＳ２０５においてノイズ付加器１５３の加算器１８２は、入力された画素置き換え画像に、ノイズ発生器１８１からのノイズを付加し、ノイズ付加画像を、動体領域保護器１５４に出力する。

ステップＳ２０６において、パラメータ変換器２０１は、復号部５３から供給された符号化パラメータから量子化スケールの値、マクロブロックタイプ、動きベクトル、コーデットブロックパターンなどの符号化パラメータを読み込む。

そして、パラメータ変換器２０１は、符号化タイプに応じて、入力された量子化スケールの値から、後段の動体領域保護器１５４でDCT係数を量子化する際の量子化値への変換を行う。また、パラメータ変換器２０１は、符号化タイプに応じて、入力された符号化パラメータに対して、DCTブロックサイズ、演算精度、符号化方式の差などの補正を行う。

ステップＳ２０６において、読み出され、変換された量子化値、補正された符号化パラメータは、動体領域保護器１５４に供給される。

ステップＳ２０７において、画像特徴量検出器２０２は、復号部５３からのデコード画像とフレームバッファ１５５からの前フレーム処理画像とを用いて、動体領域保護器１５４のDCTサイズに合わせた画像特徴量の算出を行う。

すなわち、ブロック特徴量検出器２３１−１および２３１−２は、それぞれ、デコード画像および前フレーム処理画像に対して、ブロック単位の画素値の平均、分散、ダイナミックレンジ、およびエッジ強度などを検出する。画素間特徴量検出器２３２は、デコード画像と前フレーム処理画像間の差分和、差分平均値、差分絶対値和、差分画像上のエッジ強度、および差分画像分散などを計算する。

特徴選択器２３３は、ブロック特徴量検出器２３１−１および２３１−２、画素間特徴量検出器２３２からの画像特徴量に基づいて、各ブロックに対し、静止領域、動体領域、動体境界領域などのラベリングを行う。特徴選択器２３３は、画像特徴量（領域ラベル）を、調整値選択器２０３に供給する。

ステップＳ２０８において、調整値選択器２０３は、パラメータ変換器２０１からの量子化値を変調する。すなわち、調整値選択器２０３の量子化値調整器２４１は、画像特徴量検出器２０２からの画像の特徴量、パラメータ変換器２０１からの符号化パラメータを用いて、図２４を参照して上述したように、パラメータ変換器２０１からの量子化値を調整する。また、調整値選択器２０３の量子化値変換器２４２は、図示せぬ操作部などで設定されるユーザ設定値などを用いて、上述した式（５）のように、パラメータ変換器２０１からの量子化値を変換し、変換された量子化値を、動体領域保護器１５４に供給する。

ステップＳ２０９において、動体領域保護器１５４は、動体領域保護のため、係数制限を行う。この係数制限処理については、図１９を参照して上述した係数制限処理と基本的に同様の処理を行うため、その説明は繰り返しになるので省略する。ステップＳ２０９の処理により係数が制限されたDCT係数に対して、IDCT変換が行われて、画像が再構成される。

そして、動体領域保護器１５４は、ステップＳ２１０において、再構成された処理画像を、図２の表示制御部５５に出力し、ステップＳ２１１において、処理画像をフレームバッファ１５５に記録する。

画素置き換え器１５２は、ステップＳ２１２において、処理中のフレームが、最後のフレームであるか否かを判定する。ステップＳ２１２において、最後のフレームではないと判定された場合、処理は、ステップＳ２０４に戻り、それ以降の処理が繰り返される。

ステップＳ２１２において、最後のフレームであると判定された場合、図２５のフィルタ処理は終了され、図１５のステップＳ５４に戻り、ステップＳ５５に進む。

以上のように、動き（画像特徴量）を検出し、量子化スケール以外の符号化パラメータを取り出し、それらを用いて、DCT係数をクリップする際の量子化値を調整するようにしたので、さらに、精度を向上させることができる。

なお、上記説明においては、画素置き換えパターンを生成して用いる例を説明したが、次に、画素置き換えパターンを符号化側で設定して伝送し、それを、復号側で受け取って、用いる例について説明する。

＜第３の実施の形態＞
［符号化装置の構成例］
図２６は、本技術を適用した画像処理装置としての符号化装置の構成例を示すブロック図である。

図２６の符号化装置３０１は、設定部３０２、符号化部３０３、および伝送部３０４により構成され、撮影(Captured)画像等の画像をHEVC方式で符号化する。

具体的には、符号化装置３０１の設定部３０２には、フレーム単位の撮影画像等の画像が入力信号として入力される。設定部３０２は、SPS、PPS、VUI、SEIなどを設定する。その際、外部から設定される置き換え周期を基に、復号側において用いられる、デコード画像に対して、画素値の変動分布を示す画素置き換えパターンが生成され、例えば、SEIに設定される。置き換え周期は、上述したように、イントラフレームの出現周期（ＧＯＰの周期）、またはイントラフレームの出現周期より長い周期とされる。

設定部３０２は、画像とともに、設定されたSPS、PPS、VUI、およびSEIを符号化部３０３に供給する。なお、SPS、PPS、VUI、およびSEI等は、設定部３０２において必要に応じて符号化されるようにしてもよい。

符号化部３０３は、設定部３０２により設定されたSPS、PPS、VUI、およびSEIなどを参照して、入力信号をHEVC方式で符号化する。そして、符号化部３０３は、その結果得られる符号化データと、SPS、PPS、VUI、およびSEIとから、符号化ストリームを生成し、生成された符号化ストリームを伝送部３０４に供給する。伝送部３０４は、符号化部３０３から供給される符号化ストリームを、後述する図３１の復号装置５０に伝送する。

［符号化部の構成例］
図２７は、図２６の符号化部３０３の構成例を示すブロック図である。符号化部３０３は、必要に応じて、設定部３０２により設定されたSPS、PPS、VUI、およびSEIなどを参照して、入力信号をHEVC方式で符号化する。

図２６の符号化部３０３は、A/D変換部３１１、画面並べ替えバッファ３１２、演算部３１３、直交変換部３１４、量子化部３１５、可逆符号化部３１６、蓄積バッファ３１７、逆量子化部３１８、逆直交変換部３１９、加算部３２０、デブロックフィルタ３２１、フレームメモリ３２２、スイッチ３２３、イントラ予測部３２４、動き予測・補償部３２５、予測画像選択部３２６、およびレート制御部３２７を含むように構成される。

さらに、デブロックフィルタ３２１およびフレームメモリ３２２の間には、適応オフセットフィルタ３４１と適応ループフィルタ３４２が備えられている。

具体的には、符号化部３０３のA/D変換部３１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３１２に出力して記憶させる。画面並べ替えバッファ３１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部３１３、イントラ予測部３２４、および動き予測・補償部３２５に出力する。

演算部３１３は、予測画像選択部３２６から供給される予測画像と、画面並べ替えバッファ３１２から出力された符号化対象の画像の差分を演算することにより符号化を行う。具体的には、演算部３１３は、画面並べ替えバッファ３１２から出力された符号化対象の画像から、予測画像選択部３２６から供給される予測画像を減算することにより符号化を行う。演算部３１３は、その結果得られる画像を、残差情報として直交変換部３１４に出力する。なお、予測画像選択部３２６から予測画像が供給されない場合、演算部３１３は、画面並べ替えバッファ３１２から読み出された画像をそのまま残差情報として直交変換部３１４に出力する。

直交変換部３１４は、演算部３１３からの残差情報に対して直交変換を施し、直交変換の結果得られる係数を量子化部３１５に供給する。

量子化部３１５は、直交変換部３１４から供給される係数を量子化する。量子化された係数は、可逆符号化部３１６に入力される。

可逆符号化部３１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部３２４から取得する。また、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定するための情報などを動き予測・補償部３２５から取得する。また、可逆符号化部３１６は、適応オフセットフィルタ３４１から格納フラグ、インデックスまたはオフセット、および種類情報をオフセットフィルタ情報として取得し、適応ループフィルタ３４２からフィルタ係数を取得する。

可逆符号化部３１６は、量子化部３１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。

また、可逆符号化部３１６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報、オフセットフィルタ情報、およびフィルタ係数などを、符号化に関する符号化パラメータとして可逆符号化する。可逆符号化部３１６は、可逆符号化された符号化パラメータと係数を、符号化データとして蓄積バッファ３１７に供給し、蓄積させる。なお、可逆符号化された符号化パラメータは、可逆符号化された係数のヘッダ情報とされてもよい。

蓄積バッファ３１７は、可逆符号化部３１６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ３１７は、記憶している符号化データを、図３の設定部３０２に供給する。

また、量子化部３１５より出力された、量子化された係数は、逆量子化部３１８にも入力され、逆量子化された後、逆直交変換部３１９に供給される。

逆直交変換部３１９は、逆量子化部３１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部３２０に供給する。

加算部３２０は、逆直交変換部３１９から供給される復号対象の画像としての残差情報と、予測画像選択部３２６から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部３２６から予測画像が供給されない場合、加算部３２０は、逆直交変換部３１９から供給される残差情報を局部的に復号された画像とする。加算部３２０は、局部的に復号された画像をデブロックフィルタ３２１に供給するとともに、フレームメモリ３２２に供給して蓄積させる。

デブロックフィルタ３２１は、加算部３２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ３２１は、その結果得られる画像を適応オフセットフィルタ３４１に供給する。

適応オフセットフィルタ３４１は、デブロックフィルタ３２１による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。

より詳細には、適応オフセットフィルタ３４１は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ３４１は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ３４１は、適応オフセットフィルタ処理後の画像を適応ループフィルタ３４２に供給する。

また、適応オフセットフィルタ３４１は、オフセットを格納するバッファを有している。適応オフセットフィルタ３４１は、LCUごとに、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されているかどうかを判定する。

適応オフセットフィルタ３４１は、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されていると判定した場合、オフセットがバッファに格納されているかを示す格納フラグを、オフセットがバッファに格納されていることを示す値（ここでは１）に設定する。

そして、適応オフセットフィルタ３４１は、LCUごとに、１に設定された格納フラグ、バッファにおけるオフセットの格納位置を示すインデックス、および、行われた適応オフセットフィルタ処理の種類を示す種類情報を可逆符号化部３１６に供給する。

一方、適応オフセットフィルタ３４１は、適応デブロックフィルタ処理に用いられたオフセットがまだバッファに格納されていない場合、そのオフセットを順にバッファに格納する。また、適応オフセットフィルタ３４１は、格納フラグを、オフセットがバッファに格納されていないことを示す値（ここでは０）に設定する。そして、適応オフセットフィルタ３４１は、LCUごとに、０に設定された格納フラグ、オフセット、および種類情報を可逆符号化部３１６に供給する。

適応ループフィルタ３４２は、適応オフセットフィルタ３４１から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF:Adaptive Loop Filter)処理を行う。適応ループフィルタ処理としては、例えば、２次元のウィナーフィルタ（Wiener Filter）による処理が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。

具体的には、適応ループフィルタ３４２は、LCUごとに、画面並べ替えバッファ３１２から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ３４２は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。

適応ループフィルタ３４２は、適応ループフィルタ処理後の画像をフレームメモリ３２２に供給する。また、適応ループフィルタ３４２は、フィルタ係数を可逆符号化部３１６に供給する。

なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ３４１と適応ループフィルタ３４２の処理単位を合わせることにより、処理を効率的に行うことができる。

フレームメモリ３２２に蓄積された画像は、参照画像としてスイッチ３２３を介してイントラ予測部３２４または動き予測・補償部３２５に出力される。

イントラ予測部３２４は、フレームメモリ３２２からスイッチ３２３を介して読み出されたデブロックフィルタ３２１でフィルタリングされていない参照画像を用いて、タイルおよびスライス単位で、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

また、イントラ予測部３２４は、画面並べ替えバッファ３１２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部３２４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部３２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部３２６に供給する。イントラ予測部３２４は、予測画像選択部３２６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部３１６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（６）で表わされるコスト関数値が各予測モードに対して算出される。

Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（７）で表わされるコスト関数値が各予測モードに対して算出される。

Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。

動き予測・補償部３２５は、タイルおよびスライス単位で、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部３２５は、タイルおよびスライス単位で、画面並べ替えバッファ３１２から供給される画像と、フレームメモリ３２２からスイッチ３２３を介して読み出されるフィルタリングされた参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部３２５は、タイルおよびスライス単位で、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。

このとき、動き予測・補償部３２５は、画面並べ替えバッファ３１２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部３２５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部３２６に供給する。また、動き予測・補償部３２５は、予測画像選択部３２６から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部３１６に出力する。

予測画像選択部３２６は、イントラ予測部３２４および動き予測・補償部３２５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部３２６は、最適予測モードの予測画像を、演算部３１３および加算部３２０に供給する。また、予測画像選択部３２６は、最適予測モードの予測画像の選択をイントラ予測部３２４または動き予測・補償部３２５に通知する。

レート制御部３２７は、蓄積バッファ３１７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３１５の量子化動作のレートを制御する。

［符号化装置の処理の説明］
図２８は、図２６の符号化装置３０１の生成処理を説明するフローチャートである。

符号化装置３０１の設定部３０２には、フレーム単位の撮影画像等の画像が入力信号として入力される。図２８のステップＳ３０１において、設定部３０２は、画素置き換えパターンを設定する。すなわち、設定部３０２は、SPS、PPS、VUI、SEIなどを設定する。その際、設定部３０２は、復号側において用いられる、デコード画像に対して、画素値の変動分布を示す画素置き換えパターンを生成し、例えば、SEIに設定する。

例えば、上述した式（１）や式（２）などが用いられて画素置き換えパターンが生成される。

設定部３０２は、画像とともに、設定されたSPS、PPS、VUI、およびSEIを符号化部３０３に供給する。

ステップＳ３０２において、符号化部３０３は、設定部３０２により設定されたSPS、PPS、VUI、およびSEIを参照して、入力信号をHEVC方式で符号化する。この符号化処理の詳細は、後述する図２９および図３０を参照して説明する。

そして、符号化部３０３は、その結果得られる符号化データと、SPS、PPS、VUI、およびSEIとから、符号化ストリームを生成し、生成された符号化ストリームを伝送部３０４に供給する。

ステップＳ３０３において、伝送部３０４は、設定部３０２から供給される符号化ストリームを、後述する図３１の復号装置５０に伝送し、処理を終了する。

［符号化処理の例］
次に、図２９および図３０のフローチャートを参照して、図２８のステップＳ３０２の符号化処理の詳細を説明する。

図２９のステップＳ３１１において、符号化部３０３のA/D変換部３１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３１２に出力して記憶させる。

ステップＳ３１２において、画面並べ替えバッファ３１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ３１２は、並べ替え後のフレーム単位の画像を、演算部３１３、イントラ予測部３２４、および動き予測・補償部３２５に供給する。なお、以下のステップＳ３１３乃至Ｓ３３１の処理は、例えばCU（Coding Unit）単位で行われる。

ステップＳ３１３において、イントラ予測部３２４は、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部３２４は、画面並べ替えバッファ３１２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部３２４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部３２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部３２６に供給する。

また、動き予測・補償部３２５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部３２５は、画面並べ替えバッファ３１２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部３２５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部３２６に供給する。

ステップＳ３１４において、予測画像選択部３２６は、ステップＳ３１３の処理によりイントラ予測部３２４および動き予測・補償部３２５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部３２６は、最適予測モードの予測画像を、演算部３１３および加算部３２０に供給する。

ステップＳ３１５において、予測画像選択部３２６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３１５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部３２６は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部３２５に通知する。

そして、ステップＳ３１６において、動き予測・補償部３２５は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部３１６に供給する。そして、処理はステップＳ３１８に進む。

一方、ステップＳ３１５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部３２６は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部３２４に通知する。

そして、ステップＳ３１７において、イントラ予測部３２４は、イントラ予測モード情報を可逆符号化部３１６に供給する。そして、処理はステップＳ３１８に進む。

ステップＳ３１８において、演算部３１３は、画面並べ替えバッファ３１２から供給される画像から、予測画像選択部３２６から供給される予測画像を減算することにより符号化を行う。演算部３１３は、その結果得られる画像を、残差情報として直交変換部３１４に出力する。

ステップＳ３１９において、直交変換部３１４は、演算部３１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部３１５に供給する。

ステップＳ３２０において、量子化部３１５は、直交変換部３１４から供給される係数を量子化する。量子化された係数は、可逆符号化部３１６と逆量子化部３１８に入力される。

図３０のステップＳ３２１において、逆量子化部３１８は、量子化部３１５から供給される量子化された係数を逆量子化する。

ステップＳ３２２において、逆直交変換部３１９は、逆量子化部３１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部３２０に供給する。

ステップＳ３２３において、加算部３２０は、逆直交変換部３１９から供給される残差情報と、予測画像選択部３２６から供給される予測画像を加算し、局部的に復号された画像を得る。加算部３２０は、得られた画像をデブロックフィルタ３２１に供給するとともに、フレームメモリ３２２に供給する。

ステップＳ３２４において、デブロックフィルタ３２１は、加算部３２０から供給される局部的に復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ３２１は、その結果得られる画像を適応オフセットフィルタ３４１に供給する。

ステップＳ３２５において、適応オフセットフィルタ３４１は、デブロックフィルタ３２１から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ３４１は、その結果得られる画像を適応ループフィルタ３４２に供給する。また、適応オフセットフィルタ３４１は、LCUごとに、格納フラグ、インデックスまたはオフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部３１６に供給する。

ステップＳ３２６において、適応ループフィルタ３４２は、適応オフセットフィルタ３４１から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ３４２は、その結果得られる画像をフレームメモリ３２２に供給する。また、適応ループフィルタ３４２は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部３１６に供給する。

ステップＳ３２７において、フレームメモリ３２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ３２２は、加算部３２０から供給される画像と適応ループフィルタ３４２から供給される画像を蓄積する。フレームメモリ３２２に蓄積された画像は、参照画像としてスイッチ３２３を介してイントラ予測部３２４または動き予測・補償部３２５に出力される。

ステップＳ３２８において、可逆符号化部３１６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報など、オフセットフィルタ情報、およびフィルタ係数を、符号化パラメータとして可逆符号化する。

ステップＳ３２９において、可逆符号化部３１６は、量子化部３１５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部３１６は、ステップＳ３２８の処理で可逆符号化された符号化パラメータと可逆符号化された係数から、符号化データを生成する。

ステップＳ３３０において、可逆符号化部３１６は、符号化データを蓄積バッファ３１７に供給し、蓄積させる。

ステップＳ３３１において、蓄積バッファ３１７は、蓄積されている符号化データと、SPS、PPS、VUI、およびSEIとから、符号化ストリームを生成し、生成された符号化ストリームを、図２６の伝送部３０４に出力する。そして、処理は図２８のステップＳ３０２に戻り、ステップＳ３０３に進む。

なお、図２９および図３０の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

[復号装置の他の構成例]
図３１は、図２６の符号化装置３０１から伝送される符号化ストリームを復号する、本技術を適用した画像処理装置としての、復号装置の構成例を示すブロック図である。すなわち、図３１の復号装置は、図２の復号装置の他の構成例である。

図３１の復号装置５０は、受け取り部５１、抽出部５２、復号部５３、表示制御部５５、および表示部５６を備える点が、図２の復号装置５０と共通している。図３１の復号装置５０は、フィルタ部５４が、フィルタ部３５１に入れ替わった点が、図２の復号装置５０と異なっている。

すなわち、受け取り部５１は、図２６の符号化装置３０１から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。この符号化ストリームのSEIには、画素置き換えパターンが設定されている。抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS、PPS、VUI、SEIおよび符号化データ等を抽出する。このとき、SEIから、画素置き換えパターン情報も抽出され、フィルタ部３５１に供給される。

フィルタ部３５１は、抽出部５２から供給されるSPS、PPS、VUI、SEIや復号部５３からの符号化パラメータ等に基づいて、復号部５３から出力信号として供給されるデコード画像に対して、抽出部５２から供給される置き換えパターン情報を用いて、画素を置き換えるフィルタを施す。フィルタ部３５１は、フィルタを施した画像を表示制御部５５に供給する。

[フィルタ部の他の構成例]
図３２は、図３１のフィルタ部の構成例を示すブロック図である。

図３２のフィルタ部３５１は、パラメータ変換器１５１、画素置き換え器１５２、ノイズ付加器１５３、動体領域保護器１５４、およびフレームバッファ１５５を備える点は、図１０のフィルタ部５４と共通している。図３２のフィルタ部３５１は、画素置き換え器１５２が、画素置き換え器３６１に入れ替わった点が、図１０のフィルタ部５４と異なっている。

すなわち、図１０の画素置き換え器１５２が画素置き換えパターンの生成を行うのに対して、図３２の画素置き換え器３６１は、符号化装置３０１からの符号化ストリームに設定されており、抽出部５２において抽出された画素置き換えパターン情報を受け取る。図３２の画素置き換え器３６１は、それを用いて、一定周期で、前フレームの処理画像の画素を、デコード画像の画素に置き換える処理を行う。画素置き換え器３６１は、処理後の画像を、ノイズ付加器１５３に供給する。

[画素置き換え器の他の構成例]
図３３は、図３２の画素置き換え器の他の構成例を示すブロック図である。

図３３の画素置き換え器３６１は、画素置き換えパターン記録バッファ１７２、フレームカウンタ１７３、および画素選択器１７４を備える点が、図１２の画素置き換え器１５２と共通している。図３３の画素置き換え器３６１は、置き換えパターン生成器１７１が置き換えパターン受け取り部３７１に入れ替わった点が、図１２の画素置き換え器１５２と異なっている。

すなわち、置き換えパターン受け取り部３７１は、図３１の抽出部５２により符号化パラメータより抽出された画素置き換えパターン情報を受け取る。置き換えパターン受け取り部３７１は、受け取った画素置き換えパターンを、画素置き換えパターン記録バッファ１７２に記録する。

画素選択器１７４は、この画素置き換えパターンを用いて、画素の置き換え処理を行う。

[復号装置の動作]
次に、図３４のフローチャートを参照して、図３１の復号装置５０の表示処理について説明する。なお、この表示処理は、図１５を参照して上述した表示処理の他の例である。

ステップＳ３５１において、図３１の受け取り部５１は、図２６の符号化装置３０１から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。

ステップＳ３５２において、抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS,PPS,VUI,SEI、および符号化データ等を抽出する。その際、抽出部５２は、SEIから、画素置き換えパターン情報を抽出する。抽出部５２は、符号化データを復号部５３に供給する。抽出部５２は、SPS,PPS,VUI,SEI等も、必要に応じて復号部５３とフィルタ部５４に供給する。

ステップＳ３５３において、抽出部５２は、SEIから抽出された画素置き換えパターン情報を、フィルタ部３５１に供給する。

ステップＳ３５４において、復号部５３は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する復号処理を行う。この復号処理は、図１６を参照して上述した復号処理と基本的に同様の処理を行うため、その説明は、繰り返しになるので省略する。復号部５３は、復号したデコード画像と符号化に用いられた符号化パラメータをフィルタ部５４に供給する。

ステップＳ３５５において、フィルタ部５４は、抽出部５２から供給されるSPS,PPS,VUI,SEIや復号部５３からの符号化パラメータ等に基づいて、復号部５３から出力信号として供給されるデコード画像に対して、ステップＳ３５３により供給された置き換えパターンを用いて、画素を置き換えるフィルタを施す。このフィルタ処理の詳細は、後述する図３５を参照して説明する。フィルタ部５４は、フィルタを施した画像を表示制御部５５に供給する。

ステップＳ３５６において、表示制御部５５は、フィルタ部５４から供給される画像に基づいて、表示画像を生成し、生成した表示画像を表示部５６に供給することにより、表示部５６に表示画像を表示させ、処理を終了する。

[フィルタ処理の例]
次に、図３５のフローチャートを参照して、図３４のステップＳ３５５のフィルタ処理について説明する。

図３４のステップＳ３５３により画素置き換えパターン情報が供給される。置き換えターン受け取り部３７１は、ステップＳ３６１において、その画素置き換えパターン情報を受け取る。置き換えターン受け取り部３７１は、受け取った画素置き換えパターンを、画素置き換えパターン記録バッファ１７２に記録する。

なお、図３５のステップＳ３６２乃至Ｓ３７０は、図１７のステップＳ１３２乃至Ｓ１４０と基本的に同じ処理であるので、その説明は繰り返しになるので省略する。

以上のように、符号化側で生成され設定された画素置き換えパターン情報を、復号側で受け取って、用いるようにすることも可能である。

なお、上記説明においては、生成したまたは受け取った画素置き換えパターンを記録して用いるようにしたが、完全ランダムに画素置き換えを行うようにしてもよい。

以上のように、本技術によれば、主観的な違和感なく、ハートビートノイズ、すなわち、イントラフレームの出現周期で発生するノイズを低減することが可能である。また、ビットストリームの情報を用いた動体保護により、動体破綻も抑制することができる。

さらに、動体保護（クリップ処理）を行うことにより、比較的大きな変更、画質調整を画装に対して行ったとしても、処理結果を復号画像より一定の変動範囲に抑えることができる。

これにより、ブロックノイズおよびモスキートノイズも低減することができる。また、平坦部、圧縮によるテクスチャ感の減衰箇所に対してのテクスチャ感を向上させることができる。

なお、本技術を、時間方向のノイズリダクションと組み合わせてもよい。

また、以上においては、符号化方式としてHEVC方式をベースに用いるようにしたが、本技術は、表示を行う際の技術であり、符号化方式に拘らない。したがって、本技術は、HEVC方式に限らず、その他の符号化方式／復号方式を適用することができる。例えば、次に説明するAVC方式をベースに符号化／復号処理を行う装置にも適用することができる。

＜第４の実施の形態＞
［復号部の他の構成例］
図３６は、図２の復号部の他の構成例を示すブロック図である。図３６の復号部５３においては、AVC方式による復号処理が行われる点のみが、図３の復号部５３と異なっている。

図３６に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３６の復号部５３は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、動き補償部１１２、およびスイッチ１１３により構成される。

図３６の復号部５３の構成は、適応オフセットフィルタ１４１と適応ループフィルタ１４２が除かれている点、および可逆復号部１０２がHEVC方式ではなく、AVC方式により復号を行う点のみが図３の構成と異なる。したがって、復号部５３においては、CU単位ではなく、ブロック単位に復号処理が行われる。

可逆復号部１０２の復号処理の対象は、適応オフセットフィルタおよび適応ループフィルタのパラメータを除き、図３の可逆復号部１０２の場合と基本的に同様である。すなわち、可逆復号部１０２は、図３の可逆復号部１０２と同様に、蓄積バッファ１０１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化パラメータを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。

また、可逆復号部１０２は、図３の可逆復号部１０２と同様に、符号化パラメータとしてのイントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き補償部１１２に供給する。さらに、可逆復号部１０２は、符号化パラメータとしてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。なお、符号化パラメータは、後段のフィルタ部５４にも供給される。

デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９および画面並べ替えバッファ１０７に供給する。

本技術は、このようなAVC方式の復号部５３を備える復号装置にも適用することができる。

［符号化部の他の構成例］
図３７は、図２６の符号化部の他の構成例を示すブロック図である。図３７の符号化部３０３においては、AVC方式による符号化処理が行われる点のみが、図２７の符号化部３０３と異なっている。

図３７に示す構成のうち、図２７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３７の符号化部３０３は、A/D変換部３１１、画面並べ替えバッファ３１２、演算部３１３、直交変換部３１４、量子化部３１５、可逆符号化部３１６、蓄積バッファ３１７、逆量子化部３１８、逆直交変換部３１９、加算部３２０、デブロックフィルタ３２１、フレームメモリ３２２、スイッチ３２３、イントラ予測部３２４、動き予測・補償部３２５、予測画像選択部３２６、およびレート制御部３２７を含むように構成される。

すなわち、図３７の符号化部３０３の構成は、適応オフセットフィルタ３４１と適応ループフィルタ３４２が除かれている点、および可逆符号化部３１６がHEVC方式ではなく、AVC方式により符号化を行う点のみが図２７の構成と異なる。したがって、符号化部３０３においては、CU単位ではなく、ブロック単位に符号化処理が行われる。

可逆符号化部３１６の符号化処理の対象は、適応オフセットフィルタおよび適応ループフィルタのパラメータを除き、図２７の可逆符号化部３１６の場合と基本的に同様である。すなわち、可逆符号化部３１６は、図２７の可逆符号化部３１６と同様に、イントラ予測モード情報をイントラ予測部３２４から取得する。また、インター予測モード情報、動きベクトル、参照画像を特定するための情報などを動き予測・補償部３２５から取得する。

可逆符号化部３１６は、図２７の可逆符号化部３１６と同様に、量子化部３１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLCなど）、算術符号化（例えば、CABACなど）などの可逆符号化を行う。

また、可逆符号化部３１６は、図２７の可逆符号化部３１６と同様に、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報、オフセットフィルタ情報、およびフィルタ係数などを、符号化に関する符号化パラメータとして可逆符号化する。可逆符号化部３１６は、可逆符号化された符号化パラメータと係数を、符号化データとして蓄積バッファ３１７に供給し、蓄積させる。なお、可逆符号化された符号化パラメータは、可逆符号化された係数のヘッダ情報とされてもよい。

デブロックフィルタ３２１は、加算部３２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ３２１は、その結果得られる画像をフレームメモリ３２２に供給し、蓄積させる。

フレームメモリ３２２に蓄積された画像は、参照画像としてスイッチ３２３を介してイントラ予測部３２４または動き予測・補償部３２５に出力される。

本技術は、このようなAVC方式の符号化部３０３を備える符号化装置にも適用することができる。

以上においては、ハートビートノイズを抑制する例を説明してきたが、上述したように、ハートビートノイズを抑制するためには、前フレームの処理画像を必要とする。したがって、例えば、図１０のフィルタ部５４をハードウエアで構成する場合、必要となる前フレームの処理画像を蓄積する記憶部であるフレームバッファ１５５は、チップ外のDRAM(Dynamic Random Access Memory)上に用意される。そのため、前フレームの処理画像を利用するためには、DRAMへのアクセスが発生し、これがDRAM帯域の増加につながり、ハードウエア的に、DRAMへのアクセスコストがかかってしまっていた。

そこで、ハートビートノイズが主に画像の低域成分に集中することに着目し、画像を高域成分（高域画像）と低域成分に分離し、低域成分（低域画像）のみにハートビートノイズの抑制処理を行う本技術の一例について、以下に説明する。

＜第５の実施の形態＞
［フィルタ部の他の構成例］
図３８は、図２のフィルタ部５４の構成例を示すブロック図である。

図３８のフィルタ部５４は、ノイズ付加器１５３が除かれた点と、帯域分離部４０１、帯域統合部４０２、および平坦部処理部４０３が追加された点とが、図１０のフィルタ部５４と異なっている。図３８のフィルタ部５４は、パラメータ変換器１５１、画素置き換え部１５２、動体領域保護器１５４、フレームバッファ１５５を備える点が、図１０のフィルタ部５４と共通している。なお、説明の便宜上、ノイズ付加部１５３が除かれているだけであり、ノイズ付加部１５３は備えられていてもよい。

すなわち、外部からの符号化タイプと、図２の復号部５３からの符号化パラメータとが、パラメータ変換器１５１に入力される。

パラメータ変換器１５１は、図１０のパラメータ変換器１５１と同様に、符号化ストリーム生成に用いられた符号化の種類を示す符号化タイプに応じて、復号部５３の符号化パラメータ（特に、量子化スケール）の変換を行う。パラメータ変換器１５１は、変換が行われた符号化パラメータを、動体領域保護器１５４に供給する。

また、復号部５３からのデコード画像は、帯域分離部４０１および平坦部処理部４０３に入力される。帯域分離部４０１は、入力されたデコード画像を、高域成分と低域成分に分離する。

ここで、低域成分に関しては、画素数を削減した低解像度画像で表現される。例えば、入力されたデコード画像LD、画像低域成分LDl、および高域成分LDhとした場合、次の式（８）の演算にて、低域成分および高域成分が生成される。

なお、この低域成分および高域成分の分離方法はあくまで一例であり、これ以外の演算式で低域成分と高域成分の分離を行うことも可能である。式（８）の例においては、LDlは、4×4画素の平均値を割り当て、LDhは、LDlをnearest neighbor法で縦横4倍に拡大し、LDとの差分をとることで生成されている。

この式（８）の例では、上述したとおり、低域成分はデコード画像の縦1/4、横1/4の解像度となり、全体として画素数が実際のデコード画像と比して1/16となる。

帯域分離部４０１は、生成されたデコード画像の低域成分を、画素置き換え器１５２および動体領域保護器１５４に供給する。また、帯域分離部４０１は、生成されたデコード画像の高域成分を帯域統合部４０２に供給する。

なお、フレームバッファ１５５には、前フレームの処理画像の低域成分が蓄積されており、それが、画素置き換え器１５２に入力されている。

画素置き換え器１５２は、帯域分離部４０１からの画像の低域成分に対して、図１０の画素置き換え器１５２と同様に、画素の置き換え処理を行う。具体的には、画素置き換え器１５２は、処理開始時には、初期化を行い、外部より設定された置き換え周期を基に、画像（低域成分）内の各画素に対し、画像の置き換えパターンを生成する。そして、画素置き換え器１５２は、生成した置き換えパターンを用いて、一定周期で、フレームバッファ１５５からの前フレームの処理画像（低域成分）の画素を、デコード画像（低域成分）の画素に置き換える処理を行う。画素置き換え器１５２は、処理後の画像（低域成分）を、動体領域保護器１５４に供給する。

動体領域保護器１５４は、画素置き換え器１５２からの処理画像（低域成分）に対して、図１０の動体領域保護器１５４と同様に、動体領域の保護処理を行う。すなわち、動体領域保護器１５４は、画素置き換え器１５２からの出力画像（低域成分）が、帯域分離部４０１からの低域成分と乖離している場合、画素置き換え器１５２からの出力画像（低域成分）を補正する。

具体的には、動体領域保護器１５４は、パラメータ変換器１５１からのパラメータであるQP（量子化値）と、画素置き換え器１５２からの処理画像（低域成分）のDCT係数とを用いて、デコード画像より生成されたDCT係数のクリップ処理、すなわち、係数制限処理を行う。

係数制限が行われたDCT係数は、IDCT変換が行われて画像に再構成され、処理画像（低域成分）として、帯域統合部４０２に供給される。また、動体領域保護器１５４からの処理画像（低域成分）は、次のフレームで用いられるため、フレームバッファ１５５にも供給され、蓄積される。

帯域統合部４０２は、動体領域保護器１５４からの処理画像（低域成分）と、帯域分離部４０１からのデコード画像の高域成分を用いて帯域を統合することで、入力されたデコード画像と同解像度の画像を生成する。

具体的には、例えば、高域成分LDh、動体領域保護器１５４から出力された低域成分NRIとした場合、NRIをnearest neighbor法で拡大し、高域成分と合算することで、生成される画像は、式（９）に示されるように求めることができる。

このとき、低域成分を拡大するためのフィルタは、帯域分離処理での高域成分生成時に、画像の低域成分に適用した拡大フィルタと等しいものを利用する必要がある。

以上のように、帯域統合部４０２は、高域成分と拡大された低域成分とを合算し、表現可能なビット精度に丸めることで画像を生成し、生成した画像を、平坦部処理部４０３に供給する。

平坦部処理部４０３は、帯域統合部４０２からの画像の平坦部に対し、ローパスフィルタなどで平滑化処理を行う。帯域統合部４０２までの処理により生成された画像に関しては、平坦部に滑らかさを欠く場合があるので、平坦部処理部４０３は、平坦部に対して、ローパスフィルタなどを用いた平滑化処理を適用する。

具体的には、例えば、平坦部処理部４０３は、入力画像内から一定の平坦さを持つ領域を検出し、帯域統合部４０２からの画像における、入力画像で検出された領域に対し平滑化処理を適用する。なお、平滑化処理の後、必要に応じて、ディザを加算するようにしてもよい。平坦部処理部４０３は、平滑化処理された画像を、処理画像として、後段の表示制御部５５（図２）に出力する。

[フィルタ処理の例]
次に、図３９のフローチャートを参照して、図１５のステップＳ５４のフィルタ処理について説明する。なお、このフィルタ処理は、図１７を参照して上述したフィルタ処理の他の例である。

図示せぬ外部から、画素の置き換え周期が、置き換えパターン生成器１７１およびフレームカウンタ１７３に供給される。ステップＳ４０１において、置き換えパターン生成器１７１は、外部により設定された置き換え周期に基づいて、画像内の各画素に対し、画素置き換えパターンを生成する。置き換えパターン生成器１７１は、生成された画素置き換えパターンを、画素置き換えパターン記録バッファ１７２に記録する。

ステップＳ４０２において、フレームカウンタ１７３は、内部カウンタの初期化（リセット処理）を行う。

ステップＳ４０３において、フレームバッファ１５５は、例えば、デコード画像の初期フレームの低域成分の画素値などをコピーし、初期化を行う。

復号部５３からのデコード画像は、帯域分離部４０１および平坦部処理部４０３に入力される。ステップＳ４０４において、帯域分離部４０１は、入力されたデコード画像の帯域分離を行い、画像を高域成分と低域成分に分離する。

帯域分離部４０１は、生成されたデコード画像の低域成分を、画素置き換え器１５２および動体領域保護器１５４に供給する。また、帯域分離部４０１は、生成されたデコード画像の高域成分を帯域統合部４０２に供給する。

ステップＳ４０５において、画素選択器１７４は、帯域分離部４０１からの画像の低域成分を用いて、画素置き換え処理を行う。この画素置き換え処理は、処理対象の画像が、画像の低域成分となった点が異なるだけであり、図１８を参照して上述した処理と同様の処理である。したがって、その説明は繰り返しになるので省略される。ステップＳ４０５の処理により、画素置き換え画像（低域成分）が、動体領域保護器１５４に出力される。

ステップＳ４０６において、パラメータ変換器１５１は、復号部５３から供給された符号化パラメータから量子化スケールの値を読み込む。そして、パラメータ変換器１５１は、符号化タイプに応じて、入力された量子化スケールの値から、後段の動体領域保護器１５４でDCT係数を量子化する際の量子化値への変換を行う。変換された量子化値は、動体領域保護器１５４に供給される。

ステップＳ４０７において、動体領域保護器１５４は、動体領域保護のため、係数制限を行う。この係数制限処理については、処理対象の画像が、画像の低域成分となった点が異なるだけであり、図１９を参照して上述した処理と同様の処理である。したがって、その説明は繰り返しになるので省略される。ステップＳ４０７の処理により係数が制限されたDCT係数に対して、IDCT変換が行われて、画像が再構成される。動体領域保護器１５４は、再構成された処理画像（低域成分）を、帯域統合部４０２に出力する。

また、動体領域保護器１５４は、ステップＳ４０８において、処理画像（低域成分）をフレームバッファ１５５に記録する。

ステップＳ４０９において、帯域統合部４０２は、帯域統合を行う。すなわち、帯域統合部４０２は、動体領域保護器１５４からの処理画像（低域成分）と、帯域分離部４０１からのデコード画像の高域成分を用いて帯域統合を行い、入力されたデコード画像と同解像度の画像を生成する。その後、帯域統合部４０２は、高域成分と拡大された低域成分とを合算し、表現可能なビット精度に丸めることで画像を生成し、生成した画像を、平坦部処理部４０３に供給する。

平坦部処理部４０３は、ステップＳ４１０において、平坦部保護を行う。すなわち、平坦部処理部４０３は、帯域統合部４０２からの画像の平坦部に対し、ローパスフィルタなどで平滑化処理を行う。そして、平坦部処理部４０３は、ステップＳ４１１において、平坦部保護がなされた処理画像を、後段の表示制御部５５に出力する。

画素置き換え器１５２は、ステップＳ４１２において、処理中のフレームが、最後のフレームであるか否かを判定する。ステップＳ４１２において、最後のフレームではないと判定された場合、処理は、ステップＳ４０４に戻り、それ以降の処理が繰り返される。

ステップＳ４１２において、最後のフレームであると判定された場合、図３９のフィルタ処理は終了され、図１５のステップＳ５４に戻り、ステップＳ５５に進む。

以上のように、本技術においては、ハートビートノイズは、主に画像の低域成分に集中することから、画像の低域成分を用いて処理を行うようにした。これにより、記憶部としてのフレームバッファ１１５には、前フレームの低域成分が蓄積される。

したがって、本技術によれば、帯域分離していない画像を用いて処理した場合と同等の性能を保ちながら、記憶部(DRAM)へのデータの蓄積量およびデータアクセスに伴うコストを低減することが可能となる。

また、画像の低域成分（縮小画像）上で処理を行うことで、帯域分離していない画像上で処理を行う場合と比較すると、画素値置き換えに伴う処理量を低減することができる。

＜第６の実施の形態＞
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。

入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、図２の表示制御部５５と表示部５６は、復号装置５０の外部に設けられるようにしてもよい。

また、例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書では、例えば、画素置き換えパターン情報等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） ビットストリームを復号処理して、画像を生成する復号部と、
前記復号部により生成された画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換える置き換え部と
を備える画像処理装置。
（２） 前記置き換えパターンは、ランダムに生成されている
前記（１）に記載の画像処理装置。
（３） 前記置き換えパターンの周期は、イントラフレームの出現周期に基づいて決められる
前記（１）または（２）に記載の画像処理装置。
（４） 前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成する係数制限部を
さらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記置き換え部により画素が置き換えられた画像に対して、ノイズを付加するノイズ付加部を
さらに備え、
前記係数制限部は、前記ノイズ付加部によりノイズが付加された画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行う
前記（４）に記載の画像処理装置。
（６） 前記復号部により生成された画像から特徴量を検出する特徴量検出部と、
前記特徴量検出部により検出された特徴量と前記ビットストリームから得られる符号化パラメータとを用いて、前記ビットストリームから得られる量子化パラメータの値を調整するパラメータ調整部と
をさらに備え、
前記係数制限部は、前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記パラメータ調整部により値が調整された量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成する
前記（４）に記載の画像処理装置。
（７） ユーザの操作に応じて、前記ビットストリームから得られる量子化パラメータの値を調整するパラメータ調整部と
をさらに備え、
前記係数制限部は、前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記パラメータ調整部により値が調整された量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成する
前記（４）に記載の画像処理装置。
（８） 前記係数制限部により再構成された前フレームの画像を格納する記憶部
をさらに備え、
前記置き換え部は、前記置き換えパターンを用いて、前記記憶部に格納された前フレーム画像の画素を、前記復号部により生成された画像の画素に置き換える
前記（４）に記載の画像処理装置。
（９） 前記復号部により生成された画像を低域画像と高域画像に分離する帯域分離部と、
前記帯域分離部により分離された低域画像と高域画像とを統合する帯域統合部と
をさらに備え、
前記記憶部は、前記係数制限部により再構成された前フレームの低域画像を格納し、
前記置き換え部は、前記置き換えパターンを用いて、前記記憶部に格納された前フレームの低域画像の画素を、前記帯域分離部により分離された低域画像の画素に置き換え、
前記置き換え部により画素が置き換えられた低域画像に周波数変換を行うことで得られた係数に対して、前記帯域分離部により分離された低域画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から低域画像を再構成し、
前記帯域統合部は、前記係数制限部により再構成された低域画像と高域画像とを統合する
前記（８）に記載の画像処理装置。
（１０） 前記帯域統合部により統合された画像の平坦部に対して平滑化処理を行う平坦部処理部をさらに備える
前記（９）に記載の画像処理装置。
（１１） 前記置き換えパターンを生成する置き換えパターン生成部を
さらに備え、
前記置き換え部は、前記復号部により生成された画像に対して、前記置き換えパターン生成部により生成された置き換えパターンを用いて、画素を置き換える
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記ビットストリームと、前記置き換えパターンとを受け取る受け取り部を
さらに備え、
前記復号部は、前記受け取り部により受け取られたビットストリームを復号処理して、画像を生成し、
前記置き換え部は、前記復号部により生成された画像に対して、前記受け取り部により受け取られた置き換えパターンを用いて、画素を置き換える
前記（１）乃至（１０）のいずれかに画像処理装置。
（１３） 画像処理装置が、
ビットストリームを復号処理して、画像を生成し、
生成された画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換える
画像処理方法。
（１４） ビットストリームを復号処理した画像に対する置き換えに用いられる、画素値の変動分布を示す置き換えパターンを設定する設定部と、
画像を符号化処理して、前記ビットストリームを生成する符号化部と、
前記符号化部により生成されたビットストリームと前記設定部により設定された置き換えパターンとを伝送する伝送部と
を備える画像処理装置。
（１５） 画像処理装置が、
ビットストリームを復号処理した画像に対する置き換えに用いられる、画素値の変動分布を示す置き換えパターンを設定し、
画像を符号化処理して、前記ビットストリームを生成し、
生成されたビットストリームと設定された置き換えパターンとを伝送する
画像処理方法。

５０ 復号装置， ５１ 受け取り部， ５２ 抽出部， ５３ 復号部， ５４ フィルタ部， ５５ 表示制御部， ５６ 表示部， １５１ パラメータ変換器， １５２ 画素置き換え器， １５３ ノイズ付加器， １５４ 動体領域保護器， １５５ フレームバッファ， １６１ 量子化スケール取り出し器， １６２ セレクタ， １６３ MPEG-2Qp量子化値変換器， １６４ AVC-Qp量子化値変換器， １６５ HEVC量子化スケール変換器， １７１ 置き換えパターン生成器， １７２ 画素置き換えパターン記録バッファ， １７３ フレームカウンタ， １７４ 画素選択器， １８１ ノイズ発生器， １８２ 加算器， １９１，１９２ DCT変換器， １９３ 係数制限器， １９４ IDCT変換器， ２０１ パラメータ変換器， ２０２ 画像特徴量検出器， ２０３ 調整値選択器， ２２１ 符号化パラメータ取り出し器， ２２２ セレクタ， ２２３ MPEG-2パラメータ変換器， ２２４ AVCパラメータ変換器， ２２５ HEVCパラメータ変換器， ２３１−１，２３１−２ ブロック特徴量検出器， ２３２ 画素間特徴量検出器， ２３３ 特徴選択器， ２４１ 量子化値調整器， ２４２ 量子化値変換器， ３０１ 符号化装置， ３０２ 設定部， ３０３ 符号化部， ３０４ 伝送部， ３５１ フィルタ部， ３６１ 画素置き換え器， ３７１ 置き換えパターン受け取り部， ４０１ 帯域分離部， ４０２ 帯域統合部， ４０３ 平坦部処理部

Claims (15)

1. ビットストリームを復号処理して、画像を生成する復号部と、
   前記復号部により生成された画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換える置き換え部と
   を備える画像処理装置。
2. 前記置き換えパターンは、ランダムに生成されている
   請求項１に記載の画像処理装置。
3. 前記置き換えパターンの周期は、イントラフレームの出現周期に基づいて決められる
   請求項１に記載の画像処理装置。
4. 前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成する係数制限部を
   さらに備える請求項１に記載の画像処理装置。
5. 前記置き換え部により画素が置き換えられた画像に対して、ノイズを付加するノイズ付加部を
   さらに備え、
   前記係数制限部は、前記ノイズ付加部によりノイズが付加された画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行う
   請求項４に記載の画像処理装置。
6. 前記復号部により生成された画像から特徴量を検出する特徴量検出部と、
   前記特徴量検出部により検出された特徴量と前記ビットストリームから得られる符号化パラメータとを用いて、前記ビットストリームから得られる量子化パラメータの値を調整するパラメータ調整部と
   をさらに備え、
   前記係数制限部は、前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られた係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られた係数と前記パラメータ調整部により値が調整された量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成する
   請求項４に記載の画像処理装置。
7. ユーザの操作に応じて、前記ビットストリームから得られる量子化パラメータの値を調整するパラメータ調整部と
   をさらに備え、
   前記係数制限部は、前記置き換え部により画素が置き換えられた画像に周波数変換を行うことで得られたDCT係数に対して、前記復号部により生成された画像に周波数変換を行うことで得られたDCT係数と前記パラメータ調整部により値が調整された量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から画像を再構成する
   請求項４に記載の画像処理装置。
8. 前記係数制限部により再構成された前フレームの画像を格納する記憶部
   をさらに備え、
   前記置き換え部は、前記置き換えパターンを用いて、前記記憶部に格納された前フレーム画像の画素を、前記復号部により生成された画像の画素に置き換える
   請求項４に記載の画像処理装置。
9. 前記復号部により生成された画像を低域画像と高域画像に分離する帯域分離部と、
   前記帯域分離部により分離された低域画像と高域画像とを統合する帯域統合部と
   をさらに備え、
   前記記憶部は、前記係数制限部により再構成された前フレームの低域画像を格納し、
   前記置き換え部は、前記置き換えパターンを用いて、前記記憶部に格納された前フレームの低域画像の画素を、前記帯域分離部により分離された低域画像の画素に置き換え、
   前記置き換え部により画素が置き換えられた低域画像に周波数変換を行うことで得られた係数に対して、前記帯域分離部により分離された低域画像に周波数変換を行うことで得られた係数と前記ビットストリームから得られる量子化パラメータとを用いてクリップ処理を行い、クリップ処理が行われた係数から低域画像を再構成し、
   前記帯域統合部は、前記係数制限部により再構成された低域画像と高域画像とを統合する
   請求項８に記載の画像処理装置。
10. 前記帯域統合部により統合された画像の平坦部に対して平滑化処理を行う平坦部処理部
    をさらに備える請求項９に記載の画像処理装置。
11. 前記置き換えパターンを生成する置き換えパターン生成部を
    さらに備え、
    前記置き換え部は、前記復号部により生成された画像に対して、前記置き換えパターン生成部により生成された置き換えパターンを用いて、画素を置き換える
    請求項１に記載の画像処理装置。
12. 前記ビットストリームと、前記置き換えパターンとを受け取る受け取り部を
    さらに備え、
    前記復号部は、前記受け取り部により受け取られたビットストリームを復号処理して、画像を生成し、
    前記置き換え部は、前記復号部により生成された画像に対して、前記受け取り部により受け取られた置き換えパターンを用いて、画素を置き換える
    請求項１に記載の画像処理装置。
13. 画像処理装置が、
    ビットストリームを復号処理して、画像を生成し、
    生成された画像に対して、画素値の変動分布を示す置き換えパターンを用いて、画素を置き換える
    画像処理方法。
14. ビットストリームを復号処理した画像に対する置き換えに用いられる、画素値の変動分布を示す置き換えパターンを設定する設定部と、
    画像を符号化処理して、前記ビットストリームを生成する符号化部と、
    前記符号化部により生成されたビットストリームと前記設定部により設定された置き換えパターンとを伝送する伝送部と
    を備える画像処理装置。
15. 画像処理装置が、
    ビットストリームを復号処理した画像に対する置き換えに用いられる、画素値の変動分布を示す置き換えパターンを設定し、
    画像を符号化処理して、前記ビットストリームを生成し、
    生成されたビットストリームと設定された置き換えパターンとを伝送する
    画像処理方法。

Images