JP4874184B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明はディジタル画像信号の偽輪郭や符号化歪みを緩和する画像処理装置及び方法に関するものである。

ディジタル信号による処理ではその量子化誤差のために、入力信号が滑らかに変化していても出力信号の歪みがでる場合がある。この歪みは画像上では偽輪郭となって見え、画質の低下をもたらす。特に画像のコントラストを強調させる階調変換処理を実施すると、量子化誤差による画質の低下は深刻な問題となる場合がある。

また、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によって圧縮された画像では、画像の輝度信号はブロック単位で計算したＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を量子化することによって圧縮されているため、ＤＣＴ係数を粗く量子化した場合に、ブロック歪みが発生して主観的な画質を低下させる場合がある。

上記画像の偽輪郭やブロック歪みを緩和させる方法として、画像に乱数信号を付加する技術が知られている。乱数を付加することにより得られる効果は以下の３つがある。

まず、乱数を付加することによるマスキング効果により量子化誤差が知覚されにくくなる（例えば、特許文献１）。

また、付加する乱数の期待値を制御することにより、中間階調を表現することができる。

例えば、輝度５０の画素に０と１をそれぞれ２分の１の確率で付加すれば、空間平均あるいは時間平均により統計的に輝度５０．５の中間階調と等価になる。特許文献２では、検出したブロック歪みの輝度レベル差が１の場合でも、発生乱数の確率分布を制御することにより、小数精度階調を統計的に表現する技術が開示されている。

さらに、表示装置における階調の量子化ステップの差が均一ではなく、各ステップ間の段差にばらつきがある場合、１ビット以上（マルチビット）の乱数を付加することにより、各量子化ステップ間の段差を縮小して均一にすることができる（例えば、特許文献３）。これにより、表示装置における階調の量子化ステップの差が均一でない場合目立つ偽輪郭を緩和することができる。
特開２００４−３３６４７８号公報 特開平１０−１９１３３２号公報 特開平６−２０３１４８号公報

しかしながら、上記従来技術では、次のような課題がある。乱数の付加により偽輪郭やブロック歪みを目立たなくさせるためには、十分な振幅を持つ乱数を付加する必要があり、画像全体に一様に付加すると、表示がざらついて主観画質が低下するという課題がある。

本発明はこのような状況に鑑みてなれたものであり、画像のざらつきを抑えつつ、画像の偽輪郭や符号化歪みを緩和する画像処理装置及び方法を提供することを目的とする。

上記課題を解決するため、本発明の画像処理装置は、入力画像の歪みを緩和する画像処理装置であって、前記歪みを緩和するためのマスキング信号を生成するマスキング信号生成手段と、前記マスキング信号を前記入力画像に付加するマスキング信号付加手段とを備え、前記マスキング信号生成手段は、前記入力画像の画素間の画素値の段差を平滑化する段差処理部と、前記入力画像と、前記段差処理部によって処理された画像との差分を算出する差分算出部と、前記差分が予め定められた値に近付くにつれて振幅が小さくなるような振幅を設定し、設定された振幅を持つ乱数を発生させ、発生させた前記乱数から生成される信号を前記マスキング信号として生成する乱数設定部とを有する。

これにより、画素値の段差が生じている箇所に重点的に乱数を付加することができ、乱数の付加によるマスキング効果により、画像の偽輪郭や符号化歪みを緩和することができる。さらに、段差の生じていない箇所には、乱数の付加を抑えることができ、画像のざらつきを抑えることができる。

また、前記乱数設定部は、さらに、前記差分算出部により算出された差分に基づいて乱数の期待値を設定し、設定された期待値と前記振幅とを持つ乱数を発生させてもよい。これにより、マスキング信号の期待値を制御することで輝度の段差を視覚的に滑らかにすることができるようなり、より一層に偽輪郭やブロック歪みを軽減することができるようになる。

また、前記段差処理部は、前記入力画像に対して低域通過フィルタ処理を行うことで、前記段差を平滑化してもよい。これにより、画素値の段差の処理を容易に行うことができる。

また、前記段差処理部は、前記入力画像に対してイプシロンフィルタ処理を行うことで、前記段差を平滑化してもよい。これにより、段差の平滑化処理が必要な段差に対してのみ段差を平滑化することができ、画像のエッジ成分などの平滑化の必要のない段差を処理せずに済み、画像ぼけなどを防ぐことができる。

また、前記段差処理部は、前記段差の画素値差を算出し、前記段差を発生させている画素である段差画素を含む複数の処理対象画素を、前記段差画素と前記処理対象画素との距離と前記画素値差とに基づいて前記段差を平滑化するように算出された複数の仮想画素に置き換えてもよい。これにより、段差の処理段階において、入力画像と段差処理後の画像の差分を直接算出することが可能となり、処理量を削減することができる。

また、前記マスキング信号生成手段は、さらに、前記差分の階調を変換することで、変換後の差分の絶対値が第１の閾値以下であるような前記変換後の差分を出力する階調変換部を有し、前記乱数設定部は、前記変換後の差分が所定の値に近付くにつれて振幅が小さくなるような振幅を設定し、設定された振幅を持つ乱数を発生させてもよい。これにより、偽輪郭の生じない大きさの段差、すなわち、画像のエッジ成分を示す段差に対して、必要以上に振幅の大きいマスキング信号を付加することを防止することができる。

また、前記乱数設定部は、前記変換後の差分の絶対値が小さくなるにつれて振幅が小さくなるような振幅を設定し、設定された振幅を持つ乱数を発生させてもよい。これにより、入力画像の画素値の段差のない部分には、乱数を付加することがなく、入力画像のざらつきを防止することができる。

また、前記画素値は整数を示し、前記乱数設定部は、前記変換後の差分に基づいて乱数の期待値を設定し、さらに、前記変換後の差分が整数値に近付くにつれて振幅が小さくなるように振幅を設定し、設定された期待値と振幅とを持つ乱数を発生させてもよい。これにより、整数を示す画素値に対して、中間階調を表現することができる。

また、前記階調変換部は、前記差分の絶対値が第２の閾値より大きい場合に、前記変換後の差分を０として出力してもよい。これにより、画像のエッジ成分を示す段差に対して、マスキング信号を付加することを防止することができる。

また、前記階調変換部は、前記差分の絶対値を一定の割合で小さくした値を前記変換後の差分として出力してもよい。これにより、段差の平滑化の程度を抑えることで、マスキング信号付加後に段差を少し残すことができ、画像ぼけを防ぐことができる。

また、前記マスキング信号生成手段は、さらに、前記入力画像に対する人間の視覚特性を解析して視覚特性解析パラメータを計算する視覚特性解析部を有し、前記乱数設定部は、前記視覚特性パラメータに基づいて前記入力画像の歪みが目立つ箇所にのみ前記マスキング信号を付加するように前記振幅を設定し、設定された振幅を持つ乱数を発生させてもよい。これにより、人間が画像を見たときに、視覚的に偽輪郭が生じやすい箇所にのみマスキング信号を付加することができ、効果的に偽輪郭の発生を防ぐことができる。

さらに、好ましくは、前記視覚特性解析部は、前記入力画像の空間アクティビティを解析する空間アクティビティ解析部を有し、前記乱数設定部は、前記空間アクティビティが活発な箇所には、前記振幅が小さくなるように前記振幅を設定してもよい。或いは、前記視覚特性解析部は、前記入力画像の動き量を解析する動き量解析部を有し、前記乱数設定部は、前記動き量が小さい箇所には、前記振幅が大きくなるように前記振幅を設定してもよい。

本発明に係る画像処理装置及び方法によれば、画像の輝度間の段差に応じて画像に付加するマスキング信号の強さを制御することにより、輝度間の段差がある部分ではマスキング信号を強くし、輝度間の段差のない平坦な部分ではマスキング信号を弱めることができるため、不要なノイズ感を増加させることなく、偽輪郭やブロック歪みを緩和させて、全体として主観画質を向上させることができる。

以下、本発明の実施の形態について図面を参照して説明する。

（実施の形態１）
図１は本発明の画像処理装置及び画像処理方法の一実施の形態を示す構成図である。同図の画像処理装置は、乱数を含むマスキング信号を入力画像の画像信号に付加する装置であって、入力部１００、マスキング信号生成部１０１、マスキング信号付加部１０２、遅延部１０３及び出力部１０４を備える。

入力部１００に整数値の画像信号Ｙｉｎ（ｉ，ｊ）が入力される。画像信号Ｙｉｎ（ｉ，ｊ）において偽輪郭やブロック歪みが目立つ部分では、図２Ａに実線で示されるような輝度の段差が現れている。このような段差部分に図２Ｂに示される乱数を付加することで、偽輪郭やブロック歪みを知覚されにくくすることができる。ただし、平坦な部分に乱数を付加するとノイズ感が増加する。図２Ｃは乱数付加後の信号を示す図である。以下で述べるように、入力画像信号Ｙｉｎ（ｉ，ｊ）から図２Ａ中に破線で示される低域通過フィルタ処理した画像信号Ｙｌｐ（ｉ，ｊ）を減算して得られた差分δ₁に応じて付加する乱数の振幅を制御することで、偽輪郭やブロック歪みを知覚されにくくしながらも、平坦部のノイズ感の増加を抑えることができる。

マスキング信号生成部１０１は、乱数を含むマスキング信号を生成する処理部であって、段差処理部１０５、差分算出部１０６、階調変換部１０７、乱数設定部１０８、丸め部１０９及び遅延部１１０を備える。

段差処理部１０５は、入力された画像信号の画素間の画素値の段差を平滑化する処理部である。段差処理部１０５は、図２Ａに示される画像信号Ｙｉｎ（ｉ，ｊ）に含まれる段差を平滑化し、画像信号Ｙｌｐ（ｉ，ｊ）を出力する。例えば、段差処理部１０５は、入力画像に対して１次元あるいは２次元の低域通過フィルタ処理を実施し、入力画像信号Ｙｉｎ（ｉ，ｊ）よりもビット精度の高い画像信号Ｙｌｐ（ｉ，ｊ）を出力する。以下では、便宜上、拡張したビットを小数ビットとして扱う。低域通過フィルタ処理の実施の形態として、例えば、１次元のＮタップのフィルタを水平及び垂直方向に実施する方法がある。

また、段差処理部１０５は、急峻な変化を伴う信号に重畳された小幅振幅雑音を除去するイプシロンフィルタ（以下、εフィルタ）を用いて段差の処理を行ってもよい。信号Ｘのｎ番目の要素をＸ（ｎ）と表記することにすると、１次元の２Ｎ＋１タップのεフィルタの場合、画像信号Ｙ（ｎ）にεフィルタを適用して得られる信号Ｚ（ｎ）は、

で表される。ただし、係数ａ（ｎ）は、

を満たし、｜Ｙ（ｎ）−Ｙ（ｎ−ｋ）｜≦εのときＷ（ｎ−ｋ）＝Ｙ（ｎ−ｋ）、｜Ｙ（ｎ）−Ｙ（ｎ−ｋ）｜＞εのときＷ（ｎ−ｋ）＝Ｙ（ｎ）である。

前記εフィルタは、フィルタ処理の中心画素ｐ（ｎ）の画素値ｘ（ｎ）と画素ｐ（ｎ−ｋ）の画素値ｘ（ｎ−ｋ）との差の絶対値｜ｘ（ｎ）−ｘ（ｎ−ｋ）｜を所定の閾値εと比較する。その結果、εフィルタは、中心画素値との差分が閾値εよりも大きい場合には、当該画素を無視して低域通過フィルタ処理を行うため、急峻なエッジを保ったまま、小振幅の段差を滑らかにすることができる。

また、段差処理部１０５は、適当なデブロック処理（ブロック歪みを除去する処理）を実施しても良い。

遅延部１１０は、入力画像信号Ｙｉｎ（ｉ，ｊ）を段差処理部１０５での処理遅延分だけ遅延させ、これを差分算出部１０６に出力する。

差分算出部１０６は、入力された画像信号と段差処理部１０５によって処理された画像との差分を算出する処理部である。差分算出部１０６は、入力部１００より入力された整数値の画像Ｙｉｎ（ｉ，ｊ）から、入力画像信号Ｙｉｎ（ｉ，ｊ）よりもビット精度の高い、段差処理部１０５より入力された画像Ｙｌｐ（ｉ，ｊ）を減算し、Ｙｉｎ（ｉ，ｊ）とＹｌｐ（ｉ，ｊ）の差分δ₁を出力する。差分δ₁は画素間の輝度の段差がある場所で絶対値が大きくなるため、偽輪郭やブロック歪みのある場所を検出することができる。

なお、上記では、段差処理部１０５、遅延部１１０及び差分算出部１０６を組み合わせることで入力画像と低域通過フィルタ処理後の画像との差分δ₁を算出しているが、実際にはこれらの手段は必ずしも必要ではない。輝度の段差が発生している画素を段差画素として、処理対象画素と段差画素との空間的な距離及びそれらの画素の輝度値に応じて、予め定められた値を当該画素の差分δ₁として用いてもよい。例えば、図３Ａに示すように、黒丸で示した入力画像に対し、段差画素の周囲９画素に対して白丸で示した仮想的な画素を設定し、黒丸と白丸との差分をδ₁とする。仮想的な画素は、段差画素と処理対象画素との輝度値差及び段差画素と処理対象画素との空間的な距離から算出される。例えば、図３Ａに示すように、輝度の段差１を持つ段差画素から右に＋２移動した所にある処理対象画素に対して、図３Ｂに示すようなテーブルを参照することで、仮想画素を設定する。ここでは、段差１、距離＋２であることから、処理対象画素の輝度値に０．２５を加算した値が仮想画素となる。図３Ｂは、処理対象画素に対して仮想画素を設定するために算出する値を示すテーブルである。すなわち、図３Ｂは差分δ₁を示すテーブルである。このように段差と距離とに応じて差分δ₁をあらかじめ記憶しておくことにより、処理量を削減することが可能である。

階調変換部１０７は、差分算出部１０６から入力される差分δ₁を階調変換して得られた信号δ₂を乱数設定部１０８に送出する。信号δ₂は乱数の振幅を制御するのに用いられ、信号δ₂の値が小さい程、画像に付加される乱数の振幅が小さくなり、信号δ₂の値が大きい程、乱数の振幅が大きくなる。階調変換部１０７は、差分δ₁がどれほど大きい値であってもある範囲内に出力δ₂が収まるような階調変換を施すことにより、過剰な振幅の乱数が付加されることを防止する。例えば、図４Ａに示すように、δ₁がある閾値以上でδ₂を所定の値になるような階調変換を施す。あるいは、図４Ｂに示すように、δ₁が大きくなればなるほどδ₂を所定の値に近づけるような階調変換を施す。偽輪郭は差分δ₁の絶対値が１の場合であっても生じる現象であるが、差分δ₁の絶対値が大きい場合、大抵の場合その差分δ₁が示すのは画像Ｙ（ｉ，ｊ）のエッジ成分であり、偽輪郭やブロック歪みではない場合が多い。このため、図４Ｃ〜図４Ｅに示すように、δ₁の絶対値が大きい場合は出力δ₂を小さくする又は０にすることで、偽輪郭やブロック歪みによる輝度の段差ではない部分に乱数が付加されるのを防止することができる。

乱数設定部１０８は、差分算出部１０６で算出された差分が予め定められた値に近付くにつれて振幅が小さくなるような振幅を設定し、設定された振幅を持つ乱数を発生させる処理部であり、乱数振幅設定部１１１、乱数発生部１１２及び乗算部１１３を備える。

乱数振幅設定部１１１は、差分δ₁の階調変換後の信号δ₂を用いて画像に付加する乱数の振幅を制御する信号Ａを設定し、乗算部１１３に出力する。図５は乱数振幅設定部１１１の入力δ₂と出力Ａの関係の一例を示したグラフである。入力δ₂の絶対値が大きいところでは乱数の振幅制御信号Ａは大きな値をとり、入力δ₂の絶対値が小さいところでは乱数の振幅制御信号Ａは小さな値をとるようにしている。画像の平坦部ではδ₂の絶対値が小さくなることから、上記のような構成にすることにより、乱数を付加すると視覚的に目立つ平坦な場所において、大振幅の乱数が付加されることを防止することができる。よって、乱数信号を付加することにより生じる不要なノイズ感を抑制するのに効果がある。

乱数発生部１１２は、小数精度の乱数信号ｒを生成して、乗算部１１３に出力する。ただし、−ｒ_th≦ｒ≦ｒ_thであり、例えば、ｒ_th＝１である。

乗算部１１３は、上記の乱数信号ｒに乱数振幅設定部１１１から入力された乱数の振幅制御信号Ａを乗じた信号Ｓ＝Ａ×ｒを計算して出力する。

なお、乗算部１１３は必ずしも必要ではなく、乱数振幅設定部１１１で設定された乱数の振幅制御信号Ａを乱数発生部１１２に直接入力するようにして、乱数発生部１１２が、振幅がＡとなる乱数を直接発生するようにしてもよい。

丸め部１０９は、乱数設定部１０８から入力された信号Ｓを整数値に丸めてマスキング信号Ｍを出力する。

マスキング信号付加部１０２は、入力画像Ｙｉｎ（ｉ，ｊ）を遅延部１０３でマスキング信号生成部１０１での処理遅延分だけ遅延させた信号に、マスキング信号生成部１０１から入力されるマスキング信号Ｍを加算して、出力画像Ｙｏｕｔ（ｉ，ｊ）を出力部１０４に出力する。

図６は本実施の形態の画像処理方法を示すフローチャートである。

段差処理部１０５は、段差画素である対象画素を中心とする周囲の複数の画素Ｙｉｎ（ｉ，ｊ）に対して低域通過フィルタ処理を実施しＹｌｐ（ｉ，ｊ）を算出する（Ｓ７０１）。差分算出部１０６は、入力画像の画素値Ｙｉｎ（ｉ，ｊ）と低域通過フィルタ処理後の画素値Ｙｌｐ（ｉ，ｊ）との差分δ₁を算出する（Ｓ７０２）。階調変換部１０７は、差分δ₁の階調変換処理を実施し、変換後の差分δ₂を算出する（Ｓ７０３）。

乱数振幅設定部１１１は、δ₂に応じて乱数の振幅Ａを設定する（Ｓ７０４）。また、乱数発生部１１２は、基本となる乱数ｒを発生する(Ｓ７０５)。乗算部１１３は、乱数振幅設定部１１１から入力される振幅Ａと乱数発生部１１２から入力される基本乱数ｒとを乗じた信号Ｓ＝Ａ×ｒを算出する（Ｓ７０６）。丸め部１０９は、信号Ｓの小数部分を丸めることで、マスキング信号Ｍを算出する（Ｓ７０７）。マスキング信号付加部１０２は、入力画像の画素値Ｙｉｎ（ｉ，ｊ）にマスキング信号Ｍを付加する（Ｓ７０８）。

全ての画素に対して上述した処理が実施されているか否かが判定される（Ｓ７０９）。未処理の画素がある場合（Ｓ７０９でＹｅｓ）、対象画素を次の画素に移動し、低域通過フィルタ処理（Ｓ７０１）からマスキング信号の付加処理（Ｓ７０９）までの処理が繰り返される。未処理の画素がない場合（Ｓ７０９でＮｏ）、当該画像処理は終了される。

以上述べたような構成にすることにより、本実施の形態の画像処理装置は、輝度の段差が存在する部分から平坦な部分に向かうにつれ画像に付加するマスキング信号Ｍのエネルギーを減少させることができる。このため、乱数付加によるマスキング効果により偽輪郭やブロック歪みを知覚されにくくしながらも不要なノイズ感の増加を抑えることができ、全体として主観画質を向上させることができる。

（実施の形態２）
図７は、偽輪郭やブロック歪みにおける輝度の段差を視覚的に滑らかにする場合の、本発明の画像処理装置及び画像処理方法の一実施の形態を示す構成図である。同図の構成は、図１の構成と比較して新たに乱数期待値設定部８０１が加えられた点が異なっている。以下では、図１の構成と同様の点は説明を省略し、異なる点を中心に説明する。

図１の構成と比較して、図７の構成は、マスキング信号生成部１０１において乱数期待値設定部８０１を追加することにより、発生させるマスキング信号Ｍの期待値を制御することができる。乱数期待値設定部８０１は、乗算部１１３から入力される信号Ｓ₁に階調変換部１０７から入力される信号δ₂を減算した信号Ｓ₂を丸め部１０９に出力する。

これにより、マスキング信号付加後の画像信号Ｙｏｕｔ（ｉ，ｊ）において、小数精度の分解能を表現することができるようになる。例えば、乗算部１１３から出力される信号Ｓ₁は振幅２かつ期待値０の乱数とし、階調変換から出力される信号δ₂は０．５であるとすると、乱数期待値設定部８０１から出力される減算後の信号Ｓ₂は振幅２かつ期待値−０．５の乱数となる。したがって、マスキング信号付加部１０２において画像Ｙｉｎ（ｉ，ｊ）に信号Ｍを付加した結果得られる画像Ｙｏｕｔ（ｉ，ｊ）の画素値は統計的に０．５だけ階調が低くなったのと等価になる。

図８は、入力信号Ｙｉｎ（ｉ，ｊ）に対して期待値を制御されたマスキング信号Ｍを付加した出力信号Ｙｏｕｔ（ｉ，ｊ）の一例を示す図である。段差処理部１０５が、入力画像Ｙｉｎ（ｉ，ｊ）に対して平滑化処理を行うことで、破線で示される平滑後の信号Ｙｌｐ（ｉ，ｊ）が得られる。差分δ₁を算出し、図５に示されるグラフに従って乱数振幅設定部１１１は振幅Ａを設定する。上述したように、乱数期待値設定部８０１が、乱数信号Ｓ₁からδ₂を減算することにより、マスキング信号Ｍ付加後の信号Ｙｏｕｔ（ｉ，ｊ）は、図８に示される通りになる。図８に示される信号Ｙｏｕｔ（ｉ，ｊ）の期待値が、破線で示される段差処理後の信号Ｙｌｐ（ｉ，ｊ）に一致する。

なお、乱数振幅設定部１１１は、図９Ａに示されるような乱数の振幅制御を実施してもよい。図９Ａは乱数振幅設定部１１１の入力δ₂と出力Ａの関係の別な一例を示したグラフであり、入力δ₂の小数部分に応じて乱数の振幅制御信号が決定される。入力δ₂の小数部分が０より増えるに従い振幅Ａも増加し、δ₂の小数部分が０．５のとき最大振幅Ａ＝Ａｍになり、δ₂の小数部分が０．５より増えるに従い振幅Ａは減少するようになっている。すなわち、δ₂が整数値に近付くにつれ、振幅Ａが小さくなる。例えば、δ₂＝１．０の場合など、δ₂が整数の場合には、乱数の振幅は０になる。図９Ｂ（ａ）は、入力信号Ｙｉｎ（ｉ，ｊ）の段差の例を示す図である。段差の輝度値差は２であり、段差処理部１０５により破線で示される平滑後の信号Ｙｌｐ（ｉ，ｊ）が得られる。図９Ｂ（ｂ）は、図９Ａに示される振幅制御を行った場合に、乗算部１１３から出力される信号Ｓ₁を示す図である。図９Ｂ（ｂ）に示される信号Ｓ₁から、階調変換部１０７から入力される信号δ₂を減算することにより期待値を制御した信号Ｓ₂を、図９Ｂ（ａ）に示される信号Ｙｉｎ（ｉ，ｊ）に付加することによって得られる信号Ｙｏｕｔ（ｉ，ｊ）は、図９Ｃに示される通りである。以上のような乱数の振幅制御を行うことで、小数階調の表現においては乱数付加による統計的な階調表現を実現しつつ、整数階調については（段差が整数となる箇所には）乱数が付加されることによるノイズ感の増加を抑制することができる。

図７の構成における階調変換部１０７は、上述したように差分算出部１０６から入力される差分δ₁をある範囲内に出力δ₂が収まるように階調変換を施し、その結果得た信号δ₂を乱数期待値設定部８０１及び乱数振幅設定部１１１に出力する。本実施の形態においては、階調変換部１０７における入力δ₁と出力δ₂の関係は、例えば図１０Ａに示すようにδ₁とδ₂の関係を表すグラフの傾きを１より小さくしてもよい。これにより、マスキング信号を付加後の画像Ｙｏｕｔ（ｉ，ｊ）における画素値の統計的な値は、図１０Ｂに示される破線２のように、低域通過フィルタ処理による画像ぼけを緩和させた値にすることができる。ただし、同図の実線は入力画像信号Ｙｉｎ（ｉ，ｊ）を表しており、破線１は低域通過フィルタ処理後の画像信号Ｙｌｐ（ｉ，ｊ）を表している。入力δ₁と出力δ₂の関係を表すグラフの傾きを適当な値に設定することで、過剰な画像ぼけを防ぎつつ、マスキング信号の付加により視覚的に目立たなくなる程度まで輝度の段差を小さくすることができる。

なお、乗算部１１３及び乱数期待値設定部８０１は必ずしも必要ではなく、階調変換部１０７から出力されるδ₂及び乱数振幅設定部１１１から出力される振幅Ａを乱数発生部１１２に直接入力するようにして、振幅がＡであり期待値がδ₂となる乱数を直接発生し、丸め部１０９に出力するようにしてもよい。

なお、出力部１０４の後続の表示部（図示せず）から、その表示部の階調特性に関する情報を利用できる場合は、その階調特性に関する情報に基づき、前記乱数の期待値及び振幅を設定するようにしてもよい。例えば、前記後続の表示部において、特定の階調で輝度間のレベル差が大きく、偽輪郭が発生しやすいことが分かっている場合は、前記後続の表示部から偽輪郭が発生しやすい階調を特定する情報を前記マスキング信号生成部１０１に入力し、その階調でのみマスキング信号を付加する。これにより、偽輪郭の発生しにくい階調においてノイズ感が増加するのを防止することができる。

以上述べたような構成にすることにより、マスキング信号の期待値を制御することで輝度の段差を視覚的に滑らかにすることができるようなるため、実施の形態１と比較して一層に偽輪郭やブロック歪みを軽減することができるようになる。

（実施の形態３）
図１１は、画像の局所的な視覚特性に基づきマスキング信号を制御することにより、画像のぼけや不要なノイズ感の増加といった副作用を抑えつつ、偽輪郭やブロック歪みを視覚的に目立たなくさせる場合の画像処理装置及び画像処理方法の一実施形態を示す構成図である。同図の構成は、図７の構成と比較して新たに視覚特性解析部１１０１、階調変換パラメータ設定部１１０２及び乱数振幅パラメータ設定部１１０３が加えられた点が異なっている。以下では、図７の構成と同じ点は説明を省略し、異なる点を中心に説明する。

視覚特性解析部１１０１は入力画像Ｙｉｎ（ｉ，ｊ）の局所的な性質、例えば空間アクティビティや動き量を解析することで、階調変換や乱数振幅制御のパラメータを制御する視覚特性解析パラメータＰを出力する。

図１２は、視覚特性解析部１１０１の一つの実施の形態を示す図である。同図において、視覚特性解析部１１０１は、空間アクティビティ算出部１２０１、画像動き量算出部１２０２、遅延部１２０３及び加算部１２０４を備える。

空間アクティビティ算出部１２０１は、処理対象画素を中心とする画像の局所的な活性度ＳＡを計算する。空間アクティビティが活発であるとは、活性度ＳＡが大きい値であることを示し、ＳＡが大きい値ほどその局所領域が滑らかではないことを表している。局所領域が滑らかであれば、偽輪郭は目立ちやすくなるため、マスキング信号Ｍを付加する必要がある。なお、ＳＡの具体的な一つの計算方法として、例えば処理対象画素を中心とした５×５の領域の分散σを用いて、ＳＡ＝Ｃ₁×σとして計算する方法がある。ただし、Ｃ₁は定数である。

画像動き量算出部１２０２は、入力画像Ｙｉｎ（ｉ，ｊ）及び遅延部１２０３から入力される前フレーム画像を用いて、局所領域の動き量ｍｖを算出し、信号ＭＶ＝Ｃ₂×｜ｍｖ｜を出力する。ただし、Ｃ₂は定数である。動き量ｍｖが大きい場合には、偽輪郭が目立ちやすくなるため、マスキング信号Ｍを付加する必要がある。

加算部１２０４は、空間アクティビティ算出部１２０１から入力されるＳＡと画像動き量算出部１２０２から入力されるＭＶとを用いて、適応的パラメータＰ＝ＳＡ＋ＭＶを計算して出力する。

上記適応的パラメータＰは、対象点を中心とする局所領域画像の動きが大きい、あるいは、輝度の変化が滑らかではないところで、大きな値を持つ。このような領域では、偽輪郭やブロック歪みは目立ちにくい。一方、局所領域画像が滑らかであり、動きの小さい領域においては、偽輪郭やブロック歪みは目立ちやすい。したがって、上記適応的パラメータＰが大きい値である場合にマスキング信号に含まれる乱数の振幅を小さくし、適応的パラメータＰが小さい値である場合に乱数の振幅を大きくするように制御することで、偽輪郭及びブロック歪みが視覚的に目立ちやすい領域においてのみマスキング信号を付加することが可能になる。これにより、画像ぼけやノイズ感の増加といった副作用を軽減しつつ、効果的に偽輪郭やブロック歪みを低減することができるようになる。

階調変換パラメータ設定部１１０２は、視覚特性解析部１１０１から入力される視覚特性解析パラメータＰに基づき、階調変換部１０７で実施する階調変換のパラメータを設定する。例えば、Ｐの値が大きいほど偽輪郭及びブロック歪みが視覚的に目立ちにくくなるので、図４Ａ〜図４Ｅに示す階調変換部１０７の入力δ₁と出力δ₂の関係を表すグラフにおいて、Ｐの値が大きい場合に傾きを小さくすることで、マスキング信号の付加による画像のぼけを緩和させることができる。また、同図の閾値Ｔｈについても視覚特性解析パラメータＰに基づき設定してもよい。例えば、Ｐの値が大きい場合に、閾値Ｔｈを小さくすることで、マスキング信号の過剰な付加を防ぐことができる。

乱数振幅パラメータ設定部１１０３は、視覚特性解析部１１０１から入力される視覚特性解析パラメータＰに基づき、乱数振幅設定部１１１で使用するパラメータを設定する。例えば、視覚特性解析パラメータＰが小さいほど偽輪郭やブロック歪みが視覚的に目立ちやすくなるので、乱数振幅設定方式の例を表す図５及び図９Ａにおいて、グラフの傾きをＰに比例させて増加させる。これにより、偽輪郭やブロック歪みが視覚的に目立ちやすい領域において、特に強いマスキング信号を付加することができるようになり、過剰にノイズ感を増加させることなく、偽輪郭やブロック歪みを目立たなくさせることができる。

以上述べたような構成にすることにより、局所領域毎に偽輪郭及びブロック歪みが視覚的に目立ちやすさを表す指標となる視覚特性解析パラメータＰを計算することにより、偽輪郭及びブロック歪みが視覚的に目立ちにくい領域においては、不必要なマスキング信号を付加することによる画像ぼけやノイズ感の増加といった副作用を抑えつつ、視覚的に目立ちやすい領域において、効果的にマスキング信号を付加する。これにより、偽輪郭及びブロック歪みを視覚的に目立たないようにすることができるようになり、全体として主観画質を向上させることができる。

以上、本発明の画像処理装置及び方法について実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、本発明は、装置及び方法として実現できるだけでなく、本発明の画像処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

また、本発明の装置の具体化形態として、独立して動作する機器、機器の部品及びＬＳＩ等のＩＣ等が挙げられる。

本発明に係る画像処理方法及び画像処理装置は、乱数を付加することにより入力画像をマスキングする画像処理装置であって、例えば図１３に示されるようなディジタルテレビ、ムービーカメラ及びスチルカメラ等に組み込まれる画像処理装置として利用できる。

本発明の実施の形態１における画像処理装置の構成図である。 原画像と低域通過フィルタ処理後画像との差分δ₁の一例を示す図である。 原画像に付加する乱数の一例を示す図である。 原画像とマスキング信号付加後の画像との一例を示す図である。 仮想画素を用いた差分算出の一例を示す図である。 仮想画素の算出に用いられるテーブルを示す図である。 階調変換部１０７における階調変換の一例を示す図である。 階調変換部１０７における階調変換の一例を示す図である。 階調変換部１０７における階調変換の一例を示す図である。 階調変換部１０７における階調変換の一例を示す図である。 階調変換部１０７における階調変換の一例を示す図である。 乱数振幅設定部１１１における振幅の設定の一例を示す図である。 本発明の実施の形態１の処理の動作を示すフローチャートである。 本発明の実施の形態２における画像処理装置の構成図である。 原画像とマスキング信号付加後の画像との一例を示す図である。 乱数振幅設定部１１１における振幅の設定の一例を示す図である。 （ａ）原画像と低域通過フィルタ処理後画像との差分δ₁の一例を示す図である。（ｂ）乗算部１１３から出力される信号Ｓ₁の一例を示す図である。 原画像とマスキング信号付加後の画像との一例を示す図である。 階調変換部１０７における階調変換の一例を示す図である。 マスキング信号付加後の統計的な階調を示す図である。 本発明の実施の形態３における画像処理装置の構成図である。 視覚特性解析部１１０１の構成図である。 本発明の画像処理装置を利用したディジタルテレビの外観図である。

符号の説明

１００ 入力部
１０１ マスキング信号生成部
１０２ マスキング信号付加部
１０３、１１０、１２０３ 遅延部
１０４ 出力部
１０５ 段差処理部
１０６ 差分算出部
１０７ 階調変換部
１０８ 乱数設定部
１０９ 丸め部
１１１ 乱数振幅設定部
１１２ 乱数発生部
１１３ 乗算部
８０１ 乱数期待値設定部
１１０１ 視覚特性解析部
１１０２ 階調変換パラメータ設定部
１１０３ 乱数振幅パラメータ設定部
１２０１ 空間アクティビティ算出部
１２０２ 画像動き量算出部
１２０４ 加算部

Claims (14)

1. 入力画像の歪みを緩和する画像処理装置であって、
   前記歪みを緩和するためのマスキング信号を生成するマスキング信号生成手段と、
   前記マスキング信号を前記入力画像に付加するマスキング信号付加手段とを備え、
   前記マスキング信号生成手段は、
   前記入力画像の画素間の画素値の段差を平滑化する段差処理部と、
   前記入力画像と、前記段差処理部によって処理された画像との差分を算出する差分算出部と、
   前記差分の階調を変換することで、変換後の差分の絶対値が第１の閾値以下であるような前記変換後の差分を出力する階調変換部と、
   前記変換後の差分が予め定められた値に近付くにつれて振幅が小さくなるような振幅を設定し、設定された振幅を持つ乱数を発生させ、発生させた前記乱数から生成される信号を前記マスキング信号として生成する乱数設定部と
   を有することを特徴とする画像処理装置。
2. 前記乱数設定部は、さらに、前記変換後の差分に基づいて乱数の期待値を設定し、設定された期待値と前記振幅とを持つ乱数を発生させる
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記段差処理部は、前記入力画像に対して低域通過フィルタ処理を行うことで、前記段差を平滑化する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記段差処理部は、前記入力画像に対してイプシロンフィルタ処理を行うことで、前記段差を平滑化する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記段差処理部は、前記段差の画素値差を算出し、前記段差を発生させている画素である段差画素を含む複数の処理対象画素を、前記段差画素と前記処理対象画素との距離と前記画素値差とに基づいて前記段差を平滑化するように算出された複数の仮想画素に置き換える
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記乱数設定部は、前記変換後の差分の絶対値が小さくなるにつれて振幅が小さくなるような振幅を設定し、設定された振幅を持つ乱数を発生させる
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記画素値は整数を示し、
   前記乱数設定部は、前記変換後の差分に基づいて乱数の期待値を設定し、さらに、前記変換後の差分が整数値に近付くにつれて振幅が小さくなるように振幅を設定し、設定された期待値と振幅とを持つ乱数を発生させる
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記階調変換部は、前記差分の絶対値が第２の閾値より大きい場合に、前記変換後の差分を０として出力する
   ことを特徴とする請求項１記載の画像処理装置。
9. 前記階調変換部は、前記差分の絶対値を一定の割合で小さくした値を前記変換後の差分として出力する
   ことを特徴とする請求項１記載の画像処理装置。
10. 前記マスキング信号生成手段は、さらに、前記入力画像に対する人間の視覚特性を解析して視覚特性解析パラメータを計算する視覚特性解析部を有し、
    前記乱数設定部は、前記視覚特性パラメータに基づいて前記入力画像の歪みが目立つ箇所にのみ前記マスキング信号を付加するように前記振幅を設定し、設定された振幅を持つ乱数を発生させる
    ことを特徴とする請求項１記載の画像処理装置。
11. 前記視覚特性解析部は、前記入力画像の空間アクティビティを解析する空間アクティビティ解析部を有し、
    前記乱数設定部は、前記空間アクティビティが活発な箇所には、前記振幅が小さくなるように前記振幅を設定する
    ことを特徴とする請求項１０記載の画像処理装置。
12. 前記視覚特性解析部は、前記入力画像の動き量を解析する動き量解析部を有し、
    前記乱数設定部は、前記動き量が小さい箇所には、前記振幅が大きくなるように前記振幅を設定する
    ことを特徴とする請求項１０記載の画像処理装置。
13. 入力画像の歪みを緩和する画像処理方法であって、
    前記歪みを緩和するためのマスキング信号を生成するマスキング信号生成ステップと、
    前記マスキング信号を前記入力画像に付加するマスキング信号付加ステップとを含み、
    前記マスキング信号生成ステップでは、
    前記入力画像の画素間の輝度の段差を平滑化し、
    前記平滑化された画像と前記入力画像との差分を算出し、
    前記差分の階調を変換することで、変換後の差分の絶対値が第１の閾値以下であるような前記変換後の差分を出力し、
    前記変換後の差分が所定の値に近付くにつれて振幅が小さくなるように振幅を設定し、
    設定された振幅を持つ乱数を発生させ、
    発生させた前記乱数から生成される信号を前記マスキング信号として生成する
    ことを特徴とする画像処理方法。
14. 入力画像の歪みを緩和する画像処理装置のためのプログラムであって、
    請求項１３記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。

Images