しかし、特許文献1に開示されているIIRは、平均値程度に収束させるという固定的な特性を有する。そのため、局所的な特徴に応じて係数を可変とする機構を備えているわけではない。画像データに適用した場合、エッジ部分(局所的な特徴に対応)がにじんだり、ぼやけたりして、かえって不自然な出力画像になる可能性がある。
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、IIRを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制するノイズ除去装置を提供する。
また、本発明のいくつかの態様によれば、FIRを併用して、FIRとIIRの出力を適切にブレンドする。このとき、画像のにじみ、ぼやけ等を効果的に抑制するだけでなく、性質の異なる2つのフィルターの出力を用いても最終的に自然でメリハリのある画像を生成することを可能にする。
(1)本発明は、ノイズ除去装置であって、フィルター部と、前記フィルター部が含むフィルターの係数を設定する係数設定部と、を含み、前記フィルター部は、IIRフィルターである第1のフィルターを含み、前記係数設定部は、前記第1のフィルターによるフィルター処理が施された注目画素の画素値と、前記フィルター処理が施される前の注目画素の画素値との差分値を求め、前記差分値を積分した値である差分積分値を求め、前記差分積分値と第1の閾値とを比較した結果に基づいて、前記第1のフィルターの係数を設定する。
本発明のノイズ除去装置は、少なくとも第1のフィルターを含むフィルター部と、フィルター部のフィルターの係数を設定する係数設定部とを含む。そして、第1のフィルターはIIRであるので、小さい回路規模でノイズを効果的に除去する。このとき、画像の局所的な特徴に応じて係数を可変とし、画像のにじみ、ぼやけ等を効果的に抑制する。
画像のノイズ除去を行う場合、様々なノイズを除去できることが好ましい。入力される画像にのるノイズは、例えば圧縮伸張に伴って生じるブロックノイズ、諧調ノイズやモスキートノイズ、撮像時等に生じるインパルスノイズ、ホワイトノイズやランダムノイズ等、様々な種類があり得る。
例えばブロックノイズ、階調ノイズについては、入力される画像の広域を見てノイズ除去を行うフィルターが効果的である。ここで、FIRを用いると、広域の画素値を保存する多くのメモリーを必要とする。そのため、本発明のノイズ除去装置は、回路規模を抑えつつ実効的なタップ長を大きくできるIIRを使用する。
ここで、IIRを画像全体に一律に適用した場合には、にじみ、ぼやけ、擬似輪郭といった画質を低下させる効果を生じる可能性がある。例えば、入力される画像(以下、原画像とも表現する)において、オブジェクトの輪郭等であるエッジ部分にIIRを適用した場合、輪郭があいまいになり、ぼやけてしまう可能性がある。
本発明のノイズ除去装置の係数設定部は、注目画素の画素値と、IIRでフィルター処理された注目画素の画素値との差分値を求め、その差分値を積分した値である差分積分値を求める。そして、差分積分値によって、原画像とIIRでフィルター処理された画像とが乖離しそうか否かを判断する。具体的には、差分積分値が第1の閾値以上の場合には、原画像からの乖離が生じると判断する。
先の例では、注目画素が原画像におけるエッジ部分に含まれる場合、差分積分値の値が大きく上昇する。このとき、係数設定部は、第1の閾値との比較によって、IIRでフィルター処理された画素値に基づく画像が原画像から乖離しそうであると判断できる。そして、新たなフィルター係数を設定して、例えばIIRの実効タップ長を縮めることにより、画像がぼやけてしまうことを回避できる。
このように、本発明のノイズ除去装置は、IIRの出力を係数設定部にフィードバックすることで、局所的な特徴に応じたフィルター係数の設定を可能にする。このとき、例えば原画像のなだらかな領域については、広域を見て効果的なノイズ除去を行うことが可能である。なお、差分値を積分するとは、差分値の累積加算を行うことであってもよい。
(2)このノイズ除去装置において、前記フィルター部が含む複数のフィルターの出力をブレンドして出力画素値を生成する合成部、を含み、前記合成部は、前記係数設定部から前記差分積分値を受け取り、前記差分積分値と第2の閾値とを比較した結果に基づいて、前記出力画素値を生成してもよい。
(3)このノイズ除去装置において、前記フィルター部は、FIRフィルターである第2のフィルターを含み、前記合成部は、前記差分積分値が前記第2の閾値よりも小さければ、前記第1のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とし、前記差分積分値が前記第2の閾値以上であれば、前記第1のフィルターによるフィルター処理が施された注目画素の画素値と、前記第2のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率でブレンドして前記出力画素値としてもよい。
これらの発明のノイズ除去装置は合成部を含む。合成部は、IIRでフィルター処理された画素値と、他のフィルターでフィルター処理された画素値とをブレンドして出力画素値を生成することができる。そのため、IIRのフィルター係数を新たに設定しても原画像との乖離が生じるような場合に、他のフィルターの出力をブレンドして、にじみ、ぼやけ、擬似輪郭の発生を抑制し、自然でメリハリのある出力画素値を生成できる。
合成部は、係数設定部から差分積分値を受け取り、差分積分値が第2の閾値以上の場合には、原画像からの乖離が生じると判断する。このとき、第2の閾値を第1の閾値よりも大きく設定することが好ましい。IIRのフィルター係数を新たに設定してもなお原画像との乖離が生じるような場合に限って他のフィルターの出力をブレンドするので、異なる特性のフィルターを単純に、かつ頻繁に切り換える際に生じる擬似輪郭等の発生を抑えることができる。
ここで、ブレンドは、例えばαブレンドであってもよい。αブレンドによるブレンド値は、IIRでフィルター処理された画素値をA、他のフィルターでフィルター処理された画素値をBとすると、αA+(1−α)Bで与えられる。なお、αは、0以上、1以下の実数であり、ブレンドの割合を示す。
また、他のフィルターとは、フィルター部が含む第2のフィルターであってもよい。第2のフィルターはFIRであってもよい。FIRは画像の局所的な特徴を見て適応的なフィルター処理が可能である。FIRの1種であるεフィルターは、例えばエッジ部分に生じるモスキートノイズ等を、エッジ成分を保存しつつ効果的に除去できる。
合成部は、差分積分値が第2の閾値以上であれば、第1のフィルターによるフィルター処理が施された注目画素の画素値と、第2のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率(例えば、上記のα=0.5)でブレンドして出力画素値としてもよい。このとき、例えばモスキートノイズ等を効果的に除去したFIRの出力をブレンドするので、原画像からの乖離を抑えつつ、自然でメリハリのある出力画素値を生成できる。
なお、合成部は、差分積分値が第2の閾値よりも小さければ、第1のフィルターによるフィルター処理が施された注目画素の画素値を出力画素値とする。
(4)このノイズ除去装置において、前記合成部は、前記第2の閾値よりも大きい第3の閾値と、前記差分積分値との比較を行い、前記差分積分値が前記第3の閾値以上であれば、前記第2のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値としてもよい。
本発明によれば、合成部は、第2の閾値よりも大きい第3の閾値と、差分積分値とを比較する。このとき、第3の閾値と差分積分値との比較を、第2の閾値と差分積分値との比較よりも優先的に行ってもよい。そして、差分積分値が第3の閾値以上であれば、FIRである第2のフィルターによるフィルター処理が施された注目画素の画素値を出力画素値とする。
そのため、原画像からの乖離が非常に大きいと判断される場合には、合成部は、にじみ、ぼやけ、擬似輪郭の発生を抑制するために、FIRでフィルター処理された画素値を出力画素値とすることができる。
このとき、係数設定部は、第1のフィルターの係数を初期化してもよい。ここで、初期化とはIIRの過去のデータを破棄することを意味する。例えば、サンプリングタイミングnの出力Y(n)が、Y(n)=αn*X(n)+(1−αn)*Y(n−1)で表される場合、係数設定部はαn=1として初期化を行う。なお、X(n)はサンプリングタイミングnの入力データであって、このとき、出力Y(n)はX(n)のみで決定される。
(5)このノイズ除去装置において、入力された原画像の画素値である入力画素値に基づいて、エッジ検出を行うエッジ検出部を含み、前記合成部は、前記エッジ検出部から前記注目画素が前記原画像のエッジを構成することを表す信号を受け取った場合、前記第2のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値としてもよい。
本発明によれば、入力画素値に基づいて注目画素がエッジ部分に含まれるか否かを判断するエッジ検出部を含む。そして、エッジ検出部によって注目画素がエッジ部分に含まれると判断された場合、合成部は、差分積分値が第3の閾値以上であった場合と同様に、第2のフィルターの出力を出力画素値とする。
エッジ検出部は、入力画素値のみに基づいて判断が可能である。そして、差分積分値と第1〜第3の閾値との比較よりも前に、エッジ検出部の判断を係数設定部、合成部に伝えることができる。そのため、本発明のノイズ除去装置は、必要な演算以外を行わない効率的な出力画素値の生成が可能になる。
なお、入力画素値とは1つの画素の画素値に限らず、例えば注目画素を中心とする3×3の画素領域の画素値の入力であってもよい。また、3×3に限らず、5×5、又はその他の画素領域であってもよい。このとき、処理ブロックやフィルター毎に、複数の画素値から必要な画素値を選択して使用してもよい。
(6)このノイズ除去装置において、前記フィルター部は、同じ注目画素について、多段階に前記第1のフィルターによるフィルター処理を施してもよい。
(7)このノイズ除去装置において、前記フィルター部は、少なくとも垂直方向、水平方向の2段階で、前記第1のフィルターによるフィルター処理を施してもよい。
これらの発明では、同じ注目画素について、多段階に第1のフィルターによるフィルター処理を施す。そのため、フィルターの回路規模を抑えることが可能である。ここで、多段階とは、例えば垂直方向、水平方向の2段階であってもよい。また、フレームバッファーを有する場合には、フレーム間でのフィルター処理を加えてもよい。
(8)このノイズ除去装置において、前記フィルター部は、前記第1のフィルターとして下記式(1)を満たすIIRフィルターを含んでもよい。
但し、y(n)は、サンプリングタイミングnにおける出力であり、x(n)は、サンプリングタイミングnにおける入力であり、αnは、フィルター係数であり、y(n−1)は、サンプリングタイミングn−1における出力である。
(9)このノイズ除去装置において、前記係数設定部は、前記差分積分値と前記第1の閾値との比較結果に基づいて、前記差分積分値が前記第1の閾値未満である回数をカウントするカウンターを含み、前記式(1)のフィルター係数αnを、前記カウンターのカウント値の逆数としてもよい。
(10)このノイズ除去装置において、前記係数設定部は、前記差分積分値と前記第1の閾値との比較を色成分の各々について行ってもよい。
これらの発明によれば、式(1)に従う回路規模の小さなIIRによって、画像の局所的な特徴に応じて係数を可変とし、画像のにじみ、ぼやけ等を効果的に抑制することができる。
また、係数設定部が計算するフィルター係数は式(1)のαnだけであり、係数設定部の回路規模も小さく抑えることができる。係数設定部は、差分積分値が第1の閾値未満である回数をカウントするカウンターを含み、カウント値の逆数をαnとしてもよい。このとき、簡単な構成のカウンターを用いることで、回路規模抑制の効果を高めることができる。
ここで、色成分毎に差分積分値と第1の閾値とが比較されることで、いずれかの色成分でのみ原画像との乖離がある場合を検出することができる。なお、比較は色成分毎が好ましいが、原画像との乖離があった場合に設定する新たなフィルター係数αnは、色ずれ等の発生を回避するために全色成分で共通であることが好ましい。
(11)このノイズ除去装置において、前記カウンターは、前記式(1)のフィルター係数αnに上限値を設定してもよい。
本発明によれば、IIRの効果、および実効タップ長の増加による演算精度を鑑みて、フィルター係数αnに上限値を設定する。αnの上限値は入力される画像に依存性があるが、例えば、1/9、1/11、又は1/15といった値でもよい。
(12)本発明は、前記のいずれかに記載のノイズ除去装置を含む電子機器である。
本発明によれば、IIRを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制するノイズ除去装置を含む電子機器を提供することができる。ここで、電子機器に含まれるノイズ除去装置は、ノイズ除去回路といったハードウェアであってもよいし、ソフトウェアでノイズ除去の機能が実現されてもよい。
以下、本発明の実施形態について図面を参照して説明する。
1.第1実施形態
本発明の第1実施形態について図1〜図6および図10を参照して説明する。
1.1.ノイズ除去装置の概要
図1は本実施形態のノイズ除去装置10の概要を表すブロック図である。図1では、ノイズ除去装置10の主要な機能ブロックのみを図示しており、詳細なブロック図については後述する。
ノイズ除去装置10は、係数設定部22、フィルター部30、合成部40を含む。フィルター部30はIIRである第1のフィルター37と、FIRである第2のフィルター38を含む。
ノイズ除去装置10は、入力された原画像の画素値である入力画素値200を受け取って、出力画素値202を生成する。ここで、原画像のデータは走査によって注目画素を変化させながらノイズ除去装置10に入力される。本実施形態の入力画素値200は、注目画素の画素値を含む複数の画素値で構成されているものとする。また、出力画素値202はフィルター処理でノイズを除去した後の注目画素の画素値であるとする。
フィルター部30は、少なくとも第1のフィルター37を含む。第1のフィルター37は、ノイズ除去装置10における主要なフィルターであって、小さい回路規模でノイズを効果的に除去できるIIRである。例えば、原画像におけるブロックノイズ、量子化ノイズ、諧調ノイズ等は、原画像の広い領域を見てノイズ除去を行うことが好ましい。IIRは、フィードバックを取り入れて、現実の遅延手段などの規模が小さくても、実効的なタップ長(実効タップ長)の大きい平滑化フィルターを実現できる。
例えば、図10(A)は、ブロックノイズを含む原画像300の図である。小さな丸印は画素に対応し、原画像300は水平方向にN画素、垂直方向にM画素を含む。このとき、圧縮処理の単位として例えば8×8のブロックサイズが使用され、図10(A)のB0、B1で示す部分等にブロックノイズが生じるとする。
図10(B)は、図10(A)の領域304に含まれる画素の画素値の輝度Yを、画素順nに対応させて並べたものである。なお、実際にはデータは離散的であるが、分かりやすさのために連続的に表示している。原画像では、図10(B)のx(n)のように図10(A)のB0、B1に対応する部分で輝度Yのギャップが生じている。つまり、ブロックノイズが発生している。
図10(B)のy(n)は、IIRによるフィルター処理(平滑化)の結果を表している。このとき、ブロックノイズが消え、なめらかなグラデーションが得られる。つまり、ノイズのない、自然な出力画像が得られる。
ここで、固定のブロックサイズを用いる圧縮処理が行われた原画像だけが入力されるならば、ブロックノイズの発生位置は既知である。このとき、例えば3×3の局所的な領域の画素値を入力するFIRでもノイズ除去は可能である(図10(A)の領域302参照)。
しかしながら、ノイズ除去装置としての使い勝手を向上させるには、様々な種類の原画像の入力が可能であることが好ましい。例えば、H.264では可変ブロックサイズを採用しており、ブロックノイズの発生位置はデコーダーから情報を得る手段がない限りは画像に依存し不明である。そのため、IIRを用いて、原画像の広い領域を見てノイズ除去を行うことが好ましい。よって、本実施形態のノイズ除去装置10は、IIR(第1のフィルター37)を主体としたフィルター処理を行う。
ここで、第1のフィルター37が、例えば平均値程度に収束させるという固定的な特性である場合、エッジ部分等までも平滑化して、かえって不自然な出力画像を生成する可能性がある。
本実施形態のノイズ除去装置10では、係数設定部22が原画像の局所的な特徴に応じて、第1のフィルター37の係数222の設定を行う。そのため、特性は固定的にならず、例えば原画像との大きな乖離が生じるような場合に過去のデータを破棄(フィードバックの遮断)することも可能であり、自然な出力画像を生成できる。
このとき、係数設定部22は、第1のフィルター37によるフィルター処理が施された注目画素の画素値237と、フィルター処理が施される前の注目画素の画素値(入力画素値200の一部)との差分値を求める。そして、係数設定部22は、その差分値を積分した値である差分積分値に基づいて調整した係数222を設定する。このとき、原画像の局所的な特徴を、原画像からの乖離を表す差分積分値から間接的に把握することができ、係数222を調整して第1のフィルター37の特性を変化させることができる。
さらに、本実施形態のノイズ除去装置10は、出力段に合成部40を備え、フィルター部30には第2のフィルター38を含む。合成部40は、通常は第1のフィルター37の出力である画素値237を出力画素値202とする。
しかし、合成部40は、係数設定部22からの差分積分値250に基づいて、原画像からの乖離の状態を把握し、必要な場合には第1のフィルター37の出力である画素値237と第2のフィルター38の出力である画素値238とをブレンドして出力画素値202とする。このとき、合成部40は、差分積分値250に基づいて、第2のフィルター38の出力である画素値238を出力画素値202とすることがあってもよい。
合成部40は、原画像からの乖離が大きいときに、第2のフィルターの出力である画素値238を用いて出力画素値202を生成することで、より自然でメリハリのある出力画像が生成されるようにすることができる。
本実施形態では、フィルター部30は、FIRである第2のフィルター38を含む。FIRは画像の局所的な特徴を見て適応的なフィルター処理が可能である。FIRは、例えばエッジ部分に生じるモスキートノイズ等を効果的に除去できる。
1.2.第1および第2のフィルター
本実施形態のノイズ除去装置10では、フィルター部30はIIRである第1のフィルター37と、FIRである第2のフィルター38を含む。
第1のフィルター37は、下記式(1)を満たすIIRである。
但し、y(n)は、サンプリングタイミングnにおける出力であり、x(n)は、サンプリングタイミングnにおける入力であり、αnは、フィルター係数であり、y(n−1)は、サンプリングタイミングn−1における出力である。
図1を参照すると、式(1)のx(n)は入力画素値200のうちの注目画素の画素値が対応する。また、式(1)のy(n)は画素値237が対応する。本実施形態では、サンプリングタイミングがnからn+1へと変化すると、走査によって注目画素が隣接する画素(又は次の行の先頭画素)へとシフトする。
ここで、図1の係数設定部22は、係数222として式(1)のフィルター係数αnを設定する。式(1)からz平面上では、第1のフィルター37は式(2)の応答を持つ。
すると、極点が安定極となるようにフィルター係数αnは0≦αn≦1である必要がある。ここで、αn=1の場合、式(1)は式(3)のようになり、過去のデータを破棄することができる。なお、この例に限らず、係数αnを変更することでIIRの特性を変更することが可能である。
一方、第2のフィルター38は、式(4)〜(6)に従うFIRである。具体的には一種のεフィルターであり、非線形フィルターである。
ここで、式(4)のkは注目画素を中心とする領域における周辺画素を表す番号である。再び、図1を用いて説明すると、本実施形態の入力画素値200は、注目画素の画素値を含む複数の画素値で構成されている。このとき、x(n)は入力画素値200のうちの注目画素の画素値が対応する。そして、x(n+k)は入力画素値200のうちの注目画素以外の周辺画素の画素値が対応する。また、式(4)のy(n)は画素値238が対応する。
また、式(4)のβkは式(6)を満たすローパスフィルタ係数である。ただし、tを差分値(ここでは、周辺画素の画素値と注目画素の画素値との差分)として、関数F(t)は式(5)を満たす。ε1、ε2はともに正の閾値であって、ε1<ε2を満たす。図1の係数設定部22によってフィルター係数βkは動的に変化してもよいが、本実施形態ではβkは予め定められているものとする。
なお、別の実施形態として、第2のフィルター38は、|x(n+k)−x(n)|>ε2となるkをカウントし、そのカウント値が一定値以上の場合にF(t)=tとする非線形フィルターであってもよい。
1.3.入力画素値
本実施形態のノイズ除去装置10は、原画像のデータを入力画素値200として受け取る。本実施形態では、第2のフィルター38が適切な出力を行うために、1つの注目画素だけでなく、その周辺画素の画素値も含めて入力画素値200として受け取る必要がある。
図2(A)は、原画像300と注目画素との対応を説明するための図である。原画像300は水平方向にN画素、垂直方向にM画素を含む。その画素Pijは画素の位置に応じて添え字が付されている。添え字iはMまでの自然数であり垂直方向のiライン目の画素であることを示す。添え字jはNまでの自然数であり水平方向のjカラム目の画素であることを示す。なお、図2(B)では、画素Pijの画素値もPijと表現している。
画素Pijの画素値は、例えばRGBそれぞれ6ビットのデータを有する18ビットデータであってもよいし、Gが6ビット、RとBは5ビットのデータを有する16ビットデータであってもよい。また、本実施形態のようにYCbCrなどのデータフォーマットであってもよい。
図2(B)は、本実施形態のノイズ除去装置10へと入力される入力画素値200を説明する図である。例えば、注目画素がP34の場合、P34を中心とした3×3の領域の画素(図2(A)の領域302)の画素値が入力画素値200となる。そのうち、注目画素P34の画素値を特に入力画素値200Aとして区別する。
図2(B)の例では、メモリーREG0〜REG8は図外のクロックに同期して画素値をシフトさせながら、ノイズ除去装置への入力画素値200を出力する。ラインメモリー1とラインメモリー2は、それぞれ1つ前のライン、2つ前のラインの画素値を保持するラインメモリーである。
この例では注目画素が画素P34である場合についてのみ図示しているが、前記のように、図外のクロックに同期して保持される画素値は変化(シフト)する。例えば1クロック後には、REG4には新たに注目画素となったP35の画素値が保持される。
ここで、図2(B)に図示する例を用いて、第1のフィルター、第2のフィルターへの入力値について説明する。まず、IIRである第1のフィルターは、式(1)のように1つの画素値x(n)だけを必要とする。つまり、第1のフィルターでは、入力画素値200のうち、入力画素値200Aだけを受け取ってx(n)として用いる。
FIRである第2のフィルターは、式(4)のように、x(n)である注目画素P34の入力画素値200Aだけでなく、3×3の領域内の周辺画素P23、P24、P25、P33、P35、P43、P44、P45の画素値をx(n+k)として受け取る必要がある。このとき、式(4)のkは例えば−4から4までの値であって、x(n−4)がP23の画素値、x(n−3)がP24の画素値、…、x(n+3)がP44の画素値、x(n+4)がP45の画素値に対応してもよい。
1.4.ノイズ除去装置の詳細
図3は本実施形態のノイズ除去装置10の詳細を表すブロック図である。なお、主要なブロックについては図1と同じであり同じ符号を付している。よって、重複する説明は省略する。
本実施形態のノイズ除去装置10は、図1に記載の係数設定部22、フィルター部30、合成部40の他に、エッジ検出部20を含む。エッジ検出部20は、入力画素値200のみに基づいて注目画素が急峻なエッジ部分に含まれるか否かを判断する。
そして、注目画素が急峻なエッジ部分に含まれる場合には、係数設定部22や合成部40がフィルター係数や出力画素値を調整、生成する前に、IIR出力の画素値を用いないことを制御信号220によって伝えることができる。そのため、本実施形態のノイズ除去装置10は、必要な演算以外を行わない効率的な出力画素値202の生成が可能になる。
ここで、本実施形態のフィルター部30および合成部40は、IIRのフィルター処理および必要な画素値の生成を多段階に行う。具体的には、垂直方向、水平方向の2段階で行う。このことは、フィルター部30および合成部40の演算等の処理の負荷を減らし、回路規模の増加を抑制する効果がある。また、フレームバッファーを有する場合には、フレーム間でのIIRのフィルター処理を加えることも可能である。
この多段階処理のため、図3のように、フィルター部30は、垂直IIRフィルター31(以下、単に垂直IIR31とも表現する)、水平IIRフィルター32(以下、単に水平IIR32とも表現する)を含む。なお、FIRフィルターについては2次元の処理を行い、フィルター部30は1つの2次元FIRフィルター34(以下、単に2次元FIR34とも表現する)を含む。
垂直方向の処理とは例えば図2(A)のように注目画素がP34である場合に1つ前のサンプリングタイミングにおける注目画素がP24(1つ上の隣接画素)であるように扱うことをいう。また、水平方向の処理とは例えば図2(A)のように注目画素がP34である場合に1つ前のサンプリングタイミングにおける注目画素がP33(1つ左の隣接画素)であるように扱うことをいう。
このとき、垂直方向の処理と水平方向の処理とはシーケンシャルに行われる。よって、垂直方向の処理の実行時には、垂直IIR31が図1の第1のフィルター37に対応し、画素値231が図1の画素値237に対応する。また、水平方向の処理の実行時には、水平IIR32が図1の第1のフィルター37に対応し、画素値232が図1の画素値237に対応する。このとき、IIRを構成する物理的な回路は、本実施形態のように垂直IIR31と水平IIR32とで共用されてもよいし、個別に存在してもよい。
そして、係数設定部22が設定する係数222は、垂直IIR31と水平IIR32のそれぞれに出力される。つまり、本実施形態の係数設定部22は、垂直IIR31用の係数設定部と水平IIR32用の係数設定部とを含み(図示せず)、それぞれが独立に係数を演算で求めて、係数222として出力する。係数設定部22が受け取るフィルター処理後の画素値230は、図1の画素値237に対応する。ここでは、係数設定部22は、画素値230として、画素値231および画素値232を受け取る。なお、2次元FIR34は図1の第2のフィルター38に対応し、画素値234が図1の画素値238に対応する。
また、合成部40は、垂直合成部41、水平合成部42を含む。垂直IIR31の出力である画素値231については、垂直合成部41が必要に応じてブレンドを行う。また、水平IIR32の出力である画素値232については、水平合成部42が必要に応じてブレンドを行う。
このとき、2次元FIR34の出力である画素値234とのブレンドは、出力画素値202を生成する水平合成部42で行われる。そのため、垂直合成部41は、画素値234ではなく入力画素値200Aを入力する。
1.5.原画像における急峻なエッジ部分の扱い
前記のように、本実施形態のノイズ除去装置10は、IIRを主体としてノイズ除去を行う。しかし、例えば原画像における急峻なエッジ部分は、IIRのフィルター処理には不向きな場合がある。つまり、フィルター係数を変更したとしても、不自然な画像を生成する画素値を出力してしまう場合がある。
このような場合、直ちにFIRによるフィルター処理のみを行うように切り換える方が処理の効率がよい。エッジ検出部20は、入力画素値200のみに基づいて注目画素が急峻なエッジ部分に含まれるか否かを判断する。そして、含まれる場合には、制御信号220によって係数設定部22や合成部40が無駄な演算を行うことを回避させることができる。
エッジ検出部20は入力画素値200を受け取り、注目画素と周辺画素の画素値の差分の絶対値(以下、差分絶対値)を積算する。
本実施形態では、入力画素値200は3×3の領域の画素の画素値を含む。式(7)のkは注目画素を中心とする領域における周辺画素を表す番号であり、前記のFIRの場合と同じである。
エッジ検出部20は、式(7)の差分絶対値a(n)が閾値The以上の場合に、直ちにFIRによるフィルター処理のみを行わせる制御信号220を出力する。ここで、閾値Theは、例えば様々な画像について統計をとることで得られる値であって予め定められていてもよいし、使用者がノイズ除去装置の使用時に設定してもよい。
1.6.IIRの係数の調整
式(7)の差分絶対値a(n)が閾値The未満の場合には、本実施形態のノイズ除去装置10は、IIRの出力を用いて出力画素値を生成する。このとき、係数設定部22は、注目画素について、垂直IIR31、水平IIR32によるフィルター処理前後の画素値の差分値を求める。そして、それらの差分値を積分した値である差分積分値に基づいて、原画像と乖離したか否かを判断する。
係数設定部22は、差分積分値が閾値Th1以上の場合に原画像との乖離が発生しそうであると判断する。そして、式(1)のフィルター係数αnを調整してIIRの出力を追従させる。係数設定部22について、以下に図4〜図5を用いて説明する。なお、図1〜図3と同じ要素には同じ符号を付しており説明を省略する。
図4は、係数設定部とIIRの構成を説明するための図である。垂直IIR31、水平IIR32は、本実施形態において物理的に同じ回路であり、処理に応じてx(n)、y(n)に適当な信号が割り当てられるものとする。
つまり、図2(B)、図3も参照して説明すると、垂直方向の処理をする場合にはIIRフィルターは垂直IIR31であり、x(n)には注目画素の入力画素値200Aが、y(n)には画素値231が対応する。そして、水平方向の処理をする場合には、IIRフィルターは水平IIR32であり、x(n)には画素値241が、y(n)には画素値232が対応する。なお、前記のように本実施形態の係数設定部22は、垂直IIR31用の係数設定部と水平IIR32用の係数設定部とを独立に含んでいる(図示せず)。しかし、それぞれの構成および演算処理は同じであるため、図4のように重複を避けて図示して説明を行う。
図4の垂直IIR31(又は、水平IIR32)は、加算器60、61および乗算器65によって、前記の式(1)の演算を行う。ここで、乗算器65が用いる係数1−αnは係数設定部22から与えられる。また、遅延回路70によってy(n−1)を得ることができる。遅延回路70、および係数設定部22の遅延回路71は、具体的にはレジスター等で構成される。
係数設定部22は、加算器62によって、差分値262を得る。加算器62には、それぞれ遅延回路70、71からの出力であるy(n−1)とx(n−1)が入力される。ただし、x(n−1)の符号は反転するものとする。差分値262は、サンプリングタイミングn−1における、垂直IIR31(又は、水平IIR32)のフィルター処理前後の画素値の差分である。
係数設定部22は、差分値262を積分器50によって積分する。積分とは例えば累積加算である。そして、積分器50は差分積分値250を出力する。差分積分値250は、各サンプリングタイミングにおける原画像との差を表す差分値262を積分したものであり、原画像との乖離の度合いを表すものである。その値は、例えば注目画素がエッジ部分にある場合には急激に増加するので、原画像における局所的な特徴を把握することができる。
そして、係数設定部22は、第1の比較器52で差分積分値250と閾値Th1とを比較する。係数設定部22は、差分積分値250が閾値Th1以上の場合に原画像との乖離が生じていると判断し、フィルター係数αnを調整して実効タップ長を減らして、垂直IIR31(又は、水平IIR32)の出力を追従させる。
図4のように、係数設定部22のカウンター54は、第1の比較器52からの比較信号252に基づいて、フィルター係数αnを定める。カウンター54は、例えば4ビット幅のカウンターであって、カウント値の逆数をフィルター係数αnとする。本実施形態では、カウンター54はカウント値“1/αn”を出力して、係数テーブル56で変換した“1−αn”を垂直IIR31(又は、水平IIR32)に与える。
カウンター54は、比較信号252に基づいて、差分積分値250が閾値Th1未満である場合にカウント値をインクリメントする。ただし、上限値に達している場合には、差分積分値250が閾値Th1未満であってもカウント値は変動しない。上限値は、4ビット幅のカウンターである場合、例えば9〜11といった値でもよい。上限値は、IIRのフィルター処理の効果、および実効タップ長の増加による演算精度を鑑みて設定される。
カウンター54は、差分積分値250が閾値Th1以上である場合に、カウント値を強制的に固定値(例えば2又は3)に変化させる。カウント値が小さい値に変化させることは、IIRの実効タップ長を小さくすることを意味する。差分積分値250が閾値Th1以上である場合には、原画像との乖離が生じているとして、IIRの実効タップ長を小さくして出力が追従するように調整する。
なお、カウンター54は、差分積分値250が閾値Th1以上である場合に、カウント値をデクリメントさせるようにしてもよい。また、固定値に変化させる場合でも、段階的に変化させてもよい。例えば、最初に差分積分値250が閾値Th1以上となった場合はカウント値を7にする。それでも、差分積分値250が閾値Th1以上となる場合は、カウント値を5にする。そして、最終的には2にする、といった手法をとってもよい。
なお、カウンター54に制御信号220によって注目画素が急峻なエッジ部分に含まれる旨が伝えられた場合には、カウンター54はカウント値を1にして、フィルターの係数を初期化してもよい(αn=1、式(3)参照)。このとき、IIRの出力は使用されないため、係数設定部22は前記の動作を停止してもよい。
ここで、比較信号252は、色成分毎の閾値Th1と比較結果を反映したものであってもよい。図5は、積分器50および第1の比較器52の構成の詳細を表すものであって、図4の領域58に対応する。ここで、入力画素値200はY、Cb、Crの色成分を有しており、その演算結果である差分値262も同様の色成分を有するとする。積分器50は、それぞれY成分、Cb成分、Cr成分用の積分器であるY成分積分器50Y、Cb成分積分器50Cb、Cr成分積分器50Crを含むとする。
本実施形態では、差分値262は色成分毎(262Y、262Cb、262Cr)に、これらの積分器(50Y、50Cb、50Cr)にそれぞれ入力されて、色成分毎に積分(例えば累積加算)される。そして、差分積分値250は色成分毎の差分積分値(250Y、250Cb、250Cr)から成り、第1の比較器52に入力される。
第1の比較器52は、それぞれY成分、Cb成分、Cr成分用の比較器であるY成分比較器52Y、Cb成分比較器52Cb、Cr成分比較器52Crを含むとする。これらの比較器は、それぞれ色成分毎の差分積分値(250Y、250Cb、250Cr)を受け取り、閾値Th1と比較する。そして、差分積分値が閾値Th1以上である場合に‘1’となる色成分毎の比較信号(252Y、252Cb、252Cr)の論理和51の出力を第1の比較器52からの比較信号252とする。
このような色成分毎の比較を行うことで、いずれかの色成分でのみ原画像との乖離がある場合を検出することができる。なお、フィルター係数αnについては、色成分毎でなく共通のものが用いられる。色成分毎にフィルター係数αnがある場合には、色ずれといった問題を生じるからである。
1.7.合成部でのブレンド
合成部40は、出力画素値202を生成する。このとき、通常はIIRの出力を出力画素値202とするが、原画像との乖離が生じて出力画像が不自然になるおそれがある場合、FIRの出力とのブレンドを行ったり、FIRの出力だけを使用するように切り換えたりする。合成部40(具体的には垂直合成部41、水平合成部42)について、以下に図6を用いて説明する。なお、図1〜図5と同じ要素には同じ符号を付しており説明を省略する。
図6は、垂直合成部41、水平合成部42の構成を説明するための図である。垂直合成部41、水平合成部42は、本実施形態において物理的に同じ回路であり、処理に応じてy(n)、w(n)、g(n)に適当な信号が割り当てられるものとする。
つまり、図2(B)、図3も参照して説明すると、垂直方向の処理をする場合には垂直合成部41であり、y(n)には画素値231が、w(n)には注目画素の入力画素値200Aが、g(n)には画素値241が対応する。そして、水平方向の処理をする場合には水平合成部42であり、y(n)には画素値232が、w(n)には2次元FIR34の出力である画素値234が、g(n)には出力画素値202が対応する。
図6のように、垂直合成部41(又は、水平合成部42)の合成回路43は、制御信号220および比較信号282に基づいて、出力信号g(n)を入力信号y(n)、w(n)をブレンド(一方の選択を含む)して生成する。
第2の比較器82は、色成分毎に第2の閾値Th2、および第3の閾値Th3と比較する比較器82Y、82Cb、82Crを含み、構成は第1の比較器52(図5参照)と同様である。ここでは、重複説明を避けるために詳細な説明を省略する。
垂直合成部41(又は、水平合成部42)は、差分積分値250が第2の閾値Th2以上である場合、IIRのフィルター係数αnを変更してもなお原画像との乖離が生じるものと判断する。このとき、合成回路43は、入力信号y(n)、w(n)を所定の比率(例えば、共に50%)でブレンドして出力信号g(n)を生成する。
垂直合成部41(又は、水平合成部42)は、差分積分値250が第3の閾値Th3以上である場合、注目画素は急峻なエッジ部分に含まれており、原画像と非常に大きな乖離が生じるものと判断する。このとき、合成回路43は、入力信号w(n)を出力信号g(n)として出力する。なお、処理の効率のため、差分積分値250と第3の閾値Th3との比較を、第2の閾値Th2との比較よりも優先して行うことが好ましい。
比較信号282は、差分積分値250と第2の閾値Th2、および第3の閾値Th3との比較結果を表す2ビットの信号であってもよい。例えば、比較信号282が“11b”であれば差分積分値250が第3の閾値Th3以上であり、“01b”であれば差分積分値250が第3の閾値Th3未満かつ第2の閾値Th2以上であり、“00b”であれば差分積分値250が第2の閾値Th2未満であってもよい。
ここで、第1の比較器52(図5参照)で用いる第1の閾値Th1と、第2の比較器82で用いる第2の閾値Th2、および第3の閾値Th3との間には式(8)のような関係があるとする。
合成回路43は、制御信号220を受け取り、注目画素が急峻なエッジ部分に含まれる場合には、入力信号w(n)を出力信号g(n)として出力する。なお、制御信号220に基づく処理は、比較信号282に基づく処理よりも優先される。
1.8.出力画素値
以上のように、本実施形態のノイズ除去装置は、IIRを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制する。また、原画像との乖離が生じる場合には、FIRを併用して、FIRとIIRの出力を適切にブレンドする。このとき、画像のにじみ、ぼやけ等を効果的に抑制するだけでなく、特性の異なる2つのフィルターの出力を用いても最終的に自然でメリハリのある画像を生成することを可能にする。
出力画素値の生成についてまとめると以下の通りである。(1)グラデーション等のなだらかな領域では、IIRの出力が用いられる。(2)エッジ検出部によって急峻なエッジ領域であると判断された場合は、FIRの出力が用いられる(閾値Theを用いた判断)。(3)その中間の領域では、(3−1)まず、係数設定部によってIIRのフィルター係数が調整される(閾値Th1を用いた判断)。(3−2)合成部が第2の閾値Th2を用いた比較の結果として原画像との乖離が生じそうな場合には、IIRとFIRの出力がブレンドされる。(3−3)合成部が第3の閾値Th3を用いた比較の結果として原画像との乖離が生じそうな場合には、FIRの出力が用いられる。
ここで、異なる特性のフィルターを単純に、かつ頻繁に切り換えると、例えば擬似輪郭等が発生するといった問題が生じる。本実施形態では、IIRのフィルター係数を新たに設定してもなお原画像との乖離が生じるような場合に限って、FIRの出力をブレンドするので、このような問題は生じにくい。また、出力される画像は局所的な特徴も考慮したフィルター処理がなされているので、自然でメリハリのある画像を生成することを可能にする。
なお、前記の(3−2)の場合には、式(8)の関係から差分積分値は第1の閾値Th1以上である。よって、ブレンドされるIIRの出力は、そのフィルター係数αnが固定(例えば1/2)された場合の出力となる。すなわち、実効タップ長の小さいIIRが用いられている。
ここで、本実施形態のノイズ除去装置10は、IIRのフィルター係数αnを適切に調整するために様々なデータを用いる。そこで、ノイズ除去装置10は、例えばラインメモリーを含み、閾値との比較結果を示す制御信号220(図3参照)、比較信号252(図4参照)、比較信号282(図6参照)を保持してもよい。また、差分積分値250(図4参照)や、IIRのフィルター処理を実行する前後の画素値や、フィルター係数αn自体も保持してもよい。
このような構成は、特に水平処理、垂直処理で独立したフィルターを持つような場合に有用である。また、ラインメモリーに保持されたデータが外部からアクセス可能であれば、使用者は容易に状態を確認することが可能になる。
2.変形例
本実施形態の変形例について図7を参照して説明する。なお、図1〜図6と同じ要素には同じ符号を付しており説明を省略する。
図7は、変形例のノイズ除去装置10Aのブロック図である。第1実施形態(図3参照)の場合と異なり、フィルター部30Aに含まれるFIRは、垂直FIRフィルター35と、水平FIRフィルター36に分離されている。そのため、垂直合成部41、水平合成部42は、それぞれ垂直FIRフィルター35、水平FIRフィルター36の出力である画素値235、画素値236を受け取る。
FIRについても、垂直方向の処理と、水平方向の処理とに分離することで、フィルターの回路規模を抑えることができる。なお、その他の構成については、第1実施形態と同じであり、説明を省略する。
3.適用例
本発明の電子機器への適用例について図8〜図9を参照にして説明する。図8は適用例に係る電子機器1のブロック図である。電子機器1は、CPU2、入力部3、記憶部4、表示部5、画像処理部6を含む。画像処理部6は、ノイズ除去の他に、例えば符号化などの画像処理を行う。そして、画像処理部6は、第1実施形態のノイズ除去装置10又は変形例のノイズ除去装置10Aに対応するノイズ除去回路10Bを、その一部として含んでいる。
CPU2は、他のブロックを制御し様々な演算や処理を行う。CPU2は、例えば記憶部4からプログラムを読み込み、プログラムに従ってノイズ除去回路10Bにノイズ除去を実行させてもよい。
入力部3は、電子機器1の内部又は外部からデータなどを受け取る。入力部3は、例えば入力画像のデータを受け取り、ノイズ除去回路10Bが受け取るのに適したフォーマットの画素値へと変換してもよい。
記憶部4は、例えばDRAMやSRAMなどのメモリーであってもよいし、ROMを含んでいてもよい。CPU2が使用するプログラムは、例えば記憶部4が含むROMに書かれていてもよい。
表示部5は、ノイズ除去回路10Bでノイズを除去した画像を出力するためのものである。例えばLCDや電気泳動表示装置であってもよい。
例えば電子機器1において、CPU2はリセット後にプログラムを記憶部4から読み込み、コマンドによって画像処理部6に画像処理を自動実行させる。このとき、ノイズ除去回路10Bによってノイズが除去された、自然な画像が表示部5に出力される。
図9(A)に、電子機器1の1つであるパーソナルコンピューター970の外観図の例を示す。このパーソナルコンピューター970は、表示部5として写真、動画などの画像を表示するLCD975を備える。パーソナルコンピューター970がノイズ除去回路10Bを含むことで、ノイズを除去したきれいな画像をLCD975に表示することができる。
図9(B)に、電子機器1の1つであるプロジェクター980の外観図の例を示す。このプロジェクター980は、表示部5に対応する投影部985からスクリーン989に画像を拡大して表示する。このとき、画像は拡大されるため、ノイズが含まれていると非常に目立つ。プロジェクター980がノイズ除去回路10Bを含むことで、ノイズを除去したきれいな画像を投影することが可能になる。
本実施形態のノイズ除去装置は、これらの例に限らず、画像を表示させる様々な電子機器に適用可能である。いずれの場合にも、ノイズ除去を行いながらも、自然でメリハリのある画像表示を行う電子機器を提供できる。
4.その他
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成(例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成)を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。