JP4358462B2

JP4358462B2 - ノイズ除去回路

Info

Publication number: JP4358462B2
Application number: JP2001202055A
Authority: JP
Inventors: 勝明渡辺; 健吉林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2001-07-03
Filing date: 2001-07-03
Publication date: 2009-11-04
Anticipated expiration: 2021-07-03
Also published as: JP2003018432A

Description

【０００１】
【発明の属する技術分野】
本発明は、ノイズ除去回路に関し、たとえば画像入力された画像のノイズ低減を図る回路であり、特に画素配列が空間的に互いにずれた、いわゆるハニカム配列やベイヤ配列等のように色フィルタセグメントの配列パターンに応じて画像のノイズ除去を行う場合に適用して好適な回路である。
【０００２】
【従来の技術】
画像処理において、映像信号に含まれるノイズを除去する目的で数多くのフィルタが提案されている。これらのフィルタのうち、たとえば、メディアンフィルタに代表される非線形フィルタが注目されている。ここで、一般的に、メディアンフィルタは、通常の正方配列の画像においてN×Nのマスク（観察窓）内のN²画素の階調値を小さい順または大きい順に並べたときの中央値を出力するフィルタである。非線形フィルタには、構成する上でアルゴリズムが簡易であり、適用した映像信号に含まれる画像のエッジ成分の保存性に優れているなどの長所がある。
【０００３】
しかしながら、非線形フィルタは、適用する映像信号の特徴に応じてノイズ除去の効果を十分に発揮しないまま出力してしまうことがある。このような場合の一例として、特開平6-178165号公報の非線形フィルタは、ガウス性ノイズの除去あるいは低減するために、同時化手段で入力信号から、相異なるｎ個（ｎ≧3)の時刻のデータを同時化してウィンドウを設定し、同時化により出力されるｎ個のデータから平均値算出手段で平均値を算出して、ノイズの影響を打ち消し、近似値判定部で真の信号レベルを求めるように、算出した平均値に最も近い値のデータをｎ個の中から判定して判定信号を選択手段に出力し、選択手段で判定信号に対応する１個の出力をｎ個の中から選択することによりノイズ低減を行っている。
【０００４】
混在するノイズに対応する提案として特開平7-115569号公報のノイズ低減装置がある。ノイズ低減装置は、ノイズを含む画像をブロック化してクラス分類したデータと低ノイズの画像をブロック化したデータとで予め学習して得た結果をテーブルに保存し、保存した結果にシステムやノイズの特性を反映させ、このテーブルから入力画像のクラス分類によるクラスコードに対応した学習値を取り出してノイズを含む画像の代わりにノイズのない画像をあてはめることにより、システムに合致した低ノイズの画像を出力させていることから、画像の劣化が少なく、画像の形状、内容やシステムにかかわらないノイズ除去を行っている。
【０００５】
また、フィルタ処理は扱う処理対象である画像の種類に応じて選ぶことも行われている。たとえば、メディアンフィルタは、情報が欠落してしまうような大きなレベルのノイズ除去に用いられる。しかし、単純にメディアン値を出力するメディアンフィルタは、静止画像に画像の歪みを発生させ、動画像では時間軸歪みを生じさせてしまうことがある。また、リカーシブフィルタでは、この大きなレベルのノイズ除去により、大きなレベルの残像現象が発生してしまう。また、リカーシブフィルタは、単純な隣接フレーム信号を用いると、高解像度の動画では解像度劣化を引き起こすことから動画には不向きである。
【０００６】
特開平6-46298号公報の映像信号の雑音除去装置は、回路規模を小さく、ノイズ除去にともなう歪みを抑えるように、動き検出回路からの動き情報を入力する手段を備えたメディアンフィルタを用い、このメディアンフィルタは、着目する一つの輝点（Q)についてそのフィールドの直上および直下の点（O1，O3)、二つ前のフィールドのその輝点に対応する点（O2)、二つ後のフィールドのその輝点に対応する点（O4)、一つ前のフィールドのその輝点に隣接する二つの点（X1，X2)および一つ後のフィールドのその輝点に隣接する二つの点（X3，X4)からなる９点をカーネルとし、点（O1，O2, O3, O4, Q）の中央値MOを演算する手段と、点（X1，X2, X3, X4, Q）の中央値MXを演算する手段と、中央値（MO, MXおよびQ）の中央値Q’を演算する手段と、出力信号として、動き情報が動きを示すときは、Q、｜Q−Q’｜＜kのときはQ、それ以外のときはQ’を出力して動きを停止する手段とを備えて、画像の動きに応動してエッジのぼけを防止している。
【０００７】
さらに、画像に対して適用するフィルタを選ぶ場合、フィルタ処理速度も考慮する要素の一つである。特開平8-202871号公報の画像処理装置は、入力画像メモリに入力したディジタル画像情報を記憶し、記憶した各画素の濃度データを用いて平均値算出手段で注目画像と近傍画像とで平均値を求め、分散値算出手段で得られた各画素の平均値画像入力より注目画像と近傍画像との分散値を求めこの分散値を記憶し、各画素の分散値と予め設定した閾値との大小比較をディジタル値比較手段で行い、メディアン手法算出手段で分散値が閾値より大きい画像に対してメディアンフィルタ手法で注目画像と近傍画像とで中央値を求め得られたメディアン画像を記憶し、出力画像メモリにメディアン画像と分散値が閾値より小さい画像に対して平均値画像をそのまま記憶することにより、ノイズ除去の高速化を図っている。
【０００８】
このようにメディアンフィルタは、画素同士の演算処理を行うだけでなく、ノイズ低減処理に用いる画素の選択、クラス分類処理、他のフィルタとの組合せや閾値判定に基づく処理の高速化をそれぞれ図っている。上述した提案は、あらわには記載していないが、いずれも画素データから得られた輝度データを階調値として用い、供給される階調値に対してフィルタ処理を施す手法が述べられている。この手法では、整然と格子状に配列された画素から得られた画像データをフィルタ処理に用いている。
【０００９】
【発明が解決しようとする課題】
ところで、最近、画像データには、格子状に画素配列する場合の画素数よりも記録時の画素数を補間により増やして画像の解像度を向上させるものもある。この画像データが、いわゆるハニカム配列と呼ぶ画素配列で、画像データは一画素に対して隣接する画素を水平および垂直方向に画素ピッチの半分ずつずらして、互いに画素のずれた位置関係で、実画素および本来の画素が存在しない仮想画素として得られる。
【００１０】
この画像データにメディアンフィルタ処理を行う場合、補間後の画像データから生成される輝度データは、格子状の画素配列と同じ位置関係になることから、記録時の輝度データを供給してフィルタ処理が行われている。すなわち、このフィルタ処理時の各画素に対する輝度データは、実画素と仮想画素の区別なく同じ質の情報として扱われている。したがって、ハニカム配列のような独特な配列関係や生成される画素データに関して単板式色フィルタの配列等は、フィルタ処理においてまだ何ら考慮されていない。
【００１１】
また、メディアンフィルタは、前述したように、たとえば、3×3のマスク内における９画素の階調値の並べ替えを行う場合でも、処理時間を要し、しかも回路規模も大きくなることが知られているが、いずれの問題に対する最善な解決方法はまだ提供されていない。
【００１２】
本発明はこのような従来技術の欠点を解消し、ノイズ低減処理の回路規模を大幅に削減し、供給される画素配列を考慮し、かつ良好なノイズ低減処理を施すことができるノイズ除去回路を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明のノイズ除去回路は上述の課題を解決するために、一画素に対して隣接する画素が水平および垂直方向に画素ピッチの半分ずつずれて配列され、この配列された画素を実在画素とし、この実在画素に挟まれた領域を仮想画素とし、得られた画素データを用いて生成された階調値に対して、この階調値のうち、注目する位置の階調値に対してこの階調値を含み、左右斜め方向に隣接する階調値を観察窓領域として抽出する領域抽出手段と、この抽出した階調値をそれぞれ場合に分けて比較する比較手段と、この比較手段の出力結果を用いて前記抽出した階調値の大きさの順に並べて、該並べた階調値の中央値を選択し出力する中央値選択手段とを含むことを特徴とする。
【００１４】
本発明のノイズ除去回路は、領域抽出手段で注目する位置の階調値に対して注目位置の階調値およびこの階調値の左右斜め方向に隣接する階調値を取り出し、取り出した各階調値に対する組合せすべての比較を比較手段で行い、この比較の結果から階調値の大きさにおける中央値を選択することにより、従来のフィルタ処理に用いる比較手段の組合せに比べて組合せの数、すなわち場合の数を少なく抑えていながら、従来のフィルタ処理と同程度のノイズ除去を行うことができる。
【００１５】
本発明のノイズ除去回路は上述の課題を解決するために、入射光を色分解する色フィルタセグメントの配列パターンがベイヤパターンで配列され、このベイヤパターンの各画素から得られた画素データを用いて生成される階調値に対して、この階調値のうち、配列された色フィルタセグメントの色に着目し、注目する位置の階調値を含み、この位置の階調値に対して色フィルタセグメントの色がすべて同色であり、かつ左右斜め方向に隣接する階調値を抽出する第１の観察窓領域と、この同色を示す色と異色の画素位置を注目位置の階調値にし、この注目位置の階調値を含み、この位置の階調値に対して左右斜め方向に隣接する色フィルタセグメントの色が同色であった位置の階調値を抽出する第２の観察窓領域とに分けて抽出する領域抽出手段と、この抽出した階調値をそれぞれ場合に分けて比較する比較手段と、この比較手段の出力結果を用いて抽出した階調値の大きさの順に並べて、この並べた階調値の中央値を選択し出力する中央値選択手段とを含むことを特徴とする。
【００１６】
本発明のノイズ除去回路は、領域抽出手段で注目位置の階調値を含み、この位置の色フィルタセグメントの色と左右斜め方向の色フィルタセグメントの色とが同色か異色かで階調値の取り出しを第１の観察窓領域と第２の観察窓領域に分けて、比較手段ではそれぞれの領域から取り出した階調値で比較し、中央選択手段で比較結果を基に中央値を選択することにより、従来のフィルタ処理に用いる比較手段の組合せに比べて組合せの数、すなわち場合の数を少なく抑えていながら、従来のフィルタ処理と同程度のノイズ除去を行うことができる。
【００１７】
本発明は上述の課題を解決するために、供給される画像データを輝度信号と色信号に変換し、該変換した輝度信号に含まれるノイズ成分の低減を図る画像処理装置において、この装置は、ノイズ成分の低減に用いる複数のフィルタを有するフィルタバンク手段と、供給される画素の配列および入射光を色分解する色フィルタセグメントの配列パターンに応じて複数のフィルタ中からノイズ低減フィルタを選択するフィルタ選択手段を含むことを特徴とする。
【００１８】
本発明の画像処理装置は、フィルタ選択手段が色フィルタセグメントの配列パターンに応じてフィルタバンク手段の中から一つのフィルタを選択し、この選択されたフィルタでノイズ除去することにより、供給される画像データのノイズ除去を配列パターンを考慮せずにノイズを除去した場合よりもノイズ除去の効果を発揮させることができる。
【００１９】
【発明の実施の形態】
次に添付図面を参照して本発明によるノイズ除去回路の実施例を詳細に説明する。
【００２０】
本実施例は本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。本実施例は本発明のノイズ除去回路を適用した画像処理装置10である。
【００２１】
画像処理装置10は、図２に示すように、ガンマ補正処理部12、RGB補間処理部14、YC変換処理部16、システム制御部18、フィルタ選択部20およびフィルタバンク22を含んでいる。ガンマ補正処理部12は、単板式の色フィルタで撮像され、得られたディジタル画像信号24を入力し、この画像信号24をあらかじめ格納したルックアップテーブルのガンマ補正した画素データ26に置換して、RGB補間処理部14に出力する。
【００２２】
RGB補間処理部14には、ガンマ補正された画素データ26が供給される。画像処理装置10には、単板式色フィルタを用いて得られた画像データ24がいることから、RGB補間処理部14は、色フィルタセグメントが対応していない色の画素データを周囲の画素データを用いて算出し、各画素においてRGBの画素データを補間生成する。
【００２３】
また、RGB補間処理部14には、単板式の色フィルタの配列パターンを示す選択信号28が供給されている。選択信号28は複数のビットで表し、画素ずらしの一方式である、いわゆるハニカム方式の画素配列の画像データが供給されたか否かを判別するための判定制御信号でもある。RGB補間処理部14には、複数のビットがそれぞれハニカム方式で撮像された画像データ（またはその画素配列）を示すか否かの判定回路（図示せず）が含まれている。判定回路がハニカム方式の画像データを示すとき、実際に画素の存在する実画素に対しても色フィルタセグメントの対応していない色の画素データを補間生成するとともに、実画素で囲まれた画素のない空領域を仮想画素としてこの位置における画素データも補間生成する。RGB補間処理部14は、補間処理により生成されたRGB画面、プレーンデータ30をYC変換処理部16に供給する。
【００２４】
選択信号28がハニカム方式の配列パターンであった場合、画素データに対する信号処理を広帯域化する処理で行ってもよい。たとえば、図示しないが、生成対象位置の色における画素データとその対象位置の周囲の画素データとの画素データ間の相関性を求め、強い相関性を有する画素データを用いて加算平均して得られたデータを高周波輝度データとし、高周波輝度データを用いて仮想画素に対する補間処理を行って、プレーンな高周波輝度データを生成する。そして、生成されたプレーンな高周波輝度データはHPF（High Pass Filter）に供給され、通過して得られた各画素に対応する高周波成分が各色の画素データのそれぞれに加算される。この加算により広帯域化されたRGB画素のプレーンデータ30が生成される。
【００２５】
YC変換処理部16は、供給されるプレーンデータ30を用いて、色差マトリクス演算処理を行うことにより各画素の輝度データY（32), 色差信号C（＝(C_r, C_b)）(34)をそれぞれ生成する。YC変換処理部16でも供給される選択信号28によりハニカム方式の画像データが入力されたか否かを判定する判定回路（図示せず）が含まれている。ハニカム方式と判定された場合、YC変換処理部16では、広帯域化した輝度データY 、色差データC_r, C_bそれぞれの周波数帯域を通すとともに、これら３つのデータに折返し歪みが生じないようにローパスフィルタ処理を施して不揮発性のフレームメモリに格納し、３ラインずつ出力する。また、次のラインは１ライン下にずらして３ラインを読み出す。したがって、この３ライン読出しは、２ライン重複して読み出すことになる。
【００２６】
この他、YC変換処理部16は、歪み防止処理として、水平および垂直方向の周波数帯域が重複しているか否かに応じて周波数の重複防止処理を施すことが好ましい。YC変換処理部16は、重複している場合、この領域に対して一方の方向の重複する周波数帯域に制限処理を行い、これにより、周波数の重複に伴って生じる画質劣化を回避する処理を行う。さらに、歪み防止処理を受けた輝度データYに対してアパーチャ調整を施してもよい。アパーチャ調整は、輪郭強調処理に相当する処理である。一方、歪み防止処理を受けた色差データC_r, C_bに対してゲイン調整を施してもよい。
【００２７】
YC変換処理部16は、このようにして生成された輝度データY（32)をフィルタ選択部20に供給する。また、YC変換処理部16は、生成された色差データC_r, C_b（34)を出力する。これまでに説明したガンマ補正処理部12、RGB補間処理部14およびYC変換処理部16には、システム制御部18から制御信号36がそれぞれ供給され、これら各部は制御信号36に応じて動作している。
【００２８】
フィルタ選択部20は、供給される輝度データY (32)をフィルタ選択先に切り換える機能を有している。フィルタ選択部20は、選択に応じて輝度データY (38a), (38b),・・・, (38n)が供給されるようにフィルタバンク22の各フィルタ部と接続している。そして、フィルタ選択部20にはデータの供給先を指示する選択信号28が供給されている。フィルタ選択部20は、図示しないが選択信号28がどのフィルタ部にデータを供給するかの情報をデコード処理する機能も有している。
【００２９】
ここで、選択信号28は、ユーザの操作により画像処理装置10の図示しない操作部で操作信号をエンコードしてビット生成してもよいし、操作信号に応じてシステム制御部18にて生成し出力するようにしてもよい。
【００３０】
フィルタバンク22には、複数種類のフィルタが含まれている。フィルタの種類としては、たとえば、ノイズ除去用にハニカム用メディアンフィルタ部22a、ベイヤ用メディアンフィルタ部22b、・・・、リカーシブ（または巡回）フィルタ部22nがある。フィルタバンク22は、フィルタ部の一部がシステム制御部18の制御を受けている。フィルタバンク22は、選択されたフィルタ部にてノイズ除去された輝度データY（40)を出力する。
【００３１】
フィルタバンク22において、ハニカム用メディアンフィルタ部22aには、図１に示すように、領域読出し部220aおよびメディアンフィルタ部222aが含まれている。領域読出し部220aには、あらわに図示しないが不揮発性の３ラインメモリが配設されている。３ラインメモリからデータを読み出す位置関係は、図３に示すように第２ラインの窓領域Cを中心に４つの窓領域A, B, D, Eを対角にして５つの輝度データを読み出す。この読出し方を斜め５画素読出しと呼ぶことにする。第１ラインの窓領域A, Bは、輝度データ220, 222を出力し、第２ラインの窓領域Cは、輝度データ224を出力する。そして、第３ラインの窓領域D, Eは、輝度データ226, 228をそれぞれ、出力する。さらに,領域読出し部220aは、制御信号36に応じて実画素に対応する輝度データから読み出す場合と仮想画素に対応する輝度データから読み出す場合に分けてメディアンフィルタ部222aに読み出している。この場合分けは、システム制御部18の制御信号36に応じて行われる。輝度データの読出しに関する詳細は後段で行う。
【００３２】
メディアンフィルタ部222aは、図４に示すように、比較部50および中央選択器52を含んでいる。比較部50および中央選択器52には、図示しないが比較や選択を行う上で用いるタイミング信号が供給されている。比較部50には、５つの輝度データの比較を行うために10個の比較器50a〜50jが配設されている。比較器50a〜50jは、５つの輝度データを２つずつ重複なく入力して比較する組合せの各場合を示している。したがって、組合せの数は、₅C₂＝5!/(3!2!)＝10である。一般的にメディアンフィルタでは、3×3＝9個の輝度データを用いている。この場合、組合せの数は36であり、本実施例の10個に比べて比較部50の比較器を1/3以下で構成することができる。比較部50は、各比較器の比較結果のデータ500〜518を中央選択器52に出力する。
【００３３】
中央選択器52には、中央値の候補として５つの輝度データ220〜228も供給されている。斜め５画素の輝度データに対する並べ替えをハードウェアで実現する場合、中央選択器52には、５つの大小関係を表すデコーダ（図示せず）が含まれている。デコーダは５個のデータの組合せを比較する10個の比較器50a〜50jからの比較結果（10ビット）を基に５個のデータの並べ替え5!＝120通りの中から中央値を選択する。この選択により９画素のデータを用いるメディアンフィルタと同等なノイズ低減をもたらす。この場合のノイズ低減効果は、シミュレーションにて確認されている。
【００３４】
これに対して、これまでの3×3のマスク内の９個のデータの組合せ36個の比較器を用いて得られた比較結果を基に９個のデータの並べ替え9!＝362880通りの中から中央値を選択する。この場合ハードウェアの構成が大きくなることから難しい。
【００３５】
なお、メディアンフィルタ部222aは、ハニカム方式の配列パターンだけでなく、色フィルタセグメントの配列に着目すると、ハニカム方式と似た色配列の関係がベイヤ配列パターンにも見出されることからベイヤパターンに対しても適用する。この適用については後段で説明する。
【００３６】
次に配列パターンと画素位置との関係について図５および図６を参照しながらまず図５に示す色フィルタを説明する。この色フィルタは、ハニカム方式のG正方RB完全市松パターンである。実線で示す色フィルタセグメントのそれぞれの直下に透過光を受光する光デバイスが配設され、得られた画素データが画像処理装置10に供給される。また、破線で示す○の位置に光デバイスは配設されていない。図５の色フィルタには、便宜上、仮想画素に色フィルタセグメントもないように表している。
【００３７】
選択信号28が、ハニカム方式の配色パターンを示すとき、YC変換処理部16には、図６に示すように、実画素に対応する輝度データY_R, Y_G, Y_Bおよび仮想画素に対応する破線で示す輝度データYが生成され、フレームメモリに格納されている。輝度データYの添字に用いた記号R, G, Bは、元の画素が持っていた色の属性を示している。そして、フィルタ選択部20は、フレームメモリからの輝度データ32をハニカム用メディアンフィルタ部22aに供給するように信号経路38aを選択する。
【００３８】
ハニカム用メディアンフィルタ22aの領域読出し部220aには、図６に示すように３ラインずつ輝度データ32が供給される。次の輝度データ32の供給時に、先の３ラインのうちの２ラインを重複するように供給する。領域読出し部220aは、この場合、制御信号36に応じて供給された３ラインのうち、輝度データの実画素領域（Y_R, Y_B, Y_G, Y_B, Y_R)の５つを図３の場合のように読み出す。次に読み出す５つの輝度データは、仮想画素領域で形成される斜め５画素配置の輝度データYを読み出す。水平方向に実線と破線とで実画素領域と仮想画素領域の読出し領域をそれぞれ区別して表している。輝度データの読出しは、このように実画素領域と仮想画素領域とに分けてそれぞれの領域の輝度データにおけるノイズの相関性が高くなるように読み出すとよい。このノイズの相関性が重要な意味を持っているからである。したがって、領域読出しが斜め５つの輝度データでなく、十字方向に５つの輝度データを読み出した場合、メディアンフィルタ処理を行ってもノイズ低減効果は十分得られないことがシミュレーションで確かめられている。
【００３９】
メディアンフィルタ部222aにおいては、領域ごとに５つの輝度データ220〜228が比較部50および中央選択器52にそれぞれ供給される。比較部50には、比較における組合せを考慮して５つの輝度データ220〜228を対応する比較器50a〜50jにそれぞれ供給して比較を行う。比較部50は、各比較器50a〜50jからの比較結果500〜518を中央選択器52に出力する。中央選択器52は、比較部50から供給される10ビットの比較結果500〜518に基づいて５つの輝度データにおける中央値40を選択し、出力する。この出力は、3×3のマスク領域内の９つの輝度データを用いて選択した場合と同等のノイズ低減効果があり、エッジ境界を保ち平滑化できることがシミュレーションにより確認されている。
【００４０】
このようにメディアンフィルタを斜め５画素で行うことにより、ノイズ低減効果を保ちながら、比較器の回路規模を大幅に小型化することができる。ハニカム方式の信号処理系に非常に有利なノイズ低減処理を提供することができる。
【００４１】
また、斜め５画素を用いたメディアンフィルタは、ハニカム方式におけるメディアンフィルタに限定されるものでなく、色フィルタが図７に示すベイヤ配列の場合にも適用することができる。供給される選択信号28がベイヤパターンを示しているとき、図８に示すように、実画素すべての輝度データYが不揮発性のフレームメモリ（図示せず）に生成される。使用する輝度データの領域を区別するため、図８では、元々の画素データの色属性RGBを添字で示している。
【００４２】
フィルタ選択部20は、生成された輝度データ32を供給される選択信号28に応じてベイヤ用メディアンフィルタ22bに供給するように選択する。この場合も斜め５つの輝度データを用いることから、領域読出し部220aでは図示しない３ラインの不揮発性メモリに前述したハニカム方式の場合と同様に輝度データを格納する。領域読出し部220aでは、制御信号36に応じて輝度データY_G（正方形の領域）が一つの領域として読み出され、もう一つの領域として○で示した５つの輝度データが読み出される。後者の領域は、５つの輝度データの中心が輝度データY_Bのとき、対角に位置する周囲の４つの輝度データはY_Rをセットとする。逆に、中心が輝度データY_Rのとき、対角に位置する周囲の４つの輝度データはY_Bとする。このように色Gの位置に対応する輝度データY_Gと混じらないように区分し、水平方向に実線と一点鎖線とで示すようなそれぞれの領域ごとに５つの輝度データを読み出してベイヤ用メディアンフィルタに供給する。ベイヤ用メディアンフィルタは、図４のハニカム用メディアンフィルタとまったく同じ構成でよい。ベイヤ用メディアンフィルタにおいても供給される５つの輝度データの中央値が選択されて出力される。
【００４３】
このように構成しても９つのデータを用いてメディアンフィルタ処理を行った場合と同様のノイズ低減効果が得られ、画像はエッジ境界を保って平滑化される。
【００４４】
画像処理装置10は、輝度データY（40)および色差データC（34)を用いてRGB変換を施して得られたRGBデータをモニタ（図示せず）に供給して表示させるように構成を追加してもよい。画像処理装置10は、ノイズ低減された画像データをモニタに表示することにより、各フィルタの効果を確認することができる。
【００４５】
本発明のノイズ除去回路を適用した画像処理装置10は、メディアンフィルタに適用した場合について説明したが、この実施例に限定されるものでなく、他のフィルタ処理においてもノイズの相関性を考慮して輝度データの使用する領域を区分してフィルタ処理を行うことが好ましい。
【００４６】
以上のように構成することにより、ノイズの相関性を考慮して領域を分けて斜め５つの輝度データを読み出してメディアンフィルタ処理を行っても、９つの輝度データを用いて行った際に得られるノイズ低減効果と同程度の効果を得ることができる。また、使用するデータを抑えることにより、従来のフィルタ構成、特に回路規模が非常に大きなメディアンフィルタの場合構成を大幅に小型化することができ、ハードウェアで構成することにより、処理の高速化も図ることができる。ハニカム方式やベイヤ等の配列パターンにより得られた画像に対して有利なノイズ除去を行うことができる。
【００４７】
複数のフィルタを有する画像処理装置において、使用するフィルタを色フィルタ配列に応じて選択することにより、供給される画像データに対するフィルタ処理効果を高めることができる。特に、ハニカム方式やベイヤ等の配列パターンに応じてノイズ低減効果を十分に発揮させることができる。
【００４８】
【発明の効果】
このように本発明のノイズ除去回路によれば、領域抽出手段で注目する位置の階調値に対して注目位置の階調値およびこの階調値の左右斜め方向に隣接する階調値を取り出し、取り出した各階調値に対する組合せすべての比較を比較手段で行い、この比較の結果から階調値の大きさにおける中央値を選択して、従来のフィルタ処理に用いる比較手段の組合せに比べて組合せの数、すなわち場合の数を少なく抑えていながら、従来のフィルタ処理と同程度のノイズ除去を行うことにより、従来のフィルタの構成に比べてその構成を大幅に小型化することができ、ハードウェアで構成することにより、処理の高速化も図ることができる。また、ハニカム方式やベイヤ等の配列パターンにより得られた画像に対して有利なノイズ除去を行うことができる。
【００４９】
また、本発明の画像処理装置によれば、フィルタ選択手段が色フィルタセグメントの配列パターンに応じてフィルタバンク手段の中から一つのフィルタを選択し、この選択されたフィルタでノイズ除去することにより、供給される画像データのノイズ除去を配列パターンを考慮せずにノイズを除去した場合よりもノイズ除去の効果を発揮させることができる。特に、ハニカム方式やベイヤ等の配列パターンに応じてノイズ低減効果を十分に発揮させることができる。
【図面の簡単な説明】
【図１】本発明のノイズ除去回路を画像処理装置に適用したハニカム用メディアンフィルタ部の概略的な構成を示すブロック図である。
【図２】図１の画像処理装置の概略的な全体構成を示すブロック図である。
【図３】図２の領域読出し部における斜め５画素の位置関係を説明する図である。
【図４】図２のメディアンフィルタの概略的な構成を示すブロック図である。
【図５】図１の画像処理装置に供給されるハニカム方式により得られた画像データの配色位置関係を説明する図である。
【図６】図５のハニカム方式の画像データから得られる実画素および仮想画素の輝度データの位置関係を説明する図である。
【図７】図１の画像処理装置に供給されるベイヤパターンにより得られた画像データの配色位置関係を説明する図である。
【図８】図７のベイヤパターンの画像データから得られる元々の色を基に領域区分する輝度データの位置関係を説明する図である。
【符号の説明】
10 画像処理装置
12 ガンマ補正処理部
14 RGB補間処理部
16 YC変換処理部
18 システム制御部
20 フィルタ選択部
22 フィルタバンク
22a ハニカム用メディアンフィルタ
22b ベイヤ用メディアンフィルタ
220a 領域読出し部
222a メディアンフィルタ部

Claims

一画素に対して隣接する画素が水平および垂直方向に画素ピッチの半分ずつずれて配列され、該配列された画素を実在画素とし、該実在画素に挟まれた領域を仮想画素とし、得られた画素データを用いて生成された階調値に対して、該階調値のうち、注目する位置の階調値に対して該階調値を含み、左右斜め方向に隣接する階調値を観察窓領域として抽出する領域抽出手段と、
該観察窓領域の位置の組合せを比較における場合分けとして用い、該組合せが示す位置それぞれに該当する抽出した観察窓領域の階調値を比較する比較手段と、
該比較手段の出力結果を用いて前記抽出した階調値の大きさの順に並べて、該並べた階調値の中央値を選択し出力する中央値選択手段とを含むことを特徴とするノイズ除去回路。
請求項１に記載の回路において、前記領域抽出手段は、前記画素の配列で供給される画素データの相関性を考慮し、該相関の強い階調値同士を抽出することを特徴とするノイズ除去回路。
請求項１または２に記載の回路において、前記領域抽出手段は、前記観察窓領域内の注目する位置の階調値を前記実在画素または前記仮想画素に分けて選択することを特徴とするノイズ除去回路。
入射光を色分解する色フィルタセグメントの配列パターンがベイヤパターンで配列され、該ベイヤパターンの各画素から得られた画素データを用いて生成される階調値に対して、該階調値のうち、前記配列された色フィルタセグメントの色に着目し、注目する位置の階調値を含み、該位置の階調値に対して前記色フィルタセグメントの色がすべて同色であり、かつ左右斜め方向に隣接する階調値を抽出する第１の観察窓領域と、前記同色を示す色と異色の画素位置を前記注目位置の階調値にし、該注目する位置の階調値を含み、該位置の階調値に対して左右斜め方向に隣接する色フィルタセグメントの色が同色であった位置の階調値を抽出する第２の観察窓領域とに分けて抽出する領域抽出手段と、
該観察窓領域の位置の組合せを比較における場合分けとして用い、該組合せが示す位置それぞれに該当する抽出した観察窓領域の階調値を比較する比較手段と、
該比較手段の出力結果を用いて前記抽出した階調値の大きさの順に並べて、該並べた階調値の中央値を選択し出力する中央値選択手段とを含むことを特徴とするノイズ除去回路。
請求項４に記載の回路において、前記領域抽出手段は、前記画素の配列で供給される画素データの相関性を考慮し、該相関の強い階調値同士を抽出することを特徴とするノイズ除去回路。
請求項４または５に記載の回路において、前記領域抽出手段は、第１の観察窓領域の前記階調値を前記色フィルタセグメントの色が緑色の位置の階調値にし、第２の観察窓領域における前記注目位置の階調値を前記色フィルタセグメントの色が赤色または青色の位置にして、隣接する左右斜め方向の階調値をそれぞれ前記色フィルタセグメントの色が青色または赤色にして抽出することを特徴とするノイズ除去回路。
請求項１ないし６のいずれか一項に記載の回路において、該回路は、供給される画像データを輝度信号と色信号に変換し、該変換した輝度信号に含まれるノイズ成分の低減を図る画像処理装置に適用し、
該回路は、前記輝度信号に含まれるノイズ成分の低減に用いる複数のフィルタを有するフィルタバンク手段に含まれ、
該装置は、さらに、供給される画素の配列および入射光を色分解する色フィルタセグメントの配列パターンに応じて複数のフィルタ中からノイズ低減フィルタを選択するフィルタ選択手段を含むことを特徴とする画像処理装置。
請求項７に記載の装置において、前記フィルタバンク手段は、前記画素のそれぞれに対応して供給される輝度信号を輝度の階調を表す輝度データとし、前記画素の配列において元々存在した画素位置に供給された輝度データ同士と、該輝度データまたは前記画像データに基づいて補間生成された輝度データ同士とに分けて、該輝度データをフィルタリング処理するフィルタを含むことを特徴とする画像処理装置。
請求項７または８に記載の装置において、前記フィルタバンク手段は、供給される画像の各画素に対して隣接する画素が水平および垂直方向に画素ピッチの半分ずつずれた位置関係にあって、実際に配列された画素を実在画素とし、該実在画素に挟まれた領域を仮想画素とし、該画像のフィルタ処理を前記実在画素位置から供給された輝度データ同士と前記仮想画素位置から供給された輝度データ同士で行う第１のフィルタ手段を含むことを特徴とする画像処理装置。
請求項７、８または９に記載の装置において、前記フィルタバンク手段は、前記色フィルタセグメントの配列がベイヤ配列で供給される画像に対する該画像のフィルタ処理を前記色フィルタセグメントの色が緑色（G)の画素位置から供給された輝度データ同士と前記色フィルタセグメントの色が赤色（R)または青色（B)の画素位置から供給された輝度データ同士とで行う第２のフィルタ手段を含むことを特徴とする画像処理装置。
請求項９または10に記載の装置において、前記フィルタバンク手段は、第１および第２のフィルタ手段がメディアンフィルタ処理を行うメディアンフィルタであることを特徴とする画像処理装置。