JP4411879B2 - 信号処理装置、信号処理プログラム、および電子カメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電子カメラ、ビデオカメラ、スキャナ、プリンタなどの画像機器に適用される信号処理技術に関する。
【０００２】
【従来の技術】
一般に、画像機器には、画素信号に輪郭強調やノイズ除去を施すため、空間周波数フィルタをかけるものが搭載される。
例えば、ノイズ除去の空間周波数フィルタとしては、処理対象の画素を中心にして、３×３の画素ブロックを切り出し、これら画素ブロックに対して、
１ １ １
１ ２ １
１ １ １
の係数群を乗じて、加重平均を取る手法が知られている。
【０００３】
また例えば、輪郭強調の空間周波数フィルタとしては、処理対象の画素を中心にして、３×３の画素ブロックを切り出し、これら画素ブロックに対して、
−１ −１ −１
−１ ９ −１
−１ −１ −１
の係数群を乗じて、加算する手法が知られている。
【０００４】
また、これらの係数群を調整（画素ブロックのサイズ調整も含む）することによって、ノイズ除去や輪郭強調の強弱を調整できることも公知である。
また、下記の特許文献１には、処理対象の画素信号を、明度、彩度および色相の信号に分解し、明度および彩度の信号に対して、輪郭の強調および弛緩を施す技術が開示されている。
【０００５】
【特許文献１】
特開平５−１７４１４２公報
【０００６】
【発明が解決しようとする課題】
上述の従来例は、全ての画素に対して、輪郭強調やノイズ除去を一律に施すものであった。そのため、多種多様な絵柄の画像において処理結果に破綻が生じないよう、控えめに輪郭強調やノイズ除去を施す必要があった。そのため、画像中において積極的に輪郭強調したい箇所や、より強くノイズ除去したい箇所に対して十分な信号処理をかけることができず、最適な処理結果を得ることが困難であった。
【０００７】
そこで、まず本発明では、画像信号を解析し、その解析結果に応じて空間周波数フィルタの強弱を調整する。
ところで、空間周波数フィルタを調整した場合、画素信号に含まれるノイズによって信号処理が必要以上に変動し、その変動によってノイズが目立ってしまうという問題が生じる。
【０００８】
さらに、１画素単位に信号処理を変化させた場合、信号処理が大幅変化する箇所が画面内に多数発生する。これらの箇所において、信号処理の段差が偽信号（ノイズ）になって目立つという問題が生じる。
そこで、本発明の目的は、空間周波数フィルタの強弱を調整するに際して、このようなノイズの問題を改善することにある。
【０００９】
【課題を解決するための手段】
以下、本発明について説明する。
【００１０】
本発明の信号処理装置は、入力された画素信号に対して空間周波数フィルタをかけてノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備える。この係数適正化部は、下記の解析部、対応設定部、および係数決定部を含む。
【００１１】
まず、解析部は、信号処理の対象画素を含むように局所域を設定し、局所域の複数の画素信号を処理して平均的な色情報（以下『平均色情報』という）を求める。例えば、この平均化の演算処理としては、平均値、加重平均値、メディアン値、最頻度値、最大最小を除いた平均値などを求める演算処理が好ましい。
対応設定部には、『平均色情報』と『適正係数群』との対応関係が予め設定される。
【００１２】
係数決定部は、解析部で求めた平均色情報に基づいて、対応設定部の対応関係を照合し、処理対象の画素に使用する適正係数群を調整する。
上述した信号処理では、画像の色情報に基づいて、空間周波数フィルタの係数群を変更する。その結果、例えば、ノイズの目立つ色相や彩度においてノイズ除去を選択的に強めることによって、画像の視覚的なノイズ感を改善することができる。また例えば、階調変化の目立つ色相や彩度において輪郭強調を選択的に強めることによって、画像の鮮鋭感を効果的に高めることが可能になる。
【００１３】
さらに、上述した信号処理では、処理対象１画素分の色情報ではなく、局所域の平均的な色情報に基づいて、空間周波数フィルタ（つまり適正係数群）を調整する。この場合、処理対象の画素にノイズが多く含まれていても、局所域の平均的な値である平均色情報は、ノイズの影響を直に受けない。そのため、画素信号のノイズによって空間周波数フィルタの係数が敏感に変動することが殆どなく、ノイズが目立つという現象を改善できる。
【００１４】
さらに、隣接する画素においては、局所域の範囲の大半が重複する。そのため、平均色情報は、隣接する画素間で急激に変化することがない。このことから、隣接する画素間において、空間周波数フィルタが大幅に変化することはなくなり、空間周波数フィルタの大幅変化によって偽信号（ノイズ）が発生するという現象が改善される。。
【００１５】
なお、多様な色ノイズがランダムに発生している箇所では、局所域における色情報の分散やレンジが大きくなる。また、このような箇所では、多様な色ノイズが平均化されることにより、平均色情報は無彩色に近づく。そこで、これら特徴から色ノイズの発生箇所を検出し、その発生箇所に対しては、色ノイズを低減する方向に空間周波数フィルタの係数を調整することが好ましい。
【００１６】
また、係数適正化部は、処理対象の画素を含む局所域の平均的な色相が、緑色またはシアン色であれば輪郭強調を強める方向に適正係数群を調整し、赤色または黄色であればノイズ除去を強める方向に適正係数群を調整する。
【００１７】
上述した信号処理では、緑色またはシアン色の箇所において選択的に輪郭強調を強める。一般に、緑色やシアン色の階調変化は、人間にとって視覚的な感度が高いため、これらの色相において輪郭強調を選択的に強めることによって、画像の鮮鋭感を効果的に強めることができる。
また、風景などの被写体において緑色の箇所は、木の葉の茂みや草原のように、微細な画像変化が集中するディテール部分である可能性が高い。そのため、緑色の箇所について選択的に輪郭強調を強めることによって、ディテール部分の階調変化を強調して、情報量が豊かな画像を得ることができる。
【００１８】
一方、上述した信号処理では、赤色または黄色の箇所において選択的にノイズ除去を強める。一般に、赤色や黄色の箇所はノイズによる彩度ムラ（色の濁り）が目立ちやすい。そのため、これら箇所のノイズ除去を選択的に強めることによって、画像の彩度ムラを良好に改善できる。
また、人物などの被写体において、赤色または黄色の箇所は、緩やかに階調変化する肌部分である可能性が高い。したがって、赤色または黄色の箇所において選択的にノイズ除去を強めることによって、肌部分のノイズ感を低減し、肌部分の緩やかな階調変化を良好に再現することが可能になる。
【００１９】
また、本発明の信号処理装置は、入力された画素信号に対して空間周波数フィルタをかけて、ノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備える。この係数適正化部は、下記の解析部、収差判定部、係数決定部を有する。
【００２０】
まず、解析部は、信号処理の対象画素を含むように局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、および平坦度を算出する。
収差判定部は、
（１）平均色情報が、緑およびマゼンダのどちらかの色相範囲に入り、
（２）かつ平坦度が、予め定められた閾値よりも低く、色境界またはエッジ部であることを示す
という条件を満足するか否かを判定する。
【００２１】
係数決定部は、上記の条件（１）（２）を全て満足すると、処理対象の画素に使用する適正係数群を、『ノイズ除去を強める方向』および／または『輪郭強調を弱める方向』に調整する。
【００２２】
一般に、これらの条件（１）（２）の両方を満足する箇所は、倍率色収差の出現箇所である可能性が高い。したがって、この箇所において、ノイズ除去を強めたり、あるいは輪郭強調を弱めることにより、画像中に現れる倍率色収差を目立ちにくくすることができる。
【００２３】
また、本発明の信号処理装置は、入力された画素信号に対し、空間周波数フィルタをかけてノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備える。この係数適正化部は、下記の解析部、肌判定部、および係数決定部を有する。
【００２４】
まず、解析部は、信号処理の対象画素を含むように局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する。
肌判定部は、
（１）平均色情報が、予め定められた肌色の色相範囲に入り、
（２）かつ平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入り、
（３）かつ平坦度が、予め定められた閾値より平坦で、肌の平坦度の範囲に入る
という条件を満足するか否かを判定する。
【００２５】
係数決定部は、肌判定部において条件（１）〜（３）を全て満足すると、処理対象の画素に使用する適正係数群を、『ノイズ除去を強める方向』および／または『輪郭強調を弱める方向』に調整する。
【００２６】
一般に、これらの条件（１）〜（３）を全て満足する箇所は、人物被写体の肌部分である可能性が高い。したがって、この箇所において選択的にノイズ除去を強めたり、あるいは輪郭強調を弱めることにより、肌部分のノイズを軽減したり、頬などの階調変化をより忠実に再現することができる。
【００２７】
また、本発明の信号処理装置は、入力された画素信号に対し、空間周波数フィルタをかけてノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備える。この係数適正化部は、下記の解析部、青空判定部、および係数決定部を有する。
【００２８】
まず、解析部は、信号処理の対象画素を含むように局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する。
青空判定部は、
（１）平均色情報が、予め定められた青空の色相範囲に入り、
（２）かつ平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入り、
（３）かつ平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る
という条件（１）〜（３）を満足するか否かを判定する。
【００２９】
係数決定部は、青空判定部において条件（１）〜（３）を全て満足すると、処理対象の画素に使用する適正係数群を、『ノイズ除去を強める方向』および／または『輪郭強調を弱める方向』に調整する。
【００３０】
一般に、これらの条件（１）〜（３）を全て満足する箇所は、青空部分である可能性が高い。したがって、この箇所において選択的にノイズ除去を強めたり、あるいは輪郭強調を弱めることにより、青空部分のノイズを軽減したり、青空の階調変化をより忠実に再現することができる。
【００３１】
また、係数適正化部は、処理対象の画素を含む局所域の平均的な色相が、緑色またはシアン色であれば輪郭強調を強める方向に適正係数群を調整し、赤色または黄色であればノイズ除去を強める方向に適正係数群を調整する。
【００３２】
上述した信号処理では、緑色またはシアン色の箇所において選択的に輪郭強調を強める。一般に、緑色やシアン色の階調変化は、人間にとって視覚的な感度が高いため、これらの色相において輪郭強調を選択的に強めることによって、画像の鮮鋭感を効果的に強めることができる。
【００３３】
また、風景などの被写体において緑色の箇所は、木の葉の茂みや草原のように、微細な画像変化が集中するディテール部分である可能性が高い。そのため、緑色の箇所について選択的に輪郭強調を強めることによって、ディテール部分の階調変化を強調して、情報量が豊かな画像を得ることができる。
【００３４】
一方、上述した信号処理では、赤色または黄色の箇所において選択的にノイズ除去を強める。一般に、赤色や黄色の箇所はノイズによる彩度ムラ（色の濁り）が目立ちやすい。そのため、これら箇所のノイズ除去を選択的に強めることによって、画像の彩度ムラを良好に改善できる。
【００３５】
また、人物などの被写体において、赤色または黄色の箇所は、緩やかに階調変化する肌部分である可能性が高い。したがって、赤色または黄色の箇所において選択的にノイズ除去を強めることによって、肌部分のノイズ感を低減し、肌部分の緩やかな階調変化を良好に再現することが可能になる。
【００３６】
また、係数適正化部は、処理対象の画素を含む局所域の平均的な輝度が所定の中間階調の範囲内であれば、輪郭強調を強める方向に適正係数群を調整し、それ以外であれば、ノイズ除去を強める方向に適正係数群を調整する。
【００３７】
上述した信号処理では、局所域の輝度がほぼ一様で、かつ所定の中間階調の範囲内にあれば、処理対象の箇所は輪郭が鮮明に強調される。その結果、輝度が中間階調に集中するような低コントラストの画像において、階調変化のメリハリを強調することが可能になり、インパクトの強い良好な画像が得られる。
【００３８】
一方、局所域の輝度が一様に中間階調の範囲以外（明部または暗部）であれば、処理対象の箇所のノイズが強く除去される。したがって、明部において画素信号の信号レベルが輪郭強調によって飽和したり、暗部のノイズが目立ってしまうなどの弊害を的確に防止できる。
【００３９】
本発明の信号処理プログラムは、コンピュータを、上述した信号処理部、および係数適正化部として機能させることを特徴とする。
この信号処理プログラムを使用することにより、コンピュータ上において、本発明の信号処理装置を実現することが可能になる。
【００４０】
本発明の電子カメラは、被写体を撮像して、画素信号を生成する撮像部と、撮像部により生成される画素信号に空間周波数フィルタをかける信号処理装置とを備える。特に、この信号処理装置は、上述した信号処理装置であることを特徴とする。
【００４５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００４６】
《実施形態》
［実施形態の構成説明］
図１は、本実施形態の電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。この撮像素子１３から走査出力される画素信号は、Ａ／Ｄ変換部１４およびホワイトバランス調整部１５を介して処理された後、バッファ１６に画像データとして格納される。
【００４７】
このバッファ１６内の画像データは、色補間部１７、階調変換部１８、色変換部１９、ノイズ除去部２０、および輪郭強調部２１を介して処理された後、不図示の記録媒体に圧縮記録される。
さらに、電子カメラ１１には、解析部２２、係数決定部２３、および対応設定部２４が設けられる。
この解析部２２および係数決定部２３は、マイクロプロセッサなどから構成される。一方、対応設定部２４はメモリなどから構成される。
なお、請求項記載の収差判定部、肌判定部、および青空判定部は、この対応設定部２４に含まれる。
【００４８】
［実施形態の動作説明］
図２の流れ図に、電子カメラ１１がノイズ除去および輪郭強調の適正係数群を画素単位に決定する動作を示す。
以下、この図２に示すステップ順に沿って、本発明の特徴的動作について説明する。
【００４９】
ステップＳ１： 解析部２２は、信号処理の処理対象とする画素を含む局所域を設定する。解析部２２は、この局所域に位置する複数の画素信号をバッファ１６から読み出す。
図３は、この局所域の一例を示す図である。この例では、処理対象の画素（太字で示す画素）を中心に横９画素×縦７画素の範囲を、局所域に設定する。この局所域のサイズについては、画像データの縦横画素数や出力解像度や印刷サイズや表示サイズに合わせて拡大縮小することが好ましい。
【００５０】
なお、処理対象が画面の端近くに位置する場合、局所域の設定範囲が画像データからはみ出す。
このような場合、画面の端を対称軸にして画素折り返しを行い、局所域の空白部分を画素折り返しで埋めることが好ましい。
また、処理対象の画素信号や近傍の画素信号やメディアン値などを用いて、局所域の空白部分を埋めてもよい。
【００５１】
ステップＳ２： 解析部２２は、局所域に含まれる複数の画素信号に基づいて、次のような手順に従って平均輝度情報を求める。
まず、解析部２２は、この局所域の複数の画素信号を色毎に加算し、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を求める。
【００５２】
例えば、図３［Ａ］のように、ベイヤ配列のＢ行中のＧ画素（以下『Ｇｂ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。（ただし、垂直位置ｙかつ水平位置xの画素信号は、Cyxと表記する。例えば、C23は局所域中心の画素信号に該当する。以下同じ）
ＴΣ(R)＝(C11+C13+C15+C31+C33+C35)
ＴΣ(B)＝(C00+C02+C04+C06+C20+C22+C24+C26+C40+C42+C44+C46)
ＴΣ(G)＝(C01+C03+C05+C10+C12+C14+C16+C21+C23+C25+C30+C32+C34+C36+C41+C43+C45)
【００５３】
また例えば、図３［Ｂ］のように、ベイヤ配列のＲ行中のＧ画素（以下『Ｇｒ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ(R)＝(C00+C02+C04+C06+C20+C22+C24+C26+C40+C42+C44+C46)
ＴΣ(B)＝(C11+C13+C15+C31+C33+C35)
ＴΣ(G)＝(C01+C03+C05+C10+C12+C14+C16+C21+C23+C25+C30+C32+C34+C36+C41+C43+C45)
【００５４】
また例えば、図３［Ｃ］のように、ベイヤ配列のＢ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ(R)＝(C10+C12+C14+C16+C30+C32+C34+C36)
ＴΣ(B)＝(C01+C03+C05+C21+C23+C25+C41+C43+C45)
ＴΣ(G)＝(C00+C02+C04+C06+C11+C13+C15+C20+C22+C24+C26+C31+C33+C35+C40+C42+C44+C46)
【００５５】
また例えば、図３［Ｄ］のように、ベイヤ配列のＲ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ(R)＝(C01+C03+C05+C21+C23+C25+C41+C43+C45)
ＴΣ(B)＝(C10+C12+C14+C16+C30+C32+C34+C36)
ＴΣ(G)＝(C00+C02+C04+C06+C11+C13+C15+C20+C22+C24+C26+C31+C33+C35+C40+C42+C44+C46)
【００５６】
解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）の総和を、加算した画素数で割って、平均輝度情報を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均輝度情報を求めてもよい。
【００５７】
ステップＳ３： 続いて、解析部２２は、平均色情報として、局所域の平均的な色度座標を下式を用いて算出する。
【００５８】
（Ｒ／Ｇ，Ｂ／Ｇ）＝（ＴΣ（Ｒ）／ＴΣ（Ｇ），ＴΣ（Ｂ）／ＴΣ（Ｇ））
なお、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）は、加算した画素数に応じて正規化しておくことが好ましい。
このように求めた色度座標（Ｒ／Ｇ，Ｂ／Ｇ）からは、局所域の色相（図４参照）や彩度を識別することができる。
【００５９】
ステップＳ４： さらに、解析部２２は、局所域の平坦度を次の手順で求める。
なお、ここでは説明を簡明にするため、Ｇｂ画素が局所域の中心に位置するケース（図３［Ａ］参照）について説明する。その他のケースについては、局所域の色配置を考慮して同様の計算を行えば、平坦度を求めることができる。
【００６０】
（１）垂直方向の領域差分ＵＤ（Ｒ），ＵＤ（Ｂ），ＵＤ（Ｇ）を求める。
UD(R)＝|(C11+C13+C15)-(C31+C33+C35)|
UD(B)＝|(C00+C02+C04+C06)-(C40+C42+C44+C46)|
UD(G)＝|(C01+C03+C05+C10+C12+C14+C16)-(C30+C32+C34+C36+C41+C43+C45)|
【００６１】
（２）水平方向の領域差分ＬＲ（Ｒ），ＬＲ（Ｂ），ＬＲ（Ｇ）を求める。
LR(R)＝|(C11+C31)-(C15+C35)|
LR(B)＝|(C00+C02+C20+C22+C40+C42)-(C04+C06+C24+C26+C44+C46)|
LR(G)＝|(C01+C10+C12+C21+C30+C32+C41)-(C05+C14+C16+C25+C34+C36+C45)|
【００６２】
（３）斜め右下方向の領域差分ＡＮ１（Ｒ），ＡＮ１（Ｂ），ＡＮ１（Ｇ）を求める。
AN1(R)＝|(C11+C13+C31)-(C15+C33+C35)|
AN1(B)＝|(C00+C02+C04+C20+C22+C40)-(C06+C24+C26+C42+C44+C46)|
AN1(G)＝|(C01+C03+C10+C12+C21+C30)-(C16+C25+C34+C36+C43+C45)|
【００６３】
（４）斜め右上方向の領域差分ＡＮ２（Ｒ），ＡＮ２（Ｂ），ＡＮ２（Ｇ）を求める。
AN2(R)＝|(C13+C15+C35)-(C11+C31+C33)|
AN2(B)＝|(C02+C04+C06+C24+C26+C46)-(C00+C20+C22+C40+C42+C44)|
AN2(G)＝|(C03+C05+C14+C16+C25+C36)-(C10+C21+C30+C32+C41+C43)|
【００６４】
（５）色毎に最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）を求める。
STEP(R)＝MAX(UD(R),LR(R),AN1(R),AN2(R))
STEP(B)＝MAX(UD(B),LR(B),AN1(B),AN2(B))
STEP(G)＝MAX(UD(G),LR(G),AN1(G),AN2(G))
【００６５】
（６）色毎の最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）の平均値を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均値を求めてもよい。
【００６６】
このように求めた最大差分の平均値が大きいほど、局所域の平坦度が低いと評価できる。また逆に、この最大差分の平均値が小さいほど、局所域の平坦度が高いと評価できる。
【００６７】
ステップＳ５： 係数決定部２３は、平均輝度情報、平均色情報、および平坦度を解析部２２から情報取得する。
係数決定部２３は、これらの情報を対応設定部２４に照会する。対応設定部２４は、これらの情報を下記条件（１）（２）に照合し、処理対象の画素が倍率色収差の箇所か否かを判定する。
（１）平均色情報が、緑およびマゼンダのいずれかの色相範囲に入る。
（２）平坦度が予め定められた閾値よりも低くて、色境界またはエッジ部であることを示す。
なお、ここでの閾値は、倍率色収差が目立ちはじめる平坦度に設定することが好ましい。
条件（１）（２）をいずれも満足すると、係数決定部２３は、処理対象が倍率色収差の発生箇所であると判断して、ステップＳ６に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ７に動作を移行する。
【００６８】
なお、下記の条件（３）（４）を判断に加えることで、より確実に倍率色収差の発生箇所か否かを判定してもよい。
（３）画面の周辺部である
（４）撮影光学系の情報（焦点距離、収差情報など）から倍率色収差の発生可能性が高い
【００６９】
ステップＳ６： このステップでは、処理対象の画素が、倍率色収差の発生箇所である可能性が高い。そこで、係数決定部２３は、倍率色収差に最適化した適正係数群を選択し、ノイズ除去部２０および輪郭強調部２１に伝達する。なお、この適正係数群は、信号処理後の倍率色収差の目立ちやすさを主観評価して適宜に決定すればよい。
【００７０】
一般的な調整傾向としては、この適正係数群によって、ノイズ除去部２０の空間周波数フィルタは、ノイズ除去を強める方向に調整される。一方、輪郭強調部２１の空間周波数フィルタは、輪郭強調を弱める方向に調整される。
このような調整により、処理対象の画素信号に対して、倍率色収差を目立たなくするような信号処理が施される。
【００７１】
ステップＳ７： 係数決定部２３は、平均輝度情報、平均色情報、および平坦度を対応設定部２４に照会する。対応設定部２４は、これらの情報を下記条件（１）（２）（３）に照合し、処理対象の画素が肌部分か否かを判定する。
（１）平均色情報が、予め定められた肌色の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より高く、肌の平坦度の範囲に入る。
【００７２】
ここでの閾値は、種々の撮影結果から肌の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が肌部分であると判断して、ステップＳ８に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ９に動作を移行する。
【００７３】
ステップＳ８： このステップでは、処理対象の画素が、肌部分である可能性が高い。そこで、係数決定部２３は、肌部分に最適化した適正係数群を選択し、ノイズ除去部２０および輪郭強調部２１に伝達する。なお、この適正係数群は、信号処理後の肌部分の画質を主観評価して適宜に決定すればよい。
一般的な調整傾向としては、この適正係数群により、ノイズ除去部２０の空間周波数フィルタは、ノイズ除去を強める方向に調整される。一方、輪郭強調部２１の空間周波数フィルタは、輪郭強調を弱める方向に調整される。
このような動作により、処理対象の画素信号に対して、肌部分のノイズを低減し、かつ肌部分の微妙な階調変化を忠実に再現するような信号処理が施される。
【００７４】
ステップＳ９： 係数決定部２３は、平均輝度情報、平均色情報、および平坦度を対応設定部２４に照会する。対応設定部２４は、これらの情報を下記条件（１）（２）（３）に照合し、処理対象の画素が青空部分か否かを判定する。
（１）平均色情報が、予め定められた青空の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る。
【００７５】
ここでの閾値は、種々の撮影結果から青空の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が青空の箇所であると判断して、ステップＳ１０に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ１１に動作を移行する。
【００７６】
ステップＳ１０： このステップでは、処理対象の画素が、青空である可能性が高い。そこで、係数決定部２３は、青空部分に最適化した適正係数群を選択し、ノイズ除去部２０および輪郭強調部２１に伝達する。なお、この適正係数群は、信号処理後の青空部分の画質を主観評価して適宜に決定すればよい。
一般的な調整傾向としては、この適正係数群により、ノイズ除去部２０の空間周波数フィルタは、ノイズ除去を強める方向に調整される。一方、輪郭強調部２１の空間周波数フィルタは、輪郭強調を弱める方向に調整される。
このような動作により、処理対象の画素信号に対して、青空部分のノイズを低減し、かつ青空部分の微妙な階調変化を忠実に再現するような信号処理が施される。
【００７７】
ステップＳ１１： 係数決定部２３は、平均色情報を、対応設定部２４に記憶される対応関係に照合して、局所域の平均的な色相を判断する。
ここで、平均色情報の色相が緑またはシアンに該当すると、係数決定部２３はステップＳ１２に動作を移行する。
一方、平均色情報の色相が赤または黄に該当すると、係数決定部２３はステップＳ１３に動作を移行する。
なお、平均色情報の彩度が所定の閾値よりも低い場合は、無彩色に近い領域と判断して、ステップＳ１１〜Ｓ１３の調整をバイパスすることが好ましい。
【００７８】
ステップＳ１２： このステップでは、局所域の平均的な色相が緑またはシアンに該当する。このような箇所において、係数決定部２３は、輪郭強調部２１の空間周波数フィルタを輪郭強調を強める方向に調整する。さらに、係数決定部２３は、ノイズ除去部２０の空間周波数フィルタをノイズ除去を弱める方向に調整する。
【００７９】
通常、人間は緑やシアンの階調変化に対して視覚感度が高いので、上記の調整によって、画像の鮮鋭感を効果的に高めることができる。木の葉の茂みや草原のような緑色のディテール部分を強調することもできる。
このように空間周波数フィルタの調整後、係数決定部２３は、ステップＳ１４に動作を移行する。
【００８０】
ステップＳ１３： このステップでは、局所域の平均的な色相が赤または黄に該当する。このような箇所において、係数決定部２３は、輪郭強調部２１の空間周波数フィルタを輪郭強調を弱める方向に調整する。さらに、係数決定部２３は、ノイズ除去部２０の空間周波数フィルタをノイズ除去を強める方向に調整する。
上記の調整によって、赤や黄の箇所で目立ちやすい彩度ムラ（色の濁り）を確実に改善できる。
このように空間周波数フィルタの調整後、係数決定部２３は、ステップＳ１４に動作を移行する。
【００８１】
ステップＳ１４： 係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、平均輝度情報が中間階調の範囲内か否かを判定する。
この中間階調の範囲は、輪郭強調の弊害の少ない階調範囲に設定することが好ましい。
平均輝度情報が中間階調の範囲内であれば、係数決定部２３はステップＳ１５に動作を移行する。
一方、平均輝度情報がこの範囲よりも暗側であれば、係数決定部２３はステップＳ１６に動作を移行する。
さらに、平均輝度情報がこの範囲よりも明側であれば、係数決定部２３はステップＳ１７に動作を移行する。
【００８２】
ステップＳ１５： 平均輝度情報が中間階調の範囲内にある場合、係数決定部２３は、輪郭強調部２１の空間周波数フィルタを輪郭強調を強める方向に調整する。さらに、係数決定部２３は、ノイズ除去部２０の空間周波数フィルタをノイズ除去を弱める方向に調整する（図５参照）。
その結果、輝度が中間階調に集中する低コントラストの画像に対して、階調変化のメリハリを強調することができる。
このように空間周波数フィルタの調整後、係数決定部２３は、ステップＳ１８に動作を移行する。
【００８３】
ステップＳ１６： 平均輝度情報が暗側にある場合、係数決定部２３は、輪郭強調部２１の空間周波数フィルタを輪郭強調を弱める方向に調整する。さらに、係数決定部２３は、ノイズ除去部２０の空間周波数フィルタをノイズ除去を特に強める方向に調整する（図５参照）。
このような調整により、暗部のノイズを目立たなくすることができる。
このように空間周波数フィルタの調整後、係数決定部２３は、ステップＳ１８に動作を移行する。
【００８４】
ステップＳ１７： 平均輝度情報が明側にある場合、係数決定部２３は、輪郭強調部２１の空間周波数フィルタを輪郭強調を弱める方向に調整する。さらに、係数決定部２３は、ノイズ除去部２０の空間周波数フィルタをノイズ除去を強める方向に調整する（図５参照）。
このような調整により、明部において画素信号の信号レベルが飽和するなどの弊害を的確に防止できる。
このように空間周波数フィルタの調整後、係数決定部２３は、ステップＳ１８に動作を移行する。
【００８５】
ステップＳ１８： 係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、局所域の平坦度を評価判定する。
ここで、平坦度が低いと評価判定された場合、係数決定部２３はステップＳ１９に動作を移行する。
一方、平坦度が高いと評価判定された場合、係数決定部２３はステップＳ２０に動作を移行する。
【００８６】
ステップＳ１９： 平坦度が低い場合、係数決定部２３は、輪郭強調部２１の空間周波数フィルタを輪郭強調を強める方向に調整する。さらに、係数決定部２３は、ノイズ除去部２０の空間周波数フィルタをノイズ除去を弱める方向に調整する（図６参照）。
このような調整により、ディテール部やエッジ部のような非平坦領域において、階調変化のメリハリを強めることができる。
【００８７】
ステップＳ２０： 逆に平坦度が高い場合、係数決定部２３は、輪郭強調部２１の空間周波数フィルタを輪郭強調を弱める方向に調整する。さらに、係数決定部２３は、ノイズ除去部２０の空間周波数フィルタをノイズ除去を強める方向に調整する（図６参照）。
このような調整により、平坦領域のＳ／Ｎを改善することが可能になる。
【００８８】
《実施形態の補足事項など》
なお、上述した実施形態は、電子カメラ１１に信号処理装置（解析部２２，係数決定部２３，対応設定部２４，ノイズ除去部２０，および輪郭強調部２１）を搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、他のカラー画像機器に信号処理装置を搭載してもよい。
【００８９】
また、コンピュータを、信号処理部（ノイズ除去部２０および／または輪郭強調部２１），係数適正化部（解析部２２、係数決定部２３、および対応設定部２４）として機能させる信号処理プログラムを作成してもよい。この信号処理プログラムを使用することにより、コンピュータ上において画像データ（特にＲＡＷデータ）に好適な信号処理を施すことが可能になる。
【００９０】
さらに、上述した実施形態において、対応設定部２４に予め設定する対応関係は、局所域の特徴情報（例えば平均輝度情報、平均色情報、平坦度）を照合することで『適正係数群』を特定できるものであればなんでもよい。例えば、対応関係として、局所域の特徴情報に適正係数群の選択ナンバーを対応付けて記憶したルックアップテーブルを使用してもよい。また例えば、対応関係として、特徴情報から適正係数群の補正量を算出する演算式を使用してもよい。
【００９１】
なお、上述した実施形態では、ノイズ除去部２０と輪郭強調部２１とを別々に設け、それぞれの空間周波数フィルタを独立に調整している。しかしながら、本発明はこれに限定されるものではない。例えば、一つの空間周波数フィルタの係数群を調整することによって、画素信号にノイズ除去と輪郭強調を選択的または混在的にかけることも可能である。
【００９２】
【発明の効果】
本発明では、処理対象画素を含むように設定された局所域について、平均色情報や平均輝度情報や平坦度を求め、このような局所域の特徴情報に基づいて、空間周波数フィルタ（ノイズ除去および／または輪郭強調）の適正係数群を調整する。
したがって、局所域の特徴に合わせて良好な空間周波数フィルタ処理を実行できる。
【００９３】
さらに、局所域内での平均化の過程で、特徴情報のノイズを抑制することができる。その結果、画素信号のノイズによって予想外の空間周波数フィルタをかけてしまうなどのおそれが少ない。
【００９４】
さらに、近接する画素間では、各設定される局所域の大半が重複するために、特徴情報は急激に変化しない。したがって、近接する画素間において、空間周波数フィルタの係数群が急激に変化してしまうおそれが少ない。その結果、空間周波数フィルタの大幅変化による偽の境界や偽色が発生するといった弊害を適切に抑制できる。
【図面の簡単な説明】
【図１】本実施形態の電子カメラ１１を示すブロック図である。
【図２】空間周波数フィルタの係数群を決定する動作の流れ図である。
【図３】局所域の一例を示す図である。
【図４】色度座標の一例を示す図である。
【図５】調整傾向の一例を示す図である。
【図６】調整傾向の一例を示す図である。
【符号の説明】
１１ 電子カメラ
１２ 撮影レンズ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ ホワイトバランス調整部
１６ バッファ
１７ 色補間部
１８ 階調変換部
１９ 色変換部
２０ ノイズ除去部
２１ 輪郭強調部
２２ 解析部
２３ 係数決定部
２４ 対応設定部

Claims (8)

1. 入力された画素信号に対して空間周波数フィルタをかけて、ノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、
   前記空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備え、
   前記係数適正化部は、
   前記信号処理の対象画素を含むように局所域を設定し、前記局所域の複数の画素信号を処理して平均的な色情報（以下『平均色情報』という）を求める解析部と、
   『前記平均色情報』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
   前記解析部で求めた前記平均色情報に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を調整する係数決定部とを含み、
   前記係数適正化部は、前記処理対象の画素を含む前記局所域の平均的な色相が、緑色またはシアン色であれば輪郭強調を強める方向に前記適正係数群を調整し、赤色または黄色であればノイズ除去を強める方向に前記適正係数群を調整する
   ことを特徴とする信号処理装置。
2. 入力された画素信号に対して空間周波数フィルタをかけて、ノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、
   前記空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備え、
   前記係数適正化部は、
   前記信号処理の対象画素を含むように局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、および平坦度を算出する解析部と、
   （１）前記平均色情報が、緑およびマゼンダのどちらかの色相範囲に入り、
   （２）かつ平坦度が、予め定められた閾値よりも低く、色境界またはエッジ部であることを示す
   という条件を満足するか否かを判定する収差判定部と、
   前記収差判定部において前記条件を満足すると、前記処理対象の画素に使用する前記適正係数群を、『ノイズ除去を強める方向』および／または『輪郭強調を弱める方向』に調整する係数決定部とを含む
   ことを特徴とする信号処理装置。
3. 入力された画素信号に対し、空間周波数フィルタをかけてノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、
   前記空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備え、
   前記係数適正化部は、
   前記信号処理の対象画素を含むように局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する解析部と、
   （１）前記平均色情報が、予め定められた肌色の色相範囲に入り、
   （２）かつ平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入り、
   （３）かつ平坦度が、予め定められた閾値より平坦で、肌の平坦度の範囲に入る
   という条件を満足するか否かを判定する肌判定部と、
   前記肌判定部において前記条件を満足すると、前記処理対象の画素に使用する前記適正係数群を、『ノイズ除去を強める方向』および／または『輪郭強調を弱める方向』に調整する係数決定部とを含む
   ことを特徴とする信号処理装置。
4. 入力された画素信号に対し、空間周波数フィルタをかけてノイズ除去および／または輪郭強調の信号処理を施す信号処理部と、
   前記空間周波数フィルタの係数群に適正係数群を設定する係数適正化部とを備え、
   前記係数適正化部は、
   前記信号処理の対象画素を含むように局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する解析部と、
   （１）前記平均色情報が、予め定められた青空の色相範囲に入り、
   （２）かつ平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入り、
   （３）かつ平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る
   という条件を満足するか否かを判定する青空判定部と、
   前記青空判定部において前記条件を満足すると、前記処理対象の画素に使用する前記適正係数群を、『ノイズ除去を強める方向』および／または『輪郭強調を弱める方向』に調整する係数決定部とを含む
   ことを特徴とする信号処理装置。
5. 請求項２から請求項４のいずれか１項に記載の信号処理装置において、
   前記係数適正化部は、前記処理対象の画素を含む前記局所域の平均的な色相が、緑色またはシアン色であれば輪郭強調を強める方向に前記適正係数群を調整し、赤色または黄色であればノイズ除去を強める方向に前記適正係数群を調整する
   ことを特徴とする信号処理装置。
6. 請求項２から請求項４のいずれか１項に記載の信号処理装置において、
   前記係数適正化部は、前記処理対象の画素を含む前記局所域の平均的な輝度が所定の中間階調の範囲内であれば、輪郭強調を強める方向に前記適正係数群を調整し、それ以外であれば、ノイズ除去を強める方向に前記適正係数群を調整する
   ことを特徴とする信号処理装置。
7. 請求項１から請求項４のいずれか１項に記載の前記信号処理部、および前記係数適正化部として、コンピュータを機能させるための信号処理プログラム。
8. 被写体を撮像して、画素信号を生成する撮像部と、
   請求項１から請求項４のいずれか１項に記載の信号処理装置とを備え、
   前記信号処理装置は、前記撮像部により生成された前記画素信号に対して、前記信号処理を施す
   ことを特徴とする電子カメラ。

Images