JPWO2005013622A1 - 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 - Google Patents

Abstract

本発明の画像処理装置は、第１〜第ｎ色成分（ｎ≧２）の１つを画素配分した第１画像を、画素単位に第１〜第ｎ色成分が揃った第２画像に変換する画像処理装置である。この画像処理装置の平滑化部は、第１画像で第１色成分を有する画素位置に対して、周辺画素の第１色成分を用いた平滑化を施し、平滑化後の第１色成分を第２画像の画素位置の第１色成分とする。更に、この平滑化部は、第１画像が撮像された撮像感度に応じて、平滑化するためのフィルタの特性を変更する制御部を備える。

Description

本発明は、色成分が混在配置された第１画像（例えばＲＡＷデータ）を変換して、少なくとも１種類の成分を画素単位に揃えた第２画像を生成する画像処理技術に関する。

（背景技術１）
従来、電子カメラにおいて、輪郭強調やノイズ除去などの空間フィルタ処理を実施するものが知られている。
通常、この種の空間フィルタ処理は、単板撮像素子から出力されるＲＡＷデータ（例えばベイヤー配列データ）に対して、色補間処理、輝度色差ＹＣｂＣｒへの表色系変換処理を実施した後、輝度色差ＹＣｂＣｒ（特に輝度成分Ｙ）に対して実施される。例えば、代表的なノイズ除去フィルタとして、ε−フィルタなどが知られている。
ところで、この処理では、色補間、表色系変換処理、および空間フィルタ処理を個別に実施しなければならず、画像処理が複雑になってしまうという問題点があった。そのため、ＲＡＷデータの処理時間が長くなるなどの問題点があった。また、画像処理が複雑なために、電子カメラに搭載される画像処理用ＩＣの構成が複雑になるという問題点もあった。
さらに、これらの処理（色補間、表色系変換処理、および空間フィルタ処理）を一つの画像に段階的に実施するため、度重なる処理の過程で微細な画像情報が失われやすいという問題点もあった。
（背景技術２）
通常、単板撮像素子のＲＡＷデータに対して色補間を実施すると、ＲＡＷデータに元から存在する原信号と、原信号の平均処理によって生成される補間信号とが一つの画面に並ぶ。このとき、原信号と補間信号とでは、空間周波数特性が微妙に異なる。
そこで、米国特許第５５９６３６７号明細書（以下『特許文献１』という）では、原信号のみにローパスフィルタ処理を実施して、原信号と補間信号との間の空間周波数特性の違いを軽減している。
ところで、この処理では、原信号に近接する補間信号を使って、原信号にローパスフィルタ処理を施す。そのため、この処理においても、色補間と空間フィルタ処理を段階的に実施していることに変わりなく、やはり微細な画像情報が失われやすいという問題点があった。
（背景技術３）
なお、本発明者は、先に、国際公開ＷＯ０２／２１８４９号パンフレット（以下『特許文献２』という）に示す国際出願を行っている。この国際出願には、ＲＡＷデータに対して直に表色系変換処理を実施する画像処理装置が開示されている。
この処理では、係数テーブルに従ってＲＡＷデータを加重加算することにより、表色系変換を実施している。この係数テーブルには、輪郭強調やノイズ除去用の係数項を、予め固定的に含めることができる。しかしながら、後述する実施形態のように、空間周波数特性の異なる係数テーブル群を予め準備し、これら係数テーブル群を随時に切り換える技術については特に言及されていない。
（撮像感度の問題）
一般的な電子カメラでは、撮像素子の撮像感度（例えば、撮像素子出力のアンプゲイン）を変更することができる。この撮像感度の変更によって、撮像される画像のノイズ振幅が大きく変化する。特許文献１および特許文献２では、後述する実施形態のように、撮像感度に応じて第１画像の変換フィルタを変更する技術については特に言及されていない。そのため、低い撮像感度による高Ｓ／Ｎ画像については、変換フィルタの平滑化が強すぎて、過度にボケた画像となる恐れがあった。また、高い撮像感度による低Ｓ／Ｎ画像については、変換フィルタの平滑化が逆に不足し、偽色が目立ったり、ザラザラした画像になる恐れがあった。

本発明の目的は、上述した問題点に鑑みて、画像構造に適合した高度な空間フィルタ処理を効率良く簡易に実施することである。
また、本発明の別の目的は、撮影感度が変わっても、解像度やコントラストを維持しつつ適切なノイズ除去が可能な画像処理技術を提供することである。
以下、発明について説明する。
（１） 本発明の画像処理装置は、画素単位に第１〜第ｎ色成分（ｎ≧２）のいずれか１つが配分されてなる第１画像を、画素単位に第１〜第ｎ色成分が揃った第２画像に変換する画像処理装置である。
この画像処理装置は、平滑化部を備える。この平滑化部は、第１画像で第１色成分を有する画素位置に対して、周辺画素の第１色成分を用いた平滑化を施す。平滑化部は、この平滑化後の第１色成分を、第２画像の画素位置の第１色成分とする。
更に、この平滑化部は、制御部を備える。この制御部は、第１画像が撮像された撮像感度に応じて、平滑化するためのフィルタの特性を変更する。
このような処理により、撮像感度の条件が変わってもそれぞれに適した高精細なノイズ除去効果が得ることが可能になる。
（２） なお好ましくは、第１色成分を、第１〜第ｎ色成分の中で輝度信号を担う色成分とする。
（３） また好ましくは、第１〜第ｎ色成分は赤色、緑色、青色であり、かつ第１色成分は緑色とする。
（４） なお好ましくは、制御部は、撮像感度に応じてフィルタのサイズ（参照する画素範囲）を変更する。
（５） また好ましくは、制御部は、撮像感度に応じて、フィルタの要素値（平滑対象に対する周辺の参照成分の寄与率）を変更する。
（６） なお好ましくは、平滑化部は、類似性判定部、および切り換え部を備える。
この類似判定部は、複数の方向に対する画素の類似性の強弱を判定する。
一方、切り換え部は、その判定結果に応じて、第１画像の第１色成分をそのまま第２画像の第１色成分として出力するか、平滑化後の第１色成分を第２画像の第１色成分として出力するかを切り換える。
（７） また好ましくは、類似性判定部は、少なくとも４方向に関する画素間の類似度を算出して類似性を判定する。
（８） 本発明の別の画像処理装置は、画素単位に第１〜第ｎ色成分（ｎ≧２）のいずれか１つが配分されてなる第１画像を、画素単位に少なくとも１つの信号成分が揃った第２画像に変換する画像処理装置である。
この画像処理装置は、信号生成部を備える。この信号生成部は、第１画像の色成分を加重加算することによって、第２画像の信号成分を生成する。
さらに、この信号生成部は、制御部を備える。この制御部は、第１画像を撮像したときの撮像感度に応じて、第１画像の色成分を加重加算するときに用いる加重加算係数を変更する。
（９） なお好ましくは、信号生成部は、第１〜第ｎ色成分とは異なる信号成分を生成する。
（１０） また好ましくは、信号生成部は、第１〜第ｎ色成分とは異なる輝度成分を生成する。
（１１） なお好ましくは、制御部は、第１画像で第１色成分を有する画素位置に対して、加重加算係数を撮像感度に応じて変更する。
（１２） また好ましくは、制御部は、撮像感度に応じて加重加算の範囲を変更する。
（１３） なお好ましくは、制御部は、撮像感度に応じて加重加算の重み係数を変更する。
（１４） また好ましくは、信号生成部は、類似性判定部を有する。この類似性判定部は、複数の方向に対する画素の類似性の強弱を判定する。
制御部は、撮像感度の他に、類似性判定結果にも応じて加重加算の重み係数を変更する。
（１５） なお好ましくは、制御部は、『類似性判定結果が何れの方向にも類似性の区別がつかない』もしくは『何れの方向にも類似性が所定レベルより強いと判断される』の場合、第１画像の処理対象画素が本来有する色成分と、周辺画素の同一色成分とを加重加算する。
（１６） また好ましくは、類似性判定部は、少なくとも４方向に関する画素間の類似度を算出して類似性を判定する。
（１７） 本発明の別の画像処理装置は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第１画像を変換し、少なくとも１種類の信号成分（以下『新成分』という）を画素単位に揃えた第２画像を生成する画像処理装置である。
この画像処理装置は、類似性判定部、係数選択部、および変換処理部を備える。
まず、類似性判定部は、第１画像の処理対象画素において、複数方向について画像の類似性を判定する。
係数選択部は、類似性判定部による類似性の方向判定に応じて、予め定められた係数テーブルを選択する。
変換処理部は、選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成する。
特に、上記の係数選択部は、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。このような係数テーブルの変更によって、新成分の空間周波数成分の調整を実現する。
以上説明したように、本発明では、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに切り換えることにより、生成される新成分の空間周波数成分を調整する。
このような動作では、背景技術のように、新成分を一旦生成した後、この新成分を空間フィルタ処理するといった段階的な処理が不要になる。そのため、画像処理の手順を効率よく簡略化できる。
また、新成分の生成に使用していた類似性を使用して、画像構造の解析も済ませているため、その点でも処理に無駄が少なく、画像構造を考慮した高度な空間フィルタ処理を簡易に実現できる。
さらに、この処理では、『新成分の生成』と『画像構造解析に基づく空間周波数成分の調整』とが１回の加重加算で実施されるため、演算処理を複数回に分けて繰り返す場合に比べて微細な画像情報が失われにくい。
なお好ましくは、本発明において、色成分の加重比率を表色系変換の加重比率に対応させる。この場合、従来の『色補間処理』を不要とし、かつ『表色系変換処理』および『画像構造を考慮した空間フィルタ処理』を、一回の加重加算で済ますことができる。このような処理により、例えば、従来の時間がかかっていたＲＡＷデータ等の画像処理を、顕著に簡略化し、かつ顕著に高速化することが可能になる。
（１８） なお好ましくは、係数選択部は、類似性の値の大小判定により、処理対象画素の近傍の画像構造を解析する。係数選択部は、この解析結果に応じて、係数テーブルを空間周波数特性の異なるものに変更する。
（１９） また好ましくは、係数選択部は、係数テーブルを配列サイズの異なるものに変更する。このような変更により、係数テーブルを空間周波数特性の異なるものに変更する。
（２０） なお好ましくは、係数選択部は、方向判定において複数方向の類似性が略均等と判定され、かつ画像構造の解析において類似性が強いと判定された場合、信号成分の高周波成分を強くおよび／または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。
（２１） また好ましくは、係数選択部は、方向判定において複数方向の類似性が略均等と判定され、かつ画像構造の解析において類似性が弱いと判定された場合、信号成分の高周波成分を強くおよび／または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。
（２２） なお好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が大きいと判定された場合、類似性の弱い方向の高周波成分を強調する『輪郭強調の度合いがより強いタイプの係数テーブル』に変更する。
（２３） また好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が小さいと判定された場合、信号成分の高周波成分を強調する『ディテール強調の度合いがより強いタイプの係数テーブル』に変更する。
（２４） なお好ましくは、係数選択部は、第１画像を撮像した際の撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する。
（２５） また好ましくは、係数テーブルの変更前後において、色成分間の加重比率を略一定に保つ。
（２６） なお好ましくは、色成分間の加重比率は、表色系変換用の加重比率である。
（２７） 本発明の別の画像処理装置は、平滑化部、および制御部を備える。
この平滑化部は、画像データの処理対象画素と周辺画素とを加重加算することにより、前記画像データに平滑化処理を施す。
一方、制御部は、この画像データを撮影した際の撮像感度に応じて、上記の周辺画素の参照範囲を変更する。
（２８） 本発明の画像処理プログラムは、コンピュータを、上記（１）〜（２７）のいずれか１項に記載の画像処理装置として機能させる。
（２９） 本発明の電子カメラは、上記（１）〜（２７）のいずれか１項に記載の画像処理装置と、被写体を撮像して、第１画像を生成する撮像部とを備える。この電子カメラでは、撮像部で撮像して得た第１画像を、画像処理装置で処理して、第２画像を生成する。
（３０） 本発明の画像処理方法は、画素単位に第１〜第ｎ色成分（ｎ≧２）のいずれか１つが配分されてなる第１画像を、画素単位に少なくとも１つの信号成分が揃った第２画像に変換する画像処理方法である。
この画像処理方法は、第１画像の色成分を加重加算することによって第２画像の信号成分を生成するステップを備える。
特に、この信号成分を生成するステップにおいて、第１画像を撮像したときの撮像感度に応じて、第１画像の色成分を加重加算するときに用いる加重加算係数を変更するステップを実施する。
（３１） 本発明の別の画像処理方法は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第１画像を変換し、少なくとも１種類の信号成分（以下『新成分』という）を画素単位に揃えた第２画像を生成する画像処理方法である。この画像処理方法は、下記のステップを有する。
［Ｓ１］ 第１画像の処理対象画素において、複数方向について画像の類似性を判定するステップ。
［Ｓ２］ 類似性判定のステップによる類似性の方向判定に応じて、予め定められた係数テーブルを選択するステップ。
［Ｓ３］ 選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成するステップ。
特に、上記の係数選択のステップでは、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。この変更により、新成分の空間周波数成分を調整する。

なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。
図１は、電子カメラ１の構成を示すブロック図である。
図２は、表色系変換処理の大まかな動作を示す流れ図である。
図３は、指標ＨＶの設定動作を示す流れ図である。
図４は、指標ＤＮの設定動作を示す流れ図である。
図５は、輝度成分の生成処理を示す流れ図（１／３）である。
図６は、輝度成分の生成処理を示す流れ図（２／３）である。
図７は、輝度成分の生成処理を示す流れ図（３／３）である。
図８は、指標（ＨＶ，ＤＮ）と類似方向との関係を示す図である。
図９は、係数テーブルの一例を示す図である。
図１０は、係数テーブルの一例を示す図である。
図１１は、係数テーブルの一例を示す図である。
図１２は、係数テーブルの一例を示す図である。
図１３は、係数テーブルの一例を示す図である。
図１４は、ＲＧＢ色補間の動作を説明する流れ図である。
図１５は、係数テーブルの一例を示す図である。
図１６は、係数テーブルの一例を示す図である。
図１７は、ＲＧＢ色補間の動作を説明する流れ図である。

＊＊＊ 第１実施形態 ＊＊＊
以下、図面に基づいて本発明にかかる第１実施形態を説明する。
図１は、第１実施形態に対応する電子カメラ１のブロック図である。
図１において、電子カメラ１には、撮影レンズ２０が装着される。この撮影レンズ２０の像空間には、撮像素子２１の撮像面が配置される。この撮像面上には、ベイヤー配列のＲＧＢ原色フィルタが配置される。この撮像素子２１から出力される画像信号は、アナログ信号処理部２２およびＡ／Ｄ変換部１０を介して、ＲＡＷデータ（第１画像に対応）にデジタル変換された後、バスを介してメモリ１３に一時記憶される。
このメモリ１３には、バスを介して、画像処理部（例えば、画像処理専用の１チップ・マイクロプロセッサ）１１、制御部１２、圧縮伸張部１４、画像表示部１５、記録部１７および外部インタフェース部１９が接続される。
また、電子カメラ１には、操作部２４、モニタ２５、およびタイミング制御部２３が設けられる。さらに、電子カメラ１には、メモリカード１６が装着される。記録部１７は、このメモリカード１６に、処理済みの画像を圧縮記録する。
なお、電子カメラ１は、外部インタフェース部１９（ＵＳＢなど）を介して、外部コンピュータ１８に接続することもできる。
［発明との対応関係］
以下、発明と第１実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の類似性判定部は、画像処理部１１の『縦横斜め方向の類似性を求め、これら類似性の方向判定によりＲＡＷデータの各画素をｃａｓｅ１〜１２（後述）に分類する機能』に対応する。
請求項記載の係数選択部は、画像処理部１１の『空間周波数特性の異なる係数テーブル群を類似性の強弱判定などに基づいて切り換え使用する機能、およびｃａｓｅ１〜１２に応じて係数テーブル群から係数テーブルを選択する機能』に対応する。
請求項記載の変換処理部は、画像処理部１１の『係数テーブルに従ってＲＡＷデータの局所域の色成分を加重加算して、新成分（ここでは輝度成分）を求める機能』に対応する。
請求項記載の第１画像は、ＲＡＷデータに対応する。
請求項記載の第２画像は、表色系変換後の画像データに対応する。
［第１実施形態の動作説明］
図２〜図７は、画像処理部１１の動作フローチャートである。なお、図２には、表色系変換のおおまかな流れを示す。図３および図４には、類似性の方向判別の指標（ＨＶ，ＤＮ）を求める動作を示す。また、図５〜７には、輝度成分の生成処理を示す。
まず、図２を用いて、表色系変換のおおまかな動作を説明する。
画像処理部１１は、ＲＡＷデータの処理対象画素を中心に、画面の縦横方向について類似性の方向判定を行い、指標ＨＶを求める（ステップＳ１）。この指標ＨＶは、横よりも縦の類似性が強い場合に『１』が設定され、縦よりも横の類似性が強い場合に『−１』が設定され、縦横間で類似性に区別がつかない場合に『０』が設定される。
さらに、画像処理部１１は、ＲＡＷデータの処理対象画素を中心に、画面の斜め方向について類似性の方向判定を行い、指標ＤＮを求める（ステップＳ２）。この指標ＤＮは、斜め１３５度よりも斜め４５度の類似性が強い場合に『１』が設定され、斜め４５度よりも斜め１３５度の類似性が強い場合に『−１』が設定され、これら類似性に区別がつかない場合に『０』が設定される。
次に、画像処理部１１は、「輝度成分生成処理」を行う（ステップＳ３）と共に、「色度成分生成処理」を行う（ステップＳ４）。
なお、色度成分生成処理については、上述した特許文献３の実施形態に詳しく説明されているため、ここでの説明を省略する。
以下、「指標ＨＶの設定処理」、「指標ＤＮの設定処理」、および「輝度成分生成処理」の順番に具体的な動作説明を行う。
《指標ＨＶの設定処理》
まず、図３を参照して、指標ＨＶ［ｉ，ｊ］の算出処理を説明する。なお、後述する演算式では、色成分ＲＢを一般化し、『Ｚ』と表記する。
ステップＳ１２： まず、画像処理部１１は、ＲＡＷデータの座標［ｉ，ｊ］において、縦横方向の画素間差分を算出し、類似度とする。
例えば、画像処理部１１は、以下の式１〜式４を用いて、縦方向の類似度Ｃｖ［ｉ，ｊ］と横方向の類似度Ｃｈ［ｉ，ｊ］とを算出する。（なお、式中の絶対値‖については、２乗演算などに代えてもよい。）
（１）座標［ｉ，ｊ］が、Ｒ位置またはＢ位置の場合
Ｃｖ［ｉ，ｊ］＝（｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ，ｊ＋１］｜＋｜Ｇ［ｉ−１，ｊ−２］−Ｇ［ｉ−１，ｊ］｜
＋｜Ｇ［ｉ−１，ｊ＋２］−Ｇ［ｉ−１，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ−２］−Ｇ［ｉ＋１，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ＋２］−Ｇ［ｉ＋１，ｊ］｜
＋｜Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ，ｊ＋２］−Ｚ［ｉ，ｊ］｜）／７・・・式１
Ｃｈ［ｉ，ｊ］＝（｜Ｇ［ｊ−１，ｊ］−Ｇ［ｉ＋１，ｊ］｜＋｜Ｇ［ｉ−２，ｊ−１］−Ｇ［ｉ，ｊ−１］｜
＋｜Ｇ［ｉ＋２，ｊ−１］−Ｇ［１，ｊ−１］｜＋｜Ｇ［ｉ−２，ｊ＋１］−Ｇ［ｉ，ｊ＋１］｜＋｜Ｇ［ｉ＋２，ｊ＋１］−Ｇ［ｉ，ｊ＋１］｜
＋｜Ｚ［ｉ−２，ｊ］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ＋２，ｊ］−Ｚ［ｉ，ｊ］｜）／７・・・式２
（２）座標［ｉ，ｊ］が、Ｇ位置の場合
Ｃｖ［ｉ，ｊ］＝（｜Ｇ［ｉ，ｊ−２］−Ｇ［ｉ，ｊ］｜＋｜Ｇ［ｉ，ｊ＋２］−Ｇ［ｉ，ｊ］｜
＋｜Ｇ［ｉ−１，ｊ−１］−Ｇ［ｉ−１，ｊ＋１］｜＋｜Ｇ［ｉ＋１，ｊ−１］−Ｇ［ｉ＋１，ｊ＋１］｜
＋｜Ｚ［ｉ，ｊ−１］−Ｚ［ｉ，ｊ＋１］｜）／５・・・式３
Ｃｈ［ｉ，ｊ］＝（｜Ｇ［ｉ−２，ｊ］−Ｇ［ｉ，ｊ］｜＋｜Ｇ［ｉ＋２，ｊ］−Ｇ［ｉ，ｊ］｜
＋｜Ｇ［ｉ−１，ｊ−１］−Ｇ［ｉ＋１，ｊ−１］｜＋｜Ｇ［ｉ−１，ｊ＋１］−Ｇ［ｉ＋１，ｊ＋１］｜
＋｜Ｚ［ｉ−１，ｊ］−Ｚ［ｉ＋１，ｊ］｜）／５・・・式４
このようにして算出される類似度は値が小さい程、類似性が強いことを示す。
ステップＳ１３： 次に、画像処理部１１は、縦横方向の類似度を比較する。
ステップＳ１４： 例えば、下記の条件２が成り立つ場合、画像処理部１１は、縦横の類似度が同程度であると判定し、指標ＨＶ［ｉ，ｊ］に０を設定する。
｜Ｃｖ［ｉ，ｊ］−Ｃｈ［ｉ，ｊ］｜≦Ｔｈ４・・・条件２
なお、条件２において、閾値Ｔｈ４は、縦横の類似度の差異が微少である場合、ノイズによって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Ｔｈ４の値を高く設定することが好ましい。
ステップＳ１５： 一方、条件２が不成立で、かつ下記の条件３が成り立つ場合、画像処理部１１は、縦の類似性が強いと判定して、指標ＨＶ［ｉ，ｊ］に１を設定する。
Ｃｖ［ｉ，ｊ］＜Ｃｈ［ｉ，ｊ］・・・条件３
ステップＳ１６： また、条件２および条件３が不成立の場合、画像処理部１１は、横の類似性が強いと判定して、指標ＨＶ［ｉ，ｊ］に−１を設定する。
ところで、ここではＲＢ位置とＧ位置の両方に対して類似度を算出したが、簡略化のためには、ＲＢ位置のみ類似度を算出して、ＲＢ位置の方向指標ＨＶを設定し、Ｇ位置の方向指標は周辺のＨＶ値を参照して決めるようにしてもよい。例えば、Ｇ位置の隣接４点の指標について平均値を求めて整数化を行い、Ｇ位置の方向指標としてもよい。
《指標ＤＮの設定処理》
次に、図４を参照して、指標ＤＮ［ｉ，ｊ］の設定処理を説明する。
ステップＳ３１： まず、画像処理部１１は、ＲＡＷデータの座標［ｉ，ｊ］において、斜め４５度方向および斜め１３５度方向の画素間差分を算出して、類似度とする。
例えば、画像処理部１１は、以下の式５〜式８を用いて、斜め４５度方向の類似度Ｃ４５［ｉ，ｊ］と、斜め１３５度方向の類似度Ｃ１３５［ｉ，ｊ］とを求める。
（１）座標［ｉ，ｊ］が、Ｒ位置またはＢ位置の場合
Ｃ４５［ｉ，ｊ］＝（｜Ｇ［ｉ−１，ｊ］−Ｇ［ｉ，ｊ−１］｜＋｜Ｇ［ｉ，ｊ＋１］−Ｇ［ｉ＋１，ｊ］｜
＋｜Ｇ［ｉ−２，ｊ−１］−Ｇ［ｉ−１，ｊ−２］｜＋｜Ｇ［ｉ＋１，ｊ＋２］−Ｇ［ｉ＋２，ｊ＋１］｜
＋｜Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ＋１，ｊ−１］｜）／５・・・式５
Ｃ１３５［ｉ，ｊ］＝（｜Ｇ［ｉ−１，ｊ］−Ｇ［ｉ，ｊ＋１］｜＋｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ＋１，ｊ］｜
＋｜Ｇ［ｉ−２，ｊ＋１］−Ｇ［ｉ−１，ｊ＋２］｜＋｜Ｇ［ｉ＋１，ｊ−２］−Ｇ［ｉ＋２，ｊ−１］｜
＋｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋１］｜）／５・・・式６
（２）座標［ｉ，ｊ］が、Ｇ位置の場合
Ｃ４５［ｉ，ｊ］＝（｜Ｇ［ｉ−１，ｊ＋１］−Ｇ［ｉ，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ−１］−Ｇ［ｉ，ｊ］｜
＋｜Ｚ［ｉ−１，ｊ］−Ｚ［ｉ，ｊ−１］｜＋｜Ｚ［ｉ，ｊ＋１］−Ｚ［ｉ＋１，ｊ］｜）／４・・・式７
Ｃ１３５［ｉ，ｊ］＝（｜Ｇ［ｉ−１，ｊ−１］−Ｇ［ｉ，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ＋１］−Ｇ［ｉ，ｊ］｜
＋｜Ｚ［ｉ−１，ｊ］−Ｚ［ｉ，ｊ＋１］｜＋｜Ｚ［ｉ，ｊ−１］−Ｚ［ｉ＋１，ｊ］｜）／４・・・式８
このようにして算出される類似度は、値が小さい程、類似性が強いことを示す。
ステップＳ３２： 画像処理部１１は、このようにして、斜め４５度方向および斜め１３５度方向に対する類似度を算出すると、これらの類似度に基づいて、２つの斜め方向の類似性が同程度であるか否かを判定する。
例えば、このような判定は、下記の条件５が成り立つか否かを判定することによって実現できる。
｜Ｃ４５［ｉ，ｊ］−Ｃ１３５［ｉ，ｊ］｜≦Ｔｈ５・・・条件５
なお、閾値Ｔｈ５は、２方向の類似度Ｃ４５［ｉ，ｊ］，Ｃ１３５［ｉ，ｊ］の差異が微少である場合、ノイズによって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Ｔｈ５の値を高く設定することが好ましい。
ステップＳ３３： このような判定から斜め類似性が同程度の場合、画像処理部１１は、指標ＤＮ［ｉ，ｊ］に０を設定する。
ステップＳ３４： 一方、斜め類似性が強い方向が判別できる場合、斜め４５度方向の類似性が強いか否かを判定する。
例えば、このような判定は、下記の条件６が成り立つか否かを判定することによって実現できる。
Ｃ４５［ｉ，ｊ］＜Ｃ１３５［ｉ，ｊ］・・・条件６
ステップＳ３５： そして、画像処理部１１は、ステップＳ３４の判定結果として、斜め４５度方向の類似性が強い場合（条件５が成り立たず、条件６が成り立つ場合）、指標ＤＮ［ｉ，ｊ］に１を設定する。
ステップＳ３６： 一方、斜め１３５度方向の類似性が強い場合（条件５および条件６が成り立たない場合）、指標ＤＮ［ｉ，ｊ］に−１を設定する。
ところで、ここではＲＢ位置とＧ位置の両方に対して類似度を算出したが、簡略化のためには、ＲＢ位置のみ類似度を算出して、ＲＢ位置の方向指標ＤＮを設定し、Ｇ位置の方向指標は周辺のＤＮ値を参照して決めるようにしてもよい。例えば、Ｇ位置の隣接４点の指標について平均値を求めて整数化を行い、Ｇ位置の方向指標としてもよい。
《輝度成分生成処理》
次に、図５〜図７を参照して「輝度成分生成処理」の動作を説明する。
ステップＳ４１： 画像処理部１１は、処理対象画素の指標（ＨＶ，ＤＮ）が、（０，０）か否かを判定する。
ここで、指標（ＨＶ，ＤＮ）が（０，０）の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、等方的な類似性を示す箇所であると判定できる。この場合、画像処理部１１は、ステップＳ４２に動作を移行する。
一方、指標（ＨＶ，ＤＮ）が（０，０）以外の場合、縦横方向または斜め方向の類似性が不均等であり、図８に示すように、画像構造に方向性を有する箇所であると判定できる。この場合、画像処理部は、ステップＳ４７に動作を移行する。
ステップＳ４２： 画像処理部１１は、ＲＡＷデータを撮像した際の撮像感度（撮像素子のアンプゲインに対応）を制御部１２から情報取得する。
撮像感度が高感度であった場合（例えばＩＳＯ８００相当以上）、画像処理部１１はステップＳ４６に動作を移行する。
一方、撮像感度が低感度であった場合、画像処理部１１はステップＳ４３に動作を移行する。
ステップＳ４３： 画像処理部１１は、類似性の強弱判定を実施する。例えば、このような強弱判定は、指標ＨＶの算出に用いた類似度Ｃｖ［ｉ，ｊ］，Ｃｈ［ｉ，ｊ］や、指標ＤＮの算出に用いた類似度Ｃ４５［ｉ，ｊ］，Ｃ１３５［ｉ，ｊ］のいずれかが、次の条件７を満たすか否かによって判断される。
類似度＞閾値ｔｈ６ ・・・条件７
ただし、閾値ｔｈ６は、等方的な類似性を有する箇所が、『平坦部』か『有意な起伏情報を有する箇所』かを判別するための境界値であり、実際のＲＡＷデータの値に合わせて予め設定される。
条件７が成立する場合、画像処理部１１はステップＳ４４に動作を移行する。
一方、条件７が不成立の場合、画像処理部１１はステップＳ４５に動作を移行する。
ステップＳ４４： ここでは、条件７が成立しているため、処理対象画素は周辺画素との類似性が弱く、すなわち有意な起伏情報を有する箇所であると判断できる。そこで、画像処理部１１は、この有意な起伏情報を残すため、弱いＬＰＦ特性を示す係数テーブル１（図９参照）を選択する。この係数テーブル１は、ＲＧＢ位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部１１は、ステップＳ５１に動作を移行する。
ステップＳ４５： ここでは、条件７が不成立のため、処理対象画素は周辺画素との類似性が強く、すなわち平坦部であると判断できる。そこで、画像処理部１１は、この平坦部に目立つ微小振幅のノイズを確実に除去するため、強くかつ広帯域に高周波成分を抑制する係数テーブル２，３（図９参照）のいずれかを選択する。この係数テーブル２は、処理対象画素がＲＢ位置の場合に選択される係数テーブルである。一方、係数テーブル３は、処理対象画素がＧ位置の場合に選択される係数テーブルである。
このような選択動作の後、画像処理部１１は、ステップＳ５１に動作を移行する。
ステップＳ４６： ここでは、撮像感度が高いために、ＲＡＷデータのＳ／Ｎが低いと判断できる。そこで、画像処理部１１は、ＲＡＷデータのノイズを確実に除去するため、一段と強くかつ一段と広帯域に高周波成分を抑制する係数テーブル４（図９参照）を選択する。この係数テーブル４は、ＲＧＢ位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部１１は、ステップＳ５１に動作を移行する。
ステップＳ４７： ここでは、処理対象画素が非等方性の類似性を有する。そこで、画像処理部１１は、『類似方向の類似性』と『非類似方向の類似性』の強弱差を求める。
このような強弱差は、例えば、指標ＨＶの算出に使用した『縦方向の類似度Ｃｖ［ｉ，ｊ］』と『横方向の類似度Ｃｈ［ｉ，ｊ］』の差分や比率から求めることができる。また例えば、指標ＤＮの算出に使用した『斜め４５度方向の類似度Ｃ４５［ｉ，ｊ］』と『斜め１３５度方向の類似度Ｃ１３５［ｉ，ｊ］』の差分や比率から求めることもできる。
ステップＳ４８： 画像処理部１１は、求めた強弱差を、次の条件８に従って、閾値判定する。
｜強弱差｜＞閾値ｔｈ７ ・・・条件８
ただし、閾値ｔｈ７は、処理対象画素が、輪郭部の画像構造であるか否かを区別するための値であり、実際のＲＡＷデータの値に合わせて予め設定される。
画像処理部１１は、条件８が成立する場合、ステップＳ５０に動作を移行する。
一方、条件８が不成立の場合、ステップＳ４９に動作を移行する。
ステップＳ４９： ここでは、条件８が不成立のため、処理対象画素は、画像の輪郭部ではないと推定される。そこで、画像処理部１１は、輪郭強調の弱い係数テーブル群（図９〜図１３に示す、配列サイズ３×３の係数テーブル５，７，９，１１，１３，１５，１７，１９，２１，２３，２５，２７）の中から、係数テーブルを選択する。
具体的には、画像処理部１１は、『指標（ＨＶ，ＤＮ）による類似性の方向判定』と『処理対象画素の色成分』とを組み合わせた条件に基づいて、処理対象画素を、下記のｃａｓｅ１〜１２に分類する。なお、下記の『ｘ』は、１，０，−１の何れでもよい。
《Ｒ位置またはＢ位置》
ｃａｓｅ１：（ＨＶ，ＤＮ）＝（１，１）：縦および斜め４５度方向の類似性が強い。
ｃａｓｅ２：（ＨＶ，ＤＮ）＝（１，０）：縦方向の類似性が強い。
ｃａｓｅ３：（ＨＶ，ＤＮ）＝（１，−１）：縦および斜め１３５度方向の類似性が強い。
ｃａｓｅ４：（ＨＶ，ＤＮ）＝（０，１）：斜め４５度方向の類似性が強い。
ｃａｓｅ５：欠番
ｃａｓｅ６：（ＨＶ，ＤＮ）＝（０，−１）：斜め１３５度方向の類似性が強い。
ｃａｓｅ７：（ＨＶ，ＤＮ）＝（−１，１）：横および斜め４５度方向の類似性が強い。
ｃａｓｅ８：（ＨＶ，ＤＮ）＝（−１，０）：横方向の類似性が強い。
ｃａｓｅ９：（ＨＶ，ＤＮ）＝（−１，−１）：横および斜め１３５度方向の類似性が強い。
《Ｇ位置》
ｃａｓｅ１０：（ＨＶ，ＤＮ）＝（１，ｘ）：少なくとも縦方向の類似性が強い。
ｃａｓｅ１１＿１：（ＨＶ，ＤＮ）＝（０，１）：斜め４５度方向の類似性が強い。
ｃａｓｅ１１＿１：（ＨＶ，ＤＮ）＝（０，−１）：斜め１３５度方向の類似性が強い。
ｃａｓｅ１２：（ＨＶ，ＤＮ）＝（−１，ｘ）：少なくとも横方向の類似性が強い。
このｃａｓｅ１〜１２の分類に従い、画像処理部１１は、輪郭強調の弱い係数テーブル群（図９〜図１３に示す係数テーブル５，７，９，１１，１３，１５，１７，１９，２１，２３，２５，２７）の中から、下記の係数テーブルを選択する。
ｃａｓｅ１のとき：係数テーブル５を選択する。
ｃａｓｅ２のとき：係数テーブル７を選択する。
ｃａｓｅ３のとき：係数テーブル９を選択する。
ｃａｓｅ４のとき：係数テーブル１１を選択する。
ｃａｓｅ５のとき：欠番
ｃａｓｅ６のとき：係数テーブル１３を選択する。
ｃａｓｅ７のとき：係数テーブル１５を選択する。
ｃａｓｅ８のとき：係数テーブル１７を選択する。
ｃａｓｅ９のとき：係数テーブル１９を選択する。
ｃａｓｅ１０のとき：係数テーブル２１を選択する。
ｃａｓｅ１１＿１のとき：係数テーブル２３を選択する。
ｃａｓｅ１１＿２のとき：係数テーブル２５を選択する。
ｃａｓｅ１２のとき：係数テーブル２７を選択する。
なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テーブルを選択している。
このような係数テーブルの選択後、画像処理部１１は、ステップＳ５１に動作を移行する。
ステップＳ５０： ここでは、条件８が成立しているため、処理対象画素は、画像の輪郭部であると推定される。そこで、画像処理部１１は、輪郭強調の強い係数テーブル群（図９〜図１３に示す、配列サイズ５×５の係数テーブル６，８，１０，１２，１４，１６，１８，２０，２２，２４，２６，２８）の中から係数テーブルを選択する。
具体的には、画像処理部１１は、ステップＳ４９と同様に、処理対象画素をｃａｓｅ１〜１２に分類する。
このｃａｓｅ１〜１２の分類に従い、画像処理部１１は、輪郭強調の強い係数テーブル群（図９〜図１３に示す係数テーブル６，８，１０，１２，１４，１６，１８，２０，２２，２４，２６，２８）の中から、下記の係数テーブルを選択する。
ｃａｓｅ１のとき：係数テーブル６を選択する。
ｃａｓｅ２のとき：係数テーブル８を選択する。
ｃａｓｅ３のとき：係数テーブル１０を選択する。
ｃａｓｅ４のとき：係数テーブル１２を選択する。
ｃａｓｅ５のとき：欠番
ｃａｓｅ６のとき：係数テーブル１４を選択する。
ｃａｓｅ７のとき：係数テーブル１６を選択する。
ｃａｓｅ８のとき：係数テーブル１８を選択する。
ｃａｓｅ９のとき：係数テーブル２０を選択する。
ｃａｓｅ１０のとき：係数テーブル２２を選択する。
ｃａｓｅ１１＿１のとき：係数テーブル２４を選択する。
ｃａｓｅ１１＿２のとき：係数テーブル２６を選択する。
ｃａｓｅ１２のとき：係数テーブル２８を選択する。
なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テーブルを選択している。さらに、この係数テーブルは、類似方向と略直交する方向には負の係数項を配分することにより、画像の輪郭強調を可能にしている。
このような係数テーブルの選択後、画像処理部１１は、ステップＳ５１に動作を移行する。
ステップＳ５１： 上述した一連の動作により、画素単位に係数テーブルが選択される。画像処理部１１は、このように選択された係数テーブルの係数項を、ＲＡＷデータの処理対象画素を含む局所域の色成分に乗じて加算する。
このとき、図９〜図１３に示す係数テーブルのいずれが選択されても、この加重加算における色成分ごとの加重比率は『Ｒ：Ｇ：Ｂ＝１：２：１』を常に保つ。この加重比率は、ＲＧＢ色成分から輝度成分Ｙを求める際の加重比率に等しい。そのため、上述した加重加算では、ＲＡＷデータから輝度成分Ｙが画素単位に直に生成される。
［第１実施形態の効果など］
以上説明したように、第１実施形態では、空間周波数特性の異なる係数テーブル群を予め準備し、画像構造の解析結果に応じて係数テーブル群を切り換え使用する（ステップＳ４３，ステップＳ４８）。その結果、『表色系変換』および『画像構造を考慮した空間フィルタ処理』という本来別々の画像処理を、一回の加重加算で実行することが可能になる。
したがって、空間フィルタ処理を表色系変換と別に行う必要がなくなり、ＲＡＷデータの処理にかかる時間を格段に短縮することができる。
また、一回の加重加算で済むため、表色系変換と空間フィルタ処理を段階的に実施する背景技術に比べて、画像情報の劣化を小さくすることもできる。
また、第１実施形態は、『複数方向の類似性が等方的』かつ『類似性が強い』と判定された場合、『ノイズ除去の度合いが強いタイプの係数テーブル』を選択する（ステップＳ４３，ステップＳ４５）。そのため、表色系変換と同時に、画像の平坦部に目立つノイズを強力に抑制することができる。
一方、第１実施形態では、有意な起伏情報を有する箇所については、弱いＬＰＦ特性を有する係数テーブルを選択する（ステップＳ４３、ステップＳ４４）。そのため、画像情報をたくさん含む良質な画像データを生成できる。
さらに、第１実施形態では、複数方向において類似性の強弱差が大きいと判定されると、非類似方向の高周波成分を強調する『輪郭強調の度合いのより強いタイプの係数テーブル』に切り換える（ステップＳ４８，ステップＳ５０）。その結果、表色系変換と同時に、画像の輪郭コントラストを鮮明にすることができる。
その上、第１実施形態では、撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する（ステップＳ４２，ステップＳ４６）。その結果、表色系変換と同時に、高い撮像感度において増加するノイズを一段と強く抑制することができる。
次に、別の実施形態について説明する。
＊＊＊ 第２実施形態 ＊＊＊
第２実施形態の電子カメラ（画像処理装置を含む）は、ＲＧＢベイヤー配列のＲＡＷデータ（第１画像に対応）を色補間して、画素単位にＲＧＢ信号成分が揃った画像データ（第２画像に対応）を生成する。
なお、電子カメラの構成（図１）については、第１実施形態と同一である。そのため、説明を省略する。
図１４は、第２実施形態における色補間処理を説明する流れ図である。
以下、図１４に示すステップ番号に沿って、第２実施形態の動作説明を行う。
ステップＳ６１： 画像処理部１１は、処理対象であるＲＡＷデータのＧ画素［ｉ，ｊ］について、『いずれの方向にも類似性の区別がつかない箇所か否か』すなわち『画像構造に有意な方向性が見当たらず、等方性の高い箇所か否か』を類似性判定によって判断する。
例えば、画像処理部１１は、このＧ画素［ｉ，ｊ］について、指標（ＨＶ，ＤＮ）を求める。この処理は、第１実施形態（図３，図４）と同様であるため、説明を省略する。
次に、画像処理部１１は、求めた指標（ＨＶ，ＤＮ）が（０，０）か否かを判定する。
もし、指標（ＨＶ，ＤＮ）が（０，０）の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、Ｇ画素［ｉ，ｊ］は類似性の区別がつかない箇所であると判定できる。この場合、画像処理部１１は、ステップＳ６３に動作を移行する。
一方、指標（ＨＶ，ＤＮ）が（０，０）以外の場合、画像構造に有意な方向性が存在する。この場合、画像処理部１１は、ステップＳ６２に動作を移行する。
ステップＳ６２： このステップでは、画像構造に有意な方向性が存在する。すなわち、処理対象のＧ画素［ｉ，ｊ］は、画像の輪郭部やディテール部などに位置し、重要な画像構造である可能性が高い。
そこで、画像処理部１１は、重要な画像構造を忠実に保つため、後述する平滑化処理（ステップＳ６３，Ｓ６４）を回避する。すなわち、画像処理部１１は、ＲＡＷデータのＧ画素［ｉ，ｊ］の値を、そのまま色補間後の画素［ｉ，ｊ］のＧ色成分とする。
この処理の後、画像処理部１１はステップＳ６５に動作を移行する。
ステップＳ６３： 一方、このステップでは、画像構造に有意な方向性が存在しない。そのため、画像の平坦部や、周囲と孤立した点状のノイズである可能性が高い。画像処理部１１は、このような箇所に限って平滑化を実施することにより、重要な画像構造を損ねることなく、Ｇ画素のノイズを低く抑えることができる。
なお、画像処理部１１は、上述した類似性判定（画像構造の判定）の他に、ＲＡＷデータ撮像時の撮像感度を参考にして、平滑化の度合いを決定する。
図１５は、この平滑化の度合いを変更するために、予め準備する係数テーブルを示す図である。この係数テーブルは、処理対象の中心Ｇ画素［ｉ，ｊ］と、周辺Ｇ画素とを加重加算する際の重み係数を規定するものである。
以下、図１５に示す係数テーブルの選択について説明する。
まず、撮像感度がＩＳＯ２００の場合、画像処理部１１は、図１５（Ａ）に示す係数テーブルを選択する。この係数テーブルは、中心Ｇ画素と周辺Ｇ画素との加重比率が４：１であり、平滑化の度合いの低い係数テーブルである。
また、撮像感度がＩＳＯ８００の場合、画像処理部１１は、図１５（Ｂ）に示す係数テーブルを選択する。この係数テーブルは、中心Ｇ画素と周辺Ｇ画素との加重比率が２：１であり、平滑化の度合いが中間的な係数テーブルである。
また、撮像感度がＩＳＯ３２００の場合、画像処理部１１は、図１５（Ｃ）に示す係数テーブルを選択する。この係数テーブルは、中心Ｇ画素と周辺Ｇ画素との加重比率が１：１であり、平滑化の度合いの強い係数テーブルである。
なお、図１６に示す係数テーブルを用いて、平滑化の度合いを変更してもよい。以下、図１６に示す係数テーブルを使用する場合について説明する。
まず、撮像感度がＩＳＯ２００の場合、図１６（Ａ）に示す係数テーブルを選択する。この係数テーブルは、縦横３×３画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この微細サイズの起伏（高域空間周波数成分）に対する平滑化処理となり、平滑化の度合いを比較的に低くすることができる。
また、撮像感度がＩＳＯ８００の場合、図１６（Ｂ）に示す係数テーブルを選択する。この係数テーブルは、縦横５×５画素の範囲内に、菱形状に重み係数を配分する。その結果、縦横の画素間隔に換算して、斜め４．２４×４．２４画素相当分の菱形テーブルとなる。その結果、この範囲以下の起伏（中高域の空間周波数成分）までが平滑化の対象に入り、平滑化の度合いは若干高くなる。
また、撮像感度がＩＳＯ３２００の場合、図１６（Ｃ）に示す係数テーブルを選択する。この係数テーブルは、縦横５×５画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この範囲以下の起伏（中域空間周波数成分）までが平滑化の対象に入り、平滑化の度合いは更に高くなる。
続いて、ここでの重み係数の一般的な変更ルールについて説明する。
まず、撮像感度が低く、すなわちＲＡＷデータのノイズが少ないほど、画像処理部１１は、中心Ｇ画素の重み係数を相対的に増やすか、および／または係数テーブルのサイズを縮小する。このような係数テーブルの変更により、平滑化を弱めることができる。
逆に、撮像感度が高く、ＲＡＷデータのノイズが多いほど、画像処理部１１は中心Ｇ画素の重み係数を相対的に減らすか、および／または係数テーブルのサイズを拡大する。このような係数テーブルの変更により、平滑化を強めることができる。
ステップＳ６４： 画像処理部１１は、選択した係数テーブルの重み係数に従って、処理対象のＧ画素［ｉ，ｊ］に対して、周辺Ｇ画素の値を加重加算する。画像処理部１１は、加重加算後のＧ画素［ｉ，ｊ］の値を、色補間後の画素［ｉ，ｊ］のＧ色成分とする。
この処理の後、画像処理部１１はステップＳ６５に動作を移行する。
ステップＳ６５： 画像処理部１１は、ＲＡＷデータのＧ画素を対象に、上述した適応型の平滑化処理（ステップＳ６１〜Ｓ６４）を繰り返し実行する。
画像処理部１１は、ＲＡＷデータのＧ画素全てについて、この適応型の平滑化処理を完了すると、ステップＳ６６に動作を移行する。
ステップＳ６６： 続いて、画像処理部１１は、ＲＡＷデータのＲＢ位置（Ｇ色成分の空格子位置）について補間処理を行い、Ｇ色の補間成分を生成する。例えば、ここでは下記のような、指標（ＨＶ，ＤＮ）を考慮した補間処理を実施する。なお、式中の『Ｚ』は、色成分ＲＢのいずれかを一般化して示すものである。
（ＨＶ，ＤＮ）＝（０，０）ならば、Ｇ［ｉ，ｊ］＝（Ｇｖ＋Ｇｈ）／２
（ＨＶ，ＤＮ）＝（０，１）ならば、Ｇ［ｉ，ｊ］＝（Ｇｖ４５＋Ｇｈ４５）／２
（ＨＶ，ＤＮ）＝（０，−１）ならば、Ｇ［ｉ，ｊ］＝（Ｇｖ１３５＋Ｇｈ１３５）／２
（ＨＶ，ＤＮ）＝（１，０）ならば、Ｇ［ｉ，ｊ］＝Ｇｖ
（ＨＶ，ＤＮ）＝（１，１）ならば、Ｇ［ｉ，ｊ］＝Ｇｖ４５
（ＨＶ，ＤＮ）＝（１，−１）ならば、Ｇ［ｉ，ｊ］＝Ｇｖ１３５
（ＨＶ，ＤＮ）＝（−１，０）ならば、Ｇ［ｉ，ｊ］＝Ｇｈ
（ＨＶ，ＤＮ）＝（−１，１）ならば、Ｇ［ｉ，ｊ］＝Ｇｈ４５
（ＨＶ，ＤＮ）＝（−１，−１）ならば、Ｇ［ｉ，ｊ］＝Ｇｈ１３５
ただし、
Ｇｖ＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２
＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８
＋（２・Ｇ［ｉ−１，ｊ］−Ｇ［ｉ−１，ｊ−２］−Ｇ［ｉ−１，ｊ＋２］
＋２・Ｇ［ｉ＋１，ｊ］−Ｇ［ｉ＋１，ｊ−２］−Ｇ［ｉ＋１，ｊ＋２］）／１６
Ｇｖ４５＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２
＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８
＋（２・Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ＋３］
＋２・Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ−３］−Ｚ［ｉ＋１，ｊ＋１］）／１６
Ｇｖ１３５＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２
＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｊ，ｉ＋２］）／８
＋（２・Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ−３］−Ｚ［ｉ−１，ｊ＋１］
＋２・ｚ［ｉ＋１，ｊ＋１］−ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋３］）／１６
Ｇｈ＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２
＋（２・Ｚ［ｉ，ｊ］−Ｚ「ｊ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８
＋（２・Ｇ［ｉ，ｊ−１］−Ｇ［ｉ−２，ｊ−１］−Ｇ［ｉ＋２，ｊ−１］
＋２・Ｇ［ｉ，ｊ＋１］−Ｇ［ｉ−２，ｊ＋１］−Ｇ［ｉ＋２，ｊ＋１］）／１６
Ｇｈ４５＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２
＋（２・ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−ｚ［ｉ＋２，ｊ］）／８
＋（２・Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ−１，ｉ−１］−Ｚ［ｉ＋３，ｊ−１］
＋２・Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ−３，ｊ＋１］−Ｚ［ｉ＋１，ｊ＋１］）／１６
Ｇｈ１３５＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２
＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８
＋（２・Ｚ［ｉ−１，ｊ−１］−Ｚ［ｊ−３，ｊ−１］−Ｚ［ｉ＋１，ｊ−１］
＋２・Ｚ［ｉ＋１，ｊ＋１］−Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ＋３，ｊ＋１］）／１６
ステップＳ６７： 続いて、画像処理部１１は、Ｒ色成分の補間処理を行う。例えば、ここでは、Ｒ位置［ｉ，ｊ］以外の画素［ｉ＋１，ｊ］，［ｉ，ｊ＋１］，［ｉ＋１，ｊ＋１］について、それぞれ下記のような補間処理を実施する。
Ｒ［ｉ＋１，ｊ］＝（Ｒ［ｉ，ｊ］＋Ｒ［ｉ＋２，ｊ］）／２＋（２・Ｇ［ｉ＋１，ｊ］−Ｇ［ｉ，ｊ］−Ｇ［ｉ＋２，ｊ］）／２
Ｒ［ｉ，ｊ＋１］＝（Ｒ［ｉ，ｊ］＋Ｒ［ｉ，ｊ＋２］）／２＋（２・Ｇ［ｉ，ｊ＋１］−Ｇ［ｉ，ｊ］−Ｇ［ｉ，ｊ＋２］）／２
Ｒ［ｉ＋１，ｊ＋１］＝（Ｒ［ｉ，ｊ］＋Ｒ［ｉ＋２，ｊ］＋Ｒ［ｉ，ｊ＋２］＋Ｒ［ｉ＋２，ｊ＋２］）／４
＋（４・Ｇ［ｉ＋１，ｊ＋１］−Ｇ［ｉ，ｊ］−Ｇ［ｉ＋２，ｊ］−Ｇ［ｉ，ｊ＋２］−Ｇ［ｉ＋２，ｊ＋２］）／４
ステップＳ６８： 続いて、画像処理部１１は、Ｂ色成分の補間処理を行う。例えば、ここでは、Ｂ位置［ｉ，ｊ］以外の画素［ｉ＋１，ｊ］，［ｉ，ｊ＋１］，［ｉ＋１，ｊ＋１］について、それぞれ下記のような補間処理を実施する。
Ｂ［ｉ＋１，ｊ］＝（Ｂ［ｉ，ｊ］＋Ｂ［ｉ＋２，ｊ］）／２＋（２・Ｇ［ｉ＋１，ｊ］−Ｇ［ｉ，ｊ］−Ｇ［ｉ＋２，ｊ］）／２
Ｂ［ｉ，ｊ＋１］＝（Ｂ［ｉ，ｊ］＋Ｂ［ｉ，ｊ＋２］）／２＋（２・Ｇ［ｉ，ｊ＋１］−Ｇ［ｉ，ｊ］−Ｇ［ｉ，ｊ＋２］）／２
Ｂ［ｉ＋１，ｊ＋１］＝（Ｂ［ｉ，ｊ］＋Ｂ［ｉ＋２，ｊ］＋Ｂ［ｉ，ｊ＋２］＋Ｂ［ｉ＋２，ｊ＋２］）／４
＋（４・Ｇ［ｉ＋１，ｊ＋１］−Ｇ［ｉ，ｊ］−Ｇ［ｉ＋２，ｊ］−Ｇ［ｉ，ｊ＋２］−Ｇ［ｉ＋２，ｊ＋２］）／４
上述した一連の処理により、ＲＧＢ色補間が完了する。
＊＊＊ 第３実施形態 ＊＊＊
第３実施形態の電子カメラ（画像処理装置を含む）は、ＲＧＢベイヤー配列のＲＡＷデータ（第１画像に対応）を色補間して、画素単位にＲＧＢ信号成分が揃った画像データ（第２画像に対応）を生成する。
なお、電子カメラの構成（図１）については、第１実施形態と同一である。そのため、説明を省略する。
図１７は、第３実施形態における色補間処理を説明する流れ図である。
以下、図１７に示すステップ番号に沿って、第３実施形態の動作説明を行う。
ステップＳ７１： 画像処理部１１は、処理対象であるＲＡＷデータのＧ画素［ｉ，ｊ］について、『いずれの方向も類似性が所定レベルより強いか否か』すなわち『画像構造に有意な方向性が見当たらず、平坦性の高い箇所か否か』を類似性判定によって判断する。
例えば、画像処理部１１は、このＧ画素［ｉ，ｊ］について、類似度Ｃｖ，Ｃｈ，Ｃ４５，Ｃ１３５を求める。この処理は、第１実施形態と同様であるため、説明を省略する。
次に、画像処理部１１は、下記の条件式に基づいて、求めた類似度Ｃｖ，Ｃｈ，Ｃ４５，Ｃ１３５がいずれも所定の閾値以下か否かを判定する。
（Ｃｖ≦Ｔｈｖ）ＡＮＤ（Ｃｈ≦Ｔｈｈ）ＡＮＤ（Ｃ４５≦Ｔｈ４５）ＡＮＤ（Ｃ１３５≦Ｔｈ１３５）
なお、式中の閾値は、類似度が有意な画素値変化を示しているかを判別するための値である。そのため、撮像感度が高くなるに従って、ノイズ増加を考慮して閾値を大きくすることが好ましい。
もし、この条件式を満足した場合、縦横方向および斜め方向に平坦な箇所であると判定できる。この場合、画像処理部１１は、ステップＳ７３に動作を移行する。
一方、この条件式を満足しない場合、画像構造に有意な方向性が存在する。この場合、画像処理部１１は、ステップＳ７２に動作を移行する。
ステップＳ７２〜Ｓ７８： 第２実施形態のステップＳ６２〜Ｓ６８と同一であるため、説明を省略する。
上述した一連の処理により、ＲＧＢ色補間が完了する。
＊＊＊ 実施形態の補足事項 ＊＊＊
なお、上述した第１実施形態のステップＳ４３において、『複数方向の類似性が等方的』かつ『類似性が弱い』と判定された場合に、『ノイズ除去の度合いがより強いタイプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、類似性の弱い箇所をノイズとみなして強力に除去することができる。このような動作では、等方的な箇所（明らかに輪郭ではない箇所）における起伏情報を、孤立したノイズ点として強力にノイズ除去することができる。つまり、輪郭部の画像構造を損なわずに、ブツブツ状のノイズや、モザイク状の色ノイズなどを適切に除去することが可能になる。
また、上述した第１実施形態のステップＳ４８において、類似性の方向間の強弱差が小さいと判定された場合に、信号成分の高周波成分を強調する『ディテール強調タイプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、方向性を持たない微細な画像構造を強調することができる。
なお、上述したひとつの実施形態の中では、輝度成分への表色系変換について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を色差成分への表色系変換に際して実施してもよい。この場合、色差成分の生成と同時に、画像構造を考慮した空間フィルタ処理（特にＬＰＦ処理）を実施することが可能になり、色差ノイズによる偽色発生を良好に抑制することができる。
また、上述したひとつの実施形態の中では、表色系変換に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、表色系変換用の係数テーブルを、色補間用の係数テーブルに代えることにより、『色補間処理』と『画像構造を考慮した高度な空間フィルタ処理』を一緒に実施することが可能になる。
すなわち、第２実施では色補間とローパス処理を一緒に実施する場合についてのみ示したが、第１実施形態と同様に輪郭強調処理を含めてもよい。
さらに、上述した実施形態では、電子カメラ１に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画像処理プログラムによって、外部コンピュータ１８に、図２〜図７に示す動作を実行させてもよい。
また、本発明の画像処理サービスを、インターネットなどの通信回線を介してサービス提供してもよい。
さらに、電子カメラのファームウェアの書き換えにより、本発明の画像処理機能を電子カメラに後から付加してもよい。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理装置などに利用可能な発明である。

Claims (31)

1. 画素単位に第１〜第ｎ色成分（ｎ≧２）のいずれか１つが配分されてなる第１画像を、画素単位に第１〜第ｎ色成分が揃った第２画像に変換する画像処理装置であって、
   第１画像で第１色成分を有する画素位置に対して、周辺画素の第１色成分を用いた平滑化を施し、平滑化後の第１色成分を、第２画像の前記画素位置の第１色成分とする平滑化部を備え、
   前記平滑化部は、前記第１画像が撮像された撮像感度に応じて、前記平滑化するためのフィルタの特性を変更する制御部を有する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１色成分は、第１〜第ｎ色成分の中で輝度信号を担う色成分である
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   第１〜第ｎ色成分は赤色、緑色、青色であり、かつ第１色成分は緑色に相当する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記制御部は、撮像感度に応じて前記フィルタのサイズ（参照する画素範囲）を変更する
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記制御部は、撮像感度に応じて、前記フィルタの要素値（平滑対象に対する周辺の参照成分の寄与率）を変更する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記平滑化部は、
   複数の方向に対する画素の類似性の強弱を判定する類似性判定部と、
   その判定結果に応じて、第１画像の第１色成分をそのまま第２画像の第１色成分として出力するか、平滑化後の第１色成分を第２画像の第１色成分として出力するかを切り換える切り換え部とを有する
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記類似性判定部は、少なくとも４方向に関する画素間の類似度を算出して類似性を判定する
   ことを特徴とする画像処理装置。
8. 画素単位に第１〜第ｎ色成分（ｎ≧２）のいずれか１つが配分されてなる第１画像を、画素単位に少なくとも１つの信号成分が揃った第２画像に変換する画像処理装置であって、
   前記第１画像の色成分を加重加算することによって前記第２画像の前記信号成分を生成する信号生成部を備え、
   前記信号生成部は、前記第１画像を撮像したときの撮像感度に応じて、前記第１画像の色成分を加重加算するときに用いる加重加算係数を変更する制御部を有する
   ことを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記信号生成部は、前記第１〜第ｎ色成分とは異なる信号成分を生成する
   ことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記信号生成部は、前記第１〜第ｎ色成分とは異なる輝度成分を生成する
    ことを特徴とする画像処理装置。
11. 請求項８に記載の画像処理装置において、
    前記制御部は、第１画像で第１色成分を有する画素位置に対して、前記加重加算係数を前記撮像感度に応じて変更する
    ことを特徴とする画像処理装置。
12. 請求項８に記載の画像処理装置において、
    前記制御部は、前記撮像感度に応じて前記加重加算の範囲を変更する
    ことを特徴とする画像処理装置。
13. 請求項８に記載の画像処理装置において、
    前記制御部は、前記撮像感度に応じて前記加重加算の重み係数を変更する
    ことを特徴とする画像処理装置。
14. 請求項８に記載の画像処理装置において、
    前記信号生成部は、
    複数の方向に対する画素の類似性の強弱を判定する類似性判定部を有し、
    前記制御部は、更に前記撮像感度の他に、前記類似性判定結果にも応じて前記加重加算の重み係数を変更する
    ことを特徴とする画像処理装置。
15. 請求項１４に記載の画像処理装置において、
    前記制御部は、前記類似性判定結果が何れの方向も類似性の区別がつかない、もしくは何れの方向も類似性が所定レベルより強いと判断される場合、
    第１画像の処理対象画素が本来有する色成分と、周辺画素の同一色成分とを加重加算する
    ことを特徴とする画像処理装置。
16. 請求項１４に記載の画像処理装置において、
    前記類似性判定部は、少なくとも４方向に関する画素間の類似度を算出して類似性を判定する
    ことを特徴とする画像処理装置。
17. 表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第１画像を変換し、少なくとも１種類の信号成分（以下『新成分』という）を画素単位に揃えた第２画像を生成する画像処理装置であって、
    前記第１画像の処理対象画素において、複数方向について画像の類似性を判定する類似性判定部と、
    前記類似性判定部による前記類似性の方向判定に応じて、予め定められた係数テーブルを選択する係数選択部と、
    選択した係数テーブルにより前記処理対象画素を含む局所域の前記色成分を加重加算して、前記新成分を生成する変換処理部とを備え、
    前記係数選択部は、前記類似性による画像構造の解析に応じて、前記係数テーブルを空間周波数特性の異なるものに変更することにより、前記新成分の空間周波数成分を調整する
    ことを特徴とする画像処理装置。
18. 請求項１７に記載の画像処理装置において、
    前記係数選択部は、前記類似性の値の大小判定により、前記処理対象画素の近傍の画像構造を解析し、解析結果に応じて前記係数テーブルを空間周波数特性の異なるものに変更する
    ことを特徴とする画像処理装置。
19. 請求項１７または請求項１８に記載の画像処理装置において、
    前記係数選択部は、前記係数テーブルを配列サイズの異なるものに変更することにより、前記係数テーブルを空間周波数特性の異なるものに変更する
    ことを特徴とする画像処理装置。
20. 請求項１７ないし請求項１９のいずれか１項に記載の画像処理装置において、
    前記係数選択部は、
    前記方向判定において前記複数方向の前記類似性が略均等と判定され、かつ前記画像構造の解析において前記類似性が強いと判定された場合、前記信号成分の高周波成分を強くおよび／または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する
    ことを特徴とする画像処理装置。
21. 請求項１７ないし請求項１９のいずれか１項に記載の画像処理装置において、
    前記係数選択部は、
    前記方向判定において前記複数方向の前記類似性が略均等と判定され、かつ前記画像構造の解析において前記類似性が弱いと判定された場合、前記信号成分の高周波成分を強くおよび／または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する
    ことを特徴とする画像処理装置。
22. 請求項１７ないし請求項１９のいずれか１項に記載の画像処理装置において、
    前記係数選択部は、
    前記画像構造の解析において前記類似性の方向間の強弱差が大きいと判定された場合、前記類似性の弱い方向の高周波成分を強調する『輪郭強調の度合いがより強いタイプの係数テーブル』に変更する
    ことを特徴とする画像処理装置。
23. 請求項１７ないし請求項１９のいずれか１項に記載の画像処理装置において、
    前記係数選択部は、
    前記画像構造の解析において前記類似性の方向間の強弱差が小さいと判定された場合、前記信号成分の高周波成分を強調する『ディテール強調の度合いがより強いタイプの係数テーブル』に変更する
    ことを特徴とする画像処理装置。
24. 請求項１７ないし請求項２３のいずれか１項に記載の画像処理装置において、
    前記係数選択部は、
    前記第１画像を撮像した際の撮像感度が高いほど、前記係数テーブルをノイズ除去の度合いの強いものに変更する
    ことを特徴とする画像処理装置。
25. 請求項１７ないし請求項２４のいずれか１項に記載の画像処理装置において、
    前記係数テーブルの変更前後において、前記色成分間の加重比率を略一定に保つ
    ことを特徴とする画像処理装置。
26. 請求項１７ないし請求項２５のいずれか１項に記載の画像処理装置において、
    前記色成分間の加重比率は、表色系変換用の加重比率である
    ことを特徴とする画像処理装置。
27. 画像データの処理対象画素と周辺画素とを加重加算することにより、前記画像データに平滑化処理を施す平滑化部と、
    前記画像データを撮影した際の撮像感度に応じて、前記周辺画素の参照範囲を変更する制御部と
    を備えたことを特徴とする画像処理装置。
28. コンピュータを、請求項１ないし請求項２７のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
29. 請求項１ないし請求項２７のいずれか１項に記載の画像処理装置と、
    被写体を撮像して、前記第１画像を生成する撮像部とを備え、
    前記第１画像を前記画像処理装置で処理して、前記第２画像を生成する
    ことを特徴とする電子カメラ。
30. 画素単位に第１〜第ｎ色成分（ｎ≧２）のいずれか１つが配分されてなる第１画像を、画素単位に少なくとも１つの信号成分が揃った第２画像に変換する画像処理方法であって、
    前記第１画像の色成分を加重加算することによって前記第２画像の前記信号成分を生成するステップを備え、
    前記信号成分を生成するステップは、前記第１画像を撮像したときの撮像感度に応じて、前記第１画像の色成分を加重加算するときに用いる加重加算係数を変更するステップを有する
    ことを特徴とする画像処理方法。
31. 表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第１画像を変換し、少なくとも１種類の信号成分（以下『新成分』という）を画素単位に揃えた第２画像を生成する画像処理方法であって、
    前記第１画像の処理対象画素において、複数方向について画像の類似性を判定するステップと、
    前記類似性判定のステップによる前記類似性の方向判定に応じて、予め定められた係数テーブルを選択するステップと、
    選択した係数テーブルにより前記処理対象画素を含む局所域の前記色成分を加重加算して、前記新成分を生成するステップとを備え、
    前記係数選択のステップは、前記類似性による画像構造の解析に応じて、前記係数テーブルを空間周波数特性の異なるものに変更することにより、前記新成分の空間周波数成分を調整する
    ことを特徴とする画像処理方法。

Images