WO2005013622A1

WO2005013622A1 - 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法

Info

Publication number: WO2005013622A1
Application number: PCT/JP2004/009601
Authority: WO
Inventors: Zhehong Chen; Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 2003-06-30
Filing date: 2004-06-30
Publication date: 2005-02-10
Also published as: EP1641285A4; US20060119896A1; JPWO2005013622A1; CN1817047A; EP1641285A1

Abstract

本発明の画像処理装置は、第１～第ｎ色成分（ｎ≧２）の１つを画素配分した第１画像を、画素単位に第１～第ｎ色成分が揃った第２画像に変換する画像処理装置である。この画像処理装置の平滑化部は、第１画像で第１色成分を有する画素位置に対して、周辺画素の第１色成分を用いた平滑化を施し、平滑化後の第１色成分を第２画像の画素位置の第１色成分とする。更に、この平滑化部は、第１画像が撮像された撮像感度に応じて、平滑化するためのフィルタの特性を変更する制御部を備える。

Description

明細書- 色成分の混在配列された画像を処理する .

画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法技術分野

本発明は、色成分が混在配置された第 1画像（例えば R AWデータ）を変換して、少なくとも 1種類の成分を画素単位に揃えた第 2画像を生成する画像処理技術に関する。背景技術

(背景技術 1 )

従来、電子カメラにおいて、輪郭強調やノイズ除去などの空間フィルタ処理を実施するものが知られている。

通常、この種の空間フィルタ処理は、単板撮像素子から出力される R AWデータ（例えばべィヤー配列データ）に対して、色補間処理、輝度色差 Y C b C rへの表色系変換処理を実施した後、輝度色差 Y C b C r (特に輝度成分 Y) に対して実施される。例えば、代表的なノイズ除去フィルタとして、 ε一フィルタなどが知られている。

ところで、この処理では、色補間、表色系変換処理、および空間フィルタ処理を個別に実施しなければならず、画像処理が複雑になってしまうという問題点があった。そのため、 R AWデータの処理時間が長くなるなどの問題点があった。また、画像処理が複雑なために、電子カメラに搭載される画像処理用 I Cの構成が複雑になるという問題点もあった。 . さらに、これらの処理（色補間、表色系変換処理、および空間フィルタ処理）を一つの画像に段階的に実施するため、度重なる処理の過程で微細な画像情報が失われやすいという問題点もあつた。

(背景技術 2 )

通常、単板撮像素子の R AWデータに対して色補間を実施すると、 R AWデータに元から存在する原信号と、原信号の平均処理によって生成される捕間信号とがーつの画面に並ぶ。このとき、原信号と補間信号とでは、空間周波数特性が微妙に異なる。

そこで、米国特許第 5 5 9 6 3 6 7号明細書（以下『特許文献 1』という）では、原信号のみにローパスフィルタ処理を実施して、原信号と捕間信号との間の空間周波数特性の違いを軽減している。

ところで、この処理では、原信号に近接する捕間信号を使って、原信号にローパスフィルタ処理を施す。そのため、この処理においても、色補間と空間フィルタ処理を段階的に実施していることに変わりなく、やはり微細な画像情報が失われやすいという問題点があった。

(背景技術 3 )

なお、本発明者は、先に、国際公開 WO O 2 / 2 1 8 4 9号パンフレツト（以下『特許文献 2』という）に示す国際出願を行っている。この国際出願には、 R AWデータに対して直に表色系変換処理を実施する画像処理装置が開示されている。

この処理では、係数テーブルに従って R AWデータを加重加算することにより、表色系変換を実施している。この係数テーブルには、輪郭強調やノイズ除去用の係数項を、予め固定的に含めることができる。しかしながら、後述する実施形態のように、空間周波数特性の異なる係数テーブル群を予め準備し、これら係数テ一ブル群を随時に切り換える技術については特に言及されていない。

(撮像感度の問題）

一般的な電子カメラでは、撮像素子の撮像感度（例えば、撮像素子出力のアンプゲイン）を変更することができる。この撮像感度の変更によって、撮像される画像のノイズ振幅が大きく変化する。特許文献 1および特許文献 2では、後述する実施形態のように、撮像感度に応じて第 1画像の変換フィルタを変更する技術については特に言及されていない。そのため、低い撮像感度による高 S ZN画像については、変換フィルタの平滑化が強すぎて、過度にボケた画像となる恐れがあった。また、高い撮像感度による低 S ZN画像については、変換フィルタの平滑化が逆に不足し、偽色が目立ったり、ザラザラした画像になる恐れがあった。発明の開示

本発明の目的は、上述した問題点に鑑みて、画像構造に適合した高度な空間フィルタ処理を効率良く簡易に実施することである。

また、本発明の別の目的は、撮影感度が変わっても、解像度やコントラストを維持しつつ適切なノィズ除去が可能な画像処理技術を提供することである。以下、発明について説明する。

( 1 ) 本発明の画像処理装置は、画素単位に第 1〜第 n色成分（n 2 ) のいずれか 1つが配分されてなる第 1画像を、画素単位に第 1〜第 n色成分が揃った第 2画像に変換する画像処理装置である。

この画像処理装置は、平滑化部を備える。この平滑化部は、第 1画像で第 1色成分を有する画素位置に対して、周辺画素の第 1色成分を用いた平滑化を施す。平滑化部は、この平滑化後の第 1色成分を、第 2画像の画素位置の第 1色成分とする。

更に、この平滑化部は、制御部を備える。この制御部は、第 1画像が撮像された撮像感度に応じて、平滑化するためのフィルタの特性を変更する。

このような処理により、撮像感度の条件が変わってもそれぞれに適した高精細なノイズ除去効果が得ることが可能になる。

( 2 ) なお好ましくは、第 1色成分を、第 1〜第 n色成分の中で輝度信号を担う色成分とする。

( 3 ) また好ましくは、第 1〜第 n色成分は赤色、緑色、青色であり、かつ第 1色成分は緑色とする。

( 4 ) なお好ましくは、制御部は、撮像感度に応じてフィルタのサイズ（参照する画素範囲）を変更する。

( 5 ) また好ましくは、制御部は、撮像感度に応じて、フィルタの要素値（平滑対象に対する周辺の参照成分の寄与率）を変更する。

( 6 ) なお好ましくは、平滑化部は、類似性判定部、および切り換え部を備える。

この類似判定部は、複数の方向に対する画素の類似性の強弱を判定する。一方、切り換え部は、その判定結果に応じて、第 1画像の第 1色成分をそのまま第 2画像の第 1色成分として出力するか、平滑化後の第 1色成分を第 2画像の第 1色成分として出力するかを切り換える。

(7) また好ましくは、類似性判定部は、少なくとも 4方向に関する画素間の類似度を算出して類似性を判定する。

(8) 本発明の別の画像処理装置は、画素単位に第 1〜第 n色成分（n 2) のいずれか 1つが配分されてなる第 1画像を、画素単位に少なくとも 1つの信号成分が揃った第 2画像に変換する画像処理装置である。

この画像処理装置は、信号生成部を備える。この信号生成部は、第 1画像の色成分を加重加算することによって、第 2画像の信号成分を生成する。

さらに、この信号生成部は、制御部を備える。この制御部は、第 1画像を撮像したときの撮像感度に応じて、第 1画像の色成分を加重加算するときに用いる加重加算係数を変更する。

(9) なお好ましくは、信号生成部は、第 1〜第 n色成分とは異なる信号成分を生成する。

(1 0) また好ましくは、信号生成部は、第 1〜第 n色成分とは異なる輝度成分を生成する。

(1 1) なお好ましくは、制御部は、第 1画像で第 1色成分を有する画素位置に対して、加重加算係数を撮像感度に応じて変更する。

(1 2) また好ましくは、制御部は、撮像感度に応じて加重加算の範囲を変更する。

(1 3) なお好ましくは、制御部は、撮像感度に応じて加重加算の重み係数を変更する。

(14) また好ましくは、信号生成部は、類似性判定部を有する。この類似性判定部は、複数の方向に対する画素の類似性の強弱を判定する。

制御部は、撮像感度の他に、類似性判定結果にも応じて加重加算の重み係数を変更する。

(1 5) なお好ましくは、制御部は、『類似性判定結果が何れの方向にも類似性の区別がつかない』もしくは『何れの方向にも類似性が所定レベルより強いと判断される』の場合、第 1画像の処理対象画素が本来有する色成分と、周辺画素の同一色成分とを加重加算する。

( 1 6 ) また好ましくは、類似性判定部は、少なくとも 4方向に関する画素間の類似度を算出して類似性を判定する。

( 1 7 ) 本発明の別の画像処理装置は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第 1画像を変換し、少なくとも 1種類の信号成分 (以下『新成分』という）を画素単位に揃えた第 2画像を生成する画像処理装置である。 '

この画像処理装置は、類似性判定部、係数選択部、および変換処理部を備える。まず、類似性判定部は、第 1画像の処理対象画素において、複数方向について画像の類似性を判定する。

係数選択部は、類似性判定部による類似性の方向判定に応じて、予め定められた係数テープルを選択する。

変換処理部は、選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成する。

特に、上記の係数選択部は、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。このような係数テーブルの変更によって、新成分の空間周波数成分の調整を実現する。

以上説明したように、本発明では、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに切り換えることにより、生成される新成分の空間周波数成分を調整する。

このような動作では、背景技術のように、新成分を一旦生成した後、この新成分を空間フィルタ処理するといつた段階的な処理が不要になる。そのため、画像処理の手順を効率よく簡略化できる。

また、新成分の生成に使用していた類似性を使用して、画像構造の解析も済ませているため、その点でも処理に無駄が少なく、画像構造を考慮した高度な空間フィルタ処理を簡易に実現できる。

さらに、この処理では、『新成分の生成』と『画像構造解析に基づく空間周波数成分の調整』とが 1回の加重加算で実施されるため、演算処理を複数回に分けて繰り返す場合に比べて微細な画像情報が失われにくい。

なお好ましくは、本発明において、色成分の加重比率を表色系変換の加重比率に対応させる。この場合、従来の『色補間処理』を不要とし、かつ『表色系変換処理』.および『画像構造を考慮した空間フィルタ処理』を、一回の加重加算で済ますことができる。このような処理により、例えば、従来の時間がかかっていた R AWデータ等の画像処理を、顕著に簡略化し、かつ顕著に高速化することが可能になる。

( 1 8 ) なお好ましくは、係数選択部は、類似性の値の大小判定により、処理対象画素の近傍の画像構造を解析する。係数選択部は、この解析結果に応じて、係数テ一ブルを空間周波数特性の異なるものに変更する。

( 1 9 ) また好ましくは、係数選択部は、係数テーブルを配列サイズの異なるものに変更する。このような変更により、係数テーブルを空間周波数特性の異なるものに変更する。

( 2 0 ) なお好ましくは、係数選択部は、方向判定において複数方向の類似性が略均等と判定され、かつ画像構造の解析において類似性が強いと判定された場合、信号成分の高周波成分を強くおよぴノまたは広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。

( 2 1 ) また好ましくは、係数選択部は、方向判定において複数方向の類似性 • が略均等と判定され、かつ画像構造の解析において類似性が弱いと判定された場合、信号成分の高周波成分を強くおよぴノまたは広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。

( 2 2 ) なお好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が大きいと判定された場合、類似性の弱い方向の高周波成分を強調する『輪郭強調の度合いがより強いタイプの係数テーブル』に変更する。

( 2 3 ) また好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が小さいと判定された場合、信号成分の高周波成分を強調する『ディテール強調の度合いがより強いタイプの係数テーブル』に変更する。

( 2 4 ) なお好ましくは、係数選択部は、第 1画像を撮像した際の撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する。 (25) また好ましくは、係数テーブルの変更前後において、色成分間の加重比率を略一定に保つ。

(26) なお好ましくは、色成分間の加重比率は、表色系変換用の加重比率である。

(27) 本発明の別の画像処理装置は、平滑化部、および制御部を備える。この平滑化部は、画像データの処理対象画素と周辺画素とを加重加算することにより、前記画像データに平滑化処理を施す。

一方、制御部は、この画像データを撮影した際の撮像感度に応じて、上記の周辺画素の参照範囲を変更する。

(28) 本発明の画像処理プログラムは、コンピュータを、上記（1) 〜（2 7) のいずれか 1項に記載の画像処理装置として機能させる。

(29) 本発明の電子カメラは、上記（1) 〜（27) のいずれか 1項に記載の画像処理装置と、被写体を撮像して、第 1画像を生成する撮像部とを備える。この電子カメラでは、撮像部で撮像して得た第 1画像を、画像処理装置で処理して、第 2画像を生成する。

(30) 本発明の画像処理方法は、画素単位に第 1〜第 n色成分（n 2) のいずれか 1つが配分されてなる第 1画像を、画素単位に少なくとも 1つの信号成. 分が揃った第 2画像に変換する画像処理方法である。

この画像処理方法は、第 1画像の色成分を加重加算することによって第 2画像の信号成分を生成するステップを備える。

特に、この信号成分を生成するステップにおいて、第 1画像を撮像したときの撮像感度に応じて、第 1画像の色成分を加重加算するときに用いる加重加算係数を変更するステップを実施する。

(3 1) 本発明の別の画像処理方法は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第 1画像を変換し、少なくとも 1種類の信号成分 (以下『新成分』という）を画素単位に揃えた第 2画像を生成する画像処理方法である。この画像処理方法は、下記のステップを有する。

[S 1] 第 1画像の処理対象画素において、複数方向について画像の類似性を判定するステップ。 [S 2] 類似性判定のステップによる類似性の方向判定に応じて、予め定められた係数テーブルを選択するステップ。

[S 3] 選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成するステップ。

特に、上記の係数選択のステップでは、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。この変更により、新成分の空間周波数成分を調整する。図面の簡単な説明

なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによつて容易に確認することができる。

図 1は、電子カメラ 1の構成を示すプロック図である。

図 2は、表色系変換処理の大まかな動作を示す流れ図である。

図 3は、指標 HVの設定動作を示す流れ図である。

図 4は、指標 DNの設定動作を示す流れ図である。

図 5は、輝度成分の生成処理を示す流れ図 ( 1 /3 ) である。

図 6は、輝度成分の生成処理を示す流れ図（2/3) である。

図 7は、輝度成分の生成処理を示す流れ図（3Z3) である。

図 8は、指標（HV,DN) と類似方向との関係を示す図である。

図 9は、係数テーブルの一例を示す図である。

図 1 0は、係数テーブルの一例を示す図である。

図 1 1は、係数テーブルの一例を示す図である。

図 1 2は、係数テーブルの一例を示す図である。

図 1 3は、係数テーブルの一例を示す図である。

図 14は、 RGB色補間の動作を説明する流れ図である。

図 1 5は、係数テーブルの一例を示す図である。

図 1 6は、係数テーブルの一例を示す図である。

図 1 7は、 RGB色補間の動作を説明する流れ図である。発明を実施するための最良の形態

* * * 第 1実施形態 * * *

以下、図面に基づいて本発明にかかる第 1実施形態を説明する。

図 1は、第 1実施形態に対応する電子カメラ 1のブロック図である。

図 1において、電子カメラ 1には、撮影レンズ 2 0が装着される。この撮影レンズ 2 0の像空間には、撮像素子 2 1の撮像面が配置される。この撮像面上には、べィヤー配列の R G B原色フィルタが配置される。この撮像素子 2 1から出力される画像信号は、アナログ信号処理部 2 2および A/D変換部 1 0を介して、 R AWデータ（第 1画像に対応）にデジタル変換された後、バスを介してメモリ 1 3に一時記憶される。

このメモリ 1 3には、バスを介して、画像処理部（例えば、画像処理専用の 1 チップ .マイクロプロセッサ） 1 1、制御部 1 2、圧縮伸張部 1 4、画像表示部 1 5、記録部 1 7および外部インタフェース部 1 9が接続される。

また、電子カメラ 1には、操作部 2 4、モニタ 2 5、およびタイミング制御部 2 3が設けられる。さらに、電子カメラ 1には、メモリカード 1 6が装着される。記録部 1 7は、このメモリカード 1 6に、処理済みの画像を圧縮記録する。

なお、電子カメラ 1は、外部インタフェース部 1 9 (U S Bなど）を介して、外部コンピュータ 1 8に接続することもできる。

[発明との対応関係]

以下、発明と第 1実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。

請求項記載の類似性判定部は、画像処理部 1 1の『縦横斜め方向の類似性を求め、これら類似性の方向判定により R AWデータの各画素を case 1〜 1 2 (後述）に分類する機能』に対応する。

請求項記載の係数選択部は、画像処理部 1 1の『空間周波数特性の異なる係数テーブル群を類似性の強弱判定などに基づいて切り換え使用する機能、および ease l〜 1 2に応じて係数テーブル群から係数テーブルを選択する機能』に対応する。請求項記載の変換処理部は、画像処理部 1 1の『係数テーブルに従って R AW データの局所域の色成分を加重加算して、新成分（ここでは輝度成分）を求める機能』に対応する。

請求項記載の第 1画像は、 R AWデータに対応する。

請求項記載の第 2画像は、表色系変換後の画像データに対応する。

[第 1実施形態の動作説明]

図 2〜図 7は、画像処理部 1 1の動作フローチャートである。なお、図 2には、表色系変換のおおまかな流れを示す。図 3および図 4には、類似性の方向判別の指標（HV, DN) を求める動作を示す。また、図 5〜7には、輝度成分の生成処理を示す。

まず、図 2を用いて、表色系変換のおおまかな動作を説明する。

画像処理部 1 1は、 R AWデータの処理対象画素を中心に、画面の縦横方向について類似性の方向判定を行い、指標 HV を求める（ステップ S 1 ) 。この指標 HVは、横よりも縦の類似性が強い場合に『1』が設定され、縦よりも横の類似性が強い場合に『一 1』が設定され、縦横間で類似性に区別がつかない場合に『0』が設定される。

さらに、画像処理部 1 1は、 R AWデータの処理対象画素を中心に、画面の斜め方向について類似性の方向判定を行い、指標 DNを求める（ステップ S 2 ) 。この指標 DNは、斜め 1 3 5度よりも斜め 4 5度の類似性が強い場合に『1』が設定され、斜め 4 5度よりも斜め 1 3 5度の類似性が強い場合に『一 1』が設定され、これら類似性に区別がつかない場合に『0』が設定される。

次に、画像処理部 1 1は、「輝度成分生成処理」を行う（ステップ S 3 ) と共に、「色度成分生成処理」を行う（ステップ S 4 ) 。

なお、色度成分生成処理については、上述した特許文献 3の実施形態に詳しく説明されているため、ここでの説明を省略する。

以下、「指標 HVの設定処理」、「指標 DNの設定処理」、および「輝度成分生成処理」の順番に具体的な動作説明を行う。

《指標 HVの設定処理》

まず、図 3を参照して、指標 HV [i, j]の算出処理を説明する。なお、後述する演算式では、色成分 RBを一般化し、『Z』と表記する。

ステップ S 1 2：まず、画像処理部 1 1は、 RAWデータの座標 [i, j]において、縦横方向の画素間差分を算出し、類似度とする。

例えば、画像処理部 1 1は、以下の式 1〜式 4を用いて、縦方向の類似度 Cv[i，j]と横方向の類似度 Ch[i， j]とを算出する。（なお、式中の絶対値 IIについては、 2乗演算などに代えてもよい。）

( 1 ) 座標 [i，j]が、 R位置または B位置の場合

Cv[i, j] = (|G[i, j - 1]- G[i， | + |G[i-l, j-2]-G[i-l, j] |

+ |G[i - 1， j+2]-G[i-l, j] | + |G[i+l, j-2]-G[i+l, j] | + |G[i+l, j+2]-G[i+l, j] | +|Z[i， j - 2] - Z[i， j] | + |Z[i, j+2]_Z[i, j] |)/7 ···式 1

Ch[i， j] = (|G[i-l, j]一 G[i+1, j] | + |G[i-2, j - 1] - G[i， j_l] |

+ |G[i+2, j-l]-G[i, j-l]| + |G[i-2, j+l]-G[i, j+l] | + |G[i+2, j+1]- G[i, j+1] | + |Z[i-2, j]-Z[i, j] | + |Z[i+2, j]- Z[i， j] |)/7 · · ·式 2

(2) 座標 [i，j]が、 G位置の場合

Cv[i, j] = (|G[i, j -²] _G[i, j] | + |G[i, j+2]-G[i, j] |

+ |G[i- 1, j-l]-G[i-l, j+1] | + |G[i+l, j - 1]- G[i+1, j+1] |

+ |Z[i, j-l]-Z[i, j+1] |)/5 …式 3

Ch[i, j] = (|G[i-2, j]-G[i, j] | + |G[i+2， j]_G[i， j] I

+ |G[i - 1， j- 1]一 G[i+1， j一 1] | + |G[i-l, j+1]— G[i+1， j+l] |

+|Z[i— 1， j]—Z[i+l， j] |)/5 …式 4

このようにして算出される類似度は値が小さい程、類似性が強いことを示す。ステップ S 1 3 ：次に、画像処理部 1 1は、縦横方向の類似度を比較する。ステップ S 1 4 ：例えば、下記の条件 2が成り立つ場合、画像処理部 1 1は、縦横の類似度が同程度であると判定し、指標 HV[i， j]に 0を設定する。

|Cv[i, j]-Ch[i, j] I≤Th4 ···条件 2

なお、条件 2において、閾値 Th4は、縦横の類似度の差異が微少である場合、ノイズによって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値 Th4の値を高く設定することが好ましい。ステップ S 1 5 _: —方、条件 2が不成立で、かつ下記の条件 3が成り立つ場合、画像処理部 1 1は、縦の類似性が強いと判定して、指標 HV[i, j]に 1を設定する。

Cv[i, j]<Ch[i, j] ···条件 3

ステップ S 1 6 ：また、条件 2および条件 3が不成立の場合、画像処理部 1 1 は、横の類似性が強いと判定して、指標 HV[i， j]に一 1を設定する。

ところで、ここでは RB位置と G位置の両方に対して類似度を算出したが、簡略化のためには、 RB位置のみ類似度を算出して、 RB位置の方向指標 HVを設定し、 G位置の方向指標は周辺の HV値を参照して決めるようにしてもよい。例えば、 G位置の隣接 4点の指標について平均値を求めて整数化を行い、 G位置の方向指標としてもよい。

《指標 DNの設定処理》

次に、図 4を参照して、指標 DN[i， j]の設定処理を説明する。

ステップ S 3 1 : まず、画像処理部 1 1は、 RAWデータの座標 [i，j]において、斜め 45度方向および斜め 135度方向の画素間差分を算出して、類似度とする。例えば、画像処理部 1 1は、以下の式 5〜式 8を用いて、斜め 45度方向の類似度 C45[i， j]と、斜め 1 35度方向の類似度 C135[i， j]とを求める。

(1) 座標 [i，j]が、 R位置または B位置の場合

C45[i, j] = (|G[i-l, j]一 G[i, j-1] | + |G[i, j+1] - G[i+1， j] |

+ |G[i - 2， j-l]-G[i-l, j-2] | + |G[i+l, j+2]-G[i+2, j+1] |

+|Z[i-l, j+l]-Z[i+l, j-1] |)/5 …式 5

C135[i, j] = (|G[i_l, j]-G[i, j+1] | + |G[i， j— 1]—G[i+1， j] |

+ |G[i- 2， j + 1]— G[i- 1， j+2] | + |G[i+l, j-2]-G[i+2, j-l] |

+ |Z[i- 1， j- l]_Z[i+l， j+1] |)/5 …式 6

(2) 座標 [i，j]が、 G位置の場合

C45[i, j] = (|G[i- 1, j+l]-G[i, j] | + |G[i+l, j - l]_G[i, j] |

+ |Z[i - 1， j]_Z[i， j - 1] | + |Z[i, j+1] - Z[i+1, j] |)/4 …式 7

C135[i, j] = (|G[i-l, j-l]-G[i, j] | + |G[i + l， j+l]-G[i, j] |

+ |Z[i - 1, j]-Z[i, j+1] | + |Z[i, j-1]- Z[i+1, j] |)/4 …式 8

このようにして算出される類似度は、値が小さい程、類似性が強いことを示す。ステップ S 3 2：画像処理部 1 1は、このようにして、斜め 45度方向および斜め 13⁵度方向に対する類似度を算出すると、これらの類似度に基づいて、 2つの斜め方向の類似性が同程度であるか否かを判定する。

例えば、このような判定は、下記の条件 5が成り立つか否かを判定することによって実現できる。

| C45 [i, j] - C135 [i, j] I≤Th5 · · ·条件 5

なお、閾値 Th5は、 2方向の類似度 C45 [i, j] , C135 [i， j]の差異が微少である場合、ノィズによつて一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値 Th5の値を高く設定することが好ましい。

ステップ S 3 3 ：このような判定から斜め類似性が同程度の場合、画像処理部 1 1は、指標 DN[i, j]に 0を設定する。

ステップ S 3 4 ：一方、斜め類似性が強い方向が判別できる場合、斜め 45度方向の類似性が強いか否かを判定する。

例えば、このような判定は、下記の条件 6が成り立つか否かを判定することによって実現できる。

C45 [i, j] <C135 [i, j] · ' ·条件 6

ステップ S 3 5 ：そして、画像処理部 1 1は、ステップ S 3 4の判定結果として、斜め 45度方向の類似性が強い場合（条件 5が成り立たず、条件 6が成り立つ場合）、指標 DN[i， j]に 1を設定する。

ステップ S 3 6 ：一方、斜め 135度方向の類似性が強い場合 (条件 5および条件 6が成り立たない場合）、指標 DN[i, j]に一 1を設定する。

ところで、ここでは R B位置と G位置の両方に対して類似度を算出したが、簡略化のためには、 R B位置のみ類似度を算出して、 R B位置の方向指標 D Nを設定し、 G位置の方向指標は周辺の D N値を参照して決めるようにしてもよい。例えば、 G位置の隣接 4点の指標について平均値を求めて整数化を行い、 G位置の方向指標としてもよい。

《輝度成分生成処理》

次に、図 5〜図 7を参照して「輝度成分生成処理」の動作を説明する。ステップ S 4 1 ：画像処理部 1 1は、処理対象画素の指標（HV， DN) 1S (◦, 0) か否かを判定する。

ここで、指標（HV， DN) が（0， 0) の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、等方的な類似性を示す箇所であると判定できる。この場合、画像処理部 1 1は、ステップ S 42に動作を移行する。

一方、指標（HV， DN) が（0， 0) 以外の場合、縦横方向または斜め方向の類似性が不均等であり、図 8に示すように、画像構造に方向性を有する箇所であると判定できる。この場合、画像処理部は、ステップ S 47に動作を移行する。ステップ S 42 : 画像処理部 1 1は、 RAWデータを撮像した際の撮像感度（撮像素子のアンプゲインに対応) を制御部 1 2から情報取得する。

撮像感度が高感度であった場合（例えば I S0800相当以上）、画像処理部 1 1はステップ S 46に動作を移行する。

一方、撮像感度が低感度であった場合、画像処理部 1 1はステップ S 43に動作を移行する。

ステップ S 43 ：画像処理部 1 1は、類似性の強弱判定を実施する。例えば、このような強弱判定は、指標 HVの算出に用いた類似度 Cv[i， j]，Ch[i, j]や、指標 DNの算出に用いた類似度 C4⁵[i， j]，Cl³⁵[i, j]のいずれかが、次の条件 7を満たすか否かによって判断される。

類似度 >閾値 th6 ' · ·条件 7

ただし、閾値 th6は、等方的な類似性を有する箇所が、『平坦部』か『有意な起伏情報を有する箇所』かを判別するための境界値であり、実際の RAWデータの値に合わせて予め設定される。

条件 7が成立する場合、画像処理部 1 1はステップ S 44に動作を移行する。一方、条件 7が不成立の場合、画像処理部 1 1はステップ S 45に動作を移行する。

ステップ S 44 ：ここでは、条件 7が成立しているため、処理対象画素は周辺画素との類似性が弱く、すなわち有意な起伏情報を有する箇所であると判断できる。そこで、画像処理部 1 1は、この有意な起伏情報を残すため、弱い L PF特性を示す係数テーブル 1 (図 9参照）を選択する。この係数テーブル 1は、 RG B位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部 1 1は、ステップ S 5 1に動作を移行する。

ステップ S 4 5 ：ここでは、条件 7が不成立のため、処理対象画素は周辺画素との類似性が強く、すなわち平坦部であると判断できる。そこで、画像処理部 1 1は、この平坦部に目立つ微小振幅のノイズを確実に除去するため、強くかつ広帯域に高周波成分を抑制する係数テーブル 2， 3 (図 9参照）のいずれかを選択する。この係数テーブル 2は、処理対象画素が R B位置の場合に選択される係数テーブルである。一方、係数テーブル 3は、処理対象画素が G位置の場合に選択される係数テ一プルである。

このような選択動作の後、画像処理部 1 1は、ステップ S 5 1に動作を移行する。

ステップ S 4 6 ：ここでは、撮像感度が高いために、 R AWデータの S ZNが低いと判断できる。そこで、画像処理部 1 1は、 R AWデータのノイズを確実に除去するため、一段と強くかつ一段と広帯域に高周波成分を抑制する係数テープル 4 (図 9参照）を選択する。この係数テーブル 4は、 R G B位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部 1 1は、ステップ S 5 1に動作を移行する。

ステップ S 4 7 ：ここでは、処理対象画素が非等方性の類似性を有する。そこで、画像処理部 1 1は、『類似方向の類似性』と『非類似方向の類似性』の強弱差を求める。

このような強弱差は、例えば、指標 HV の算出に使用した『縦方向の類似度 Cv [i，j]』と『横方向の類似度 Ch [i，j]』の差分や比率から求めることができる。また例えば、指標 D Nの算出に使用した『斜め 4 5度方向の類似度 C45 [i, j]』と『斜め 1 3 5度方向の類似度 C135 [i， j]』の差分や比率から求めることもできる。ステップ S 4 8 ：画像処理部 1 1は、求めた強弱差を、次の条件 8に従って、閾値判定する。

I強弱差 | >閾値 th7 · · ·条件 8

ただし、閾値 th7は、処理対象画素が、輪郭部の画像構造であるか否かを区別するための値であり、実際の R AWデータの値に合わせて予め設定される。画像処理部 1 1は、条件 8が成立する場合、ステップ S 5 0に動作を移行する。一方、条件 8が不成立の場合、ステップ S 4 9に動作を移行する。

ステップ S 4 9 ：ここでは、条件 8が不成立のため、処理対象画素は、画像の輪郭部ではないと推定される。そこで、画像処理部 1 1は、輪郭強調の弱い係数テーブル群（図 9〜図 1 3 に示す、配列サイズ 3 X 3の係数テーブル

5， 7, 9， 11， 13， 15, 17, 19， 21， 23, 25, 27) の中から、係数テーブルを選択する。具体的には、画像処理部 1 1は、『指標（HV, DN) による類似性の方向判定』と『処理対象画素の色成分』とを組み合わせた条件に基づいて、処理対象画素を、下記の easel〜 1 2に分類する。なお、下記の『x』は、 1， 0， _1の何れでもよい。《R位置または B位置》

easel: (HV, DN) = (l, 1)：縦および斜め 45度方向の類似性が強い。

case2: (HV, DN) = (1, 0)：縦方向の類似性が強い。

case³: (HV, DN) = (1，- 1)：縦および斜め 135度方向の類似性が強い。

case4: (HV, DN) = (0， 1)：斜め 45度方向の類似性が強い。

case5:欠番

case⁶: (HV, DN) = (0,-1)：斜め 135度方向の類似性が強い。

case7: (HV, DN) = (- 1, 1)：横および斜め 45度方向の類似性が強い。

case8: (HV, DN) = (- 1, 0)：横方向の類似性が強い。

case9: (HV, DN) = (- 1， - 1)：横および斜め 135度方向の類似性が強い。

《G位置》

case 10: (HV， DN) = (1, x)：少なくとも縦方向の類似性が強い。

casell— 1: (HV,DN) = (0, 1):斜め 45度方向の類似性が強い。

casell— 1: (HV, DN) = (0,-l)：斜め 135度方向の類似性が強い。

easel²: (HV, DN) = (-l,x)：少なくとも横方向の類似性が強い。

この easel〜1 2の分類に従い、画像処理部 1 1は、輪郭強調の弱い係数テーブル群（図 9〜図 1 3に示す係数テーブル 5, 7, 9, 11， 13， 15， 17, 19, 21, 23, 25， 27) の中から、下記の係数テーブルを選択する。

easelのとき：係数テーブル 5を選択する。

case2のとき：係数テーブル 7を選択する。 case3のとき：係数テーブル 9を選択する。

case4のとき：係数テーブル 1 1を選択する。

case5のとき：欠番

case⁶のとき：係数テーブル 1 3を選択する。

case7のとき：係数テーブル 1 5を選択する。

case8のとき：係数テーブル' 1 7を選択する。

case9のとき：係数テーブル 1 9を選択する。

caselOのとき：係数テープ^ ^ 2 1を選択する。

casel l— 1のとき：係数テーブル 2 3を選択する。

casel l— 2のとき：係数テーブル 2 5を選択する。

case l2のとき：係数テープル 2 7を選択する。

なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テープルを選択している。

このような係数テーブルの選択後、画像処理部 1 1は、ステップ S 5 1に動作を移行する。

ステップ S 5 0 ：ここでは、条件 8が成立しているため、処理対象画素は、画像の輪郭部であると推定される。そこで、画像処理部 1 1は、輪郭強調の強い係数テーブル群（図 9〜図 1 3に示す、配列サイズ 5 X 5の係数テーブル 6, 8, 10, 12, 14, 16, 18， 20， 22, 24, 26, 28) の中から係数テーブルを選択する。

具体的には、画像処理部 1 1は、ステップ S 4 9と同様に、処理対象画素を case 1 ~ 1 2に分類する。

この ease l〜1 2の分類に従い、画像処理部 1 1は、輪郭強調の強い係数テーブル群（図 9〜図 1 3に示す係数テーブル 6, 8， 10， 12, 14, 16， 18, 20, 22, 24， 26, 28) の中から、下記の係数テーブルを選択する。

easelのとき：係数テーブル 6を選択する。

case2のとき：係数テーブル 8を選択する。

case3のとき：係数テ一ブル 1 0を選択する。

case4のとき：係数テープノレ 1 2を選択する。

case5のとき：欠番 case6のとき：係数テープノレ 1 4を選択する。

case7のとき：係数テーブル 1 6を選択する。

case8のとき：係数テーブル 1 8を選択する。

case9のとき：係数テープノレ 20を選択する。

caselOのとき：係数テーブル 2 2を選択する。

casell__lのとき：係数テーブル 24を選択する。

case 11— 2のとき：係数テーブル 2 6を選択する。

casel2のとき：係数テーブル 2 8を選択する。

なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テーブルを選択している。さらに、この係数テーブルは、類似方向と略直交する方向には負の係数項を配分することにより、画像の輪郭強調を可能にしている。このような係数テーブルの選択後、画像処理部 1 1は、ステップ S 5 1に動作を移行する。

ステップ S 5 1 ：上述した一連の動作により、画素単位に係数テーブルが選択される。画像処理部 1 1は、このように選択された係数テーブルの係数項を、 R AWデータの処理対象画素を含む局所域の色成分に乗じて加算する。 . このとき、図 9〜図 1 3に示す係数テーブルのいずれが選択されても、この加重加算における色成分ごとの加重比率は『R _: G : B= 1 : 2 : 1』を常に保つ。この加重比率は、 RGB色成分から輝度成分 Yを求める際の加重比率に等しい。そのため、上述した加重加算では、 RAWデータから輝度成分 Yが画素単位に直に生成される。

[第 1実施形態の効果など]

以上説明したように、第 1実施形態では、空間周波数特性の異なる係数テープル群を予め準備し、画像構造の解析結果に応じて係数テーブル群を切り換え使用する（ステップ S 4 3，ステップ S 4 8) 。その結果、『表色系変換』および『画像構造を考慮した空間フィルタ処理』という本来別々の画像処理を、一回の加重加算で実行することが可能になる。

したがって、空間フィルタ処理を表色系変換と別に行う必要がなくなり、 RA Wデータの処理にかかる時間を格段に短縮することができる。また、一回の加重加算で済むため、表色系変換と空間フィルタ処理を段階的に実施する背景技術に比べて、画像情報の劣化を小さくすることもできる。

また、第 1実施形態は、『複数方向の類似性が等方的』かつ『類似性が強い』と判定された場合、『ノイズ除去の度合いが強いタイプの係数テーブル』を選択する（ステップ S 4 3 , ステップ S 4 5 ) 。そのため、表色系変換と同時に、画像の平坦部に目立つノィズを強力に抑制することができる。

一方、第 1実施形態では、有意な起伏情報を有する箇所については、弱い L P F特性を有する係数テーブルを選択する（ステップ S 4 3、ステップ S 4 4 ) 。そのため、画像情報をたくさん含む良質な画像データを生成できる。

さらに、第 1実施形態では、複数方向において類似性の強弱差が大きいと判定されると、非類似方向の高周波成分を強調する『輪郭強調の度合いのより強いタイブの係数テーブル』に切り換える（ステップ S 4 8，ステップ S 5 0 ) 。その結果、表色系変換と同時に、画像の輪郭コントラストを鮮明にすることができる。その上、第 1実施形態では、撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する（ステップ S 4 2 , ステップ S 4 6 )。その結果、表色系変換と同時に、高い撮像感度において増加するノィズを一段と強く抑制することができる。

次に、別の実施形態について説明する。

* * * 第 2実施形態 * * *

第 2実施形態の電子カメラ（画像処理装置を含む）は、 R G Bべィヤー配列の R AWデータ（第 1画像に対応) を色補間して、画素単位に R G B信号成分が揃つた画像データ（第 2画像に対応）を生成する。

なお、電子カメラの構成（図 1 ) については、第 1実施形態と同一である。そのため、説明を省略する。

図 1 4は、第 2実施形態における色補間処理を説明する流れ図である。

以下、図 1 4に示すステップ番号に沿って、第 2実施形態の動作説明を行う。ステップ S 6 1 ：画像処理部 1 1は、処理対象である R AWデータの G画素 [i， j]について、『いずれの方向にも類似性の区別がつかない箇所か否か』すなわち『画像構造に有意な方向性が見当たらず、等方性の高い箇所か否か』を類似性判定によって判断する。

例えば、画像処理部 1 1は、この G画素 [i, j]について、指標（H V， D N) を求める。この処理は、第 1実施形態（図 3，図 4 ) と同様であるため、説明を省略する。

次に、画像処理部 1 1は、求めた指標（H V， D N) 力 S ( 0， 0 ) か否かを判定する。

もし、指標（HV， DN) が（0 , 0 ) の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、 G画素 [i， j]は類似性の区別がつかない箇所であると判定できる。この場合、画像処理部 1 1は、ステップ S 6 3に動作を移行する。一方、指標（HV, DN) 力 S ( 0， 0 ) 以外の場合、画像'構造に有意な方向性が存在する。この場合、画像処理部 1 1は、ステップ S 6 2に動作を移行する。

ステップ S 6 2 ：このステップでは、画像構造に有意な方向性が存在する。すなわち、処理対象の G画素 [i， j]は、画像の輪郭部やディテール部などに位置し、重要な画像構造である可能性が高い。

そこで、画像処理部 1 1は、重要な画像構造を忠実に保っため、後述する平滑化処理（ステップ S 6 3 , S 6 4 ) を回避する。すなわち、画像処理部 1 1は、 R AWデータの G画素 [i， j]の値を、そのまま色補間後の画素 [i， j]の G色成分とする。

この処理の後、画像処理部 1 1はステップ S 6 5に動作を移行する。

ステップ S 6 3 ：一方、このステップでは、画像構造に有意な方向性が存在しない。そのため、画像の平坦部や、周囲と孤立した点状のノイズである可能性が高い。画像処理部 1 1は、このような箇所に限って平滑化を実施することにより、重要な画像構造を損ねることなく、 G画素のノィズを低く抑えることができる。なお、画像処理部 1 1は、上述した類似性判定（画像構造の判定）の他に、 R AWデータ撮像時の撮像感度を参考にして、平滑化の度合いを決定する。

図 1 5は、この平滑化の度合いを変更するために、予め準備する係数テーブルを示す図である。この係数テーブルは、処理対象の中心 G画素 [i， j]と、周辺 G画素とを加重加算する際の重み係数を規定するものである。

以下、図 1 5に示す係数テーブルの選択について説明する。まず、撮像感度が I S O 2 0 0の場合、画像処理部 1 1は、図 1 5 (A) に示す係数テーブルを選択する。この係数テーブルは、中心 G画素と周辺 G画素との加重比率が 4 ： 1であり、平滑化の度合いの低い係数テーブルである。

また、撮像感度が I S O 8 0 0の場合、画像処理部 1 1は、図 1 5 ( B ) に示す係数テーブルを選択する。この係数テーブルは、中心 G画素と周辺 G画素との加重比率が 2 ： 1であり、平滑化の度合いが中間的な係数テーブルである。また、撮像感度が I S O 3 2 0 0の場合、画像処理部 1 1は、図 1 5 ( C ) に示す係数テーブルを選択する。この係数テーブルは、中心 G画素と周辺 G画素との加重比率が 1 ： 1であり、平滑化の度合いの強い係数テーブルである。

なお、図 1 6に示す係数テーブルを用いて、平滑化の度合いを変更してもよい。以下、図 1 6に示す係数テーブルを使用する場合について説明する。

まず、撮像感度が I S O 2 0 0の場合、図 1 6 (A) に示す係数テーブルを選択する。この係数テーブルは、縦横 3 X 3画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この微細サイズの起伏（高域空間周波数成分）に対する平滑化処理となり、平滑化の度合いを比較的に低くすることができる。

また、撮像感度が I S O 8 0 0の場合、図 1 6 ( B ) に示す係数テーブルを選択する。この係数テーブルは、縦横 5 X 5画素の範囲内に、菱形状に重み係数を配分する。その結果、縦横の画素間隔に換算して、斜め 4 . 2 4 X 4 . 2 4画素相当分の菱形テーブルとる。その結果、この範囲以下の起伏（中高域の空間周波数成分）までが平滑化の対象に入り、平滑化の度合いは若干高くなる。

また、撮像感度が I S O 3 2 0 0の場合、図 1 6 ( C ) に示す係数テーブルを選択する。この係数テーブルは、縦横 5 X 5画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この範囲以下の起伏（中域空間周波数成分）までが平滑化の対象に入り、平滑化の度合いは更に高くなる。

続いて、ここでの重み係数の一般的な変更ルールについて説明する。

まず、撮像感度が低く、すなわち R AWデータのノイズが少ないほど、画像処理部 1 1は、中心 G画素の重み係数を相対的に増やすか、および/または係数テ一プルのサイズを縮小する。このような係数テーブルの変更により、平滑化を弱めることができる。

逆に、撮像感度が高く、 RAWデータのノイズが多いほど、画像処理部 1 1は中心 G画素の重み係数を相対的に減らすか、およびノまたは係数テーブルのサイズを拡大する。このような係数テーブルの変更により、平滑化を強めることがでさる。 ·

ステップ S 64 ：画像処理部 1 1は、選択した係数テーブルの重み係数に従つて、処理対象の G画素 [i, j]に対して、周辺 G画素の値を加重加算する。画像処理部 1 1は、加重加算後の G画素 [i，j]の値を、色補間後の画素，」]の0色成分とする。

ステップ S 6 5 ：画像処理部 1 1は、 RAWデータの G画素を対象に、上述した適応型の平滑化処理（ステップ S 6 1〜S 64) を繰り返し実行する。

画像処理部 1 1は、 RAWデータの G画素全てについて、この適応型の平滑化処理を完了すると、ステップ S 66に動作を移行する。

ステップ S 66 ：続いて、画像処理部 1 1は、 RAWデータの RB位置（G色成分の空格子位置）について捕間処理を行い、 G色の捕間成分を生成する。例えば、ここでは下記のような、指標（HV， DN) を考慮した補間処理を実施する。なお、式中の『Z』は、色成分 RBのいずれかを一般化して示すものである。 (HV,DN) = (0,0)ならば、 G[i, j] = (Gv+Gh)/2

(HV,DN) = (0, 1)ならば、 G[i, j] = (Gv45+Gh45)/2

(HV, DN) = (0, -1)ならば、 G[i, j] = (Gvl35+Ghl35)/2

(HV，DN) = (1,0)ならば、 G[i，j]=Gv

(HV, DN) = (1, 1)ならば、 G[i， j]=Gv45

(HV，DN) = (1，- 1)ならば、 G[i, j]=Gvl35

(HV,DN) = (-1，0)ならば、 G[i, j]=Gh

(HV,DN) = (-1, 1)ならば、 G[i, j]=Gh45

(HV, DN) = (-1,—1)ならば、 G[i, j]=Ghl35

ただし、 Gv=(G[i, j-l]+G[i, j+l])/2

+ (2'Z[i， j]-Z[i, j-2]-Z[i, j+2])/8

+ (2'G[i— 1， j]— G[i - 1， j_2] - G[i_l， j+2]

+2-G[i+l, j]-G[i+l, j- 2] - G[i+1， j+2])/16

Gv45=(G[i, j-l]+G[i, j+l])/2

+ (2'Z[i， j]-Z[i, j - 2]-Z[i, j+2])/8

+ (2-Z[i-l, j+l]-Z[i-l, j一 1]一 Z[i-1, j+3]

+2-Z[i+l, j - 1]- Z[i+1, j- 3] - Z[i+1, j+1]) 6

Gvl35=(G[i, j-l]+G[i, j+l])/2

+(2-Z[i, j]-Z[i, j - 2] - Z[i， i+2])/8

+ (2'Z[i- 1, j- 1]- Z[i- 1， j-3]-Z[i-l, j+1]

+2-z[i+l， j+1]- z[i+l， j- 1]- Z[i+1, j+3])/16

Gh=(G[i-l, j]+G[i+l, j])/2

+ (2-Z[i, j]-Z [i-2, j]一 Z [i+2， j] ) /8

+(2-G[i, j— l]_G[i— 2, j— l]_G[i+2， j一 1]

+2-G[i, j+l]-G[i- 2， j+l]-G[i+2, j+1]) 6

Gh45=(G[i-l, j]+G[i+l, j])/2

+ (2-z[i, j]-Z[i-2, j]-z[i+2, j])/8

+ (2'Z[i+l， j - 1]- Z[i-1, i-l]-Z[i+3, j - 1]

+2'Z[i- 1, j+l]_Z[i- 3, j+l]-Z[i+l, j+l])/16

Ghl35=(G[i-l, j]+G[i+l, j])/2

+ (2-Z[i, j]- Z[i- 2， j]-Z[i+2, j])/8

+ (2-Z[i-l, j-l]-Z[i-3, j-l]-Z[i+l, j-l]

+2-Z[i+l, j+1]- Z[i- 1， j+1]- Z[i+3, j+l])/16

ステップ S 6 7 ：続いて、画像処理部 1 1は、 R色成分の補間処理を行う。例えば、ここでは、 R位置 [i， j]以外の画素 [i+l， j], [i, j+l]， [i+1, j+1]について、それぞれ下記のような捕間処理を実施する。

R[i+1, j]=(R[i, j]+R[i+2, j]) /2+ (2-G[i+l, j]-G[i， j] - G[i+2, j])/2

R[i， j+l] = (R[i， j]+R[i， j+2])/2+(2'G[i, j+1]- G[i， j]_G[i， j+2])/2 R[i+1, j+l] = (R[i, j]+R[i+2, j]+R[i， j+2]+R[i+2, j+2])/4

+ (4-G[i+l, j+1] - G[i, j]-G[i+2, j] - G[i， j+2]- G[i+2, j+2])/4

ステップ S 68 ：続いて、画像処理部 1 1は、 B色成分の捕間処理を行う。例えば、ここでは、 B位置 [i， j]以外の画素 [i+1, j], [i, j+1], [i+l， j+1]について、それぞれ下記のような補間処理を実施する。

B[i+1, j] = (B[i, j]+B[i+2, j])/2+(2-G[i+l, j]- G[i, j]- G[i+2, j])/2

B[i, j+l] = (B[i, j]+B[i, j+2])/2+(2-G[i, j + 1] - G[i, j]- G[i， j+2])/2

B[i+1, j+l] = (B[i, j]+B[i+2, j]+B[i, j+2]+B[i+2, j+2])/4

+ (4-G[i+l, j+1] - G[i， j]-G[i+2, j]-G[i, j+2]- G[i+2, j+2])/4

上述した一連の処理により、 RGB色補間が完了する。

* * * 第 3実施形態 * * *

第 3実施形態の電子カメラ（画像処理装置を含む) は、 RGBべィヤー配列の RAWデータ（第 1画像に対応）を色補間して、画素単位に RGB信号成分が揃つた画像データ（第 2画像に対応）を生成する。

なお、電子カメラの構成 (図 1) については、第 1実施形態と同一である。そのため、説明を省略する。

図 1 7は、第 3実施形態における色補間処理を説明する流れ図である。

以下、図 1 7に示すステップ番号に沿って、第 3実施形態の動作説明を行う。ステップ S 7 1 ：画像処理部 1 1は、処理対象である RAWデータの G画素 [i, j]について、『いずれの方向も類似性が所定レベルより強いか否か』すなわち『画像構造に有意な方向性が見当たらず、平坦性の高い箇所か否か』を類似性判定によって判断する。

例えば、画像処理部 1 1は、この G画素 [i， j]について、類似度 C v， Ch, C 45， C 1 3 5を求める。この処理は、第 1実施形態と同様であるため、説明を省略する。

次に、画像処理部 1 1は、下記の条件式に基づいて、求めた類似度 C V , C h, C 45 , C 1 3 5がいずれも所定の閾値以下か否かを判定する。

(Cv≤Thv) AND (Ch≤Thh) AND (C45≤Th45) AND (C135≤Thl35)

なお、式中の閾値は、類似度が有意な画素値変化を示しているかを判別するための値である。そのため、撮像感度が高くなるに従って、ソィズ増加を考慮して閾値を大きくすることが好ましい。

もし、この条件式を満足した場合、縦横方向および斜め方向に平坦な箇所であると判定できる。この場合、画像処理部 1 1は、ステップ S 7 3に動作を移行する。

一方、この条件式を満足しない場合、画像構造に有意な方向性が存在する。この場合、画像処理部 1 1は、ステップ S 7 2に動作を移行する。

ステップ S 7 2〜S 7 8 ：第 2実施形態のステップ S 6 2〜S 6 8と同一であるため、説明を省略する。

上述した一連の処理により、 R G B色補間が完了する。

* * * 実施形態の捕足事項 * * *

なお、上述した第 1実施形態のステップ S 4 3において、『複数方向の類似性が等方的』かつ『類似性が弱い』と判定された場合に、『ノイズ除去の度合いがより強いタイプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、類似性の弱い箇所をノイズとみなして強力に除去することができる。このような動作では、等方的な箇所（明らかに輪郭ではない箇所）における起伏情報を、孤立したノイズ点として強力にノイズ除去することができる。つまり、輪郭部の画像構造を損なわずに、ブッブッ状のノイズや、モザイク状の色ノイズなどを適切に除去することが可能になる。

また、上述した第 1実施形態のステップ S 4 8において、類似性の方向間の強弱差が小さいと判定された場合に、信号成分の高周波成分を強調する『ディテール強調タィプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、方向性を持たない微細な画像構造を強調することができる。

なお、上述したひとつの実施形態の中では、輝度成分への表色系変換について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を色差成分への表色系変換に際して実施してもよい。この場合、色差成分の生成と同時に、画像構造を考慮した空間フィルタ処理（特に L P F処理）を実施することが可能になり、色差ノィズによる偽色発生を良好に抑制することができる。また、上述したひとつの実施形態の中では、表色系変換に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、表色系変換用の係数テーブルを、色補間用の係数テーブルに代えることにより、『色補間処理』と『画像構造を考慮した高度な空間フィルタ処理』を一緒に実施することが可能になる。

すなわち、第 2実施では色補間とローパス処理を一緒に実施する場合についてのみ示したが、第 1実施形態と同様に輪郭強調処理を含めてもよい。

さらに、上述した実施形態では、電子カメラ 1に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画像処理プログラムによって、外部コンピュータ 1 8に、図 2〜図 7に示す動作を実行させてもよい。

また、本発明の画像処理サービスを、インターネットなどの通信回線を介してサービス提供してもよい。

さらに、電子カメラのファームウェアの書き換えにより、本発明の画像処理機能を電子カメラに後から付加してもよい。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のもの、、ある。産業上の利用可能性

以上説明したように、本発明は、画像処理装置などに利用可能な発明である。

Claims

請求の範囲

1 . 画素単位に第 1〜第 n色成分（n 2 ) のいずれか 1つが配分されてなる第 1画像を、画素単位に第 1〜第 n色成分が揃った第 2画像に変換する画像処理装置であって、

第 1画像で第 1色成分を有する画素位置に対して、周辺画素の第 1色成分を用いた平滑化を施し、平滑化後の第 1色成分を、第 2画像の前記画素位置の第 1色成分とする平滑化部を備え、

前記平滑化部は、前記第 1画像が撮像された撮像感度に応じて、前記平滑化するためのフィルタの特性を変更する制御部を有する

ことを特徴とする画像処理装置。

2 . 請求項 1に記載の画像処理装置において、

前記第 1色成分は、第 1〜第 n色成分の中で輝度信号を担う色成分であることを特徴とする画像処理装置。

3 . 請求項 2に記載の画像処理装置において、

第 1〜第 n色成分は赤色、緑色、青色であり、かつ第 1色成分は緑色に相当する

ことを特徴とする画像処理装置。

4 . 請求項 1に記載の画像処理装置において、

前記制御部は、撮像感度に応じて前記フィルタのサイズ（参照する画素範囲）を変更する

ことを特徴とする画像処理装置。

5 . 請求項 1に記載の画像処理装置において、

前記制御部は、撮像感度に応じて、前記フィルタの要素値（平滑対象に対する周辺の参照成分の寄与率）を変更する

ことを特徴とする画像処理装置。

6 . 請求項 1に記載の画像処理装置において、

前記平滑化部は、

複数の方向に対する画素の類似性の強弱を判定する類似性判定部と、その判定結果に応じて、第 1画像の第 1色成分をそのまま第 2画像の第 1色成分として出力するか、平滑化後の第 1色成分を第 2画像の第 1色成分として出力するかを切り換える切り換え部とを有する

ことを特徴とする画像処理装置。

7 . 請求項 6に記載の画像処理装置において、

前記類似性判定部は、少なくとも 4方向に関する画素間の類似度を算出して類似性を判定する

ことを特徴とする画像処理装置。

8 . 画素単位に第 1〜第 n色成分（n 2 ) のいずれか 1つが配分されてなる第 1画像を、画素単位に少なくとも 1つの信号成分が揃った第 2画像に変換する画像処理装置であって、

前記第 1画像の色成分を加重加算することによつて前記第 2画像の前記信号成分を生成する信号生成部を備え、

前記信号生成部は、前記第 1画像を撮像したときの撮像感度に応じて、前記第 1画像の色成分を加重加算するときに用いる加重加算係数を変更する制御部を有する

ことを特徴とする画像処理装置。

9 . 請求項 8に記載の画像処理装置において、

前記信号生成部は、前記第 1〜第 n色成分とは異なる信号成分を生成することを特徴とする画像処理装置。

1 0 . 請求項 9に記載の画像処理装置において、

前記信号生成部は、前記第 1〜第 n色成分とは異なる輝度成分を生成することを特徴とする画像処理装置。

1 1 . 請求項 8に記載の画像処理装置において、

前記制御部は、第 1画像で第 1色成分を有する画素位置に対して、前記加重加算係数を前記撮像感度に応じて変更する

ことを特徴とする画像処理装置。

1 2 . 請求項 8に記載の画像処理装置において、

前記制御部は、前記撮像感度に応じて前記加重加算の範囲を変更することを特徴とする画像処理装置。

1 3 . 請求項 8に記載の画像処理装置において、

前記制御部は、前記撮像感度に応じて前記加重加算の重み係数を変更することを特徴とする画像処理装置。

1 4 . 請求項 8に記載の画像処理装置において、

前記信号生成部は、

複数の方向に対する画素の類似性の強弱を判定する類似性判定部を有し、前記制御部は、更に前記撮像感度の他に、前記類似性判定結果にも応じて前記加重加算の重み係数を変更する

ことを特徴とする画像処理装置。

1 5 . 請求項 1 4に記載の画像処理装置において、

前記制御部は、前記類似性判定結果が何れの方向も類似性の区別がっかない、もしくは何れの方向も類似性が所定レベルより強いと判断される場合、

第 1画像の処理対象画素が本来有する色成分と、周辺画素の同一色成分とを加重加算する

ことを特徴とする画像処理装置。

1 6 . 請求項 1 4に記載の画像処理装置において、

ことを特徴とする画像処理装置。

1 7 . 表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第 1画像を変換し、少なくとも 1種類の信号成分（以下『新成分』という）を画素単位に揃えた第 2画像を生成する画像処理装置であって、

前記第 1画像の処理対象画素において、複数方向について画像の類似性を判定する類似性判定部と、

前記類似性判定部による前記類似性の方向判定に応じて、予め定められた係数テーブルを選択する係数選択部と、

選択した係数テーブルにより前記処理対象画素を含む局所域の前記色成分を加重加算して、前記新成分を生成する変換処理部とを備え、

前記係数選択部は、前記類似性による画像構造の解析に応じて、前記係数テーブルを空間周波数特性の異なるものに変更することにより、前記新成分の空間周波数成分を調整する

ことを特徴とする画像処理装置。

1 8 . 請求項 1 7に記載の画像処理装置において、

前記係数選択部は、前記類似性の値の大小判定により、前記処理対象画素の近傍の画像構造を解析し、解析結果に応じて前記係数テーブルを空間周波数特性の異なるものに変更する

ことを特徴とする画像処理装置。

1 9 . 請求項 1 7または請求項 1 8に記載の両像処理装置において、

前記係数選択部は、前記係数テーブルを配列サイズの異なるものに変更することにより、前記係数テーブルを空間周波数特性の異なるものに変更する

ことを特徴とする画像処理装置。

2 0 . 請求項 1 7ないし請求項 1 9のいずれか 1項に記載の画像処理装置において、

前記係数選択部は、

前記方向判定において前記複数方向の前記類似性が略均等と判定され、かつ前記画像構造の解析において前記類似性が強いと判定された場合、前記信号成分の高周波成分を強くおよび Zまたは広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する

ことを特徴とする画像処理装置。 '

2 1 . 請求項 1 7ないし請求項 1 9のいずれか 1項に記載の画像処理装置におレヽて、

前記係数選択部は、

前記方向判定において前記複数方向の前記類似性が略均等と判定され、かつ前記画像構造の解析において前記類似性が弱いと判定された場合、前記信号成分の高周波成分を強くおよびまたは広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する

ことを特徴とする画像処理装置。

2 2 . 請求項 1 Ίないし請求項 1 9のいずれか 1項に記載の画像処理装置におレ、て、

前記係数選択部は、

前記画像構造の解析において前記類似性の方向間の強弱差が大きいと判定された場合、前記類似性の弱い方向の高周波成分を強調する『輪郭強調の度合いがより強いタイプの係数テーブル』に変更する

ことを特徴とする画像処理装置。

2 3 . 請求項 1 7ないし請求項 1 9のいずれか 1項に記載の画像処理装置にお ' いて、

前記係数選択部は、

前記画像構造の解析において前記類似性の方向間の強弱差が小さいと判定された場合、前記信号成分の高周波成分を強調する『ディテール強調の度合いがより強いタイプの係数テーブル』に変更する

ことを特徴とする画像処理装置。

2 4 . 請求項 1 7ないし請求項 2 3のいずれか 1項に記載の画像処理装置において、

前記係数選択部は、

前記第 1画像を撮像した際の撮像感度が高いほど、前記係数テーブルをノイズ除去の度合いの強いものに変更する

ことを特徴とする画像処理装置。

2 5 . 請求項 1 7ないし請求項 2 4のいずれか 1項に記載の画像処理装置において、

前記係数テーブルの変更前後において、前記色成分間の加重比率を略一定に保つ

ことを特徴とする画像処理装置。

2 6 . 請求項 1 7ないし請求項 2 5のいずれか 1項に記載の画像処理装置において、

前記色成分間の加重比率は、表色系変換用の加重比率である

ことを特徴とする画像処理装置。

2 7 . 画像データの処理対象画素と周辺画素とを加重加算することにより、前記画像データに平滑化処理を施す平滑化部と、

前記画像データを撮影した際の撮像感度に応じて、前記周辺画素の参照範囲を変更する制御部と

を備えたことを特徴とする画像処理装置。

2 8 . コンピュータを、請求項 1ないし請求項 2 7のいずれか 1項に記載の画像処理装置として機能させるための画像処理プログラム。

2 9 . 請求項 1ないし請求項 2 7のいずれか 1項に記載の画像処理装置と、被写体を撮像して、前記第 1画像を生成する撮像部とを備え、

前記第 1画像を前記画像処理装置で処理して、前記第 2画像を生成することを特徴とする電子カメラ。

3 0 . 画素単位に第 1〜第 n色成分（n 2 ) のいずれか 1つが配分されてなる第 1画像を、画素単位に少なくとも 1つの信号成分が揃った第 2画像に変換する画像処理方法であって、

前記第 1画像の色成分を加重加算することによって前記第 2画像の前記信号成分を生成するステップを備え、

前記信号成分を生成するステップは、前記第 1画像を撮像したときの撮像感度に応じて、前記第 1画像の色成分を加重加算するときに用いる加重加算係数を変更するステップを有する

ことを特徴とする画像処理方法。

3 1 . 表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第 1画像を変換し、少なくとも 1種類の信号成分（以下『新成分』という）を画素単位に揃えた第 2画像を生成する画像処理方法であって、

前記第 1画像の処理対象画素において、複数方向について画像の類似性を判定するステップと、

前記類似性判定のステップによる前記類似性の方向判定に応じて、予め定められた係数テーブルを選択するステップと、

選択した係数テーブルにより前記処理対象画素を含む局所域の前記色成分を加重加算して、前記新成分を生成するステップとを備え、

前記係数選択のステップは、前記類似性による画像構造の解析に応じて、前記係数テーブルを空間周波数特性の異なるものに変更するの空間周波数成分を調整する

ことを特徴とする画像処理方法。