WO2004110071A1

WO2004110071A1 - 画像処理装置、画像処理プログラム

Info

Publication number: WO2004110071A1
Application number: PCT/JP2004/008144
Authority: WO
Inventors: Taketo Tsukioka
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-06-05
Filing date: 2004-06-04
Publication date: 2004-12-16
Anticipated expiration: 2005-12-05
Also published as: US7373020B2; JP2006013558A; JP4610930B2; US20050041116A1

Abstract

光学系により結像される光学像を撮像することにより、各画素につき1種類以上の色成分が欠落している画像を生成して出力するベイヤー配列CCD(3)と、このCCD(3)から単板画像バッファ(4)を介して出力される画像に対してライン間でのゲインの違いを補正するライン補正回路(5)と、このライン補正回路(5)からWB補正回路(6)を介して出力される単板画像データの各画素で欠落している色成分を近傍画素の情報から補間することによりカラー画像データを生成する補間回路(7)と、を備えるデジタルカメラ(1)に適用された画像処理装置。

Description

画像処理装置、画像処理プログラム技術分 5r

この発明は、単板撮像系、二板撮像系、または三板画素ずらし撮像系から出力された画像を処理して、画素毎に 3色成分値をもつカラーデジタル画像を生成する画像処理装置、画像処理プログラムに関する。明

背景技術書

デジタルカメラ等において多く使用されている単板撮像系は、画素毎に異なる色フィルタを装着した単板撮像素子を用いたものであり、撮像素子からの出力画像は、各画素について一種類の色成分値しかもっていない。従って、カラーデジタル画像を生成するためには、各画素において欠落している色成分値を補う補間処理を行うことが必要となる。このような欠落している色成分値を補う補間処理が必要となるのは、二板撮像系や三板画素ずらし撮像系を用いた装置の場合にも同様である。

この補間処理は、工夫しないと、最終的に得られるカラー画像にぼけや偽色などの劣ィ匕が生じることがある。そのために、従来より種々の方法による補間処理が提案されており、大別すると、エッジ検出の方法に基づくものと、色相関の方法に基づくものと、に分類される。

エッジ検出に基づく技術としては、例えば特開平 8— 2 9 8 6 6 9号公報に記載のものが挙げられる。該公報に記載の技術について、図 3 2を参照して説明する。図 3 2は、ェッジ検出に基づく従来の補間処理を説明するための図である。

単板撮像素子が、例えば図 3 2 (A) に示すような 3原色べィヤー（Bayer) 配列の色フィルタを備えた単板べィヤー配列撮像素子であるとする。このとき、図 3 2 (B ) に示すように、注目画素である B 5の周囲に縦方向および横方向に沿った十字状の近傍をとつて、該注目画素に対する水平方向の Gに対する補間値 G hと、垂直方向の Gに対する補間値 G vと、を次の数式 1に示すように推定する。

[数式 1 ]

G h = (G 4 + G 6 ) / 2 + ( 2 X B 5— B 3—B 7 ) / 4 Gv= (G2+G8) /2+ (2 XB 5-B 1 -B 9) /4

次に、水平方向と垂直方向との何れの方向に段差が多いかを示す評価値 dH， dVを、次の数式 2に示すように、

[数式 2]

dH= I G4 -G 6 | + | B 3— 2 XB 5+B 7 |

d V= I G 2— G8 I + I B 1— 2 XB 5+B 9 I

と計算する。ここに、記号 I X Iは、 Xの絶対値を表している。こうして計算した評価値 d H, d Vの内の、値が小さくより平坦であると判断された方向の補間値 G hまたは補間値 Gvを用いるようになつている。

一方、色相関に基づく技術としては、例えば特開平 1 1— 2 1 55 1 2号公報に記載のものが挙げられる。この公報に記載の技術について、図 3 3を参照して説明する。図 33 は、色相関に基づく従来の補間処理を説明するための図である。

図 33に示すように、まず、注目画素 Xの付近で、撮像素子に構成された色フィルタの色成分（例えば、原色系の色フィルタである場合には r， g， b) の内の何れか 2種類の色成分 P， qの各成分値 Vp , Vq同士の間に、係数 aqp， j3 qpを用いて表現される次の数式 3、

隱式 3]

Vq = a qp X Vp + j3 qp

のような直線的な相関関係が成立すると仮定する。ここに、撮像素子に構成された色フィルタが例えば原色系の色フィルタである場合には、 p， qは r， g， bの何れかである。また、色成分 p， qに各々対応する成分値 Vp， Vqは、注目画素 Xの近傍の画素における値である。

そして、注目画素 Xの周囲に設定した近傍 Uにおいて、該近傍 U內の画素を、得られている色成分 r, g, bの種類により分類して 3つの部分集合 Ur， Ug, Ubを形成し、上記係数 aqp, i3qpを、各部 ^合における画素値の平均 Ac (ここに、 cは r， g， b の何れか）と標準偏差 S c (ここに、 cは！:， g， bの何れ力）とに基づいて、次の数式 4により推定する。

[数式 4]

aqp= Sq /Sp ， β qp = Aq ― qp Ap

これは、色成分 pの分布幅（標準偏差 Sp ) に対する色成分 qの分布幅（標準偏差 Sq ) の比が、上記数式 3に示した直線的な相関関係の傾き a qpを与え、さらに求められた傾き a qpの直線は、色成分 pの平均値 Ap と色成分 qの平均値 Aq とでプロットされる点を通るという考えに基づくものである。

そして、推定した a qp， j3 qpに基づき、注目画素 Xにおいて欠落している色成分 mの値 Xm を、該注目画素 Xにおいて得られている色成分 eの値 Xeから、次の数式 5に示すようにして求める。

[数式 5 ]

Xm = ame X Xe + ]3 me

ここに、 m， eは、それぞれ]：， g， bの何れかをとる。

このように、色相関に基づく従来技術は、注目画素の近傍における異なる色成分間の画素値の相関を推定することを特徴としている。

ところで、実際の撮像系では、ライン間でゲインの差が生じたり、同じ色フィルタを有する画素同士であつてもフィルタの分光特性が微妙に異なつていたりすることがあるために、同じ色成分が得られるはずの画素間に感度ばらつきが生じることがある。

し力し、上述した従来技術は、何れも、注目画素で得られている色成分自体を特に補正することなくそのまま補間処理の結果として用いているために、注目画素において欠落する色成分を求める際にも、注目画素自体の情報が結果にそのまま反映される特性となっている。通常は、各画素で元々得られている色成分の情報を、変更することなくそのまま捕間処理の結果に使う方が効率が良いのであるが、同じ色成分が得られる画素で感度が異なつている場合には、このような処理を行うと、画素間の感度ばらつきがそのまま補間処理の結果に反映されてしまうことになり、うつすらと格子縞が見えるなどの副作用が生じていた。

本発明は上記事情に鑑みてなされたものであり、画素間の感度にばらつきがあつたとしてもその影響を低減して高精度な補間処理を行い得る画像処理装置、画像処理プログラムを提供することを目的としている。発明の開示

本発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき 1種類以上の色成分が欠落している画像を処理する画像処理装置であって、同じ色成分が得られている画素の間の感度差を補正する感度補正手段と、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段と、を具備したものである。

また、本発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき 1種類以上の色成分が欠落している画像を処理する画像処理装置であって、注目画素の所定の近傍において指定された種類の色成分に対し当該色成分が得られている画素の間の感度差の大小を判定する判定手段と、上記注目画素において欠落する色成分を補う処理を行うものであって該処理を行う際に上記判定手段による判定結果に応じて処理内容を変更可能な補間手段と、を具備したものである。

さらに、本発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた各画素にっき 1種類以上の色成分が欠落している画像を処理する画像処理装置であって、各画素において欠落する色成分を補う補間手段と、上記補間手段による結果に対して補正を行う補間後補正手段と、を具備したものである。

そして、本発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた各画素につき 1種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであつて、該コンピュータを、同じ色成分が得られている画素の間の感度差を補正する感度補正手段、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。

また、本明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき 1種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであつて、該コンピュータを、注目画素の所定の近傍において指定された種類の色成分に対し当該色成分が得られている画素の間の感度差の大小を判定する判定手段、上記注目画素において欠落する色成分を補う処理を行うものであって該処理を行う際に上記判定手段による判定結果に応じて処理內容を変更可能な補間手段、として機能させるための画像処理プログラムである。

さらに、本発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき 1種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであつて、該コンピュータを、各画素において欠落する色成分を捕う補間手段、上記補間手段による結果に対して補正を行う補間後補正手段、として機能させるための画像処理プログラムである。図面の簡単な説明

図 1は、本発明の実施例 1におけるデジタルカメラの構成を示すプロック図。

図 2は、本発明の実施例 2におけるデジタルカメラの構成を示すプロック図。

図 3は、上記実施例 2における G段差検出回路の処理を示すフローチヤ一ト。

図 4は、上記実施例 2における G段差検出回路および G補間回路における画素の分類を示す図。

図 5は、上記実施例 2における G補間回路の処理を示すフローチヤ一ト。

図 6は、上記図 5に示した G補間回路の処理におけるステップ S 1 6の処理を説明するための図。

図 7は、上記実施例 2における重み計算回路による重み計算の方向を示す図。

図 8は、上記実施例 2における R B補間回路の処理を示すフローチャート。

図 9は、上記図 8に示した R B補間回路の処理におけるステップ S 3 1の画素選択を説明するための図。

図 1 0は、上記実施例 2において、コンピュータにより行われるソフト処理を示すフロ一チヤ一ト。

図 1 1は、上記実施例 2において、コンピュータにより行われる G補間ソフト処理を示すフローチャート。 - 図 1 2は、上記実施例 2において、コンピュータにより行われる R B補間ソフト処理を示すフローチヤ一ト。

図 1 3は、本発明の実施例 3におけるデジタルカメラの構成を示すブロック図。

図 1 4は、上記実施例 3における補正回路により処理を行う際に用いる画素の番号を示す図。

図 1 5は、上記実施例 3における補正回路の処理を示すフローチャート。

図 1 6は、上記実施例 3において、コンピュータにより行われるソフト処理を示すフロ一チヤ一卜。図 1 7は、本発明の実施例 4におけるデジタル力メラの構成を示すプロック図。

図 1 8は、上記実施例 4における段差補正回路の一構成例を示すブロック図。

図 1 9は、上記実施例 4における G段差を説明するための図。

図 2 0は、上記実施例 4における段差補正回路の処理を示すフローチヤ一ト。

図 2 1は、上記実施例 4の段差補正回路における処理を行う際の近傍の例を示す図。図 2 2は、上記実施例 4において、補正量△を求めるための関数の例を示す線図。図 2 3は、上記実施例 4における段差補正回路の他の構成例を示すプロック図。

図 2 4は、上記実施例 4において、組み合わせ平均計算回路により計算される組み合わせ平均を説明するための図。

図 2 5は、上記実施例 4において、コンピュータにより行われるソフト処理を示すフロ

• « ヤ¹ ■ト

図 2 6は、本発明の実施例 5におけるデジタルカメラの構成を示すプロック図。

図 2 7は、上記実施例 5における段差平滑ィ匕回路の一構成例を示すブロック図。

図 2 8は、上記実施例 5における段差平滑化回路の処理を示すフローチャート。

図 2 9は、上記実施例 5において、係数混合比 αを算出するための関数の例を示す線図図 3 0は、上記実施例 5の係数設定回路により設定されるフィルタ係数の周波数特性を説明するための図。

図 3 1は、上記実施例 5における段差平滑ィ匕回路の他の構成例を示すブロック図。図 3 2は、エッジ検出に基づく従来の補間処理を説明するための図。

図 3 3は、色相関に基づく従来の捕間処理を説明するための図。発明を実施するための最良の形態

以下、図面を参照して本発明の実施の形態を説明する。

【実施例 1】

図 1は本発明の実施例 1を示したものであり、デジタル力メラの構成を示すプロック図である。

この実施例 1は、本発明の画像処理装置をデジタルカメラに適用したものである。デジタルカメラ 1は、図 1に示すように、光学系 2と、単板べィヤー配列 C C D 3と、単板画像パッファ 4と、ライン補正回路 5と、 WB補正回路 6と、補間回路 7と、カラー画像バッファ 8と、画質調整回路 9と、記録回路 1 0と、制御回路 1 1と、を有して構成されている。

上記光学系 2は、被写体光束を集光するためのものである。

上記単板べィヤー配列 C C D 3は、この光学系 2により結像される被写体像を光電変換して撮像信号を出力するものである。

上記単板画像バッファ 4は、この単板べィヤー配列 C C D 3から出力され図示しない A /D変換回路等によりデジタル化された画像データをー且記憶するものである。

上記ライン補正回路 5は、この単板画像バッファ 4内に記憶されている画像に対して、ライン間でのゲインの違いを補正する感度補正手段である。

上記 WB補正回路 6は、このライン補正回路 5から出力される画像データに、ホワイトパランス処理を行うものである。

上記補間回路 7は、この WB捕正回路 6から出力される単板画像データにおいて各画素で欠落している色成分を、近傍画素の情報から補間することにより、カラー画像データを生成する補間手段である。

上記力ラ一画像バッファ 8は、この捕間回路 7により補間された三板の力ラ一画像データを一旦記憶するためのものである。

上記画質調整回路 9は、このカラ一画像バッファ 8に記憶されているカラ一画像に対して、色変換ゃェッジ強調などの画質調整処理を行うものである。

上記記録回路 1 0は、この画質調整回路 9により画質を調整された三板のカラー画像データを記録するものである。

上記制御回路 1 1は、上述したような各回路を含むこのデジタルカメラ 1を統括的に制御するための制御手段である。

このようなデジタルカメラ 1の作用は、以下のようになつている。

このデジタルカメラ 1に設けられている図示しないシャツタボタンがユーザーにより押下されると、まず、光学系 2による光学像が単板べィヤー配列 C C D 3により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ 4に記憶される。

次に、 WB補正回路 6が動作して、白色の被写体に対する R成分と G成分との比 Crg、および B成分と G成分との比 Cbg、をそれぞれ計算してホワイトバランス係数とする。本実施例では、上記単板画像バッファ 4から所定サイズのプロック毎に画素値を読み出して、このプロック内において、各画素で得られてレヽる色成分の種類別に画素値の平均をとる処理を行う。

その結果、各ブロックの平均色の R G B値が得られるが、さらに R成分と G成分との比、および B成分と G成分との比を計算して、これらの比が所定の関係を満たしているプロックのみを選ぶ。そして、選んだブロックの R成分と G成分との比、および B成分と G成分との比、をさらに平均して、最終的なホワイトバランス係数 Crgおよび Cbgを求める。この手法自体は公知のものである。ただし、この計算中、単板画像バッファ 4から画素値を読み出す際に、ライン補正回路 5が作用して、画素値の補正を行う。

すなわち、上記ライン補正回路 5は、単板べィヤー配列 C C D 3からの信号読み出し時に生じる偶数ラインと奇数ラインとの間のゲイン段差を補正するものであり、回路にはその補正のための係数（a， b ) が保持されている。この係数は、均一なグレー被写体を撮影した際の単板画像バッファ 4内の画素値に対して、奇数ラインで G成分が得られている画素の画素値の平均を V 1、偶数ラインで G成分が得られている画素の画素値の平均を V 2として、

[数式 6 ]

V 2 = a X V l + b

となるように予め算出されている。この係数を用いて、ライン捕正回路 5では奇数ラインで G成分が得られている画素の画素値 Vを、偶数ラインの感度に合わせて次の数式 7に示すように捕正して、

[数式 7 ]

V = a X V + b

この捕正後の画素値（補正値） v，を WB捕正回路 6に出力する。

上述したような WB補正回路 6の処理が終了すると、上記ホワイトパランス係数 Crg， Cbgは、該 WB捕正回路 6内に保持される。

次に、補間回路 7が単板画像バッファ 4内の各画素に対して補間処理を行う。この捕間回路 7が行う補間処理のアルゴリズムは、上述した特開平 8— 2 9 8 6 6 9号公報に記載されているものと同様であるが、本実施例においては、単板画像バッファ 4から 5ラインずつ画素を読み出して補間回路 Ί内の図示しない内部パッファに記憶させ、該パッファ内のデータに対して補間処理を行うようにしている。

そして、単板画像バッファ 4から内部バッファにデータを移す際に、ライン補正回路 5 および WB捕正回路 6が動作して、単板画像バッファ 4から読み出した画素値が変更される。

その際は、まず、ライン補正回路 5が単板画像バッファ⁴から読み出した画素値 Vに対する補正結果（補正値） V ' として

[数式 8 ]

v， = a X v + b (読出画素が奇数ラインで G成分が得られている場合）

v ' = v (その他の場合）

を計算し、さらに、 WB補正回路 6が、このライン補正回路 5の補正結果（捕正値） v，に対して出力 V " を、

[数式 9 ]

V " = ν ' (読出画素で G成分が得られている場合）

V " = CrgX ν ' (読出画素で R成分が得られている場合）

V " = CbgX v ' (読出画素で B成分が得られている場合）

と計算して、補間回路 7の内部バッファに V " を書き込む処理を行う。

その後に、補間回路 7によりカラー画像バッファ 8に出力されたカラー画像は、画質調整回路 9により色変換、エッジ強調、階調変換などの処理が施されて、上記記録回路 1 0 により図示しない記録媒体に記録される。このようにして、デジタルカメラ 1の撮像動作が完了する。

なお、この実施例 1は、基本的な構成や処理を述べたものであり、本実施例には多くの変形例が考えられる。上記補間回路 7による処理は、色成分 Gが得られている画素において、画素値をそのまま補間処理後の G成分の値として用いるものであれば何でも良い。また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても同様の処理を適用することが可能である。

例えば二板撮像系の場合には、二枚の撮像素子の一方からは全画素で G成分が得られ、他方からは市松状に R成分と B成分とが得られる。例えば R成分に対する感度差の補正は、単板べィヤー配列 C C D 3において市松状に得られる G成分に対して本実施例で述べた感度補正と同様の技術を適用することができる。

さらに、三板画素ずらし撮像系の場合には、 3枚の撮像素子の内の 2枚で G成分を取得し、残りの 1枚で市松状に R， B成分を取得して、これらの情報から高精細な輝度成分を生成するタイプのものがある。この場合にも、巿松状に得られる R， B成分の感度補正を、上述と同様に行うことができる。

このような実施例 1によれば、同じ色成分が得られる画素の間で、特にライン間において感度が異なっていても、感度補正手段たるライン補正回路で補正してから補間手段たる捕間回路の処理を行うようにしているために、捕間後の画像に感度の相異が影響を及ぼすのを防いで、より高品質な画像を得ることができる。

【実施例 2】

図 2から図 1 2は本発明の実施例 2を示したものであり、図 2はデジタル力メラの構成を示すブロック図、図 3は G段差検出回路の処理を示すフローチャート、図 4は G段差検出回路および G補間回路における画素の分類を示す図、図 5は G補間回路の処理を示すフローチャート、図 6は上記図 5に示した G補間回路の処理におけるステップ S 1 6の処理を説明するための図、図 7は重み計算回路による重み計算の方向を示す図、図 8は R B補間回路の処理を示すフローチヤ一ト、図 9は上記図 8に示した R B補間回路の処理におけるステップ S 3 1の画素選択を説明するための図、図 1 0はコンピュータにより行われるソフト処理を示すフローチャート、図 1 1はコンピュータにより行われる G補間ソフト処理を示すフローチャート、図 1 2はコンピュータにより行われる R B補間ソフト処理を示すフローチヤ一トである。

この実施例 2において、上述の実施例 1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施例 2は、上述した実施例 1と同様に、画像処理装置をデジタル力メラに適用したものである。

この実施例 2のデジタルカメラ 2 1は、該実施例 1のデジタルカメラ 1に対して、判定手段であり特徴量計算手段たる G段差検出回路 2 2が付加されており、補間回路 7に代えて補間手段たる G補間回路 2 3、 G画像バッファ 2 6、および補間手段たる R B補間回路 2 7を設けた点が異なっている。

また、上記 G補間回路 2 3は、上記 G段差検出回路 2 2からの出力に基づき補間対象の画素に関する重みを計算するための重付平均手段たる重み計算回路 2 4と、この重み計算回路 2 4により算出された重みに基づき重み付きの平均値を計算して補間対象の画素の画素値とし G画像バッファ 2 6へ出力する重付平均手段たる平均回路 2 5と、を有して構成されている。

次に、このようなデジタルカメラ 2 1の作用を、上述した実施例 1と異なる点を主として説明する。

シャツタポタンがユーザーにより押下されると、上記実施例 1と同様に、光学系 2による光学像が単板べィヤー配列 C C D 3により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ 4に記憶される。

次に、ライン補正回路 5および WB補正回路 6が上記実施例 1と同様に動作して、ホヮイトバランス係数 Crg， Cbgが算出される。

次に、 G補間回路 2 3が動作する。このときには、まず、単板画像バッファ 4に記憶されている画像データに係る各画素の、周囲 5 X 5画素でなるブロックがこの G補間回路 2 3に設けられている内部バッファに読み込まれる。その際に、上述した実施例 1と同様に、ライン補正回路 5と WB補正回路 6とが作動して、画素値の補正がなされ、さらに G段差検出回路 2 2が作動して、 G成分が得られる画素の偶数ラインと奇数ラインとの間の段差の推定値が計算される。

この G段差検出回路 2 2による段差推定について、図 3のフローチャートに沿って説明する。

G段差検出回路 2 2は、内部バッファに読み込まれた 5 X 5画素でなるブロック内の各画素を、得られている色成分毎に分類して、分類毎に画素値の平均値を計算する。その際に、 G成分については、図 4に示すように、水平方向に隣接する画素から得られる色成分が Rである場合を G 1、水平方向に隣接する画素から得られる色成分が Bである場合を G 2、として、さらに 2種類に分類する。従って、計算される平均値は 4種類となり、 R成分の平均値が Ar、 B成分の平均値が Ab、 G 1成分の平均値が Agl、 G 2成分の平均値が Ag2、である。そして、 G 1または G 2に分類された画素については、各分類内の画素値の分散 Vgl， Vg²もそれぞれ計算する（ステップ S 1 ) 。

次に、上記分散 Vgl， Vg2が、両方ともある閾値 T以下である力否かを判断する（ステップ S 2 ) 。

ここで両方とも閾値 T以下であって、プロックが比較的平坦であると判断された場合には、段差推定値 dを分類 G 1と G 2の平均値の差 Agl— Ag2として、終了する（ステップ S 3 ) 。

また、上記ステップ S 2において、分散 Vgl， Vg2の少なくとも一方が閾値 Tを越える場合には、ブロックが平坦であるかどうかが不明である。そこでさらに、プロック内において R成分と B成分とがおよそどれだけ違っているかを、 R成分が得られている画素の平均値 Ar と、 B成分が得られている画素の平均値 Ab と、の差分 I Ar - Ab |力所定の閾値 Trbよりも大きいか否かにより評価する（ステップ S 4 )。

ここで、上記差分 I Ar — Ab Iが閾値 Trbよりも大きい場合には、以下のような処理を行う。

まず、本実施例においては、上記 G段差検出回路 2 2が、種々の色の被写体を撮影して各画像でライン間の G成分に段差 dがどれだけ生じるかを測定することにより得られたテ一ブル T dを、予め保持している。これは、上記 WB補正回路 6で処理する前にライン補正回路 5によつて画像データに係るライン間の感度補正がなされていても、ラインの偶奇に応じて、 G成分が得られている画素の画素値に段差が生じることがあるためである。そして、 R成分が得られている画素の平均値 Ar と B成分が得られている画素の平均値 Ab との差 p i (特徴量）と、 G l， G 2の両方を含む G成分の平均的な大きさ p 2 (特徴量）と、の 2つのインデックスに対して、生じ得る G段差量 dを、 d = T d ( p 1 , p 2 ) のようにテーブル参照して、取得する。ここでは、このテーブル参照を行って G段差量のおよその推定値 dを求めたら、この G段差検出の処理を終了する（ステップ S 5 )。また、上記ステップ S 4において、上記差分 I Ar - Ab Iが閾値 Trb以下である場合には、 G段差が生じているとしても、それがどの程度あるのかをブロック内のデータからは推定することができないために、 G段差量 dを、推定不能を表す一 2 5 5に設定して、終了する（ステップ S 6 )。

このようにして、 5 X 5画素でなるプロックの読み出しと、ライン間の G成分の段差量の推定値と、が得られると、 G捕間回路 2 3力ブロックの中心画素の G成分を計算して、 G画像バッファ 2 6に書きこむ。このような処理について、図 5のフローチャートを参照して説明する。

処理を開始すると、プロックの中心画素の分類が、上記図 4に示した分類における G 1である力否かを判断する（ステップ S 1 1 ) 。この分類 mは、該図 4に例示したように、得られている色成分の種類と水平隣接画素の種類とに応じて、 R， G 1 , . G 2 , Bの 4 種類の何れかになる。

ここで分類 mが G 1である場合には、中心画素の G成分の値 Vを、プロックの中心画素の画素値 U0 そのものとして（ステップ S 1 2 ) 、終了する。

また、上記ステップ S 1 1において、ブロックの中心画素の分類 mが G 1でない場合には、該分類 mが図 4に示した分類における G 2である力否かをさらに判断する（ステップここでブロックの中心画素の分類 mが G 2である場合には、 G段差推定値 dがー 255 である力否か、つまり推定不能に設定されているか否かを判断する（ステップ S 14) 。

G段差推定値 dがー 255でない場合には、中心画素の G成分の値 Vを、プロック中心画素の画素値 U0 と G段差推定値 dとに基づいて V = U0 +dと推定し（ステップ S 15 ) 、終了する。

一方、上記ステップ S 14において、 G段差推定値 dが一 255である場合には、中心画素（画素値が U0 となっている画素）に対する 3 X 3画素の近傍を図 6に示すようにとり、この近傍の四隅にある G成分が得られている画素の画素値 Ul 〜U4 と、該中心画素の画素値 U0 との差分 dujを、以下のように計算する。

duj= I U0 一 Uj I

ここに jは、 1から 4の整数である。これらの差分の内の、最小の差分を与える jについて、 V= (UO +Uj ) ノ 2を中心画素の G成分の値とし（ステップ S 16) 、終了する。

上記ステップ S 13において、ブロックの中心画素の分類 mが G 2でない場合には、 G 段差推定値 dがー 255であるか否か、つまり推定不能に設定されている力否かを判断する（ステップ S 17) 。

ここで G段差推定値 dがー 255でない場合には、ブロック内の G 2に分類された画素 kの画素値 Uk を、 Uk =Uk +dと補正する（ステップ S 18) 。

また、上記ステップ S 17において G段差推定値 dがー 255である場合には、後述するステップ S 20の計算で用いるパラメータ αを、予め設定された値に対して 1/2倍するとともに、該ステップ S 20の計算で用いるパラメータ] 3を、予め設定された値に対して 2倍する（ステップ S 19) 。

上記ステップ S 18またはステップ S 19が終了したら、重み計算回路 24が、図 7 ( Α) 〜図 7 (D) に示すような中心画素の上下左右の各方向の重み Wj (jは 1から 4の整数）を以下の数式 10に示すように計算する。

[数式 10]

E 1 = I B 5-B 7 I

+ α X ( I G4-G6 I一 mi n ( | G4-G6 |， | G2-G8 | ) )

+ β

13 E 2= I B 5 -B 9 I

+ a X ( I G 2-G 8 I -m n (I G4-G 6 G 2 -G8 I ) )

+ β

E 3 = I B 5-B 3 I

+ α X ( I G4-G 6 |一 m G 2-G 8 I ) )

+ β

E 4= I B 5 -B 1 I

+ a X ( I G 2 -G 8 | —m n ( I G4— G 6 G 2-G8 I ) )

+ 0

Wj = (1/E j ) / (∑ (1/E k) )

この数式 1 0における o; ]3は定数であり、予め定められた値、または上記ステップ S 1 9において変更された値をとる。また、 Wの計算における jは上述したように 1から 4 の整数、分母の和は 1から 4の整数 kに対してとっている。なお、この計算式は、図 7 ( A) 〜図 7 (D) の配置に対するものであり、中心画素の分類が Bであるときの例であるが、中心画素の分類が Rである場合には、 Bと Rとを置き換えて計算をすれば良い（ステップ S 20) 。

次に、平均回路 2 5が、上記ステップ S 20において計算した重み Wj を用いて、各方向にある画素の画素値を重み付けして、以下の数式 1 1により最終的な中心画素の G成分を計算する（ステップ S 2 1) 。

[数式 1 1]

Vg =W1 XG 6 +W2 XG8 +W3 XG4+W4 XG 2

Vb =W1 XB 7+W2 XB 9 +W3 XB 3 +W4 XB 1

V =Vg + (Vb 一 B 5) /2

このような一連の処理が単板画像バッファ 4内の画像の全画素に対して終了すると、 G 画像バッファ 2 6には G成分の欠落が補われた画像が得られる。すると、次に RB補間回路 27が動作して、全ての画素で欠落色成分のないカラー画像を生成しカラー画像バッファ 8に記憶させる。

すなわち、 RB補間回路 2 7は、 G補間回路 2 3と同様に、単板画像バッファ 4内の各画素に対して、まず、該画素を中心とする 5 X 5画素でなるブロックを読み出す。この読み出し時には、 G補間回路 2 3と同様に、ライン補正回路 5、 WB補正回路 6、および G 段差検出回路 22が作動して、 5 X 5画素でなるプロックの変更後の画素値が該 RB補間回路 27の図示しない内部バッファに得られるとともに、ブロック内の G段差推定値 dも得られる。

次に、 RB補間回路 27は、読み出したプロックに対応する画素位置の G成分の値を G 画像バッファ 26から読み出して、同様に図示しない内部バッファに記憶する。

その後、 RB補間回路 27は、図 8に示すような処理により、中央画素の欠落色成分を求める。この図 8に示す処理は、ブロックの中央画素に対する指定された色成分 cの値を、内部バッファのデータから重み付け平均により計算するものである。

このとき、画素位置によって欠落する色成分が異なるために、 RB補間回路 27は、ブロックの中央画素の分類が、 Rの場合には c =Bとして、 Bの場合には c=Rとして、 G 1または G 2の場合には c = Rおよび c = Bの各々の指定に対して、図 8に示す処理を実行するようになっている。

以下では、図 8に示す処理を順に説明する。

処理を開始すると、プロック内において、指定された色成分 cが得られている画素 P1 〜Pn (nは整数）を求める（ステップ S 31) 。図 9 (B) は、図 9 (A) に示すような配置のプロックにおける c =Rに対する結果を示したものである。この場合には、画素 PI 〜P6が得られるために、 nは 6となる。

次に、ブロック内の G段差推定値 dがー 255，つまり推定不能に設定されているか否かを判断する (ステップ S 32) 。

ここで、 G段差推定値 dがー 255である場合には、後述するステップ S 34の計算で用いるパラメータ γを予め設定された値の 2倍にするとともに、後述するステップ S 35 の計算で用いるパラメータ δを予め設定された値の半分にする（ステップ S 33) 。このステップ S 33の処理が終了する力、または、上記ステップ S 32において G段差推定値 dが— 255でない場合には、画素 P jに割り当てる重み Wjを、以下の数式 12 に示すように計算する（ステップ S 34) 。

[数式 12]

Ej = I Gj -GO I +γ

Wj = (1/E j ) / (∑ (1/Ek) )

ここに、 Wの計算における jは 1から 4の整数、分母の和は 1から 4の整数 kに対してとっている。また、 γは定数であり、予め定められた値、または上記ステップ S 33で変更された値をとる。

次に、中央画素における欠落色成分 cの値 Vを、以下の数式 13に示すように計算する。この数式 13において、 C jおよび G jは、画素 P jにおいて得られている色成分 cおょぴ Gの値である（ステップ S 35) 。

式 13]

Vc =∑Wj XCj (jは 1から nの整数）

Vg =GO-∑Wj XGj (jは 1から nの整数）

V =Vc + δ XVg

ここに δは定数であり、予め定められた値、または上記ステップ S 33で変更された値をとる。

ここまでの処理が単板画像バッファ 4内の画像の全ての画素に対して終了すると、カラ一画像バッファ 8には全画素で欠落色成分が復元されたカラー画像、すなわち、いわゆる三板のカラー画像が得られる。

その後の作用は上述した実施例 1と同様であり、得られたカラー画像が画質調整回路 9 により色変換、エッジ強調、階調変換などの処理を施され、記録回路 10により図示しない記録媒体に記録されて、このデジタルカメラ 21の撮像動作が完了する。

なお、上述では、画像処理装置であるデジタルカメラ 21の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、 PC (パーソナルコンビュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能である。図 10〜図 12はコンピュータにより行われるソフト処理の例を示すフローチャートである。

このソフトウェア処理は、メモリ I n I mgに記憶されている画像、つまり、単板べィヤー配列 CCD 3により得られた直後の、各画素で一種類の色成分し力得られていない画像、を処理して、メモリ Ou t I mgに 3色カラー画像を出力するものである。ただし、ホワイトパランス係数 C r, Cbおよびライン間のゲイン捕正係数 a， bは、パラメータとして与えられるものとする。

以下では、図 10〜図 12のフローチャートの各ステップについて説明する。

まず、図 10は、ソフト処理の流れの概要を示している。

すなわち、処理を開始すると、この処理の途中で全画素に対する G成分をまず計算することになるために、該計算結果を記憶するためのメモリ G imgを確保する（ステップ S 41) 。

次に、後で図 11を参照して説明するような G補間ソフト処理を実行する（ステップ S 42) o

さらに、後で図 12を参照して説明するような RB補間ソフト処理を実行する（ステツプ S 43) 。

その後、確保したメモリ G i mgを開放してから（ステップ S 44) 、このソフト処理を終了する。

次に、図 1 1を参照して、上記ステップ S 42における G補間ソフト処理の詳細について説明する。

処理を開始すると、メモリ I n I mg内に未処理の画素が存在するカゝ否かを判断する（ステップ S 51) 。

ここで、メモリ I n I mg內に未処理の画素が存在している場合には、該未処理の画素の内の 1つを処理対象画素として決定し、この処理対象画素を中心とした 5 X 5画素でなるブロックの画像データを読み出す（ステップ S 52) 。

そして、上記数式 8を計算することによりライン間補正を行うとともに上記数式 9を計算することにより WB補正を行う（ステップ S 53) 。

さらに、上記図 3に示したような G段差推定処理を行うことにより、段差推定値 dを計算する（ステップ S 54) 。

この G段差推定結果に基づいて図 5に示したような G補間処理を行い（ステップ S 55 ) 、処理後の G補間結果 Vをメモリ G i mg中の処理対象画素に対応する位置の画素値として記録してから（ステップ S 56) 、上記ステップ S 51に戻る。

また、上記ステップ S 51において、メモリ I n Img内の画像の処理が全て終了している場合には、この処理を終了する。

続いて、図 12を参照して、上記ステップ S 43における RB補間ソフト処理の詳細について説明する。

処理を開始すると、メモリ I n I mg内に未処理の画素が存在するカゝ否かを判断する（ステップ S 61) 。

ここで、メモリ I n I mg内に未処理の画素が存在している場合には、該未処理の画素の内の 1つを処理対象画素として決定し、この処理対象画素を中心とした 5 X 5画素でなるブロックの画像データをメモリ I n I mgおよびメモリ G i m gからそれぞれ読み出す (ステップ S 6 2 ) 。

そして、上記数式 8を計算することによりライン間補正を行うとともに上記数式 9を計算することにより WB補正を行う（ステップ S 6 3 ) 。

さらに、上記図 3に示したような G段差推定処理を行うことにより、段差推定値 dを計算する（ステップ S 6 4 ) 。

その後、ブロックの中央画素の種類が Rである力否かを判断し（ステップ S 6 5 ) 、 R でない場合には、 c = Rとしてから上記図 8に示したような R B捕間処理を行い、その補間結果をメモリ O u t I m gの対応する画素の R成分として記録する（ステップ S 6 6 ) このステップ S 6 6が終了するか、または上記ステップ S 6 5において中央画素の種類が Rである場合には、プロックの中央画素の種類が Bである力否かを判断する（ステップ S 6 7 ) 。

ここで、中央画素の種類が Bである場合には、そのまま上記ステップ S 6 1へ戻り、一方、中央画素の種類が Bでない場合には、 c = Bとしてから上記図 8に示したような R B 補間処理を行い、その捕間結果をメモリ O u t I m gの対応する画素の B成分として記録してから（ステップ S 6 8 ) 上記ステップ S 6 1へ戻る。

そして、上記ステップ S 6 1において、メモリ I n I m g内の画像の処理が全て終了している場合には、この処理を終了する。

なお、この実施例は幾つかの変形が可能である。好ましい変形例の一つは、 G補間回路 2 3および R B補間回路 2 7が単板画像バッファ 4に保持される画像よりも画素数の少ない画像を生成する機能を有するものであって、該機能を働カゝせる場合に、 G段差検出回路 2 2の処理をスキップすることである。画素数を少なくして出力するモードは、デジタルカメラにおいては標準的に備えられたものであり、この場合には、 G補間回路 2 3および R B補間回路 2 7が単板画像バッファ 4から画素を間引いて読み出しながら処理することになる。すると、 G画素に感度差があっても処理結果への影響が少なくなるために、間引き率に応じて（つまり、.縮小率が所定の閾値以下である場合に） G段差検出回路の処理を中止し、段差推定値として d =— 2 5 5を出力するようにすることにより、処理効率を向上し消費電力を低減することが可能となる。

また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても同様の処理を適用することが可能である。例えば二板撮像系の場合には、二枚の撮像素子の一方からは全画素で G成分が得られ、他方からは巿松状に R成分と B成分とが得られる。このときには、図 3のステップ S 1からステップ S 3の処理を変更して、偶数ラインの R画素と奇数ラインの R画素との間の平均値の差を検出して、その検出量に応じて感度差補正を行うようにすれば良い。

さらに、三板画素ずらし撮像系の場合には、 3枚の撮像素子の内の 2枚で G成分を取得し、残りの 1枚で市松状に R， B成分を取得して、これらの情報から高精細な輝度成分を生成するタイプのものがある。この場合にも、市松状に得られる R， B成分の感度補正を、上記二板撮像系の場合と同様に行うことができる。

そして、感度補正を G成分以外のこうした R成分や B成分について行うときには、上記テーブルは、指定された色成分に対する特徴量と感度差の量とを対応付けたテーブルとなるのは勿論である。

また、重付平均手段たる重み計算回路 2 4および平均回路 2 5における重みの計算法は、重みが、判定手段である上記 G段差検出回路 2 2において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるようなものであれば他の方法に変更しても良い。例えば、重みの計算式は、数式 1 0以外に、上記近傍内で同種の色成分が得られている画素間の画素値差分に対する他の形の関数式でも良い。但し、上記 G段差検出回路 2 2により特定の色成分に対して感度差が大きいと判定された場合には、該関数式は、当該色成分に関する上記画素値差分の影響が小さくなるように変更することが望ましい。さらに、上記 G段差検出回路 2 2において感度差があると判定された種類の色成分が得られている画素に対する重みの計算は、最終的に G画素間の重みが均等に近づくように計算されることが望ましく、それは数式 1 0では^の調整で実現できているが、もちろん他の計算式を用いても良い。

このような実施例 2によれば、上述した実施例 1と同様に、同じ色成分が得られる画素で感度が異なっていても、感度補正手段で補正してから補間手段の処理を行うようにしているために、補間後の画像に感度の相異が影響を及ぼすのを防いで、より高品質な画像を得ることができる。

その上、この実施例 2によれば、補間手段による処理を行う前に、判定手段により同じ色成分が得られる画素に大きな感度差がある力否かを判定して、大きな感度差があると判断された場合に、捕間手段の処理を、該感度差の影響を受け難い処理に変更しているために、つまり、元々得られている色成分の値を注目画素の感度が所定の基準感度である場合にとるはずの値に補正して補間結果に用いるような処理に変更しているために、処理効率をあまり落とすことなく、最終的に得られる画像の画質を向上することができる。

さらに、感度差の有無に応じて補間処理の際の重みを変更するようにしているために、感度差があると判断された部分とそうでない部分との画質が大きく切り替わらない自然な処理を、簡単な処理回路で行うことが可能となる。

その際、感度の異なる画素の重みが互いに等しくなるような計算を行っているために、結果として副作用を少なくすることができる。

また、この捕間処理では、複数の色成分の情報を用いて欠落する色成分の値を推定しているが、その際に感度の異なる画素を含む色成分に対する情報の利用の割合を小さくするようにしているために、格子縞が見えるなどの副作用を起き難くすることができる。さらに、重み計算を同色画素の差分に基づいて行っているが、その計算においても、データとして信頼性が低い、感度差のある同色画素の差分の影響を小さくするようにしているために、結果的に生じる副作用を抑制することができる。

加えて、感度差を生じる原因には種々のものがある力注目画素の近傍における画素値のパターンが特定の条件を満たす場合に感度差が生じ易いことがあるために、該近傍がこうしたパターンとなっているかどうかを特徴量を使って判定して、該パターンであると判断される率が高いほど感度差も大きいと判断することにより、局所的に生じる感度差に対しても副作用が生じないように処理することを可能にしている。

その際、感度差を生じ易い近傍の画素値パターンに関して、該パターンに対して生じる感度差とパターンの特徴量とを関連付けてテーブルとして保持しておくことにより、感度差の大小をより確実に判断することができる。

また、感度差を生じる画素の位置関係が分かっていることを利用して、位置毎に別々に統計を取って、その結果同士を比較しているので、感度差が生じている力否かを確実に判断することができる。例えばべィヤー配列の場合には、隣接する R， Bからの電荷の漏れに影響されて、ライン間の Gに感度差を生じることがあるが、このような段差を検出することが可能となる。

さらに、画素数を減らして結果を記録する場合には、最終的に感度差に起因する副作用が目立たなくなることを利用して、感度差判定処理をスキップしているために、処理の効率を向上させている。

【実施例 3】図 1 3から図 1 6は本発明の実施例 3を示したものであり、図 1 3はデジタルカメラの構成を示すプロック図、図 1 4は補正回路により処理を行う際に用いる画素の番号を示す図、図 1 5は捕正回路の処理を示すフローチャート、図 1 6はコンピュータにより行われるソフト処理を示すフローチヤ一トである。

この実施例 3において、上述の実施例 1， 2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施例 3は、上述した実施例 1と同様に、画像処理装置をデジタル力メラに適用したものである。

この実施例 3のデジタルカメラ 3 1は、該実施例 1のデジタルカメラ 1に対して、補間後補正手段たる補正回路 3 2を、カラ一画像パッファ 8と画質調整回路 9との間に付加したものとなっている。

次に、このようなデジタルカメラ 3 1の作用を、上述した実施例 1と異なる点を主として説明する。

シャツタポタンがユーザーにより押下されると、上記実施例 1と同様に、光学系 2による光学像が単板べィヤー配列 C C D 3により撮像されて、各画素当たり一種類の色成分しかなレヽ単板状態の画像が単板画像パッファ 4に記憶される。

次に、ライン補正回路 5および WB補正回路 6が動作するが、その作用は上記実施例 1 と同様であり、ライン間の感度補正を行いながらホワイトバランス係数 Crg， Cbgを算出して保持する。

続いて、補間回路 7が、単板画像バッファ 4内の各画素に対して補間処理を行うが、これも実施例 1と同様であり、各画素の欠落色成分が補われたカラー画像が、カラー画像パッファ 8に得られる。

その後に、補正回路 3 2が処理を行う。この補正回路 3 2は、カラー画像バッファ 8中の各画素を順にスキャンして、各画素の 3 X 3画素でなる近傍を読み出し、図 1 5に示すような処理を行うことにより、中央画素の補正 R G B値を画質調整回路 9に出力するものである。

以下では、図 1 5のフローチャートの各ステップについて説明する。

処理を開始すると、 3 X 3画素でなる近傍内の各画素に対して、 R G B成分から輝度値 Yを計算する（ステップ S 7 1 ) 。この輝度値の計算には、次のような標準的な定義式、

Yj = 0 . 3 X Rj + 0 . 6 X Gj + 0 . 1 X B j を用いる。なお、各画素に対しては、図 14に示すような番号が割り振られる。以下では、各画素に関する値を、その画素番号の沿え字を用いて j =0〜8などと表すことにする次に、中央画素と周辺画素との輝度差（これは、注目画素の画素値と近傍画素の画素値との相関を示している。）を

dYj = | YO-Yj I

として計算する（ステップ S 72) 。ここに； jは、 1から 8の整数である。

そして、以下の条件 (1) , (2) 、

(1) dYklは dYOから dY8 の内で一番小さい

(2) dYk2は dYOから dY8 の内で 2番目に小さい

を満たすような整数 k l， k 2を探す（ステップ S 73) 。

次に、所定の閾値 Tl, T2に対して、 dYklが T 1よりも大きく、力、つ dYk2—dY klが T2よりも小さくなる力否かを調べる（ステップ S 74) 。この条件は、満たされた場合に、中央画素が孤立点であると知覚される確率が高!/ヽことを示す条件となっている。ここで、条件が満たされて孤立点と判断された場合には、中央画素に対する補正値 (R 0，， GO，， BO，）を、以下の数式 14によって計算して、

[数式 14]

RO， = (Rkl + Rk2) /2

GO' = (Gkl + Gk2) /2

BO' = (Bkl+Bk2) /2

この計算結果を出力し終了する（ステップ S 75)。

一方、上記ステップ S 74において、条件が満たされていない場合には、中央画素の R GB画素値を無補正のまま出力して（ステップ S 76) 、終了する。

こうして画質調整回路 9に出力された捕正 RGB値は、上述した実施例 1と同様に、画質調整回路 9で調整された後に記録回路 10により記録され、全ての処理が終了する。なお、上述では、画像処理装置であるデジタルカメラ 31の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、 PC (パーソナルコンビュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能であるこのソフトウェアは、上述した実施例 2において図 10〜図 12を参照して説明したものと同様に、メモリ I n I mgに記憶されている画像、つまり、単板べィヤー配列 CCD 3により得られた直後の、各画素で一種類の色成分しか得られていない画像、を処理して、メモリ Ou t Imgに 3色カラー画像を出力するものである。ただし、ホワイトバランス係数 C r， Cbおよびライン間のゲイン補正係数 a， bは、パラメータとして与えられるものとする。

以下では、図 16のフローチャートの各ステップについて説明する。この図 16は、ソフト処理の流れを示したものである。

この処理を開始すると、まず、補間処理における中間結果を保持しておくためのメモリ tmp imgを確保する（ステップ S 81) 。

次に、メモリ I n I mg内に未処理の画素が存在する力否かを判断する（ステップ S 8 2) 。

ここで、未処理の画素が存在する場合には、該未処理の画素の内の 1つを処理対象画素として決定し、この処理対象画素を中心とした 5 X 5画素でなるブロックを上記メモリ I n lmgから読み出す（ステップ S 83) 。

そして、メモリ I n Imgから読み出したプロック内の画素に対して、上記数式 8による計算を行うことによりライン間補正を行うとともに、上記数式 9による計算を行うことにより WB補正を行う（ステップ S 84) 。

続いて、公知の方法により補間処理を行って、各画素について RGBの 3色成分を生成する（ステップ S 85) 。

その後、補間処理の結果を tmp img内の対応画素位置に記録して（ステップ S 86 ) 、上記ステップ S 82に戻り他の画素の処理に移行する。

一方、上記ステップ S 82において、メモリ I n I mg内に未処理の画素が存在しない場合には、さらに、メモリ tmp i mg内に捕正処理を受けていない画素が存在する力否かを判断する（ステップ S 87) 。

ここで、補正処理が行われていない画素が存在する場合には、この未補正処理の画素を中心とした 3 X 3画素でなる近傍のデータをメモリ tmp imgから読み出して（ステツプ S 88) 、上記図 15に示したような捕正処理を行い（ステップ S 89) 、この補正処理の結果をメモリ Ou t I mgの対応画素位置に記録してから（ステップ S 90) 、上記ステップ S 87へ戻って次の未処理の画素の処理へ移行する。

また、上記ステップ S 87において、メモリ tmp i mg内に補正処理を受けていない画素が存在しない場合には、 t m p i m gとして確保していたメモリ領域を開放してから (ステップ S 9 1 ) 、終了する。

なお、この実施例は幾つかの変形が可能である。好ましい変形例の一つは、補間回路 7 が単板画像バッファ 4に保持される画像よりも画素数の少ない画像を生成する機能を有するものであって、該機能を働力せる場合に、補正回路 3 2の処理をスキップすることである。画素数を少なくして出力するモードは、上述したように、デジタルカメラにおいては標準的に備えられたものであり、この場合には、補間回路 7が単板画像バッファ 4から画素を間引いて読み出しながら処理することになる。すると、 G画素に感度差があっても処理結果への影響が少なくなるために、間引き率に応じて（つまり、縮小率が所定の閾値以下である場合に）補正回路 3 2の処理を中止するようにすることで、画質に影響を及ぼすことなく、処理効率を向上し消費電力を低減することが可能となる。

また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても.、各方式に応じた補間処理でカラー画像を得た後に、同様の補正処理を行うことが可能である。

このような実施例 3によれば、上述した実施例 1， 2とほぼ同様の効果を奏するとともに、画素間の感度差によって生じる可能性がある副作用を、補間処理を感度差に応じて変更して防ぐのではなく、捕間処理後に生じる可能性のありそうな副作用のパターンを直接補正するようにしたために、画質の改善をより簡易的に行うことができる。

また、近傍画素と注目画素とが調和している力、否かを、相関により調べて、調和度の高い近傍画素の画素値を注目画素の画素値に混合するようにしているために、副作用を良好に減らすことができる。

さらに、画素数を減らして結果を記録する場合には、最終的に感度差に起因する副作用が目立たなくなることを利用して、補間後の補正処理をスキップしているために、処理の効率を向上することができる。

【実施例 4】

図 1 7から図 2 5は本発明の実施例 4を示したものであり、図 1 7はデジタル力メラの構成を示すプロック図、図 1 8は段差補正回路の一構成例を示すプロック図、図 1 9は G 段差を説明するための図、図 2 0は段差補正回路の処理を示すフローチャート、図 2 1は段差補正回路における処理を行う際の近傍の例を示す図、図 2 2は補正量△を求めるための関数の例を示す線図、図 2 3は段差補正回路の他の構成例を示すプロック図、図 2 4は組み合わせ平均計算回路により計算される組み合わせ平均を説明するための図、図 2 5はコンピュータにより行われるソフト処理を示すフローチヤ一トである。

この実施例 4において、上述の実施例 1〜 3と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施例 4は、上述した実施例 1と同様に、画像処理装置をデジタルカメラに適用したものである。

この実施例 4のデジタルカメラ 4 1は、図 1 7に示すように、該実施例 1のデジタル力メラ 1に対して、ライン補正回路 5に代えて段差補正回路 4 3とノィズ低減回路 4 4とを設けたものとなっている。また、単板べィヤー配列 C C D 3と単板画像バッファ 4との間には、該単板べィヤー配列 C C D 3から出力されるアナログの映像信号をゲイン調整してからデジタルの映像信号に変換するための AZD変換回路 4 2が明示して設けられているが、これは上述した第 1カら第 3の実施例のデジタル力メラにおいても同様に設けられていて、ただ単に図示を省略していただけのものである。そして、これら AZD変換回路 4 2、段差補正回路 4 3、およびノイズ低減回路 4 4は、上記制御回路 1 1により制御されるようになっている。

上記段差補正回路 4 3は、単板画像バッファ 4内に記憶されている画像に対して、 G成分の感度差補正を行うためのものである。

上記ノイズ低減回路 4 4は、この段差補正回路 4 3から出力される信号にノイズ低減処理を行うためのものである。

上記段差補正回路 4 3は、より詳しくは図 1 8に示すように、補正回路 5 1と、平均計算回路 5 2と、段差量推定回路 5 3と、補正量算出回路 5 4と、を有して構成されている上記平均計算回路 5 2は、上記単板画像バッファ 4から所定サイズのプロック単位で画像データを読み出して、注目画素以外の G成分の平均値を算出するものである。

上記段差量推定回路 5 3は、上記平均計算回路 5 2により算出された平均値と、注目画素の G成分値と、の差を算出することにより、感度差の量を推定するものである。

上記補正量算出回路 5 4は、上記単板画像パッファ 4から読み出したプロック単位の画像データから特徴量を算出し、該特徴量に基づいて閾値を求め、この閾値と、上記段差量推定回路 5 3により推定された G成分の感度差の量と、に基づいて、上記単板画像バッファ 4からブロック単位で読み出した画像データの感度差補正量を計算するものである。上記補正回路 51は、上記補正量算出回路 54により計算された感度差補正量に基づいて、注目画素の G成分値を感度差補正し、上記ノイズ低減回路 44へ出力するものであるこのようなデジタルカメラ 41の作用について、上述した各実施例と異なる部分を説明する。

段差補正回路 43は、単板画像パッファ 4の各画素毎に、近傍 3 X 3サイズのプロック領域を読み出す。そして、読み出した 3 X 3サイズのブ口ック領域の中心に位置する画素を注目画素とする。該段差補正回路 43は、注目画素の色成分が G成分である場合にのみ、以下に示すように段差補正処理を行うようになっている。

また、ここで、図 19を参照して、 G段差について説明する。単板べィヤー配列 CCD 3は、図 19 (A) に示すような色フィルタ配列を有しているが、センサの特性上、ある撮影条件下では、図中の奇数行目の G画素（Grと記載している）と、偶数行目の G画素 (Gbと記載している）と、の間に、同じ G成分取得用であるにも関わらず、感度差が付いてしまうことがある。すなわち、例えば全ての画素について「128」の出力値が得られるような平坦な被写体を撮影した場合でも、図 19 (B) に示すように、 Grからは「 180」の画素値が得られ、 Gbからは「100」の画素値が得られて、 Grと Gbとの画素値に差が生じてしまうことがある。このような差のことを、以下では G段差と呼ぶことにする。

段差捕正回路 43は、図 20に示したような流れに沿って、この G段差を補正して、補正された画素値を出力するようになっている。

すなわち、段差補正回路 43は、図 20に示す処理を開始すると、まず、読み出した近傍プロックの中心画素が G rまたは Gbの何れかである力否かを判断する（ステップ S 1 01) 。

ここで、中心画素が Grまたは Gbの何れかである場合には、平均計算回路 52が、次の数式 15に示すように、図 21に示すような画素配列の 4隅に位置する G画素 G 0〜G 3の平均値 A g (特徴量）を算出して、段差量推定回路 53へ出力する。

[数式 15]

Ag= (G0+G1+G2+G3) /4

段差量推定回路 53は、上記平均計算回路 52により算出された平均値 A gと、近傍ブロックの中心画素 G 4の値との差を、次の数式 16に示すように感度差の量たる段差量 d として算出し、算出した段差量 dを補正量算出回路 54へ出力する（ステップ S 102) [数式 16]

d=Ag-G4

補正量算出回路 54は、まず、近傍プロックに含まれる R画素の平均値 R，（特徴量）と B画素の平均値 B，（特徴量）とを算出する。そして、補正量算出回路 54は、これらの平均値 R，， B，をインデックスにして、該補正量算出回路 54の内部 ROMに記憶されている予測テーブル（ルックアップテーブル： LUT) を参照することにより、適切な段差補正を行うための補正量の閾値 F (感度差の量）を求める（ステップ S 103) 。なお、上記予測テーブルは、種々の照明条件で種々の被写体を撮影した際の、 Gr画素と G b画素との間に生じた段差量の上限値と、周囲の R画素値および B画素値と、の関係を予め整理して作成されたものである。

次に、補正量算出回路 54は、上述したように算出した補正量の閾値 Fと、上記段差量推定回路 53により推定された段差量 dと、に基づいて、 G段差を実際に補正するために適切な補正量△ (感度差補正量）を算出する（ステップ S 104) 。この算出も、該補正量算出回路 54の内部 ROMに記憶されているテーブルを参照することにより、行うようになっている。この內部 ROMに記憶されているテーブルは、例えば、図 22に示すような関数 f (所定の関数）を離散近似して作成されたテーブルとなっている。この関数 f ( X ； p) は、 pをパラメータとする独立変数 Xの関数であり、 I X Iが p以下のときに f (X ； p) = x、 I X Iが (閾値）以上のときに 0となるような関数である。なお、 I X Iが ρよりも大きく、 α ρ (閾値）よりも小さいときには、これらを連続に結ぶ（例えば直線で結ぶ）ような関数形状となっている。ここに、 I X Iは Xの絶対値を示し、 ο; は予め定められた 1以上の定数となっている。補正量算出回路 54は、このような関数 f に対応するテーブルを x = d， p = Fとして参照することにより、実質的に△= f (d ； F) として補正量△を求め、求めた補正量△を上記補正回路 51へ出力する。

続いて、補正回路 51は、次の数式 17に示すように、上記補正量算出回路 54から得られた補正量△の半分を、中央画素値 G 4から減算して最終的な段差補正値 G 4' を算出し、

[数式 17]

G4' =G4— Δ/2 その後に、この値 G4，を中央画素値として、上記ノイズ低減回路 44へ出力する（ステップ S 105) 。

仮に、被写体が平坦な場合で、図 21に示したプロックにおける近傍 G 0〜G 3が同じ値 VIをとるものとし、中央画素 G 4が値 V 2をとるとすると、上記ステップ S 102により算出される段差量 dは V 2—VIとなる。この V 2— VIの絶対値がステップ S 10 3で計算される閾値 F以下である場合には、上記ステップ S 105により算出される補正量厶は 2—¥ 1に一致する。従って、ステップ S 105で算出される G4，の値は、 V 2- (V2-V 1) /2= (V1+V2) 2となる。このように、段差量が閾値 Fよりも小さい場合には、補正結果は G r画素の画素値と G b画素の画素値との平均値に近付くように補正されるのが、本実施例における G段差捕正処理の特徴となっている。

また、上記ステップ S 101において、中心画素が G rと Gbとの何れでもないと判断された場合には、中央画素の画素値をそのままノイズ低減回路 44へ出力する（ステップ S 106) 。

こうして、上記ステップ S 105またはステップ S 106の処理が行われたところで、この G段差補正の処理を終了する。

段差捕正回路 43により上述したような処理が行われると、ノィズ低減回路 44には、単板画像バッファ 4の各画素に対して G段差補正を行った後の画素値が順次入力される。ノィズ低減回路 44は、単板べィヤー配列 CCD 3の特性に起因するノィズ低減処理を行つて、結果を WB捕正回路 6へ出力する。

その後の処理は、上述した実施例 1と同様である。

なお、本実施例は、多くの変形例が考えられる。例えば、 WB補正回路 6やノイズ低減回路 44と段差補正回路 43の処理の順番は、上述したものに限られるものではなく、任意の順番となるように変更することが可能である。

また、回路を簡単化するための変形例としては、段差補正回路 43による処理ステップ S 103において、閾値 Fを、近傍画素の特徴量に基づいて予測する代わりに、固定値にすることが考えられる。この場合には、補正量算出回路 54の内部 ROMには、テーブルの代わりに、固定値が記憶されることになる。単板べィヤー配列 CCD 3の特性によっては、このような手段を用いても実用可能範囲内となる。

あるいは、段差補正回路 43を、図 23に示すように構成しても良い。この図 23に示す構成例では、段差補正回路 43は、補正回路 51と、組み合わせ平均計算回路 56と、差分選択回路 57と、補正量算出回路 54と、を有して構成されている。つまり、この図 23に示す構成は、上記図 18に示した構成における平均計算回路 52および段差量推定回路 53に代えて、組み合わせ平均計算回路 56および差分選択回路 57を設けた構成になっている。

上記組み合わせ平均計算回路 56は、 3X 3近傍に含まれる G画素のペアの特定の組み合わせを選択するセレクタと、このセレクタにより順次選択される各ペアの平均を算出する回路と、を備えて構成されている。この組み合わせ平均計算回路 56により選択される組み合わせペアとその平均値とは、例えば図 24に示すような A 0〜A 5 (特徴量）、つまり、次の数式 18に示すような A 0〜A 5、

[数式 18]

AO= (GO+G1) /2

A 1 = (G0+G2) /2

A2= (G1+G3) /2

A3= (G2+G3) /2

A4= (G 1 +G 2) /2

A5= (GO+G3) /2

となる。こうして組み合わせ平均計算回路 56により算出された各平均値 A 0〜A 5は、差分選択回路 57へ出力される。

差分選択回路 57は、組み合わせ平均計算回路 56から受け取った各平均値 AO〜A 5 と中心画素値 G4との差 Di -G4— Ai ( iは 0から 5までの整数）をそれぞれ計算して、これらの中から絶対値が最小となる Di を、上記図 20のステップ S 102における段差量 dに相当する量として、補正量算出回路 54へ出力する。その後の補正量算出回路 54の処理おょぴ補正回路 51の処理は、上述と同様である。

なお、上述では、画像処理装置であるデジタノレカメラ 41の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、 PC (パーソナルコンビュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能であるこのソフトウェアは、単板べィヤー配列 CCD 3からのアナログ出力をデジタル信号に変換して得られた RAWデータファイルに対して、現像処理を行うものとなっている。以下では、図 25のフローチャートの各ステップについて説明する。この図 25は、ソフト処理の流れを示したものである。

なお、この処理を行うに当たって、例えば PCのメモリ領域に、作業用の記憶領域として、第 1バッファと第 2バッファとが確保されているものとする。

この処理を開始すると、まず、 RAWデータファイルから、単板状態の画像データを読み込んで、第 1バッファに 2次元配列として格納する（ステップ S 1 11) 。

次に、第 1バッファをまず行方向にスキャンし、次に列方向にスキャンすることにより、画像データ内に未処理画素が存在するカゝ否かを判断する（ステップ S 1 12) 。

ここで、未処理画素がある場合には、選択した未処理画素の近傍 3 X 3ブロックを第 1 バッファから読み出して（ステップ S 1 13) 、上記図 20に示したような段差補正処理を行う（ステップ S 1 14) 。

そして、段差捕正結果を、第 1バッファとは別に確保された第 2バッファ内の未処理画素に対応するァドレスに書き込んでから (ステップ S 1 15) 、上記ステップ S 112へ戻つて次の未処理画素に対する判断を行う。

一方、上記ステップ S I 12において、第 1バッファ内に未処理画素がないと判断された場合には、第 2バッファの画像に対してノイズ低減処理を行レヽ、その処理結果を第 1バッファへ出力する（ステップ S 116) 。

次に、この第 1バッファの画像に対して、ホワイトパランス（WB) を補正する処理を行って、その結果を再び第 1バッファへ出力する（ステップ S 117) 。

さらに、第 1バッファの画像に対して、欠落色成分の補間処理を行い、その結果を第 2 バッファへ出力する（ステップ S 1 18) 。

続いて、第 2バッファの画像に対して、エッジ強調などの画質調整処理を行って、その結果を第 1バッファへ出力する（ステップ S 1 19) 。

そして、第 1バッファの画像を、指定されたファイルへ出力して（ステップ S 120) 、この処理を終了する。

このような実施例 4によれば、上述した実施例 1〜 3とほぼ同様に、同種の色成分が得られる画素間の感度の相違を、欠落画素の補間処理を行う前に、補正するようにしたために、欠落画素の補間を感度の相違の影響を低減した状態で良好に行うことができる。また、注目画素と、該注目画素と同種の色成分の画素と、の感度差がどの程度あるのかを推定するようにしたために、感度差に応じた最適な感度補正を行うことができる。このとき、感度差がどの程度あるのかを、注目画素近傍のデータから抽出した特徴量に基づいて推定するようにしたために、感度差に応じた最適な感度補正を行うことができる。そして、特徴量と感度差の量との対応関係を予め調査してテーブル化しておくようにしたために、高精度な感度補正を高速に行うことが可能となる。

さらに、感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を注目画素の画素値に加算して感度補正を行うようにしたために、回路構成が簡単になり、力つボケをあまり生じることなく感度補正を行うことができる。

このとき、感度差の量の絶対値がある閾値以上の場合に 0となるような関数を用いて感度差補正量を算出するようにしているために、非常に大きな感度差の推定値が得られた場合に、補正を中止することができる。これにより、そのまま補正してエッジがぼけてしまうのを適切に防止することができる。

また、特徴量を、注目画素と異なる種類の色成分の画素の画素値から計算するようにしたために、注目している色成分以外の色成分の要因で感度差が生じる場合にも対応することが可能となる。

さらに、注目画素と同種の色成分の画素の画素値の N個の平均値を計算して特徴量とし、 N個の特徴量と注目画素の画素値との差の絶対値が最小となる差を感度差の量とするようにしたために、より高精度に感度差の量を推定することができる。

【実施例 5】

図 2 6から図 3 1は本発明の実施例 5を示したものであり、図 2 6はデジタル力メラの構成を示すプロック図、図 2 7は段差平滑化回路の一構成例を示すプロック図、図 2 8は段差平滑化回路の処理を示すフローチャート、図 2 9は係数混合比ひを算出するための関数の例を示す線図、図 3 0は係数設定回路により設定されるフィルタ係数の周波数特性を説明するための図、図 3 1は段差平滑ィ匕回路の他の構成例を示すプロック図である。この実施例 5において、上述の実施例 1〜4と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施例 5は、上述した実施例 1と同様に、画像処理装置をデジタルカメラに適用したものである。

この実施例 5のデジタル力メラ 6 1は、図 2 6に示すように、上記実施例 4のデジタルカメラ 4 1に対して、段差補正回路 4 3に代えて段差平滑ィ匕回路 6 2を設けたものとなつている。そして、この段差平滑ィ匕回路 6 2は、上記制御回路 1 1により制御されるようになっている。上記段差平滑化回路 6 2は、より詳しくは図 2 7に示すように、フィルタ回路 7 1と、捕正量算出回路 7 2と、係数設定回路 7 3と、を有して構成されている。

上記補正量算出回路 7 2は、上記単板画像バッファ 4から 7 X 7画素のプロック単位で読み出した画像データの中心 3 X 3画素に対して、 R画素の平均値 R，（特徴量）と B画素の平均値 _B，（特徴量）とを算出し、さらに、これらの特徴量から該補正量算出回路 7 2の内部 R OMに記憶されたテーブルを参照して適切な段差補正量の閾値 F (感度差の量 ) を求め、この閾値 Fの関数として係数混合比 αを算出するものである。

上記係数設定回路 7 3は、上記補正量算出回路 7 2により算出された係数混合比 aに基づいて、上記フィルタ回路 7 1で行う計算に用いるフィルタ係数を算出するものである。上記フィルタ回路 7 1は、上記係数設定回路 7 3により算出されたフィルタ係数を用いて、上記単板画像バッファ 4から読み出した画像データに所定の演算を行い、 G段差の平滑化を行うものである。

このような段差平滑ィヒ回路 6 2の処理について、図 2 8を参照して説明する。なお、この図 2 8において、上記実施例 4の図 2 0と同様の処理を行う部分については、同一の符号を付している。また、この段差平滑ィ匕回路 6 2は、上述したように、単板画像バッファの各画素毎に、近傍 7 X 7サイズのブ口ック領域を読み出して、以下に示すような処理を行うようになっている。

この処理を開始すると、まず、上記ステップ S 1 0 1の処理を行って、中心画素が G r または G bである力否かを確認する。

ここで、中心画素が G rまたは G bである場合には、補正量算出回路 7 2は、まず、近傍プロック内の中心 3 X 3画素に含まれる R画素の平均値 R，と B画素の平均値 B，とを算出する。そして、補正量算出回路 7 2は、算出した平均値 R，， B，をインデックスにして、内部 R OMに記憶している予測テーブルを参照し、適切な段差補正量の閾値 Fを求める（ステップ S 1 3 1 ) 。この予測テープ^/は、上記実施例 4の図 2 0のステップ S 1 0 3において説明した予測テーブルと同一である。

次に、補正量算出回路 7 2は、後段のフィルタ回路 7 1で適用されるフィルタを決定するための係数混合比 aを、段差捕正量の閾値 Fの関数として算出する（ステップ S 1 3 2 ) 。好ましい関数の一例としては、 Fが 0のときにが 1、 Fがある値 T以上で αが 0となる図 2 9に示すようなものを挙げることができる。なお、係数混合比の意味については、後で説明する。続いて、係数設定回路 7 3は、補正量算出回路 7 2により算出された係数混合比ひに基づいて、フィルタ回路 7 1により行う計算に用いるフィルタ係数を算出する。つまり、フィルタ回路 7 1は、単板画像バッファ 4から読み出した 7 X 7近傍プロックに対して、まず G成分の得られていない位置のデータを 0にセットした上で線形フィルタリングを行うが、このときのフィルタ係数として、該係数設定回路 7 3から出力された値を用いるようになっている。

係数設定回路 7 3は、フィルタ回路 7 1で用いるフィルタ係数を設定するために、予め内部に、 2種類の 7 X 7フィルタの係数を保持している。 2種類のフィルタ係数の内の 1 つは、係数 P_i， j ( i ， jは各々 1から 7までの整数）である。この係数 P— i， jは、フィルタの中心に当たる P_4， 4のみが 1であり、その他は 0の値をとる係数となっている。また、 2種類のフィルタ係数の内の他の 1つは、係数 Q— i， j ( i ， jは各々 1から 7までの整数）である。この係数 Q— i, jは、総和が 2であって、かつ、その水平方向または垂直方向の特性が、図 3 0において実線で示す曲線 L 0のように、ナイキスト周波数で 0となるように設定された係数となっている。

従って、係数 P— i, jを用いて、単板画像バッファ 4から読み出した 7 X 7近傍をフィルタリングした場合には、フィルタ回路 7 1から出力されるのは、何の捕正もされない中央画素の値である。

—方、係数 Q_i, jを用いて、単板画像パッファ 4から読み出した 7 X 7近傍をフィルタリングした場合には、ナイキスト周波数付近の周波数成分だけを急に落とし、その他の周波数成分にはあまり影響を与えないような平滑ィヒがなされる。 G r画素と G b画素とに段差が生じている場合は、その影響が主にナイキスト周波数付近に現れる。そのために、フィルタリングを行った結果、段差の影響は平滑化されて取り除かれるが、エッジ部のボケはあまり生じていないような中央画素の G成分値が得られる。

係数設定回路 7 3は、上述したような係数 P_i, jと係数 Q— i, jとを、上記補正量算出回路 7 2から取得した係数混合比 αを用いて数式 1 9に示すように混合することにより、新たなフィルタ係数 C— i, jを生成して、フィルタ回路 7 1へ出力する（ステップ S 1 3 3 )

[数式 1 9 ]

C— i, j= a X P一 i， j+ ( 1 - α ) X Q_i, j

この数式 1 9と、図 2 9に示したような係数混合比 _αと、によれば、近傍プロック内で大きな段差が発生している場合には、この段差が取り除かれる係数 Q—i， jに近い特性の図 3 0の点線に示す曲線 L 1のようなフィルタ係数がフィルタ回路 7 1へ出力される。一方、近傍プロック内で段差がほとんど発生していない場合は、係数 P— i, jに近い特性の図 3 0の一点鎖線に示す曲線 L 2のようなフィルタ係数がフィルタ回路 7 1へ出力される。このようなフィルタ係数の混合を行うことにより、帯域劣化と段差補正とが最適にバランスされた処理を常に行うことが可能となる。

フィルタ回路 7 1は、上述したように、係数設定回路 7 3から出力されたフィルタ係数 C—i, jに基づいて、近傍ブロックに対して線形フィルタリングを行う。具体的には、次のような処理を行う。ここに、 7 X 7近傍プロックの左上隅の座標を（1， 1 ) としたときの位置（i， j ) ( i , jは 1から 7までの整数）における画素値を x—i，jとする。まず、 G成分が得られていない位置における画素値 x—i，jを 0にセットする。その後、次のような数式 2 0を用いて、フィルタリング結果 Vを計算する。

[数式 2 0 ] ί=1ゾ =1

こうしてフィルタ回路 7 1により計算されたフィルタリング結果が、ノイズ低減回路 4 4へ出力される。

なお、この実施例においても種々の変形を行うことが可能である。例えば、係数を混合した後に、混合された係数を用いてフィルタリングするのではなく、 2種類の係数を用いてそれぞれフィルタリングを行い、フィルタリングされた結果を混合するようにして構わない。図 3 1は、このような処理を行うための回路の構成例を示している。

すなわち、図 3 1に示す段差平滑ィ匕回路 6 2は、上記図 2 7に示した段差平滑ィ匕回路 6 2に対して、フィルタ回路 7 1および係数設定回路 7 3の代わりに、 2つのフィルタ回路 7 1 a , 7 1 bおよび混合回路 7 5を設けたものであり、また、補正量算出回路 7 2の出カは該混合回路 7 5へ接続されている。

上記フィルタ回路 7 1 aは、上記係数 P—i，jによるフィルタリングを行って、結果 V I を出力するものである。

上記フィルタ回路 7 1 bは、上記係数 Q—i，jによるフィルタリングを行って、結果 V 2 を出力するものである。

混合回路 7 5は、上記補正量算出回路 7 2から係数混合比ひを受けて、上記フィルタ回路 7 1 aからの出力 V Iと上記フィルタ回路 7 1 bからの出力 V 2とを用いて、以下のような数式' 2 1により最終結果 V 3を算出し、算出した結果 V 3を上記ノィズ低減回路 4 4 へ出力するものである。

[数式 2 1 ]

V 3 = a X V 1 + ( 1 - a ) X V 2

また、図 2 7に示した構成と、図 3 1に示した構成と、の何れにおいても、混合するフィルタの数は 2つに限るものではなく、 3つ以上であっても構わない。この場合には、補正量算出回路 7 2は、複数の混合比を段差補正量の閾値 Fの関数として算出する。

さらに簡単な回路としては、図 3 1に示す構成において、混合回路の代わりに切換回路を設けて、係数混合比 αに応じてフィルタ回路 7 1 aとフィルタ回路 7 1 bとの出力を切り換えるようにすることも可能である。

加えて、図 2 5の処理において、ステップ S 1 1 4の段差補正処理として、上記図 2 0 に示したような処理を行う代わりに、図 2 8に示したような処理を行うことにより、本実施例に対応するソフトウェア処理を実現することが可能となる。

このような実施例 5によれば、上述した実施例 4とほぼ同様の効果を奏するとともに、感度差の量に基づレ、て設定したフィルタ係数により、注目画素と同種の色成分の画素に線形フィルタを適用するようにしたために、感度差補正量を画素値に加算する場合に比べて、感度差の推定を間違った場合であっても、より確実に感度差を補正することが可能となる。

なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。産業上の利用可能性

以上説明したように本発明の画像処理装置、画像処理プログラムによれば、画素間の感度にばらつきがあつたとしてもその影響を低減して高精度な補間処理を行うことが可能となる。

Claims

請求の範囲

1 . 単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理する画像処理装置であって、

同じ色成分が得られている画素の間の感度差を補正する感度補正手段と、

上記感度捕正手段により捕正された後の画像に対して、各画素において欠落する色成分を捕う補間手段と、

を具備したことを特徴とする画像処理装置。

2. 単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理する画像処理装置であって、

注目画素の所定の近傍において、指定された種類の色成分に対し、当該色成分が得られている画素の間の感度差の大小を判定する判定手段と、

上記注目画素において欠落する色成分を補う処理を行うものであって、該処理を行う際に、上記判定手段による判定結果に応じて処理内容を変更可能な補間手段と、

を具備したことを特徴とする画像処理装置。

3 . 上記補間手段は、上記注目画素で得られている色成分に対して、上記近傍内で当該色成分が得られている画素の中から基準画素を定め、上記注目画素の当該色成分に対する感度を上記基準画素の当該色成分に対する感度に合わせた場合に上記注目画素がとるはずの当該色成分の画素値を補正値として計算し、上記判定手段により判定された感度差の大小に応じて、上記注目画素の当該色成分の画素値を、 .上記補正値に変更するものであることを特徴とする請求の範囲第 2項に記載の画像処理装置。

4. 上記補間手段は、上記所定の近傍内の画素値を重み付け平均する重付平均手段を有して構成されており、該重付平均手段は、上記判定手段の判定結果に応じて重みを変更し重み付け平均により注目画素の画素値を算出するものであることを特徴とする請求の範囲第 2項に記載の画像処理装置。

5 . 上記重付平均手段は、上記重みを、上記判定手段において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるように変更するものであることを特徴とする請求の範囲第 4項に記載の画像処理装置。

6 . 上記重付平均手段は、上記重みを、上記近傍内で同種の色成分が得られている画素間の画素値差分の関数式として計算するものであって、上記判定手段により特定の色成分に対して感度差が大きいと判定された場合には、該関数式を、当該色成分に関する上記画素値差分の影響が小さくなるように変更するものであることを特徴とする請求の範囲第 4 項に記載の画像処理装置。

7. 上記重付平均手段は、上記判定手段において感度差があると判定された種類の色成分が得られている画素に対して、上記重みが当該画素間で均等に近付くように変更するものであることを特徴とする請求の範囲第 4項に記載の画像処理装置。

8 . 上記判定手段は、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴量計算手段を有して構成されており、該特徴量の大小に基づいて上記感度差の大小を判定するものであることを特徴とする請求の範囲第 2項に記載の画像処理装置。

9 . 上記判定手段は、指定された色成分に関する上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成されており、該特徴量から該テーブルを参照することにより上記感度差の大小を判定するものであることを特徴とする請求の範囲第 8項に記載の画像処理装置。

1 0 . 上記判定手段は、上記近傍内において、指定された色成分が得られている画素を所定の方法で分類し、各分類における画素値の平均値と変動量とに基づき、上記特徴量を計算するものであることを特徴とする請求の範囲第 8項または請求の範囲第 9項に記載の画像処理装置。

1 1 . 上記判定手段は、上記近傍内において、指定された色成分が得られている画素の画素値の平均値と、指定された色成分と異なる所定の色成分が得られている画素の画素値の平均値と、に基づいて、上記特徴量を計算するものであることを特徴とする請求の範囲第 8項または請求の範囲第 9項に記載の画像処理装置。

1 2 . 上記補間手段は、上記撮像系により得られる画像サイズを所定の縮小率で縮小した力ラ一画像を生成し得るように構成されたものであり、

上記判定手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、感度差の判定を行わないものであることを特徴とする請求の範囲第 2項に記載の画像処理装置。

1 3 . 単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理する画像処理装置であって、

各画素において欠落する色成分を補う補間手段と、

上記補間手段による結果に対して補正を行う補間後補正手段と、

を具備したことを特徴とする画像処理装置。

1 4. 上記補間後補正手段は、注目画素の画素値と該注目画素に係る所定の近傍画素の画素値との相関を計算して、相関の高い近傍画素の平均値に基づいて上記注目画素の画素値を補正するものであることを特徴とする請求の範囲第 1 3項に記載の画像処理装置。

1 5 . 上記補間手段は、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラ一画像を生成し得るように構成されたものであり、

上記補正後補正手段は、該捕間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、補正を行わないものであることを特徴とする請求の範囲第 1 3項に記載の画像処理装置。

1 6 . コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、

該コンピュータを、

同じ色成分が得られている画素の間の感度差を補正する感度捕正手段、

上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、

として機能させることを特徴とする画像処理プログラム。

1 7 . コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、

該コンピュータを、

注目画素の所定の近傍において、指定された種類の色成分に対し、当該色成分が得られている画素の間の感度差の大小を判定する判定手段、

上記注目画素において欠落する色成分を補う処理を行うものであって、該処理を行う際に、上記判定手段による判定結果に応じて処理内容を変更可能な補間手段、

として機能させることを特徴とする画像処理プログラム。

1 8 . コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、

該コンピュータを、

各画素において欠落する色成分を捕う補間手段、

上記補間手段による結果に対して補正を行う補間後補正手段、

として機能させることを特徴とする画像処理プロダラム。

1 9 . 上記感度補正手段は、注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有して構成され、上記感度差の量に応じて感度補正を行うものであることを特徴とする請求の範囲第 1項に記載の画像処理装置。

2 0 . 上記推定手段は、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴計算手段を有して構成され、該特徴量に基づいて上記感度差の量を推定するものであることを特徴とする請求の範囲第 1 9項に記載の画像処理装置。

2 1 . 上記推定手段は、上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成され、上記特徴量から上記テーブルを参照することにより、上記感度差の量を推定するものであることを特徴とする請求の範囲第 2 0項に記載の画像処理装置。

2 2 . 上記特徴計算手段は、上記所定の近傍内で、上記注目画素で得られる色成分と異なる種類の色成分が得られている画素の画素値から、上記特徴量を計算するものであることを特徴とする請求の範囲第 2 0項に記載の画像処理装置。

2 3 . 上記特徴計算手段は、上記所定の近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素の N通り（Nは 1以上の整数）の組み合わせに対する N個の平均値を計算して、これらの計算結果を上記特徴量とするものであることを特徴とする請求の範囲第 2 0項に記載の画像処理装置。

2 4 . 上記感度補正手段は、上記 N個の平均値と上記注目画素の画素値との差 Di ( i は 1から Nまでの整数）を求めて、これら N個の差 Di の内の絶対値が最小となる Di を上記感度差の量とするものであることを特徴とする請求の範囲第 2 3項に記載の画像処理装置。

2 5 . 上記感度補正手段は、上記感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度捕正を行うものであることを特徴とする請求の範囲第 1 9項に記載の画像処理装置。

2 6 . 上記所定の関数は、上記感度差の量の絶対値がある閾値以上の場合に 0となるような関数であることを特徴とする請求の範囲第 2 5項に記載の画像処理装置。

2 7 . 上記感度補正手段は、

上記感度差の量に基づいてブイルタ係数を設定する係数設定手段と、

上記近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素に対して、上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うブイルタ手段と、

を有して構成されたものであることを特徴とする請求の範囲第 1 9項に記載の画像処理装置。

2 8 . コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、

該コンピュータを、

注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有し、上記感度差の量に応じて感度補正を行う感度補正手段、

として機能させることを特徴とする画像処理プログラム。

2 9 . コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、

該コンピュータを、

注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有し、上記感度差の量から所定の関数により感度差捕正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行う感度補正手段、

上記感度捕正手段により補正された後の画像に対して、各画素において欠落する色成分を捕う補間手段、

として機能させることを特徴とする画像処理プログラム。

3 0 . コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によつて光学像を撮像することにより得られた、各画素につき 1種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、

該コンピュータを、

注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段と、上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と、上記近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素に対して、上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段と、を有する感度補正手段上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、

として機能させることを特徴とする画像処理プログラム。