JP3914628B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3914628B2 JP3914628B2 JP01532598A JP1532598A JP3914628B2 JP 3914628 B2 JP3914628 B2 JP 3914628B2 JP 01532598 A JP01532598 A JP 01532598A JP 1532598 A JP1532598 A JP 1532598A JP 3914628 B2 JP3914628 B2 JP 3914628B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- pixel
- color signal
- signal value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、各画素の色が複数種の色信号値により表現されるカラーディジタル画像を出力する画像処理装置に係り、特に、単板撮像系又は二板撮像系により得られたために各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素における欠落色信号値が補われたカラーディジタル画像を出力する画像処理装置に関する。
【０００２】
【従来の技術】
色フィルタをモザイク状に受光面に配した撮像素子を用いる単板撮像系や、一枚はＧ（緑）フィルタのみ、もう一枚はＲ（赤）とＢ（青）のモザイクフィルタを配した２枚のＣＣＤで撮像を行う二板撮像系は、分光系と３枚の撮像素子を用いる三板撮像系に対し安価に構成できるという利点をもつ。ただし、これらの撮像系では、得られた画像の各画素において色信号値が少なくとも一つ以上欠落するため、その色信号値を推定して補う補間処理が必要となる。
【０００３】
この補間処理として、ある画素の欠落する色信号値をその周囲の欠落していない同種の色信号値の平均値で補う単純線形補間処理が従来広く行われてきた。しかし、その処理結果には、色フィルタ配置に応じた偽色、エッジ部の凹凸や色付きなど、画質を劣化させる現象が生じる。そのため、これらの現象の発生を抑えて画質を向上させる新たな欠落色信号値の復元手法が提案されている。なかでも、カラー画像の局所領域における色信号値間の関係、いわゆる色相関を利用して欠落色信号値を補う方法が画質向上効果が高い。
【０００４】
例えばその第一の例として、特開平４−５０２０９６号公報では、輝度信号が高サンプリング密度で、他の色信号が相対的に低サンプリング密度で得られている画像信号において、低サンプリング密度の色信号に対する補間法を開示している。この方法では、低サンプリング密度の色信号は高サンプリング密度の輝度信号を用いて算出される。このため、低サンプリング密度の信号Ｓ２のサンプリング位置には必ず高サンプリング密度の信号Ｓ１の標本値が存在すると仮定する。信号Ｓ２のサンプリング位置におけるＳ１の標本値の間の差を所定の閾値と比較し、閾値を下回る場合は信号Ｓ２の標本値のみを用いた単純線形補間処理を行う。閾値を上回る場合は信号Ｓ２のサンプリング位置間にエッジがあると判断し、Ｓ１とＳ２がＳ２＝ａ＊Ｓ１＋ｂなる線形な関係にあると仮定して、係数ａ及びｂをＳ２のサンプリング位置におけるＳ１とＳ２の値から求める。
【０００５】
また、第二の例として、特開平５−５６４４６号公報では、画像の局所領域では明るさの変化より色の変化が緩やかであると仮定して、カラービデオカメラにおいて得られたＮ種類の各色信号を二次元ローパス処理し、ある画素Ｐにおいて欠落するＫ色信号値（Ｋは１〜Ｎの何れか）を、その画素Ｐに存在するＬ色信号値（Ｌは１〜Ｎの何れか）から式 Ｋ＝（Ｋlow ／Ｌlow ）×Ｌ により算出する。Ｋlow ，Ｌlow はＫ色信号，Ｌ色信号をそれぞれローパス処理した信号の、画素Ｐにおける値である。
【０００６】
【発明が解決しようとする課題】
色相関を利用する従来技術は、いずれも一般の画像の持つ色相関の性質についてある仮定を立て、各画素の近傍でその仮定が成立するとして処理を行うものである。
【０００７】
しかし、これらの従来技術では、画像中には設けた仮定が成立しない近傍を持つ画素もあり、そのような部位の処理結果にはアーティファクト（本来存在しない画像特徴）が生じて、かえって画質が劣化するという点については記載されていない。
【０００８】
また、近傍で色相関に関する仮定が成立している画素に関しても、従来技術では各画素につきただ一つの近傍をとり、その近傍における色相関を用いて欠落色信号値の復元を行っていた。そのため、復元結果がノイズに弱いという点については記載されていない。
【０００９】
本発明は、上記の点に鑑みてなされたもので、色相関に関して設けた仮定がある領域内で成立するかどうかを判断し、仮定が成立すると判断された領域の情報だけを用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元が可能な画像処理装置を提供することを目的とする。
【００１０】
また、本発明は、ある画素に対しその画素に関する複数の近傍の色相関を総合して処理を行うことにより、ノイズに強い欠落色信号値の復元が可能な画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明による画像処理装置は、単板撮像系または二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置であって、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
上記色相関パラメータ推定手段により推定された個々の色相関パラメータの信頼性をその色相関パラメータ及びその色相関パラメータに対応する画像領域上の色信号値に基づいて評価し、信頼性の高い色相関パラメータだけを選抜するパラメータ選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、その画素に存在する色信号値と上記色相関パラメータ選抜手段により選抜された色相関パラメータのうち対応する画像領域がその画素を包含するものとに基づいてその画素の欠落色信号値を復元する復元手段と、
を備えることを特徴とする。
【００１２】
即ち、本発明の画像処理装置によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、パラメータ選抜手段が色相関パラメータ推定手段により推定された個々のパラメータの信頼性を評価し、信頼性の高いパラメータだけを復元手段に送る。復元手段では、入力画像の各画素において、送られてきたパラメータのうちその画素に関連するものに基づいてその画素の色信号値を復元する。
【００１３】
従って、入力画像の各画素に対し複数の画像領域が採られ、各画像領域上の色相関パラメータのうち信頼性の高いものだけが選抜されるため、信頼性の低いパラメータを用いることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の色相関パラメータから行うため、ノイズに強い復元が可能となる。
【００１４】
また、本発明による画像処理装置は、単板撮像系または二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置であって、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
各画像領域上の欠落色信号値をその画像領域に対応する色相関パラメータと各画素に存在する色信号値とから復元して復元画像領域を生成する領域復元手段と、
上記領域復元手段により生成された個々の復元画像領域に対し、その復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域を選抜する復元領域選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、上記復元領域選抜手段により選抜された復元画像領域のうちその画素を含むものに基づいてその画素の欠落色信号値を復元する画素復元手段と、
を備えることを特徴とする。
【００１５】
即ち、本発明の画像処理装置によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、推定された個々のパラメータにつき領域復元手段が対応する画像領域上の各画素における欠落色信号値を復元し、カラーの復元画像領域を生成する。この処理は各色相関パラメータと対応する画像領域上に既に存在する色信号値とに基づいて行われる。各色相関パラメータにつきこうして復元画像領域が生成されると、復元領域選抜手段は各復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域のみを選抜する。画素復元手段では、入力画像の各画素において、復元領域選抜手段により選抜された復元画像領域のうちその画素を包含するものに基づいてその画素の色信号値を復元する。
【００１６】
従って、入力画像の各画素に対して複数の画像領域が採られ、各画像領域上の欠落色信号値がその画像領域上の色相関パラメータに基づいて復元され、信頼性が高いと判断された復元結果だけが選抜されて各画素の欠落色信号値の復元に利用されるため、信頼性の低い復元結果が利用されることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の復元結果に基づいて行うため、ノイズに強い復元が可能となる。さらに、各画像領域の復元結果を直接復元の信頼性の判定に用いるため、信頼性の評価がより確実で且つ効率的な処理が可能になる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００１８】
［第１の実施の形態］
図１は、本発明の第１の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【００１９】
この電子カメラシステムは、電子カメラ１０と該電子カメラ１０にケーブル接続された処理装置本体１２とから構成されている。
【００２０】
電子カメラ１０内には、単板原色ＣＣＤ１４とＡ／Ｄコンバータ１６が配され、Ａ／Ｄコンバータ１６の出力が、本体１２内に構成された入力画像バッファ１８に供給されるように接続されている。
【００２１】
本体１２内には、該入力画像バッファ１８の他に、領域抽出部２０、領域バッファ２２、平均・分散評価部２４、フィルタ配置保持ＲＯＭ２６、パラメータ算出部２８、パラメータバッファ３０、パラメータ評価部３２、画素復元部３４、出力画像バッファ３６が配されている。ここで、入力画像バッファ１８の出力は領域抽出部２０に入力され、該領域抽出部２０の出力は領域バッファ２２に入力される。領域バッファ２２の出力は平均・分散評価部２４及び画素復元部３４に入力される。また、フィルタ配置保持ＲＯＭ２６には単板原色ＣＣＤ１４上のモザイク色の配置情報が記憶されており、このフィルタ配置保持ＲＯＭ２６の出力は、上記平均・分散評価部２４とパラメータ算出部２８に入力されるようになっている。上記平均・分散評価部２４の出力は、上記パラメータ算出部２８に入力される。該パラメータ算出部２８の出力はパラメータバッファ３０に入力され、該パラメータバッファ３０の出力はパラメータ評価部３２に入力される。該パラメータ評価部３２の出力は、上記画素復元部３４に出力される。そして、この画素復元部３４の出力は出力画像バッファ３６に入力され、該出力画像バッファ３６の出力が当該処理装置本体１２の外部へ導出されるようになっている。
【００２２】
この処理装置本体１２の外部には、例えば、ＪＰＥＧ等の画像圧縮処理を行う圧縮処理部とメモリカード等の記憶媒体とを配し、上記出力画像バッファ３６から出力されるカラーディジタル画像を圧縮して保存するのが通常である。
【００２３】
なお、この電子カメラシステムは、電子カメラ１０と処理装置本体１２とを別体構成としているが、図１に破線で示すように、電子カメラ１０と処理装置本体１２、及び図示しない圧縮処理部と記憶媒体を一つの筐体に一体化して、電子カメラ装置として構成しても良いことは勿論である。
【００２４】
次に、図１に示したような構成における動作を説明する。
【００２５】
電子カメラ１０により撮像が行われると、単板原色ＣＣＤ１４からの信号はＡ／Ｄコンバータ１６を経てディジタル化され、本体１２の入力画像バッファ１８にディジタル単板画像として転送される。同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像が各画素にＲ，Ｇ，Ｂの三種類の色信号値を有するのに対し、このディジタル単板画像は、各画素に単板原色ＣＣＤ１４の色フィルタ配置に応じて一種類の色信号値しか持たず、他の２種類の色信号値は欠落している。そこで、本体１２内ではディジタル単板画像の各画素で欠落する色信号値を推定し、同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像を復元する処理を行う。この復元処理は、入力画像バッファ１８内のディジタル単板画像の各画素に対して順次以下の処理が行わることで達成される。
【００２６】
以下の説明において、現在復元処理の対象となっている画素を注目画素と呼ぶ。また、画像のある領域において各画素におけるＳ色信号値（ＳはＲ，Ｇ，Ｂの何れか）を取り出すことにより形成される画像をその領域内のＳ色信号と呼ぶことにする。
【００２７】
まず、領域抽出部２０は、注目画素を含む５×５画素の大きさを持つ矩型領域の全てに対して、その領域内の画像を順次入力画像バッファ１８から読み出し、読み出した画像を領域バッファ２２に書き込む。全ての矩型領域内の画像の書き込みが終了すると、平均・分散評価部２４は、各矩型領域内の画像を領域バッファ２２より並列に読み出し、各画像に対して次の処理を並列に行う。
【００２８】
即ち、平均・分散評価部２４は、読み出した矩型領域の位置とフィルタ配置保持ＲＯＭ２６に記憶されている色フィルタの配置情報とから、矩型領域内でＲ色信号値が得られる画素位置を特定し、それらの画素位置における色信号値の平均値Ａr 及び分散Ｖr を計算する。Ｇ，Ｂ色信号についても同様に平均値Ａg ，Ａb 及び分散Ｖg ，Ｖb を計算する。ここで、ｒ，ｇ，ｂは色信号の種類を表す添字である。そして、分散Ｖc （ｃはｒ，ｇ，ｂの何れか）からパラメータ算出部２８で算出されるパラメータの信頼性を以下に示すような式（１）により予測する。Ｖc が式（１）を満たす場合にだけ、Ａc ，Ｖc （ｃはｒ，ｇ，ｂの何れか）をパラメータ算出部２８に転送する。式（１）とパラメータの信頼性の関係は後述する。
【００２９】
【数１】
【００３０】
ここで、ｍａｘ（ｐ，ｑ）はｐとｑの最大値、ｍｉｎ（ｐ，ｑ）はｐとｑの最小値を示す。Ｔｈ１，Ｔｈ２は適切な閾値である。
【００３１】
パラメータ算出部２８では、計算値Ａc ，Ｖc が転送されると、まず、注目画素に存在する色信号値の種類Ｓ（ＳはＲ，Ｇ，Ｂの何れか）を、フィルタ配置保持ＲＯＭ２６に記憶されている色フィルタの配置情報と矩型領域の位置とから特定する。その後、転送された平均値及び分散から、それらが算出された矩型領域内の原ＲＧＢ画像において色信号Ｓと他の色信号Ｔ（ＴはＲ，Ｇ，ＢのうちＳでないもの）の間に成り立っているはずの関係を推定する。この関係を以下色信号ＳとＴの色相関と呼ぶ。推定される色信号ＳとＴの色相関はパラメータαst，βstを含んだ次の式（２）で表わされる。
【００３２】
Ｔ＝αst×Ｓ＋βst …（２）
（ｓ，ｔはＳ，Ｔに対応した添字でｒ，ｇ，ｂの何れか）
ここで、パラメータαst，βstは色相関パラメータと呼ばれ、平均値Ａc 及び分散Ｖc から計算される。
【００３３】
ここで、原ＲＧＢ画像における色相関、及び式（２）の意味について述べる。一般に、支配的な照明光が一つであるような自然な照明環境のもとで拡散反射特性を持つ物体を撮像した場合、原ＲＧＢ画像におけるその物体表面に対応する画素ＰにおけるＣ色信号値Ｃp （ＣはＲ，Ｇ，Ｂの何れか）は、支配的な照明光の分光特性をＬ（λ）、物体表面の分光反射率をＲｅｆ（λ）、撮像素子の分光感度特性をＦc （λ）（ｃはＣに対応してｒ，ｇ，ｂの何れか）とすれば、
【数２】
【００３４】
となる。この式（３）中、ｎ（Ｐ）は照明光の向きと画素Ｐに対応する物体表面の法線の向きとで決まる量であり、Ａ（λ）は照明光と複数物体の多重反射の結果生じる周辺光の分光特性である。積分は撮像素子の分光感度が正となる波長の範囲でとる。この式（３）から、画素Ｐの近傍における色信号ＣとＣ’（Ｃ，Ｃ’はＲ，Ｇ，Ｂの何れか）の間には、α，βをパラメータとして、
Ｃ＝α×Ｃ’＋β …（４）
という線形な関係式が成り立つことがわかる。
【００３５】
また、物体が鏡面反射特性と拡散反射特性を合わせ持つ場合は、物体の広い範囲の表面に対応する領域における色信号ＣとＣ’は、図２で示される関係を持つことが知られている。図２は、その領域内の原ＲＧＢ画像の各画素についてＣ色信号値を横軸に、Ｃ’色信号値を縦軸にプロットしたもので、領域内の色信号間の関係が図示されている。以下、このようなグラフを色相関図と呼ぶ。ここで、画素Ｐのごく小さな近傍における色信号Ｃ，Ｃ’の関係はこのグラフのごく一部を取り出したものとみなせるが、これは式（４）で十分近似できる。さらに複雑な照明条件と物体の反射特性のもとでも、単一素材の物体表面に対応するごく小さな画像領域においては、色信号Ｃ，Ｃ’の関係は式（４）の直線で近似できる。これが、色相関に式（２）を用いる理由である。
【００３６】
次に、図３を用いて色相関パラメータαst，βstを計算値Ａc ，Ｖc から推定する方法について説明する。
【００３７】
図３中の右方に示す色相関図において、薄い網掛け部分は原ＲＧＢ画像における色信号３８のうち色信号ＳとＴを図示したもので、本来の２色信号の色相関を示している。しかし、矩形領域内の単板画像の色信号４０は、一画素につき一色信号値であるために、図３の斜線のハッチング部分で表され、上記薄い網掛け部分を各軸に射影したものしか得られない。そこで、本実施の形態では、本来の色相関を近似する推定近似線４２を、図３の斜線ハッチング部分から以下のように推定する。
【００３８】
まず、推定近似線４２の傾きを単板画像の各色信号の変動量の比として推定する。次に、その通過点を単板画像の各色信号の平均値により決定する。変動量として各色信号の標準偏差（分散の平方根）を用いると、推定近似線４２のパラメータαst，βstは、次の式（５）により決定される。
【００３９】
【数３】
【００４０】
なおここで、Ａs ，Ｖs ，Ａt ，Ｖt は、矩形領域内の色信号ＳとＴの平均と分散である。パラメータ算出部２８は、上記式（５）に基づいて４つの色相関パラメータαst，βst，αst’，βst’（ｔ，ｔ’はｓでない二種類の色信号）を計算し、パラメータセットとしてパラメータバッファ３０に転送する。
【００４１】
パラメータ算出部２８が転送された全てのＡc ，Ｖc に対する処理を終了すると、パラメータ評価部３２は、パラメータバッファ３０に転送されていたパラメータセットを１セットづつ読み出して、その信頼性を評価する。
【００４２】
ここで、パラメータの信頼性の重要性とその評価法について説明する。上記式（５）に基づいて算出された色相関パラメータは、矩形領域内での色信号ＳとＴの色相関に式（２）が成り立つと仮定して得られる。しかし、異なる色相を持ち、しかも表面の明るさが面の形状等により変化している２つの物体表面の境界部では、図４中の右方に示す色相関図中の三板画像の色信号３８に示されるように、色相関は複数の直線からなり、単一の直線ではうまく近似できない。以下、この部分を色エッジ領域４４と呼ぶことにし、これに対して図３に示されるような単一の直線で色相関が近似可能な部分を素材均一領域４６と呼ぶことにする。
【００４３】
色エッジ領域４４では、算出した色相関パラメータに基づいて欠落色信号を推定すると大きな推定誤差が生じるので、その色相関パラメータの使用を避ける必要がある。しかし、単板画像の色信号４０からは図４の様なグラフは得られないので近似の良否は直接わからず、その信頼性を推定する必要が生じる。本実施の形態では、平均・分散評価部２４で分散Ｖc に基づいてまず信頼性が低くなる可能性のある状況を検出し、パラメータ評価部３２において色相関パラメータ自体の値に基づきその近似精度を判断する二段階の処理を行っている。
【００４４】
一般に、色エッジ領域４４では、素材均一領域４６に比して各色信号の分散が大きくなる傾向が強い。ただし、無彩色の領域では、各色信号の分散が大きくても色信号間の直線関係は成立する。平均・分散評価部２４ではこの状況を式（１）により検出、回避し、信頼性の低い色相関パラメータがパラメータ算出部２８において算出されるのを防いでいる。また、色相関パラメータの値自体については、色エッジ領域４４でパラメータβの値が大きな絶対値を持つ確率が高い。これに対し、素材均一領域４６ではパラメータβは「０」に近い値をとる。素材均一領域４６においても、式（３）から示唆されるように周辺光と直接光の分光特性が大きく異なる場合やハイライト周辺でパラメータβは大きな値を取りうるが、このような領域は画像中で比較的わずかである。
【００４５】
そこで、パラメータ評価部３２では、各パラメータセットにおけるβstの絶対値｜βst｜を所定の閾値Ｔｈ３と比較し、閾値以下の｜βst｜を持つパラメータセットのみを信頼性が高いと評価して画素復元部３４に転送する。その結果、図５に示すように、注目画素４８を含む矩形領域内の色相関を近似するパラメータのうち色エッジ領域４４のパラメータセット５０は除かれ、素材均一領域４６のパラメータセット５２が選抜されて画素復元部３４に転送される。
【００４６】
画素復元部３４は、領域バッファ２２から注目画素に存在する色信号値Ｓp を読み出し、転送された各パラメータセットαst，βstに対し注目画素での欠落色信号値Ｔp （ＴはＲ，Ｇ，ＢのうちＳでないもの）を、次の式（６）により推定する。
【００４７】
Ｔp ＝αst×Ｓp ＋βst …（６）
これは、図５において注目画素の色信号５４から注目画素の欠落色信号５６を求める過程として図示されている。そして、各パラメータセットにより得られたＴp の平均値を計算して注目画素の欠落色信号の値とし、注目画素の３色信号値を生成する。パラメータセットが全く送られてこない場合は、画素復元部３４は、領域バッファ２２から注目画素を中心とする矩形領域を選択して読み出し、その内部における色信号Ｔの平均値を注目画素の欠落色信号値とする。最後に、注目画素の３色信号値が出力画像バッファ３６の対応する位置に書き込まれ、注目画素に対する処理が終了する。
【００４８】
ここまでの処理が各画素に対して行われる結果、出力画像バッファ３６には、色信号の欠落が補われた原ＲＧＢ画像が得られる。
【００４９】
本実施の形態では、領域抽出部２０が各画素に対して複数の矩形領域を選択し、各々の矩形領域に対してパラメータ算出部２８が色相関パラメータを算出することで注目画素の近傍における色相関パラメータの推定値を複数個得る。そして、それらの推定値の中から平均・分散評価部２４及びパラメータ評価部３２によって信頼性の高いものだけが選抜され、選抜された色相関パラメータに基づいて画素復元部３４により注目画素の欠落色信号値が補われる。そのため、従来の色相関に基づいた欠落色復元法において色エッジ領域４４の近辺で生じるアーティファクトを軽減、除去でき、より画質の高い原ＲＧＢ画像を出力画像バッファ３６に得ることができる上、素材均一領域４６においても複数の色相関パラメータの推定値を総合することでノイズに強い高画質化が可能となっている。
【００５０】
また、色相関をパラメータを２つ含んだ式（２）で表しているため、多彩な照明条件と物体表面特性を持ったシーンの欠落色復元をより正確に行うことができる。
【００５１】
色相関パラメータの推定においても、局所領域の平均値及び分散から色相関パラメータを算出するため、種々の色フィルタ配置を有する単板撮像系に対応できる柔軟性を有している。
【００５２】
また、この実施の形態には様々な変形、変更が可能である。領域抽出部２０が抽出する領域は、ある程度小さければ５×５画素のサイズの矩形領域に限らず、実装に最適な任意の形状、サイズの領域でよい。特に、後述する第２の実施の形態に示すように、抽出する領域を単板画像から算出した特徴量に基づいて決定する方式は有効である。この場合、領域抽出部２０は、各画素に関する抽出を行う前に画像全体に対する輝度等の特徴量を計算しておく。そして、各画素に関する抽出においては各画素について複数の近傍をとり、各近傍を特徴量に基づいて領域分割し、分割された個々の領域を抽出する。
【００５３】
単板原色ＣＣＤ１４の色フィルタ配置は任意のものでよく、タイプも原色系に限らない。平均・分散評価部２４が平均・分散以外に矩形領域内の各色信号の最大値、最小値を計算してパラメータ算出部２８に転送し、パラメータ算出部２８は転送された最大値、最小値に基づいて色相関パラメータを算出しても良い。この場合、パラメータαst，βstは、式（５）に替わって転送された各色信号の最大値ＭＡＸ＿ｃ及び最小値ＭＩＮ＿ｃ（ｃはｒ，ｇ，ｂの何れか）から以下の式に基づいて算出される。この方法は処理速度が速く、特に文書画像などに有効である。
【００５４】
【数４】
【００５５】
また、色相関を表す関係式（２）に別の式を使うことも可能である。例えば、式（２）でβst＝０とおいた式を用い、αstのみを式（２）に従って計算しても良い。この場合、パラメータ評価部３２は不要となり、αstを矩形領域上の色信号の平均値あるいは中間値の比として推定することで処理速度を向上させることができる。撮像される対象が限定され、色相関をパラメータ化する基本となる式（３）をより詳しく記述できる場合は、さらに高度な色相関モデルを採用してもよい。画素復元部３４における最終的な欠落色信号値算出法にも種々の変形が考えられる。各パラメータセットに対する欠落色信号値の推定値Ｔp をただ単純平均するのではなく、各パラメータの信頼性で重み付けすることも有効である。処理時間に余裕がある場合は、各パラメータセットを４次元ベクトルとみなしてクラスタリングし、最も大きいクラスタの代表値をパラメータに用いて最終的な欠落色信号値を計算することでパラメータの信頼性推定の失敗の影響を緩和する方法も考えられる。
【００５６】
平均・分散評価部２４における色相関パラメータの信頼性予測法も、式（１）以外に種々のものが考えられる。例えば、２種の色信号の分散の差をとり、差がある閾値を超えている場合は信頼性が低いと予測する方法は、高速に計算できる点では式（１）より望ましい。
【００５７】
領域抽出の仕方についても、各画素の処理につき毎回複数の領域を抽出するのではなく、単板画像に含まれる所定サイズの矩形領域に関する色相関パラメータをまず計算してパラメータバッファ３０にいれておき、各画素の欠落色復元にはその画素を含む矩形領域の色相関パラメータのうち信頼性の高いものだけを使うという処理にすることで高速化を図れる。
【００５８】
［第２の実施の形態］
図６は、本発明の第２の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。同図において、前述の第１の実施の形態と同様の部分には、図１と同じ参照番号を付してある。
【００５９】
この電子カメラシステムは、電子カメラ１０と該電子カメラ１０にケーブル接続された処理装置本体１２とから構成されている。本実施の形態においては、本体１２内には、入力画像バッファ１８、参照画像計算部５８、参照画像バッファ６０、ブロック抽出部６２、ブロック分割部６４、ブロックバッファ６６、平均・分散評価部２４ａ、フィルタ配置保持ＲＯＭ２６、パラメータ算出部２８ａ、ブロック復元部６８、アーティファクト評価部７０、線形補間部７２、積算平均部７４、出力画像バッファ３６ａが配されている。
【００６０】
ここで、入力画像バッファ１８の出力は、参照画像計算部５８，ブロック抽出部６２，及び線形補間部７２に入力される。参照画像計算部５８の出力は参照画像バッファ６０に入力され、該参照画像バッファ６０の出力はブロック分割部６４に出力される。また、ブロック抽出部６２の出力もこのブロック分割部６４に入力される。ブロック分割部６４の出力はブロックバッファ６６に入力され、該ブロックバッファ６６の出力は平均・分散評価部２４ａ及びブロック復元部６８に入力される。平均・分散評価部２４ａにはフィルタ配置保持ＲＯＭ２６の出力も入力され、該平均・分散評価部２４ａの出力はパラメータ算出部２８ａに入力される。パラメータ算出部２８ａの出力はブロック復元部６８に入力され、このブロック復元部６８には更にフィルタ配置保持ＲＯＭ２６の出力が入力される。
【００６１】
該ブロック復元部６８の出力はアーティファクト評価部７０に入力され、アーティファクト評価部７０の出力は積算平均部７４に入力される。この積算平均部７４には更に線形補間部７２及び出力画像バッファ３６ａの出力が入力され、該積算平均部７４の出力はこれら線形補間部７２及び出力画像バッファ３６ａに入力される。出力画像バッファ３６ａは、入力画像バッファ１８内の画像と同じ画素数の三色画像を保持するほか、各画素に付きカウンタを保持する。このカウンタは、バッファの各画素位置に書き込みが行われた回数を保持するために設けられている。本実施の形態では、処理中に入力画像バッファ１８の各画素位置に対応した複数の色信号の推定値を計算してそれらを出力画像バッファ３６ａに積算していき、積算値が最後に積算平均部７４で平均化されて最終的な色信号の推定値を得るという処理を行っている。この処理に書き込み回数が必要になる。
【００６２】
なお、出力画像バッファ３６ａの出力は、当該処理装置本体１２の外部へ導出され、前述の第１の実施の形態と同様に、当該処理装置本体１２の外部に、例えば、ＪＰＥＧ等の画像圧縮処理を行う圧縮処理部とメモリカード等の記憶媒体とを配し、上記出力画像バッファ３６ａから出力されるカラーディジタル画像を圧縮して保存する。また、前述の第１の実施の形態と同様に、図６に破線で示すように、電子カメラ１０と処理装置本体１２、及び図示しない圧縮処理部と記憶媒体を一つの筐体に一体化して、電子カメラ装置として構成しても良いことは勿論である。
【００６３】
次に、図６に示したような構成における動作を説明する。
【００６４】
電子カメラ１０により撮像が行われると、単板原色ＣＣＤ１４からの信号は、Ａ／Ｄコンバータ１６を経てディジタル化され本体１２の入力画像バッファ１８にディジタル単板画像として転送される。同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像が各画素にＲ，Ｇ，Ｂの三種類の色信号値を有するのに対し、このディジタル単板画像は各画素に単板原色ＣＣＤ１４の色フィルタ配置に応じて一種類の色信号値しか持たず、他の２種類の色信号値は欠落している。そこで、本体１２内ではディジタル単板画像の各画素で欠落する色信号値を推定し、同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像を復元する処理を行う。この復元処理は、入力画像バッファ１８内のディジタル単板画像に対して以下の処理が行わることで達成される。
【００６５】
電子カメラ１０から本体１２への画像の転送が終了すると、まず参照画像計算部５８が入力画像バッファ１８内のディジタル単板画像に以下に示す式（８）の係数を持つ３×３画素のローパスフィルタをかけ、結果を参照画像バッファ６０に参照画像として書き込む。
【００６６】
0.0625 0.125 0.0625
0.125 0.25 0.125 …（８）
0.0625 0.125 0.0625
このように単板画像から直接ローパスフィルタによって計算された画像は、単板画像に対応する原ＲＧＢ画像の輝度成分０．２５Ｒ＋０．５Ｇ＋０．２５Ｂの低域成分を反映するものになっている。
【００６７】
次に、出力画像バッファ３６ａ内の各画素の画素値及びカウンタが「０」に初期化され、入力画像バッファ１８内のディジタル単板画像に含まれるすべての５×５画素サイズの矩形領域に対して、次の処理が行われる。以下、画像のある領域において各画素におけるＳ色信号値（ＳはＲ，Ｇ，Ｂの何れか）を取り出すことにより形成される画像をその領域内のＳ色信号と呼ぶことにする。
【００６８】
ブロック抽出部６２によって、入力画像バッファ１８内のディジタル単板画像の左上隅からまず右方向、ついで下方向へと１画素づつ矩形領域の位置がずらされ、矩形領域内の画像が順次読み出される。ブロック抽出部６２により読み出され、処理の始まった画像を注目ブロックと呼ぶ。以下の処理は注目ブロックが色エッジ領域４４に属するか素材均一領域４６に属するかによって少し異なっており、図７が色エッジ領域４４に対する処理、図８が素材均一領域４６に対する処理を示している。
【００６９】
以下、処理の説明は主に図７に基づいて行う。注目ブロック７６は、まずブロック分割部６４に転送される。ブロック分割部６４は、参照画像バッファ６０中の参照画像から注目ブロックの矩形領域に対応する部分参照画像７８を読み出し、部分参照画像７８内の最大値ＲｅｆＭＡＸ及び最小値ＲｅｆＭＩＮを計算する。そして、部分参照画像７８から（ＲｅｆＭＡＸ＋ＲｅｆＭＩＮ）／２を閾値として画素値「１」または「０」を持つ二値化画像８０を生成する。次に注目ブロック７６を二つに分割し、二値化画像８０上で画素値「１」を持つ領域に対応するブロックＡ ８２、及び二値化画像上で画素値「０」を持つ領域に対応するブロックＢ ８４を生成する。そして、ブロックＡ ８２及びブロックＢ ８４をブロックバッファ６６に書き込む。
【００７０】
前述のように、参照画像の一部である部分参照画像７８は原ＲＧＢ画像の輝度成分に相当する。そのため、部分参照画像７８の二値化画像８０には原ＲＧＢ画像のエッジ構造が反映され、ブロックＡ ８２，ブロックＢ ８４がエッジの左右の領域に対応する。第１の実施の形態の説明において使用した図４に示した色エッジ領域４４では、エッジの左右は素材均一領域４６で、原ＲＧＢ画像の色信号３８に含まれる直線部分に対応する。そのため、注目ブロックが色エッジ領域４４に属していてブロック内の色相関パラメータが正しく推定できない場合でも、ブロックＡ ８２，ブロックＢ ８４内では色相関が直線で近似でき、色相関パラメータが正しく求められる確率が高い。
【００７１】
ブロックバッファ６６に２つの画像が書き込まれると、平均・分散評価部２４ａはフィルタ配置保持ＲＯＭ２６に記憶されている色フィルタの配置情報を読み出し、ブロックＡ ８２，ブロックＢ ８４各々において色信号Ｒ，Ｇ，Ｂがそれぞれ得られる位置を特定する。そして、ブロックＡ ８２，Ｂ ８４各々についてその内部で得られる色信号Ｃの個数Ｎc （Ａ），Ｎc （Ｂ）、平均値Ａc （Ａ），Ａc （Ｂ）、及び分散Ｖc （Ａ），Ｖc （Ｂ）（ＣはＲ，Ｇ，Ｂの何れか。ｃはｒ，ｇ，ｂの何れかで色信号Ｃの種類を表す添字である）を計算する。さらに、これらの値からブロックＡ ８２，ブロックＢ ８４を合成（Merge ）した注目ブロック７６全体についての平均値Ａc （Ｍ）及び分散Ｖc （Ｍ）を次の式（９）により計算する。
【００７２】
【数５】
【００７３】
そして、これらの平均値及び分散をパラメータ算出部２８ａに転送する。以下、括弧内の文字がＭの場合、その量がブロックＡ ８２とＢ ８４が合成された注目ブロック全体に関する量であることを示し、また文字がＡないしＢを表わす場合はその量が対応するブロックに関する量であることを示す。
【００７４】
パラメータ算出部２８ａでは、転送された平均値及び分散から注目ブロック７６,ブロックＡ ８２及びブロックＢ ８４内の色相関パラメータを算出する。 各ブロックＡ ８２,Ｂ ８４及び注目ブロック７６全体において、第１の実施 の形態における式（２）と同様に、色信号ＳとＴの間に次の式（１０）を仮定する。
【００７５】
Ｔ=αst（Ｘ）×Ｓ＋βst（Ｘ） …（１０）
そして、式（５）と同様に色相関パラメータを次の式（１１）により計算する。なおこの式（１０），（１１）において、Ｓ，ＴはＲ，Ｇ，Ｂの何れかで互いに異なる。また、ｓ，ｔはそれぞれＳ，Ｔに対応した添字であり、ＸはＡ，Ｂ，Ｍの何れかである。
【００７６】
【数６】
【００７７】
そして、パラメータ算出部２８ａはブロックＡ ８２及びブロックＢ ８４の色相関パラメータを比較し、全ての色信号の組み合わせについてそれらの差がある閾値を越えない場合、色相関パラメータαst（Ｍ），βst（Ｍ）をブロック復元部６８に転送する。そうでない場合、ブロックにおける色信号の個数の総和Ｎr （Ｘ）＋Ｎg （Ｘ）＋Ｎb （Ｘ）が多い方のブロックＸ（ＸはＡ，Ｂの何れか）に関する色相関パラメータαst（Ｘ），βst（Ｘ）をブロック復元部６８に転送する。
【００７８】
ここで、図７及び図８を参照して、パラメータ算出部２８ａから転送される色相関パラメータについて説明する。注目ブロックが図７の注目ブロック７６のように色エッジ領域４４に属する場合は、輝度成分である部分参照画像７８に基づいてブロック分割を行うことで分割後のブロックの色相関パラメータの信頼性は向上する。しかし、注目ブロックが図８の注目ブロック８６ように素材均一領域４６に属する場合には、注目ブロック全体に対する色相関パラメータが既に高い信頼性をもって算出可能である。逆に、部分参照画像８８でブロックが分割されると、ブロックＡ ９０，ブロックＢ ９２では画素数が少ないため、色相関パラメータの信頼性はかえって低下する。そこで、パラメータ算出部２８ａは、分割後のブロックの色相関パラメータを比較し、類似している場合は注目ブロック全体に関する色相関パラメータを改めて算出する。
【００７９】
ブロック復元部６８では、転送された色相関パラメータαst,βstの種類に応 じて以下の処理を行う。転送された色相関パラメータがαst（Ｍ），βst（Ｍ）の場合、ブロックバッファ６６から２つのブロックを共に読み出す。一方、色相関パラメータが何れかのブロックに関するものであれば、ブロックバッファ６６から該当するブロックを読み出す。そして、読み出した画像の各画素について、その画素に存在する色信号値の種類Ｓ（ＳはＲ，Ｇ，Ｂの何れか）をフィルタ配置保持ＲＯＭ２６に格納されている色フィルタ配置情報から特定し、その色信号値Ｓp と転送された色相関パラメータから欠落している色信号値Ｔp （ＴはＳと異なる種類）を第１の実施の形態と同様に式（６）から求める。そして、転送された色相関パラメータに関連するブロック内の全ての色信号の欠落を補って各画素に３色信号値が存在するカラーの復元ブロックを生成する。転送された色相関パラメータがαst（Ｍ），βst（Ｍ）の場合は注目ブロック８６全体の色信号の欠落が復元された復元ブロック９４が、その他の場合はブロックＡ ８２，ブロックＢ ８４の何れかに対する復元ブロック９６が生成されることになる。復元ブロックはアーティファクト評価部７０に転送され、復元結果にアーティファクトが含まれているかどうか判断される。
【００８０】
色エッジ領域４４において発生するアーティファクトは、特定の種類の色フィルタが存在する画素位置においてその色信号値が周囲の色信号値と大きく異なる値を示すというものである。アーティファクト評価部７０は、復元ブロックに含まれるこのアーティファクトを以下のように検出、評価する。
【００８１】
検出は各色信号Ｓ（ＳはＲ，Ｇ，Ｂの何れか）について行われる。まず、復元ブロックの各画素Ｐについて、その３×３画素近傍内の色信号値と画素Ｐの色信号値Ｓp を比較し、色信号値Ｓp が近傍内の最大又は最小となるかどうかを調べる。次に、最大又は最小となっている場合は、３×３画素近傍内の色信号の平均値Ａp s 及び標準偏差σp s （ｓはＳに対応する添字）を計算し、画素Ｐの値が所定の定数ｋに対して次の式（１２）を満足するかどうか調べる。
【００８２】
Ｓp ＜Ａp s −ｋ×σp s 又はＳp ＞Ａp s ＋ｋ×σp s …（１２）
式（１２）が満足された画素はアーティファクト発生画素と判断する。すべての色信号をこのように調査した後、検出したアーティファクト発生画素の総数が所定の閾値を下回っている場合は、復元ブロックにアーティファクトが含まれていないと判断し、復元ブロックを積算平均部７４に転送する。そうでない場合、復元ブロックにアーティファクトが含まれているとみなし、転送は行わない。
【００８３】
積算平均部７４は、アーティファクト評価部７０から復元ブロックが転送された場合にのみ、以下の処理を行う。
【００８４】
まず、ブロック復元部６８から復元ブロックを読み出す。そして、復元ブロックの各画素Ｐにおいて、出力画像バッファ３６ａ内の画素Ｐに対応する位置の積算値に復元ブロック９６の画素Ｐにおける色信号値を足し込む。そして、出力画像バッファ３６ａ内の画素Ｐに対応するカウンタを「１」増やす。
【００８５】
入力画像バッファ１８内のディジタル単板画像に含まれるすべての５×５画素サイズの矩形領域に対し以上の処理が行われた後、積算平均部７４は、出力画像バッファ３６ａ内の各画素Ｐの積算値及びカウンタを読み出して以下の処理を行う。
【００８６】
まず、カウンタが「０」の場合、線形補間部７２に画素Ｐの位置を知らせる。線形補間部７２は画素Pを中心とする３×３画素領域を入力画像バッファ１８よ り読み出し、画素Ｐに存在する色信号はそのまま用い、欠落している色信号値は近傍内の同種色信号値の平均値により補って、画素の３色信号値を生成する。そして、その３色信号値を積算平均部７４に転送する。積算平均部７４は、転送された復元値を出力画像バッファ３６ａに書き込む。カウンタが「０」でない場合、積算平均部７４は積算値をカウンタで割って処理中に得られた複数の復元値の平均値を得、この値を出力画像バッファ３６ａに書き込む。ここまでの処理が終了すると、出力画像バッファ３６ａに色信号の欠落が補われた原ＲＧＢ画像が得られる。
【００８７】
本実施の形態では、入力画像バッファ１８中のディジタル単板画像からブロック抽出部６２が矩形領域をずらしつつ読み出し、ブロック分割部６４が参照画像計算部５８により単板画像から計算された参照画像に基づいてブロックを素材均一領域４６に分割する結果、分割したブロックについてパラメータ算出部２８ａが信頼性の高い色相関パラメータを算出できる。そして、ブロック復元部６８が色相関パラメータに基づいてブロックの欠落色信号を全て復元して復元ブロックを生成し、積算平均部７４がアーティファクト評価部７０の評価に基づいてアーティファクトの含まれない復元ブロックのみを出力画像バッファ３６ａに積算していくことで、出力画像バッファ３６ａの各画素においてその画素を包含する複数の素材均一領域４６に関する色相関パラメータを用いた欠落復元値が得られ、それらを総合して最終的に計算された欠落復元値が積算、平均化されて出力画像バッファ３６ａに出力されることで、従来の色相関に基づいた欠落色復元法において色エッジ部の近辺で生じるアーティファクトを軽減、除去でき、より画質の高い原ＲＧＢ画像を出力画像バッファ３６ａに得ることができる。また、これら第１の実施の形態におけるものと同じ画質向上効果の他に、領域分割を行うことで色相関パラメータを算出する領域の形状が可変になるため、色相関パラメータがより正しく計算され複雑なシーンに対する画質向上を実現しやすいという効果がある。さらに、復元ブロックのアーティファクトを直接評価することでより確実なアーティファクト除去が行えるという効果も有する。
【００８８】
また、この実施の形態には前述の第１の実施の形態同様に様々な変形、変更が可能である。ブロック抽出部６２が抽出するブロックの大きさ、単板原色ＣＣＤ１４の色フィルタ配列やパラメータ算出部２８ａにおける算出法は第１の実施の形態中に記載された変形が全て可能である。また、第１の実施の形態と同様に平均・分散評価部２４ａにおいて色相関パラメータを算出する以前にその信頼性を予測し、信頼性が低い場合はそれ以降の処理を行わないようにすることもできる。
【００８９】
参照画像計算部５８により計算される参照画像は、その画素値の違いが原ＲＧＢ画像における色相関パラメータの違いを反映するものであればよく、例えば参照画像計算部５８が単板画像を線形補間した後色差成分を算出して参照画像としても良い。アーティファクト評価部７０におけるアーティファクト評価法も、周囲の画素より特別異なった色信号値を持つ画素を検出するものであれば任意である。例えばエッジ検出フィルタを復元ブロックにかけ、その出力結果のパターンから判断しても良い。
【００９０】
ブロック分割部における領域分割法も、二値化に限らず種々のラベリング手法が適用できることはもちろんである。分割された領域上で色相関パラメータが高い信頼性をもって推定できるように領域分割に制限を設けると偽色の抑圧に一層効果的である。
【００９１】
［第３の実施の形態］
図９は、本発明の第３の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。同図において、前述の第１及び第２の実施の形態と同様の部分には、図１及び図６と同じ参照番号を付してある。
【００９２】
この電子カメラシステムは、電子カメラ１０と該電子カメラ１０にケーブル接続された処理装置本体１２とから構成されている。本実施の形態においては、電子カメラ１０は二板式撮像系を持ち、その内部では、全画素にＧフィルタを配したＧＣＣＤ １４1 及びＲフィルタとＢフィルタを画素毎に市松状に配したＲ／Ｂ市松ＣＣＤ １４2 の出力がＡ／Ｄコンバータ１６を介して、ケーブル接続された処理装置本体１２内の入力画像バッファ１８に入力されるように構成されている。一方、処理装置本体１２内には、ブロック抽出部６２、ブロックバッファ６６、平均・分散評価部２４ｂ、パラメータ算出部２８ｂ、パラメータ評価部３２ｂ、ブロック復元部６８ｂ、積算平均部７４、線形補間部７２、出力画像バッファ３６ａが配されている。
【００９３】
ここで、入力画像バッファ１８の出力は、ブロック抽出部６２と線形補間部７２に入力される。ブロック抽出部６２の出力はブロックバッファ６６に入力され、該ブロックバッファ６６の出力は平均・分散評価部２４ｂ、パラメータ評価部３２ｂ、及びブロック復元部６８ｂに入力される。平均・分散評価部２４ｂの出力はパラメータ算出部２８ｂに入力され、該パラメータ算出部２８ｂの出力はパラメータ評価部３２ｂに入力される。パラメータ評価部３２ｂの出力はブロック復元部６８ｂに入力され、該ブロック復元部６８ｂの出力は積算平均部７４に入力される。
【００９４】
この積算平均部７４には更に線形補間部７２及び出力画像バッファ３６ａの出力が入力され、該積算平均部７４の出力はこれら線形補間部７２及び出力画像バッファ３６ａに入力される。出力画像バッファ３６ａは、入力画像バッファ１８内の画像と同じ画素数の三色画像を保持するほか、各画素にカウンタを保持する。このカウンタは、バッファの各画素位置に書き込みが行われた回数を保持するために設けられている。本実施の形態では、処理中に入力画像バッファ１８の各画素に対応した複数の色信号推定値を計算し、それらを出力画像バッファ３６ａに積算していき、積算値が最後に積算平均部７４で平均化されることで最終的な色信号推定値が得られるという処理を行っている。この処理に書き込み回数が必要になる。
【００９５】
なお、出力画像バッファ３６ａの出力は、当該処理装置本体１２の外部へ導出され、前述の第１の実施の形態と同様に、当該処理装置本体１２の外部に、例えば、ＪＰＥＧ等の画像圧縮処理を行う圧縮処理部とメモリカード等の記憶媒体とを配し、上記出力画像バッファ３６ａから出力されるカラーディジタル画像を圧縮して保存する。また、前述の第１の実施の形態と同様に、図９に破線で示すように、電子カメラ１０と処理装置本体１２、及び図示しない圧縮処理部と記憶媒体を一つの筐体に一体化して、電子カメラ装置として構成しても良いことは勿論である。
【００９６】
次に、図９に示したような構成における動作を説明する。
【００９７】
電子カメラ１０により撮像が行われると、ＧＣＣＤ １４1 及びＲ／Ｂ市松ＣＣＤ １４2 からの信号がＡ／Ｄコンバータ１６を経てディジタル化され、本体１２の入力画像バッファ１８にディジタル二板画像として転送される。同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像が各画素にＲ，Ｇ，Ｂの三種類の色信号値を有するのに対し、このディジタル二板画像は各画素にＲ／Ｂ市松ＣＣＤ １４2 の色フィルタ配置に応じてＧとＲ、ないしはＧとＢの２種類の色信号値しか持たず、他の１種類の色信号値は欠落している。そこで、本体１２内では入力画像バッファ１８内のディジタル画像の各画素で欠落する色信号値を推定し、同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像を復元する処理を行う。この復元処理は、入力画像バッファ１８内のディジタル二板画像に対して順次以下の処理が行わることで達成される。
【００９８】
即ち、電子カメラ１０から本体１２への画像の転送が終了すると、まず出力画像バッファ３６ａ内の各画素の画素値及びカウンタが「０」に初期化され、入力画像バッファ１８内のディジタル二板画像に含まれるすべての５×５画素サイズの矩形領域に対して、以下の処理が行われる。以下、画像のある領域において各画素におけるＳ色信号値（ＳはＲ，Ｇ、Ｂの何れか）を取り出すことにより形成される画像をその領域内のＳ色信号と呼ぶことにする。
【００９９】
ブロック抽出部６２によって、入力画像バッファ１８内のディジタル画像の左上隅からまず右方向、ついで下方向へと１画素づつ矩形領域の位置がずらされ、矩形領域内の画像が順次読み出される。ブロック抽出部６２により読み出され、処理の始まった画像を注目ブロックと呼ぶ。読み出された注目ブロックは、ブロックバッファ６６に転送される。
【０１００】
すると、平均・分散評価部２４ｂは、ブロックバッファ６６から注目ブロックを読み出し、全画素に存在するＧ色信号の平均値Ａg 及び分散Ｖg を計算する。次に、注目ブロックの各画素において存在する色信号値の種類（Ｒ,Ｂの何れか ）をＲ／Ｂ市松ＣＣＤ １４2 の色フィルタ配置の規則性を利用して計算する。そして、注目ブロック内のＲ色信号の平均値Ａr と分散Ｖr 、及びＢ色信号の平均値Ａb と分散Ｖb を算出する。（ｒ，ｇ，ｂは色信号の種類を表す添字である）そして、平均値Ａc 及び分散Ｖc （ｃはｒ，ｇ，ｂの何れか）をパラメータ算出部２８ｂに転送する。
【０１０１】
パラメータ算出部２８ｂでは、転送された平均値Ａc 及び分散Ｖc に基づいて以下の処理を行う。まず、Ｇ色信号の分散Ｖg を所定の閾値と比較し、閾値以上の場合は色相関パラメータαgr，βgr及びαgb，βgbを前述の第１の実施の形態で説明した上記式（５）により計算する。一方、Ｖg が閾値以下の場合は、色相関パラメータαbr，βbr及びαrb，βrbを同じく上記式（５）により計算する。そして、計算した色相関パラメータをパラメータ評価部３２ｂに転送する。
【０１０２】
パラメータ評価部３２ｂでは、転送されたパラメータの信頼性を以下のように評価する。まず、転送されたパラメータがαgr，βgr及びαgb，βgbである場合、ブロックバッファ６６から注目ブロックを読み出す。そして、注目ブロックの各画素Ｐにおいて、Ｒ／Ｂ市松ＣＣＤ １４2 の色フィルタ配置の規則性を利用して画素Ｐに存在するＧ以外の色信号Ｔ（ＴはＲ，Ｂの何れか）を特定し、その色信号値Ｔp とＧ色信号値Ｇp 、及び色相関パラメータαgt，βgt（ｔはＴに対応してｒ，ｂの何れか）から色相関パラメータによる色信号推定値と実際の色信号値の推定誤差
ｅp ＝Ｔp −（αgt×Ｇp ＋βgt） …（１３）
を計算する。次に、注目ブロック内の全画素における誤差の絶対値の総和を計算し、総和が所定の閾値を超えていない場合は、色相関パラメータαgr，βgr及びαgb，βgbの信頼性は高いと判断して、ブロック復元部６８ｂに色相関パラメータαgr，βgr及びαgb，βgbを転送する。
【０１０３】
図１０は、色エッジ領域４４においてＲ色信号の得られる画素ｐを例に、誤差ｅp の意味を図示している。二板撮像系においては各画素に２種類の色信号が得られるため、図１０中に二板画像の色信号９８として示されているように色相関図を部分的に図示することが可能である。誤差ｅp は、色相関パラメータαgr，βgrにより表される推定近似線４２に基づいてＧ色信号値１００から推定されるＲ色信号推定値１０２と、実際のＲ色信号値１０４との差を表し、色相関を推定近似線４２で近似する信頼性が悪いほど大きくなる。
【０１０４】
一方、転送された色相関パラメータがαbr，βbr及びαrb，βrbである場合、パラメータβbrの絶対値｜βbr｜及びβrbの絶対値｜βrb｜が所定の閾値を越えないかどうか調べ、いずれも越えていない場合は、色相関パラメータαbr，βbr及びαrb，βrbの信頼性は高いと判断して、ブロック復元部６８ｂに色相関パラメータαbr，βbr及びαrb，βrbを転送する。
【０１０５】
ブロック復元部６８ｂは、パラメータ評価部３２ｂから色相関パラメータが転送された場合は、ブロックバッファ６６から注目ブロックを読み出し、注目ブロックの各画素ｐで欠落する色信号の種類Ｔ（ＴはＲ，Ｂの何れか）をＲ／Ｂ市松ＣＣＤ １４2 の色フィルタ配列の規則性に基づいて特定する。そして、転送されたパラメータがαgr，βgr及びαgb，βgbである場合、注目ブロック内の各画素ＰのＧ色信号値Ｇp から、各画素で欠落する色信号値Ｔp を以下の式により推定する。
【０１０６】
Ｔp ＝αgt×Ｇp ＋βgt …（１４）
また、パラメータ評価部３２ｂから色相関パラメータαbr，βbr及びαrb，βrbが転送された場合には、注目ブロック内の各画素ＰにＧ色信号以外に存在する色信号値Ｓp （ＳはＲ，ＢのうちＴでないもの）から、各画素で欠落する色信号値Ｔp を以下の式により推定する。
【０１０７】
Ｔp ＝αst×Ｓp ＋βst …（１５）
そして、いずれの場合も各画素に３色信号値を持つ復元ブロックを生成する。こうして生成された復元ブロックは、積算平均部７４に転送される。一方、パラメータ評価部３２ｂから色相関パラメータが転送されない場合は、復元ブロックの生成も転送も行わない。
【０１０８】
積算平均部７４は、ブロック復元部６８ｂから復元ブロックが転送された場合にのみ、復元ブロックの各画素Ｐに対し、出力画像バッファ３６ａ内の画素Ｐに対応する位置の積算値に復元ブロックの画素Ｐにおける色信号値を足し込む。そして、出力画像バッファ３６ａ内の画素Ｐに対応するカウンタを「１」増やす。
【０１０９】
入力画像バッファ１８内のディジタル二板画像に含まれるすべての５×５画素サイズの矩形領域に対し以上の処理が行われた後、積算平均部７４は出力画像バッファ３６ａ内の各画素Ｐの積算値及びカウンタを読み出して以下の処理を行う。
【０１１０】
まず、カウンタが「０」の場合、線形補間部７２に画素Ｐの位置を知らせる。線形補間部７２は、画素Ｐを中心とする３×３画素領域を入力画像バッファ１８より読み出し、画素Ｐに存在する色信号値はそのまま用い、欠落している色信号値は近傍内の同種の色信号値の平均値により補って、画素の３色信号値を生成する。そして、その３色信号値を積算平均部７４に転送する。積算平均部７４は転送された復元値を出力画像バッファ３６ａに書き込む。カウンタが「０」でない場合、積算平均部７４は積算値をカウンタで割って処理中に得られた複数の復元値の平均値を得、この値を出力画像バッファ３６ａに書き込む。
【０１１１】
ここまでの処理が終了すると、出力画像バッファ３６ａに色信号の欠落が補われた原ＲＧＢ画像が得られる。
【０１１２】
以上のように、本実施の形態では、入力画像バッファ１８中のディジタル二板画像からブロック抽出部６２が矩形領域をずらしつつ読み出し、パラメータ算出部２８ｂが色相関パラメータを算出する。次に、パラメータ評価部３２ｂが二板画像の各画素に存在する二種類の色信号値から色信号の復元誤差を計算することで色相関パラメータの信頼性を判断し、信頼性の高いパラメータだけをブロック復元部６８ｂに転送する。そして、ブロック復元部６８ｂが色相関パラメータに基づいてブロックの欠落色信号を全て復元して復元ブロックを生成し、積算平均部７４が復元ブロックを出力画像バッファ３６ａに積算していくことで、出力画像バッファ３６ａの各画素において信頼性の高い色相関パラメータのみに基づいて計算された複数の欠落復元値の積算値が得られる。最終的にそれらの平均値が出力画像バッファ３６ａに出力されることで、前述の第１の実施の形態と同じく色エッジ部の近辺で生じるアーティファクトが少なく画質の高い原ＲＧＢ画像を出力画像バッファ３６ａに得ることができる。本実施の形態では、入力画像が二板画像であることを利用して色相関パラメータの信頼性を確実に評価することで、第１の実施の形態における場合よりさらに効果的にアーティファクトの発生を抑えることが可能になっている。また、Ｇ色信号の局所的な分散に応じて各画素で得られる二種類の色信号のどちらを欠落色復元に用いるかを切り替えることにより、Ｇ信号が小さくＧ信号のみからの復元ではノイズの影響を受けやすい場合にも良好な復元結果を維持することができる。
【０１１３】
なお、この実施の形態には第１の実施の形態同様に様々な変形、変更が可能である。ブロック抽出部６２により抽出されるブロックの大きさ、Ｒ／Ｂ市松ＣＣＤ １４2 の色フィルタ配列やパラメータ算出部２８ｂにおける算出法は第１の実施の形態中に記載された変形が全て可能である。
【０１１４】
例えば、平均・分散評価部２４ｂにおいて平均、分散の値に基づいて色相関パラメータの信頼性を予測し、信頼性が低い場合はそれ以降の処理を行わないようにすることも、第１の実施の形態同様に可能である。また、二板撮像系の場合は注目ブロック内の色相関図を構成することが可能なため、色相関パラメータの信頼性の計算法にも種々の方法が考えられる。例えば、色相関図に２本の直線を当てはめ、単一の直線を当てはめた場合より当てはめ誤差が少ない場合は色相関パラメータの信頼性が低いと判断することもできる。さらに、第２の実施の形態のように領域分割を行ってパラメータの信頼性を上げることも容易となる。この場合、平均・分散評価部２４ｂが色相関図からHough 変換などの直線抽出手法を用いて直線を抽出し、最も当てはまりの良い直線部に対応する領域を以下の処理対象とすればよい。もっと簡単な領域分割法としては、パラメータ評価部３２ｂで注目ブロック内の各画素Ｐにおいて算出される推定誤差ｅp の符号に応じて注目ブロックを２つの部分ブロックに分割してブロックバッファ６６に書き戻し、各部分ブロックで改めてパラメータ算出部２８ｂによりパラメータ算出を行って信頼性の高い部分ブロックを以後の処理に用いるものが挙げられる。また、第２の実施の形態と同様に特徴量に基づいて領域分割を行う場合でも、特徴量として全画素に存在するＧ成分を用いればより正確な欠落色復元が可能になる。
【０１１５】
積算平均部７４やブロック復元部６８ｂにおける処理法にも種々の変形が可能である。もともとＧ色信号は欠落なく得られているので、Ｇ色信号についての積算は行なわなくてもよい。また、パラメータ評価部３２ｂではＲとＧの色相関パラメータ、ＢとＧの色相関パラメータの信頼性評価を一括して行っているが、それぞれ別々に誤差評価をし、ブロック復元部６８ｂへの色相関パラメータの転送も独立して行えば、ＲとＧの色相関が直線で近似できるがＢとＧの色相関は近似できない等のケースでもＢ色信号の欠落復元が可能になる。
【０１１６】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能である。ここで、本発明の要旨をまとめると以下のようになる。
【０１１７】
（１） 単板撮像系又は二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置において、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
上記色相関パラメータ推定手段により推定された個々の色相関パラメータの信頼性をその色相関パラメータ及びその色相関パラメータに対応する画像領域上の色信号値に基づいて評価し、信頼性の高い色相関パラメータだけを選抜するパラメータ選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、その画素に存在する色信号値と上記色相関パラメータ選抜手段により選抜された色相関パラメータのうち対応する画像領域がその画素を包含するものとに基づいてその画素の欠落色信号値を復元する復元手段と、
を具備することを特徴とする画像処理装置。
【０１１８】
この構成は、図１乃至図５に示される第１の実施の形態、並びに図９及び図１０に示される第３の実施の形態の二つが対応する。即ち、領域抽出手段は、第１の実施の形態では領域抽出部２０に対応し、第３の実施の形態ではブロック抽出部６２に対応する。色相関パラメータ推定手段は、平均・分散評価部２４，２４ｂ及びパラメータ算出部２８，２８ｂに対応する。パラメータ選抜手段は、パラメータ評価部３２，３２ｂに対応する。復元手段は、第１の実施の形態では画素復元部３４に対応し、第３の実施の形態ではブロック復元部６８ｂ及び積算平均部７４に対応する。
【０１１９】
上記のような構成によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、パラメータ選抜手段が色相関パラメータ推定手段により推定された個々のパラメータの信頼性を評価し、信頼性の高いパラメータだけを復元手段に送る。復元手段では、入力画像の各画素において、送られてきたパラメータのうちその画素に関連するものに基づいてその画素の色信号値を復元する。
【０１２０】
従って、入力画像の各画素に対し複数の画像領域が採られ、各画像領域上の色相関パラメータのうち信頼性の高いものだけが選抜されるため、信頼性の低いパラメータを用いることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の色相関パラメータから行うため、ノイズに強い復元が可能となる。
【０１２１】
（２） 単板撮像系又は二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置において、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
各画像領域上の欠落色信号値をその画像領域に対応する色相関パラメータと各画素に存在する色信号値とから復元して復元画像領域を生成する領域復元手段と、
上記領域復元手段により生成された個々の復元画像領域に対し、その復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域を選抜する復元領域選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、上記復元領域選抜手段により選抜された復元画像領域のうちその画素を含むものに基づいてその画素の欠落色信号値を復元する画素復元手段と、
を具備することを特徴とする画像処理装置。
【０１２２】
この構成は、図６乃至図８に示される第２の実施の形態が対応する。即ち、領域抽出手段は、参照画像計算部５８、参照画像バッファ６０、ブロック抽出部６２及びブロック分割部６４に対応する。色相関パラメータ推定手段は、平均・分散評価部２４ａ及びパラメータ算出部２８ａに対応する。領域復元手段はブロック復元部６８に対応し、復元領域選抜手段はアーティファクト評価部７０に対応する。そして、画素復元手段は、積算平均部７４に対応する。
【０１２３】
上記のような構成によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、推定された個々のパラメータにつき領域復元手段が対応する画像領域上の各画素における欠落色信号値を復元し、カラーの復元画像領域を生成する。この処理は各色相関パラメータと対応する画像領域上に既に存在する色信号値とに基づいて行われる。各色相関パラメータにつきこうして復元画像領域が生成されると、復元領域選抜手段は各復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域のみを選抜する。画素復元手段では、入力画像の各画素において、復元領域選抜手段により選抜された復元画像領域のうちその画素を包含するものに基づいてその画素の色信号値を復元する。
【０１２４】
従って、入力画像の各画素に対して複数の画像領域が採られ、各画像領域上の欠落色信号値がその画像領域上の色相関パラメータに基づいて復元され、信頼性が高いと判断された復元結果だけが選抜されて各画素の欠落色信号値の復元に利用されるため、信頼性の低い復元結果が利用されることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の復元結果に基づいて行うため、ノイズに強い復元が可能となる。さらに、各画像領域の復元結果を直接復元の信頼性の判定に用いるため、信頼性の評価がより確実で且つ効率的な処理が可能になる。
【０１２５】
（３） 上記領域抽出手段は、
上記ディジタル画像の各画素において色相関パラメータに関連する所定の特徴量をその画素の近傍に存在する色信号値に基づいて計算する特徴量算出手段と、上記特徴量算出手段により算出された特徴量に基づいて上記ディジタル画像の各画素の近傍を複数の画像領域に分割する分割手段とを有し、
分割された各画像領域を抽出することを特徴とする上記（１）又は（２）に記載の画像処理装置。
【０１２６】
この構成は、図１乃至図５に示される第１の実施の形態、並びに図９及び図１０に示される第３の実施の形態にも対応するが、主として図６乃至図８に示される第２の実施の形態に対応する。即ち、第２の実施の形態においては、領域抽出手段が参照画像計算部５８、参照画像バッファ６０、ブロック抽出部６２及びブロック分割部６４に対応し、そうのち特徴量算出手段が参照画像計算部５８に対応し、分割手段がブロック分割部６４に対応する。第１の形態においては、領域抽出手段、特徴量算出手段、及び分割手段はいずれも領域抽出部２０に対応する。第３の形態においては、領域抽出手段、特徴量算出手段、分割手段はいずれもブロック抽出部６２に対応する。
【０１２７】
上記のような構成によれば、領域抽出手段において、特徴量算出手段が入力画像の各画素でその画素における色相関を表す色相関パラメータに関連する特徴量を計算する。そして、分割手段が各画素の近傍を特徴量に基づいて領域分割し、分割後の各部分領域がその画素に関連する画像領域として抽出される。
【０１２８】
従って、画像領域の抽出に際し、入力画像から各画素近傍の色相関パラメータに関連の深い特徴量を算出し、その特徴量に基づいて抽出する画像領域を決定するため、抽出された各画像領域上の色相関パラメータが予め信頼性の高いものになり、アーティファクトの発生をより確実に抑えることができる。
【０１２９】
即ち、上記構成では、輝度などの入力画像から計算できる特徴を利用して、色相関に関して設けた仮定が成立する可能性の高い領域だけを積極的に取り出し、その領域の情報を用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元方法を提供することができる。
【０１３０】
（４） 上記色相関パラメータ推定手段は、色相関パラメータの推定に先立って、その色相関パラメータに対応する画像領域上に存在する色信号値に基づいてその色相関パラメータの信頼性を予測する信頼性予測手段を有し、その信頼性が高いと判断された場合にのみ色相関パラメータの推定を行うことを特徴とする上記（１）乃至（３）の何れかに記載の画像処理装置。
【０１３１】
この構成は、図６乃至図８に示される第２の実施の形態、並びに図９及び図１０に示される第３の実施の形態にも対応するが、主として図１乃至図５に示される第１の実施の形態に対応する。即ち、信頼性予測手段は、平均・分散評価部２４が対応する。
【０１３２】
上記のような構成によれば、色相関パラメータ推定手段におけるパラメータ推定において、信頼性予測手段が対象とする画像領域上の色信号値から色相関パラメータの信頼性を予測し、信頼性が低いと予測された場合は色相関パラメータの算出を行わないようにする。高いと予測された場合は推定を行う。
【０１３３】
従って、明らかに信頼性の低い色相関パラメータの算出が防げるのでアーティファクトの発生がより確実に抑えられ、処理速度も向上する。
【０１３４】
（５） 上記特徴量算出手段は、上記ディジタル画像の各画素の近傍における平均的な輝度値ないしは色相を計算して特徴量とすることを特徴とする上記（３）に記載の画像処理装置。
【０１３５】
この構成は、図６乃至図８に示される第２の実施の形態が対応する。即ち、特徴量算出手段は、参照画像計算部５８に対応する。
【０１３６】
上記のような構成によれば、特徴量算出手段が入力画像の各画素でその画素における色相関を表す色相関パラメータに関連する特徴量として各画素の近傍における平均的な輝度値ないしは色相を計算する。
【０１３７】
従って、各画素の近傍で安定的に計算でき、かつモアレの影響が少ない量である輝度値を用いることで、分割手段により分割される個々の領域に対する色相関パラメータの信頼性が向上する。また、輝度値が等しく色だけが違っているエッジ部などでは輝度値に変わって色相を特徴量とすることで同じく分割手段により分割される個々の領域に対する色相関パラメータの信頼性が向上する。
【０１３８】
即ち、上記構成では、輝度などの入力画像から計算できる特徴を利用して、色相関に関して設けた仮定が成立する可能性の高い領域だけを積極的に取り出し、その領域の情報を用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元方法を提供することができる。
【０１３９】
（６） 上記ディジタル画像は二板撮像系により得られたものであり、
上記パラメータ選抜手段は、上記色相関パラメータ推定手段により推定された色相関パラメータを用いて、その色相関パラメータに対応する画像領域上の各画素で既に存在する二種の色信号値の一方から他方を推定した場合の推定値と実際の色信号値との推定誤差を算出し、推定誤差に基づいてその色相関パラメータの信頼性を評価することを特徴とする上記（１）に記載の画像処理装置。
【０１４０】
この構成は、図９及び１０に示される第３の実施の形態が対応する。
【０１４１】
上記のような構成によれば、二板撮像系により得られた画像が入力された場合、入力画像の各画素に二種類の色信号値が得られる。パラメータ選抜手段は、色相関パラメータの信頼性の評価にあたり、まずその色相関パラメータを使って対応する画像領域の各画素に存在する色信号値の推定値を計算する。その際、各画素に存在する二種類の色信号値のうち、一方の色信号値から他方の色信号値を推定する。そして、各画素の推定値と既にその画素に存在した同種類の色信号値との誤差を計算する。
【０１４２】
そして、この誤差に基づいてその色相関パラメータの信頼性を評価し、誤差が大きいほど信頼性が低いと判断する。
【０１４３】
つまり、単板撮像系により得られた画像と異なり、二板撮像系により得られた画像には各画素で二種類の色信号値が存在する。そのため、パラメータ選抜手段が各画素で既に存在する色信号値をあえて色相関パラメータを用いて推定し、推定結果の誤差を調べることができる。その結果、色相関パラメータの信頼性評価を確実に行える。
【０１４４】
（７） 上記パラメータ選抜手段は、上記色相関パラメータの値が所定の範囲に含まれているか否かに基づいてその色相関パラメータの信頼性を評価することを特徴とする上記（１）に記載の画像処理装置。
【０１４５】
この構成は、図１乃至図５に示される第１の実施の形態、並びに図９及び図１０に示される第３の実施の形態の二つが対応する。即ち、パラメータ選抜手段は、パラメータ評価部３２，３２ｂに対応する。
【０１４６】
上記のような構成によれば、パラメータ選抜手段は、色相関パラメータの信頼性の評価をパラメータの値自身から見積もる。パラメータの値の範囲は、予め色相関パラメータの信頼性が低くなる場合の色相関パラメータの値の傾向を調べておき、色相関パラメータが十分信頼できると経験的に判断される範囲に設定されている。パラメータ選抜手段は、この範囲に色相関パラメータの値が入っているかどうか調べ、入っていなければ信頼性が低い、入っていれば信頼性が高いと判断する。
【０１４７】
従って、色相関パラメータの信頼性の評価に他のデータを必要としないので、信頼性評価が高速、簡便に行える。
【０１４８】
（８） 上記復元領域選抜手段は、上記復元画像領域から近傍の全ての画素の色信号値と大きく異なる色信号値を持つ画素を検出し、検出結果に基づいてその復元画像領域の信頼性を判断することを特徴とする上記（２）に記載の画像処理装置。
【０１４９】
この構成は、図６乃至図８に示される第２の実施の形態が対応する。即ち、復元領域選抜手段は、アーティファクト評価部７０に対応する。
【０１５０】
ここで、領域復元手段により復元された復元画像領域には、復元結果の信頼性が乏しい場合に特定のアーティファクトが現れる。このアーティファクトは、特定の画素において、その色信号値が周囲のいずれの画素の色信号値からもかけ離れた値を取るという特徴を持つ。復元領域選抜手段は復元画像領域からそのような画素を検出し、検出結果に応じて色相関パラメータの信頼性を判断する。
【０１５１】
従って、復元画像から明示的にアーティファクトの特徴を検出することにより、復元結果の信頼性を確実に評価できる。
【０１５２】
（９） 上記色相関パラメータ推定手段は、上記色相関が、二種の色信号値Ｓ，Ｔに対して式
Ｔ＝α×Ｓ＋β
を満足すると仮定し、パラメータαとβをＳとＴに関する色相関パラメータに設定することを特徴とする上記（１）乃至（８）の何れかに記載の画像処理装置。
【０１５３】
この構成は、図１乃至図５に示される第１の実施の形態、図６乃至図８に示される第２の実施の形態、並びに図９及び図１０に示される第３の実施の形態の三つが対応する。
【０１５４】
上記のような構成によれば、色相関パラメータ推定手段が、任意の二種の色信号値Ｓ，Ｔに対する色相関は式
Ｔ＝α×Ｓ＋β
を満足すると仮定し、パラメータαとβをＳとＴに関する色相関パラメータとして推定する。
【０１５５】
従って、領域抽出手段により抽出される画像領域が十分局所的な場合、色相関を表現する式として二つのパラメータを持つ一次式を用いることで、入力される画像が複数光源や鏡面反射特性を持つ物体を含む複雑な場合の色相関も表現できるようになる。その結果、色相関パラメータの信頼性が下がってアーティファクトが発生する領域の範囲を小さくできる。
【０１５６】
即ち、上記の構成では、画像の局所領域の色相関として汎用性のあるものをパラメータ表現し、画像の局所領域の統計的性質を用いて欠落色信号値の復元を行う計算方法をとることにより、入力される画像が複数光源や種々の表面反射特性を持つ物体を含む複雑なものであってもアーティファクトが少なく、また種々の撮像方式やモザイク色フィルタ配置にも対応できる柔軟性のある欠落色信号値の復元方法を提供することができる。
【０１５７】
（１０） 上記色相関パラメータ推定手段は、上記色相関パラメータを、その色相関パラメータに対応する画像領域上に存在する色信号値の統計量、特に平均値と分散、または最大値と最小値に基づいて推定することを特徴とする上記（９）に記載の画像処理装置。
【０１５８】
この構成は、図１乃至図５に示される第１の実施の形態、図６乃至図８に示される第２の実施の形態、並びに図９及び図１０に示される第３の実施の形態の三つが対応する。
【０１５９】
上記のような構成によれば、色相関パラメータ推定手段は、パラメータを推定する画像領域上の色信号値を種類別に分け、各種類ごとの平均値と分散、又は最大値と最小値を計算する。次に、各種類ごとに分散の平方根又は最大値と最小値の差を計算し、色信号値の変動の大きさを見積もる。そして、変動の大きさの比から色相関パラメータのうちのαを算出し推定値とする。次に、算出されたαと平均値又は最大値と最小値の中間値から色相関パラメータのうちのβを算出し推定値とする。
【０１６０】
従って、色相関パラメータを対応する画像領域上の色信号値に関する統計量、特に平均値と分散や最大値と最小値によって推定することで、入力画像を得るのに用いた撮像系の色フィルタ配置が限定される必要がなくなり、また色相関パラメータがノイズの影響を受けにくくなりノイズに強い欠落色信号値の復元が可能となる。
【０１６１】
【発明の効果】
以上詳述したように、本発明によれば、色相関に関して設けた仮定がある領域内で成立するかどうかを判断し、仮定が成立すると判断された領域の情報だけを用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元が可能な画像処理装置を提供することができる。
【０１６２】
また、本発明によれば、ある画素に対しその画素に関する複数の近傍の色相関を総合して処理を行うことにより、ノイズに強い欠落色信号値の復元が可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【図２】色相関特性を説明するための図である。
【図３】色相関パラメータとその算出法を説明するための図である。
【図４】色相関パラメータの信頼性を説明するための図である。
【図５】色相関パラメータ選抜の効果を説明するための図である。
【図６】本発明の第２の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【図７】色エッジ領域における処理を説明するための図である。
【図８】素材均一領域における処理を説明するための図である。
【図９】本発明の第３の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【図１０】色相関パラメータの信頼性評価を説明するための図である。
【符号の説明】
１０ 電子カメラ
１２ 処理装置本体
１４ 単板原色ＣＣＤ
１４1 ＧＣＣＤ
１４2 Ｒ／Ｂ市松ＣＣＤ
１６ Ａ／Ｄコンバータ
１８ 入力画像バッファ
２０ 領域抽出部
２２ 領域バッファ
２４，２４ａ，２４ｂ 平均・分散評価部
２６ フィルタ配置保持ＲＯＭ
２８，２８ａ，２８ｂ パラメータ算出部
３０ パラメータバッファ
３２，３２ｂ パラメータ評価部
３４ 画素復元部
３６，３６ａ 出力画像バッファ
５８ 参照画像計算部
６０ 参照画像バッファ
６２ ブロック抽出部
６４ ブロック分割部
６６ ブロックバッファ
６８，６８ｂ ブロック復元部
７０ アーティファクト評価部
７２ 線形補間部
７４ 積算平均部
【発明の属する技術分野】
本発明は、各画素の色が複数種の色信号値により表現されるカラーディジタル画像を出力する画像処理装置に係り、特に、単板撮像系又は二板撮像系により得られたために各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素における欠落色信号値が補われたカラーディジタル画像を出力する画像処理装置に関する。
【０００２】
【従来の技術】
色フィルタをモザイク状に受光面に配した撮像素子を用いる単板撮像系や、一枚はＧ（緑）フィルタのみ、もう一枚はＲ（赤）とＢ（青）のモザイクフィルタを配した２枚のＣＣＤで撮像を行う二板撮像系は、分光系と３枚の撮像素子を用いる三板撮像系に対し安価に構成できるという利点をもつ。ただし、これらの撮像系では、得られた画像の各画素において色信号値が少なくとも一つ以上欠落するため、その色信号値を推定して補う補間処理が必要となる。
【０００３】
この補間処理として、ある画素の欠落する色信号値をその周囲の欠落していない同種の色信号値の平均値で補う単純線形補間処理が従来広く行われてきた。しかし、その処理結果には、色フィルタ配置に応じた偽色、エッジ部の凹凸や色付きなど、画質を劣化させる現象が生じる。そのため、これらの現象の発生を抑えて画質を向上させる新たな欠落色信号値の復元手法が提案されている。なかでも、カラー画像の局所領域における色信号値間の関係、いわゆる色相関を利用して欠落色信号値を補う方法が画質向上効果が高い。
【０００４】
例えばその第一の例として、特開平４−５０２０９６号公報では、輝度信号が高サンプリング密度で、他の色信号が相対的に低サンプリング密度で得られている画像信号において、低サンプリング密度の色信号に対する補間法を開示している。この方法では、低サンプリング密度の色信号は高サンプリング密度の輝度信号を用いて算出される。このため、低サンプリング密度の信号Ｓ２のサンプリング位置には必ず高サンプリング密度の信号Ｓ１の標本値が存在すると仮定する。信号Ｓ２のサンプリング位置におけるＳ１の標本値の間の差を所定の閾値と比較し、閾値を下回る場合は信号Ｓ２の標本値のみを用いた単純線形補間処理を行う。閾値を上回る場合は信号Ｓ２のサンプリング位置間にエッジがあると判断し、Ｓ１とＳ２がＳ２＝ａ＊Ｓ１＋ｂなる線形な関係にあると仮定して、係数ａ及びｂをＳ２のサンプリング位置におけるＳ１とＳ２の値から求める。
【０００５】
また、第二の例として、特開平５−５６４４６号公報では、画像の局所領域では明るさの変化より色の変化が緩やかであると仮定して、カラービデオカメラにおいて得られたＮ種類の各色信号を二次元ローパス処理し、ある画素Ｐにおいて欠落するＫ色信号値（Ｋは１〜Ｎの何れか）を、その画素Ｐに存在するＬ色信号値（Ｌは１〜Ｎの何れか）から式 Ｋ＝（Ｋlow ／Ｌlow ）×Ｌ により算出する。Ｋlow ，Ｌlow はＫ色信号，Ｌ色信号をそれぞれローパス処理した信号の、画素Ｐにおける値である。
【０００６】
【発明が解決しようとする課題】
色相関を利用する従来技術は、いずれも一般の画像の持つ色相関の性質についてある仮定を立て、各画素の近傍でその仮定が成立するとして処理を行うものである。
【０００７】
しかし、これらの従来技術では、画像中には設けた仮定が成立しない近傍を持つ画素もあり、そのような部位の処理結果にはアーティファクト（本来存在しない画像特徴）が生じて、かえって画質が劣化するという点については記載されていない。
【０００８】
また、近傍で色相関に関する仮定が成立している画素に関しても、従来技術では各画素につきただ一つの近傍をとり、その近傍における色相関を用いて欠落色信号値の復元を行っていた。そのため、復元結果がノイズに弱いという点については記載されていない。
【０００９】
本発明は、上記の点に鑑みてなされたもので、色相関に関して設けた仮定がある領域内で成立するかどうかを判断し、仮定が成立すると判断された領域の情報だけを用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元が可能な画像処理装置を提供することを目的とする。
【００１０】
また、本発明は、ある画素に対しその画素に関する複数の近傍の色相関を総合して処理を行うことにより、ノイズに強い欠落色信号値の復元が可能な画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明による画像処理装置は、単板撮像系または二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置であって、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
上記色相関パラメータ推定手段により推定された個々の色相関パラメータの信頼性をその色相関パラメータ及びその色相関パラメータに対応する画像領域上の色信号値に基づいて評価し、信頼性の高い色相関パラメータだけを選抜するパラメータ選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、その画素に存在する色信号値と上記色相関パラメータ選抜手段により選抜された色相関パラメータのうち対応する画像領域がその画素を包含するものとに基づいてその画素の欠落色信号値を復元する復元手段と、
を備えることを特徴とする。
【００１２】
即ち、本発明の画像処理装置によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、パラメータ選抜手段が色相関パラメータ推定手段により推定された個々のパラメータの信頼性を評価し、信頼性の高いパラメータだけを復元手段に送る。復元手段では、入力画像の各画素において、送られてきたパラメータのうちその画素に関連するものに基づいてその画素の色信号値を復元する。
【００１３】
従って、入力画像の各画素に対し複数の画像領域が採られ、各画像領域上の色相関パラメータのうち信頼性の高いものだけが選抜されるため、信頼性の低いパラメータを用いることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の色相関パラメータから行うため、ノイズに強い復元が可能となる。
【００１４】
また、本発明による画像処理装置は、単板撮像系または二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置であって、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
各画像領域上の欠落色信号値をその画像領域に対応する色相関パラメータと各画素に存在する色信号値とから復元して復元画像領域を生成する領域復元手段と、
上記領域復元手段により生成された個々の復元画像領域に対し、その復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域を選抜する復元領域選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、上記復元領域選抜手段により選抜された復元画像領域のうちその画素を含むものに基づいてその画素の欠落色信号値を復元する画素復元手段と、
を備えることを特徴とする。
【００１５】
即ち、本発明の画像処理装置によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、推定された個々のパラメータにつき領域復元手段が対応する画像領域上の各画素における欠落色信号値を復元し、カラーの復元画像領域を生成する。この処理は各色相関パラメータと対応する画像領域上に既に存在する色信号値とに基づいて行われる。各色相関パラメータにつきこうして復元画像領域が生成されると、復元領域選抜手段は各復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域のみを選抜する。画素復元手段では、入力画像の各画素において、復元領域選抜手段により選抜された復元画像領域のうちその画素を包含するものに基づいてその画素の色信号値を復元する。
【００１６】
従って、入力画像の各画素に対して複数の画像領域が採られ、各画像領域上の欠落色信号値がその画像領域上の色相関パラメータに基づいて復元され、信頼性が高いと判断された復元結果だけが選抜されて各画素の欠落色信号値の復元に利用されるため、信頼性の低い復元結果が利用されることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の復元結果に基づいて行うため、ノイズに強い復元が可能となる。さらに、各画像領域の復元結果を直接復元の信頼性の判定に用いるため、信頼性の評価がより確実で且つ効率的な処理が可能になる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００１８】
［第１の実施の形態］
図１は、本発明の第１の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【００１９】
この電子カメラシステムは、電子カメラ１０と該電子カメラ１０にケーブル接続された処理装置本体１２とから構成されている。
【００２０】
電子カメラ１０内には、単板原色ＣＣＤ１４とＡ／Ｄコンバータ１６が配され、Ａ／Ｄコンバータ１６の出力が、本体１２内に構成された入力画像バッファ１８に供給されるように接続されている。
【００２１】
本体１２内には、該入力画像バッファ１８の他に、領域抽出部２０、領域バッファ２２、平均・分散評価部２４、フィルタ配置保持ＲＯＭ２６、パラメータ算出部２８、パラメータバッファ３０、パラメータ評価部３２、画素復元部３４、出力画像バッファ３６が配されている。ここで、入力画像バッファ１８の出力は領域抽出部２０に入力され、該領域抽出部２０の出力は領域バッファ２２に入力される。領域バッファ２２の出力は平均・分散評価部２４及び画素復元部３４に入力される。また、フィルタ配置保持ＲＯＭ２６には単板原色ＣＣＤ１４上のモザイク色の配置情報が記憶されており、このフィルタ配置保持ＲＯＭ２６の出力は、上記平均・分散評価部２４とパラメータ算出部２８に入力されるようになっている。上記平均・分散評価部２４の出力は、上記パラメータ算出部２８に入力される。該パラメータ算出部２８の出力はパラメータバッファ３０に入力され、該パラメータバッファ３０の出力はパラメータ評価部３２に入力される。該パラメータ評価部３２の出力は、上記画素復元部３４に出力される。そして、この画素復元部３４の出力は出力画像バッファ３６に入力され、該出力画像バッファ３６の出力が当該処理装置本体１２の外部へ導出されるようになっている。
【００２２】
この処理装置本体１２の外部には、例えば、ＪＰＥＧ等の画像圧縮処理を行う圧縮処理部とメモリカード等の記憶媒体とを配し、上記出力画像バッファ３６から出力されるカラーディジタル画像を圧縮して保存するのが通常である。
【００２３】
なお、この電子カメラシステムは、電子カメラ１０と処理装置本体１２とを別体構成としているが、図１に破線で示すように、電子カメラ１０と処理装置本体１２、及び図示しない圧縮処理部と記憶媒体を一つの筐体に一体化して、電子カメラ装置として構成しても良いことは勿論である。
【００２４】
次に、図１に示したような構成における動作を説明する。
【００２５】
電子カメラ１０により撮像が行われると、単板原色ＣＣＤ１４からの信号はＡ／Ｄコンバータ１６を経てディジタル化され、本体１２の入力画像バッファ１８にディジタル単板画像として転送される。同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像が各画素にＲ，Ｇ，Ｂの三種類の色信号値を有するのに対し、このディジタル単板画像は、各画素に単板原色ＣＣＤ１４の色フィルタ配置に応じて一種類の色信号値しか持たず、他の２種類の色信号値は欠落している。そこで、本体１２内ではディジタル単板画像の各画素で欠落する色信号値を推定し、同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像を復元する処理を行う。この復元処理は、入力画像バッファ１８内のディジタル単板画像の各画素に対して順次以下の処理が行わることで達成される。
【００２６】
以下の説明において、現在復元処理の対象となっている画素を注目画素と呼ぶ。また、画像のある領域において各画素におけるＳ色信号値（ＳはＲ，Ｇ，Ｂの何れか）を取り出すことにより形成される画像をその領域内のＳ色信号と呼ぶことにする。
【００２７】
まず、領域抽出部２０は、注目画素を含む５×５画素の大きさを持つ矩型領域の全てに対して、その領域内の画像を順次入力画像バッファ１８から読み出し、読み出した画像を領域バッファ２２に書き込む。全ての矩型領域内の画像の書き込みが終了すると、平均・分散評価部２４は、各矩型領域内の画像を領域バッファ２２より並列に読み出し、各画像に対して次の処理を並列に行う。
【００２８】
即ち、平均・分散評価部２４は、読み出した矩型領域の位置とフィルタ配置保持ＲＯＭ２６に記憶されている色フィルタの配置情報とから、矩型領域内でＲ色信号値が得られる画素位置を特定し、それらの画素位置における色信号値の平均値Ａr 及び分散Ｖr を計算する。Ｇ，Ｂ色信号についても同様に平均値Ａg ，Ａb 及び分散Ｖg ，Ｖb を計算する。ここで、ｒ，ｇ，ｂは色信号の種類を表す添字である。そして、分散Ｖc （ｃはｒ，ｇ，ｂの何れか）からパラメータ算出部２８で算出されるパラメータの信頼性を以下に示すような式（１）により予測する。Ｖc が式（１）を満たす場合にだけ、Ａc ，Ｖc （ｃはｒ，ｇ，ｂの何れか）をパラメータ算出部２８に転送する。式（１）とパラメータの信頼性の関係は後述する。
【００２９】
【数１】
ここで、ｍａｘ（ｐ，ｑ）はｐとｑの最大値、ｍｉｎ（ｐ，ｑ）はｐとｑの最小値を示す。Ｔｈ１，Ｔｈ２は適切な閾値である。
【００３１】
パラメータ算出部２８では、計算値Ａc ，Ｖc が転送されると、まず、注目画素に存在する色信号値の種類Ｓ（ＳはＲ，Ｇ，Ｂの何れか）を、フィルタ配置保持ＲＯＭ２６に記憶されている色フィルタの配置情報と矩型領域の位置とから特定する。その後、転送された平均値及び分散から、それらが算出された矩型領域内の原ＲＧＢ画像において色信号Ｓと他の色信号Ｔ（ＴはＲ，Ｇ，ＢのうちＳでないもの）の間に成り立っているはずの関係を推定する。この関係を以下色信号ＳとＴの色相関と呼ぶ。推定される色信号ＳとＴの色相関はパラメータαst，βstを含んだ次の式（２）で表わされる。
【００３２】
Ｔ＝αst×Ｓ＋βst …（２）
（ｓ，ｔはＳ，Ｔに対応した添字でｒ，ｇ，ｂの何れか）
ここで、パラメータαst，βstは色相関パラメータと呼ばれ、平均値Ａc 及び分散Ｖc から計算される。
【００３３】
ここで、原ＲＧＢ画像における色相関、及び式（２）の意味について述べる。一般に、支配的な照明光が一つであるような自然な照明環境のもとで拡散反射特性を持つ物体を撮像した場合、原ＲＧＢ画像におけるその物体表面に対応する画素ＰにおけるＣ色信号値Ｃp （ＣはＲ，Ｇ，Ｂの何れか）は、支配的な照明光の分光特性をＬ（λ）、物体表面の分光反射率をＲｅｆ（λ）、撮像素子の分光感度特性をＦc （λ）（ｃはＣに対応してｒ，ｇ，ｂの何れか）とすれば、
【数２】
となる。この式（３）中、ｎ（Ｐ）は照明光の向きと画素Ｐに対応する物体表面の法線の向きとで決まる量であり、Ａ（λ）は照明光と複数物体の多重反射の結果生じる周辺光の分光特性である。積分は撮像素子の分光感度が正となる波長の範囲でとる。この式（３）から、画素Ｐの近傍における色信号ＣとＣ’（Ｃ，Ｃ’はＲ，Ｇ，Ｂの何れか）の間には、α，βをパラメータとして、
Ｃ＝α×Ｃ’＋β …（４）
という線形な関係式が成り立つことがわかる。
【００３５】
また、物体が鏡面反射特性と拡散反射特性を合わせ持つ場合は、物体の広い範囲の表面に対応する領域における色信号ＣとＣ’は、図２で示される関係を持つことが知られている。図２は、その領域内の原ＲＧＢ画像の各画素についてＣ色信号値を横軸に、Ｃ’色信号値を縦軸にプロットしたもので、領域内の色信号間の関係が図示されている。以下、このようなグラフを色相関図と呼ぶ。ここで、画素Ｐのごく小さな近傍における色信号Ｃ，Ｃ’の関係はこのグラフのごく一部を取り出したものとみなせるが、これは式（４）で十分近似できる。さらに複雑な照明条件と物体の反射特性のもとでも、単一素材の物体表面に対応するごく小さな画像領域においては、色信号Ｃ，Ｃ’の関係は式（４）の直線で近似できる。これが、色相関に式（２）を用いる理由である。
【００３６】
次に、図３を用いて色相関パラメータαst，βstを計算値Ａc ，Ｖc から推定する方法について説明する。
【００３７】
図３中の右方に示す色相関図において、薄い網掛け部分は原ＲＧＢ画像における色信号３８のうち色信号ＳとＴを図示したもので、本来の２色信号の色相関を示している。しかし、矩形領域内の単板画像の色信号４０は、一画素につき一色信号値であるために、図３の斜線のハッチング部分で表され、上記薄い網掛け部分を各軸に射影したものしか得られない。そこで、本実施の形態では、本来の色相関を近似する推定近似線４２を、図３の斜線ハッチング部分から以下のように推定する。
【００３８】
まず、推定近似線４２の傾きを単板画像の各色信号の変動量の比として推定する。次に、その通過点を単板画像の各色信号の平均値により決定する。変動量として各色信号の標準偏差（分散の平方根）を用いると、推定近似線４２のパラメータαst，βstは、次の式（５）により決定される。
【００３９】
【数３】
なおここで、Ａs ，Ｖs ，Ａt ，Ｖt は、矩形領域内の色信号ＳとＴの平均と分散である。パラメータ算出部２８は、上記式（５）に基づいて４つの色相関パラメータαst，βst，αst’，βst’（ｔ，ｔ’はｓでない二種類の色信号）を計算し、パラメータセットとしてパラメータバッファ３０に転送する。
【００４１】
パラメータ算出部２８が転送された全てのＡc ，Ｖc に対する処理を終了すると、パラメータ評価部３２は、パラメータバッファ３０に転送されていたパラメータセットを１セットづつ読み出して、その信頼性を評価する。
【００４２】
ここで、パラメータの信頼性の重要性とその評価法について説明する。上記式（５）に基づいて算出された色相関パラメータは、矩形領域内での色信号ＳとＴの色相関に式（２）が成り立つと仮定して得られる。しかし、異なる色相を持ち、しかも表面の明るさが面の形状等により変化している２つの物体表面の境界部では、図４中の右方に示す色相関図中の三板画像の色信号３８に示されるように、色相関は複数の直線からなり、単一の直線ではうまく近似できない。以下、この部分を色エッジ領域４４と呼ぶことにし、これに対して図３に示されるような単一の直線で色相関が近似可能な部分を素材均一領域４６と呼ぶことにする。
【００４３】
色エッジ領域４４では、算出した色相関パラメータに基づいて欠落色信号を推定すると大きな推定誤差が生じるので、その色相関パラメータの使用を避ける必要がある。しかし、単板画像の色信号４０からは図４の様なグラフは得られないので近似の良否は直接わからず、その信頼性を推定する必要が生じる。本実施の形態では、平均・分散評価部２４で分散Ｖc に基づいてまず信頼性が低くなる可能性のある状況を検出し、パラメータ評価部３２において色相関パラメータ自体の値に基づきその近似精度を判断する二段階の処理を行っている。
【００４４】
一般に、色エッジ領域４４では、素材均一領域４６に比して各色信号の分散が大きくなる傾向が強い。ただし、無彩色の領域では、各色信号の分散が大きくても色信号間の直線関係は成立する。平均・分散評価部２４ではこの状況を式（１）により検出、回避し、信頼性の低い色相関パラメータがパラメータ算出部２８において算出されるのを防いでいる。また、色相関パラメータの値自体については、色エッジ領域４４でパラメータβの値が大きな絶対値を持つ確率が高い。これに対し、素材均一領域４６ではパラメータβは「０」に近い値をとる。素材均一領域４６においても、式（３）から示唆されるように周辺光と直接光の分光特性が大きく異なる場合やハイライト周辺でパラメータβは大きな値を取りうるが、このような領域は画像中で比較的わずかである。
【００４５】
そこで、パラメータ評価部３２では、各パラメータセットにおけるβstの絶対値｜βst｜を所定の閾値Ｔｈ３と比較し、閾値以下の｜βst｜を持つパラメータセットのみを信頼性が高いと評価して画素復元部３４に転送する。その結果、図５に示すように、注目画素４８を含む矩形領域内の色相関を近似するパラメータのうち色エッジ領域４４のパラメータセット５０は除かれ、素材均一領域４６のパラメータセット５２が選抜されて画素復元部３４に転送される。
【００４６】
画素復元部３４は、領域バッファ２２から注目画素に存在する色信号値Ｓp を読み出し、転送された各パラメータセットαst，βstに対し注目画素での欠落色信号値Ｔp （ＴはＲ，Ｇ，ＢのうちＳでないもの）を、次の式（６）により推定する。
【００４７】
Ｔp ＝αst×Ｓp ＋βst …（６）
これは、図５において注目画素の色信号５４から注目画素の欠落色信号５６を求める過程として図示されている。そして、各パラメータセットにより得られたＴp の平均値を計算して注目画素の欠落色信号の値とし、注目画素の３色信号値を生成する。パラメータセットが全く送られてこない場合は、画素復元部３４は、領域バッファ２２から注目画素を中心とする矩形領域を選択して読み出し、その内部における色信号Ｔの平均値を注目画素の欠落色信号値とする。最後に、注目画素の３色信号値が出力画像バッファ３６の対応する位置に書き込まれ、注目画素に対する処理が終了する。
【００４８】
ここまでの処理が各画素に対して行われる結果、出力画像バッファ３６には、色信号の欠落が補われた原ＲＧＢ画像が得られる。
【００４９】
本実施の形態では、領域抽出部２０が各画素に対して複数の矩形領域を選択し、各々の矩形領域に対してパラメータ算出部２８が色相関パラメータを算出することで注目画素の近傍における色相関パラメータの推定値を複数個得る。そして、それらの推定値の中から平均・分散評価部２４及びパラメータ評価部３２によって信頼性の高いものだけが選抜され、選抜された色相関パラメータに基づいて画素復元部３４により注目画素の欠落色信号値が補われる。そのため、従来の色相関に基づいた欠落色復元法において色エッジ領域４４の近辺で生じるアーティファクトを軽減、除去でき、より画質の高い原ＲＧＢ画像を出力画像バッファ３６に得ることができる上、素材均一領域４６においても複数の色相関パラメータの推定値を総合することでノイズに強い高画質化が可能となっている。
【００５０】
また、色相関をパラメータを２つ含んだ式（２）で表しているため、多彩な照明条件と物体表面特性を持ったシーンの欠落色復元をより正確に行うことができる。
【００５１】
色相関パラメータの推定においても、局所領域の平均値及び分散から色相関パラメータを算出するため、種々の色フィルタ配置を有する単板撮像系に対応できる柔軟性を有している。
【００５２】
また、この実施の形態には様々な変形、変更が可能である。領域抽出部２０が抽出する領域は、ある程度小さければ５×５画素のサイズの矩形領域に限らず、実装に最適な任意の形状、サイズの領域でよい。特に、後述する第２の実施の形態に示すように、抽出する領域を単板画像から算出した特徴量に基づいて決定する方式は有効である。この場合、領域抽出部２０は、各画素に関する抽出を行う前に画像全体に対する輝度等の特徴量を計算しておく。そして、各画素に関する抽出においては各画素について複数の近傍をとり、各近傍を特徴量に基づいて領域分割し、分割された個々の領域を抽出する。
【００５３】
単板原色ＣＣＤ１４の色フィルタ配置は任意のものでよく、タイプも原色系に限らない。平均・分散評価部２４が平均・分散以外に矩形領域内の各色信号の最大値、最小値を計算してパラメータ算出部２８に転送し、パラメータ算出部２８は転送された最大値、最小値に基づいて色相関パラメータを算出しても良い。この場合、パラメータαst，βstは、式（５）に替わって転送された各色信号の最大値ＭＡＸ＿ｃ及び最小値ＭＩＮ＿ｃ（ｃはｒ，ｇ，ｂの何れか）から以下の式に基づいて算出される。この方法は処理速度が速く、特に文書画像などに有効である。
【００５４】
【数４】
また、色相関を表す関係式（２）に別の式を使うことも可能である。例えば、式（２）でβst＝０とおいた式を用い、αstのみを式（２）に従って計算しても良い。この場合、パラメータ評価部３２は不要となり、αstを矩形領域上の色信号の平均値あるいは中間値の比として推定することで処理速度を向上させることができる。撮像される対象が限定され、色相関をパラメータ化する基本となる式（３）をより詳しく記述できる場合は、さらに高度な色相関モデルを採用してもよい。画素復元部３４における最終的な欠落色信号値算出法にも種々の変形が考えられる。各パラメータセットに対する欠落色信号値の推定値Ｔp をただ単純平均するのではなく、各パラメータの信頼性で重み付けすることも有効である。処理時間に余裕がある場合は、各パラメータセットを４次元ベクトルとみなしてクラスタリングし、最も大きいクラスタの代表値をパラメータに用いて最終的な欠落色信号値を計算することでパラメータの信頼性推定の失敗の影響を緩和する方法も考えられる。
【００５６】
平均・分散評価部２４における色相関パラメータの信頼性予測法も、式（１）以外に種々のものが考えられる。例えば、２種の色信号の分散の差をとり、差がある閾値を超えている場合は信頼性が低いと予測する方法は、高速に計算できる点では式（１）より望ましい。
【００５７】
領域抽出の仕方についても、各画素の処理につき毎回複数の領域を抽出するのではなく、単板画像に含まれる所定サイズの矩形領域に関する色相関パラメータをまず計算してパラメータバッファ３０にいれておき、各画素の欠落色復元にはその画素を含む矩形領域の色相関パラメータのうち信頼性の高いものだけを使うという処理にすることで高速化を図れる。
【００５８】
［第２の実施の形態］
図６は、本発明の第２の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。同図において、前述の第１の実施の形態と同様の部分には、図１と同じ参照番号を付してある。
【００５９】
この電子カメラシステムは、電子カメラ１０と該電子カメラ１０にケーブル接続された処理装置本体１２とから構成されている。本実施の形態においては、本体１２内には、入力画像バッファ１８、参照画像計算部５８、参照画像バッファ６０、ブロック抽出部６２、ブロック分割部６４、ブロックバッファ６６、平均・分散評価部２４ａ、フィルタ配置保持ＲＯＭ２６、パラメータ算出部２８ａ、ブロック復元部６８、アーティファクト評価部７０、線形補間部７２、積算平均部７４、出力画像バッファ３６ａが配されている。
【００６０】
ここで、入力画像バッファ１８の出力は、参照画像計算部５８，ブロック抽出部６２，及び線形補間部７２に入力される。参照画像計算部５８の出力は参照画像バッファ６０に入力され、該参照画像バッファ６０の出力はブロック分割部６４に出力される。また、ブロック抽出部６２の出力もこのブロック分割部６４に入力される。ブロック分割部６４の出力はブロックバッファ６６に入力され、該ブロックバッファ６６の出力は平均・分散評価部２４ａ及びブロック復元部６８に入力される。平均・分散評価部２４ａにはフィルタ配置保持ＲＯＭ２６の出力も入力され、該平均・分散評価部２４ａの出力はパラメータ算出部２８ａに入力される。パラメータ算出部２８ａの出力はブロック復元部６８に入力され、このブロック復元部６８には更にフィルタ配置保持ＲＯＭ２６の出力が入力される。
【００６１】
該ブロック復元部６８の出力はアーティファクト評価部７０に入力され、アーティファクト評価部７０の出力は積算平均部７４に入力される。この積算平均部７４には更に線形補間部７２及び出力画像バッファ３６ａの出力が入力され、該積算平均部７４の出力はこれら線形補間部７２及び出力画像バッファ３６ａに入力される。出力画像バッファ３６ａは、入力画像バッファ１８内の画像と同じ画素数の三色画像を保持するほか、各画素に付きカウンタを保持する。このカウンタは、バッファの各画素位置に書き込みが行われた回数を保持するために設けられている。本実施の形態では、処理中に入力画像バッファ１８の各画素位置に対応した複数の色信号の推定値を計算してそれらを出力画像バッファ３６ａに積算していき、積算値が最後に積算平均部７４で平均化されて最終的な色信号の推定値を得るという処理を行っている。この処理に書き込み回数が必要になる。
【００６２】
なお、出力画像バッファ３６ａの出力は、当該処理装置本体１２の外部へ導出され、前述の第１の実施の形態と同様に、当該処理装置本体１２の外部に、例えば、ＪＰＥＧ等の画像圧縮処理を行う圧縮処理部とメモリカード等の記憶媒体とを配し、上記出力画像バッファ３６ａから出力されるカラーディジタル画像を圧縮して保存する。また、前述の第１の実施の形態と同様に、図６に破線で示すように、電子カメラ１０と処理装置本体１２、及び図示しない圧縮処理部と記憶媒体を一つの筐体に一体化して、電子カメラ装置として構成しても良いことは勿論である。
【００６３】
次に、図６に示したような構成における動作を説明する。
【００６４】
電子カメラ１０により撮像が行われると、単板原色ＣＣＤ１４からの信号は、Ａ／Ｄコンバータ１６を経てディジタル化され本体１２の入力画像バッファ１８にディジタル単板画像として転送される。同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像が各画素にＲ，Ｇ，Ｂの三種類の色信号値を有するのに対し、このディジタル単板画像は各画素に単板原色ＣＣＤ１４の色フィルタ配置に応じて一種類の色信号値しか持たず、他の２種類の色信号値は欠落している。そこで、本体１２内ではディジタル単板画像の各画素で欠落する色信号値を推定し、同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像を復元する処理を行う。この復元処理は、入力画像バッファ１８内のディジタル単板画像に対して以下の処理が行わることで達成される。
【００６５】
電子カメラ１０から本体１２への画像の転送が終了すると、まず参照画像計算部５８が入力画像バッファ１８内のディジタル単板画像に以下に示す式（８）の係数を持つ３×３画素のローパスフィルタをかけ、結果を参照画像バッファ６０に参照画像として書き込む。
【００６６】
0.0625 0.125 0.0625
0.125 0.25 0.125 …（８）
0.0625 0.125 0.0625
このように単板画像から直接ローパスフィルタによって計算された画像は、単板画像に対応する原ＲＧＢ画像の輝度成分０．２５Ｒ＋０．５Ｇ＋０．２５Ｂの低域成分を反映するものになっている。
【００６７】
次に、出力画像バッファ３６ａ内の各画素の画素値及びカウンタが「０」に初期化され、入力画像バッファ１８内のディジタル単板画像に含まれるすべての５×５画素サイズの矩形領域に対して、次の処理が行われる。以下、画像のある領域において各画素におけるＳ色信号値（ＳはＲ，Ｇ，Ｂの何れか）を取り出すことにより形成される画像をその領域内のＳ色信号と呼ぶことにする。
【００６８】
ブロック抽出部６２によって、入力画像バッファ１８内のディジタル単板画像の左上隅からまず右方向、ついで下方向へと１画素づつ矩形領域の位置がずらされ、矩形領域内の画像が順次読み出される。ブロック抽出部６２により読み出され、処理の始まった画像を注目ブロックと呼ぶ。以下の処理は注目ブロックが色エッジ領域４４に属するか素材均一領域４６に属するかによって少し異なっており、図７が色エッジ領域４４に対する処理、図８が素材均一領域４６に対する処理を示している。
【００６９】
以下、処理の説明は主に図７に基づいて行う。注目ブロック７６は、まずブロック分割部６４に転送される。ブロック分割部６４は、参照画像バッファ６０中の参照画像から注目ブロックの矩形領域に対応する部分参照画像７８を読み出し、部分参照画像７８内の最大値ＲｅｆＭＡＸ及び最小値ＲｅｆＭＩＮを計算する。そして、部分参照画像７８から（ＲｅｆＭＡＸ＋ＲｅｆＭＩＮ）／２を閾値として画素値「１」または「０」を持つ二値化画像８０を生成する。次に注目ブロック７６を二つに分割し、二値化画像８０上で画素値「１」を持つ領域に対応するブロックＡ ８２、及び二値化画像上で画素値「０」を持つ領域に対応するブロックＢ ８４を生成する。そして、ブロックＡ ８２及びブロックＢ ８４をブロックバッファ６６に書き込む。
【００７０】
前述のように、参照画像の一部である部分参照画像７８は原ＲＧＢ画像の輝度成分に相当する。そのため、部分参照画像７８の二値化画像８０には原ＲＧＢ画像のエッジ構造が反映され、ブロックＡ ８２，ブロックＢ ８４がエッジの左右の領域に対応する。第１の実施の形態の説明において使用した図４に示した色エッジ領域４４では、エッジの左右は素材均一領域４６で、原ＲＧＢ画像の色信号３８に含まれる直線部分に対応する。そのため、注目ブロックが色エッジ領域４４に属していてブロック内の色相関パラメータが正しく推定できない場合でも、ブロックＡ ８２，ブロックＢ ８４内では色相関が直線で近似でき、色相関パラメータが正しく求められる確率が高い。
【００７１】
ブロックバッファ６６に２つの画像が書き込まれると、平均・分散評価部２４ａはフィルタ配置保持ＲＯＭ２６に記憶されている色フィルタの配置情報を読み出し、ブロックＡ ８２，ブロックＢ ８４各々において色信号Ｒ，Ｇ，Ｂがそれぞれ得られる位置を特定する。そして、ブロックＡ ８２，Ｂ ８４各々についてその内部で得られる色信号Ｃの個数Ｎc （Ａ），Ｎc （Ｂ）、平均値Ａc （Ａ），Ａc （Ｂ）、及び分散Ｖc （Ａ），Ｖc （Ｂ）（ＣはＲ，Ｇ，Ｂの何れか。ｃはｒ，ｇ，ｂの何れかで色信号Ｃの種類を表す添字である）を計算する。さらに、これらの値からブロックＡ ８２，ブロックＢ ８４を合成（Merge ）した注目ブロック７６全体についての平均値Ａc （Ｍ）及び分散Ｖc （Ｍ）を次の式（９）により計算する。
【００７２】
【数５】
そして、これらの平均値及び分散をパラメータ算出部２８ａに転送する。以下、括弧内の文字がＭの場合、その量がブロックＡ ８２とＢ ８４が合成された注目ブロック全体に関する量であることを示し、また文字がＡないしＢを表わす場合はその量が対応するブロックに関する量であることを示す。
【００７４】
パラメータ算出部２８ａでは、転送された平均値及び分散から注目ブロック７６,ブロックＡ ８２及びブロックＢ ８４内の色相関パラメータを算出する。 各ブロックＡ ８２,Ｂ ８４及び注目ブロック７６全体において、第１の実施 の形態における式（２）と同様に、色信号ＳとＴの間に次の式（１０）を仮定する。
【００７５】
Ｔ=αst（Ｘ）×Ｓ＋βst（Ｘ） …（１０）
そして、式（５）と同様に色相関パラメータを次の式（１１）により計算する。なおこの式（１０），（１１）において、Ｓ，ＴはＲ，Ｇ，Ｂの何れかで互いに異なる。また、ｓ，ｔはそれぞれＳ，Ｔに対応した添字であり、ＸはＡ，Ｂ，Ｍの何れかである。
【００７６】
【数６】
そして、パラメータ算出部２８ａはブロックＡ ８２及びブロックＢ ８４の色相関パラメータを比較し、全ての色信号の組み合わせについてそれらの差がある閾値を越えない場合、色相関パラメータαst（Ｍ），βst（Ｍ）をブロック復元部６８に転送する。そうでない場合、ブロックにおける色信号の個数の総和Ｎr （Ｘ）＋Ｎg （Ｘ）＋Ｎb （Ｘ）が多い方のブロックＸ（ＸはＡ，Ｂの何れか）に関する色相関パラメータαst（Ｘ），βst（Ｘ）をブロック復元部６８に転送する。
【００７８】
ここで、図７及び図８を参照して、パラメータ算出部２８ａから転送される色相関パラメータについて説明する。注目ブロックが図７の注目ブロック７６のように色エッジ領域４４に属する場合は、輝度成分である部分参照画像７８に基づいてブロック分割を行うことで分割後のブロックの色相関パラメータの信頼性は向上する。しかし、注目ブロックが図８の注目ブロック８６ように素材均一領域４６に属する場合には、注目ブロック全体に対する色相関パラメータが既に高い信頼性をもって算出可能である。逆に、部分参照画像８８でブロックが分割されると、ブロックＡ ９０，ブロックＢ ９２では画素数が少ないため、色相関パラメータの信頼性はかえって低下する。そこで、パラメータ算出部２８ａは、分割後のブロックの色相関パラメータを比較し、類似している場合は注目ブロック全体に関する色相関パラメータを改めて算出する。
【００７９】
ブロック復元部６８では、転送された色相関パラメータαst,βstの種類に応 じて以下の処理を行う。転送された色相関パラメータがαst（Ｍ），βst（Ｍ）の場合、ブロックバッファ６６から２つのブロックを共に読み出す。一方、色相関パラメータが何れかのブロックに関するものであれば、ブロックバッファ６６から該当するブロックを読み出す。そして、読み出した画像の各画素について、その画素に存在する色信号値の種類Ｓ（ＳはＲ，Ｇ，Ｂの何れか）をフィルタ配置保持ＲＯＭ２６に格納されている色フィルタ配置情報から特定し、その色信号値Ｓp と転送された色相関パラメータから欠落している色信号値Ｔp （ＴはＳと異なる種類）を第１の実施の形態と同様に式（６）から求める。そして、転送された色相関パラメータに関連するブロック内の全ての色信号の欠落を補って各画素に３色信号値が存在するカラーの復元ブロックを生成する。転送された色相関パラメータがαst（Ｍ），βst（Ｍ）の場合は注目ブロック８６全体の色信号の欠落が復元された復元ブロック９４が、その他の場合はブロックＡ ８２，ブロックＢ ８４の何れかに対する復元ブロック９６が生成されることになる。復元ブロックはアーティファクト評価部７０に転送され、復元結果にアーティファクトが含まれているかどうか判断される。
【００８０】
色エッジ領域４４において発生するアーティファクトは、特定の種類の色フィルタが存在する画素位置においてその色信号値が周囲の色信号値と大きく異なる値を示すというものである。アーティファクト評価部７０は、復元ブロックに含まれるこのアーティファクトを以下のように検出、評価する。
【００８１】
検出は各色信号Ｓ（ＳはＲ，Ｇ，Ｂの何れか）について行われる。まず、復元ブロックの各画素Ｐについて、その３×３画素近傍内の色信号値と画素Ｐの色信号値Ｓp を比較し、色信号値Ｓp が近傍内の最大又は最小となるかどうかを調べる。次に、最大又は最小となっている場合は、３×３画素近傍内の色信号の平均値Ａp s 及び標準偏差σp s （ｓはＳに対応する添字）を計算し、画素Ｐの値が所定の定数ｋに対して次の式（１２）を満足するかどうか調べる。
【００８２】
Ｓp ＜Ａp s −ｋ×σp s 又はＳp ＞Ａp s ＋ｋ×σp s …（１２）
式（１２）が満足された画素はアーティファクト発生画素と判断する。すべての色信号をこのように調査した後、検出したアーティファクト発生画素の総数が所定の閾値を下回っている場合は、復元ブロックにアーティファクトが含まれていないと判断し、復元ブロックを積算平均部７４に転送する。そうでない場合、復元ブロックにアーティファクトが含まれているとみなし、転送は行わない。
【００８３】
積算平均部７４は、アーティファクト評価部７０から復元ブロックが転送された場合にのみ、以下の処理を行う。
【００８４】
まず、ブロック復元部６８から復元ブロックを読み出す。そして、復元ブロックの各画素Ｐにおいて、出力画像バッファ３６ａ内の画素Ｐに対応する位置の積算値に復元ブロック９６の画素Ｐにおける色信号値を足し込む。そして、出力画像バッファ３６ａ内の画素Ｐに対応するカウンタを「１」増やす。
【００８５】
入力画像バッファ１８内のディジタル単板画像に含まれるすべての５×５画素サイズの矩形領域に対し以上の処理が行われた後、積算平均部７４は、出力画像バッファ３６ａ内の各画素Ｐの積算値及びカウンタを読み出して以下の処理を行う。
【００８６】
まず、カウンタが「０」の場合、線形補間部７２に画素Ｐの位置を知らせる。線形補間部７２は画素Pを中心とする３×３画素領域を入力画像バッファ１８よ り読み出し、画素Ｐに存在する色信号はそのまま用い、欠落している色信号値は近傍内の同種色信号値の平均値により補って、画素の３色信号値を生成する。そして、その３色信号値を積算平均部７４に転送する。積算平均部７４は、転送された復元値を出力画像バッファ３６ａに書き込む。カウンタが「０」でない場合、積算平均部７４は積算値をカウンタで割って処理中に得られた複数の復元値の平均値を得、この値を出力画像バッファ３６ａに書き込む。ここまでの処理が終了すると、出力画像バッファ３６ａに色信号の欠落が補われた原ＲＧＢ画像が得られる。
【００８７】
本実施の形態では、入力画像バッファ１８中のディジタル単板画像からブロック抽出部６２が矩形領域をずらしつつ読み出し、ブロック分割部６４が参照画像計算部５８により単板画像から計算された参照画像に基づいてブロックを素材均一領域４６に分割する結果、分割したブロックについてパラメータ算出部２８ａが信頼性の高い色相関パラメータを算出できる。そして、ブロック復元部６８が色相関パラメータに基づいてブロックの欠落色信号を全て復元して復元ブロックを生成し、積算平均部７４がアーティファクト評価部７０の評価に基づいてアーティファクトの含まれない復元ブロックのみを出力画像バッファ３６ａに積算していくことで、出力画像バッファ３６ａの各画素においてその画素を包含する複数の素材均一領域４６に関する色相関パラメータを用いた欠落復元値が得られ、それらを総合して最終的に計算された欠落復元値が積算、平均化されて出力画像バッファ３６ａに出力されることで、従来の色相関に基づいた欠落色復元法において色エッジ部の近辺で生じるアーティファクトを軽減、除去でき、より画質の高い原ＲＧＢ画像を出力画像バッファ３６ａに得ることができる。また、これら第１の実施の形態におけるものと同じ画質向上効果の他に、領域分割を行うことで色相関パラメータを算出する領域の形状が可変になるため、色相関パラメータがより正しく計算され複雑なシーンに対する画質向上を実現しやすいという効果がある。さらに、復元ブロックのアーティファクトを直接評価することでより確実なアーティファクト除去が行えるという効果も有する。
【００８８】
また、この実施の形態には前述の第１の実施の形態同様に様々な変形、変更が可能である。ブロック抽出部６２が抽出するブロックの大きさ、単板原色ＣＣＤ１４の色フィルタ配列やパラメータ算出部２８ａにおける算出法は第１の実施の形態中に記載された変形が全て可能である。また、第１の実施の形態と同様に平均・分散評価部２４ａにおいて色相関パラメータを算出する以前にその信頼性を予測し、信頼性が低い場合はそれ以降の処理を行わないようにすることもできる。
【００８９】
参照画像計算部５８により計算される参照画像は、その画素値の違いが原ＲＧＢ画像における色相関パラメータの違いを反映するものであればよく、例えば参照画像計算部５８が単板画像を線形補間した後色差成分を算出して参照画像としても良い。アーティファクト評価部７０におけるアーティファクト評価法も、周囲の画素より特別異なった色信号値を持つ画素を検出するものであれば任意である。例えばエッジ検出フィルタを復元ブロックにかけ、その出力結果のパターンから判断しても良い。
【００９０】
ブロック分割部における領域分割法も、二値化に限らず種々のラベリング手法が適用できることはもちろんである。分割された領域上で色相関パラメータが高い信頼性をもって推定できるように領域分割に制限を設けると偽色の抑圧に一層効果的である。
【００９１】
［第３の実施の形態］
図９は、本発明の第３の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。同図において、前述の第１及び第２の実施の形態と同様の部分には、図１及び図６と同じ参照番号を付してある。
【００９２】
この電子カメラシステムは、電子カメラ１０と該電子カメラ１０にケーブル接続された処理装置本体１２とから構成されている。本実施の形態においては、電子カメラ１０は二板式撮像系を持ち、その内部では、全画素にＧフィルタを配したＧＣＣＤ １４1 及びＲフィルタとＢフィルタを画素毎に市松状に配したＲ／Ｂ市松ＣＣＤ １４2 の出力がＡ／Ｄコンバータ１６を介して、ケーブル接続された処理装置本体１２内の入力画像バッファ１８に入力されるように構成されている。一方、処理装置本体１２内には、ブロック抽出部６２、ブロックバッファ６６、平均・分散評価部２４ｂ、パラメータ算出部２８ｂ、パラメータ評価部３２ｂ、ブロック復元部６８ｂ、積算平均部７４、線形補間部７２、出力画像バッファ３６ａが配されている。
【００９３】
ここで、入力画像バッファ１８の出力は、ブロック抽出部６２と線形補間部７２に入力される。ブロック抽出部６２の出力はブロックバッファ６６に入力され、該ブロックバッファ６６の出力は平均・分散評価部２４ｂ、パラメータ評価部３２ｂ、及びブロック復元部６８ｂに入力される。平均・分散評価部２４ｂの出力はパラメータ算出部２８ｂに入力され、該パラメータ算出部２８ｂの出力はパラメータ評価部３２ｂに入力される。パラメータ評価部３２ｂの出力はブロック復元部６８ｂに入力され、該ブロック復元部６８ｂの出力は積算平均部７４に入力される。
【００９４】
この積算平均部７４には更に線形補間部７２及び出力画像バッファ３６ａの出力が入力され、該積算平均部７４の出力はこれら線形補間部７２及び出力画像バッファ３６ａに入力される。出力画像バッファ３６ａは、入力画像バッファ１８内の画像と同じ画素数の三色画像を保持するほか、各画素にカウンタを保持する。このカウンタは、バッファの各画素位置に書き込みが行われた回数を保持するために設けられている。本実施の形態では、処理中に入力画像バッファ１８の各画素に対応した複数の色信号推定値を計算し、それらを出力画像バッファ３６ａに積算していき、積算値が最後に積算平均部７４で平均化されることで最終的な色信号推定値が得られるという処理を行っている。この処理に書き込み回数が必要になる。
【００９５】
なお、出力画像バッファ３６ａの出力は、当該処理装置本体１２の外部へ導出され、前述の第１の実施の形態と同様に、当該処理装置本体１２の外部に、例えば、ＪＰＥＧ等の画像圧縮処理を行う圧縮処理部とメモリカード等の記憶媒体とを配し、上記出力画像バッファ３６ａから出力されるカラーディジタル画像を圧縮して保存する。また、前述の第１の実施の形態と同様に、図９に破線で示すように、電子カメラ１０と処理装置本体１２、及び図示しない圧縮処理部と記憶媒体を一つの筐体に一体化して、電子カメラ装置として構成しても良いことは勿論である。
【００９６】
次に、図９に示したような構成における動作を説明する。
【００９７】
電子カメラ１０により撮像が行われると、ＧＣＣＤ １４1 及びＲ／Ｂ市松ＣＣＤ １４2 からの信号がＡ／Ｄコンバータ１６を経てディジタル化され、本体１２の入力画像バッファ１８にディジタル二板画像として転送される。同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像が各画素にＲ，Ｇ，Ｂの三種類の色信号値を有するのに対し、このディジタル二板画像は各画素にＲ／Ｂ市松ＣＣＤ １４2 の色フィルタ配置に応じてＧとＲ、ないしはＧとＢの２種類の色信号値しか持たず、他の１種類の色信号値は欠落している。そこで、本体１２内では入力画像バッファ１８内のディジタル画像の各画素で欠落する色信号値を推定し、同じシーンを三板撮像系により撮像した場合に得られる原ＲＧＢ画像を復元する処理を行う。この復元処理は、入力画像バッファ１８内のディジタル二板画像に対して順次以下の処理が行わることで達成される。
【００９８】
即ち、電子カメラ１０から本体１２への画像の転送が終了すると、まず出力画像バッファ３６ａ内の各画素の画素値及びカウンタが「０」に初期化され、入力画像バッファ１８内のディジタル二板画像に含まれるすべての５×５画素サイズの矩形領域に対して、以下の処理が行われる。以下、画像のある領域において各画素におけるＳ色信号値（ＳはＲ，Ｇ、Ｂの何れか）を取り出すことにより形成される画像をその領域内のＳ色信号と呼ぶことにする。
【００９９】
ブロック抽出部６２によって、入力画像バッファ１８内のディジタル画像の左上隅からまず右方向、ついで下方向へと１画素づつ矩形領域の位置がずらされ、矩形領域内の画像が順次読み出される。ブロック抽出部６２により読み出され、処理の始まった画像を注目ブロックと呼ぶ。読み出された注目ブロックは、ブロックバッファ６６に転送される。
【０１００】
すると、平均・分散評価部２４ｂは、ブロックバッファ６６から注目ブロックを読み出し、全画素に存在するＧ色信号の平均値Ａg 及び分散Ｖg を計算する。次に、注目ブロックの各画素において存在する色信号値の種類（Ｒ,Ｂの何れか ）をＲ／Ｂ市松ＣＣＤ １４2 の色フィルタ配置の規則性を利用して計算する。そして、注目ブロック内のＲ色信号の平均値Ａr と分散Ｖr 、及びＢ色信号の平均値Ａb と分散Ｖb を算出する。（ｒ，ｇ，ｂは色信号の種類を表す添字である）そして、平均値Ａc 及び分散Ｖc （ｃはｒ，ｇ，ｂの何れか）をパラメータ算出部２８ｂに転送する。
【０１０１】
パラメータ算出部２８ｂでは、転送された平均値Ａc 及び分散Ｖc に基づいて以下の処理を行う。まず、Ｇ色信号の分散Ｖg を所定の閾値と比較し、閾値以上の場合は色相関パラメータαgr，βgr及びαgb，βgbを前述の第１の実施の形態で説明した上記式（５）により計算する。一方、Ｖg が閾値以下の場合は、色相関パラメータαbr，βbr及びαrb，βrbを同じく上記式（５）により計算する。そして、計算した色相関パラメータをパラメータ評価部３２ｂに転送する。
【０１０２】
パラメータ評価部３２ｂでは、転送されたパラメータの信頼性を以下のように評価する。まず、転送されたパラメータがαgr，βgr及びαgb，βgbである場合、ブロックバッファ６６から注目ブロックを読み出す。そして、注目ブロックの各画素Ｐにおいて、Ｒ／Ｂ市松ＣＣＤ １４2 の色フィルタ配置の規則性を利用して画素Ｐに存在するＧ以外の色信号Ｔ（ＴはＲ，Ｂの何れか）を特定し、その色信号値Ｔp とＧ色信号値Ｇp 、及び色相関パラメータαgt，βgt（ｔはＴに対応してｒ，ｂの何れか）から色相関パラメータによる色信号推定値と実際の色信号値の推定誤差
ｅp ＝Ｔp −（αgt×Ｇp ＋βgt） …（１３）
を計算する。次に、注目ブロック内の全画素における誤差の絶対値の総和を計算し、総和が所定の閾値を超えていない場合は、色相関パラメータαgr，βgr及びαgb，βgbの信頼性は高いと判断して、ブロック復元部６８ｂに色相関パラメータαgr，βgr及びαgb，βgbを転送する。
【０１０３】
図１０は、色エッジ領域４４においてＲ色信号の得られる画素ｐを例に、誤差ｅp の意味を図示している。二板撮像系においては各画素に２種類の色信号が得られるため、図１０中に二板画像の色信号９８として示されているように色相関図を部分的に図示することが可能である。誤差ｅp は、色相関パラメータαgr，βgrにより表される推定近似線４２に基づいてＧ色信号値１００から推定されるＲ色信号推定値１０２と、実際のＲ色信号値１０４との差を表し、色相関を推定近似線４２で近似する信頼性が悪いほど大きくなる。
【０１０４】
一方、転送された色相関パラメータがαbr，βbr及びαrb，βrbである場合、パラメータβbrの絶対値｜βbr｜及びβrbの絶対値｜βrb｜が所定の閾値を越えないかどうか調べ、いずれも越えていない場合は、色相関パラメータαbr，βbr及びαrb，βrbの信頼性は高いと判断して、ブロック復元部６８ｂに色相関パラメータαbr，βbr及びαrb，βrbを転送する。
【０１０５】
ブロック復元部６８ｂは、パラメータ評価部３２ｂから色相関パラメータが転送された場合は、ブロックバッファ６６から注目ブロックを読み出し、注目ブロックの各画素ｐで欠落する色信号の種類Ｔ（ＴはＲ，Ｂの何れか）をＲ／Ｂ市松ＣＣＤ １４2 の色フィルタ配列の規則性に基づいて特定する。そして、転送されたパラメータがαgr，βgr及びαgb，βgbである場合、注目ブロック内の各画素ＰのＧ色信号値Ｇp から、各画素で欠落する色信号値Ｔp を以下の式により推定する。
【０１０６】
Ｔp ＝αgt×Ｇp ＋βgt …（１４）
また、パラメータ評価部３２ｂから色相関パラメータαbr，βbr及びαrb，βrbが転送された場合には、注目ブロック内の各画素ＰにＧ色信号以外に存在する色信号値Ｓp （ＳはＲ，ＢのうちＴでないもの）から、各画素で欠落する色信号値Ｔp を以下の式により推定する。
【０１０７】
Ｔp ＝αst×Ｓp ＋βst …（１５）
そして、いずれの場合も各画素に３色信号値を持つ復元ブロックを生成する。こうして生成された復元ブロックは、積算平均部７４に転送される。一方、パラメータ評価部３２ｂから色相関パラメータが転送されない場合は、復元ブロックの生成も転送も行わない。
【０１０８】
積算平均部７４は、ブロック復元部６８ｂから復元ブロックが転送された場合にのみ、復元ブロックの各画素Ｐに対し、出力画像バッファ３６ａ内の画素Ｐに対応する位置の積算値に復元ブロックの画素Ｐにおける色信号値を足し込む。そして、出力画像バッファ３６ａ内の画素Ｐに対応するカウンタを「１」増やす。
【０１０９】
入力画像バッファ１８内のディジタル二板画像に含まれるすべての５×５画素サイズの矩形領域に対し以上の処理が行われた後、積算平均部７４は出力画像バッファ３６ａ内の各画素Ｐの積算値及びカウンタを読み出して以下の処理を行う。
【０１１０】
まず、カウンタが「０」の場合、線形補間部７２に画素Ｐの位置を知らせる。線形補間部７２は、画素Ｐを中心とする３×３画素領域を入力画像バッファ１８より読み出し、画素Ｐに存在する色信号値はそのまま用い、欠落している色信号値は近傍内の同種の色信号値の平均値により補って、画素の３色信号値を生成する。そして、その３色信号値を積算平均部７４に転送する。積算平均部７４は転送された復元値を出力画像バッファ３６ａに書き込む。カウンタが「０」でない場合、積算平均部７４は積算値をカウンタで割って処理中に得られた複数の復元値の平均値を得、この値を出力画像バッファ３６ａに書き込む。
【０１１１】
ここまでの処理が終了すると、出力画像バッファ３６ａに色信号の欠落が補われた原ＲＧＢ画像が得られる。
【０１１２】
以上のように、本実施の形態では、入力画像バッファ１８中のディジタル二板画像からブロック抽出部６２が矩形領域をずらしつつ読み出し、パラメータ算出部２８ｂが色相関パラメータを算出する。次に、パラメータ評価部３２ｂが二板画像の各画素に存在する二種類の色信号値から色信号の復元誤差を計算することで色相関パラメータの信頼性を判断し、信頼性の高いパラメータだけをブロック復元部６８ｂに転送する。そして、ブロック復元部６８ｂが色相関パラメータに基づいてブロックの欠落色信号を全て復元して復元ブロックを生成し、積算平均部７４が復元ブロックを出力画像バッファ３６ａに積算していくことで、出力画像バッファ３６ａの各画素において信頼性の高い色相関パラメータのみに基づいて計算された複数の欠落復元値の積算値が得られる。最終的にそれらの平均値が出力画像バッファ３６ａに出力されることで、前述の第１の実施の形態と同じく色エッジ部の近辺で生じるアーティファクトが少なく画質の高い原ＲＧＢ画像を出力画像バッファ３６ａに得ることができる。本実施の形態では、入力画像が二板画像であることを利用して色相関パラメータの信頼性を確実に評価することで、第１の実施の形態における場合よりさらに効果的にアーティファクトの発生を抑えることが可能になっている。また、Ｇ色信号の局所的な分散に応じて各画素で得られる二種類の色信号のどちらを欠落色復元に用いるかを切り替えることにより、Ｇ信号が小さくＧ信号のみからの復元ではノイズの影響を受けやすい場合にも良好な復元結果を維持することができる。
【０１１３】
なお、この実施の形態には第１の実施の形態同様に様々な変形、変更が可能である。ブロック抽出部６２により抽出されるブロックの大きさ、Ｒ／Ｂ市松ＣＣＤ １４2 の色フィルタ配列やパラメータ算出部２８ｂにおける算出法は第１の実施の形態中に記載された変形が全て可能である。
【０１１４】
例えば、平均・分散評価部２４ｂにおいて平均、分散の値に基づいて色相関パラメータの信頼性を予測し、信頼性が低い場合はそれ以降の処理を行わないようにすることも、第１の実施の形態同様に可能である。また、二板撮像系の場合は注目ブロック内の色相関図を構成することが可能なため、色相関パラメータの信頼性の計算法にも種々の方法が考えられる。例えば、色相関図に２本の直線を当てはめ、単一の直線を当てはめた場合より当てはめ誤差が少ない場合は色相関パラメータの信頼性が低いと判断することもできる。さらに、第２の実施の形態のように領域分割を行ってパラメータの信頼性を上げることも容易となる。この場合、平均・分散評価部２４ｂが色相関図からHough 変換などの直線抽出手法を用いて直線を抽出し、最も当てはまりの良い直線部に対応する領域を以下の処理対象とすればよい。もっと簡単な領域分割法としては、パラメータ評価部３２ｂで注目ブロック内の各画素Ｐにおいて算出される推定誤差ｅp の符号に応じて注目ブロックを２つの部分ブロックに分割してブロックバッファ６６に書き戻し、各部分ブロックで改めてパラメータ算出部２８ｂによりパラメータ算出を行って信頼性の高い部分ブロックを以後の処理に用いるものが挙げられる。また、第２の実施の形態と同様に特徴量に基づいて領域分割を行う場合でも、特徴量として全画素に存在するＧ成分を用いればより正確な欠落色復元が可能になる。
【０１１５】
積算平均部７４やブロック復元部６８ｂにおける処理法にも種々の変形が可能である。もともとＧ色信号は欠落なく得られているので、Ｇ色信号についての積算は行なわなくてもよい。また、パラメータ評価部３２ｂではＲとＧの色相関パラメータ、ＢとＧの色相関パラメータの信頼性評価を一括して行っているが、それぞれ別々に誤差評価をし、ブロック復元部６８ｂへの色相関パラメータの転送も独立して行えば、ＲとＧの色相関が直線で近似できるがＢとＧの色相関は近似できない等のケースでもＢ色信号の欠落復元が可能になる。
【０１１６】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能である。ここで、本発明の要旨をまとめると以下のようになる。
【０１１７】
（１） 単板撮像系又は二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置において、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
上記色相関パラメータ推定手段により推定された個々の色相関パラメータの信頼性をその色相関パラメータ及びその色相関パラメータに対応する画像領域上の色信号値に基づいて評価し、信頼性の高い色相関パラメータだけを選抜するパラメータ選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、その画素に存在する色信号値と上記色相関パラメータ選抜手段により選抜された色相関パラメータのうち対応する画像領域がその画素を包含するものとに基づいてその画素の欠落色信号値を復元する復元手段と、
を具備することを特徴とする画像処理装置。
【０１１８】
この構成は、図１乃至図５に示される第１の実施の形態、並びに図９及び図１０に示される第３の実施の形態の二つが対応する。即ち、領域抽出手段は、第１の実施の形態では領域抽出部２０に対応し、第３の実施の形態ではブロック抽出部６２に対応する。色相関パラメータ推定手段は、平均・分散評価部２４，２４ｂ及びパラメータ算出部２８，２８ｂに対応する。パラメータ選抜手段は、パラメータ評価部３２，３２ｂに対応する。復元手段は、第１の実施の形態では画素復元部３４に対応し、第３の実施の形態ではブロック復元部６８ｂ及び積算平均部７４に対応する。
【０１１９】
上記のような構成によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、パラメータ選抜手段が色相関パラメータ推定手段により推定された個々のパラメータの信頼性を評価し、信頼性の高いパラメータだけを復元手段に送る。復元手段では、入力画像の各画素において、送られてきたパラメータのうちその画素に関連するものに基づいてその画素の色信号値を復元する。
【０１２０】
従って、入力画像の各画素に対し複数の画像領域が採られ、各画像領域上の色相関パラメータのうち信頼性の高いものだけが選抜されるため、信頼性の低いパラメータを用いることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の色相関パラメータから行うため、ノイズに強い復元が可能となる。
【０１２１】
（２） 単板撮像系又は二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置において、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
各画像領域上の欠落色信号値をその画像領域に対応する色相関パラメータと各画素に存在する色信号値とから復元して復元画像領域を生成する領域復元手段と、
上記領域復元手段により生成された個々の復元画像領域に対し、その復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域を選抜する復元領域選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、上記復元領域選抜手段により選抜された復元画像領域のうちその画素を含むものに基づいてその画素の欠落色信号値を復元する画素復元手段と、
を具備することを特徴とする画像処理装置。
【０１２２】
この構成は、図６乃至図８に示される第２の実施の形態が対応する。即ち、領域抽出手段は、参照画像計算部５８、参照画像バッファ６０、ブロック抽出部６２及びブロック分割部６４に対応する。色相関パラメータ推定手段は、平均・分散評価部２４ａ及びパラメータ算出部２８ａに対応する。領域復元手段はブロック復元部６８に対応し、復元領域選抜手段はアーティファクト評価部７０に対応する。そして、画素復元手段は、積算平均部７４に対応する。
【０１２３】
上記のような構成によれば、領域抽出手段が入力画像の各画素につき複数の画像領域を抽出し、抽出された個々の画像領域に対し、画像領域上の色相関を色相関パラメータ推定手段が推定してパラメータ化する。そして、推定された個々のパラメータにつき領域復元手段が対応する画像領域上の各画素における欠落色信号値を復元し、カラーの復元画像領域を生成する。この処理は各色相関パラメータと対応する画像領域上に既に存在する色信号値とに基づいて行われる。各色相関パラメータにつきこうして復元画像領域が生成されると、復元領域選抜手段は各復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域のみを選抜する。画素復元手段では、入力画像の各画素において、復元領域選抜手段により選抜された復元画像領域のうちその画素を包含するものに基づいてその画素の色信号値を復元する。
【０１２４】
従って、入力画像の各画素に対して複数の画像領域が採られ、各画像領域上の欠落色信号値がその画像領域上の色相関パラメータに基づいて復元され、信頼性が高いと判断された復元結果だけが選抜されて各画素の欠落色信号値の復元に利用されるため、信頼性の低い復元結果が利用されることにより生じるアーティファクトを抑制することができる。また、各画素の欠落色信号値の復元をその画素に関連する複数の復元結果に基づいて行うため、ノイズに強い復元が可能となる。さらに、各画像領域の復元結果を直接復元の信頼性の判定に用いるため、信頼性の評価がより確実で且つ効率的な処理が可能になる。
【０１２５】
（３） 上記領域抽出手段は、
上記ディジタル画像の各画素において色相関パラメータに関連する所定の特徴量をその画素の近傍に存在する色信号値に基づいて計算する特徴量算出手段と、上記特徴量算出手段により算出された特徴量に基づいて上記ディジタル画像の各画素の近傍を複数の画像領域に分割する分割手段とを有し、
分割された各画像領域を抽出することを特徴とする上記（１）又は（２）に記載の画像処理装置。
【０１２６】
この構成は、図１乃至図５に示される第１の実施の形態、並びに図９及び図１０に示される第３の実施の形態にも対応するが、主として図６乃至図８に示される第２の実施の形態に対応する。即ち、第２の実施の形態においては、領域抽出手段が参照画像計算部５８、参照画像バッファ６０、ブロック抽出部６２及びブロック分割部６４に対応し、そうのち特徴量算出手段が参照画像計算部５８に対応し、分割手段がブロック分割部６４に対応する。第１の形態においては、領域抽出手段、特徴量算出手段、及び分割手段はいずれも領域抽出部２０に対応する。第３の形態においては、領域抽出手段、特徴量算出手段、分割手段はいずれもブロック抽出部６２に対応する。
【０１２７】
上記のような構成によれば、領域抽出手段において、特徴量算出手段が入力画像の各画素でその画素における色相関を表す色相関パラメータに関連する特徴量を計算する。そして、分割手段が各画素の近傍を特徴量に基づいて領域分割し、分割後の各部分領域がその画素に関連する画像領域として抽出される。
【０１２８】
従って、画像領域の抽出に際し、入力画像から各画素近傍の色相関パラメータに関連の深い特徴量を算出し、その特徴量に基づいて抽出する画像領域を決定するため、抽出された各画像領域上の色相関パラメータが予め信頼性の高いものになり、アーティファクトの発生をより確実に抑えることができる。
【０１２９】
即ち、上記構成では、輝度などの入力画像から計算できる特徴を利用して、色相関に関して設けた仮定が成立する可能性の高い領域だけを積極的に取り出し、その領域の情報を用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元方法を提供することができる。
【０１３０】
（４） 上記色相関パラメータ推定手段は、色相関パラメータの推定に先立って、その色相関パラメータに対応する画像領域上に存在する色信号値に基づいてその色相関パラメータの信頼性を予測する信頼性予測手段を有し、その信頼性が高いと判断された場合にのみ色相関パラメータの推定を行うことを特徴とする上記（１）乃至（３）の何れかに記載の画像処理装置。
【０１３１】
この構成は、図６乃至図８に示される第２の実施の形態、並びに図９及び図１０に示される第３の実施の形態にも対応するが、主として図１乃至図５に示される第１の実施の形態に対応する。即ち、信頼性予測手段は、平均・分散評価部２４が対応する。
【０１３２】
上記のような構成によれば、色相関パラメータ推定手段におけるパラメータ推定において、信頼性予測手段が対象とする画像領域上の色信号値から色相関パラメータの信頼性を予測し、信頼性が低いと予測された場合は色相関パラメータの算出を行わないようにする。高いと予測された場合は推定を行う。
【０１３３】
従って、明らかに信頼性の低い色相関パラメータの算出が防げるのでアーティファクトの発生がより確実に抑えられ、処理速度も向上する。
【０１３４】
（５） 上記特徴量算出手段は、上記ディジタル画像の各画素の近傍における平均的な輝度値ないしは色相を計算して特徴量とすることを特徴とする上記（３）に記載の画像処理装置。
【０１３５】
この構成は、図６乃至図８に示される第２の実施の形態が対応する。即ち、特徴量算出手段は、参照画像計算部５８に対応する。
【０１３６】
上記のような構成によれば、特徴量算出手段が入力画像の各画素でその画素における色相関を表す色相関パラメータに関連する特徴量として各画素の近傍における平均的な輝度値ないしは色相を計算する。
【０１３７】
従って、各画素の近傍で安定的に計算でき、かつモアレの影響が少ない量である輝度値を用いることで、分割手段により分割される個々の領域に対する色相関パラメータの信頼性が向上する。また、輝度値が等しく色だけが違っているエッジ部などでは輝度値に変わって色相を特徴量とすることで同じく分割手段により分割される個々の領域に対する色相関パラメータの信頼性が向上する。
【０１３８】
即ち、上記構成では、輝度などの入力画像から計算できる特徴を利用して、色相関に関して設けた仮定が成立する可能性の高い領域だけを積極的に取り出し、その領域の情報を用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元方法を提供することができる。
【０１３９】
（６） 上記ディジタル画像は二板撮像系により得られたものであり、
上記パラメータ選抜手段は、上記色相関パラメータ推定手段により推定された色相関パラメータを用いて、その色相関パラメータに対応する画像領域上の各画素で既に存在する二種の色信号値の一方から他方を推定した場合の推定値と実際の色信号値との推定誤差を算出し、推定誤差に基づいてその色相関パラメータの信頼性を評価することを特徴とする上記（１）に記載の画像処理装置。
【０１４０】
この構成は、図９及び１０に示される第３の実施の形態が対応する。
【０１４１】
上記のような構成によれば、二板撮像系により得られた画像が入力された場合、入力画像の各画素に二種類の色信号値が得られる。パラメータ選抜手段は、色相関パラメータの信頼性の評価にあたり、まずその色相関パラメータを使って対応する画像領域の各画素に存在する色信号値の推定値を計算する。その際、各画素に存在する二種類の色信号値のうち、一方の色信号値から他方の色信号値を推定する。そして、各画素の推定値と既にその画素に存在した同種類の色信号値との誤差を計算する。
【０１４２】
そして、この誤差に基づいてその色相関パラメータの信頼性を評価し、誤差が大きいほど信頼性が低いと判断する。
【０１４３】
つまり、単板撮像系により得られた画像と異なり、二板撮像系により得られた画像には各画素で二種類の色信号値が存在する。そのため、パラメータ選抜手段が各画素で既に存在する色信号値をあえて色相関パラメータを用いて推定し、推定結果の誤差を調べることができる。その結果、色相関パラメータの信頼性評価を確実に行える。
【０１４４】
（７） 上記パラメータ選抜手段は、上記色相関パラメータの値が所定の範囲に含まれているか否かに基づいてその色相関パラメータの信頼性を評価することを特徴とする上記（１）に記載の画像処理装置。
【０１４５】
この構成は、図１乃至図５に示される第１の実施の形態、並びに図９及び図１０に示される第３の実施の形態の二つが対応する。即ち、パラメータ選抜手段は、パラメータ評価部３２，３２ｂに対応する。
【０１４６】
上記のような構成によれば、パラメータ選抜手段は、色相関パラメータの信頼性の評価をパラメータの値自身から見積もる。パラメータの値の範囲は、予め色相関パラメータの信頼性が低くなる場合の色相関パラメータの値の傾向を調べておき、色相関パラメータが十分信頼できると経験的に判断される範囲に設定されている。パラメータ選抜手段は、この範囲に色相関パラメータの値が入っているかどうか調べ、入っていなければ信頼性が低い、入っていれば信頼性が高いと判断する。
【０１４７】
従って、色相関パラメータの信頼性の評価に他のデータを必要としないので、信頼性評価が高速、簡便に行える。
【０１４８】
（８） 上記復元領域選抜手段は、上記復元画像領域から近傍の全ての画素の色信号値と大きく異なる色信号値を持つ画素を検出し、検出結果に基づいてその復元画像領域の信頼性を判断することを特徴とする上記（２）に記載の画像処理装置。
【０１４９】
この構成は、図６乃至図８に示される第２の実施の形態が対応する。即ち、復元領域選抜手段は、アーティファクト評価部７０に対応する。
【０１５０】
ここで、領域復元手段により復元された復元画像領域には、復元結果の信頼性が乏しい場合に特定のアーティファクトが現れる。このアーティファクトは、特定の画素において、その色信号値が周囲のいずれの画素の色信号値からもかけ離れた値を取るという特徴を持つ。復元領域選抜手段は復元画像領域からそのような画素を検出し、検出結果に応じて色相関パラメータの信頼性を判断する。
【０１５１】
従って、復元画像から明示的にアーティファクトの特徴を検出することにより、復元結果の信頼性を確実に評価できる。
【０１５２】
（９） 上記色相関パラメータ推定手段は、上記色相関が、二種の色信号値Ｓ，Ｔに対して式
Ｔ＝α×Ｓ＋β
を満足すると仮定し、パラメータαとβをＳとＴに関する色相関パラメータに設定することを特徴とする上記（１）乃至（８）の何れかに記載の画像処理装置。
【０１５３】
この構成は、図１乃至図５に示される第１の実施の形態、図６乃至図８に示される第２の実施の形態、並びに図９及び図１０に示される第３の実施の形態の三つが対応する。
【０１５４】
上記のような構成によれば、色相関パラメータ推定手段が、任意の二種の色信号値Ｓ，Ｔに対する色相関は式
Ｔ＝α×Ｓ＋β
を満足すると仮定し、パラメータαとβをＳとＴに関する色相関パラメータとして推定する。
【０１５５】
従って、領域抽出手段により抽出される画像領域が十分局所的な場合、色相関を表現する式として二つのパラメータを持つ一次式を用いることで、入力される画像が複数光源や鏡面反射特性を持つ物体を含む複雑な場合の色相関も表現できるようになる。その結果、色相関パラメータの信頼性が下がってアーティファクトが発生する領域の範囲を小さくできる。
【０１５６】
即ち、上記の構成では、画像の局所領域の色相関として汎用性のあるものをパラメータ表現し、画像の局所領域の統計的性質を用いて欠落色信号値の復元を行う計算方法をとることにより、入力される画像が複数光源や種々の表面反射特性を持つ物体を含む複雑なものであってもアーティファクトが少なく、また種々の撮像方式やモザイク色フィルタ配置にも対応できる柔軟性のある欠落色信号値の復元方法を提供することができる。
【０１５７】
（１０） 上記色相関パラメータ推定手段は、上記色相関パラメータを、その色相関パラメータに対応する画像領域上に存在する色信号値の統計量、特に平均値と分散、または最大値と最小値に基づいて推定することを特徴とする上記（９）に記載の画像処理装置。
【０１５８】
この構成は、図１乃至図５に示される第１の実施の形態、図６乃至図８に示される第２の実施の形態、並びに図９及び図１０に示される第３の実施の形態の三つが対応する。
【０１５９】
上記のような構成によれば、色相関パラメータ推定手段は、パラメータを推定する画像領域上の色信号値を種類別に分け、各種類ごとの平均値と分散、又は最大値と最小値を計算する。次に、各種類ごとに分散の平方根又は最大値と最小値の差を計算し、色信号値の変動の大きさを見積もる。そして、変動の大きさの比から色相関パラメータのうちのαを算出し推定値とする。次に、算出されたαと平均値又は最大値と最小値の中間値から色相関パラメータのうちのβを算出し推定値とする。
【０１６０】
従って、色相関パラメータを対応する画像領域上の色信号値に関する統計量、特に平均値と分散や最大値と最小値によって推定することで、入力画像を得るのに用いた撮像系の色フィルタ配置が限定される必要がなくなり、また色相関パラメータがノイズの影響を受けにくくなりノイズに強い欠落色信号値の復元が可能となる。
【０１６１】
【発明の効果】
以上詳述したように、本発明によれば、色相関に関して設けた仮定がある領域内で成立するかどうかを判断し、仮定が成立すると判断された領域の情報だけを用いて欠落色信号値の復元を行うことにより、画像の全ての部位でアーティファクトが生じにくく且つ高品位の画像を生成できる欠落色信号値の復元が可能な画像処理装置を提供することができる。
【０１６２】
また、本発明によれば、ある画素に対しその画素に関する複数の近傍の色相関を総合して処理を行うことにより、ノイズに強い欠落色信号値の復元が可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【図２】色相関特性を説明するための図である。
【図３】色相関パラメータとその算出法を説明するための図である。
【図４】色相関パラメータの信頼性を説明するための図である。
【図５】色相関パラメータ選抜の効果を説明するための図である。
【図６】本発明の第２の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【図７】色エッジ領域における処理を説明するための図である。
【図８】素材均一領域における処理を説明するための図である。
【図９】本発明の第３の実施の形態にかかる画像処理装置の適用された電子カメラシステムの構成を示す図である。
【図１０】色相関パラメータの信頼性評価を説明するための図である。
【符号の説明】
１０ 電子カメラ
１２ 処理装置本体
１４ 単板原色ＣＣＤ
１４1 ＧＣＣＤ
１４2 Ｒ／Ｂ市松ＣＣＤ
１６ Ａ／Ｄコンバータ
１８ 入力画像バッファ
２０ 領域抽出部
２２ 領域バッファ
２４，２４ａ，２４ｂ 平均・分散評価部
２６ フィルタ配置保持ＲＯＭ
２８，２８ａ，２８ｂ パラメータ算出部
３０ パラメータバッファ
３２，３２ｂ パラメータ評価部
３４ 画素復元部
３６，３６ａ 出力画像バッファ
５８ 参照画像計算部
６０ 参照画像バッファ
６２ ブロック抽出部
６４ ブロック分割部
６６ ブロックバッファ
６８，６８ｂ ブロック復元部
７０ アーティファクト評価部
７２ 線形補間部
７４ 積算平均部
Claims (3)
- 単板撮像系または二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置において、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
上記色相関パラメータ推定手段により推定された個々の色相関パラメータの信頼性をその色相関パラメータ及びその色相関パラメータに対応する画像領域上の色信号値に基づいて評価し、信頼性の高い色相関パラメータだけを選抜するパラメータ選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、その画素に存在する色信号値と上記色相関パラメータ選抜手段により選抜された色相関パラメータのうち対応する画像領域がその画素を包含するものとに基づいてその画素の欠落色信号値を復元する復元手段と、
を具備することを特徴とする画像処理装置。 - 単板撮像系または二板撮像系により得られた、各画素について１種類以上の色信号値が欠落しているディジタル画像を入力し、各画素の欠落色信号値を推定してカラーディジタル画像を出力する画像処理装置において、
上記色信号値が欠落しているディジタル画像から各画素につき複数の相異なる画像領域を抽出する領域抽出手段と、
上記領域抽出手段により抽出された個々の画像領域に対し、その画像領域上の色相関を表す色相関パラメータを、その画像領域上に存在する色信号値に基づいて推定する色相関パラメータ推定手段と、
各画像領域上の欠落色信号値をその画像領域に対応する色相関パラメータと各画素に存在する色信号値とから復元して復元画像領域を生成する領域復元手段と、
上記領域復元手段により生成された個々の復元画像領域に対し、その復元画像領域上の色信号値に基づいて復元結果の信頼性を評価し、信頼性が高いと評価された復元画像領域を選抜する復元領域選抜手段と、
上記色信号値が欠落しているディジタル画像の各画素に対し、上記復元領域選抜手段により選抜された復元画像領域のうちその画素を含むものに基づいてその画素の欠落色信号値を復元する画素復元手段と、
を具備することを特徴とする画像処理装置。 - 上記領域抽出手段は、
上記ディジタル画像の各画素において色相関パラメータに関連する所定の特徴量をその画素の近傍に存在する色信号値に基づいて計算する特徴量算出手段と、
上記特徴量算出手段により算出された特徴量に基づいて上記ディジタル画像の各画素の近傍を複数の画像領域に分割する分割手段とを有し、
分割された各画像領域を抽出することを特徴とする請求項１又は２に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01532598A JP3914628B2 (ja) | 1998-01-28 | 1998-01-28 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01532598A JP3914628B2 (ja) | 1998-01-28 | 1998-01-28 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11215512A JPH11215512A (ja) | 1999-08-06 |
| JP3914628B2 true JP3914628B2 (ja) | 2007-05-16 |
Family
ID=11885631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01532598A Expired - Fee Related JP3914628B2 (ja) | 1998-01-28 | 1998-01-28 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3914628B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4019417B2 (ja) | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7164807B2 (en) * | 2003-04-24 | 2007-01-16 | Eastman Kodak Company | Method and system for automatically reducing aliasing artifacts |
| JP4610930B2 (ja) | 2003-06-05 | 2011-01-12 | オリンパス株式会社 | 画像処理装置、画像処理プログラム |
| JP4305071B2 (ja) | 2003-06-30 | 2009-07-29 | 株式会社ニコン | 信号補正方法 |
| US7719575B2 (en) | 2003-12-22 | 2010-05-18 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processing apparatus and pixel signal processing method |
| JP4583871B2 (ja) * | 2004-10-18 | 2010-11-17 | 三菱電機株式会社 | 画素信号生成装置、撮像装置および画素信号生成方法 |
| JP5035585B2 (ja) * | 2005-04-27 | 2012-09-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5452242B2 (ja) * | 2010-01-15 | 2014-03-26 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 |
| JP5035646B2 (ja) * | 2010-07-20 | 2012-09-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5105215B2 (ja) * | 2011-07-25 | 2012-12-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
-
1998
- 1998-01-28 JP JP01532598A patent/JP3914628B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11215512A (ja) | 1999-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180130183A1 (en) | Video capture devices and methods | |
| JP4184802B2 (ja) | 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法 | |
| Lukáš et al. | Detecting digital image forgeries using sensor pattern noise | |
| US7916937B2 (en) | Image processing device having color shift correcting function, image processing program and electronic camera | |
| US7499089B2 (en) | Color interpolation method in bayer array | |
| KR100974835B1 (ko) | 이미지 정보를 필터링하기 위한 적응형 이미지 필터 | |
| TWI333381B (ja) | ||
| US20140204179A1 (en) | Depth-sensing camera system | |
| JP4861667B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR100667803B1 (ko) | 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치 | |
| WO2011158572A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| EP1389771A2 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
| JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
| US20020126892A1 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning Kernel | |
| EP1781043A1 (en) | Image processor and computer program product | |
| JP3914628B2 (ja) | 画像処理装置 | |
| US7239758B2 (en) | Signal processing device for reducing noise of image signal, signal processing program, and signal processing method | |
| US7986361B2 (en) | Color processing apparatus and method thereof for generating an interpolated image | |
| JP4178919B2 (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| Yang et al. | Quality evaluation of color demosaicing according to image resolution | |
| US20200005434A1 (en) | Video capture devices and methods | |
| KR100816299B1 (ko) | 허위 색 억제 장치 및 방법 | |
| WO2017125162A1 (en) | Method and device for demosaicing of color images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |