WO2002056604A1

WO2002056604A1 - Dispositif de traitement d'images

Info

Publication number: WO2002056604A1
Application number: PCT/JP2002/000036
Authority: WO
Inventors: Tomoo Mitsunaga; Seiji Kobayashi; Hiroaki Ono
Original assignee: Sony Corporation
Priority date: 2001-01-09
Filing date: 2002-01-09
Publication date: 2002-07-18
Also published as: EP1357760A1; EP2381688A2; US7847829B2; EP1357760B1; USRE46557E1; USRE47062E1; US20080267526A1; EP2381688B1; JP5007767B2; EP2768223A2; US7986360B2; US20040109068A1; JP2008125117A; JP2011087317A; EP2381688A3; EP2768223A3; JP4674607B2; EP2768223B1; JPWO2002056604A1; EP2768223B8

Description

明細書

画像処理装置技術分野

本発明は、画像処理装置に関し、例えば、単板式 CCDイメージセンサ等を用いて取得した画像信号から、広ダイナミックレンジのカラー画像信号を生成する場合に用いて好適な画像処理装置に関する。背景技術

CCD (Charge Coupled Device)や CMOS (Complementary Mental-Oxide Semiconau ctor)等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、 F A (Factory Automation)の分野における部品検査装置、および M E (M edical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。

従来、固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する方法が知られている。以下、そのような第 1乃至第 4の従来方法について説明する。第 1の従来方法としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる。この方法は、特開平 8 _ 2 2 3 4 9 1号公報等に開示されている。しかしながら、第 1の方法では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化ゃ省スペース化の面で不利である問題があつた。

第 2の従来方法としては、 1つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、それらを合成する方法を挙げることができる。この方法は、特開平 8— 3 3 1 4 6 1号公報等に開示されている。しかしながら、第 2の方法では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。

第 3の従来方法としては、 1つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を 1組として、受光素子の 1組を出力画像の 1 画素に対応させるようにし、 1組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる。この方法は、米国特許第 5 7 8 9 7 3 7号公報に開示されている。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。また、特開 2 0 0 0— 6 9 4 9 1号公報には、第 3の従来方法をカラー画像に適応する技術が開示されている。

第 3の従来方法によれば、第 1の従来方法において問題であった省コスト化ゃ省スペース化の面で有利となる。また、第 2の従来方法において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第 3の従来方法では、隣接する'複数の受光素子を 1組として出力画像の 1画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ュニットセルサイズが大きくなる課題があった。

第 4の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の 1画素に対応する 1つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。この方法は、文献「S. K. Nayar and T. Mitsunaga, High Dynamic Range Imaging '- Spatially Varying Pix el Exposures , Proc. of Computer Vision and Pattern Recognition 2000, Vol. 1, pp. 472-479, June, 2000」に開示されている。

第 4の従来方法では、各受光素子は 1種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、 1つの受光素子が出力画像の 1画素に対応しているので、ュ-ットセルサイズが大きくなる問題も生じない。

上述したように、第 4の従来方法は、第 1乃至第 3の従来方法の問題を解決することが可能である。しかしながら、第 4の従来方法は、モノクロ画像を生成することを前提としたものであり、カラー画像を生成することについては、その技術が確立されていない課題があった。具体的には、画素毎に色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化する技術は従来確立されていない課題があつた。発明の開示

本発明はこのような状況に鑑みてなされたものであり、画素毎に色や感度が異なる色 ·感度モザイク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を生成できるようにすることを目的とする。

本発明の第 1の画像処理装置は、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色■感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元手段を含むことを特徴とする。

前記復元手段は、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、およぴ色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成手段と、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成手段とを含むことができる。

前記輝度画像生成手段は、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定手段と、複数の推定手段がそれぞれ算出した複数の推定値を用いて、色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出手段とを含むことができる。

前記推定手段は、複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、複数の推定値候補を加算して、その和に生じている感度特性の非線形性を補償することによって推定値を算出するようにすることができる。

前記輝度画像生成手段は、輝度候補値のノィズ成分を除去して輝度値を生成するノイズ除去手段をさらに含むことができる。

前記単色画像生成手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する単色画像候捕を生成する単色画像候補生成手段と、輝度画像に基づき、単色画像候補を修正して単色画像を生成する修正手段とを含むことができる。

前記単色画像候補生成手段は、複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、複数の単色候補値を加算して、その和に生じている感度特性の非線形性を補償することにより、単色画像候補の画素値を算出して単色画像候補を生成するようにすることができる。

前記単色画像候補生成手段は、方向選択的平滑化処理を用いて、色 ·感度モザイク画像に対応する単色画像候補を生成するようにすることができる。

本発明の第 1の画像処理装置は、被写体を撮像し、色 ·感度モザィク画像を生成する撮像手段をさらに含むことができる。

前記復元手段は、色 ·感度モザイク画像の感度特性の配列を示す感度モザィクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化手段と、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間手段とを含むことができる。

前記感度特性均一化手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色補間手段は、色モザィクパターン情報に基づき、色モザィク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザィク画像を生成するようにすることができる。

前記感度特性均一化手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザイクパターン情報を更新するようにすることができる。

前記感度均一化手段は、感度モザイクパターン情報に基づき、色 ·感度モザィク画像の各画素が有する色成分を補償する補償手段と、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別手段と、判別手段の判別結果に対応して、補償手段が補償した各画素が有する色成分を補間処理によって修正する修正手段とを含むことができる。

前記感度均一化手段は、感度モザイクパターン情報に基づき、色 ·感度モザィク画像の推定画素値を算出する算出手段と、算出手段が算出した推定画素値を捕正する補正手段とを含むことができる。

前記色補間手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 '感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を捕間して各色成分の感度モザイク画像を生成するようにすることができ、前記感度特性均一化手段は、感度モザイクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色補間手段は、色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手段と、抽出手段が抽出した各画素に対し、全ての色成分を補間する全色成分捕間手段と、全色成分補間手段が全ての色成分を補間した画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザィク画像を生成する合成手段とを含むことができる。

本発明の第 1の画像処理方法は各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色'感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを含むことを特徴とする。

前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色 ·感度モザイク画像の色成分の配列を示す色モザィクパターン情報に基づき、色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、複数の推定ステップの処理でそれぞれ算出された複数の推定値を用いて、色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、複数の推定値候補を加算して、その和に生じている感度特性の非線形性を補償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、輝度候補値のノイズ成分を除去して輝度値を生成するノィズ除去ステツプをさらに含むことができる。

前記単色画像生成ステップは、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成ステップと、輝度画像に基づき、単色画像候補を修正して単色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、複数の単色候補値を加算して、その和に生じている感度特性の非線形性を補償することにより、単色画像候補の画素値を算出して単色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 1の画像処理方法は、被写体を撮像し、色 '感度モザイク画像を生成する撮像ステップをさらに含むことができる。

前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色補間ステップの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザイク画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザィクパターン情報を更新するようにすることができる。

前記感度均一化ステップは、度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別手段の判別結果に対応して、補償ステップの処理で補償された各画素が有する色成分を補間処理によって修正する修正ステップとを含むことができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 '感度モザイク画像の推定画素値を算出する算出ステップと、算出ステップの処理で算出された推定画素値を補正する補正ステップとを含むことができる。

前記色捕間ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザィク画像を生成するようにすることができ、前記感度特性均一化ステップの処理は、感度モザィクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色補間ステップは、色 '感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、全色成分補間ステップの処理で全ての色成分が捕間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 1の記録媒体のプログラムは、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを含むことを特徴とする。

前記復元ステップは、色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色■感度モザイク画像の色成分の配列を示す色モザィクパターン情報に基づき、色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、および輝度画像に基づき、色■感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、複数の推定ステップの処理でそれぞれ算出された複数の '推定値を用いて、色■感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、複数の感度特性にそれぞれ対応する複数の推定値候捕を算出し、複数の推定値候補を加算して、その和に生じている感度特性の非線形性を補償することによって推定値を算出するようにすることが.できる。前記輝度画像生成ステップは、輝度候補値のノイズ成分を除去して輝度値を生成するノイズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成ステップと、輝度画像に基づき、単色画像候補を修正して単色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、複数の単色候補値を加算して、その和に生じている感度特性の非線形性を捕償することにより、単色画像候補の画素値を算出して単色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 1の記録媒体のプログラムは、被写体を撮像し、色 ·感度モザィク画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色 '感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色補間ステップの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザイク画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザイクパターン情報を更新するようにすることができる。

前記感度均一化ステップは、度モザイクパターン情報に基づき、色 '感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別手段の判別結果に対応して、補償ステップの処理で補償された各画素が有する色成分を補間処理によって修正する修コ含むことができる。

前記色捕間ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 '感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成するようにすることができ、前記感度特性均一化ステップの処理は、感度モザィクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色補間ステップは、色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステツプの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、全色成分補間ステップの処理で全ての色成分が補間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 1のプログラムは、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色'感度モザィク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップをコンピュータに実行させることを特徴とする。

前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色 ·感度モザイク画像の色成分の配列を示す色モザィクパターン情報に基づき、色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、および輝度画像に基づき、色，感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップをさらに含むことができる。

前記単色画像生成ステップは、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成ステップと、輝度画像に基づき、単色画像候補を修正して単色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、複数の感度特性にそれぞれ対応する複数の単色候捕値を算出し、複数の単色候補値を加算して、その和に生じている感度特性の非線形性を補償することにより、単色画像候補の画素値を算出して単色画像候補を生成するようにすることができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザィク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 1のプログラムは、被写体を撮像し、色 ·感度モザイク画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。

前記復元ステップは、色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色 .感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色補間ステップの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザィク画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザイクパターン情報を更新するようにすることができる。

前記感度均一化ステップは、度モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別手段の判別結果に対応して、捕償ステップの処理で補償された各画素が有する色成分を補間処理によって修正する修正ステップとを含むことができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 .感度モザイク画像の推定画素値を算出する算出ステップと、算出ステップの処理で算出された推定画素値を補正する補正ステップとを含むことができる。

前記色補間ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザィク画像を生成するようにすることができ、前記感度特性均一化ステップの処理は、感度モザィクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色補間ステップは、色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分捕間ステップと、全色成分補間ステップの処理で全ての色成分が補間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 2の画像処理装置は、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元手段を含むことを特徴とする。

前記復元手段は、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色 '感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成手段と、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成手段とを含むことができる。

前記輝度画像生成手段は、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定手段と、複数の推定手段がそれぞれ算出した複数の推定値を用いて、色■感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出手段とを含むことができる。

前記推定手段は、複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、複数の推定値候補を加算して、その和に生じている感度特性の非線形性を捕償することによって推定値を算出するようにすることができる。

前記単色画像生成手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成手段と、輝度画像に基づき、単色画像候補を修正して単色画像を生成する修正手段とを含むことができる。

前記単色画像候補生成手段は、複数の感度特性にそれぞれ対応する複数の単色候捕値を算出し、複数の単色候補値を加算して、その和に生じている感度特性の非線形性を補償することにより、単色画像候補の画素値を算出して単色画像候補を生成するようにすることができる。

前記単色画像候補生成手段は、方向選択的平滑化処理を用いて、色■感度モザイク画像に対応する単色画像候補を生成するようにすることができる。

本発明の第 2の画像処理装置は、被写体を撮像し、色■感度モザイク画像を生成する撮像手段をさらに含むことができる。

前記復元手段は、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化手段と、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間手段とを含むことができる。

前記感度特性均一化手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 '感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色補間手段は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザイク画像を生成するようにすることができる。

前記感度特性均一化手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザイクパターン情報を更新するようにすることができる。

前記感度均一化手段は、感度モザイクパターン情報に基づき、色■感度モザィク画像の各画素が有する色成分を補償する補償手段と、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別手段と、判別手段の判別結果に対応して、補償手段が補償した各画素が有する色成分を補間処理によって修正する修正手段とを含むことができる。

前記感度均一化手段は、感度モザイクパターン情報に基づき、色■感度モザィク画像の推定画素値を算出する算出手段と、算出手段が算出した推定画素値を補正する補正手段とを含むことができる。

前記色補間手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素に対し、その感度特性を変更するこ -となく、全ての色成分を補間して各色成分の感度モザイク画像を生成するようにすることができ、前記感度特性均一化手段は、感度モザイクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。.

前記色補間手段は、色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手段と、抽出手段が抽出した各画素に対し、全ての色成分を補間する全色成分補間手段と、全色成分補間手段が全ての色成分を補間した画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザィク画像を生成する合成手段とを含むことができる。

本発明の第 2の画像処理方法は、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色■感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを含むことを特徴とする。

前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色 '感度モザイク画像の色成分の配列を示す色モザィクパターン情報に基づき、色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、感度モザィクパターン情報、色モザィクパターン情報、および輝度画像に基づき、色■感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことができる。

前記推定ステップの処理は、複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、複数の推定値候補を加算して、その和に生じている感度特性の非線形性を補償することによって推定値を算出するようにすることができる。前記輝度画像生成ステップは、輝度候補値のノイズ成分を除去して輝度値を生成するノイズ除去ステップをさらに含むことができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 2の画像処理方法は、被写体を撮像し、色 ·感度モザイク画像を生成する撮像ステップをさらに含むことができる。

前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色捕間ステツプの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザィク画像を生成し、色モザィクパターン情報を更新するようにすることができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 '感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別手段の判別結果に対応して、補償ステップの処理で捕償された各画素が有する色成分を捕間処理によつて修正する修正ステツプとを含むことができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の推定画素値を算出する算出ステップと、算出ステップの処理で算出された推定画素値を補正する補正ステップとを含むことができる。

前記色補間ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 '感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザィク画像を生成するようにすることができ、前記感度特性均一化ステップの処理は、感度モザィクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色補間ステップは、色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、全色成分補間ステップの処理で全ての色成分が補間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 2の記録媒体のプログラムは、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを含むことを特徴とする。

前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色■感度モザイク画像の色成分の配列を示す色モザィクパターン情報に基づき、色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステツプと、感度モザィクパターン情報、色モザィクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、複数の推定ステップの処理でそれぞれ算出された複数の推定値を用いて、色 '感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記輝度画像生成ステップは、輝度候補値のノィズ成分を除去して輝度値を生成するノイズ除去ステップをさらに含むことができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 2の記録媒体のプログラムは、被写体を撮像し、色 '感度モザイク画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色補間ステツプの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザィクパターン情報を更新するようにすることができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 '感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別手段の判別結果に対応して、補償ステップの処理で補償された各画素が有する色成分を捕間処理によつて修正する修正ステツプとを含むことができる。

前記色補間ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 '感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザィク画像を生成するようにすることができ、前記感度特性均一化ステップの処理は、感度モザィクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色捕間ステップは、色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、全色成分補間ステップの処理で全ての色成分が補間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 2のプログラムは、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を復元する復元ステップをコンピュータに実行させることを特徴とする。前記復元ステップは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、およぴ色 ·感度モザイク画像の色成分の配列を示す色モザィクパターン情報に基づき、色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことができる。

前記輝度画像生成ステップは、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、複数の推定ステップの処理でそれぞれ算出された複数の推定値を用いて、色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップとを含むことができる。前記推定ステップの処理は、複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、複数の推定値候補を加算して、その和に生じている感度特性の非線形性を補償することによって推定値を算出するようにすることができる。

前記単色画像生成ステップは、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する単色画像候捕を生成する単色画像候補生成ステップと、輝度画像に基づき、単色画像候補を修正して単色画像を生成する修正ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 2のプログラムは、被写体を撮像し、色 '感度モザイク画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。

前記復元ステップは、色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップとを含むことができる。前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザィク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色補間ステツプの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザィク画像を生成するようにすることができる。 '

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 '感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別手段の判別結果に対応して、補償ステップの処理で補償された各画素が有する色成分を捕間処理によつて修正する修正ステップとを含むことができる。

前記色補間ステップは、色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、全色成分補間ステップの処理で全ての色成分が捕間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 3の画像処理装置は、色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化手段と、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間手段とを含むことを特徴とする。

前記感度特性均一化手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色補間手段は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化手段は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザィク画像を生成するようにすることができる。

前記感度特性均一化手段は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色，感度モザイク画像の各画素が有する感度特性を均一化して色モザィク画像を生成し、色モザィクパターン情報を更新するようにすることができる。

前記感度均一化手段は、感度モザイクパターン情報に基づき、色 ·感度モザィク画像の推定画素値を算出する算出手段と、算出手段が算出した推定画素値を補正する補正手段とを含むことができる。前記色補間手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成するようにすることができ、前記感度特性均一化手段は、感度モザイクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色補間手段は、色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手段と、抽出手段が抽出した各画素に対し、全ての色成分を補間する全色成分補間手段と、全色成分補間手段が全ての色成分を補間した画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザィク画像を生成する合成手段とを含むことができる。

本発明の第 3の画像処理装置は、被写体を撮像し、色■感度モザイク画像を生成する撮像手段をさらに含むことができる。

本発明の第 3の画像処理方法は、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色■感度モザイク画像の色成分の配列を示す色モザィクパターン情報に基づき、各画素の色成分を補間する色補間ステップとを含むことを特徴とする。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 .感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色補間ステツプの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 .感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザイク画像を生成するようにすることができる。前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザイクパターン情報を更新するようにすることができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 '感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別ステップの処理での判別結果に対応して、補償ステツプの処理で補償された各画素が有する色成分を補間処理によって修正する修正ステップとを含むことができる。

前記色捕間ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成するようにすることができ、前記感度特性均一化ステップの処理は、感度モザィクパターン情報に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

前記色補間ステップは、色 '感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、全色成分補間ステップの処理で全ての色成分が補間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 3の画像処理方法は、被写体を撮像し、色 ·感度モザイク画像を生成する撮像ステップをさらに含むことができる。本発明の第 3の記録媒体のプログラムは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を捕間する色補間ステップとを含むことを特徴とする。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成するようにすることができ、前記色捕間ステツプの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して色モザィク画像を生成するようにすることができる。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、色モザイクパターン情報を更新するようにすることができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 .感度モザイク画像の各画素が有する色成分を補償する補償ステップと、感度モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別ステップの処理での判別結果に対応して、補償ステップの処理で補償された各画素が有する色成分を補間処理によつて修正する修正ステップとを含むことができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 .感度モザイク画像の推定画素値を算出する算出ステップと、算出ステップの処理で算出された推定画素値を補正する補正ステップとを含むことができる。前記色補間ステップの処理は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザィク画像を生成するようにすることができ、前記感度特性均一化ステップの処理は、感度モザィクパターン情幸に基づき、感度モザイク画像の各画素が有する感度特性を均一化して復元画像を生成するようにすることができる。

本発明の第 3の記録媒体のプログラムは、被写体を撮像し、色 ·感度モザイク画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。本発明の第 3のプログラムは、色 .感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップとをコンビュータに実行させることを特徴とする。

前記感度特性均一化ステップの処理は、感度モザイクパターン情報、およぴ色モザイクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザィク画像を生成するようにすることができ、前記色捕間ステツプの処理は、色モザイクパターン情報に基づき、色モザイク画像の各画素の色成分を補間して復元画像を生成するようにすることができる。

前記感度均一化ステップは、感度モザイクパターン情報に基づき、色 ·感度モザィク画像の各画素が有する色成分を補償する補償ステツプと、感度モザィクパターン情報に基づき、色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、判別ステップの処理での判別結果に対応して、補償ステップの処理で補償された各画素が有する色成分を補間処理によつて修正する修正ステップとを含むことができる。

前記色補間ステップは、色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステップと、抽出ステツプの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、全色成分補間ステップの処理で全ての色成分が捕間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して感度モザイク画像を生成する合成ステップとを含むことができる。

本発明の第 3のプログラムは、被写体を撮像し、色 '感度モザイク画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。

本発明の第 4の画像処理装置は、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成手段と、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成手段とを含むことを特徴とする。

前記輝度画像生成手段は、色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定手段と、複数の推定手段がそれぞれ算出した複数の推定値を用いて、色■感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出手段とを含むことができる。

前記輝度画像生成手段は、輝度候補値のノイズ成分を除去して輝度値を生成するノイズ除去手段をさらに含むことができる。

前記単色画像生成手段は、感度モザイクパターン情報、および色モザイクパターン情報に基づき、色■感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成手段と、輝度画像に基づき、単色画像候補を修正して単色画像を生成する修正手段とを含むことができる。

本発明の第 4の画像処理装置は、被写体を撮像し、色 '感度モザイク画像を生成する撮像手段をさらに含むことができる。

本発明の第 4の画像処理方法は、色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことを特徴とする。

前記輝度画像生成ステップは、色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、複数の推定ステップの処理でそれぞれ算出された複数の推定値を用いて、色 '感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記推定ステップの処理は、複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、複数の推定値候補を加算して、その和に生じている感度特性の非線形性を捕償することによって推定値を算出するようにすることができる。

前記輝度画像生成ステップは、輝度候補値のノイズ成分を除去して輝度値を生成するノイズ除去ステップをさらに含むことができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 - 感度モザィク画像に対応する単色画像候補を生成するようにすることができる。本明の第 4の画像処理方法は、被写体を撮像し、色 ·感度モザイク画像を生成する撮像ステップをさらに含むことができる。

本発明の第 4の記録媒体のプログラムは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、およぴ色 '感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 '感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことを特徴とする。前記輝度画像生成ステップは、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステツプと、複数の推定ステップの処理でそれぞれ算出された複数の推定値を用いて、色，感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 · 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 4の記録媒体のプログラムは、被写体を撮像し、色 .感度モザイク画像を生成する処理を制御する撮像制御ステツプをさらに含むことができる。本発明の第 4のプログラムは、色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとをコンピュータに実行させることを特徴とする。

前記輝度画像生成ステップは、色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、複数の推定ステップの処理でそれぞれ算出された複数の推定値を用いて、色■感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップとを含むことができる。

前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、色 · 感度モザイク画像に対応する単色画像候補を生成するようにすることができる。本発明の第 4のプログラムは、被写体を撮像し、色 '感度モザイク画像を生成する処理を制御する撮像制御ステップをさらに含むことができる。

本発明の第 1の画像処理装置および方法、並びにプログラムにおいては、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分おょぴ感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像が復元される。

本発明の第 2の画像処理装置および方法、並びにプログラムにおいては、各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分おょぴ感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 - 感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像が復元される。

本発明の第 3の画像処理装置および方法、並びにプログラムにおいては、色感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性が均一化され、色 '感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分が補間される。

本発明の第 4の画像処理装置および方法、並びにプログラムにおいては、色 ' 感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、色 ·感度モザイク画像に対応する輝度画像が生成され、感度モザイクパターン情報、色モザイクパターン情報、および輝度画像に基づき、色 .感度モザイク画像に対応する単色画像が生成される。図面の簡単な説明

図 1は、本発明を適用したディジタルスチルカメラの構成例を示すプロック図である。

図 2は、ディジタルスチルカメラの動作の概要を説明する図である。

図 3は、被写体の一例を示す図である。

図 4は、図 3に対応する色 ·感度モザイク画像の一例を示す図である。

図 5は、色 '感度モザイクパターン P 1を示す図である。

図 6は、色 ·感度モザイクパターン P 2を示す図である。

図 7は、色 ·感度モザイクパターン P 3を示す図である。

図 8は、色 -感度モザイクパターン P 4を示す図である。

図 9は、色 '感度モザイクパターン P 5を示す図である。

図 1 0は、色 '感度モザイクパターン P 6を示す図である。

図 1 1は、色 ·感度モザイクパターン P 7を示す図である。

図 1 2は、色 '感度モザイクパターン P 8を示す図である。

図 1 3は、色 .感度モザイクパターン P 9を示す図である。

図 1 4は、色 '感度モザイクパターン P 1 0を示す図である。

図 1 5は、色 '感度モザイクパターン P 1 1を示す図である。

図 1 6は、色 '感度モザイクパターン P 1 2を示す図である。

図 1 7は、色■感度モザイクパターン P 1 3を示す図である。

図 1 8は、色 '感度モザイクパターン P 1 4を示す図である。

図 1 9は、 CCDイメージセンサ 4の受光素子の断面を示す図である。

図 2 0は、感度のモザイク配列を光学的に実現する方法を説明するための図である。

図 2 1は、感度のモザイク配列を光学的に実現する方法を説明するための図であ ·ο。

図 2 2は、感度のモザイク配列を光学的に実現する方法を説明するための図である。

図 2 3は、感度のモザイク配列を電子的に実現する第 1の方法を説明するための図である。

図 2 4は、感度のモザイク配列を電子的に実現する第 2の方法を説明するための図である。

図 2 5は、 O R型の電極構造を示す図である。

図 2 6は、 O R型の電極構造の断面を示す図である。

図 2 7は、 AND型の電極構造を示す図である。

図 2 8は、色 .感度モザイクパターン P 1を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 2 9は、色 .感度モザイクパターン P 2を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 0は、色 '感度モザイクパターン P 3を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 1は、色 ·感度モザイクパターン P 4を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 2は、色■感度モザイクパターン P 5を実現する O R型の電極構造と AND 型の電極構造の組み合わせを示す図である。

図 3 3は、画素の位置座標の定義を説明するための図である。

図 3 4は、第 1のデモザイク処理の概要を説明するための図である。

図 3 5は、第 1のデモザイク処理における第 1の感度均一化処理の概要を説明するための図である。

図 3 6は、第 1のデモザイク処理における第 1の感度均一化処理の概要を説明するための図である。

図 3 7は、第 1のデモザイク処理における第 1の感度均一化処理の概要を説明するための図である。

図 3 8は、第 1のデモザイク処理における第 2の感度均一化処理の概要を説明するための図である。

図 3 9は、第 1のデモザイク処理における第 2の感度均一化処理の概要を説明するための図である。

図 4 0は、第 2のデモザイク処理の概要を説明するための図である。

図 4 1は、第 2のデモザイク処理における第 1の感度均一化処理の概要を説明するための図である。

図 4 2は、第 2のデモザイク処理における第 1の感度均一化処理の概要を説明するための図である。

図 4 3は、第 2のデモザィク処理における第 2の感度均一化処理の概要を説明するための図である。

図 4 4は、第 2のデモザイク処理における第 2の感度均一化処理の概要を説明するための図である。

図 4 5は、画像処理部 7の第 1の構成例を示すプロック図である。

図 4 6は、感度均一化部 5 1の第 1の構成例を示すブロック図である。

図 4 7は、色補間部 5 2の構成例を示すプロック図である。

図 4 8は、色差画像生成部 7 2の構成例を示すブロック図である。

図 4 9は、輝度画像生成部 7 4の構成例を示すブロック図である。

図 5 0は、画像処理部 7の第 1の構成例による第 1のデモザイク処理を説明するフローチヤ一トである。

図 5 1は、感度均一化部 5 1の第 1の構成例による第 1の感度均一化処理を説明するフローチヤ一トである。

図 5 2は、ステップ S 1 1の感度補償処理を説明するフローチャートである。図 5 3は、ステップ S 1 2の有効性判別処理を説明するフローチャートである。図 5 4は、ステップ S 1 3の欠落補間処理を説明するフローチャートである。図 5 5は、ステップ S 2の色補間処理を説明するフローチャートである。

図 5 6は、ステップ S 5 2の第 1の色差画像生成処理を説明するフローチヤ一トである。図 5 7は、ステップ S 5 3の輝度画像生成処理を説明するローチャートである。図 5 8は、ステップ S 5 4の色空間変換処理を説明するフローチャートである。図 5 9は、感度均一化部 5 1の第 2の構成例を示すプロック図である。

図 6 0は、感度均一化部 5 1の第 2の構成例による第 2の感度均一化処理を説明するフローチャートである。

図 6 1は、ステップ S 1 0 3の補間処理を説明するフローチヤ一トである。図 6 2は、第 2の色差画像生成処理を説明するフローチヤ一トである。

図 6 3は、ステップ S 1 2 3の画像勾配べクトル演算処理を説明するフローチヤートである。

図 6 4は、画像処理部 7の第 2の構成例を示すブロック図である。

図 6 5は、感度均一化部 1 1 1の第 1の構成例を示すブロック図である。

図 6 6は、欠落捕間部 1 2 4の欠落補間処理を説明するフローチャートである。図 6 7は、感度均一化部 1 1 1の第 2の構成例を示すプロック図である。

図 6 8は、感度均一化部 1 1 1の第 2の構成例による第 2のデモザイク処理における第 2の感度均一化処理を説明するフローチャートである。

図 6 9は、ステップ S 1 6 3の補間色決定処理を説明するフローチャートである。

図 7 0は、第 3のデモザイク処理の概要を説明するための図である。

図 7 1は、第 3のデモザイク処理における感度別色捕間処理の概要を説明するための図である。

図 7 2は、第 3のデモザイク処理における感度別色捕間処理の概要を説明するための図である。

図 7 3は、画像処理部 7の第 3の構成例を示すプロック図である。

図 7 4は、感度別色補間部 1 5 1の構成例を示すプロック図である。

図 7 5は、感度均一化部 1 5 2の構成例を示すブロック図である。

図 7 6は、画像処理部 7の第 3の構成例による第 3のデモザイク処理を説明するフローチヤ一トである。図 7 7は、ステップ S 1 8 1の感度別色補間処理を説明するフローチャートである。

図 7 8は、ステップ S 1 9 3の抽出処理を説明するための図である。

図 7 9は、ステップ S 1 9 3の抽出処理を説明するための図である。

図 8 0は、ステップ S 1 8 2の感度均一化処理を説明するフローチャートである。

図 8 1は、ステップ S 2 0 3の局所和算出処理において用いるフィルタ係数の例を示す図である。

図 8 2は、画像処理部 7の打 1 4の構成例を示すブロック図である。

図 8 3は、輝度画像生成部 1 8 1の第 1の構成例を示すプロック図である。図 8 4は、単色画像生成部 1 8 2の構成例を示すブロック図である。

図 8 5は、画像処理部 7の第 4の構成例による第 4のデモザイク処理を説明するフローチヤ一トである。

図 8 6は、輝度画像生成部 1 8 1の輝度画像生成処理を説明するフローチヤ一トである。

図 8 7は、推定部 1 9 1の R成分推定処理を説明するフローチャートである。図 8 8は、 R， B成分用補間フィルタ係数の一例を示す図である。

図 8 9は、 G成分用補間フィルタ係数の一例を示す図である。

図 9 0は、合成感度補償 LUTについて説明するための図である。

図 9 1は、合成感度補償 LUTについて説明するための図である。

図 9 2は、合成感度補償 LUTについて説明するための図である。

図 9 3は、ノイズ除去部 1 9 8のノイズ除去処理を説明するフローチヤ一トである。

図 9 4は、ノイズ除去部 1 9 8の方向選択的平滑化処理を説明するフローチヤートである。

図 9 5は、単色画像生成部 1 8 2の単色画像生成処理を説明するフローチヤ一トである。図 9 6は、比率値算出部 2 0 2の比率値算出処理を説明するフローチヤ一トである。

図 9 7は、平滑化フィルタ係数の一例を示す図である。

図 9 8は、輝度画像生成部 1 8 1の第 2の構成例を示すプロック図である。図 9 9は、推定部 2 1 1による R G B成分の推定処理を説明するフローチヤ一トである。

図 1 0 0は、推定画素値 C 0補間処 Sに用いる画素の配置を示す図である。図 1 0 1は、推定画素値 C 0補間処理を説明するフローチャートである。図 1 0 2は、推定画素値 C 1捕間処理に用いる画素の配置を示す図である。図 1 0 3は、推定画素値 C 1捕間処理を説明するフローチャートである。図 1 0 4 Aは、推定画素値 C 2補間処理に用いる画素の配置を示す図である。図 1 0 4 Bは、推定画素値 C 2補間処理に用いる画素の配置を示す図である。図 1 0 5は、推定画素値 C 2補間処理を説明するフローチャートである。図 1 0 6は、推定画素値 C 3補間処理に用いる画素の配置を示す図である。図 1 0 7は、推定画素値 C 3捕間処理を説明するフローチャートである。図 1 0 8は、補間部 2 0 1一 Rによる R候補画像生成処理を説明するフローチヤートである。

図 1 0 9は、補間部 2 0 1一 Bによる B候補画像生成処理を説明するフローチヤートである。

図 1 1 0は、補間部 2 0 1— Gによる G候補画像生成処理を説明するブローチヤートである。

図 1 1 1は、画像処理部 7の第 5の構成例を示すプロック図である。発明を実施するための最良の形態

図 1は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。光学系は、被写体の光画像を集光するレンズ 1、光画像の光量を調整する絞り 2、および、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換する CCDイメージセンサ 4から構成される。

信号処理系は、 CCD イメージセンサ 4からの電気信号をサンプリングすることによってノイズを低減させる相関 2重サンプリング回路（CDS) 5、相関 2重サンプリング回路 5が出力するアナ口グ信号をディジタル信号に変換する A/Dコンバータ 6、 AZDコンバータ 6から入力されるディジタル信号に所定の画像処理を施す画像処理部 7から構成される。なお、画像処理部 7が実行する処理の詳細については後述する。

記録系は、画像処理部 7が処理した画像信号を符号化してメモリ 9に記録し、また、読み出して復号し、画像処理部 7に供給する CODEC (Corapression/Decompre ssion) 8 , および、画像信号を記憶するメモリ 9から構成される。

表示系は、画像処理部 7が処理した画像信号をアナログ化する D ZAコンバータ 1 0、アナログ化された画像信号を後段のディスプレイ 1 2に適合する形式のビデオ信号にエンコードするビデオエンコーダ 1 1、および、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能する LCD (Liquid Crystal Display)等よりなるディスプレイ 1 2から構成される。制御系は、 CCD イメージセンサ 4乃至画像処理部 7の動作タイミングを制御するタイミングジェネレータ（T G ) 3、ユーザがシャッタタイミングやその他のコマンドを入力する操作入力部 1 3、および、ドライブ 1 5を制御して磁気ディスク 1 6、光ディスク 1 7、光磁気ディスク 1 8、または半導体メモリ 1 9に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部 1 3から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御する CPU (Central Processing Unit)などよりなる制御部 1 4 から構成される。

当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ 1および絞り 2を介して CCDイメージセンサ 4に入射され、 CCDィメージセンサ 4によって光電変換され、得られた電気信号は、相関 2重サンプリング回路 5 によってノイズが除去され、 A/ Dコンバータ 6によってディジタル化された後、画像処理部 7が内蔵する画像メモリに一時格納される。

なお、通常の状態では、タイミングジェネレータ 3による信号処理系に対する制御により、画像処理部 7が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部 7が内蔵する画像メモリの画像信号は、 D / Aコンバータ 1 0によってアナログ信号に変換され、ビデオエンコーダ 1 1によってビデオ信号に変換されて対応する画像がディスプレイ 1 2に表示される。

ディスプレイ 1 2は、当該ディジタルスチルカメラのファインダの役割も担つている。ユーザが操作入力部 1 3に含まれるシャツタポタンを押下した場合、制御部 1 4は、タイミングジェネレータ 3に対し、シャツタポタンが押下された直後の画像信号を取り込み、その後は画像処理部 7の画像メモリに画像信号が上書きされないように信号処理系を制御させる。その後、画像処理部 7の画像メモリに書き込まれた画像データは、 C0DEC 8によって符号化されてメモリ 9に記録される。以上のようなディジタルスチルカメラの動作によって、 1枚の画像データの取り込みが完了する。

次に、当該ディジタルスチルカメラの動作の概要について、図 2を参照して説明する。当該ディジタルスチルカメラは、 CCD イメージセンサ 4を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色■感度モザイク画像と記述し、その詳細は後述する）を得る。その後、画像処理部 7を中心とする信号処理系により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色 ·感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部 7を中心とする信号処理系の処理を、デモザイク処理とも記述する。

例えば、図 3に示すような被写体を撮影した場合、撮像処理によって図 4に示すような色 '感度モザィク画像が得られ、画像処理によつて各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図 4に示す色 ·感度モザイク画像から図 3に示す被写体の元の色を復元する。

次に、色 ·感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色 ·感度モザイクパターンと記述する） P 1乃至 1 4を図 5乃至図 1 8に示す。なお、色 ·感度モザイクパターンを構成する色の組み合わせとしては、 R (赤）、 G (緑）、および B (青）からなる 3色の組合せの他、 Y (黄）、 M (マゼンタ）、 C (シアン）、および G (緑）からなる 4色の組合せがある。感度の段階としては、 S 0および S 1から成る 2段階の他、感度 S 2を追加した 3段階や、さらに、感度 S 3を追加した 4段階がある。なお、図 5乃至図 1 8においては、各正方形が 1画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、 G。と表示された画素は、色が G (緑）であって感度が S 0であることを示している。また、感度については数字が大きいほど、より高感度であるとする。

色■感度モザイクパターン P 1乃至 P 1 4は、以下に示す第 1乃至第 4の特徴によって分類することができる。

第 1の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第 1の特徴について、図 5 に示す色■感度モザイクパターン P 1を参照して説明する。

図 5の.色 ·感度モザイクパターン P 1において、感度に拘わらず色が Rである画素に注目した場合、図面を右回りに 4 5度だけ回転させた状態で見れば明らかなように、それらは、水平方向には 2 ^{1 / 2}の間隔で、垂直方向には 2 ^{3 / 2}の間隔で格子状の配置されている。また、感度に拘わらず色が Bである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色が Gである画素に注目した場合、それらは、水平方向および垂直方向に 2 ^{1 / 2}の間隔で格子状の配置されている。第 1の特徴は、図 5に示す色 ·感度モザイクパターン P 1の他、色 ·感度モザイクパターン p 2， P 4 , P 6 , P 8 , P 9 , P 1 0 , P 1 1 , P 1 3が有している。

第 2の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する 4画素の合計 5画素が有する色の中に、当該色 ·感度モザイクパターンに含まれる全ての色が含まれることである。

第 2の特徴は、図 7に示す色 '感度モザイクパターン P 3の他、色 '感度モザイクパターン P 5， P 7 , P 8 , P 9 , P 1 2 , P 1 4が有している。

第 3の特徴は、第 1の特徴を有しており、さらに、 3種類の色が用いられていて、それらがべィャ（Bayer)配列をなしていることである。第 3の特徴について、図 6に示す色■感度モザイクパターン P 2を参照して説明する。

図 6の色 '感度モザイクパターン P 2において、感度に拘わらず色が Gである画素に注目した場合、それらは 1画素おきに市松状に配置されている。感度に拘わらず色が Rである画素に注目した場合、それらは 1ラインおきに配置されている。また、感度に拘わらず色が Bである画素に注目した場合も同様に、 1ラインおきに配置されている。したがって、このパターン P 2は、画素の色だけに注目すれば、べィャ配列であるといえる。

なお、第 3の特徴は、図 6の色 '感度モザイクパターン P 2の他、色 '感度モザイクパターン P 1 0 , P 1 1が有している。

第 4の特徴は、第 2の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がべィャ配列をなしていることである。第 4の特徴について、図 7に示す色■感度モザイクパターン P 3を参照して説明する。

図 7の色 .感度モザイクパターン P 3において、感度 S 0の画素だけに注目した場合、図面を斜め 4 5度だけ傾けて見れば明らかなように、それらは 2 ^{1 2}の間隔を空けてべィャ配列をなしている。また、感度 S 1の画素だけに注目した場合も同様に、それらはべィャ配列をなしている。

なお、第 4の特徴は、図 7の色 .感度モザイクパターン P 3の他、色 .感度モザイクパターン P 5 , P 1 2が有している。

ところで、以下、図 5乃至図 1 8に示した色 ·感度モザイクパターン P 1乃至 P 1 4に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。

次に、 CCD イメージセンサ 4において上述した色 ·感度モザイクパターンを実現する方法について説明する。

色 '感度モザイクパターンのうち、色のモザイク配列については、 CCD ィメージセンサ 4の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。

色 ·感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。

感度のモザイク配列を光学的に実現する方法について説明する。図 1 9は、 CCD イメージセンサ 4の受光素子の断面を示している。受光素子の上部表面には、ォンチップレンズ 2 1が形成されている。オンチップレンズ 2 1は、図面上方からの入射光がフォトダイオード（P D ) 2 3に集光されるようになされている。ォンチップカラーフィルタ 2 2は、入射光の波長帯域を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード 2 3が形成されている。フォトダイオード 2 3は、入力された光量に対応して電荷を生じる。フォトダイオード 2 1の両脇には、垂直レジスタ 2 6が形成されている。垂直レジスタ 2 6の上部には、垂直レジスタ 2 1を駆動する垂直レジスタ駆動電極 2 5が配線されている。

垂直レジスタ 2 6は、フォトダイオード 2 3で生じた電荷を転送する領域であるので、そこで電荷が生じることがないように、垂直レジスタ 2 6と垂直レジスタ駆動電極 2 5はシールド 2 4によって遮光されている。シールド 2 4は、フォトダイォード 2 3の上部だけが開口しており、その開口部分を入射光が通過してフォトダイォード 2 3に到達するようになされている。

以上説明したように構成される CCDイメージセンサ 4を利用して、各受光素子の感度を変えることができる（フォトダイオード 2 3に対する入射光量を変化させることができる）。

例えば、図 2 0に示すように、オンチップレンズ 2 1の設置の有無により、集光される光量を変化させることができる。また、例えば図 2 1に示すように、ォンチップカラーフィルタ 2 2の上方 (または下方) にニュートラルデンシティフィルタ 3 1を設置することにより、光の透過率を変えることができる。また、例えば図 2 2に示すように、シールド 2 4の開口部分の面積を変化させることにより、フォトダイオード 2 3に対する入射光量を変化させることができる。

次に、感度のモザイク配列を電子的に実現する 2種類の方法について説明する。例えば、隣接する 2つの受光素子（第 1および第 2の受光素子）に対し、制御のタイミングを違えることにより、 2つの受光素子を異なる感度に設定する第 1 の方法について、図 2 3を参照して説明する。

図 2 3の第 1段目は、 CCD イメージセンサ 4の露光期間を示している。同図の第 2段目は、電荷掃き出しを指令するパルス電圧のタイミングを示している。同図の第 3段目は、電荷転送を指令する制御電圧が与えられるタイミングを示している。同図の第 4段目は、第 1の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第 5段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第 1の受光素子に蓄積される電荷量の変化を示している。同図の第 6段目は、第 2の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第 7段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第 2の受光素子に蓄積される電荷量の変化を示している。

感度のモザィク配列を電子的に実現する第 1の方法において、電荷掃き出しパルス電圧は、第 1および第 2の受光素子に対し共通して、露光期間以外においては、フォトダイオード 2 3から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで 1回だけ電荷をリセットするために供給される。

電荷転送電圧は、露光期間以外においては、第 1および第 2の受光素子に対し共通して垂直レジスタ 2 6に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ 2 6からの電荷の転送が停止されるように電荷転送電圧は供給されない。

電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第 1の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（同図の第 2段目）の直前に、 1回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に 2回目の電荷読み出しパルス電圧が供給される。その結果、第 1の受光素子からは、 1回目おょぴ 2回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第 1の受光素子の蓄積電荷量が垂直レジスタ 2 6に読み出される。なお、露光期間中は垂直レジスタ 2 6の電荷の転送は停止されているので、それら 2回の読み出し電荷量が垂直レジスタ 2 6内で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ 2 6から転送されるようになされている。

一方、第 2の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に 1回だけ電荷読み出しパルス電圧が供給される。その結果、第 2の受光素子からは、 1回だけの電荷読み出しパルス電圧の供給タイミングにおける第 2の受光素子の蓄積電荷量が垂直レジスタ 2 6に読み出される。なお、露光期間中は垂直レジスタ 2 3の電荷の転送は停止されているので、第 2の受光素子から読み出された蓄積電荷は、露光期間終了後に、第 1の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ 2 6から転送されるようになされている。

以上のように、第 1の受光素子と第 2の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第 1の受光素子殻読み出される蓄積電荷量と、第 2の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。

ところで、感度のモザイク配列を電子的に実現する第 1の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。

次に、感度のモザイク配列を電子的に実現する第 2の方法について、図 2 4を参照して説明する。同図の第 1乃至 6段目はそれぞれ、図 2 3の第 1乃至 6段目と同様に、 CCD イメージセンサ 4の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第 1の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第 1の受光素子に蓄積される電荷量の変化、第 2の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第 2の受光素子に蓄積される電荷量の変化を示している。

感度のモザイク配列を電子的に実現する第 2の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。

すなわち、電荷掃き出しパルス電圧については、第 1および第 2の受光素子に対し共通して露光期間中において、 1回目の電荷掃き出しパルス電圧と 2回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第 1の受光素子に対しては、 1回目おょぴ 2回目の電荷掃き出しパルス電圧の組毎に、 1回目の電荷掃き出しパルス電圧の直前に 1回目の電荷読み出しパルス電圧が供給され、 2回目の電荷掃き出しパルス電圧の直前に 2回目の電荷読み出しパルス電圧が供給される。一方、第 2の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、 1回目の電荷掃き出しパルス電圧の直前に 1回だけ電荷読み出しパルス電圧が供給される。その結果、第 1の受光素子からは、 1回目おょぴ 2回目の電荷掃き出しパルス電圧の組毎に、 1回目の電荷読み出しパルス電圧の供給タイミングにおける第 1 の受光素子の蓄積電荷量と、 2回目の電荷読み出しパルス電圧の供給タイミングにおける第 1の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ 2 6の電荷の転送が停止されているので、これら組ごとに 2回ずつ読み出された電荷量は、垂直レジスタ 2 6で加算される。第 2の受光素子からは、 1回目および 2回目の電荷掃き出しパルス電圧の組毎に 1回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第 2の受光素子の蓄積電荷量が読み出される。これら組ごとに 1回ずつ読み出された電荷量は、垂直レジスタ 2 6 で加算される。

以上説明したような感度のモザイク配列を電子的に実現する第 2の方法では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。

なお、上述した感度のモザィク配列を電子的に実現する第 1および第 2の方法に関連し、一般的に、 CCD イメージセンサ 4の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極 2 5に印加される。例えば、図 5に示した色 - 感度モザイクパターン P 1のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧がかけられるような若干の改良をおこなえばよい。さらに、 3相駆動の垂直レジスタを持つプログレッシブスキャンの CCDィメージセンサにおいては、その電極構造を工夫することによって、 2段階感度による任意のモザイク配列を電子的に実現できる。

図 2 5は、 2段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第 1の電極構造を示している。図 2 6は、図 2 5の図中の線分 a a，における CCDイメージセンサの断面図を示している。第 1相垂直レジスタ駆動電極 4 2および第 2相垂直レジスタ駆動電極 4 3は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ラィン上の電極は同期して駆動される。一方、第 3相垂直レジスタ駆動電極 4 4は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第 2相垂直レジスタ駆動電極 4 3およぴ第 3相垂直レジスタ駆動電極 4 4は、対応するフォトダィォ一ド 2 3に隣接する読み出しゲ一ト 4 1上にもかかるようになされている。

したがって、第 2相垂直レジスタ駆動電極 4 3、または第 3相垂直レジスタ駆動電極 4 4に読み出しパルスを印加した場合、読み出しゲ一ト 4 1のバリアを一時的に取り除き、対応するフォトダイォ一ド 2 3に蓄積されている電荷を垂直レジスタ 2 6に転送することが可能である。以下、図 2 5および図 2 6に示した電極構造を O R型の電極構造と記述する。

図 2 7は、 2段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第 2の電極構造を示している。図 2 7の図中の線分 a a，における CCDイメージセンサの断面も、図 2 6に示した断面図と同様である。すなわち、第 2の電極構造においても、第 1の電極構造と同様に、第 1相垂直レジスタ駆動電極 4 2および第 2相垂直レジスタ駆動電極 4 3は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第 3相垂直レジスタ駆動電極 4 4は、第 1 の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。

しかしながら、第 3相垂直レジスタ駆動電極 4 4が対応するフォトダイオード 2 3に隣接する読み出しゲート 4 1上において、当該フォトダイォード 2 3の辺縁部分に沿って配置され、次いでそれに隣接するように第 2相垂直レジスタ駆動電極 4 3の細長く加工された部分が読み出しゲート 4 1にかかるようになされている点が第 1の電極構造と異なる。

したがって、第 2相垂直レジスタ駆動電極 4 3および第 3相垂直レジスタ駆動電極 4 4のうち、一方だけに読み出しパルスを印加した場合、読み出しゲート 4 1のパリアを取り除くことができない。読み出しグート 4 1のバリアを取り除き、フォトダイォ一ド 2 3に蓄積されている電荷を垂直レジスタ 2 6に転送するためには、第 2相垂直レジスタ駆動電極 4 3と第 3相垂直レジスタ駆動電極 4 4に同時に読み出しパルスを印加する必要がある。以下、図 2 7に示した電極構造を AND 型の電極構造と記述する。，

以上説明した O R型の電極構造と AND型の電極構造を 1つの CCDイメージセンサ内で組み合わせて使うことにより、 2段階感度による任意のモザイク配列をつくることができる。例えば、図 5に示した色'感度モザイクパターン P 1のうち、感度のモザイク配列を実現するためには、図 2 8に示すように O R型の電極構造と AND型の電極構造を組み合わせればよい。

図 5と図 2 8を比較すれば明らかなように、 2段階の感度 S O , S Iのうち、低感度 S 0の画素には AND型の電極構造を採用し、高感度 S 1の画素には O R型の電極構造を採用するようにする。このように O R型と AND型の電極構造を組み合わせて構成した CCDイメージセンサ 4に対し、その第 2相垂直レジスタ駆動電極 4 3に読み出しパルス電圧を印加すれば、 O R型の画素だけで電荷読み出しがおこなわれ、第 2相垂直レジスタ駆動電極 4 3および第 3相垂直レジスタ駆動電極 4 4に同時に読みだしパルス電圧を印加すれば、 O R型と AND型の両方、すなわち全ての画素で電荷読み出しがおこなわれるようになる。

なお、第 2相垂直レジスタ駆動電極 4 3、および第 3相垂直レジスタ駆動電極 4 4に対するパルス電圧の供給タイミングは、図 2 3 (または図 2 4 ) に示した制御タイミングのうち、同図（D )の 1回目の電荷読み出しパルス電圧の供給タイミングと、同図（F )の電荷読み出しパルス電圧の供給タイミングにおいて、第 2 相および第 3相の両方を駆動し、同図（D )の 2回目の電荷読み出しパルス電圧の供給タイミングにおいて第 2相だけを駆動するようにすれば、 O R型の電極構造の画素は高感度 S 1となり、 AND型の電極構造の画素は低感度 S 0となる。

同様の方法により、その他の 2段階の感度を有する感度のモザイク配列をつくることができる。例えば、図 6に示した色 '感度モザイクパターン P 2のうち、感度のモザイクパターンを実現するためには、 O R型と AND型を図 2 9に示すように組み合わせる。図 7に示した色■感度モザイクパターン P 3のうち、感度のモザイクパターンを実現するためには、 OR型と AND型を図 30に示すように組み合わせる。図 8に示した色 '感度モザイクパターン P 4のうち、感度のモザィクパターンを実現するためには、〇R型と AND型を図 3 1に示すように組み合わせる。図 9に示した色 .感度モザイクパターン P 5のうち、感度のモザイクパターンを実現するためには、 OR型と AND型を図 3 2に示すように組み合わせる。次に、画像処理部 7を中心とする画像処理系のデモザイク処理について説明するが、その前に、以下の説明において用いる画素の位置座標の定義について、図 33を参照して説明する。

図 3 3は、画像上の画素の位置を示す座標系（x， y ) を示している。すなわち、画像の左下端を（0， 0) とし、画像の右上端を（x_max， y_{ma x}) とする。図中に口で表されている各画素は、長さ 1の横幅と縦幅を有し、格子上に配列されている。従って、例えば、左下端の画素の中心の座標は、（0. 5, 0. 5) であり、右上端の画素の中心の座標は（x_{ma x}—0. 5, y_{ma x}- 0. 5) である。また、以下の説明において、口で表されている各画素に対して位相が縦横に半画素ずれた画像データ（図中に翁で表される位置の画素データ）を利用する場合があるが、例えば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は（1， 1) である。

次に、図 34は、画像処理部 7を中心とする画像処理系の第 1のデモザイク処理の概要を示している。

第 1のデモザイク処理は、図 34に示すように、撮像系の処理によって得られた色■感度モザイク画像の画素の色を変更することなく、感度を均一化して色モザイク画像を生成する感度均一化処理と、色■感度モザイク画像 Mの各画素の R GB成分を復元する色補正処理から成る。

第 1のデモザイク処理における第 1の感度均一化処理の概要について、図 3 5 乃至図 37を参照して説明する。図 3 5乃至図 3 7は、処理される画像の所定の 1ラインの画素配列を示している。 X0は、色成分が X (例えば、 R (赤））であり、感度が 2段階 S O , S 1のうちの S 0であることを示し、 X Iは、色成分が Xであり、感度が 2段階 S O , S 1のうちの S 1であることを示し、 Y Oは、色成分が Y (例えば、 G (緑)）であり、感度が 2段階 S 0 , S 1のうちの S Oであることを示し、 Y 1は、色成分が Yであり、感度が 2段階 S 0 ， S 1のうちの S 1であることを示している。感度 S Oの画素は、入射光の強度を所定の割合で減衰させて測光し、感度 S 1の画素は、入射光の強度を減衰させることなく測光する。また、同図の横軸は画素のライン上の位置を示しており、縦棒の長さは対応する画素の画素値を示している。

第 1のデモザイク処理における第 1の感度均一化処理は、 2段階の処理に分別することができる。図 3 5は、第 1の感度均一化処理を施される前の色 '感度モザイク画像の所定の 1ラインの画素の画素値を示している。なお、曲線 Xは、入射光の色 Xの強度分布を示し、曲線 Yは、色 Yの強度分布を示している。

閾値 0 _Hは、 CCDイメージセンサ 4の飽和レベルを示し、入射光の強度が閾値 0 _Hを越える場合、その強度を正確に測定することができず、その測定値は閾値 0 _H と等しい値となる。閾値 0 は、 CCDイメージセンサ 4のノイズレベルを示しており、入射光の強度が閾値 0 !_よりも小さい場合も、その強度を正確に測定することができず、その測定値は閾値 0 と等しい値となる。

有効性判別結果は、各画素が入射光の強度を正確に測定できたか否かを示す情報、すなわち、測定された各画素の画素値が有効 V (Valid)であるか、無効 I (Invalid)であるかを示す情報である。

第 1の感度均一化処理の 1段階目の処理により、感度 S 0の画素の画素値は、感度 S 1に対する感度 S 0の相対的比率を用いてスケーリングされる。感度 S 1 の画素の画素値はスケーリングされない。図 3 6は、第 1の感度均一化処理の 1 段階目の処理を施した結果を示している。 1段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効である画素は、スケーリングによって本来の光強度が復元されるが、無効である画素は、本来の光強度が復元されていない。そこで、第 1の感度均一化処理の 2段階目の処理では、無効である画素の画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。図 3 7は、第 1の感度均一化処理の 2段階目の処理を施した結果を示している。例えば、図 3 7の中央の無効であって色 Yの画素は、近傍の有効な色 Yの画素の画素値を用いて生成される補間曲線 Y 'に従って補間される。

次に、第 1のデモザイク処理における第 2の感度均一化処理の概要について、図 3 5、図 3 8、および図 3 9を参照して説明する。第 2の感度均一化処理も、 2段階の処理に分別することができる。第 2の感度均一化処理が施される前の色 -感度モザイク画像の所定の 1ラインの画素の画素値は、図 3 5と同様であるとする。

第 2の感度均一化処理の 1段階目の処理により、各画素の色を変更することなく、感度 S Oでの画素値と、感度 S 1での画素値が推定される。例えば、色であって感度 S 0の画素については、感度 S 0での画素値はそのまま用いられ、感度 S 1での推定値が近傍に存在する色 Xであって感度 S 1の画素の画素値を用いて補間される。図 3 8は、第 2の感度均一化処理の 1段階目の処理を施した結果を示している。同図に示すように、 1段階目の処理が施されたことにより、各画素は、元の色の感度 S 0の画素値と、感度 S 1の画素値を有している。

第 2の感度均一化処理の 2段階目の処理では、画素毎に感度 S 0の画素値と、感度 S 1の画素値が合成されて感度が均一化される。図 3 9は、第 2の感度均一化処理の 2段階目の処理を施した結果を示している。

次に、図 4 0は、画像処理部 7を中心とする画像処理系の第 2のデモザイク処理の概要を示している。

第 2のデモザイク処理は、図 4 0に示すように、撮像系の処理によって得られた色 ·感度モザイク画像の画素の色を、感度均一化のために最適な色に変更して感度を均一化し、色モザイク画像を生成する感度均一化処理と、色 .感度モザィク画像 Mの各画素の R G B成分を復元する色補正処理から成る。

第 2のデモザイク処理における第 1の感度均一化処理の概要について、図 3 5、図 4 1および図 4 2を参照して説明する。

第 2のデモザイク処理における第 1の感度均一化処理も、 2段階の処理に分別することができる。第 1の感度均一化処理が施される前の色 ·感度モザイク画像の所定の 1ラインの画素の画素値は、図 3 5と同様であるとする。

第 2のデモザイク処理における第 1の感度均一化処理の 1段階目の処理により、感度 S 0の画素の画素値は、感度 S 1に対する感度 S 0の相対的比率を用いてスケーリングされる。感度 S 1の画素の画素値はスケーリングされない。図 4 1は、第 1の感度均一化処理の 1段階目の処理を施した結果を示している。 1段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効 Vである画素は、スケーリングによって本来の光強度が復元される力無効 Iである画素は、本来の光強度が復元されていない。

そこで、第 2のデモザイク処理における第 1の感度均一化処理の 2段階目の処理では、無効である画素の画素値を、その色に拘わらず近傍の有効な画素の画素値を用いて補間する。図 4 2は、第 1の感度均一化処理の 2段階目の処理を施した結果を示している。例えば、図 4 1の中央の無効であって色 Yの画素は、図 4 2に示すように、当該画素に隣接する有効な色 Xの画素の画素値を用いて生成される補間曲線 X 'に基づいて色 Xの画素値が捕間される。

次に、第 2のデモザイク処理における第 2の感度均一化処理の概要について、図 3 5、図 4 3、および図 4 4を参照して説明する。第 2のデモザイク処理における第 2の感度均一化処理も、 2段階の処理に分別することができる。第 2の感度均一化処理が施される前の色■感度モザイク画像の所定の 1ラインの画素の画素値は、図 3 5と同様であるとする。

第 2のデモザイク処理における第 2の感度均一化処理の 1段階目の処理では、各画素に対し、色に拘わらずより近くに位置する近傍の画素の画素値が用いられて感度 S Oでの画素値と、感度 S 1での画素値が推定される。例えば、色 Xの画素の推定値として、当該画素に隣接する画素が色 Yである場合、色 Yの感度 S 1 での推定値と、感度 S 1での画素値が補間される。図 4 3は、第 2の感度均一化処理の 1段階目の処理を施した結果を示している。同図に示すように、 1段階目の処理が施されたことより、各画素は、元の色に拘わらず隣接した画素の色に変更されて、感度 S Oでの画素値と、感度 S 1での画素値を有している。

第 2のデモザィク処理における第 2の感度均一化処理の 2段階目の処理では、画素毎に感度 S 0の画素値と、感度 S 1の画素値が合成されて感度が均一化される。図 4 4は、第 2の感度均一化処理の 2段階目の処理を施した結果を図 4 4に示す。

次に、第 1のデモザイク処理を主に実行する画像処理部 7の第 1の構成例について、図 4 5を参照して説明する。以下、特に断りがある場合を除き、色 .感度モザイク画像は、図 6の色 '感度モザイクパターン P 2である、すなわち、画素の色は 3原色 R G Bのうちのいずれかの色であり、感度は S 0 , S 1のうちの一方であるとする。ただし、以下に説明する構成や動作は、 R G B以外の 3色から成る色■感度モザイク画像や、 4色から成る色■感度モザイク画像に適用することも可能である。

画像処理部 7の第 1の構成例において、撮像系からの色'感度モザイク画像は、感度均一化部 5 1に供給される。色 '感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度均一化部 5 1、および色捕間部 5 2に供給される。色 ·感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部 5 1に供給される。

感度均一化部 5 1は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色 ·感度モザイク画像に感度均一化処理を施すことによって、各画素の色が変更されずに感度が均一化された色モザィク画像 Mを生成し、色補間部 5 2に出力する。

色捕間部 5 2は、感度均一化部 5 1からの色モザイク画像 Mに対し、色モザィクパターン情報を用いる色補間処理を施すことによって出力画像 R , G , Bを生成する。

なお、色モザイクパターン情報は、色 '感度モザイク画像の各画素の色の種類 (いまの場合、 R， G， Bのいずれかの色）を示す情報であり、画素位置をインデッタスとして、その画素が有する色成分の情報を取得できるようになされている。

感度モザィクパターン情報は、色 ·感度モザィク画像の各画素の感度の種類（いまの場合、 S 0または S 1 )を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。

図 4 6は、感度均一化部 5 1の第 1の構成例を示している。当該第 1の構成例は、図 3 5乃至図 3 7を参照して説明した第 1の感度均一化処理を実行する感度均一化部 5 1の構成例である。

感度均一化部 5 1の第 1の構成例において、撮像系からの色 .感度モザイク画像は、感度補償部 6 1および有効性判別部 6 3に供給される。色モザイクパターン情報は、欠落補間部 6 4に供給される。感度モザイクパターン情報は、感度補償部 6 1および有効性判別部 6 3に供給される。

感度補償部 6 1は、相対感度値 LUT 6 2から得られる相対感度値 Sに基づき、色■感度モザイク画像に感度補償を施して欠落補間部 6 4に出力する。相対感度値 LUT 6 2は、画素の感度をインデックスとして、相対感度値 Sを出力するルツクアップテーブルである。

有効性判別部 6 3は、色 ·感度モザイク画像の各画素の画素値を、飽和レベルの閾値 0 Hおよびノイズレベルの Θ _Lと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部 6 4に供給する。判別情報には、各画素の画素値について、有効（Valid)、または無効（Invalid)を示す情報が記述されている。

欠落補間部 6 4は、有効性判別部 6 3からの判別情報に基づき、感度補償された色 ·感度モザイク画像に欠落補間処理を施すことによって色モザイク画像 Mを生成し、後段の色補間部 5 2に出力する。 ·

図 4 7は、色補間部 5 2の構成例を示している。色補間部 5 2において、感度均一化部 5 1からの色モザイク画像 Mは、階調変換部 7 1に供給される。色モザイクパターン情報は、色差画像生成部 72, 73、および輝度画像生成部 74に供給される。

階調変換部 7 1は、色モザイク画像 Mに対して階調変換処理を施し、得られる変調色モザィク画像 M gを色差画像生成部 72， 73、および輝度画像生成部 7 4に供給する。階調変換処理としては、具体的には γ乗のべき算関数による変換等を用いる。

色差画像生成部 72は、変調色モザイク画像 Mgを用い、全ての画素が色差 C (=R— G) 成分を有する色差画像 Cを生成して輝度画像生成部 74および色空間変換部 75に供給する。色差画像生成部 73は、変調色モザイク画像 Mgを用い、全ての画素が色差 D (=B-G) 成分を有する色差画像 Dを生成して輝度画像生成部 74および色空間変換部 15に供給する。輝度画像生成部 74は、変調モザイク画像 Mg、色差信号 C, Dを用いて輝度画像 Lを生成し、色空間変換部 75に供給する。

色空間変換部 75は、色差画像 C, D、および輝度画像 Lに色空間変換処理を施し、得られる変調画像（各画素がそれぞれ RGB成分を有する画像）を階調逆変換部 76乃至 78に供給する。

階調逆変換部 76は、色空間変換部 75からの R成分の画素値を（ 1 / γ ) 乗することにより、階調変換部 71における階調変換の逆変換を施して出力画像 R を得る。階調逆変換部 77は、色空間変換部 75からの G成分の画素値を（1/ γ) 乗することにより、階調変換部 7 1における階調変換の逆変換を施して出力画像 Gを得る。階調逆変換部 78は、色空間変換部 75からの Β成分の画素値を il/y) 乗することにより、階調変換部 7 1における階調変換の逆変換を施して出力画像 Bを得る。

なお、感度均一化部 5 1から供給される色モザイク画像 Mがべィャ配列を成している場合、色補間部 5 2において、例えば、特開昭 6 1 - 501424号公報等に開示されている従来の方法を用いて色補間処理を実行するようにしてもよい _c 図 48は、色差画像生成部 72の構成例を示している。色差画像生成部 72において、階調変換部 7 1からの変調色モザイク画像 M gは平滑化部 8 1， 8 2に供給される。色モザイクパターン情報も平滑化部 8 1， 8 2に供給される。平滑化部 8 1は、各画素に対し、 R成分を有する近傍の画素の画素値を用いて当該画素の R成分を補間することにより、平滑化された R成分の画像 R ' を生成して減算器 8 3に供給する。平滑化部 8 2は、各画素に対し、 G成分を有する近傍の画素の画素値を用いて当該画素の G成分を補間することにより、平滑化された G成分の画像 G，を生成して減算器 8 3に供給する。

減算器 8 3は、平滑化部 8 1からの平滑化される R成分の画像 R ' の画素値から、平滑化部 8 2からの平滑化される G成分の画像 G，の対応する画素の画素値を減算することにより、色差画像 Cを生成して色空間変換部 7 5に供給する。なお、色差画像生成部 7 3の同様に構成されている。

図 4 9は、輝度画像生成部 7 4の構成例を示している。輝度画像生成部 7 4を構成する輝度算出部 9 1は、階調変換部 7 1からの変調色モザイク画像 M g、色差画像生成部 7 2からの色差画像 C、色差画像生成部 7 3からの色差画像 D、および色モザイクパターン情報に基づいて各画素の輝度候捕値を算出し、各画素の輝度候補値からなる輝度候補値画像 L cをノィズ除去部 9 2に出力する。

ノイズ除去部 9 2は、輝度候補値画像 L cの各画素値（輝度候補値）に平滑化成分（後述）を合成することによってノイズを除去し、得られる輝度画像 Lを色空間変換部 7 5に出力する。

次に、図 4 5に示した画像処理部 7の第 1の構成例による第 1のデモザイク処理について、図 5 0にフローチャートを参照して説明する。

ステップ S 1において、感度均一化部 5 1は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色 ·感度モザイク画像に感度均一化処理を施し、得られた色モザイク画像 Mを色補間部 5 2に出力する。

図 4 6に示した感度均一化部 5 1の第 1の構成例による第 1の感度均一化処理の詳細について、図 5 1のフローチヤ一トを参照して説明する。

ステップ S 1 1において、感度補償部 6 1は、入力された色 '感度モザイク画像に感度補償処理を施し、感度補償された色 ·感度モザイク画像を欠落補間部 6 4に供給する。

感度補償処理の詳細について、図 5 2のフローチャートを参照して説明する。ステップ S 2 1において、感度補償部 6 1は、色 ·感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 2 2に進む。ステップ S 2 2において、感度補償部 6 1は、色 ·感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 2 3において、感度補償部 6 1は、感度モザイクパターン情報を参照することにより、注目画素の感度（3 0または3 1 ) を取得し、さらに、相対感度値 LUT 6 2を参照することによって注目画素の感度に対応する相対感度値 S を取得する。

ステップ S 2 4において、感度補償部 6 1は、色 ·感度モザイク画像の注目画素の画素値を相対感度値 Sで除算することにより、その画素値の感度を補償する。感度が補償された画素値は、感度補償された色 ·感度モザイク画像の画素値とされる。

処理は、ステップ S 2 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 2 1乃至 S 2 4の処理が繰り返される。ステップ S 2 1において、全ての画素を注目画素としたと判定された場合、処理は図 5 1のステップ S 1 2 にリターンする。

ステップ S 1 2において、有効性判別部 6 3は、色 ·感度モザイク画像に有効性判別処理を施すことにより、各画素の画素値の有効性を示す判別情報を生成して欠落補間部 6 4に供給する。なお、ステップ S 1 2の有効判別処理は、ステツプ S 6 1の感度補償処理を平行して実行するようにしてもよい。

有効性判別処理の詳細について、図 5 3のフローチャートを参照して説明する。ステップ S 3 1において、有効性判別部 6 3は、色 ·感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 3 2に進む。ステップ S 3 2において、有効性判別部 6 3は、色 ·感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 3 3において、有効性判別部 6 3は、色 '感度モザイク画像の注目画素の画素値が、ノイズレベルの閾値 Θ _Lと飽和レベルの閾値 θ _Hの範囲内であるか否かを判定し、閾値の範囲内であると判定した場合、ステップ S 3 4に進む。ステップ S 3 4において、有効性判別部 6 3は、注目画素の判別情報を有効とする。処理はステップ S 3 1に戻る。

ステップ S 3 3において、色 ·感度モザイク画像の注目画素の画素値が閾値の範囲内ではないと判定した場合、ステップ S 3 5に進む。ステップ S 3 5において、有効性判別部 6 3は、色 ·感度モザイク画像の注目画素の画素値が、飽和レベルの閾値 θ _H以上であるか否かを判定し、飽和レベルの閾値 0 _H以上であると判定した場合、ステップ S 3 6に進む。

ステップ S 3 6において、有効性判別部 6 3は、感度モザイクパターン情報を参照することにより、注目画素が感度 S 0であるか否かを判定し、感度 S Oであると判定した場合、ステップ S 3 4に進み、注目画素が感度 S 0ではないと判定した場合、ステップ S 3 7に進む。

ステップ S 3 7において、有効性判別部 6 3は、注目画素の判別情報を無効とする。処理はステップ S 3 1に戻る。

ステップ S 3 5において、色 '感度モザイク画像の注目画素の画素値が飽和レベルの閾値 0 _H以上ではないと判定した場合、ステップ S 3 8に進む。ステップ S 3 8において、有効性判別部 6 3は、感度モザイクパターン情報を参照することにより、注目画素が感度 S 1であるか否かを判定し、感度 S 1であると判定した場合、ステップ S 3 4に進み、注目画素が感度 S 1ではないと判定した場合、ステップ S 3 7に進む。

その後、ステップ S 3 1において、全ての画素を注目画素としたと判定されるまで、ステップ S 3 1乃至 3 8の処理が繰り返される。ステップ S 3 1において、全ての画素を注目画素としたと判定された場合、処理は図 5 1のステップ S 1 3 にリターンする。

ステップ S 1 3において、欠落補間部 6 4は、有効性判別部 6 3からの判別情報に基づき、感度補償された色■感度モザイク画像に欠落補間処理を施し、得られた色モザイク画像 Mを色補間部 5 2に供給する。

欠落補間処理の詳細について、図 5 4のフローチヤ一トを参照して説明する。ステップ S 4 1において、欠落補間部 6 4は、感度補償された色 '感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 4 2に進む。ステップ S 4 2において、欠落補間部 6 4は、感度補償された色■感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 4 3において、欠落捕間部 6 4は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップ S 4 4に進む。

ステップ S 4 4において、欠落補間部 6 4は、色モザイクパターン情報を参照することにより、注目画素の色の種類（いまの場合、 R G Bのうちのいずれかの色）を判別し、注目画素の近傍の画素（例えば、注目画素を中心とする 5 X 5画素）のうち、注目画素と同じ色であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。

ステップ S 4 5において、欠落補間部 6 4は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップ S 4 6において、欠落補間部 6 4は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像 Mの注目画素の画素値とする。

処理は、ステップ S 4 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 4 1乃至 4 6の処理が繰り返される。ステップ S 4 1において、全ての画素を注目画素としたと判定された場合、処理は図 5 0のステップ S 2にリターンする。

以上説明したステップ S 1の感度均一化処理によつて得られた色モザィク画像 Mに対し、ステップ S 2において、色補間部 5 2は、色モザイクパターン情報に基づいて色補間処理を施すことにより、出力画像 R， G， Bを生成する。

色捕間処理の詳細について、図 5 5のフローチャートを参照して説明する。ステツプ S 5 1において、階調変換部 7 1は、色モザイク画像 Mに対して階調変調処理を施す（具体的には、変調色モザイク画像 M gの各画素値を γ乗する）ことにより、変調色モザイク画像 M gを生成して色差画像生成部 7 2， 7 3、および輝度画像生成部 7 4に供給する。

ステップ S 5 2において、色差画像生成部 7 2は、階調変換部 7 1からの変調色モザイク画像 M gを用いて色差画像 Cを生成し、輝度画像生成部 7 4および色空間変換部 7 5に供給する。一方、色差画像生成部 7 3は、階調変換部 7 1からの変調色モザイク画像 M gを用いて色差画像 Dを生成し、輝度画像生成部 7 4および色空間変換部 7 5に供給する。

色差画像生成部 7 2が色差画像 Cを生成する第 1の処理について、図 5 6のフローチャートを参照して説明する。ステップ S 6 1において、平滑化部 8 1， 8 2は、変調色モザイク画像 M gの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 6 2に進む。ステツプ S 6 2において、平滑化部 8 1 , 8 2は、変調色モザイク画像 M gの左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 6 3において、平滑化部 8 1は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする 5 X 5画素）のうち、 R成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部 8 2も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、 G成分を有する画素を検出し、検出した画素の画素値を抽出する。ステップ S 6 4において、平滑化部 8 1は、 R成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部 8 2も同様に、 G成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の。数だけ取得する。

ステップ S 6 5において、平滑化部 8 1は、 R成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化された R成分だけの画像 R ' の注目画素に対応する画素値とする。一方、平滑化部 8 2 も同様に、 G成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化された G成分だけの画像 G ' の注目画素に対応する画素値とする。

ステップ S 6 6において、減算器 8 3は、平滑化部 8 1からの平滑化された R 成分だけの画像 R ' の注目画素に対応する画素値から、平滑化部 8 2からの平滑化された G成分だけの画像 G，の注目画素に対応する画素値を減算し、その差を色差画像 Cの注目画素に対応する画素値とする。

処理は、ステップ S 6 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 6 1乃至 6 6の処理が繰り返される。ステップ S 6 1において、全ての画素を注目画素としたと判定された場合、処理は図 5 5のステップ S 5 3 にリターンする。

なお、色差画像生成部 7 3が色差画像 Dを生成する処理は、上述した色差画像生成部 7 2が色差画像 Cを生成する第 1の処理と同様であるので、その説明は省略する。

ステップ S 5 3において、輝度画像生成部 7 4は、変調モザイク画像 M g、色差信号 C， Dを用いて輝度画像 Lを生成し、色空間変換部 7 5に供給する。輝度画像生成部 7 4の輝度画像生成処理の詳細について、図 5 7のフローチヤートを参照して説明する。ステップ S 7 1において、輝度算出部 9 1は、変調色モザイク画像 Mgの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 72に進む。ステップ S 72 において、輝度算出部 9 1は、変調色モザイク画像 Mgの左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 73において、輝度算出部 9 1は、色モザイクパターン情報を参照して、注目画素の色の種類（いまの場合、 RGBのいずれかの色）を判定する。ステップ S 73において、注目画素の色の種類が Rであると判定された場合、処理はステップ S 74に進む。ステップ S 74において、輝度算出部 9 1は、変調色モザイク画像 Mg、および色差信号 C， Dの注目画素に対応する画素値を次式（ 1 )に適用して、輝度候補画像 L cの注目画素に対応する画素値を算出する。

L c = 3Mg - 2 C + D · · ■ ( 1 ) ステップ S 73において、注目画素の色の種類が Gであると判定された場合、処理はステップ S 7 5に進む。ステップ S 7 5において、輝度算出部 9 1は、変調色モザイク画像 Mg、および色差信号 C, Dの注目画素に対応する画素値を次式（2) に適用して輝度候補画像 L cの注目画素に対応する画素値を算出する。

L c = 3Mg + C+D ■ ■ - (2) ステップ S 73において、注目画素の色の種類が Bであると判定された場合、処理はステップ S 76に進む。ステップ S 76において、輝度算出部 9 1は、変調色モザイク画像 Mg、およぴ色差信号 C, Dの注目画素に対応する画素値 Mg，

C， Dを次式（3) に適用して輝度候補画像 L cの注目画素に対応する画素値を算出する。

L c = 3Mg +C- 2D · · · (3) なお、式（1) 乃至（3) において、 L c, Mg , C, Dは、それぞれ、注目画素に対応する輝度候補画像 L c、変調色モザイク画像 Mg、色差信号 C、色差画像 Dの画素値である。

処理はステップ S 7 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 7 1乃至 S 76の処理が繰り返される。ステップ S 7 1において、全ての画素を注目画素としたと判定された場合、処理はステップ S 7 7に進む。以上説明したステップ S 7 1乃至 S 76の処理によって生成された輝度候補画像し cはノイズ除去部 9 2に供給される。

ステップ S 77において、ノイズ除去部 92は、変調色モザイク画像 Mgの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 78に進む。ステップ S 78において、ノイズ除去部 92は、変調色モザイク画像 Mgの左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 7 9において、ノイズ除去部 92は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（4) に適用して、注目画素に対応する勾配▽ (グラディエント）を算出する。なお、勾配▽は、画像の水平方向と垂直方向の 1次微係数を要素とするベクトルである。また、注目画素の上下左右に位置する画素の画素値（輝度候補値）を、それぞれ L c (U)， L c (D)， L c (L)， L c (R) とする。

勾配▽= (L c (R) —L c (L), L c (U) — L c (D)) · ■ · (4) ステップ S 80において、ノイズ除去部 92は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（5)， (6) に適用して、注目画素に対応する水平方向の平滑化成分 Hhと垂直方向の平滑化成分 Hvを算出する。

Hh = (L c (L) + L c (R)) / 2 · · · (5)

H v = (L c (U) + L c (D)) /2 · · · (6) ステップ S 8 1において、ノイズ除去部 92は、ステップ S 79で算出した注目画素に対応する勾配▽の絶対値 II V IIに対応して、水平方向の平滑化寄与率 w hと垂直方向の平滑化寄与率 w Vを算出する。

具体的には、勾配▽の絶対値が 0よりも大きい場合、次式（7)に示すように、正規化した勾配 VZIIV IIとベクトル（1， 0) との内積の絶対値を 1から減算して水平方向の平滑化寄与率 whを得る。また、次式（8) に示すように、正規化した勾配▽/ I!▽ IIとベクトル（o, 1) との内積の絶対値を 1から減算して垂直方向の平滑化寄与率 W Vを得る。

wh = 1 - I (νκιι ν II , (1， o)) I · ■ · (7) wv = l- I (V/|| v II , (0, 1)) I · ' · (8) 勾配▽の絶対値が 0である場合、水平方向の平滑化寄与率 whおよび垂直方向の平滑化寄与率 wvを、それぞれ 0. 5とする。

ステップ S 8 2において、ノイズ除去部 92は、次式（9) を用いて注目画素に対応する輝度画像 Lの画素値（輝度値）を算出する。

L = L c + (wh - Hh+wv · Ην) / (wh+wv) · · · ( 9 ) なお、式（9) において、 L c, Lは、それぞれ、注目画素に対応する輝度候補画像 L c、輝度画像 Lの画素値である。

処理はステップ S 77に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 7 7乃至 S 8 2の処理が繰り返される。ステップ S 77において、全ての画素を注目画素としたと判定された場合、処理は図 5 5のステップ S 54にリターンする。

ステップ S 54において、色空間変換部 75は、色差画像 C, D、および輝度画像 Lに色空間変換処理を施すことにより、各画素がそれぞれ RGB成分を有する変調画像を生成して階調逆変換部 76乃至 78に供給する。

色空間変換処理の詳細について、図 58のフローチャートを参照して説明する。ステップ S 9 1において、色空間変換部 75は、輝度画像 L (色差画像 C、または色差画像 Dでもよい）の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 92に進む。ステップ S 92において、色空間変換部 75は、輝度画像 Lの左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 9 3において、色空間変換部 75は、注目画素に対応する輝度画像 L、色差画像 C、および色差画像 Dの画素値を次式（10)，（1 1)，（1 2) に適用して、注目画素に対応する変調画像の R成分の値 R g、 G成分の値 G g、 B 成分の値 B gを算出する。

R g = (L+ 2 C-D) /3 · ' · (1 0) G g= (L-C-D) /3 · ' · (1 1) B g = (L-C+ 2D) /3 - - - (1 2) なお、式（1 0) 乃至（1 2) において、 L， C, Dは、それぞれ、注目画素に対応する輝度画像 L、色差信号 C、色差画像 Dの画素値である。

処理はステップ S 9 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 9 1乃至 S 9 3の処理が繰り返される。ステップ S 91において、全ての画素を注目画素としたと判定された場合、処理は図 5 5のステップ S 5 5にリターンする。

ステップ S 5 5において、階調逆変換部 76は、色空間変換部 75から供給された変調画像の各画素の R成分に対し、ステップ S 5 1の階調変換処理に対応する階調逆変換処理を施すこと（具体的には、画素値を ΐΖγ乗すること）によつて出力画像 Rを生成する。同様に、階調逆変換部 77は、色空間変換部 75から供給された変調画像の各画素の G成分に対し、ステップ S 5 1の階調変換処理に対応する階調逆変換処理を施すことによって出力画像 Gを生成する。階調逆変換部 78は、色空間変換部 75から供給された変調画像の各画素の Β成分に対し、ステップ S 5 1の階調変換処理に対応する階調逆変換処理を施すことによって出力画像 Βを生成する。以上説明したような色補間処理によって、出力画像 R， G, BGが生成される。

以上により、図 4 5に示した画像処理部 7の第 1の構成例による第 1のデモザイク処理についての説明を終了する。

次に、図 46に示した感度均一化部 5 1の第 2の構成例の代わりに用いることができる感度均一化部 5 1の第 2の構成例について、図 5 9を参照して説明する。当該第 2の構成例は、図 3 5、図 3 8、およぴ図 3 9を参照して説明した第 1 のデモザイク処理における第 2の感度均一化処理を感度均一化部 5 1が実行するための構成例である。以下、色 '感度モザイク画像は、図 1 4の色 '感度モザイクパターン P 1 0、図 1 5の色■感度モザイクパターン P 1等のように、画素の色は 3原色 R G Bのうちのいずれかの色であり、感度は 4段階 S 0， S I , S 2 , S 3のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、 R G B 以外の 3色から成る色 ·感度モザイク画像や、 4色から成る色 ·感度モザイク画像に適用することも可能である。また、感度が 2段階、または 3段階である色感度モザイクパターンに適用することが可能である。

感度均一化部 5 1の第 2の構成例において、撮像系からの色 ·感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部 1 0 1一 1乃至 1 0 1— 4に供給される。

補間部 1 0 1 _ 1は、色 ·感度モザイク画像の各画素の色を変更せずに感度 S 0の補間処理を施し、得られる感度 S 0に対応する補間値を加算器 1 0 2に出力する。補間部 1 0 1— 2は、色 ·感度モザイク画像の各画素の色を変更せずに感度 S 1の補間処理を施し、得られる感度 S 1に対応する補間値を加算器 1 0 2に出力する。捕間部 1 0 1— 3は、色 '感度モザイク画像の各画素の色を変更せずに感度 S 2の補間処理を施し、得られる感度 S 2に対応する補間値を加算器 1 0 2に出力する。補間部 1 0 1— 4は、色 ·感度モザイク画像の各画素の色を変更せずに感度 S 3の補間処理を施し、得られる感度 S 3に対応する補間値を加算器 1 0 2に出力する。

加算器 1 0 2は、補間部 1 0 1— 1乃至 1 0 1— 4から入力される感度 S 0乃至 S 3の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部 1 0 3に供給する。

合成感度補償部 1 0 3は、加算器 1 0 2から供給される色モザイク候補画像の画素値を合成感度補償 LUT 1 0 4に照らし合わせ、得られる値を画素値とする色モザイク画像 Mを生成して色補間部 5 2に供給する。合成感度補償 LUT 1 0 4は、色モザイク候補画像の画素値をインデックスとして、色モザイク画像 Mの画素値を取得できるようになされている。図 5 9に示した感度均一化部 5 1の第 2の構成例による、第 1のデモザイク処理における第 2の感度均一化処理について、図 60のフローチヤ一トを参照して説明する。

ステップ S 1 0 1において、捕間部 1 0 1— 1乃至 10 1— 4は、色 '感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 10 2に進む。ステップ S 102において、捕間部 1 0 1— 1乃至 1 0 1— 4は、色 '感度モザィク画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 1 03において、捕間部 10 1— 1乃至 10 1— 4は、色 '感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度 S O, S 1 , S 2、または感度 S 3に対応する捕間値を生成して加算器 1 02に出力する。

補間部 1 0 1— 1による感度 S 0の補間処理について、図 6 1のフローチヤ一トを参照して説明する。ステップ S 1 1 1において、補間部 101— 1は、色 - 感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする 5 X 5画素）のうち、色が注目画素と同じであり、かつ、感度が S Oである画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。ステップ S 1 1 2において、補間部 10 1— 1は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップ S 1 1 3において、補間部 10 1— 1は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度 S 0に対応する捕間値とする。処理は図 60のステップ S 60に戻る。なお、補間部 10 1— 2乃至 1 0 1—3による感度 S 1乃至 S 3の補間処理は、上述した捕間部 1 0 1— 1による感度 S Oの補間処理と同様であるので、その説明は省略する。

ステップ S 1 04において、加算器 10 2は、補間部 10 1— 1乃至 1 0 1— 4から入力される注目画素に対応する感度 S 0乃至 S 3の補間値を加算し、その和を、注目画素に対応する色モザイク候補画像の画素値として合成感度補償部 1 0 3に供給する。

ステップ S 1 0 5は、合成感度補償部 1 0 3は、加算器 1 0 2から供給された色モザイク候補画像の画素値を合成感度補償 LUT 1 0 4に照らし合わせ、得られた値を注目画素に対応する色モザイク画像 Mの画素値とする。

処理は、ステップ S 1 0 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 1 0 1乃至 1 0 5の処理が繰り返される。ステップ S 1 0 1において、全ての画素を注目画素としたと判定された場合、第 1のデモザイク処理における第 2の感度均一化処理は終了される。

なお、第 2の感度均一化処理後においては、図 5 5のフローチャートを参照して上述した色補間処理が実行される。

次に、上述した色差画像 Cを生成する第 1の処理（図 5 6 ) の代わりに、色差画像生成部 7 2が実行可能な色差画像 Cを生成する第 2の処理について、図 6 2 のフローチャートを参照して説明する。

ステップ S 1 2 1において、平滑化部 8 1 , 8 2は、変調色モザイク画像 M g の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 1 2 2に進む。ステップ S 1 2 2において、平滑化部 8 1 , 8 2は、変調色モザイク画像 M gの左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 1 2 3において、平滑化部 8 1は、注目画素に対応する画像勾配べクトル gを演算する。

画像勾配べクトル演算処理の詳細について、図 6 3のフローチャートを参照して説明する。当該画像勾配ベクトル演算処理においては、色モザイク画像 M gの全ての画素のうち、所定の 1種類の色の画素だけを用いて画像勾配ベクトル gを演算する。

なお、所定の 1種類の色の選択は任意であるが、例えば、色モザイク画像 M g の色モザイクパターンがべィャ配列をなしている場合、 G成分を有する画素は、 R成分を有する画素や B成分を有する画素に比較して 2倍存在するので、 1種類の色を Gとすることが理にかなつている。したがって、以下、色モザイク画像 M gの色モザイクパターンがべィャ配列をなしており、かつ、所定の 1種類の色を Gに選択したとして仮定して説明を継続する。

ステップ S 1 4 1において、平滑化部 8 1は、注目画素の色が Gであるか否かを判定し、注目画素の色が Gであると判定した場合、ステップ S 1 4 2に進む。この場合、注目画素の上下左右に位置する 4画素の色は Gではなく、かつ、注目画素の斜め方向に隣接する 4画素の色が Gである。

ステップ S 1 4 2において、平滑化部 8 1は、注目画素の上下左右に位置する 4画素にそれぞれ対応する G成分の値 G (U), G (D)， G (L)， G (R) を、注目画素の左上に隣接する G成分を有する画素の画素値 G (LU)、注目画素の左下に隣接する G成分を有する画素の画素値 G (LD)、注目画素の右上に隣接する G成分を有する画素の画素値 G (RU)、および、注目画素の右下に隣接する G成分を有する画素の画素値 G (RD) を次式（1 3) 乃至次式（1 6 ) に適用して補間する。

G (U) = (G (LU) +G (RU)) / 2 ■ · ■ ( 1 3 )

G (D) = (G (LD) +G (RD)) / 2 · · - ( 1 4)

G (L) = (G (LU) +G (LD)) / 2 · ■ ■ ( 1 5 ) G (R) = (G (RU) +G (RD)) / 2 . · · ( 1 6) ステップ S 1 4 3において、平滑化部 8 1は、注目画素の上下左右に位置する 4画素にそれぞれ対応する G成分の値 G (U), G (D), G (L)， G (R) を、次式（1 7) 乃至次式（1 9 ) に適用してべクトル g ' を算出し、次式（2 0) のように正規化して勾配べクトル gを算出する。

g h = G (R) — G (L) ■ · ■ ( 1 7) g v =G (U) -G (D) · ■ ■ ( 1 8 ) g ' = ( g h , g v ) - - - ( 1 9) g = g， / II g， II ■ ■ · ( 2 0 ) なお、ステップ S 1 4 1において、注目画素の色が Gではないと判定された場合、処理はステップ S 1 4 4に進む。この場合、注目画素の上下左右に位置する 4画素の色は Gである。

ステップ S 1 4 4において、注目画素の上下左右に位置する 4画素の画素値を取得して、それぞれを値 G (U)， G ( D ) , G ( L ) , G ( R ) に代入する。以上のように注目画素に対応する画像勾配ベクトル gを演算する。なお、色モザイク画像 M gの色モザイクパターンがべィャ配列をなしていない場合においても、類似した処理によって画像勾配べクトル gを演算することができる。

処理は図 6 2のステップ S 1 2 4にリターンする。

ステップ S 1 2 4において、平滑化部 8 1は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素 (例えば、注目画素を中心とする 5 X 5 画素）のうち、 R成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部 8 2も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、 G成分を有する画素を検出し、検出した画素の画素値を抽出する。

ステップ S 1 2 5において、平滑化部 8 1は、注目画素から R成分を有する各参照画素までの位置ベクトル nをそれぞれ算出して正規化する。一方、平滑化部 8 2も同様に、注目画素から G成分を有する各参照画素までの位置べクトル nをそれぞれ算出して正規化する。

ステップ S 1 2 6において、平滑化部 8 1は、次式（2 1 ) に示すように、 R 成分を有する参照画素毎に、注目画素の勾配べクトル gと位置べクトル nとの内積の絶対値を 1から除算し、その差の p乗を演算することにより、当該参照画素に対する重要度 ωを算出する。一方、平滑化部 8 2も同様に、 G成分を有する参照画素毎に重要度 ωを算出する。ここで、 ρは、方向選択の先鋭度を調整するための定数であり、予め設定されている。 ω = ( 1— i ( n， g ) I ■ · . ( 2 1 ) ステップ S 1 2 7において、平滑化部 8 1は、 R成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部 8 2も同様に、 G成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。

ステップ S 1 2 8において、平滑化部 8 1は、 R成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度 ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度 ωとを乗算し、それらの積の総和を演算する。一方、平滑化部 8 2も同様に、 G成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度 ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度 ωとを乗算し、それらの積の総和を演算する。

ステップ S 1 2 9において、平滑化部 8 1は、ステップ S 1 2 8で演算した R 成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度 ωの積の総和を、各参照画素に対応するフィルタ係数おょぴ重要度 ωの積の総和で除算して、その商を平滑化された R成分だけの画像 R ' の注目画素に対応する画素値とする。一方、平滑化部 8 2も同様に、平滑化部 8 2は、ステップ S 1 2 8で演算した G成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度 ωの積の総和を、各参照画素に対応するフィルタ係数および重要度 ωの積の総和で除算して、その商を平滑化された G成分だけの画像 G ' の注目画素に対応する画素値とする。

ステップ S 1 3 0において、減算器 8 3は、平滑化部 8 1からの平滑化された R成分だけの画像 R，の注目画素に対応する画素値から、平滑化部 8 2からの平滑化された G成分だけの画像 G ' の注目画素に対応する画素値を減算し、その差を色差画像 Cの注目画素の画素値とする。

処理は、ステップ S 1 2 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 1 2 1乃至 1 3 0の処理が繰り返される。ステップ S 1 2 1において、全ての画素を注目画素としたと判定された場合、当該色差画像生成処理を終了して、図 5 5のステップ S 5 3にリターンする。

なお、色差画像生成部 7 3が色差画像 Dを生成する処理は、上述した色差画像生成部 7 2が色差画像 Cを生成する第 2の処理と同様であるので、その説明は省略する。

色差画像 Cを生成する第 2の処理では、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようにしたので、色差画像 Cを生成する第 1の処理に比較して色モアレの発生を抑止するこができる。

次に、第 2のデモザイク処理を主に実行する画像処理部 7の第 2の構成例について、図 6 4を参照して説明する。画像処理部 7の第 2の構成例において、撮像系からの色 ·感度モザイク画像、色 ·感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および色 ·感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部 1 1 1に供給される。

感度均一化部 1 1 1は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色■感度モザイク画像に感度均一化処理を施し、得られる感度が均一化された色モザイク画像 Mを色補間部 5 2に出力する。ただし、得られる色モザイク画像 Mの色モザイク配列は、元の色■感度モザイク画像の色モザイク配列とは必ずしも同じではないので、感度均一化部 1 1 1は、色モザイクパターン情報を更新して色補間部 1 1 2に供給する。

色捕間部 1 1 2は、感度均一化部 1 1 1からの色モザイク画像 Mに対し、図 4 5の色補間部 5 2と同様に、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像 R , G , Bを生成する。

図 6 5は、感度均一化部 1 1 1の第 1の構成例を示している。当該第 1の構成例は、図 3 5、図 4 1および図 4 2を参照して説明した第 2のデモザイク処理における第 1の感度均一化処理を実行する感度均一化部 1 1 1の構成例である。感度均一化部 1 1 1の第 1の構成例において、撮像系からの色 .感度モザイク画像は、感度補償部 1 2 1および有効性判別部 1 2 3に供給される。色モザイクパターン情報は、欠落補間部 1 2 4に供給される。感度モザイクパターン情報は、感度補償部 1 2 1および有効性判別部 1 2 3に供給される。

感度補償部 1 2 1は、相対感度値 LUT 1 2 2から得られる相対感度値 Sに基づき、色 '感度モザイク画像に感度補償を施して欠落補間部 1 2 4に出力する。相対感度値 LUT 1 2 2は、画素の感度をインデックスとして、相対感度値 Sを出力するノレックアツプテ一ブルである。

有効性判別部 1 2 3は、色 ·感度モザイク画像の各画素の画素値を、飽和レべルの閾値 6 Hおよびノイズレベルの 0 _Lと比較することによつて画素値の有効性を判別し、その結果を判別情報として欠落補間部 1 2 4に供給する。判別情報には、各画素の画素値について有効または無効を示す情報が記述されている。

欠落補間部 1 2 4は、有効性判別部 1 2 3からの判別情報に基づき、感度補償された色 ·感度モザイク画像の全画素のうち、判別情報が有効である画素の画素値はそのまま用い、判別情報が無効である画素に対しては、感度補償された色 - 感度モザイク画像のなかに最も多く存在する色を有する画素の画素値を用いて、その色成分の画素値を補間する。このように、最も多く存在する色を有する画素の画素値を用いることによって、より高周波成分が復元し易くなる。さらに、欠落補間部 1 2 4は、生成した色モザイク画像 Mの色モザイク配列に対応して色モザイクパターン情報を更新し、色補間部 1 1 2に出力する。

次に、図 6 4に示した画像処理部 7の第 2の構成例が主に実行する第 2のデモザイク処理について説明するが、その大部分は、上述した第 1のデモザイク処理と同様である。よって、上述した第 1のデモザイク処理と異なる処理、すなわち、感度均一化部 1 1 1を構成する欠落補間部 1 2 4の欠落補間処理について、図 6 6のフローチャートを参照して説明する。以下、色 ·感度モザイク画像のなかには G成分を有する画素が最も多く存在すると仮定する。ただし、他の色成分を有する画素が最も多く存在する場合においても同様に処理することができる。

ステップ S 1 5 1において、欠落補間部 1 2 4は、感度補償された色 ·感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 1 5 2に進む。ステップ S 1 5 2において、欠落補間部 1 2 4は、感度補償された色 ·感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 1 5 3において、欠落補間部 1 2 4は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップ S 1 5 4に進む。

ステップ S 1 5 4において、欠落補間部 1 2 4は、色モザイクパターン情報を参照し、注目画素の近傍の画素（例えば、注目画素を中心とする 5 X 5画素）のうち、 G成分を有する画素であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、欠落補間部 1 2 4は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、欠落補間部 1 2 4は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像 Mの注目画素の画素値とする。

ステップ S 1 5 5において、欠落補間部 1 2 4は、色モザイクパターン情報における注目画素の色を Gに更新する。

なお、ステップ S 1 5 3において、注目画素の判別情報が無効ではないと判定された場合、ステップ S 1 5 4、およびステップ S 1 5 5の処理はスキップされる。

処理は、ステップ S 1 5 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 1 5 1乃至 1 5 5の処理が繰り返される。ステップ S 1 5 1において、全ての画素を注目画素としたと判定された場合、当該欠落捕間処理は終了され、得られた色モザイク画像 M、および更新された色モザイクパターン情報は、後段の色補間部 1 1 2に供給される。

次に、図 6 5に示した感度均一化部 1 1 1の第 1の構成例の代わりに用いることができる感度均一化部 1 1 1の第 2の構成例について、図 6 7を参照して説明する。

当該第 2の構成例は、図 3 5、図 4 3、およぴ図 4 4を参照して説明した第 2 のデモザイク処理における第 2の感度均一化処理を感度均一化部 1 1 1が実行するための構成例である。

以下、色■感度モザイク画像は、図 1 4の色 '感度モザイクパターン P 1 0、図 1 5の色 '感度モザイクパターン P 1等のように、画素の色は 3原色 R G Bのうちのいずれかの色であり、感度は 4段階 S 0 , S 1 , S 2 , S 3のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、 R G B以外の 3色から成る色 ·感度モザイク画像や、 4色から成る色 ·感度モザイク画像に適用することも可能である。また、感度が 2段階、または 3段階である色 - 感度モザイクパターンに適用することが可能である。

感度均一化部 1 1 1の第 2の構成例において、撮像系からの色 ·感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部 1 3 2 _ 1乃至 1 3 2— 4に供給される。色モザイクパターン情報は、補間色決定部 1 3 1にも供給される。

補間色決定部 1 3 1は、色モザイクパターン情報に基づき、補間部 1 3 2— 1 乃至 1 3 2— 3で補間する補間値の色（補間色）を指定する。また、補間色決定部 1 3 1は、補間色の決定に対応して色モザイクパターン情報を更新する。

捕間部 1 3 1— 1は、補間色決定部 1 3 1からの補間色の指定に対応して、色- 感度モザイク画像に感度 S 0の補間処理を施し、得られる感度 S 0に対応する補間値を加算器 1 3 3に出力する。補間部 1 3 1— 2は、補間色決定部 1 3 1からの補間色の指定に対応して、色'感度モザイク画像に感度 S 1の補間処理を施し、得られる感度 S 1に対応する補間値を加算器 1 3 3に出力する。補間部 1 3 1— 3は、補間色決定部 1 3 1からの補間色の指定に対応して、色■感度モザィク画像に感度 S 2の補間処理を施し、得られる感度 S 2に対応する補間値を加算器 1 3 3に出力する。捕間部 1 3 1—4は、補間色決定部 1 3 1からの捕間色の指定に対応して、色 ·感度モザイク画像に感度 S 3の補間処理を施し、得られる感度 S 3に対応する補間値を加算器 1 3 3に出力する。

加算器 1 3 3は、補間部 1 3 2— 1乃至 1 3 2— 4から入力される感度 S 0乃至 S 3の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部 1 3 4に供給する。

合成感度補償部 1 3 4は、加算器 1 3 3から供給される色モザイク候補画像の画素値を合成感度補償 LUT 1 3 5に照らし合わせ、得られる値を画素値とする色モザイク画像を生成して色補間部 1 1 2に供給する。合成感度補償 LUT 1 3 5は、色モザイク候補画像の画素値をインデックスとして、色 ·感度モザイク画像 Mの画素値を取得できるようになされている。

図 6 7に示した感度均一化部 1 1 1の第 2の構成例による、第 2のデモザイク処理における第 2の感度均一化処理について、図 6 8のフローチヤ一トを参照して説明する。

ステップ S 1 6 1において、補間部 1 3 2— 1乃至 1 3 2— 4は、色 '感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 1 6 2に進む。ステップ S 1 6 2において、捕間部 1 3 2 _ 1乃至 1 3 2— 4は、色 '感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 1 6 3において、補間色決定部 1 3 1は、色モザイクパターン情報に基づく補間色決定処理を実行し、得られた注目画素の補間色を捕間部 1 3 2— 1乃至 1 3 2— 4に通知する。

補間色決定部 1 3 1の補間色決定処理の詳細について、図 6 9のフローチヤ一トを参照して説明する。なお、当該補間色決定処理は、注目画素により近傍の画素を用いて注目画素の画素値を補間することを目的とし、色 ·感度モザイク画像の色モザイク配列がべィャ配列をなしていると仮定する。

ステップ S 1 7 1において、補間色決定部 1 3 1は、色モザイクパターン情報を参照することにより、注目画素の色を判定する。ステップ S 1 7 1において、注目画素の色が Gであると判定ざれた場合、ステップ S 1 7 2に進む。この場合、注目画素の斜め方向に隣接する 4画素の色も G である。ステップ S 1 7 2において、捕間色決定部 1 3 1は、注目画素の補間色を Gに決定し、補間部 1 3 2— 1乃至 1 3 2— 4に通知する。さらに、補間色決定部 1 3 1は、注目画素に対応する色モザイクパターン情報を Gに更新する。ステップ S 1 7 1において、注目画素の色が Rであると判定された場合、ステップ S 1 7 3に進む。この場合、注目画素の斜め方向に隣接する 4画素の色は B である。ステップ S 1 7 3において、補間色決定部 1 3 1は、注目画素の捕間色を Bに決定し、補間部 1 3 2— 1乃至 1 3 2 _ 4に通知する。さらに、補間色決定部 1 3 1は、注目画素に対応する色モザイクパターン情報を Bに更新する。ステップ S 1 7 1において、注目画素の色が Bであると判定された場合、ステップ S 1 7 4に進む。この場合、注目画素の斜め方向に隣接する 4画素の色は R である。ステップ S 1 7 4において、補間色決定部 1 3 1は、注目画素の補間色を Rに決定し、補間部 1 3 2 _ 1乃至 1 3 2— 4に通知する。さらに、補間色決定部 1 3 1は、注目画素に対応する色モザイクパターン情報を Rに更新する。以上説明した補間色決定処理によれば、色モザイク配列がべィャ配列をなす色■感度モザイク画像の Rと Bを入れ替えるように、注目画素の捕間色を指定するので、更新された色モザイクパターン情報もべィャ配列をなすことが維持される。

処理は図 6 8のステップ S 1 6 4にリターンする。ステップ S 1 6 4において、補間部 1 3 2— 1乃至 1 3 2— 4は、捕間色決定部 1 3 1からの補間色の指定に対応し、色 ·感度モザィク画像に補間処理を施すことにより、それぞれ感度 S 0， S l， S 2、または感度 S 3に対応する補間値を生成して加算器 1 3 3に出力する。

具体的には、例えば、補間部 1 3 2 _ 1は、色 ·感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする 5 X 5画素）のうち、補間色指定部 1 3 1から指定された色を有し、かつ、感度が S 0である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、捕間部 1 3 2— 1は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、補間部 1 3 2— 1は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度 S 0に対応する補間値とする。

なお、補間部 1 3 2— 2乃至 1 3 2— 3による感度 S 1乃至 S 3の補間処理は、上述した補間部 1 3 2— 1による感度 S 0の補間処理と同様であるので、その説明は省略する。

ステップ S 1 6 5において、加算器 1 3 3は、捕間部 1 3 2— 1乃至 1 3 2— 4から入力される注目画素に対応する感度 S 0乃至 S 3の補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値として合成感度補償部 1 3 3に供給する。

ステップ S 1 6 6は、合成感度補償部 1 3 4は、加算器 1 3 3から供給された色モザイク候補画像の画素値を合成感度補償 LUT 1 3 5に照らし合わせ、得られた値を注目画素に対応する色モザイク画像 Mの画素値とする。

処理は、ステップ S 1 6 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 1 6 1乃至 1 6 6の処理が繰り返される。ステップ S 1 6 1において、全ての画素を注目画素としたと判定された場合、第 2のデモザイク処理における第 2の感度均一化処理は終了される。

なお、第 2のデモザイク処理における第 2の感度均一化処理により得られた色モザイク画像 Mに対しては、色補間部 1 1 2によって色補間処理が施されるが、その処理は図 5 5のフローチヤ一トを参照して上述した色補間処理と同様であるので説明は省略する。

次に、図 7 0は、画像処理部 7を中心とする画像処理系の第 3のデモザイク処理の概要を示している。

第 3のデモザイク処理は、図 7 0に示すように、撮像部の処理によって得られた色 ·感度モザイク画像の画素の感度を変更することなく、各画素の R G B成分を補間して R成分の感度モザイク画像 MsR、 G成分の感度モザイク画像 MsG、および B成分の感度モザイク画像 MsBを生成する感度別色補間処理と、 R成分の感度モザイク画像、 G成分の感度モザイク画像、および B成分の感度モザイク画像のそれぞれの感度を均一化して出力画像 R , G , Bを生成する感度均一化処理から成る。

第 3のデモザイク処理における感度別色補間処理は、色 ·感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素の R G B成分の画素値を捕間する色補間処理と、色補間処理で補間された画素値を R G B成分毎に合成して感度モザイク画像を生成する揷入処理からなる。

例えば、抽出処理では、色■感度モザイク画像から、感度 S 1の画素だけが抽出されて、画素が市松状に配置された色モザイク画像 McS lが生成される。色補間処理では、色モザイク画像 McSlから、感度 S 1であって R成分を有する画素が巿松状に配置された画像 Rsl、感度 S 1であって G成分を有する画素が巿松状に配置された画像 Gsl、および感度 S 1であって B成分を有する画素が巿松状に配置された画像 Bs lが生成される。

例えば、揷入処理では、色補間処理によって生成された画像 RS0 と、画像 RS1 が組み合わされて、感度モザイク画像 MsRが生成される。

次に、第 3のデモザイク処理を主に実行する画像処理部 7の第 3の構成例について、図 7 3を参照して説明する。

画像処理部 7の第 3の構成例において、撮像系からの色'感度モザィク画像は、感度別色補間部 1 5 1に供給される。色 ·感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度別色補間部 1 5 1に供給される。色 '感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度別色補間部 1 5 1、および感度均一化部 1 5 2乃至 1 5 4に供給される。

なお、以下、特に断りがある場合を除き、色 ·感度モザイク画像は、図 7の色 - 感度モザイクパターン P 3であるとする。すなわち、画素の色は 3原色 R G Bのうちのいずれかの色であり、感度は S 0， S 1のうちの一方であって、さらに、色に拘わらず感度 S 0の画素だけに注目すれば、それらは格子状（市松状）に配置されている。同様に、感度 S 1の画素の格子状（市松状）に配置されている。ただし、以下に説明する構成や動作は、 R G B以外の 3色から成る色，感度モザイク画像や、 4色から成る色-感度モザイク画像に適用することも可能である。感度別色補間部 1 5 1は、色 ·感度モザイク画像に感度別色補間処理を施し、得られる R成分の感度モザイク画像 MsR、 G成分の感度モザイク画像 MsG、および B成分の感度モザイク画像 MsBを、それぞれ対応する感度均一化部 1 5 2乃至 1 5 4に供給する。

感度均一化部 1 5 2は、 R成分の感度モザィク画像 MsRに感度均一化処理を施すことによって出力画像 Rを生成する。感度均一化部 1 5 3は、 G成分の感度モザイク画像 MsGに感度均一化処理を施すことによって出力画像 Gを生成する。感度均一化部 1 5 4は、 B成分の感度モザイク画像 MsBに感度均一化処理を施すことによって出力画像 Bを生成する。

図 7 4は、感度別色補間部 1 5 1の構成例を示している。感度別色補間部 1 5 1において、色 ·感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、抽出部 1 6 1に供給される。

抽出部 1 6 1は、色 ·感度モザイク画像に対して、感度 S i (いまの場合、 i = 0， 1 ) の抽出処理を施し、得られる感度 S iの画素からなる色モザイク画像 McSiを色補間部 1 6 2に供給する。なお、色モザイク画像 McSiは、元の色■感度モザイク画像の X y座標系とは異なる s t座標系を用いて表現されるで画像である（詳細は図 7 8および図 7 9を参照して後述する）。また、抽出部 1 6 1は、色モザイク画像 McSi の色モザイク配列を示す感度 S iの色モザイクパターン情報を生成し、色補間部 1 6 2に供給する。さらに、抽出部 1 6 1は、色モザイク画像 McSiと元の色'感度モザイク画像との位置関係を保持する感度 S iの元位置情報を生成し、挿入部 1 6 3乃至 1 6 5に供給する。

色補間部 1 6 2は、抽出部 1 6 1からの色モザイク画像 McSiの全画素の R G B 成分を補間し、得られる画像 Rsi, Gsi , Bsiをそれぞれ対応する揷入部 1 6 3乃至 1 6 5に供給する。画像 Rsiは、色モザイク画像 McSiの各画素に対応する R成分の画素値からなる画像である。画像 Gsiは、色モザイク画像 McSiの各画素に対応する G成分の画素値からなる画像である。画像 Bsi は、色モザイク画像 McSi の各画素に対応する B成分の画素値からなる画像である。また、画像 Rsi, Gsi , Bsiは、色モザイク画像 McSiと同じ座標系によって表現される。なお、色補間部 1 6 2は、図 4 7に示した色補間部 5 2の構成例と同様に構成される。

揷入部 1 6 3は、抽出部 1 6 1から供給される感度 S iの元位置情報に基づき、色捕間部 1 6 2から感度の種類の数だけ供給される R成分の画像 Rsiを組み合わせて感度モザイク画像 MsRを生成し、感度均一化部 1 5 2に供給する。挿入部 1 6 4は、抽出部 1 6 1から供給される感度 S iの元位置情報に基づき、色補間部 1 6 2から感度の種類の数だけ供給される G成分の画像 Gsiを組み合わせて感度モザイク画像 MsGを生成し、感度均一化部 1 5 3に供給する。揷入部 1 6 5は、抽出部 1 6 1から供給される感度 S iの元位置情報に基づき、色補間部 1 6 2から感度の種類の数だけ供給される B成分の画像 Bsiを組み合わせて感度モザイク画像 MsBを生成し、感度均一化部 1 5 4に供給する。

図 7 5は、感度均一化部 1 5 2の構成例を示している。感度均一化部 1 5 2において、感度別色補間部 1 5 1の揷入部 1 6 3から供給される感度モザイク画像 MsR は、局所和算出部 1 7 1に供給される。局所和算出部 1 7 1は、感度モザィク画像 MsRの各画素に対し、その近傍の画素を用いる局所和算出処理を施し、得られる各画素に対応する局所和を合成感度補償部 1 7 2に供給する。合成感度補儻部 1 7 2は、合成感度補償 LUT 1 7 3に局所和を照らし合わせて対応する補償値を取得し、捕償値を画素値として出力画像 Rを生成する。合成感度補償 LUT 1 7 3は、局所和をインデックスとして、対応する捕償値を供給するようになされている。

なお、感度均一化部 1 5 3， 1 5 4の構成例は、図 7 5に示した感度均一化部 1 5 2の構成例と同様であるので、その説明は省略する。次に、図 7 3に示した画像処理部 7の第 3の構成例による第 3のデモザイク処理について、図 7 6にフローチヤ一トを参照して説明する。

ステップ S 1 8 1において、感度別色捕間部 1 5 1は、色 ·感度モザイク画像に感度別色補間処理を施すことにより、 R成分の感度モザイク画像 MsR、 G成分の感度モザイク画像 MsG、および B成分の感度モザイク画像 MsBを生成し、それぞれ対応する感度均一化部 1 5 2乃至 1 5 4に供給する。

感度別色補間部 1 5 1の感度別色補間処理の詳細について、図 7 7のフローチヤートを参照して説明する。ステップ S 1 9 1において、抽出部 1 6 1は、感度モザイクパターン情報に含まれる全ての感度（いまの場合、 3 0ぉょび3 1 ) を指定したか否かを判定し、全ての感度を指定していないと判定した場合、ステツプ S 1 9 2に進む。

ステップ S 1 9 2において、抽出部 1 6 1は、感度モザイクパターン情報に含まれる全ての感度のうちの 1種類の感度を指定する。指定された感度を S i とする。

ステップ S 1 9 3において、抽出部 1 6 1は、色 .感度モザイク画像の全ての画素のうち、感度 S iの画素だけを抽出し、感度 Siの色モザイク画像 McSiを生成して色補間部 1 6 2に供給する。さらに、抽出部 1 6 1は、色モザイク画像 McSi と元の色 ·感度モザイク画像との位置関係を保持する感度 S iの元位置情報を生成し、揷入部 1 6 3乃至 1 6 5に供給する。また、抽出部 1 6 1は、色モザイク画像 McSiの色モザイク配列を示す感度 S iの色モザイクパターン情報を生成し、色補間部 1 6 2に供給する。

ステップ S 1 9 3の処理の詳細について、図 7 8および図 7 9を参照して説明する。

抽出される感度 S iの画素は元の色 ·感度モザイク画像の画素間隔では抽出されないので、生成される感度 Siの色モザイク画像 McSiは、元の色 .感度モザィク画像とは画素間隔、原点、向きが異なる格子に形成される。そこで、抽出部 6 1は、色モザイク画像 McSiを生成すると同時に、元の色'感度モザイク画像の座標系と、色モザイク画像 McSiの座標系との対応関係を元に、画素毎に元の位置の情報を参照できる元位置情報を生成する。

元の色'感度モザイク画像と生成する色モザイク画像 McSiの座標系の対応関係は、図 78または図 79に示すとおりである。同図において、元の色 .感度モザイク画像は X y座標系で表示され、色モザイク画像 McSiは s t座標系で表示されている。また、色 ·感度モザイク画像の画は感度 S 0の画素を示し、色 '感度モザイク画像の口は感度 S 1の画素を示している。このように X y座標系に対して斜めに設定した s t座標系を用いることにより、元の色 '感度モザイク画像において市松状に配置された感度 S iの画素を、等間隔格子の画素配置として抽出できるようになされている。

図 78を参照して、色 ·感度モザイク画像の画で示される感度 S 0の画素を抽出する場合について説明する。例えば、図中の画素 Aは、元の色■感度モザイク画像を表現する X y座標系では（x _A， y_A) であり、生成される色モザイク画像 McSiを表現する s t座標系では（ s _A， t_A) である。（s_A, t _A) と（x_A， y _A) は、次式（22) に示すような対応関係がある。

s A⁼ { ( X _A— 1 ) + y _A} / 2

t A= {(x_{ma x}- 1 -x_A) +y_A} /2 · ■ ■ (22) 抽出部 1 6 1は、元の色 '感度モザイク画像の感度 S 0の画素の座標（x_A, y_A) を式（22) に適用して、色モザイク画像 McSiでの座標（s_A， t_A) を算出し、その座標に当該画素の値を用いて色モザイク画像 McSiを生成する。同時に、感度 S 0の元位置情報には、座標（s_A, t _A) に対応して座標（x_A， y_A) を格納する。

図 79を参照して、色 ·感度モザイク画像の口で示される感度 S 1の画素を抽出する場合について説明する。例えば、図中の画素 Bは、元の色 ·感度モザイク画像を表現する X y座標系では（x_B， y_B) であり、生成される色モザイク画像 McSiを表現する _s t座標系では（ s _B， t である。（ s t と（x_B， y _B) は、次式（23) に示すような対応関係がある。 S B= ( χ B+ y _B) Z ²

t_B= {(x_{ma x}- i -x_B) +y_B} /2 - - - (23) 抽出部 1 6 1は、元の色 '感度モザイク画像の感度 S 1の画素の座標（x_B， y_B) を式（22) に適用して、色モザイク画像 McSiでの座標（s _B, t _B) を算出し、その座標に当該画素の値を用いて色モザイク画像 McSiを生成する。同時に、感度 S 1の元位置情報には、座標（s _B， t _B) に対応して座標（x_B， y _B) を格納する。

図 7 7に戻り、ステップ S 1 94において、色捕間部 1 6 2は、抽出部 1 6 1 からの色モザイク画像 McSiの全画素の RGB成分を補間して、画像 Rsi, Gsi, Bsi を生成し、それぞれ対応する揷入部 1 63乃至 1 6 5に供給する。なお、色補間部 16 2の処理の詳細については、図 55を参照して説明した色補間部 5 2 の色捕間処理と同様であるので、その説明は省略する。

処理はステップ S 1 9 1に戻り、感度モザイクパターン情報に含まれる全ての感度を指定したと判定されるまで、ステップ S 1 9 1乃至 S 1 94に処理が繰り返される。ステップ S 1 9 1において、感度モザイクパターン情報に含まれる全ての感度を指定したと判定された場合、処理はステップ S 1 9 5に進む。

ステップ S 1 95において、揷入部 1 6 3は、抽出部 1 6 1から供給された全ての元位置情報に基づき、色補間部 1 6 2から感度の種類の数だけ供給された R 成分の画像 Rsi (いまの場合、画像 RsOと画像 Rsl) を組み合わせて感度モザイク画像 MsRを生成し、感度均一化部 1 5 2に供給する。同様に、揷入部 1 64は、感度モザイク画像 MsGを生成して感度均一化部 1 53に供給し、揷入部 1 6 5は、感度モザイク画像 MsBを生成して感度均一化部 1 54に供給する。

処理は図 76のステップ S 1 8 2にリターンする。ステップ S 1 82において、感度均一化部 1 5 2は、 R成分の感度モザイク画像 MsRに感度均一化処理を施すことによって出力画像 Rを生成する。感度均一化部 1 5 3は、 G成分の感度モザイク画像 MsGに感度均一化処理を施すことによって出力画像 Gを生成する。感度均一化部 1 54は、 B成分の感度モザィク画像 MsBに感度均一化処理を施すことによって出力画像 Bを生成する。

感度均一化部 1 5 2の感度均一化処理について、図 8 0のフローチヤ一トを参照して説明する。ステップ S 2 0 1において、局所和算出部 1 7 1は、 R成分の感度モザイク画像 MsRの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 2 0 2に進む。ステップ S 2 0 2において、局所和算出部 1 7 1は、感度モザイク画像 MsRの左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 2 0 3において、局所和算出部 1 7 1は、注目画素に対応する局所和を算出し、合成感度補償部 1 7 2に供給する。具体的には、注目画素を中心とする 5 X 5画素（以下、参照画素と記述する）の画素値が抽出され、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている図 8 1に示すようなフィルタ係数とがそれぞれ乗算され、それらの積の総和が演算される。さらに、その積の総和が、 2 5個のフィルタ係数の総和で除算されて、その商が注目画素に対応する局所和とされる。

ステップ S 2 0 4において、合成感度補償部 1 7 2は、合成感度補償 LUT 1 7 3に局所和を照らし合わせて対応する補償値を取得し、補償値を注目画素に対応する出力画像 Rの画素値とする。

処理は、ステップ S 2 0 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 2 0 1乃至 2 0 4の処理が繰り返される。ステップ S 2 0 1において、全ての画素を注目画素としたと判定された場合、感度均一化処理は終了され、図 7 6にリターンする。

なお、感度均一化部 1 5 3， 1 5 4も、感度均一化部 1 5 2の感度均一化処理と平行して同様の感度均一化処理を実行するが、その詳細な説明は省略する。以上、画像処理部 7の第 3の構成例による第 3のデモザィク処理の説明を終了する。

次に、画像処理部 7を中心とする画像処理系の第 4のデモザイク処理の概要について説明する。第 4のデモザイク処理は、撮像部の処理によって得られた色■感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色 ·感度モザイク画像と輝度画像を用いて出力画像 R， G , Bを生成する単色画像処理から成る。

図 8 2は、第 4のデモザイク処理を主に実行する画像処理部 7の第 4の構成例を示している。

画像処理部 7の第 4の構成例において、撮像系からの色 ·感度モザイク画像、色-感度モザィク画像の色モザィク配列を示す色モザィクパターン情報、およぴ、色 ·感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部 1 8 1、並びに単色画像生成部 1 8 2乃至 1 8 4に供給される。なお、以下、特に断りがある場合を除き、色.感度モザイク画像は、図 6の色 - 感度モザイクパターン P 2であるとする。すなわち、画素の色は 3原色 R G Bのうちのいずれかの色であり、感度は S 0， S 1のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはべィャ配列をなしている。

ただし、以下に説明する構成や動作は、 R G B以外の 3色から成る色 .感度モザイク画像や、 4色から成る色 '感度モザィク画像に適用することも可能である。輝度画像生成部 1 8 1は、供給される色 ·感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部 1 8 2乃至 1 8 4に供給する。

単色画像生成部 1 8 2は、供給される色 ·感度モザイク画像および輝度画像を用いて出力画像 Rを生成する。単色画像生成部 1 8 3は、供給される色 ·感度モザイク画像および輝度画像を用いて出力画像 Gを生成する。単色画像生成部 1 8 4は、供給される色■感度モザイク画像および輝度画像を用いて出力画像 Bを生成する。

図 8 3は、輝度画像生成部 1 8 1の第 1の構成例を示している。輝度画像生成部 1 8 1の第 1の構成例において、色 .感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部 1 9 1乃至 1 9 3に供給される。推定部 1 9 1は、色 ·感度モザイク画像に対して R成分推定処理を施し、得られる各画素に対する R成分の推定値 R' を乗算器 1 94に供給する。推定部 1 9 2は、色 ·感度モザイク画像に対して G成分推定処理を施し、得られる各画素に対する G成分の推定値 G' を乗算器 1 95に供給する。推定部 19 3は、色 -感度モザイク画像に対して B成分推定処理を施し、得られる各画素に対する B成分の推定値 B' を乗算器 1 96に供給する。

乗算器 1 94は、推定部 1 9 1から供給される推定値 R' に、色バランス係数 k_Rを乗算し、その積を加算器 1 9 7に出力する。乗算器 1 95は、推定部 1 9 2から供給される推定値 G' に、色パランス係数 k_cを乗算し、その積を加算器 1 97に出力する。乗算器 1 9 6は、推定部 1 9 3から供給される推定値 B 'に、色バランス係数 k_Bを乗算し、その積を加算器 1 9 7に出力する。

加算器 1 97は、乗算器 1 94から入力される積 R' · k_R、乗算器 1 9 5から入力される積 G，- k_G、および乗算器 1 96から入力される積 Β'· k_Bを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部 1.98に供給する。ここで、色バランス係数 k_R, k_G, k_Bは、予め設定されている値であり、例えば、 k_R= 0. 3、 k_G= 0. 6、 k_B= 0. 1である。なお、色バランス係数 k_R， k_G, k_Bの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、例えば、 k_R=k_G=k_Bとしてもよい。

ノイズ除去部 1 98は、加算器 1 9 7から供給される輝度候補画像に対してノィズ除去処理を施し、得られる輝度画像を単色画像生成部 1 8 2乃至 1 84に供給する。

図 84は、単色画像生成部 1 8 2の構成例を示している。単色画像生成部 1 8 2において、色 '感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部 20 1に供給される。輝度画像は、比率算出部 20 2、および乗算器 203に供給される。

補間部 20 1は、色 .感度モザイク画像に補間処理を施し、得られる全ての画素が R成分の画素値を有する R候補画像を比率値算出部 202に出力する。比率値算出部 202は、 R候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下、単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器 203に供給する。

乗算器 203は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像 Rを生成する。

なお、単色画像生成部 1 8 3， 1 84の構成例も同様であるので、その説明は省略する。

次に、画像処理部 7の第 4の構成例による第 4のデモザイク処理について、図 85のフローチャートを参照して説明する。

ステップ S 2 1 1において、輝度画像生成部 1 8 1は、色 '感度モザイク画像に輝度画像生成処理を施すことによって輝度画像を生成し、単色画像生成部 18 2乃至 1 84に供給する。

輝度画像生成部 1 8 1の輝度画像生成処理について、図 86のフローチヤ一トを参照して説明する。

ステップ S 2 2 1において、推定部 1 9 1乃至 1 9 3は、色 '感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 2 22に進む。ステップ S 22 2において、推定部 1 9 1乃至 1 93は、色 '感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 2 23において、推定部 1 9 1は、色 '感度モザイク画像に対して R成分推定処理を施すことにより、注目画素に対応する推定値 R' を推定し、乗算器 1 94に供給する。推定部 1 92は、色 '感度モザイク画像に対して G成分推定処理を施すことにより、注目画素に対応する推定値 G' を推定し、乗算器 1 94に供給する。推定部 1 93は、色 ·感度モザイク画像に対して B成分推定処理を施すことにより、注目画素に対応する推定値 B' を推定し、乗算器 1 94に供給する。推定部 1 9 1の R成分推定処理について、図 8 7のフローチヤ一トを参照して説明する。ステップ S 2 3 1において、推定部 1 9 1は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする 1 5 X 1 5画素）のうち、 R成分を有し、かつ、感度 S 0である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。

ステップ S 2 3 2において、推定部 1 9 1は、参照画素の注目画素に対する相対的な位置に対応し、図 8 8に示すような予め設定されている R成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いた R 成分用補間フィルタ係数の総和で除算して第 1の商を取得する。

ステップ S 2 3 3において、推定部 1 9 1は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする 1 5 X 1 5画素）のうち、 R成分を有し、かつ、感度 S 1 である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。

ステップ S 2 3 4において、推定部 1 9 1は、参照画素の注目画素に対する相対的な位置に対応し、 R成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第 2の商を取得する。

ステップ S 2 3 5において、推定部 1 9 1は、ステップ S 2 3 2で取得した第 1の商と、ステップ S 2 3 4で取得した第 2の商を加算する。ステップ S 2 3 6 において、推定部 1 9 1は、ステップ S 2 3 5で演算した第 1の商と第 2の商の和を、内蔵する合成感度補償 LUT (後述）に照らし合わせることにより、感度特性を補償した補償値を取得する。取得した補償値は、注目画素に対応する推定値 R，とされる。処理は図 8 6のステップ S 2 2 4にリターンする。なお、推定部 1 9 2の G成分推定処理、および推定部 1 9 3の B成分推定処理は、推定部 1 9 1の R成分推定処理と同様であるので、その説明は省略する。ただし、推定部 1 9 2の G成分推定処理においては、注目画素を中心とする 7 X 7 画素のなかから参照画素を検出するようにし、さらに、図 8 9に示す G成分用補間フィルタ係数を用いることにする。

ここで、推定部 1 9 1が用いる合成感度補償 LUTについて、図 9 0乃至図 9 2 を参照して説明する。図 9 0は、感度 S 0の画素の特性曲線 bと、感度 S 1の画素の特性曲線 aを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度 S 1は、低簡素の感度 S 0に対して 4倍の感度を有している。

当該推定処理では、図 9 0の特性曲線 bに示すような特性で測定された感度 S 0の画素から算出された第 1の商と、同図の特性曲線 aに示すような特性で測定された感度 S 1の画素を用いて算出された第 2の商とが加算されている。従って、第 1の商と第 2の商の和は、図 9 1の特性曲線 cに示すように、感度 S Oと感度 S 1の特性が合成された特性を有することになる。

この合成された特性曲線 cは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図 9 1に示すように折れ線となっているので、感度特性曲線 cの逆特性曲線を用いることにより、元のリユアな特性を復元するようにする。具体的には、図 9 2に示すように、第 1の商と第 2の商の和を、図 9 1の感度特性曲線 cの逆特性曲線 dに適用して非線形性を補償するようにする。

すなわち、合成感度補償 LUTは、図 9 2の逆特性曲線 dをルックアップテープル化したものである。

図 8 6の説明に戻る。ステップ S 2 2 4において、乗算器 1 9 4は、推定部 1 9 1から供給された推定値 R，に色バランス係数 k _Rを乗算し、その積を加算器 1 9 7に出力する。乗算器 1 9 5は、推定部 1 9 2から供給された推定値 G ' に色バランス係数 k _Gを乗算し、その積を加算器 1 9 7に出力する。乗算器 1 9 6 は、推定部 1 9 3から供給された推定値 B，に色バランス係数 k _Bを乗算し、その積を加算器 1 97に出力する。加算器 1 97は、乗算器 1 94から入力された積 R' ■ k_R、乗算器 1 9 5から入力された積 G' ■ k_G、および乗算器 1 96から入力された積 B' · k_Bを加算し、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする。

処理は、ステップ S 2 2 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 22 1乃至 224の処理が繰り返される。ステップ S 221において、全ての画素を注目画素としたと判定された場合、ステップ S 2 25にすすむ。なお、ステップ S 22 1乃至 224の処理によって生成された輝度候補画像はノイズ除去部 1 98に供給される。

ステップ S 225において、ノイズ除去部 1 9 8は、加算器 1 9 7から供給される輝度候捕画像にノィズ除去処理を施すことによつて輝度画像を生成し、単色画像生成部 1 8 2乃至 1 84に供給する。

ノイズ除去部 1 98のノイズ除去処理について、図 9 3のフローチヤ一トを参照して説明する。ステップ S 24 1において、ノイズ除去部 1 98は、輝度候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 242に進む。ステップ S 242において、ノイズ除去部 1 98は、輝度候補画像の左下の画素から右上の画素まで、順次 1 画素ずつ注目画素に決定する。

ステップ S 243において、ノイズ除去部 1 9 8は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数 a 3， a 0, a 1 , a 2に代入する。ステップ S 244において、ノイズ除去部 1 98は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する。

ノイズ除去部 1 98の方向選択的平滑化処理について、図 94のフローチヤ一トを参照して説明する。ステップ S 25 1において、ノイズ除去部 1 9 8は、次式（24) に適用して、注目画素に対応する輝度勾配ベクトル gを算出する。輝度勾配ベクトル g= (a 2- a l , a 3- a O) - - - (24) ステップ S 2 5 2において、ノイズ除去部 1 9 8は、輝度勾配ベクトル gの大きさ（絶対値） II V IIを演算する。

ステップ S 2 5 3において、ノイズ除去部 1 9 8は、変数 a 0乃至 a 3を次式 ( 2 5 ), ( 2 6 ) に適用して、注目画素に対応する水平方向の平滑化成分 H hと垂直方向の平滑化成分 H vを演算する。

Hh = ( a 1 + a 2) /2 · - - ( 2 5 )

H V = ( a 3 + a 0) / 2 · - - ( 2 6 ) ステップ S 2 5 4において、ノイズ除去部 1 9 8は、輝度勾配べクトル gの絶対値 II g IIに対応して、水平方向の重要度 whと垂直方向の重要度 wvを演算する。

具体的には、輝度勾配べクトル gの絶対値 II g IIが 0よりも大きい場合、次式 ( 2 7)に示すように、正規化した輝度勾配べクトノレ gZli g IIとべクトル（1， 0) との内積の絶対値を 1から減算して水平方向の重要度 w hを得る。また、次式（2 8)に示すように、正規化した輝度勾配べクトル gZ II g IIとべクトル（ 0 , 1) との内積の絶対値を 1から減算して垂直方向の重要度 w vを得る。

wh= l - I (g/ || g II , ( 1， ο)) I · ■ · ( 2 7) w v = l - I (g/|| g II , (o, D) I ■ ■ · ( 2 8 ) 輝度勾配べクトル gの絶対値 li g IIが oである場合、水平方向の平滑化寄与率 whおよび垂直方向の平滑化寄与率 w Vを、それぞれ 0. 5とする。

ステップ S 2 5 5において、ノイズ除去部 1 9 8は、次式（2 9 ) を用いて注目画素に対応する平滑化値ひを演算する。

a = (w h - Hh +w v - H v) / (w h +w v) · · - ( 2 9) 処理は図 9 3のステップ S 2 4 5に戻る。ステップ S 2 4 5において、ノイズ除去部 1 9 8は、注目画素の画素値（輝度候補値）と、ステップ S 2 4 4で演算した注目画素に対応する平滑化値 αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする。

処理はステップ S 2 4 1に戻り、全ての画素を注目画素としたと判定されるまで、ステップ S 2 4 1乃至 S 2 4 5の処理が繰り返される。ステップ S 2 4 1において、全ての画素を注目画素としたと判定された場合、ノイズ除去処理は終了されて、すなわち、輝度画像生成処理も終了されて、図 8 5のステップ S 2 1 2 にリターンする。

ステップ S 2 1 2において、単色画像生成部 1 8 2乃至 1 8 4は、供給された色 -感度モザイク画像および輝度画像を用い、それぞれ出力画像 R , G , Bを生成する。

単色画像生成部 1 8 2の第 1の単色画像生成処理について、図 9 5のフローチヤートを参照して説明する。

ステップ S 2 6 1において、補間部 2 0 1は、色■感度モザイク画像に補間処理を施すことによって、全ての画素が R成分の画素値を有する R候補画像を生成し、比率値算出部 2 0 2に出力する。

なお、補間部 2 0 1の補間処理は、図 8 7のフローチャートを参照して上述した輝度画像生成部 1 8 1を構成する推定部 1 9 1の R成分推定処理と同様であるので、その説明は省略する。

ステップ S 2 6 2において、比率値算出部 2 0 2は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器 2 0 3に供給する。

比率値算出部 2 0 2の比率値算出処理について、図 9 6のフローチヤ一トを参照して説明する。ステップ S 2 7 1において、比率値算出部 2 0 2は、 R候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップ S 2 7 2に進む。ステップ S 2 7 2において、比率値算出部 2 0 2は、 R候補画像の左下の画素から右上の画素まで、順次 1画素ずつ注目画素に決定する。

ステップ S 2 7 3において、比率値算出部 2 0 2は、注目画素の近傍に位置する画素（例えば、注目画素を中心とする 7 X 7画素）を参照画素し、それらの画素値（R成分の単色候補値）を取得する。また、比率値算出部 2 0 2は、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する。

ステップ S 2 7 4において、比率値算出部 2 0 2は、参照画素の注目画素に対する相対的な位置に対応し、図 9 7に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。

ステップ S 2 7 5において、比率値算出部 2 0 2は、各参照画素の R成分の単色候捕値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。

処理はステップ S 2 7 1に戻り、 R候補画像の全ての画素を注目画素としたと判定されるまで、ステップ S 2 7 1乃至 S 2 7 5の処理が繰り返される。ステツプ S 2 7 1において、 R候補画像の全ての画素を注目画素としたと判定された場合、生成された比率値情報が乗算器 2 0 3に供給されて、処理は図 9 5のステツプ S 2 6 3にリターンする。

ステップ S 2 6 3において、乗算器 2 0 3は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像 Rを生成する。

なお、単色画像生成部 1 8 2の第 1の単色画像生成処理と同時に、単色画像生成部 1 8 3 , 1 8 4も、同様の処理を実行する。

以上、画像処理部 7の第 4の構成例による第 4のデモザイク処理の説明を終了する。

次に、図 9 8は、輝度画像生成部 1 8 1の第 2の構成例を示している。輝度画像生成部 1 8 1の第 2の構成例は、図 8 3に示した輝度画像生成部 1 8 1の第 1 の構成例における推定部 1 9 1乃至 1 9 3を、推定部 2 1 1で置換したものである。

輝度画像生成部 1 8 1の第 2の構成例において、色■感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部 2 1 1に供給される。推定部 2 1 1は、色■感度モザイク画像に対して成分推定処理を施し、得られる各画素に対する R成分の推定値 R '、 G成分の推定値 G '、および B成分の推定値 B ' を、対応する乗算器 1 9 4乃至 1 9 6に供給する。

なお、輝度画像生成部 1 8 1の第 2の構成例をなす乗算器 1 9 4乃至ノイズ除去部 1 9 8は、同一の番号を附した図 8 3に示した輝度画像生成部 1 8 1の第 1 の構成例をなす乗算器 1 9 4乃至ノイズ除去部 1 9 8と同様であるので、その説明は省略する。

次に、推定部 2 1 1による R G B成分の推定処理について、図 9 9のフローチヤートを参照して説明する。なお、当該 R G B成分の推定処理は、図 8 6のステップ S 2 2 3における処理として、図 8 7を参照して上述した R成分推定処理に代えて実行可能な処理である。したがって、既に色 ·感度モザイク画像の注目画素は推定部 2 1 1によって決定されているとして、ステップ S 2 8 1以降の処理を説明する。

ステップ S 2 8 1において、推定部 2 1 1は、図 1 0 0に示すような注目画素を中心とする 4画素の画素値を用いる推定画素値 C 0補間処理によって、注目画素に対応する推定画素値 C 0を算出する。推定画素値 C 0補間処理について、図 1 0 1のフローチヤ一トを参照して説明する。

ステップ S 2 9 1において、推定部 2 1 1は、図 1 0 0に示すように、〇で表される注目画素に対して 1画素分の間隔を空けて上下左右に位置する 4画素の画素値を、それぞれ変数 a 3 , a 0 , a 1 , a 2に代入して、図 9 4を参照して上述した方向選択的平滑化処理に適用することによって平滑化値 aを演算する。このように、指定した画素の上下左右方向に位置する 4画素の画素値を、それぞれ変数 a 3， a O， a 1 , a 2に代入して、図 9 4を参照して上述した方向選択的平滑化処理に適用することによって平滑化値 _αを演算する処理を、以下、指定した画素に対応する垂直方向選択的平滑化処理と定義する。

ステップ S 2 9 2において、推定部 2 1 1は、ステップ S 2 9 1で得た平滑化値ひを注目画素の画素値に加算して、その和を注目画素の推定画素値 C 0とする。処理は図 9 9のステップ S 2 8 2にリターンする。

ステップ S 2 8 2において、推定部 2 1 1は、図 1 0 2に示すような注目画素を中心とする 1 2画素を用いる推定画素値 C 1補間処理によって、注目画素に対応する推定画素値 C 1を算出する。推定画素値 C 1捕間処理について、図 1 0 3 のフローチャートを参照して説明する。

ステップ S 3 0 1において、推定部 2 1 1は、注目画素の色が Gであるか否かを判定し、注目画素の色が Gであると判定した場合、ステップ S 3 0 2に進む。ステップ S 3 0 2において、推定部 2 1 1は、図 1 0 2に示すように、〇で表される注目画素に対して左下、左上、右下、右上に隣接して位置する 4画素の画素値を、それぞれ変数 a 0， a 1 , a 2， a 3に代入して、図 9 4を参照して上述した方向選択的平滑化処理に適用することによって平滑化値 aを演算する。このように、指定した画素の左下、左上、右下、右上方向に位置する 4画素の画素値を、それぞれ変数 a 0 , a 1 , a 2 , a 3に代入して、図 9 4を参照して上述した方向選択的平滑化処理に適用することによって平滑化値 _αを演算する処理を、以下、指定した画素に対応する斜め方向選択的平滑化処理と定義する。ステップ S 3 0 3にいて、推定部 2 1 1は、ステップ S 3 0 2で得た平滑化値 αに 2を乗算して、その積を注目画素の推定画素値 C 1とする。処理は図 9 9のステップ S 2 8 3にリターンする。

なお、ステップ S 3 0 1において、注目画素の色が Gではないと判定された場合、処理はステップ S 3 0 4に進む。

ステップ S 3 0 4において、推定部 2 1 1は、注目画素の左上に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値 αを算出し、変数 a 1に代入する。ステタブ S 3 0 5において、推定部 2 1 1は、注目画素の右下に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値ひを算出し、変数 a 2に代入する。ステップ S 3 0 6において、推定部 2 1 1は、注目画素の左下に隣接する画素の画素値を変数 a 0に代入し、注目画素の右上に隣接する画素の画素値を変数 a 3に代入する。

ステップ S 307において、推定部 2 1 1は、ステップ S 304乃至 S 306 で値を設定した変数 a 0， a 1 , a 2, a 3を、図 94を参照して上述した方向選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 α'とする。ステップ S 308において、推定部 21 1は、注目画素の左下に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値 aを算出し、変数 a 0に代入する。ステップ S 30 9において、推定部 21 1は、注目画素の右上に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値 αを算出し、変数 a 3に代入する。ステップ S 3 1 0において、推定部 2 1 1は、 '注目画素の左上に隣接する画素の画素値を変数 a 1に代入し、注目画素の右下に隣接する画素の画素値を変数 _a 2に代入する。

ステップ S 3 1 1において、推定部 2 1 1は、ステップ S 308乃至 S 3 10 で値を設定した変数 a O, a 1 , a 2 , a 3を、図 94を参照して上述した方向選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 α ' 'とする。ステップ S 3 1 2において、推定部 2 1 1は、ステップ S 307で得た平滑化値 α ' と、ステップ S 3 1 1で得た平滑化値ひ'' をカロ算し、その和を注目画素に対応する推定画素値 C 1とする。処理は図 9 9のステップ S 283にリターンする。

ステップ S 28 3において、推定部 21 1は、図 1 04 Αに示すような注目画素を中心とする 4画素、または図 104 Bに示すような注目画素を中心とする 8 画素を用いる推定画素値 C 2補間処理によって、注目画素に対応する推定画素値 C 2を算出する。推定画素値 C 2捕間処理について、図 105のフローチャートを参照して説明する。

ステップ S 3 2 1において、推定部 21 1は、注目画素の色が Gであるか否かを判定し、注目画素の色が Gであると判定した場合、ステップ S 3 22に進む。ステップ S 3 22において、推定部 21 1は、注目画素の上に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値 _αを算出し、平滑化値 _α ' とする。

ステップ S 3 2 3において、推定部 2 1 1は、注目画素の下に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値 αを算出し、平滑化値とする。

ステップ S 3 2 4において、推定部 2 1 1は、注目画素の下に隣接する画素の画素値と、ステップ S 3 2 2で得た平滑化値ひ，との平均値と、注目画素の上に隣接する画素の画素値と、ステップ S 3 2 3で得た平滑化値ひ ' ' との平均値とを加算して、その和を注目画素に対応する推定画素値 C 2とする。処理は図 9 9のステップ S 2 8 4にリターンする。

なお、ステップ S 3 2 1において、注目画素の色が Gではないと判定された場合、処理はステツプ S 3 2 5に進む。

ステップ S 3 2 5において、推定部 2 1 1は、注目画素の左に隣接する画素を中心として斜め方向に隣接して位置する 4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値ひを算出し、変数 a 1に代入する。ステップ S 3 2 6において、推定部 2 1 1は、注目画素の右に隣接する画素を中心として斜め方向に隣接して位置する 4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値 α を算出し、変数 a 2に代入する。ステップ S 3 2 7において、推定部 2 1 1は、注目画素の下に隣接する画素の画素値を変数 a 0に代入し、注目画素の上に隣接する画素の画素値を変数 a 3に代入する。

ステップ S 3 2 8において、推定部 2 1 1は、ステップ S 3 2 5乃至 S 3 2 7 で値を設定した変数 a 0 ， a 1 , a 2 , a 3を、図 9 4を参照して上述した方向選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 cx 'とする。ステップ S 3 2 9において、推定部 2 1 1は、注目画素の下に隣接する画素を中心として斜め方向に隣接して位置する 4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値 αを算出し、変数 a 0に代入する。ステップ S 3 3 0において、推定部 2 1 1は、注目画素の上に隣接する画素を中心として斜め方向に隣接して位置する 4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値 α を算出し、変数 a 3に代入する。ステップ S 3 3 1において、推定部 2 1 1は、注目画素の左に隣接する画素の画素値を変数 a 1に代入し、注目画素の右に隣接する画素の画素値を変数 _a 2に代入する。

ステップ S 3 3 2において、推定部 2 1 1は、ステップ S 3 2 9乃至 S 3 3 1 で値を設定した変数 a O ， a 1 , a 2 , a 3を、図 9 4を参照して上述した方向選択的平滑化処理に適用して平滑化値 αを演算し、その値を平滑化値 α，'とする。ステップ S 3 3 3において、推定部 2 1 1は、ステップ S 3 2 8で得た平滑化値 α ' と、ステップ S 3 3 2で得た平滑化値を加算し、その和を注目画素に対応する推定画素値 C 2とする。処理は図 9 9のステップ S 2 8 4にリターンする。

ステップ S 2 8 4において、推定部 2 1 1は、図 1 0 6に示すような注目画素を中心とする 8画素を用いる推定画素値 C 3補間処理によって、注目画素に対応する推定画素値 C 3を算出する。推定画素値 C 3補間処理について、図 1 0 7のフローチャートを参照して説明する。

ステップ S 3 4 1において、推定部 2 1 1は、注目画素の色が Gであるか否かを判定し、注目画素の色が Gであると判定した場合、ステップ S 3 4 2に進む。ステップ S 3 4 2において、推定部 2 1 1は、注目画素の右に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値ひを算出し、平滑化値 a ' とする。

ステップ S 3 4 3において、推定部 2 1 1は、注目画素の左に隣接する画素を中心として 1画素分の間隔を空けて位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値ひを算出し、平滑化値ひ ' ' とする。

ステップ S 3 4 4において、推定部 2 1 1は、注目画素の左に隣接する画素の画素値と、ステップ S 3 4 2で得た平滑化値ひ ' との平均値と、注目画素の右に隣接する画素の画素値と、ステップ S 3 4 3で得た平滑化値 ' ' との平均値とを加算して、その和を注目画素に対応する推定画素値 C 3とする。処理は図 9 9のステップ S 28 5にリターンする。

なお、ステップ S 34 1において、注目画素の色が Gであると判定された場合、処理はステップ S 345に進む。ステップ S 345において、推定部 2 1 1は、注目画素に対応する推定画素値 C 3を 0とする。処理は図 9 9のステップ S 28 5にリターンする。

ステップ S 285において、推定部 21 1は、色モザイクパターン情報および感度モザイクパターン情報を参照して、注目画素の色と感度を判別し、その判別結果に対応して、ステップ S 28 1乃至 S 284で得た注目画素に対応する推定画素値 C O乃至 C 3を、内蔵する合成感度補償 LUT (図 90乃至図 9 2を参照して上述した合成感度補償 LUTと同様のもの）に適用して、推定値 R'， G'， B' を算出する。

すなわち、注目画素の色が Gであって、かつ、感度 S Oである場合、推定画素値 C 2を合成感度補償 LUTに適用した値 LUT (C 2) が推定値 R' とされ、推定画素値 C 0+C 1の平均値を合成感度補償 LUTに適用した値 LUT((C 0 + C 1 /) 2)) が推定値 G' とされ、推定画素値 C 3を合成感度補償 LUTに適用した値 LUT (C 3) が推定値 B' とされる。

注目画素の色が Gであって、かつ、感度 S 1である場合、推定画素値 C 3を合成感度補償 LUTに適用した値 LUT (C 3) が推定値 R' とされ、推定画素値 C O + C 1の平均値を合成感度補償 LUTに適用した値 LUT ((C 0 +C 1Z) 2)) が推定値 G' とされ、推定画素値 C 2を合成感度補償 LUTに適用した値 LUT (C 2) が推定値 B' とされる。

注目画素の色が Rである場合、推定画素値 C 0を合成感度補償 LUTに適用した値 LUT (C O) が推定値 R' とされ、推定画素値 C 2の平均値を合成感度補償 LUT に適用した値 LUT (C 2) が推定値 G' とされ、推定画素値 C 1を合成感度補償 LUTに適用した値 LUT (C 1) が推定値 B' とされる。

注目画素の色が Bである場合、推定画素値 C 1を合成感度補償 LUTに適用した値 LUT (C 1) が推定値 R' とされ、推定画素値 C 2の平均値を合成感度補償 LUT に適用した値 LUT ( C 2 ) が推定値 G ' とされ、推定画素値 C 0を合成感度補償

LUTに適用した値 LUT ( C O ) が推定値 B，とされる。

以上のように、推定部 2 1 1による R G B成分の推定処理では、方向選択的平滑化処理を利用して生成された推定画素値 C 0乃至 C 3が用いられるので、画像信号の解像度劣化が抑止される。

以上、推定部 2 1 1による R G B成分の推定処理の説明を終了する。

ところで上述した説明においては、画像処理部 7の第 4の構成例の単色画像生成部 1 8 3、 1 8 4は、図 8 4に示した単色画像生成部 1 8 2の構成例と同様に構成されており、図 9 5を参照して説明した単色画像生成部 1 8 2の単色画像生成処理（図 9 5 ) と同様の処理を実行するとしたが、単色画像生成部 1 8 2乃至

1 8 4は、単色画像生成処理に含まれる単色候補画像生成処理（図 9 5のステツプ S 2 6 1 ) に代えて、それぞれに最適化された独自の処理を実行することも可能である。

ステップ S 2 6 1の単色候補画像生成処理に代えて単色画像生成部 1 8 2が実行する R候補画像生成処理について、図 1 0 8のフローチャートを参照して説明する。なお、説明の便宜上、単色画像生成部 1 8 2を構成する補間部 2 0 1を補間部 2 0 1一 Rと記述する。

ステップ S 3 5 1において、補間部 2 0 1— Rは、色 ·感度モザイク画像の全ての画素を 1回目の注目画素としたか否かを判定し、全ての画素を 1回目の注目画素としていないと判定した場合、ステップ S 3 5 2に進む。ステップ S 3 5 2 において、補間部 2 0 1— Rは、色 '感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 1回目の注目画素に決定する。

ステップ S 3 5 3において、補間部 2 0 1— Rは、 1回目の注目画素の色が R であるか否かを判定し、 Rであると判定した場合、ステップ S 3 5 4に進む。ステツプ S 3 5 4において、捕間部 2 0 1— Rは、 1回目の注目画素を中心として 1画素分の間隔を空けて上下左右に位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値 αを算出する。ステップ S 3 5 5において、補間部 2 0 1—Rは、 1回目の注目画素の画素値と、ステップ S 3 5 4で算出した平滑化値ひとの和を、内蔵する合成感度補償 LUT (図 9 0乃至図 9 2を参照して上述した合成感度補償 LUTと同様のもの）に適用し、得られた値を R候補画像の 1回目の注目画素に対応する画素値とする。処理はステップ S 3 5 1に戻る。

なお、ステップ S 3 5 3において、 1回目の注目画素の色が Rではない判定された場合、ステップ S 3 5 4およびステップ S 3 5 5はスキップされ、ステップ S 3 5 1に戻る。

その後、ステップ S 3 5 1において、色 '感度モザイク画像の全ての画素を 1 回目の注目画素としたと判定されるまで、ステップ S 3 5 1乃至 S 3 5 5の処理が繰り返され、ステップ S 3 5 1において、色 '感度モザイク画像の全ての画素を 1回目の注目画素としたと判定された場合、処理はステップ S 3 5 6に進む。ステップ S 3 5 6において、捕間部 2 0 1—Rは、色 '感度モザイク画像の全ての画素を 2回目の注目画素としたか否かを判定し、全ての画素を 2回目の注目画素としていないと判定した場合、ステップ S 3 5 7に進む。ステップ S 3 5 7 において、補間部 2 0 1— Rは、色 '感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 2回目の注目画素に決定する。

ステップ S 3 5 8において、補間部 2 0 1—Rは、 2回目の注目画素の色が B であるか否かを判定し、 Bであると判定した場合、ステップ S 3 5 9に進む。ステツプ S 3 5 9において、補間部 2 0 1—Rは、 2回目の注目画素を中心として斜め方向に隣接して位置する 4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値ひを算出する。ステップ S 3 6 0において、補間部 2 0 1—Rは、ステツプ S 3 5 9で算出した平滑化値ひを R候補画像の 2回目の注目画素に対応する画素値とする。処理はステップ S 3 5 6に戻る。

なお、ステップ S 3 5 8において、 2回目の注目画素の色が Bではない判定された場合、ステップ S 3 5 9およびステップ S 3 6 0はスキップされ、ステップ S 3 5 6に戻る。

その後、ステップ S 3 5 6において、色 '感度モザイク画像の全ての画素を 2 回目の注目画素としたと判定されるまで、ステップ S 3 5 6乃至 S 3 6 0の処理が繰り返され、ステップ S 3 5 6において、色 '感度モザイク画像の全ての画素を 2回目の注目画素としたと判定された場合、処理はステップ S 3 5 1に進む。ステップ S 3 6 1において、色 ·感度モザイク画像の全ての画素を 3回目の注目画素としたか否かを判定し、全ての画素を 3回目の注目画素としていないと判定した場合、ステップ S 3 6 2に進む。ステップ S 3 6 2において、補間部 2 0 1一 Rは、色 ·感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 3回目の注目画素に決定する。

ステップ S 3 6 3において、補間部 2 0 1— Rは、 3回目の注目画素の色が G であるか否かを判定し、 Gであると判定した場合、ステップ S 3 6 4に進む。ステツプ S 3 6 4において、補間部 2 0 1— Rは、 3回目の注目画素を中心として上下左右に隣接して位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値ひを算出する。ステップ S 3 6 5において、補間部 2 0 1—Rは、ステツプ S 3 6 4で算出した平滑化値 _αを R候補画像の 3回目の注目画素に対応する画素値とする。処理はステップ S 3 6 1に戻る。

なお、ステップ S 3 6 3において、 3回目の注目画素の色が Gではない判定された場合、ステップ S 3 6 4およびステップ S 3 6 5はスキップされ、ステップ S 3 5 1に戻る。

その後、ステップ S 3 6 1において、色 '感度モザイク画像の全ての画素を 3 回目の注目画素としたと判定されるまで、ステップ S 3 6 1乃至 S 3 6 5の処理が繰り返され、ステップ S 3 6 1において、色 '感度モザイク画像の全ての画素を 3回目の注目画素としたと判定された場合、当該 R候補画像生成処理は終了される。

単色画像生成部 1 8 4が実行する Β候補画像生成処理について、図 1 0 9のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部 1 8 2の補間部 2 0 1に相当する単色画像生成部 1 8 4の構成要素を捕間部 2 0 1 一 Βと記述する。ステップ S 3 7 1において、補間部 2 0 1— Bは、色 '感度モザイク画像の全ての画素を 1回目の注目画素としたか否かを判定し、全ての画素を 1回目の注目画素としていないと判定した場合、ステップ S 3 7 2に進む。ステップ S 3 7 2 において、補間部 2 0 1— Bは、色 ·感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 1回目の注目画素に決定する。

ステップ S 3 7 3において、捕間部 2 0 1— Bは、 1回目の注目画素の色が B であるか否かを判定し、 Bであると判定した場合、ステップ S 3 7 4に進む。ステツプ S 3 7 4において、補間部 2 0 1— Bは、 1回目の注目画素を中心として 1画素分の間隔を空けて上下左右に位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値ひを算出する。ステップ S 3 7 5において、補間部 2 0 1— は、 1回目の注目画素の画素値と、ステップ S 3 7 4で算出した平滑化ィ直との和を、内蔵する合成感度補償 LUT (図 9 0乃至図 9 2を参照して上述した合成感度補償 LUTと同様のもの）に適用し、得られた値を B候補画像の 1回目の注目画素に対応する画素値とする。処理はステップ S 3 7 1に戻る。

なお、ステップ S 3 7 3において、 1回目の注目画素の色が Bではない判定された場合、ステップ S 3 7 4およびステップ S 3 7 5はスキップされ、ステップ S 3 7 1に戻る。

その後、ステップ S 3 7 1において、色 ·感度モザイク画像の全ての画素を 1 回目の注目画素としたと判定されるまで、ステップ S 3 7 1乃至 S 3 7 5の処理が繰り返され、ステップ S 3 7 1において、色 '感度モザイク画像の全ての画素を 1回目の注目画素としたと判定された場合、処理はステップ S 3 7 6に進む。ステップ S 3 7 6において、補間部 2 0 1—Bは、色■感度モザイク画像の全ての画素を 2回目の注目画素としたか否かを判定し、全ての画素を 2回目の注目画素としていないと判定した場合、ステップ S 3 7 7に進む。ステップ S 3 7 7 において、捕間部 2 0 1— Bは、色 .感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 2回目の注目画素に決定する。

ステップ S 3 7 8において、補間部 2 0 1— Bは、 2回目の注目画素の色が R であるか否かを判定し、 Rであると判定した場合、ステップ S 3 7 9に進む。ステツプ S 3 7 9において、補間部 2 0 1— Bは、 2回目の注目画素を中心として斜め方向に隣接して位置する 4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値 αを算出する。ステップ S 3 8 0において、補間部 2 0 1— Βは、ステツプ S 3 7 9で算出した平滑化値 _αを Β候補画像の 2回目の注目画素に対応する画素値とする。処理はステップ S 3 7 6に戻る。

なお、ステップ S 3 7 8において、 2回目の注目画素の色が Rではない判定された場合、ステップ S 3 7 9およびステップ S 3 8 0はスキップされ、ステップ S 3 7 6に戻る。

その後、ステップ S 3 7 6において、色 '感度モザイク画像の全ての画素を 2 回目の注目画素としたと判定されるまで、ステップ S 3 7 6乃至 S 3 8 0の処理が繰り返され、ステップ S 3 7 6において、色 '感度モザイク画像の全ての画素を 2回目の注目画素としたと判定された場合、処理はステップ S 3 8 1に進む。ステップ S 3 8 1において、色■感度モザイク画像の全ての画素を 3回目の注目画素としたか否かを判定し、全ての画素を 3回目の注目画素としていないと判定した場合、ステップ S 3 8 2に進む。ステップ S 3 8 2において、補間部 2 0 1一 Βは、色 ·感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 3回目の注目画素に決定する。

ステップ S 3 8 3において、捕間部 2 0 1—Βは、 3回目の注目画素の色が G であるか否かを判定し、 Gであると判定した場合、ステップ S 3 8 4に進む。ステツプ S 3 8 4において、補間部 2 0 1—Βは、 3回目の注目画素を中心として上下左右に隣接して位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値ひを算出する。ステップ S 3 8 5において、補間部 2 0 1— Βは、ステツプ S 3 8 4で算出した平滑化値ひを Β候補画像の 3回目の注目画素に対応する画素値とする。処理はステップ S 3 8 1に戻る。

なお、ステップ S 3 8 3において、 3回目の注目画素の色が Gではない判定された場合、ステップ S 3 8 4およびステップ S 3 8 5はスキップされ、ステップ S 3 8 1に戻る。

その後、ステップ S 3 8 1において、色 '感度モザイク画像の全ての画素を 3 回目の注目画素としたと判定されるまで、ステップ S 3 8 1乃至 S 3 8 5の処理が繰り返され、ステップ S 3 8 1において、色 -感度モザイク画像の全ての画素を 3回目の注目画素としたと判定された場合、当該 B候補画像生成処理は終了される。

単色画像生成部 1 8 3が実行する G候補画像生成処理について、図 1 1 0のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部 1

8 2の補間部 2 0 1に相当する単色画像生成部 1 8 3の構成要素を補間部 2 0 1 _ Gと記述する。

ステップ S 3 9 1において、補間部 2 0 1— Gは、色■感度モザイク画像の全ての画素を 1回目の注目画素としたか否かを判定し、全ての画素を 1回目の注目画素としていないと判定した場合、ステップ S 3 9 2に進む。ステップ S 3 9 2 において、捕間部 2 0 1— Gは、色 '感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 1回目の注目画素に決定する。

ステップ S 3 9 3において、補間部 2 0 1— Gは、 1回目の注目画素の色が G であるか否かを判定し、 Gであると判定した場合、ステップ S 3 9 4に進む。ステツプ S 3 9 4において、補間部 2 0 1— Gは、 1回目の注目画素を中心として斜め方向に隣接して位置する 4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値 αを算出する。ステップ S 3 9 5において、補間部 2 0 1—Gは、 1 回目の注目画素の画素値と、ステップ S 3 9 4で算出した平滑化値 αとの和を、内蔵する合成感度補償 LUT (図 9 0乃至図 9 2を参照して上述した合成感度補償 LUT と同様のもの）に適用し、得られた値を G候捕画像の 1回目の注目画素に対応する画素値とする。処理はステップ S 3 9 1に戻る。

なお、ステップ S 3 9 3において、 1回目の注目画素の色が Gではない判定された場合、ステップ S 3 9 4およびステップ S 3 9 5はスキップされ、ステップ S 3 9 1に戻る。その後、ステップ S 3 9 1において、色 '感度モザイク画像の全ての画素を 1 回目の注目画素としたと判定されるまで、ステップ S 3 9 1乃至 S 3 9 5の処理が繰り返され、ステップ S 3 9 1において、色 '感度モザイク画像の全ての画素を 1回目の注目画素としたと判定された場合、処理はステップ S 3 9 6に進む。ステップ S 3 9 6において、補間部 2 0 1— Gは、色 '感度モザイク画像の全ての画素を 2回目の注目画素としたか否かを判定し、全ての画素を 2回目の注目画素としていないと判定した場合、ステップ S 3 9 7に進む。ステップ S 3 9 7 において、補間部 2 0 1—Gは、色 '感度モザイク画像の左下の画素から右上の画素まで、順次 1画素ずつ 2回目の注目画素に決定する。

ステップ S 3 9 8において、補間部 2 0 1—Gは、 2回目の注目画素の色が G であるか否かを判定し、 Gではないと判定した場合、ステップ S 3 9 9に進む。ステップ S 3 9 9において、補間部 2 0 1— Gは、 2回目の注目画素を中心として上下左右に隣接して位置する 4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値ひを算出する。ステップ S 4 0 0において、補間部 2 0 1— Gは、ステップ S 3 9 9で算出した平滑化値 αを G候補画像の 2回目の注目画素に対応する画素値とする。処理はステップ S 3 9 6に戻る。

なお、ステップ S 3 9 8において、 2回目の注目画素の色が Rである判定された場合、ステップ S 3 9 9およびステップ S 4 0 0はスキップされ、スップ S 3 9 6に戻る。

その後、ステップ S 3 9 6において、色 '感度モザイク画像の全ての画素を 2 回目の注目画素としたと判定されるまで、ステップ S 3 9 6乃至 S 4 0 0の処理が操り返され、ステップ S 3 9 6において、色 -感度モザイク画像の全ての画素を 2回目の注目画素としたと判定された場合、当該 R候補画像生成処理は終了される。

ところで、上述したように、第 4のデモザイク処理では、色 ·感度モザイク画像像から、輝度画像と単色画像を生成し、その後、輝度と色成分との相関性を利用して、全色を復元することにより、全ての画素が均一の感度で全ての色成分を復元するようにしたが、最初に生成する輝度画像は、復元する色情報に相関があつて、高解像度で復元できる信号であれば、偏った分光特性をもっていてもかまわない。例えば、色'感度モザイク画像の色モザイク配列がべィャ配列のように、 Rの画素や Bの画素に比較して Gの画素が 2倍存在する特性を利用して、輝度画像の代わりに G成分の画像を生成し、 Gと R、または Gと Bの相関性を利用して、 R成分の画像と B成分の画像を生成するようにしてもよい。

そのような処理を実行するために、図 1 1 0に示すように、画像処理部 7を構成してもよい。輝度画像生成部 2 2 1は、画像処理部 7の第 4の構成例における単色画像生成部 1 8 2の補間部 2 0 1 (図 8 4 ) の処理と同様の処理を実行することによって出力画像 Gを生成する。単色画像生成部 2 2 2， 2 2 3は、それぞれ、画像処理部 7の第 4の構成例における単色画像生成部 1 8 2 , 1 8 4と同様の処理を実行することによって、出力画像 Rまたは出力画像 Bを生成する。

以上、第 1乃至第 4のデモザイク処理を実行する画像処理部 7の構成例に関する説明を終了する。

なお、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、図 1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 1 6 (フロッピディスクを含む）、光ディスク 1 7 (CD-ROM (Compact Disc-Read Only Memory)、 DVD (Digital Versatile Disc)を含む）、光磁気ディスク 1 8 (MD (Mini Disc)を含む）、もしくは半導体メモリ 1 9などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている ROMやハードディスクなどで構成される。なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

以上のように、本発明によれば、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を生成することが可能となる。

Claims

請求の範囲

1 . 各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元手段を

含むことを特徴とする画像処理装置。

2 . 前記復元手段は、

前記色'感度モザィク画像の感度特性の配列を示す感度モザィクパターン情報、および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成手段と、

前記感度モザイクパターン情報、前記色モザイクパターン情報、および前記輝度画像に基づき、前記色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成手段と

を含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記輝度画像生成手段は、

前記色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定手段と、

前記複数の推定手段がそれぞれ算出した複数の前記推定値を用いて、前記色 - 感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出手段と

を含むことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記推定手段は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出することを特徴とする請求の範囲第 3項に記載の画像処理装置。

5 . 前記輝度画像生成手段は、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去手段をさらに含むことを特徴とする請求の範囲第 3項に記載の画像処理装置。

6 . 前記単色画像生成手段は、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成手段と、

前記輝度画像に基づき、前記単色画像候補を修正して前記単色画像を生成する修正手段と

7 . 前記単色画像候補生成手段は、前記複数の感度特性にそれぞれ対応する複数の単色候捕値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 6項に記載の画像処理装置。

8 . 前記単色画像候補生成手段は、方向選択的平滑化処理を用いて、前記色感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 6項に記載の画像処理装置。 ' 9 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する撮像手段を

さらに含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

1 0 . 前記復元手段は、

前記色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化手段と、

前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間手段と

1 1 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間手段は、前記色モザイクパターン情報に基づき、前記色モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 1 0項に記載の画像処理装置。

1 2 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザィク画像を生成する

ことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 3 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

1 4 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分を補償する補償手段と、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別手段と、

前記判別手段の判別結果に対応して、前記補償手段が補償した各画素が有する色成分を補間処理によつて修正する修正手段と

を含むことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 5 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の推定画素値を算出する算出手段と、前記算出手段が算出した前記推定画素値を補正する補正手段とを含むことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 6 . 前記色補間手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

前記感度特性均一化手段は、前記感度モザイクパターン情報に基づき、前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成することを特徴とする請求の範囲第 1 0項に記載の画像処理装置。

1 7 . 前記色補間手段は、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手段と、

前記抽出手段が抽出した各画素に対し、全ての色成分を補間する全色成分補間手段と、

前記全色成分補間手段が全ての色成分を補間した画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して前記感度モザイク画像を生成する合成手段と

を含むことを特徴とする請求の範囲第 1 6項に記載の画像処理装置。

1 8 . 各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分およぴ感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを

含むことを特徴とする画像処理方法。

1 9 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、

前記感度モザイクパターン情報、前記色モザイクパターン情報、および前記輝度画像に基づき、前記色，感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップと

を含むことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 0 . 前記輝度画像生成ステツプは、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用いて、前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップと

を含むことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 1 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 2 0項に記載の画像処理方法。

2 2 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップを

さらに含むことを特徴とする請求の範囲第 2 0項に記載の画像処理方法。

2 3 . 前記単色画像生成ステップは、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成ステップと、

前記輝度画像に基づき、前記単色画像候補を修正して前記単色画像を生成するを含むことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 4 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 2 3項に記載の画像処理方法。

2 5 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する

2 6 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する撮像ステップをさらに含むことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。 2 7 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップと

2 8 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、前記色モザイクパターン情報に基づき、前記色モザィク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 2 7項に記載の画像処理方法。

2 9 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成する

ことを特徴とする請求の範囲第 2 8項に記載の画像処理方法。

3 0 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

3 1 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、

前記判別手段の判別結果に対応して、前記補償ステップの処理で補償された各画素が有する色成分を補間処理によって修正する修正ステップと

を含むことを特徴とする請求の範囲第 2 8項に記載の画像処理方法。

3 2 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の推定画素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する補正ステップと

3 3 . 前記色補間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報に基づき、前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成する

ことを特徴とする請求の範囲第 2 6項に記載の画像処理方法。

3 4 . 前記色捕間ステップは、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステツプと、

前記抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、

前記全色成分捕間ステップの処理で全ての色成分が補間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して前記感度モザイク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 3 3項に記載の画像処理方法。

3 5 . 各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分およぴ感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色■感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを

含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている記録媒体。

3 6 . 前記復元ステップは、

前記感度モザイクパターン情報、前記色モザイクパターン情報、および前記輝度画像に基づき、前記色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップとを含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 3 5項に記載の記録媒体。

3 7 . 前記輝度画像生成ステップは、

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 3 6項に記載の記録媒体。

3 8 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 3 7項に記載の記録媒体。

3 9 . 前記輝度画像生成ステップは、

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 3 7項に記載の記録媒体。

4 0 . 前記単色画像生成ステップは、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成ステップと、

前記輝度画像に基づき、前記単色画像候補を修正して前記単色画像を生成する修正ステップと

4 1 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 4 0項に記載の記録媒体。

4 2 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色■感度モザイク画像に対応する前記単色画像候補を生成する

4 3 . 被写体を撮像し、前記色，感度モザイク画像を生成する処理を制御する撮像制御ステップを · さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 3 5項に記載の記録媒体。

4 4 . 前記復元ステップは、

前記色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 3 5項に記載の記録媒体。

4 5 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、前記色モザイクパターン情報に基づき、前記色画像の各画素の色成分を補間して前記復元画像を生成することを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 4 4項に記載の記録媒体。

4 6 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 4 5項に記載の記録媒体。

4 7 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する感度特性を均一化して前記色モザィク画像を生成し、前記色モザィクパターン情報を更新する

4 8 . 前記感度均一化ステップは、

前記判別手段の判別結果に対応して、前記補償ステップの処理で補償された各画素が有する色成分を補間処理によつて修正する修正ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 4 5項に記載の記録媒体。

4 9 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、前記色 '感度モザイク画像の推定画素値を算出する算出ステップと、

前記算出ステップの処理で算出された前記推定画素値を補正する捕正ステップと

5 0 . 前記色捕間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 4 4項に記載の記録媒体。

5 1 . 前記色補間ステップは、

前記色 ·感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ステツプと、

前記抽出ステップの処理で抽出された各画素に対し、全ての色成分を捕間する全色成分補間ステップと、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して前記感度モザイク画像を生成する合成ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 5 0項に記載の記録媒体。

5 2 . 各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ、同一の色成分およぴ感度特性を有する複数の画素が格子状に配置されるとともに、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色 ·感度モザィク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップをコンピュータに実行させるプログラム。

5 3 . 前記復元ステップは、

前記感度モザイクパターン情報、前記色モザイクパターン情報、および前記輝度画像に基づき、前記色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップと

を含むことを特徴とする請求の範囲第 5 2項に記載のプログラム。

5 4 . 前記輝度画像生成ステップは、

を含むことを特徴とする請求の範囲第 5 3項に記載のプログラム。

5 5 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出することを特徴とする請求の範囲第 5 4項に記載のプログラム。

5 6 . 前記輝度画像生成ステップは、

さらに含むことを特徴とする請求の範囲第 5 4項に記載のプログラム。

5 7 . 前記単色画像生成ステップは、前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成ステップと、

5 8 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 5 7項に記載のプログラム。

5 9 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する

ことを特徴とする請求の範囲第 5 7項に記載のプログラム。

6 0 . 被写体を撮像し、前記色 '感度モザイク画像を生成する処理を制御する撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 5 2項に記載のプログラム。

6 1 . 前記復元ステップは、

6 2 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、前記色モザイクパターン情報に基づき、前記色画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 6 1項に記載のプログラム。

6 3 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成する

ことを特徴とする請求の範囲第 6 2項に記載のプロダラム。

6 4 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

ことを特徴とする請求の範囲第 6 2項に記載のプログラム。

6 5 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分を捕償する補償ステップと、

を含むことを特徴とする請求の範囲第 6 2項に記載のプログラム。

6 6 . 前記感度均一化ステップは、

前記算出ステップの処理で算出された前記推定画素値を捕正する捕正ステップと

6 7 . 前記色補間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

ことを特徴とする請求の範囲第 6 1項に記載のプログラム。

6 8 . 前記色補間ステップは、

を含むことを特徴とする請求の範囲第 6 7項に記載のプログラム。

6 9 . 各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分おょぴ感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色■感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元手段を

含むことを特徴とする画像処理装置。

7 0 . 前記復元手段は、

前記色'感度モザィク画像の感度特性の配列を示す感度モザィクパターン情報、および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成手段と、

を含むことを特徴とする請求の範囲第 6 9項に記載の画像処理装置。

7 1 . 前記輝度画像生成手段は、

を含むことを特徴とする請求の範囲第 7 0項に記載の画像処理装置。

7 2 . 前記推定手段は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 7 1項に記載の画像処理装置。

7 3 . 前記輝度画像生成手段は、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去手段をさらに含むことを特徴とする請求の範囲第 7 1項に記載の画像処理装置。

7 4 . 前記単色画像生成手段は、

前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成手段と、

前記輝度画像に基づき、前記単色画像候補を修正して前記単色画像を生成する修正手段と · を含むことを特徴とする請求の範囲第 7 0項に記載の画像処理装置。

7 5 . 前記単色画像候補生成手段は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 7 4項に記載の画像処理装置。

7 6 . 前記単色画像候補生成手段は、方向選択的平滑化処理を用いて、前記色 - 感度モザイク画像に対応する前記単色画像候補を生成する

7 7 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する撮像手段をさらに含むことを特徴とする請求の範囲第 6 9項に記載の画像処理装置。

7 8 . 前記復元手段は、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化手段と、

前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間手段と

7 9 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

ことを特徴とする請求の範囲第 7 8項に記載の画像処理装置。

8 0 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザィク画像を生成することを特徴とする請求の範囲第 7 9項に記載の画像処理装置。

8 1 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

ことを特徴とする請求の範囲第 7 9項に記載の画像処理装置。

8 2 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分を補償する補償手段と、

前記感度モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分の有効性を判別する判別手段と、

前記判別手段の判別結果に対応して、前記補償手段が補償した各画素が有する色成分を補間処理によって修正する修正手段と

を含むことを特徴とする請求の範囲第 7 9項に記載の画像処理装置。

8 3 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、前記色■感度モザイク画像の推定画素値を算出する算出手段と、

前記算出手段が算出した前記推定画素値を補正する補正手段と

8 4 . 前記色補間手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

前記感度特性均一化手段は、前記感度モザイクパターン情報に基づき、前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成することを特徴とする請求の範囲第 7 8項に記載の画像処理装置。

8 5 . 前記色補間手段は、前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手段と、

前記抽出手段が抽出した各画素に対し、全ての色成分を捕間する全色成分補間手段と、

を含むことを特徴とする請求の範囲第 8 4項に記載の画像処理装置。

8 6 . 各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを

含むことを特徴とする画像処理方法。

8 7 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、

を含むことを特徴とする請求の範囲第 8 6項に記載の画像処理方法。

8 8 . 前記輝度画像生成ステップは、前記色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用いて、前記色■感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候補値算出ステップと

を含むことを特徴とする請求の範囲第 8 7項に記載の画像処理方法。

8 9 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 8 8項に記載の画像処理方法。

9 0 . 前記輝度画像生成ステップは、

さらに含むことを特徴とする請求の範囲第 8 8項に記載の画像処理方法。

9 1 . 前記単色画像生成ステップは、

前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、前記色 ·感度モザイク画像に対応する単色画像候捕を生成する単色画像候補生成ステップと、

9 2 . 前記単色画像候補生成ステツプの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 9 1項に記載の画像処理方法。

9 3 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成することを特徴とする請求の範囲第 9 1項に記載の画像処理方法。

9 4 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する撮像ステップをさらに含むことを特徴とする請求の範囲第 8 6項に記載の画像処理方法。 9 5 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステツプと、前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップと

9 6 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

前記色補間ステップの処理は、前記色モザイクパターン情報に基づき、前記色モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 9 5項に記載の画像処理方法。

9 7 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成する

ことを特徴とする請求の範囲第 9 6項に記載の画像処理方法。

9 8 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

9 9 . 前記感度均一化ステップは、前記感度モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する色成分を補償する補償ステップと、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステツプと、

前記判別手段の判別結果に対応して、前記補償ステップの処理で補償された各画素が有する色成分を捕間処理によって修正する修正ステップと

を含むことを特徴とする請求の範囲第 9 6項に記載の画像処理方法。

1 0 0 . 前記感度均一化ステップは、

前記算出ステツプの処理で算出された前記推定画素値を補正する補正ステップと

1 0 1 . 前記色捕間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報に基づき、前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成する '

1 0 2 . 前記色補間ステップは、

前記抽出ステップの処理で抽出された各画素に対し、全ての色成分を捕間する全色成分捕間ステップと、

を含むことを特徴とする請求の範囲第 1 0 1項に記載の画像処理方法。

1 0 3 . 各画素が複数の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを

1 0 4 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 0 3項に記載の記録媒体。

1 0 5 . 前記輝度画像生成ステップは、

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 0 4項に記載の記録媒体。

1 0 6 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出することを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 0 5項に記載の記録媒体。

1 0 7 . 前記輝度画像生成ステップは、

前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステツプを

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 0 5項に記載の記録媒体。

1 0 8 . 前記単色画像生成ステップは、

前記感度モザィクパターン情報、および前記色モザィクパターン情報に基づき、前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成ステップと、

1 0 9 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 0 8項に記載の記録媒体。

1 1 0 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色■感度モザイク画像に対応する前記単色画像候補を生成することを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 0 8項に記載の記録媒体。

1 1 1 . 被写体を撮像し、前記色■感度モザイク画像を生成する処理を制御する撮像制御ステップを

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 0 3項に記載の記録媒体。

1 1 2 . 前記復元ステップは、

前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップと

1 1 3 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する感度特性を均一化して色モザィク画像を生成し、

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 1 2項に記載の記録媒体。

1 1 4 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 .感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成することを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 1 3項に記載の記録媒体。

1 1 5 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 1 3項に記載の記録媒体。

1 1 6 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分を補償する捕償ステップと、

前記感度モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分の有効性を判別する判別ステップと、

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 1 3項に記載の記録媒体。

1 1 7 . 前記感度均一化ステップは、

1 1 8 . 前記色補間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

1 1 9 . 前記色補間ステップは、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出ス前記抽出ステップの処理で抽出された各画素に対し、全ての色成分を補間する全色成分補間ステップと、

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 1 8項に記載の記録媒体。

1 2 0 . 各画素が複数の色成分のうちのいずれかの色成分、およぴ光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、かつ同一の色成分および感度特性を有する複数の画素が格子状に配置されるとともに、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、さらに、任意の画素と前記任意の画素の上下左右に隣接する 4画素の合計 5画素の中には全ての色成分が存在する色 ·感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを

コンピュータに実行させるプログラム。

1 2 1 . 前記復元ステップは、

前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色 ·感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、、

前記感度モザイクパターン情報、前記色モザイクパターン情報、および前記輝度画像に基づき、前記色 ·感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップと . を含むことを特徴とする請求の範囲第 1 2 0項に記載のプログラム。

1 2 2 . 前記輝度画像生成ステップは、

を含むことを特徴とする請求の範囲第 1 2 1項に記載のプログラム。

1 2 3 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出することを特徴とする請求の範囲第 1 2 2項に記載のプログラム。

1 2 4 . 前記輝度画像生成ステップは、

さらに含むことを特徴とする請求の範囲第 1 2 2項に記載のプログラム。

1 2 5 . 前記単色画像生成ステップは、

1 2 6 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれそれ対応する複数の単色候捕値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 2 5項に記載のプログラム。

1 2 7 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成することを特徴とする請求の範囲第 1 2 5項に記載のプログラム。

1 2 8 . 被写体を撮像し、前記色■感度モザイク画像を生成する処理を制御する撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 1 2 0項に記載のプログラム。

1 2 9 . 前記復元ステップは、

を含むことを特徴とする請求の範囲第 1 2 0項に記載のプログラム。

1 3 0 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

ことを特徴とする請求の範囲第 1 2 9項に記載のプログラム。

1 3 1 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成する

ことを特徴とする請求の範囲第 1 3 0項に記載のプログラム。

1 3 2 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

1 3 3 . 前記感度均一化ステップは、

前記判別手段の判別結果に対応して、前記補償ステップの処理で捕償された各画素が有する色成分を補間処理によつて修正する修正ステップと

を含むことを特徴とする請求の範囲第 1 3 0項に記載のプログラム。

1 3 4 . 前記感度均一化ステップは、

1 3 5 . 前記色補間ステップの処理は、前記感度モザイクパターン情報、およぴ前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、前記感度モザィクパターン情報に基づき、前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成する

1 3 6 . 前記色補間ステップは、

を含むことを特徴とする請求の範囲第 1 3 5項に記載のプログラム。

1 3 7 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色■感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成する画像処理装置において、前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化手段と、前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間手段と

を含むことを特徴とする画像処理装置。

1 3 8 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する感度特性を均一化して色モザィク画像を生成し、

ことを特徴とする請求の範囲第 1 3 7に記載の画像処理装置。

1 3 9 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザィク画像を生成する

ことを特徴とする請求の範囲第 1 3 8項に記載の画像処理装置。

1 4 0 . 前記感度特性均一化手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

1 4 1 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、前記色■感度モザィク画像の各画素が有する色成分を補償する補償手段と、

を含むことを特徴とする請求の範囲第 1 3 8項に記載の画像処理装置。

1 4 2 . 前記感度均一化手段は、

前記感度モザイクパターン情報に基づき、前記色 ·感度モザイク画像の推定画素値を算出する算出手段と、

1 4 3 . 前記色補間手段は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 .感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザィク画像を生成し、前記感度特性均一化手段は、前記感度モザイクパターン情報に基づき、前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成することを特徴とする請求の範囲第 1 3 7項に記載の画像処理装置。

1 4 4 . 前記色補間手段は、

前記色■感度モザイク画像から同一の感度特性を有する画素を抽出する抽出手段と、

前記全色成分捕間手段が全ての色成分を補間した画素のうち、同一の色成分を有し、かつ、異なる感度特性を有する画素を合成して前記感度モザイク画像を生成する合成手段と

を含むことを特徴とする請求の範囲第 1 4 3項に記載の画像処理装置。

1 4 5 . 被写体を撮像し、前記色■感度モザイク画像を生成する撮像手段をさらに含むことを特徴とする請求の範囲第 1 3 7項に記載の画像処理装置。 1 4 6 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色■感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成する画像処理装置の画像処理方法において、

を含むことを特徴とする画像処理方法。

1 4 7 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 .感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、前記色補間ステップの処理は、前記色モザイクパターン情報に基づき、前記色モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とする請求の範囲第 1 4 6に記載の画像処理方法。

1 4 8 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 .感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザィク画像を生成する

ことを特徴とする請求の範囲第 1 4 7項に記載の画像処理方法。

1 4 9 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 .感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

1 5 0 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する色成分を補償する補償ステップと、

前記判別ステップの処理での判別結果に対応して、前記補償ステップの処理で補償された各画素が有する色成分を補間処理によって修正する修正ステップとを含むことを特徴とする請求の範囲第 1 4 7項に記載の画像処理方法。

1 5 1 . 前記感度均一化ステップは、

を含むことを特徴とする請求の範囲第 1 4 7項に記載の画像処理方法。

1 5 2 . 前記色補間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザィク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

ことを特徴とする請求の範囲第 1 4 6項に記載の画像処理方法。

1 5 3 . 前記色捕間ステップは、

前記全色成分補間ステップの処理で全ての色成分が補間された画素のうち、同 —の色成分を有し、かつ、異なる感度特性を有する画素を合成して前記感度モザイク画像を生成する合成ステップと

を含むことを特徴とする請求の範囲第 1 5 2項に記載の画像処理方法。

1 5 4 . 被写体を撮像し、前記色■感度モザイク画像を生成する撮像ステップを

さらに含むことを特徴とする請求の範囲第 1 4 6項に記載の画像処理方法。

1 5 5 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成するためのプログラムであつて、

前記色■感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている記録媒体。

1 5 6 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する感度特性を均一化して色モザィク画像を生成し、

前記色捕間ステップの処理は、前記色モザイクパターン情報に基づき、前記色モザイク画像の各画素の色成分を補間して前記復元画像を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 5 5に記載の記録媒体。

1 5 7 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 5 6項に記載の記録媒体。

1 5 8 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

1 5 9 . 前記感度均一化ステップは、

前記感度モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素が有する色成分を補償する補償ステップと、

前記判別ステップの処理での判別結果に対応して、前記補償ステップの処理で捕償された各画素が有する色成分を補間処理によつて修正する修正ステップとを含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 5 6項に記載の記録媒体。

1 6 0 . 前記感度均一化ステップは、

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 5 6項に記載の記録媒体。

1 6 1 . 前記色補間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 5 5項に記載の記録媒体。

1 6 2 . 前記色補間ステップは、

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 6 1項に記載の記録媒体。

1 6 3 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する処理を制御する撮像制御ステップを

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 5 5項に記載の記録媒体。

1 6 4 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成するコンピュータに、前記色 ·感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報に基づき、各画素が有する感度特性を均一化する感度特性均一化ステップと、前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、各画素の色成分を補間する色補間ステップと

を実行させるプログラム。

1 6 5 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 .感度モザイク画像の各画素が有する感度特性を均一化して色モザイク画像を生成し、

ことを特徴とする請求の範囲第 1 6 4に記載のプログラム。

1 6 6 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 '感度モザイク画像の各画素が有する色成分の種類を変更することなく、その感度特性を均一化して前記色モザイク画像を生成することを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 6 7 . 前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 .感度モザイク画像の各画素が有する感度特性を均一化して前記色モザイク画像を生成し、前記色モザイクパターン情報を更新する

ことを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 6 8 . 前記感度均一化ステップは、

前記判別ステップの処理での判別結果に対応して、前記補償ステップの処理で補償された各画素が有する色成分を補間処理によって修正する修正ステップとを含むことを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 6 9 . 前記感度均一化ステップは、

を含むことを特徴とする請求の範囲第 1 6 5項に記載のプログラム。

1 7 0 . 前記色補間ステップの処理は、前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像の各画素に対し、その感度特性を変更することなく、全ての色成分を補間して各色成分の感度モザイク画像を生成し、

前記感度特性均一化ステップの処理は、前記感度モザイクパターン情報に基づき、前記感度モザイク画像の各画素が有する感度特性を均一化して前記復元画像を生成することを特徴とする請求の範囲第 1 6 4項に記載のプログラム。

1 7 1 . 前記色補間ステップは、

を含むことを特徴とする請求の範囲第 1 7 0項に記載のプログラム。

1 7 2 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する処理を制御する撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 1 6 4項に記載のプログラム。

1 7 3 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成する画像処理装置において、前記色'感度モザイク画像の感度特性の配列を示す感度モザイクパターン情報、および前記色 ·感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色，感度モザイク画像に対応する輝度画像を生成する輝度画像生成手段と、

を含むことを特徴とする画像処理装置。

1 4 . 前記輝度画像生成手段は、

前記色 ·感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定手段と、

を含むことを特徴とする請求の範囲第 1 7 3項に記載の画像処理装置。

1 7 5 . 前記推定手段は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を捕償することによって前記推定値を算出する

ことを特徴とする請求の範囲第 1 7 4項に記載の画像処理装置。

1 7 6 . 前記輝度画像生成手段は、

前記輝度候捕値のノィズ成分を除去して輝度値を生成するノィズ除去手段をさらに含むことを特徴とする請求の範囲第 1 7 4項に記載の画像処理装置。 1 7 7 . 前記単色画像生成手段は、

前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色 ·感度モザイク画像に対応する単色画像候補を生成する単色画像候補生成手段と、

1 7 8 . 前記単色画像候補生成手段は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像侯捕の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 7 7項に記載の画像処理装置。

1 7 9 . 前記単色画像候捕生成手段は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する

1 8 0 . 被写体を撮像し、前記色■感度モザイク画像を生成する撮像手段をさらに含むことを特徴とする請求の範囲第 1 7 3項に記載の画像処理装置。 1 8 1 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成する画像処理装置の画像処理方法において、

前記感度モザイクパターン情報、前記色モザイクパターン情報、および前記輝度画像に基づき、前記色■感度モザイク画像に対応する単色画像を生成する複数の単色画像生成ステップと

を含むことを特徴とする画像処理方法。

1 8 2 . 前記輝度画像生成ステップは、

を含むことを特徴とする請求の範囲第 1 8 1項に記載の画像処理方法。

1 8 3 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出することを特徴とする請求の範囲第 1 8 2項に記載の画像処理方法。

1 8 4 . 前記輝度画像生成ステップは、前記輝度候補値のノィズ成分を除去して輝度値を生成するノィズ除去ステップを

さらに含むことを特徴とする請求の範囲第 1 8 2項に記載の画像処理方法。 1 8 5 . 前記単色画像生成ステップは、

1 8 6 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 1 8 5項に記載の画像処理方法。

1 8 7 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成する

1 8 8 . 被写体を撮像し、前記色 '感度モザイク画像を生成する撮像ステップを

さらに含むことを特徴とする請求の範囲第 1 8 1項に記載の画像処理方法。 1 8 9 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色 .感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成するためのプログラムであつて、

1 9 0 . 前記輝度画像生成ステップは、

前記色■感度モザイク画像の各画素に対応する色成分の推定値を算出する複数の推定ステップと、

前記複数の推定ステップの処理でそれぞれ算出された複数の前記推定値を用いて、前記色 ·感度モザイク画像の各画素に対応する輝度候補値を算出する輝度候捕値算出ステップと

を含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 8 9項に記載の記録媒体。

1 9 1 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出することを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 9 0項に記載の記録媒体。

1 9 2 . 前記輝度画像生成ステップは、

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 9 0項に記載の記録媒体。

1 9 3 . 前記単色画像生成」前記感度モザイクパターン情報、および前記色モザイクパターン情報に基づき、前記色■感度モザイク画像に対応する単色画像候捕を生成する単色画像候捕生成ステップと、

1 9 4 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候補の画素値を算出して前記単色画像候補を生成する

ことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 9 3項に記載の記録媒体。

1 9 5 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成することを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 9 3項に記載の記録媒体。

1 9 6 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する処理を制御する撮像制御ステップを

さらに含むことを特徴とするコンピュータが読み出し可能なプログラムが記録されている請求の範囲第 1 8 9に記載の記録媒体。

1 9 7 . 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色 ·感度モザィク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を生成するコンピュータに、

前記色'感度モザィク画像の感度特性の配列を示す感度モザィクパターン情報、および前記色■感度モザイク画像の色成分の配列を示す色モザイクパターン情報に基づき、前記色■感度モザイク画像に対応する輝度画像を生成する輝度画像生成ステップと、

を実行させるプログラム。

1 9 8 . 前記輝度画像生成ステップは、

を含むことを特徴とする請求の範囲第 1 9 7項に記載のプログラム。

1 9 9 . 前記推定ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の推定値候補を算出し、前記複数の推定値候補を加算して、その和に生じている前記感度特性の非線形性を補償することによって前記推定値を算出することを特徴とする請求の範囲第 1 9 8項に記載のプログラム。

2 0 0 . 前記輝度画像生成ステップは、

さらに含むことを特徴とする請求の範囲第 1 9 8項に記載のプログラム。

2 0 1 . 前記単色画像生成ステップは、

前記輝度画像に基づき、前記単色画像候補を修正して前記単色画像を生成する修正ステップとを含むことを特徴とする請求の範囲第 1 9 7項に記載のプログラム。

2 0 2 . 前記単色画像候補生成ステップの処理は、前記複数の感度特性にそれぞれ対応する複数の単色候補値を算出し、前記複数の単色候補値を加算して、その和に生じている前記感度特性の非線形性を補償することにより、前記単色画像候捕の画素値を算出して前記単色画像候補を生成する

ことを特徴とする請求の範囲第 2 0 1項に記載のプログラム。

2 0 3 . 前記単色画像候補生成ステップの処理は、方向選択的平滑化処理を用いて、前記色 ·感度モザイク画像に対応する前記単色画像候補を生成することを特徴とする請求の範囲第 2 0 1項に記載のプログラム。

2 0 4 . 被写体を撮像し、前記色 ·感度モザイク画像を生成する処理を制御する撮像制御ステップを

さらに含むことを特徴とする請求の範囲第 1 9 7項に記載のプログラム。