JPWO2002056603A1 - 撮像装置 - Google Patents

Abstract

本発明は、所定の画像処理を施すことによって広ダイナミックレンジのカラー画像信号に変換可能な色・感度モザイク画像を生成することができる撮像装置に関する。ＣＣＤイメージセンサの受光素子は、感度に拘わらず色Ｇに注目した場合、それらは格子状に配置されている。感度に拘わらず色Ｒに注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色Ｂに注目した場合も同様に、１ラインおきに配置されている。よって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列をなしている。色のモザイク配列については、ＣＣＤイメージセンサの受光素子の上面に、オンチップカラーフィルタを配置することによって実現する。感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。本発明は、例えば、デジタルカメラに内蔵するＣＣＤイメージセンサに適用することができる。

Description

技術分野
本発明は、撮像装置に関し、例えば、広ダイナミックレンジのカラー画像信号に変換可能な色・感度モザイク画像を生成する場合に用いて好適な撮像装置に関する。
背景技術
ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｎｔａｌ−Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ（Ｆａｃｔｏｒｙ　Ａｕｔｏｍａｔｉｏｎ）の分野における部品検査装置、およびＭＥ（Ｍｅｄｉｃａｌ　Ｅｌｅｃｔｒｏｎｉｃｓ）の分野における電子内視鏡等の光計測装置に幅広く利用されている。
従来、固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する方法が知られている。以下、そのような第１乃至第４の従来方法について説明する。
第１の従来方法としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる。この方法は、特開平８−２２３４９１号公報等に開示されている。しかしながら、第１の方法では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化や省スペース化の面で不利である問題があった。
第２の従来方法としては、１つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、それらを合成する方法を挙げることができる。この方法は、特開平８−３３１４６１号公報等に開示されている。しかしながら、第２の方法では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。
第３の従来方法としては、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる。この方法は、米国特許第５７８９７３７号公報に開示されている。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。また、特開２０００−６９４９１号公報には、第３の従来方法をカラー画像に適応する技術が開示されている。
第３の従来方法によれば、第１の従来方法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の従来方法において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第３の従来方法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ユニットセルサイズが大きくなる課題があった。
第４の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。この方法は、文献「Ｓ．Ｋ．Ｎａｙａｒ　ａｎｄ　Ｔ．Ｍｉｔｓｕｎａｇａ，“Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ　Ｉｍａｇｉｎｇ：Ｓｐａｔｉａｌｌｙ　Ｖａｒｙｉｎｇ　Ｐｉｘｅｌ　Ｅｘｐｏｓｕｒｅｓ”，Ｐｒｏｃ．ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　２０００，Ｖｏｌ．１，ｐｐ．４７２−４７９，Ｊｕｎｅ，２０００」に開示されている。
第４の従来方法では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
上述したように、第４の従来方法は、第１乃至第３の従来方法の問題を解決することが可能である。しかしながら、第４の従来方法は、モノクロ画像を生成することを前提としたものであり、カラー画像を生成することについては、その技術が確立されていない課題があった。具体的には、画素毎に色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化する技術は従来確立されていない課題があった。
発明の開示
本発明はこのような状況に鑑みてなされたものであり、所定の画像処理を施すことによって広ダイナミックレンジのカラー画像信号に変換可能な色・感度モザイク画像を生成できるようにすることを目的とする。
本発明の第１の撮像装置は、光電変換手段は、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色・感度モザイク画像を生成することを特徴とする。
前記複数の色成分は、３原色成分であるようにすることができる。
前記光電変換手段は、色成分だけに注目した場合、ベイヤ配列をなす色・感度モザイク画像を生成するようにすることができる。
本発明の第２の撮像装置は、光電変換手段は、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置された色・感度モザイク画像を生成し、色・感度モザイク画像の任意の画素と任意の画素の上下左右に隣接する４画素の合計５画素の中には、色・感度モザイクパターンに含まれる全ての色成分が存在することを特徴とする。
前記複数の色成分は、３原色成分であるようにすることができる。
前記光電変換手段は、有する感度特性毎にベイヤ配列をなす色・感度モザイク画像を生成するようにすることができる。
本発明の第１の撮像素子は、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色・感度モザイク画像を生成することを特徴とする。
前記複数の色成分は、３原色成分であるようにすることができる。
本発明の第２の撮像素子は、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置された色・感度モザイク画像を生成し、色・感度モザイク画像の任意の画素と任意の画素の上下左右に隣接する４画素の合計５画素の中には、色・感度モザイクパターンに含まれる全ての色成分が存在することを特徴とする。
前記複数の色成分は、３原色成分であるようにすることができる。
本発明の第１の撮像装置においては、光電変換手段が、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色・感度モザイク画像を生成する。
本発明の第２の撮像装置においては、光電変換手段が、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、かつ、任意の画素と任意の画素の上下左右に隣接する４画素の合計５画素の中には、色・感度モザイクパターンに含まれる全ての色成分が存在する色・感度モザイク画像を生成する。
本発明の第１の撮像素子においては、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された色・感度モザイク画像が生成される。
本発明の第２の撮像素子においては、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置され、かつ、任意の画素と任意の画素の上下左右に隣接する４画素の合計５画素の中には、色・感度モザイクパターンに含まれる全ての色成分が存在する色・感度モザイク画像が生成される。
発明を実施するための最良の形態
図１は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
光学系は、被写体の光画像を集光するレンズ１、光画像の光量を調整する絞り２、および、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するＣＣＤイメージセンサ４から構成される。
信号処理系は、ＣＣＤイメージセンサ４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（ＣＤＳ）５、相関２重サンプリング回路５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６から入力されるディジタル信号に所定の画像処理を施す画像処理部７から構成される。なお、画像処理部７が実行する処理の詳細については後述する。
記録系は、画像処理部７が処理した画像信号を符号化してメモリ９に記録し、また、読み出して復号し、画像処理部７に供給するＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）８、および、画像信号を記憶するメモリ９から構成される。
表示系は、画像処理部７が処理した画像信号をアナログ化するＤ／Ａコンバータ１０、アナログ化された画像信号を後段のディスプレイ１２に適合する形式のビデオ信号にエンコードするビデオエンコーダ１１、および、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能するＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等よりなるディスプレイ１２から構成される。
制御系は、ＣＣＤイメージセンサ４乃至画像処理部７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３、ユーザがシャッタタイミングやその他のコマンドを入力する操作入力部１３、および、ドライブ１５を制御して磁気ディスク１６、光ディスク１７、光磁気ディスク１８、または半導体メモリ１９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部１３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などよりなる制御部１４から構成される。
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１および絞り２を介してＣＣＤイメージセンサ４に入射され、ＣＣＤイメージセンサ４によって光電変換され、得られた電気信号は、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、画像処理部７が内蔵する画像メモリに一時格納される。
なお、通常の状態では、タイミングジェネレータ３による信号処理系に対する制御により、画像処理部７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ１０によってアナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて対応する画像がディスプレイ１２に表示される。
ディスプレイ１２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部１３に含まれるシャッタボタンを押下した場合、制御部１４は、タイミングジェネレータ３に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部７の画像メモリに画像信号が上書きされないように信号処理系を制御させる。その後、画像処理部７の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ８によって符号化されてメモリ９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
次に、当該ディジタルスチルカメラの動作の概要について、図２を参照して説明する。当該ディジタルスチルカメラは、ＣＣＤイメージセンサ４を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。その後、画像処理部７を中心とする信号処理系により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部７を中心とする信号処理系の処理を、デモザイク処理とも記述する。
例えば、図３に示すような被写体を撮影した場合、撮像処理によって図４に示すような色・感度モザイク画像が得られ、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図４に示す色・感度モザイク画像から図３に示す被写体の元の色を復元する。
次に、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）Ｐ１乃至１４を図５乃至図１８に示す。なお、色・感度モザイクパターンを構成する色の組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ（青）からなる３色の組合せの他、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の組合せがある。感度の段階としては、Ｓ０およびＳ１から成る２段階の他、感度Ｓ２を追加した３段階や、さらに、感度Ｓ３を追加した４段階がある。なお、図５乃至図１８においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、Ｇ_０と表示された画素は、色がＧ（緑）であって感度がＳ０であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
色・感度モザイクパターンＰ１乃至Ｐ１４は、以下に示す第１乃至第４の特徴によって分類することができる。
第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第１の特徴について、図５に示す色・感度モザイクパターンＰ１を参照して説明する。
図５の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２^１／２の間隔で、垂直方向には２^３／２の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２^１／２の間隔で格子状の配置されている。
第１の特徴は、図５に示す色・感度モザイクパターンＰ１の他、色・感度モザイクパターンＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３が有している。
第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。
第２の特徴は、図７に示す色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４が有している。
第３の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしていることである。第３の特徴について、図６に示す色・感度モザイクパターンＰ２を参照して説明する。
図６の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列であるといえる。
なお、第３の特徴は、図６の色・感度モザイクパターンＰ２の他、色・感度モザイクパターンＰ１０，Ｐ１１が有している。
第４の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第４の特徴について、図７に示す色・感度モザイクパターンＰ３を参照して説明する。
図７の色・感度モザイクパターンＰ３において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２^１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
なお、第４の特徴は、図７の色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ１２が有している。
ところで、以下、図５乃至図１８に示した色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
次に、ＣＣＤイメージセンサ４において上述した色・感度モザイクパターンを実現する方法について説明する。
色・感度モザイクパターンのうち、色のモザイク配列については、ＣＣＤイメージセンサ４の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。
色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。
感度のモザイク配列を光学的に実現する方法について説明する。図１９は、ＣＣＤイメージセンサ４の受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ２１が形成されている。オンチップレンズ２１は、図面上方からの入射光がフォトダイオード（ＰＤ）２３に集光されるようになされている。オンチップカラーフィルタ２２は、入射光の波長帯域を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード２３が形成されている。フォトダイオード２３は、入力された光量に対応して電荷を生じる。フォトダイオード２１の両脇には、垂直レジスタ２６が形成されている。垂直レジスタ２６の上部には、垂直レジスタ２１を駆動する垂直レジスタ駆動電極２５が配線されている。
垂直レジスタ２６は、フォトダイオード２３で生じた電荷を転送する領域であるので、そこで電荷が生じることがないように、垂直レジスタ２６と垂直レジスタ駆動電極２５はシールド２４によって遮光されている。シールド２４は、フォトダイオード２３の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード２３に到達するようになされている。
以上説明したように構成されるＣＣＤイメージセンサ４を利用して、各受光素子の感度を変えることができる（フォトダイオード２３に対する入射光量を変化させることができる）。
例えば、図２０に示すように、オンチップレンズ２１の設置の有無により、集光される光量を変化させることができる。また、例えば図２１に示すように、オンチップカラーフィルタ２２の上方（または下方）にニュートラルデンシティフィルタ３１を設置することにより、光の透過率を変えることができる。また、例えば図２２に示すように、シールド２４の開口部分の面積を変化させることにより、フォトダイオード２３に対する入射光量を変化させることができる。
次に、感度のモザイク配列を電子的に実現する２種類の方法について説明する。
例えば、隣接する２つの受光素子（第１および第２の受光素子）に対し、制御のタイミングを違えることにより、２つの受光素子を異なる感度に設定する第１の方法について、図２３を参照して説明する。
図２３の第１段目は、ＣＣＤイメージセンサ４の露光期間を示している。同図の第２段目は、電荷掃き出しを指令するパルス電圧のタイミングを示している。同図の第３段目は、電荷転送を指令する制御電圧が与えられるタイミングを示している。同図の第４段目は、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第５段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。同図の第６段目は、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第７段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
感度のモザイク配列を電子的に実現する第１の方法において、電荷掃き出しパルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、フォトダイオード２３から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通して垂直レジスタ２６に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ２６からの電荷の転送が停止されるように電荷転送電圧は供給されない。
電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（同図の第２段目）の直前に、１回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読み出しパルス電圧が供給される。
その結果、第１の受光素子からは、１回目および２回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、それら２回の読み出し電荷量が垂直レジスタ２６内で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
一方、第２の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に１回だけ電荷読み出しパルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２３の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
以上のように、第１の受光素子と第２の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第１の受光素子殻読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
ところで、感度のモザイク配列を電子的に実現する第１の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。
次に、感度のモザイク配列を電子的に実現する第２の方法について、図２４を参照して説明する。同図の第１乃至６段目はそれぞれ、図２３の第１乃至６段目と同様に、ＣＣＤイメージセンサ４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
感度のモザイク配列を電子的に実現する第２の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。
すなわち、電荷掃き出しパルス電圧については、第１および第２の受光素子に対し共通して露光期間中において、１回目の電荷掃き出しパルス電圧と２回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃き出しパルス電圧の直前に２回目の電荷読み出しパルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回だけ電荷読み出しパルス電圧が供給される。
その結果、第１の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ２６の電荷の転送が停止されているので、これら組ごとに２回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。第２の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に１回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。
以上説明したような感度のモザイク配列を電子的に実現する第２の方法では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
なお、上述した感度のモザイク配列を電子的に実現する第１および第２の方法に関連し、一般的に、ＣＣＤイメージセンサ４の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極２５に印加される。例えば、図５に示した色・感度モザイクパターンＰ１のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧がかけられるような若干の改良をおこなえばよい。さらに、３相駆動の垂直レジスタを持つプログレッシブスキャンのＣＣＤイメージセンサにおいては、その電極構造を工夫することによって、２段階感度による任意のモザイク配列を電子的に実現できる。
図２５は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第１の電極構造を示している。図２６は、図２５の図中の線分ａａ’におけるＣＣＤイメージセンサの断面図を示している。第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４は、対応するフォトダイオード２３に隣接する読み出しゲート４１上にもかかるようになされている。
したがって、第２相垂直レジスタ駆動電極４３、または第３相垂直レジスタ駆動電極４４に読み出しパルスを印加した場合、読み出しゲート４１のバリアを一時的に取り除き、対応するフォトダイオード２３に蓄積されている電荷を垂直レジスタ２６に転送することが可能である。以下、図２５および図２６に示した電極構造をＯＲ型の電極構造と記述する。
図２７は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第２の電極構造を示している。図２７の図中の線分ａａ’におけるＣＣＤイメージセンサの断面も、図２６に示した断面図と同様である。すなわち、第２の電極構造においても、第１の電極構造と同様に、第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第３相垂直レジスタ駆動電極４４は、第１の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。
しかしながら、第３相垂直レジスタ駆動電極４４が対応するフォトダイオード２３に隣接する読み出しゲート４１上において、当該フォトダイオード２３の辺縁部分に沿って配置され、次いでそれに隣接するように第２相垂直レジスタ駆動電極４３の細長く加工された部分が読み出しゲート４１にかかるようになされている点が第１の電極構造と異なる。
したがって、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４のうち、一方だけに読み出しパルスを印加した場合、読み出しゲート４１のバリアを取り除くことができない。読み出しゲート４１のバリアを取り除き、フォトダイオード２３に蓄積されている電荷を垂直レジスタ２６に転送するためには、第２相垂直レジスタ駆動電極４３と第３相垂直レジスタ駆動電極４４に同時に読み出しパルスを印加する必要がある。以下、図２７に示した電極構造をＡＮＤ型の電極構造と記述する。
以上説明したＯＲ型の電極構造とＡＮＤ型の電極構造を１つのＣＣＤイメージセンサ内で組み合わせて使うことにより、２段階感度による任意のモザイク配列をつくることができる。例えば、図５に示した色・感度モザイクパターンＰ１のうち、感度のモザイク配列を実現するためには、図２８に示すようにＯＲ型の電極構造とＡＮＤ型の電極構造を組み合わせればよい。
図５と図２８を比較すれば明らかなように、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０の画素にはＡＮＤ型の電極構造を採用し、高感度Ｓ１の画素にはＯＲ型の電極構造を採用するようにする。このようにＯＲ型とＡＮＤ型の電極構造を組み合わせて構成したＣＣＤイメージセンサ４に対し、その第２相垂直レジスタ駆動電極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画素だけで電荷読み出しがおこなわれ、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４に同時に読みだしパルス電圧を印加すれば、ＯＲ型とＡＮＤ型の両方、すなわち全ての画素で電荷読み出しがおこなわれるようになる。
なお、第２相垂直レジスタ駆動電極４３、および第３相垂直レジスタ駆動電極４４に対するパルス電圧の供給タイミングは、図２３（または図２４）に示した制御タイミングのうち、同図（Ｄ）の１回目の電荷読み出しパルス電圧の供給タイミングと、同図（Ｆ）の電荷読み出しパルス電圧の供給タイミングにおいて、第２相および第３相の両方を駆動し、同図（Ｄ）の２回目の電荷読み出しパルス電圧の供給タイミングにおいて第２相だけを駆動するようにすれば、ＯＲ型の電極構造の画素は高感度Ｓ１となり、ＡＮＤ型の電極構造の画素は低感度Ｓ０となる。
同様の方法により、その他の２段階の感度を有する感度のモザイク配列をつくることができる。例えば、図６に示した色・感度モザイクパターンＰ２のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図２９に示すように組み合わせる。図７に示した色・感度モザイクパターンＰ３のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図３０に示すように組み合わせる。図８に示した色・感度モザイクパターンＰ４のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図３１に示すように組み合わせる。図９に示した色・感度モザイクパターンＰ５のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図３２に示すように組み合わせる。
次に、画像処理部７を中心とする画像処理系のデモザイク処理について説明するが、その前に、以下の説明において用いる画素の位置座標の定義について、図３３を参照して説明する。
図３３は、画像上の画素の位置を示す座標系（ｘ，ｙ）を示している。すなわち、画像の左下端を（０，０）とし、画像の右上端を（ｘ_ｍａｘ，ｙ_ｍａｘ）とする。図中に□で表されている各画素は、長さ１の横幅と縦幅を有し、格子上に配列されている。従って、例えば、左下端の画素の中心の座標は、（０．５，０．５）であり、右上端の画素の中心の座標は（ｘ_ｍａｘ−０．５，ｙ_ｍａｘ−０．５）である。また、以下の説明において、□で表されている各画素に対して位相が縦横に半画素ずれた画像データ（図中に●で表される位置の画素データ）を利用する場合があるが、例えば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は（１，１）である。
次に、図３４は、画像処理部７を中心とする画像処理系の第１のデモザイク処理の概要を示している。
第１のデモザイク処理は、図３４に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を変更することなく、感度を均一化して色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理から成る。
第１のデモザイク処理における第１の感度均一化処理の概要について、図３５乃至図３７を参照して説明する。図３５乃至図３７は、処理される画像の所定の１ラインの画素配列を示している。Ｘ０は、色成分がＸ（例えば、Ｒ（赤））であり、感度が２段階Ｓ０，Ｓ１のうちのＳ０であることを示し、Ｘ１は、色成分がＸであり、感度が２段階Ｓ０，Ｓ１のうちのＳ１であることを示し、Ｙ０は、色成分がＹ（例えば、Ｇ（緑））であり、感度が２段階Ｓ０，Ｓ１のうちのＳ０であることを示し、Ｙ１は、色成分がＹであり、感度が２段階Ｓ０，Ｓ１のうちのＳ１であることを示している。感度Ｓ０の画素は、入射光の強度を所定の割合で減衰させて測光し、感度Ｓ１の画素は、入射光の強度を減衰させることなく測光する。また、同図の横軸は画素のライン上の位置を示しており、縦棒の長さは対応する画素の画素値を示している。
第１のデモザイク処理における第１の感度均一化処理は、２段階の処理に分別することができる。図３５は、第１の感度均一化処理を施される前の色・感度モザイク画像の所定の１ラインの画素の画素値を示している。なお、曲線Ｘは、入射光の色Ｘの強度分布を示し、曲線Ｙは、色Ｙの強度分布を示している。
閾値θ_Ｈは、ＣＣＤイメージセンサ４の飽和レベルを示し、入射光の強度が閾値θ_Ｈを越える場合、その強度を正確に測定することができず、その測定値は閾値θ_Ｈと等しい値となる。閾値θ_Ｌは、ＣＣＤイメージセンサ４のノイズレベルを示しており、入射光の強度が閾値θ_Ｌよりも小さい場合も、その強度を正確に測定することができず、その測定値は閾値θ_Ｌと等しい値となる。
有効性判別結果は、各画素が入射光の強度を正確に測定できたか否かを示す情報、すなわち、測定された各画素の画素値が有効Ｖ（Ｖａｌｉｄ）であるか、無効Ｉ（Ｉｎｖａｌｉｄ）であるかを示す情報である。
第１の感度均一化処理の１段階目の処理により、感度Ｓ０の画素の画素値は、感度Ｓ１に対する感度Ｓ０の相対的比率を用いてスケーリングされる。感度Ｓ１の画素の画素値はスケーリングされない。図３６は、第１の感度均一化処理の１段階目の処理を施した結果を示している。１段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効である画素は、スケーリングによって本来の光強度が復元されるが、無効である画素は、本来の光強度が復元されていない。
そこで、第１の感度均一化処理の２段階目の処理では、無効である画素の画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。図３７は、第１の感度均一化処理の２段階目の処理を施した結果を示している。例えば、図３７の中央の無効であって色Ｙの画素は、近傍の有効な色Ｙの画素の画素値を用いて生成される補間曲線Ｙ‘に従って補間される。
次に、第１のデモザイク処理における第２の感度均一化処理の概要について、図３５、図３８、および図３９を参照して説明する。第２の感度均一化処理も、２段階の処理に分別することができる。第２の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
第２の感度均一化処理の１段階目の処理により、各画素の色を変更することなく、感度Ｓ０での画素値と、感度Ｓ１での画素値が推定される。例えば、色Ｘであって感度Ｓ０の画素については、感度Ｓ０での画素値はそのまま用いられ、感度Ｓ１での推定値が近傍に存在する色Ｘであって感度Ｓ１の画素の画素値を用いて補間される。図３８は、第２の感度均一化処理の１段階目の処理を施した結果を示している。同図に示すように、１段階目の処理が施されたことにより、各画素は、元の色の感度Ｓ０の画素値と、感度Ｓ１の画素値を有している。
第２の感度均一化処理の２段階目の処理では、画素毎に感度Ｓ０の画素値と、感度Ｓ１の画素値が合成されて感度が均一化される。図３９は、第２の感度均一化処理の２段階目の処理を施した結果を示している。
次に、図４０は、画像処理部７を中心とする画像処理系の第２のデモザイク処理の概要を示している。
第２のデモザイク処理は、図４０に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を、感度均一化のために最適な色に変更して感度を均一化し、色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理から成る。
第２のデモザイク処理における第１の感度均一化処理の概要について、図３５、図４１および図４２を参照して説明する。
第２のデモザイク処理における第１の感度均一化処理も、２段階の処理に分別することができる。第１の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
第２のデモザイク処理における第１の感度均一化処理の１段階目の処理により、感度Ｓ０の画素の画素値は、感度Ｓ１に対する感度Ｓ０の相対的比率を用いてスケーリングされる。感度Ｓ１の画素の画素値はスケーリングされない。図４１は、第１の感度均一化処理の１段階目の処理を施した結果を示している。１段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効Ｖである画素は、スケーリングによって本来の光強度が復元されるが、無効Ｉである画素は、本来の光強度が復元されていない。
そこで、第２のデモザイク処理における第１の感度均一化処理の２段階目の処理では、無効である画素の画素値を、その色に拘わらず近傍の有効な画素の画素値を用いて補間する。図４２は、第１の感度均一化処理の２段階目の処理を施した結果を示している。例えば、図４１の中央の無効であって色Ｙの画素は、図４２に示すように、当該画素に隣接する有効な色Ｘの画素の画素値を用いて生成される補間曲線Ｘ‘に基づいて色Ｘの画素値が補間される。
次に、第２のデモザイク処理における第２の感度均一化処理の概要について、図３５、図４３、および図４４を参照して説明する。第２のデモザイク処理における第２の感度均一化処理も、２段階の処理に分別することができる。第２の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
第２のデモザイク処理における第２の感度均一化処理の１段階目の処理では、各画素に対し、色に拘わらずより近くに位置する近傍の画素の画素値が用いられて感度Ｓ０での画素値と、感度Ｓ１での画素値が推定される。例えば、色Ｘの画素の推定値として、当該画素に隣接する画素が色Ｙである場合、色Ｙの感度Ｓ１での推定値と、感度Ｓ１での画素値が補間される。図４３は、第２の感度均一化処理の１段階目の処理を施した結果を示している。同図に示すように、１段階目の処理が施されたことにより、各画素は、元の色に拘わらず隣接した画素の色に変更されて、感度Ｓ０での画素値と、感度Ｓ１での画素値を有している。
第２のデモザイク処理における第２の感度均一化処理の２段階目の処理では、画素毎に感度Ｓ０の画素値と、感度Ｓ１の画素値が合成されて感度が均一化される。図４４は、第２の感度均一化処理の２段階目の処理を施した結果を図４４に示す。
次に、第１のデモザイク処理を主に実行する画像処理部７の第１の構成例について、図４５を参照して説明する。以下、特に断りがある場合を除き、色・感度モザイク画像は、図６の色・感度モザイクパターンＰ２である、すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であるとする。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
画像処理部７の第１の構成例において、撮像系からの色・感度モザイク画像は、感度均一化部５１に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度均一化部５１、および色補間部５２に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部５１に供給される。
感度均一化部５１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施すことによって、各画素の色が変更されずに感度が均一化された色モザイク画像Ｍを生成し、色補間部５２に出力する。
色補間部５２は、感度均一化部５１からの色モザイク画像Ｍに対し、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。
なお、色モザイクパターン情報は、色・感度モザイク画像の各画素の色の種類（いまの場合、Ｒ，Ｇ，Ｂのいずれかの色）を示す情報であり、画素位置をインデックスとして、その画素が有する色成分の情報を取得できるようになされている。
感度モザイクパターン情報は、色・感度モザイク画像の各画素の感度の種類（いまの場合、Ｓ０またはＳ１）を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。
図４６は、感度均一化部５１の第１の構成例を示している。当該第１の構成例は、図３５乃至図３７を参照して説明した第１の感度均一化処理を実行する感度均一化部５１の構成例である。
感度均一化部５１の第１の構成例において、撮像系からの色・感度モザイク画像は、感度補償部６１および有効性判別部６３に供給される。色モザイクパターン情報は、欠落補間部６４に供給される。感度モザイクパターン情報は、感度補償部６１および有効性判別部６３に供給される。
感度補償部６１は、相対感度値ＬＵＴ６２から得られる相対感度値Ｓに基づき、色・感度モザイク画像に感度補償を施して欠落補間部６４に出力する。相対感度値ＬＵＴ６２は、画素の感度をインデックスとして、相対感度値Ｓを出力するルックアップテーブルである。
有効性判別部６３は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θ_Ｈおよびノイズレベルのθ_Ｌと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部６４に供給する。判別情報には、各画素の画素値について、有効（Ｖａｌｉｄ）、または無効（Ｉｎｖａｌｉｄ）を示す情報が記述されている。
欠落補間部６４は、有効性判別部６３からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施すことによって色モザイク画像Ｍを生成し、後段の色補間部５２に出力する。
図４７は、色補間部５２の構成例を示している。色補間部５２において、感度均一化部５１からの色モザイク画像Ｍは、階調変換部７１に供給される。色モザイクパターン情報は、色差画像生成部７２，７３、および輝度画像生成部７４に供給される。
階調変換部７１は、色モザイク画像Ｍに対して階調変換処理を施し、得られる変調色モザイク画像Ｍｇを色差画像生成部７２，７３、および輝度画像生成部７４に供給する。階調変換処理としては、具体的にはγ乗のべき算関数による変換等を用いる。
色差画像生成部７２は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｃ（＝Ｒ−Ｇ）成分を有する色差画像Ｃを生成して輝度画像生成部７４および色空間変換部７５に供給する。色差画像生成部７３は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｄ（＝Ｂ−Ｇ）成分を有する色差画像Ｄを生成して輝度画像生成部７４および色空間変換部７５に供給する。輝度画像生成部７４は、変調モザイク画像Ｍｇ、色差信号Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する。
色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施し、得られる変調画像（各画素がそれぞれＲＧＢ成分を有する画像）を階調逆変換部７６乃至７８に供給する。
階調逆変換部７６は、色空間変換部７５からのＲ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｒを得る。階調逆変換部７７は、色空間変換部７５からのＧ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｇを得る。階調逆変換部７８は、色空間変換部７５からのＢ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｂを得る。
なお、感度均一化部５１から供給される色モザイク画像Ｍがベイヤ配列を成している場合、色補間部５２において、例えば、特開昭６１−５０１４２４号公報等に開示されている従来の方法を用いて色補間処理を実行するようにしてもよい。
図４８は、色差画像生成部７２の構成例を示している。色差画像生成部７２において、階調変換部７１からの変調色モザイク画像Ｍｇは平滑化部８１，８２に供給される。色モザイクパターン情報も平滑化部８１，８２に供給される。
平滑化部８１は、各画素に対し、Ｒ成分を有する近傍の画素の画素値を用いて当該画素のＲ成分を補間することにより、平滑化されたＲ成分の画像Ｒ’を生成して減算器８３に供給する。平滑化部８２は、各画素に対し、Ｇ成分を有する近傍の画素の画素値を用いて当該画素のＧ成分を補間することにより、平滑化されたＧ成分の画像Ｇ’を生成して減算器８３に供給する。
減算器８３は、平滑化部８１からの平滑化されるＲ成分の画像Ｒ’の画素値から、平滑化部８２からの平滑化されるＧ成分の画像Ｇ’の対応する画素の画素値を減算することにより、色差画像Ｃを生成して色空間変換部７５に供給する。
なお、色差画像生成部７３の同様に構成されている。
図４９は、輝度画像生成部７４の構成例を示している。輝度画像生成部７４を構成する輝度算出部９１は、階調変換部７１からの変調色モザイク画像Ｍｇ、色差画像生成部７２からの色差画像Ｃ、色差画像生成部７３からの色差画像Ｄ、および色モザイクパターン情報に基づいて各画素の輝度候補値を算出し、各画素の輝度候補値からなる輝度候補値画像Ｌｃをノイズ除去部９２に出力する。
ノイズ除去部９２は、輝度候補値画像Ｌｃの各画素値（輝度候補値）に平滑化成分（後述）を合成することによってノイズを除去し、得られる輝度画像Ｌを色空間変換部７５に出力する。
次に、図４５に示した画像処理部７の第１の構成例による第１のデモザイク処理について、図５０にフローチャートを参照して説明する。
ステップＳ１において、感度均一化部５１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られた色モザイク画像Ｍを色補間部５２に出力する。
図４６に示した感度均一化部５１の第１の構成例による第１の感度均一化処理の詳細について、図５１のフローチャートを参照して説明する。
ステップＳ１１において、感度補償部６１は、入力された色・感度モザイク画像に感度補償処理を施し、感度補償された色・感度モザイク画像を欠落補間部６４に供給する。
感度補償処理の詳細について、図５２のフローチャートを参照して説明する。ステップＳ２１において、感度補償部６１は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２２に進む。ステップＳ２２において、感度補償部６１は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ２３において、感度補償部６１は、感度モザイクパターン情報を参照することにより、注目画素の感度（Ｓ０またはＳ１）を取得し、さらに、相対感度値ＬＵＴ６２を参照することによって注目画素の感度に対応する相対感度値Ｓを取得する。
ステップＳ２４において、感度補償部６１は、色・感度モザイク画像の注目画素の画素値を相対感度値Ｓで除算することにより、その画素値の感度を補償する。感度が補償された画素値は、感度補償された色・感度モザイク画像の画素値とされる。
処理は、ステップＳ２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２１乃至Ｓ２４の処理が繰り返される。ステップＳ２１において、全ての画素を注目画素としたと判定された場合、処理は図５１のステップＳ１２にリターンする。
ステップＳ１２において、有効性判別部６３は、色・感度モザイク画像に有効性判別処理を施すことにより、各画素の画素値の有効性を示す判別情報を生成して欠落補間部６４に供給する。なお、ステップＳ１２の有効判別処理は、ステップＳ６１の感度補償処理を平行して実行するようにしてもよい。
有効性判別処理の詳細について、図５３のフローチャートを参照して説明する。ステップＳ３１において、有効性判別部６３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ３２に進む。ステップＳ３２において、有効性判別部６３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ３３において、有効性判別部６３は、色・感度モザイク画像の注目画素の画素値が、ノイズレベルの閾値θ_Ｌと飽和レベルの閾値θ_Ｈの範囲内であるか否かを判定し、閾値の範囲内であると判定した場合、ステップＳ３４に進む。
ステップＳ３４において、有効性判別部６３は、注目画素の判別情報を有効とする。処理はステップＳ３１に戻る。
ステップＳ３３において、色・感度モザイク画像の注目画素の画素値が閾値の範囲内ではないと判定した場合、ステップＳ３５に進む。ステップＳ３５において、有効性判別部６３は、色・感度モザイク画像の注目画素の画素値が、飽和レベルの閾値θ_Ｈ以上であるか否かを判定し、飽和レベルの閾値θ_Ｈ以上であると判定した場合、ステップＳ３６に進む。
ステップＳ３６において、有効性判別部６３は、感度モザイクパターン情報を参照することにより、注目画素が感度Ｓ０であるか否かを判定し、感度Ｓ０であると判定した場合、ステップＳ３４に進み、注目画素が感度Ｓ０ではないと判定した場合、ステップＳ３７に進む。
ステップＳ３７において、有効性判別部６３は、注目画素の判別情報を無効とする。処理はステップＳ３１に戻る。
ステップＳ３５において、色・感度モザイク画像の注目画素の画素値が飽和レベルの閾値θ_Ｈ以上ではないと判定した場合、ステップＳ３８に進む。ステップＳ３８において、有効性判別部６３は、感度モザイクパターン情報を参照することにより、注目画素が感度Ｓ１であるか否かを判定し、感度Ｓ１であると判定した場合、ステップＳ３４に進み、注目画素が感度Ｓ１ではないと判定した場合、ステップＳ３７に進む。
その後、ステップＳ３１において、全ての画素を注目画素としたと判定されるまで、ステップＳ３１乃至３８の処理が繰り返される。ステップＳ３１において、全ての画素を注目画素としたと判定された場合、処理は図５１のステップＳ１３にリターンする。
ステップＳ１３において、欠落補間部６４は、有効性判別部６３からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施し、得られた色モザイク画像Ｍを色補間部５２に供給する。
欠落補間処理の詳細について、図５４のフローチャートを参照して説明する。ステップＳ４１において、欠落補間部６４は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ４２に進む。ステップＳ４２において、欠落補間部６４は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ４３において、欠落補間部６４は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップＳ４４に進む。
ステップＳ４４において、欠落補間部６４は、色モザイクパターン情報を参照することにより、注目画素の色の種類（いまの場合、ＲＧＢのうちのいずれかの色）を判別し、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、注目画素と同じ色であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
ステップＳ４５において、欠落補間部６４は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップＳ４６において、欠落補間部６４は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Ｍの注目画素の画素値とする。
処理は、ステップＳ４１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ４１乃至４６の処理が繰り返される。ステップＳ４１において、全ての画素を注目画素としたと判定された場合、処理は図５０のステップＳ２にリターンする。
以上説明したステップＳ１の感度均一化処理によって得られた色モザイク画像Ｍに対し、ステップＳ２において、色補間部５２は、色モザイクパターン情報に基づいて色補間処理を施すことにより、出力画像Ｒ，Ｇ，Ｂを生成する。
色補間処理の詳細について、図５５のフローチャートを参照して説明する。ステップＳ５１において、階調変換部７１は、色モザイク画像Ｍに対して階調変調処理を施す（具体的には、変調色モザイク画像Ｍｇの各画素値をγ乗する）ことにより、変調色モザイク画像Ｍｇを生成して色差画像生成部７２，７３、および輝度画像生成部７４に供給する。
ステップＳ５２において、色差画像生成部７２は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｃを生成し、輝度画像生成部７４および色空間変換部７５に供給する。一方、色差画像生成部７３は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｄを生成し、輝度画像生成部７４および色空間変換部７５に供給する。
色差画像生成部７２が色差画像Ｃを生成する第１の処理について、図５６のフローチャートを参照して説明する。ステップＳ６１において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ６２に進む。ステップＳ６２において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ６３において、平滑化部８１は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｒ成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部８２も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、Ｇ成分を有する画素を検出し、検出した画素の画素値を抽出する。
ステップＳ６４において、平滑化部８１は、Ｒ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
ステップＳ６５において、平滑化部８１は、Ｒ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値とする。一方、平滑化部８２も同様に、Ｇ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値とする。
ステップＳ６６において、減算器８３は、平滑化部８１からの平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値から、平滑化部８２からの平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値を減算し、その差を色差画像Ｃの注目画素に対応する画素値とする。
処理は、ステップＳ６１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ６１乃至６６の処理が繰り返される。ステップＳ６１において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５３にリターンする。
なお、色差画像生成部７３が色差画像Ｄを生成する処理は、上述した色差画像生成部７２が色差画像Ｃを生成する第１の処理と同様であるので、その説明は省略する。
ステップＳ５３において、輝度画像生成部７４は、変調モザイク画像Ｍｇ、色差信号Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する。
輝度画像生成部７４の輝度画像生成処理の詳細について、図５７のフローチャートを参照して説明する。ステップＳ７１において、輝度算出部９１は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ７２に進む。ステップＳ７２において、輝度算出部９１は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ７３において、輝度算出部９１は、色モザイクパターン情報を参照して、注目画素の色の種類（いまの場合、ＲＧＢのいずれかの色）を判定する。
ステップＳ７３において、注目画素の色の種類がＲであると判定された場合、処理はステップＳ７４に進む。ステップＳ７４において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値を次式（１）に適用して、輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。

ステップＳ７３において、注目画素の色の種類がＧであると判定された場合、処理はステップＳ７５に進む。ステップＳ７５において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値を次式（２）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。

ステップＳ７３において、注目画素の色の種類がＢであると判定された場合、処理はステップＳ７６に進む。ステップＳ７６において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値Ｍｇ，Ｃ，Ｄを次式（３）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。

なお、式（１）乃至（３）において、Ｌｃ，Ｍｇ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、変調色モザイク画像Ｍｇ、色差信号Ｃ、色差画像Ｄの画素値である。
処理はステップＳ７１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ７１乃至Ｓ７６の処理が繰り返される。ステップＳ７１において、全ての画素を注目画素としたと判定された場合、処理はステップＳ７７に進む。
以上説明したステップＳ７１乃至Ｓ７６の処理によって生成された輝度候補画像Ｌｃはノイズ除去部９２に供給される。
ステップＳ７７において、ノイズ除去部９２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ７８に進む。ステップＳ７８において、ノイズ除去部９２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ７９において、ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（４）に適用して、注目画素に対応する勾配∇（グラディエント）を算出する。なお、勾配∇は、画像の水平方向と垂直方向の１次微係数を要素とするベクトルである。また、注目画素の上下左右に位置する画素の画素値（輝度候補値）を、それぞれＬｃ（Ｕ），Ｌｃ（Ｄ），Ｌｃ（Ｌ），Ｌｃ（Ｒ）とする。

ステップＳ８０において、ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（５），（６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを算出する。

ステップＳ８１において、ノイズ除去部９２は、ステップＳ７９で算出した注目画素に対応する勾配∇の絶対値‖∇‖に対応して、水平方向の平滑化寄与率ｗｈと垂直方向の平滑化寄与率ｗｖを算出する。
具体的には、勾配∇の絶対値が０よりも大きい場合、次式（７）に示すように、正規化した勾配∇／‖∇‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の平滑化寄与率ｗｈを得る。また、次式（８）に示すように、正規化した勾配∇／‖∇‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の平滑化寄与率ｗｖを得る。

勾配∇の絶対値が０である場合、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
ステップＳ８２において、ノイズ除去部９２は、次式（９）を用いて注目画素に対応する輝度画像Ｌの画素値（輝度値）を算出する。

なお、式（９）において、Ｌｃ，Ｌは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、輝度画像Ｌの画素値である。
処理はステップＳ７７に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ７７乃至Ｓ８２の処理が繰り返される。ステップＳ７７において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５４にリターンする。
ステップＳ５４において、色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施すことにより、各画素がそれぞれＲＧＢ成分を有する変調画像を生成して階調逆変換部７６乃至７８に供給する。
色空間変換処理の詳細について、図５８のフローチャートを参照して説明する。ステップＳ９１において、色空間変換部７５は、輝度画像Ｌ（色差画像Ｃ、または色差画像Ｄでもよい）の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ９２に進む。ステップＳ９２において、色空間変換部７５は、輝度画像Ｌの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ９３において、色空間変換部７５は、注目画素に対応する輝度画像Ｌ、色差画像Ｃ、および色差画像Ｄの画素値を次式（１０），（１１），（１２）に適用して、注目画素に対応する変調画像のＲ成分の値Ｒｇ、Ｇ成分の値Ｇｇ、Ｂ成分の値Ｂｇを算出する。

なお、式（１０）乃至（１２）において、Ｌ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度画像し、色差信号Ｃ、色差画像Ｄの画素値である。
処理はステップＳ９１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ９１乃至Ｓ９３の処理が繰り返される。ステップＳ９１において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５５にリターンする。
ステップＳ５５において、階調逆変換部７６は、色空間変換部７５から供給された変調画像の各画素のＲ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すこと（具体的には、画素値を１／γ乗すること）によって出力画像Ｒを生成する。同様に、階調逆変換部７７は、色空間変換部７５から供給された変調画像の各画素のＧ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｇを生成する。階調逆変換部７８は、色空間変換部７５から供給された変調画像の各画素のＢ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｂを生成する。以上説明したような色補間処理によって、出力画像Ｒ，Ｇ，ＢＧが生成される。
以上により、図４５に示した画像処理部７の第１の構成例による第１のデモザイク処理についての説明を終了する。
次に、図４６に示した感度均一化部５１の第２の構成例の代わりに用いることができる感度均一化部５１の第２の構成例について、図５９を参照して説明する。
当該第２の構成例は、図３５、図３８、および図３９を参照して説明した第１のデモザイク処理における第２の感度均一化処理を感度均一化部５１が実行するための構成例である。
以下、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ１０、図１５の色・感度モザイクパターンＰ１等のように、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度は４段階Ｓ０，Ｓ１，Ｓ２，Ｓ３のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。また、感度が２段階、または３段階である色・感度モザイクパターンに適用することが可能である。
感度均一化部５１の第２の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部１０１−１乃至１０１−４に供給される。
補間部１０１−１は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ０の補間処理を施し、得られる感度Ｓ０に対応する補間値を加算器１０２に出力する。補間部１０１−２は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ１の補間処理を施し、得られる感度Ｓ１に対応する補間値を加算器１０２に出力する。補間部１０１−３は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ２の補間処理を施し、得られる感度Ｓ２に対応する補間値を加算器１０２に出力する。補間部１０１−４は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ３の補間処理を施し、得られる感度Ｓ３に対応する補間値を加算器１０２に出力する。
加算器１０２は、補間部１０１−１乃至１０１−４から入力される感度Ｓ０乃至Ｓ３の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部１０３に供給する。
合成感度補償部１０３は、加算器１０２から供給される色モザイク候補画像の画素値を合成感度補償ＬＵＴ１０４に照らし合わせ、得られる値を画素値とする色モザイク画像Ｍを生成して色補間部５２に供給する。合成感度補償ＬＵＴ１０４は、色モザイク候補画像の画素値をインデックスとして、色モザイク画像Ｍの画素値を取得できるようになされている。
図５９に示した感度均一化部５１の第２の構成例による、第１のデモザイク処理における第２の感度均一化処理について、図６０のフローチャートを参照して説明する。
ステップＳ１０１において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１０２に進む。ステップＳ１０２において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ１０３において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成して加算器１０２に出力する。
補間部１０１−１による感度Ｓ０の補間処理について、図６１のフローチャートを参照して説明する。ステップＳ１１１において、補間部１０１−１は、色・感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする５×５画素）のうち、色が注目画素と同じであり、かつ、感度がＳ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。ステップＳ１１２において、補間部１０１−１は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップＳ１１３において、補間部１０１−１は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度Ｓ０に対応する補間値とする。処理は図６０のステップＳ６０に戻る。
なお、補間部１０１−２乃至１０１−３による感度Ｓ１乃至Ｓ３の補間処理は、上述した補間部１０１−１による感度Ｓ０の補間処理と同様であるので、その説明は省略する。
ステップＳ１０４において、加算器１０２は、補間部１０１−１乃至１０１−４から入力される注目画素に対応する感度Ｓ０乃至Ｓ３の補間値を加算し、その和を、注目画素に対応する色モザイク候補画像の画素値として合成感度補償部１０３に供給する。
ステップＳ１０５は、合成感度補償部１０３は、加算器１０２から供給された色モザイク候補画像の画素値を合成感度補償ＬＵＴ１０４に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。
処理は、ステップＳ１０１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１０１乃至１０５の処理が繰り返される。ステップＳ１０１において、全ての画素を注目画素としたと判定された場合、第１のデモザイク処理における第２の感度均一化処理は終了される。
なお、第２の感度均一化処理後においては、図５５のフローチャートを参照して上述した色補間処理が実行される。
次に、上述した色差画像Ｃを生成する第１の処理（図５６）の代わりに、色差画像生成部７２が実行可能な色差画像Ｃを生成する第２の処理について、図６２のフローチャートを参照して説明する。
ステップＳ１２１において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１２２に進む。ステップＳ１２２において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ１２３において、平滑化部８１は、注目画素に対応する画像勾配ベクトルｇを演算する。
画像勾配ベクトル演算処理の詳細について、図６３のフローチャートを参照して説明する。当該画像勾配ベクトル演算処理においては、色モザイク画像Ｍｇの全ての画素のうち、所定の１種類の色の画素だけを用いて画像勾配ベクトルｇを演算する。
なお、所定の１種類の色の選択は任意であるが、例えば、色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしている場合、Ｇ成分を有する画素は、Ｒ成分を有する画素やＢ成分を有する画素に比較して２倍存在するので、１種類の色をＧとすることが理にかなっている。したがって、以下、色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしており、かつ、所定の１種類の色をＧに選択したとして仮定して説明を継続する。
ステップＳ１４１において、平滑化部８１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ１４２に進む。この場合、注目画素の上下左右に位置する４画素の色はＧではなく、かつ、注目画素の斜め方向に隣接する４画素の色がＧである。
ステップＳ１４２において、平滑化部８１は、注目画素の上下左右に位置する４画素にそれぞれ対応するＧ成分の値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）を、注目画素の左上に隣接するＧ成分を有する画素の画素値Ｇ（ＬＵ）、注目画素の左下に隣接するＧ成分を有する画素の画素値Ｇ（ＬＤ）、注目画素の右上に隣接するＧ成分を有する画素の画素値Ｇ（ＲＵ）、および、注目画素の右下に隣接するＧ成分を有する画素の画素値Ｇ（ＲＤ）を次式（１３）乃至次式（１６）に適用して補間する。

ステップＳ１４３において、平滑化部８１は、注目画素の上下左右に位置する４画素にそれぞれ対応するＧ成分の値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）を、次式（１７）乃至次式（１９）に適用してベクトルｇ’を算出し、次式（２０）のように正規化して勾配ベクトルｇを算出する。

なお、ステップＳ１４１において、注目画素の色がＧではないと判定された場合、処理はステップＳ１４４に進む。この場合、注目画素の上下左右に位置する４画素の色はＧである。
ステップＳ１４４において、注目画素の上下左右に位置する４画素の画素値を取得して、それぞれを値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）に代入する。
以上のように注目画素に対応する画像勾配ベクトルｇを演算する。なお、色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしていない場合においても、類似した処理によって画像勾配ベクトルｇを演算することができる。
処理は図６２のステップＳ１２４にリターンする。
ステップＳ１２４において、平滑化部８１は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｒ成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部８２も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、Ｇ成分を有する画素を検出し、検出した画素の画素値を抽出する。
ステップＳ１２５において、平滑化部８１は、注目画素からＲ成分を有する各参照画素までの位置ベクトルｎをそれぞれ算出して正規化する。一方、平滑化部８２も同様に、注目画素からＧ成分を有する各参照画素までの位置ベクトルｎをそれぞれ算出して正規化する。
ステップＳ１２６において、平滑化部８１は、次式（２１）に示すように、Ｒ成分を有する参照画素毎に、注目画素の勾配ベクトルｇと位置ベクトルｎとの内積の絶対値を１から除算し、その差のρ乗を演算することにより、当該参照画素に対する重要度ωを算出する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素毎に重要度ωを算出する。ここで、ρは、方向選択の先鋭度を調整するための定数であり、予め設定されている。

ステップＳ１２７において、平滑化部８１は、Ｒ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
ステップＳ１２８において、平滑化部８１は、Ｒ成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。一方、平滑化部８２も同様に、Ｇ成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。
ステップＳ１２９において、平滑化部８１は、ステップＳ１２８で演算したＲ成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値とする。一方、平滑化部８２も同様に、平滑化部８２は、ステップＳ１２８で演算したＧ成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値とする。
ステップＳ１３０において、減算器８３は、平滑化部８１からの平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値から、平滑化部８２からの平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値を減算し、その差を色差画像Ｃの注目画素の画素値とする。
処理は、ステップＳ１２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１２１乃至１３０の処理が繰り返される。ステップＳ１２１において、全ての画素を注目画素としたと判定された場合、当該色差画像生成処理を終了して、図５５のステップＳ５３にリターンする。
なお、色差画像生成部７３が色差画像Ｄを生成する処理は、上述した色差画像生成部７２が色差画像Ｃを生成する第２の処理と同様であるので、その説明は省略する。
色差画像Ｃを生成する第２の処理では、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようにしたので、色差画像Ｃを生成する第１の処理に比較して色モアレの発生を抑止するこができる。
次に、第２のデモザイク処理を主に実行する画像処理部７の第２の構成例について、図６４を参照して説明する。画像処理部７の第２の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部１１１に供給される。
感度均一化部１１１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られる感度が均一化された色モザイク画像Ｍを色補間部５２に出力する。ただし、得られる色モザイク画像Ｍの色モザイク配列は、元の色・感度モザイク画像の色モザイク配列とは必ずしも同じではないので、感度均一化部１１１は、色モザイクパターン情報を更新して色補間部１１２に供給する。
色補間部１１２は、感度均一化部１１１からの色モザイク画像Ｍに対し、図４５の色補間部５２と同様に、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。
図６５は、感度均一化部１１１の第１の構成例を示している。当該第１の構成例は、図３５、図４１および図４２を参照して説明した第２のデモザイク処理における第１の感度均一化処理を実行する感度均一化部１１１の構成例である。
感度均一化部１１１の第１の構成例において、撮像系からの色・感度モザイク画像は、感度補償部１２１および有効性判別部１２３に供給される。色モザイクパターン情報は、欠落補間部１２４に供給される。感度モザイクパターン情報は、感度補償部１２１および有効性判別部１２３に供給される。
感度補償部１２１は、相対感度値ＬＵＴ１２２から得られる相対感度値Ｓに基づき、色・感度モザイク画像に感度補償を施して欠落補間部１２４に出力する。相対感度値ＬＵＴ１２２は、画素の感度をインデックスとして、相対感度値Ｓを出力するルックアップテーブルである。
有効性判別部１２３は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θ_Ｈおよびノイズレベルのθ_Ｌと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部１２４に供給する。判別情報には、各画素の画素値について有効または無効を示す情報が記述されている。
欠落補間部１２４は、有効性判別部１２３からの判別情報に基づき、感度補償された色・感度モザイク画像の全画素のうち、判別情報が有効である画素の画素値はそのまま用い、判別情報が無効である画素に対しては、感度補償された色・感度モザイク画像のなかに最も多く存在する色を有する画素の画素値を用いて、その色成分の画素値を補間する。このように、最も多く存在する色を有する画素の画素値を用いることによって、より高周波成分が復元し易くなる。さらに、欠落補間部１２４は、生成した色モザイク画像Ｍの色モザイク配列に対応して色モザイクパターン情報を更新し、色補間部１１２に出力する。
次に、図６４に示した画像処理部７の第２の構成例が主に実行する第２のデモザイク処理について説明するが、その大部分は、上述した第１のデモザイク処理と同様である。よって、上述した第１のデモザイク処理と異なる処理、すなわち、感度均一化部１１１を構成する欠落補間部１２４の欠落補間処理について、図６６のフローチャートを参照して説明する。以下、色・感度モザイク画像のなかにはＧ成分を有する画素が最も多く存在すると仮定する。ただし、他の色成分を有する画素が最も多く存在する場合においても同様に処理することができる。
ステップＳ１５１において、欠落補間部１２４は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１５２に進む。ステップＳ１５２において、欠落補間部１２４は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ１５３において、欠落補間部１２４は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップＳ１５４に進む。
ステップＳ１５４において、欠落補間部１２４は、色モザイクパターン情報を参照し、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｇ成分を有する画素であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、欠落補間部１２４は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、欠落補間部１２４は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Ｍの注目画素の画素値とする。
ステップＳ１５５において、欠落補間部１２４は、色モザイクパターン情報における注目画素の色をＧに更新する。
なお、ステップＳ１５３において、注目画素の判別情報が無効ではないと判定された場合、ステップＳ１５４、およびステップＳ１５５の処理はスキップされる。
処理は、ステップＳ１５１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１５１乃至１５５の処理が繰り返される。ステップＳ１５１において、全ての画素を注目画素としたと判定された場合、当該欠落補間処理は終了され、得られた色モザイク画像Ｍ、および更新された色モザイクパターン情報は、後段の色補間部１１２に供給される。
次に、図６５に示した感度均一化部１１１の第１の構成例の代わりに用いることができる感度均一化部１１１の第２の構成例について、図６７を参照して説明する。
当該第２の構成例は、図３５、図４３、および図４４を参照して説明した第２のデモザイク処理における第２の感度均一化処理を感度均一化部１１１が実行するための構成例である。
以下、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ１０、図１５の色・感度モザイクパターンＰ１等のように、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度は４段階Ｓ０，Ｓ１，Ｓ２，Ｓ３のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。また、感度が２段階、または３段階である色・感度モザイクパターンに適用することが可能である。
感度均一化部１１１の第２の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部１３２−１乃至１３２−４に供給される。色モザイクパターン情報は、補間色決定部１３１にも供給される。
補間色決定部１３１は、色モザイクパターン情報に基づき、補間部１３２−１乃至１３２−３で補間する補間値の色（補間色）を指定する。また、補間色決定部１３１は、補間色の決定に対応して色モザイクパターン情報を更新する。
補間部１３１−１は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ０の補間処理を施し、得られる感度Ｓ０に対応する補間値を加算器１３３に出力する。補間部１３１−２は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ１の補間処理を施し、得られる感度Ｓ１に対応する補間値を加算器１３３に出力する。補間部１３１−３は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ２の補間処理を施し、得られる感度Ｓ２に対応する補間値を加算器１３３に出力する。補間部１３１−４は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ３の補間処理を施し、得られる感度Ｓ３に対応する補間値を加算器１３３に出力する。
加算器１３３は、補間部１３２−１乃至１３２−４から入力される感度Ｓ０乃至Ｓ３の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部１３４に供給する。
合成感度補償部１３４は、加算器１３３から供給される色モザイク候補画像の画素値を合成感度補償ＬＵＴ１３５に照らし合わせ、得られる値を画素値とする色モザイク画像を生成して色補間部１１２に供給する。合成感度補償ＬＵＴ１３５は、色モザイク候補画像の画素値をインデックスとして、色・感度モザイク画像Ｍの画素値を取得できるようになされている。
図６７に示した感度均一化部１１１の第２の構成例による、第２のデモザイク処理における第２の感度均一化処理について、図６８のフローチャートを参照して説明する。
ステップＳ１６１において、補間部１３２−１乃至１３２−４は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１６２に進む。ステップＳ１６２において、補間部１３２−１乃至１３２−４は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ１６３において、補間色決定部１３１は、色モザイクパターン情報に基づく補間色決定処理を実行し、得られた注目画素の補間色を補間部１３２−１乃至１３２−４に通知する。
補間色決定部１３１の補間色決定処理の詳細について、図６９のフローチャートを参照して説明する。なお、当該補間色決定処理は、注目画素により近傍の画素を用いて注目画素の画素値を補間することを目的とし、色・感度モザイク画像の色モザイク配列がベイヤ配列をなしていると仮定する。
ステップＳ１７１において、補間色決定部１３１は、色モザイクパターン情報を参照することにより、注目画素の色を判定する。
ステップＳ１７１において、注目画素の色がＧであると判定された場合、ステップＳ１７２に進む。この場合、注目画素の斜め方向に隣接する４画素の色もＧである。ステップＳ１７２において、補間色決定部１３１は、注目画素の補間色をＧに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＧに更新する。
ステップＳ１７１において、注目画素の色がＲであると判定された場合、ステップＳ１７３に進む。この場合、注目画素の斜め方向に隣接する４画素の色はＢである。ステップＳ１７３において、補間色決定部１３１は、注目画素の補間色をＢに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＢに更新する。
ステップＳ１７１において、注目画素の色がＢであると判定された場合、ステップＳ１７４に進む。この場合、注目画素の斜め方向に隣接する４画素の色はＲである。ステップＳ１７４において、補間色決定部１３１は、注目画素の補間色をＲに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＲに更新する。
以上説明した補間色決定処理によれば、色モザイク配列がベイヤ配列をなす色・感度モザイク画像のＲとＢを入れ替えるように、注目画素の補間色を指定するので、更新された色モザイクパターン情報もベイヤ配列をなすことが維持される。
処理は図６８のステップＳ１６４にリターンする。
ステップＳ１６４において、補間部１３２−１乃至１３２−４は、補間色決定部１３１からの補間色の指定に対応し、色・感度モザイク画像に補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成して加算器１３３に出力する。
具体的には、例えば、補間部１３２−１は、色・感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする５×５画素）のうち、補間色指定部１３１から指定された色を有し、かつ、感度がＳ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、補間部１３２−１は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、補間部１３２−１は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度Ｓ０に対応する補間値とする。
なお、補間部１３２−２乃至１３２−３による感度Ｓ１乃至Ｓ３の補間処理は、上述した補間部１３２−１による感度Ｓ０の補間処理と同様であるので、その説明は省略する。
ステップＳ１６５において、加算器１３３は、補間部１３２−１乃至１３２−４から入力される注目画素に対応する感度Ｓ０乃至Ｓ３の補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値として合成感度補償部１３３に供給する。
ステップＳ１６６は、合成感度補償部１３４は、加算器１３３から供給された色モザイク候補画像の画素値を合成感度補償ＬＵＴ１３５に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。
処理は、ステップＳ１６１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１６１乃至１６６の処理が繰り返される。ステップＳ１６１において、全ての画素を注目画素としたと判定された場合、第２のデモザイク処理における第２の感度均一化処理は終了される。
なお、第２のデモザイク処理における第２の感度均一化処理により得られた色モザイク画像Ｍに対しては、色補間部１１２によって色補間処理が施されるが、その処理は図５５のフローチャートを参照して上述した色補間処理と同様であるので説明は省略する。
次に、図７０は、画像処理部７を中心とする画像処理系の第３のデモザイク処理の概要を示している。
第３のデモザイク処理は、図７０に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のＲＧＢ成分を補間してＲ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを生成する感度別色補間処理と、Ｒ成分の感度モザイク画像、Ｇ成分の感度モザイク画像、およびＢ成分の感度モザイク画像のそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成する感度均一化処理から成る。
第３のデモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のＲＧＢ成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をＲＧＢ成分毎に合成して感度モザイク画像を生成する挿入処理からなる。
例えば、抽出処理では、色・感度モザイク画像から、感度Ｓ１の画素だけが抽出されて、画素が市松状に配置された色モザイク画像ＭｃＳ１が生成される。色補間処理では、色モザイク画像ＭｃＳ１から、感度Ｓ１であってＲ成分を有する画素が市松状に配置された画像Ｒｓ１、感度Ｓ１であってＧ成分を有する画素が市松状に配置された画像Ｇｓ１、および感度Ｓ１であってＢ成分を有する画素が市松状に配置された画像Ｂｓ１が生成される。
例えば、挿入処理では、色補間処理によって生成された画像ＲＳ０と、画像ＲＳ１が組み合わされて、感度モザイク画像ＭｓＲが生成される。
次に、第３のデモザイク処理を主に実行する画像処理部７の第３の構成例について、図７３を参照して説明する。
画像処理部７の第３の構成例において、撮像系からの色・感度モザイク画像は、感度別色補間部１５１に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度別色補間部１５１に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度別色補間部１５１、および感度均一化部１５２乃至１５４に供給される。
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図７の色・感度モザイクパターンＰ３であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であって、さらに、色に拘わらず感度Ｓ０の画素だけに注目すれば、それらは格子状（市松状）に配置されている。同様に、感度Ｓ１の画素の格子状（市松状）に配置されている。
ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施し、得られるＲ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを、それぞれ対応する感度均一化部１５２乃至１５４に供給する。
感度均一化部１５２は、Ｒ成分の感度モザイク画像ＭｓＲに感度均一化処理を施すことによって出力画像Ｒを生成する。感度均一化部１５３は、Ｇ成分の感度モザイク画像ＭｓＧに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像ＭｓＢに感度均一化処理を施すことによって出力画像Ｂを生成する。
図７４は、感度別色補間部１５１の構成例を示している。感度別色補間部１５１において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、抽出部１６１に供給される。
抽出部１６１は、色・感度モザイク画像に対して、感度Ｓｉ（いまの場合、ｉ＝０，１）の抽出処理を施し、得られる感度Ｓｉの画素からなる色モザイク画像ＭｃＳｉを色補間部１６２に供給する。なお、色モザイク画像ＭｃＳｉは、元の色・感度モザイク画像のｘｙ座標系とは異なるｓｔ座標系を用いて表現されるで画像である（詳細は図７８および図７９を参照して後述する）。また、抽出部１６１は、色モザイク画像ＭｃＳｉの色モザイク配列を示す感度Ｓｉの色モザイクパターン情報を生成し、色補間部１６２に供給する。さらに、抽出部１６１は、色モザイク画像ＭｃＳｉと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３乃至１６５に供給する。
色補間部１６２は、抽出部１６１からの色モザイク画像ＭｃＳｉの全画素のＲＧＢ成分を補間し、得られる画像Ｒｓｉ，Ｇｓｉ，Ｂｓｉをそれぞれ対応する挿入部１６３乃至１６５に供給する。画像Ｒｓｉは、色モザイク画像ＭｃＳｉの各画素に対応するＲ成分の画素値からなる画像である。画像Ｇｓｉは、色モザイク画像ＭｃＳｉの各画素に対応するＧ成分の画素値からなる画像である。画像Ｂｓｉは、色モザイク画像ＭｃＳｉの各画素に対応するＢ成分の画素値からなる画像である。また、画像Ｒｓｉ，Ｇｓｉ，Ｂｓｉは、色モザイク画像ＭｃＳｉと同じ座標系によって表現される。なお、色補間部１６２は、図４７に示した色補間部５２の構成例と同様に構成される。
挿入部１６３は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＲ成分の画像Ｒｓｉを組み合わせて感度モザイク画像ＭｓＲを生成し、感度均一化部１５２に供給する。挿入部１６４は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＧ成分の画像Ｇｓｉを組み合わせて感度モザイク画像ＭｓＧを生成し、感度均一化部１５３に供給する。挿入部１６５は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＢ成分の画像Ｂｓｉを組み合わせて感度モザイク画像ＭｓＢを生成し、感度均一化部１５４に供給する。
図７５は、感度均一化部１５２の構成例を示している。感度均一化部１５２において、感度別色補間部１５１の挿入部１６３から供給される感度モザイク画像ＭｓＲは、局所和算出部１７１に供給される。局所和算出部１７１は、感度モザイク画像ＭｓＲの各画素に対し、その近傍の画素を用いる局所和算出処理を施し、得られる各画素に対応する局所和を合成感度補償部１７２に供給する。合成感度補償部１７２は、合成感度補償ＬＵＴ１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を画素値として出力画像Ｒを生成する。合成感度補償ＬＵＴ１７３は、局所和をインデックスとして、対応する補償値を供給するようになされている。
なお、感度均一化部１５３，１５４の構成例は、図７５に示した感度均一化部１５２の構成例と同様であるので、その説明は省略する。
次に、図７３に示した画像処理部７の第３の構成例による第３のデモザイク処理について、図７６にフローチャートを参照して説明する。
ステップＳ１８１において、感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施すことにより、Ｒ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを生成し、それぞれ対応する感度均一化部１５２乃至１５４に供給する。
感度別色補間部１５１の感度別色補間処理の詳細について、図７７のフローチャートを参照して説明する。ステップＳ１９１において、抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度（いまの場合、Ｓ０およびＳ１）を指定したか否かを判定し、全ての感度を指定していないと判定した場合、ステップＳ１９２に進む。
ステップＳ１９２において、抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度のうちの１種類の感度を指定する。指定された感度をＳｉとする。
ステップＳ１９３において、抽出部１６１は、色・感度モザイク画像の全ての画素のうち、感度Ｓｉの画素だけを抽出し、感度Ｓｉの色モザイク画像ＭｃＳｉを生成して色補間部１６２に供給する。さらに、抽出部１６１は、色モザイク画像ＭｃＳｉと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３乃至１６５に供給する。また、抽出部１６１は、色モザイク画像ＭｃＳｉの色モザイク配列を示す感度Ｓｉの色モザイクパターン情報を生成し、色補間部１６２に供給する。
ステップＳ１９３の処理の詳細について、図７８および図７９を参照して説明する。
抽出される感度Ｓｉの画素は元の色・感度モザイク画像の画素間隔では抽出されないので、生成される感度Ｓｉの色モザイク画像ＭｃＳｉは、元の色・感度モザイク画像とは画素間隔、原点、向きが異なる格子に形成される。そこで、抽出部６１は、色モザイク画像ＭｃＳｉを生成すると同時に、元の色・感度モザイク画像の座標系と、色モザイク画像ＭｃＳｉの座標系との対応関係を元に、画素毎に元の位置の情報を参照できる元位置情報を生成する。
元の色・感度モザイク画像と生成する色モザイク画像ＭｃＳｉの座標系の対応関係は、図７８または図７９に示すとおりである。同図において、元の色・感度モザイク画像はｘｙ座標系で表示され、色モザイク画像ＭｃＳｉはｓｔ座標系で表示されている。また、色・感度モザイク画像の■は感度Ｓ０の画素を示し、色・感度モザイク画像の□は感度Ｓ１の画素を示している。このようにｘｙ座標系に対して斜めに設定したｓｔ座標系を用いることにより、元の色・感度モザイク画像において市松状に配置された感度Ｓｉの画素を、等間隔格子の画素配置として抽出できるようになされている。
図７８を参照して、色・感度モザイク画像の■で示される感度Ｓ０の画素を抽出する場合について説明する。例えば、図中の画素Ａは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘ_Ａ，ｙ_Ａ）であり、生成される色モザイク画像ＭｃＳｉを表現するｓｔ座標系では（ｓ_Ａ，ｔ_Ａ）である。（ｓ_Ａ，ｔ_Ａ）と（ｘ_Ａ，ｙ_Ａ）は、次式（２２）に示すような対応関係がある。

抽出部１６１は、元の色・感度モザイク画像の感度Ｓ０の画素の座標（ｘ_Ａ，ｙ_Ａ）を式（２２）に適用して、色モザイク画像ＭｃＳｉでの座標（ｓ_Ａ，ｔ_Ａ）を算出し、その座標に当該画素の値を用いて色モザイク画像ＭｃＳｉを生成する。同時に、感度Ｓ０の元位置情報には、座標（ｓ_Ａ，ｔ_Ａ）に対応して座標（ｘ_Ａ，ｙ_Ａ）を格納する。
図７９を参照して、色・感度モザイク画像の□で示される感度Ｓ１の画素を抽出する場合について説明する。例えば、図中の画素Ｂは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘ_Ｂ，ｙ_Ｂ）であり、生成される色モザイク画像ＭｃＳｉを表現するｓｔ座標系では（ｓ_Ｂ，ｔ_Ｂ）である。（ｓ_Ｂ，ｔ_Ｂ）と（ｘ_Ｂ，ｙ_Ｂ）は、次式（２３）に示すような対応関係がある。

抽出部１６１は、元の色・感度モザイク画像の感度Ｓ１の画素の座標（ｘ_Ｂ，ｙ_Ｂ）を式（２２）に適用して、色モザイク画像ＭｃＳｉでの座標（ｓ_Ｂ，ｔ_Ｂ）を算出し、その座標に当該画素の値を用いて色モザイク画像ＭｃＳｉを生成する。同時に、感度Ｓ１の元位置情報には、座標（ｓ_Ｂ，ｔ_Ｂ）に対応して座標（ｘ_Ｂ，ｙ_Ｂ）を格納する。
図７７に戻り、ステップＳ１９４において、色補間部１６２は、抽出部１６１からの色モザイク画像ＭｃＳｉの全画素のＲＧＢ成分を補間して、画像Ｒｓｉ，Ｇｓｉ，Ｂｓｉを生成し、それぞれ対応する挿入部１６３乃至１６５に供給する。なお、色補間部１６２の処理の詳細については、図５５を参照して説明した色補間部５２の色補間処理と同様であるので、その説明は省略する。
処理はステップＳ１９１に戻り、感度モザイクパターン情報に含まれる全ての感度を指定したと判定されるまで、ステップＳ１９１乃至Ｓ１９４に処理が繰り返される。ステップＳ１９１において、感度モザイクパターン情報に含まれる全ての感度を指定したと判定された場合、処理はステップＳ１９５に進む。
ステップＳ１９５において、挿入部１６３は、抽出部１６１から供給された全ての元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されたＲ成分の画像Ｒｓｉ（いまの場合、画像Ｒｓ０と画像Ｒｓ１）を組み合わせて感度モザイク画像ＭｓＲを生成し、感度均一化部１５２に供給する。同様に、挿入部１６４は、感度モザイク画像ＭｓＧを生成して感度均一化部１５３に供給し、挿入部１６５は、感度モザイク画像ＭｓＢを生成して感度均一化部１５４に供給する。
処理は図７６のステップＳ１８２にリターンする。ステップＳ１８２において、感度均一化部１５２は、Ｒ成分の感度モザイク画像ＭｓＲに感度均一化処理を施すことによって出力画像Ｒを生成する。感度均一化部１５３は、Ｇ成分の感度モザイク画像ＭｓＧに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像ＭｓＢに感度均一化処理を施すことによって出力画像Ｂを生成する。
感度均一化部１５２の感度均一化処理について、図８０のフローチャートを参照して説明する。ステップＳ２０１において、局所和算出部１７１は、Ｒ成分の感度モザイク画像ＭｓＲの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２０２に進む。ステップＳ２０２において、局所和算出部１７１は、感度モザイク画像ＭｓＲの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ２０３において、局所和算出部１７１は、注目画素に対応する局所和を算出し、合成感度補償部１７２に供給する。具体的には、注目画素を中心とする５×５画素（以下、参照画素と記述する）の画素値が抽出され、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている図８１に示すようなフィルタ係数とがそれぞれ乗算され、それらの積の総和が演算される。さらに、その積の総和が、２５個のフィルタ係数の総和で除算されて、その商が注目画素に対応する局所和とされる。
ステップＳ２０４において、合成感度補償部１７２は、合成感度補償ＬＵＴ１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を注目画素に対応する出力画像Ｒの画素値とする。
処理は、ステップＳ２０１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２０１乃至２０４の処理が繰り返される。ステップＳ２０１において、全ての画素を注目画素としたと判定された場合、感度均一化処理は終了され、図７６にリターンする。
なお、感度均一化部１５３，１５４も、感度均一化部１５２の感度均一化処理と平行して同様の感度均一化処理を実行するが、その詳細な説明は省略する。
以上、画像処理部７の第３の構成例による第３のデモザイク処理の説明を終了する。
次に、画像処理部７を中心とする画像処理系の第４のデモザイク処理の概要について説明する。
第４のデモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理から成る。
図８２は、第４のデモザイク処理を主に実行する画像処理部７の第４の構成例を示している。
画像処理部７の第４の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１、並びに単色画像生成部１８２乃至１８４に供給される。
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図６の色・感度モザイクパターンＰ２であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしている。
ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
輝度画像生成部１８１は、供給される色・感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部１８２乃至１８４に供給する。
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
図８３は、輝度画像生成部１８１の第１の構成例を示している。輝度画像生成部１８１の第１の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部１９１乃至１９３に供給される。
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’を乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施し、得られる各画素に対するＧ成分の推定値Ｇ’を乗算器１９５に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施し、得られる各画素に対するＢ成分の推定値Ｂ’を乗算器１９６に供給する。
乗算器１９４は、推定部１９１から供給される推定値Ｒ’に、色バランス係数ｋ_Ｒを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給される推定値Ｇ’に、色バランス係数ｋ_Ｇを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給される推定値Ｂ’に、色バランス係数ｋ_Ｂを乗算し、その積を加算器１９７に出力する。
加算器１９７は、乗算器１９４から入力される積Ｒ’・ｋ_Ｒ、乗算器１９５から入力される積Ｇ’・ｋ_Ｇ、および乗算器１９６から入力される積Ｂ’・ｋ_Ｂを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部１９８に供給する。
ここで、色バランス係数ｋ_Ｒ，ｋ_Ｇ，ｋ_Ｂは、予め設定されている値であり、例えば、ｋ_Ｒ＝０．３、ｋ_Ｇ＝０．６、ｋ_Ｂ＝０．１である。なお、色バランス係数ｋ_Ｒ，ｋ_Ｇ，ｋ_Ｂの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、例えば、ｋ_Ｒ＝ｋ_Ｇ＝ｋ_Ｂとしてもよい。
ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を単色画像生成部１８２乃至１８４に供給する。
図８４は、単色画像生成部１８２の構成例を示している。単色画像生成部１８２において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部２０１に供給される。輝度画像は、比率算出部２０２、および乗算器２０３に供給される。
補間部２０１は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がＲ成分の画素値を有するＲ候補画像を比率値算出部２０２に出力する。比率値算出部２０２は、Ｒ候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下、単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
なお、単色画像生成部１８３，１８４の構成例も同様であるので、その説明は省略する。
次に、画像処理部７の第４の構成例による第４のデモザイク処理について、図８５のフローチャートを参照して説明する。
ステップＳ２１１において、輝度画像生成部１８１は、色・感度モザイク画像に輝度画像生成処理を施すことによって輝度画像を生成し、単色画像生成部１８２乃至１８４に供給する。
輝度画像生成部１８１の輝度画像生成処理について、図８６のフローチャートを参照して説明する。
ステップＳ２２１において、推定部１９１乃至１９３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２２２に進む。ステップＳ２２２において、推定部１９１乃至１９３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ２２３において、推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定し、乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施すことにより、注目画素に対応する推定値Ｇ’を推定し、乗算器１９４に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施すことにより、注目画素に対応する推定値Ｂ’を推定し、乗算器１９４に供給する。
推定部１９１のＲ成分推定処理について、図８７のフローチャートを参照して説明する。ステップＳ２３１において、推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
ステップＳ２３２において、推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、図８８に示すような予め設定されているＲ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたＲ成分用補間フィルタ係数の総和で除算して第１の商を取得する。
ステップＳ２３３において、推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ１である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
ステップＳ２３４において、推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、Ｒ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第２の商を取得する。
ステップＳ２３５において、推定部１９１は、ステップＳ２３２で取得した第１の商と、ステップＳ２３４で取得した第２の商を加算する。ステップＳ２３６において、推定部１９１は、ステップＳ２３５で演算した第１の商と第２の商の和を、内蔵する合成感度補償ＬＵＴ（後述）に照らし合わせることにより、感度特性を補償した補償値を取得する。取得した補償値は、注目画素に対応する推定値Ｒ’とされる。処理は図８６のステップＳ２２４にリターンする。
なお、推定部１９２のＧ成分推定処理、および推定部１９３のＢ成分推定処理は、推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。ただし、推定部１９２のＧ成分推定処理においては、注目画素を中心とする７×７画素のなかから参照画素を検出するようにし、さらに、図８９に示すＧ成分用補間フィルタ係数を用いることにする。
ここで、推定部１９１が用いる合成感度補償ＬＵＴについて、図９０乃至図９２を参照して説明する。図９０は、感度Ｓ０の画素の特性曲線ｂと、感度Ｓ１の画素の特性曲線ａを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度Ｓ１は、低簡素の感度Ｓ０に対して４倍の感度を有している。
当該推定処理では、図９０の特性曲線ｂに示すような特性で測定された感度Ｓ０の画素から算出された第１の商と、同図の特性曲線ａに示すような特性で測定された感度Ｓ１の画素を用いて算出された第２の商とが加算されている。従って、第１の商と第２の商の和は、図９１の特性曲線ｃに示すように、感度Ｓ０と感度Ｓ１の特性が合成された特性を有することになる。
この合成された特性曲線ｃは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図９１に示すように折れ線となっているので、感度特性曲線ｃの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。具体的には、図９２に示すように、第１の商と第２の商の和を、図９１の感度特性曲線ｃの逆特性曲線ｄに適用して非線形性を補償するようにする。
すなわち、合成感度補償ＬＵＴは、図９２の逆特性曲線ｄをルックアップテーブル化したものである。
図８６の説明に戻る。ステップＳ２２４において、乗算器１９４は、推定部１９１から供給された推定値Ｒ’に色バランス係数ｋ_Ｒを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給された推定値Ｇ’に色バランス係数ｋ_Ｇを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給された推定値Ｂ’に色バランス係数ｋ_Ｂを乗算し、その積を加算器１９７に出力する。加算器１９７は、乗算器１９４から入力された積Ｒ’・ｋ_Ｒ、乗算器１９５から入力された積Ｇ’・ｋ_Ｇ、および乗算器１９６から入力された積Ｂ’・ｋ_Ｂを加算し、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする。
処理は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２２１乃至２２４の処理が繰り返される。ステップＳ２２１において、全ての画素を注目画素としたと判定された場合、ステップＳ２２５にすすむ。なお、ステップＳ２２１乃至２２４の処理によって生成された輝度候補画像はノイズ除去部１９８に供給される。
ステップＳ２２５において、ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成し、単色画像生成部１８２乃至１８４に供給する。
ノイズ除去部１９８のノイズ除去処理について、図９３のフローチャートを参照して説明する。ステップＳ２４１において、ノイズ除去部１９８は、輝度候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２４２に進む。ステップＳ２４２において、ノイズ除去部１９８は、輝度候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ２４３において、ノイズ除去部１９８は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する。
ステップＳ２４４において、ノイズ除去部１９８は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する。
ノイズ除去部１９８の方向選択的平滑化処理について、図９４のフローチャートを参照して説明する。ステップＳ２５１において、ノイズ除去部１９８は、次式（２４）に適用して、注目画素に対応する輝度勾配ベクトルｇを算出する。

ステップＳ２５２において、ノイズ除去部１９８は、輝度勾配ベクトルｇの大きさ（絶対値）‖∇‖を演算する。
ステップＳ２５３において、ノイズ除去部１９８は、変数ａ０乃至ａ３を次式（２５），（２６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを演算する。

ステップＳ２５４において、ノイズ除去部１９８は、輝度勾配ベクトルｇの絶対値‖ｇ‖に対応して、水平方向の重要度ｗｈと垂直方向の重要度ｗｖを演算する。
具体的には、輝度勾配ベクトルｇの絶対値‖ｇ‖が０よりも大きい場合、次式（２７）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の重要度ｗｈを得る。また、次式（２８）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の重要度ｗｖを得る。

輝度勾配ベクトルｇの絶対値‖ｇ‖が０である場合、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
ステップＳ２５５において、ノイズ除去部１９８は、次式（２９）を用いて注目画素に対応する平滑化値αを演算する。

処理は図９３のステップＳ２４５に戻る。ステップＳ２４５において、ノイズ除去部１９８は、注目画素の画素値（輝度候補値）と、ステップＳ２４４で演算した注目画素に対応する平滑化値αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする。
処理はステップＳ２４１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２４１乃至Ｓ２４５の処理が繰り返される。ステップＳ２４１において、全ての画素を注目画素としたと判定された場合、ノイズ除去処理は終了されて、すなわち、輝度画像生成処理も終了されて、図８５のステップＳ２１２にリターンする。
ステップＳ２１２において、単色画像生成部１８２乃至１８４は、供給された色・感度モザイク画像および輝度画像を用い、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する。
単色画像生成部１８２の第１の単色画像生成処理について、図９５のフローチャートを参照して説明する。
ステップＳ２６１において、補間部２０１は、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成し、比率値算出部２０２に出力する。
なお、補間部２０１の補間処理は、図８７のフローチャートを参照して上述した輝度画像生成部１８１を構成する推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。
ステップＳ２６２において、比率値算出部２０２は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
比率値算出部２０２の比率値算出処理について、図９６のフローチャートを参照して説明する。ステップＳ２７１において、比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２７２に進む。ステップＳ２７２において、比率値算出部２０２は、Ｒ候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
ステップＳ２７３において、比率値算出部２０２は、注目画素の近傍に位置する画素（例えば、注目画素を中心とする７×７画素）を参照画素し、それらの画素値（Ｒ成分の単色候補値）を取得する。また、比率値算出部２０２は、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する。
ステップＳ２７４において、比率値算出部２０２は、参照画素の注目画素に対する相対的な位置に対応し、図９７に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。
ステップＳ２７５において、比率値算出部２０２は、各参照画素のＲ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。
処理はステップＳ２７１に戻り、Ｒ候補画像の全ての画素を注目画素としたと判定されるまで、ステップＳ２７１乃至Ｓ２７５の処理が繰り返される。ステップＳ２７１において、Ｒ候補画像の全ての画素を注目画素としたと判定された場合、生成された比率値情報が乗算器２０３に供給されて、処理は図９５のステップＳ２６３にリターンする。
ステップＳ２６３において、乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
なお、単色画像生成部１８２の第１の単色画像生成処理と同時に、単色画像生成部１８３，１８４も、同様の処理を実行する。
以上、画像処理部７の第４の構成例による第４のデモザイク処理の説明を終了する。
次に、図９８は、輝度画像生成部１８１の第２の構成例を示している。輝度画像生成部１８１の第２の構成例は、図８３に示した輝度画像生成部１８１の第１の構成例における推定部１９１乃至１９３を、推定部２１１で置換したものである。
輝度画像生成部１８１の第２の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部２１１に供給される。
推定部２１１は、色・感度モザイク画像に対して成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’、Ｇ成分の推定値Ｇ’、およびＢ成分の推定値Ｂ’を、対応する乗算器１９４乃至１９６に供給する。
なお、輝度画像生成部１８１の第２の構成例をなす乗算器１９４乃至ノイズ除去部１９８は、同一の番号を附した図８３に示した輝度画像生成部１８１の第１の構成例をなす乗算器１９４乃至ノイズ除去部１９８と同様であるので、その説明は省略する。
次に、推定部２１１によるＲＧＢ成分の推定処理について、図９９のフローチャートを参照して説明する。なお、当該ＲＧＢ成分の推定処理は、図８６のステップＳ２２３における処理として、図８７を参照して上述したＲ成分推定処理に代えて実行可能な処理である。したがって、既に色・感度モザイク画像の注目画素は推定部２１１によって決定されているとして、ステップＳ２８１以降の処理を説明する。
ステップＳ２８１において、推定部２１１は、図１００に示すような注目画素を中心とする４画素の画素値を用いる推定画素値Ｃ０補間処理によって、注目画素に対応する推定画素値Ｃ０を算出する。推定画素値Ｃ０補間処理について、図１０１のフローチャートを参照して説明する。
ステップＳ２９１において、推定部２１１は、図１００に示すように、○で表される注目画素に対して１画素分の間隔を空けて上下左右に位置する４画素の画素値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
このように、指定した画素の上下左右方向に位置する４画素の画素値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する垂直方向選択的平滑化処理と定義する。
ステップＳ２９２において、推定部２１１は、ステップＳ２９１で得た平滑化値αを注目画素の画素値に加算して、その和を注目画素の推定画素値Ｃ０とする。処理は図９９のステップＳ２８２にリターンする。
ステップＳ２８２において、推定部２１１は、図１０２に示すような注目画素を中心とする１２画素を用いる推定画素値Ｃ１補間処理によって、注目画素に対応する推定画素値Ｃ１を算出する。推定画素値Ｃ１補間処理について、図１０３のフローチャートを参照して説明する。
ステップＳ３０１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３０２に進む。ステップＳ３０２において、推定部２１１は、図１０２に示すように、○で表される注目画素に対して左下、左上、右下、右上に隣接して位置する４画素の画素値を、それぞれ変数ａ０，ａ１，ａ２，ａ３に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
このように、指定した画素の左下、左上、右下、右上方向に位置する４画素の画素値を、それぞれ変数ａ０，ａ１，ａ２，ａ３に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する斜め方向選択的平滑化処理と定義する。
ステップＳ３０３にいて、推定部２１１は、ステップＳ３０２で得た平滑化値αに２を乗算して、その積を注目画素の推定画素値Ｃ１とする。処理は図９９のステップＳ２８３にリターンする。
なお、ステップＳ３０１において、注目画素の色がＧではないと判定された場合、処理はステップＳ３０４に進む。
ステップＳ３０４において、推定部２１１は、注目画素の左上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ１に代入する。ステップＳ３０５において、推定部２１１は、注目画素の右下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ２に代入する。ステップＳ３０６において、推定部２１１は、注目画素の左下に隣接する画素の画素値を変数ａ０に代入し、注目画素の右上に隣接する画素の画素値を変数ａ３に代入する。
ステップＳ３０７において、推定部２１１は、ステップＳ３０４乃至Ｓ３０６で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
ステップＳ３０８において、推定部２１１は、注目画素の左下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ０に代入する。ステップＳ３０９において、推定部２１１は、注目画素の右上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ３に代入する。ステップＳ３１０において、推定部２１１は、注目画素の左上に隣接する画素の画素値を変数ａ１に代入し、注目画素の右下に隣接する画素の画素値を変数ａ２に代入する。
ステップＳ３１１において、推定部２１１は、ステップＳ３０８乃至Ｓ３１０で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
ステップＳ３１２において、推定部２１１は、ステップＳ３０７で得た平滑化値α’と、ステップＳ３１１で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値Ｃ１とする。処理は図９９のステップＳ２８３にリターンする。
ステップＳ２８３において、推定部２１１は、図１０４Ａに示すような注目画素を中心とする４画素、または図１０４Ｂに示すような注目画素を中心とする８画素を用いる推定画素値Ｃ２補間処理によって、注目画素に対応する推定画素値Ｃ２を算出する。推定画素値Ｃ２補間処理について、図１０５のフローチャートを参照して説明する。
ステップＳ３２１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３２２に進む。
ステップＳ３２２において、推定部２１１は、注目画素の上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
ステップＳ３２３において、推定部２１１は、注目画素の下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
ステップＳ３２４において、推定部２１１は、注目画素の下に隣接する画素の画素値と、ステップＳ３２２で得た平滑化値α’との平均値と、注目画素の上に隣接する画素の画素値と、ステップＳ３２３で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値Ｃ２とする。処理は図９９のステップＳ２８４にリターンする。
なお、ステップＳ３２１において、注目画素の色がＧではないと判定された場合、処理はステップＳ３２５に進む。
ステップＳ３２５において、推定部２１１は、注目画素の左に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ１に代入する。ステップＳ３２６において、推定部２１１は、注目画素の右に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ２に代入する。ステップＳ３２７において、推定部２１１は、注目画素の下に隣接する画素の画素値を変数ａ０に代入し、注目画素の上に隣接する画素の画素値を変数ａ３に代入する。
ステップＳ３２８において、推定部２１１は、ステップＳ３２５乃至Ｓ３２７で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
ステップＳ３２９において、推定部２１１は、注目画素の下に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ０に代入する。ステップＳ３３０において、推定部２１１は、注目画素の上に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ３に代入する。ステップＳ３３１において、推定部２１１は、注目画素の左に隣接する画素の画素値を変数ａ１に代入し、注目画素の右に隣接する画素の画素値を変数ａ２に代入する。
ステップＳ３３２において、推定部２１１は、ステップＳ３２９乃至Ｓ３３１で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
ステップＳ３３３において、推定部２１１は、ステップＳ３２８で得た平滑化値α’と、ステップＳ３３２で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値Ｃ２とする。処理は図９９のステップＳ２８４にリターンする。
ステップＳ２８４において、推定部２１１は、図１０６に示すような注目画素を中心とする８画素を用いる推定画素値Ｃ３補間処理によって、注目画素に対応する推定画素値Ｃ３を算出する。推定画素値Ｃ３補間処理について、図１０７のフローチャートを参照して説明する。
ステップＳ３４１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３４２に進む。
ステップＳ３４２において、推定部２１１は、注目画素の右に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
ステップＳ３４３において、推定部２１１は、注目画素の左に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
ステップＳ３４４において、推定部２１１は、注目画素の左に隣接する画素の画素値と、ステップＳ３４２で得た平滑化値α’との平均値と、注目画素の右に隣接する画素の画素値と、ステップＳ３４３で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値Ｃ３とする。処理は図９９のステップＳ２８５にリターンする。
なお、ステップＳ３４１において、注目画素の色がＧであると判定された場合、処理はステップＳ３４５に進む。ステップＳ３４５において、推定部２１１は、注目画素に対応する推定画素値Ｃ３を０とする。処理は図９９のステップＳ２８５にリターンする。
ステップＳ２８５において、推定部２１１は、色モザイクパターン情報および感度モザイクパターン情報を参照して、注目画素の色と感度を判別し、その判別結果に対応して、ステップＳ２８１乃至Ｓ２８４で得た注目画素に対応する推定画素値Ｃ０乃至Ｃ３を、内蔵する合成感度補償ＬＵＴ（図９０乃至図９２を参照して上述した合成感度補償ＬＵＴと同様のもの）に適用して、推定値Ｒ’，Ｇ’，Ｂ’を算出する。
すなわち、注目画素の色がＧであって、かつ、感度Ｓ０である場合、推定画素値Ｃ２を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ２）が推定値Ｒ’とされ、推定画素値Ｃ０＋Ｃ１の平均値を合成感度補償ＬＵＴに適用した値ＬＵＴ（（Ｃ０＋Ｃ１／）２））が推定値Ｇ’とされ、推定画素値Ｃ３を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ３）が推定値Ｂ’とされる。
注目画素の色がＧであって、かつ、感度Ｓ１である場合、推定画素値Ｃ３を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ３）が推定値Ｒ’とされ、推定画素値Ｃ０＋Ｃ１の平均値を合成感度補償ＬＵＴに適用した値ＬＵＴ（（Ｃ０＋Ｃ１／）２））が推定値Ｇ’とされ、推定画素値Ｃ２を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ２）が推定値Ｂ’とされる。
注目画素の色がＲである場合、推定画素値Ｃ０を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ０）が推定値Ｒ’とされ、推定画素値Ｃ２の平均値を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ２）が推定値Ｇ’とされ、推定画素値Ｃ１を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ１）が推定値Ｂ’とされる。
注目画素の色がＢである場合、推定画素値Ｃ１を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ１）が推定値Ｒ’とされ、推定画素値Ｃ２の平均値を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ２）が推定値Ｇ’とされ、推定画素値Ｃ０を合成感度補償ＬＵＴに適用した値ＬＵＴ（Ｃ０）が推定値Ｂ’とされる。
以上のように、推定部２１１によるＲＧＢ成分の推定処理では、方向選択的平滑化処理を利用して生成された推定画素値Ｃ０乃至Ｃ３が用いられるので、画像信号の解像度劣化が抑止される。
以上、推定部２１１によるＲＧＢ成分の推定処理の説明を終了する。
ところで上述した説明においては、画像処理部７の第４の構成例の単色画像生成部１８３、１８４は、図８４に示した単色画像生成部１８２の構成例と同様に構成されており、図９５を参照して説明した単色画像生成部１８２の単色画像生成処理（図９５）と同様の処理を実行するとしたが、単色画像生成部１８２乃至１８４は、単色画像生成処理に含まれる単色候補画像生成処理（図９５のステップＳ２６１）に代えて、それぞれに最適化された独自の処理を実行することも可能である。
ステップＳ２６１の単色候補画像生成処理に代えて単色画像生成部１８２が実行するＲ候補画像生成処理について、図１０８のフローチャートを参照して説明する。なお、説明の便宜上、単色画像生成部１８２を構成する補間部２０１を補間部２０１−Ｒと記述する。
ステップＳ３５１において、補間部２０１−Ｒは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３５２に進む。ステップＳ３５２において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
ステップＳ３５３において、補間部２０１−Ｒは、１回目の注目画素の色がＲであるか否かを判定し、Ｒであると判定した場合、ステップＳ３５４に進む。ステップＳ３５４において、補間部２０１−Ｒは、１回目の注目画素を中心として１画素分の間隔を空けて上下左右に位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３５５において、補間部２０１−Ｒは、１回目の注目画素の画素値と、ステップＳ３５４で算出した平滑化値αとの和を、内蔵する合成感度補償ＬＵＴ（図９０乃至図９２を参照して上述した合成感度補償ＬＵＴと同様のもの）に適用し、得られた値をＲ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３５１に戻る。
なお、ステップＳ３５３において、１回目の注目画素の色がＲではない判定された場合、ステップＳ３５４およびステップＳ３５５はスキップされ、ステップＳ３５１に戻る。
その後、ステップＳ３５１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３５１乃至Ｓ３５５の処理が繰り返され、ステップＳ３５１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３５６に進む。
ステップＳ３５６において、補間部２０１−Ｒは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３５７に進む。ステップＳ３５７において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
ステップＳ３５８において、補間部２０１−Ｒは、２回目の注目画素の色がＢであるか否かを判定し、Ｂであると判定した場合、ステップＳ３５９に進む。ステップＳ３５９において、補間部２０１−Ｒは、２回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３６０において、補間部２０１−Ｒは、ステップＳ３５９で算出した平滑化値αをＲ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３５６に戻る。
なお、ステップＳ３５８において、２回目の注目画素の色がＢではない判定された場合、ステップＳ３５９およびステップＳ３６０はスキップされ、ステップＳ３５６に戻る。
その後、ステップＳ３５６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３５６乃至Ｓ３６０の処理が繰り返され、ステップＳ３５６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、処理はステップＳ３５１に進む。
ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたか否かを判定し、全ての画素を３回目の注目画素としていないと判定した場合、ステップＳ３６２に進む。ステップＳ３６２において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ３回目の注目画素に決定する。
ステップＳ３６３において、補間部２０１−Ｒは、３回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３６４に進む。ステップＳ３６４において、補間部２０１−Ｒは、３回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３６５において、補間部２０１−Ｒは、ステップＳ３６４で算出した平滑化値αをＲ候補画像の３回目の注目画素に対応する画素値とする。処理はステップＳ３６１に戻る。
なお、ステップＳ３６３において、３回目の注目画素の色がＧではない判定された場合、ステップＳ３６４およびステップＳ３６５はスキップされ、ステップＳ３５１に戻る。
その後、ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定されるまで、ステップＳ３６１乃至Ｓ３６５の処理が繰り返され、ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定された場合、当該Ｒ候補画像生成処理は終了される。
単色画像生成部１８４が実行するＢ候補画像生成処理について、図１０９のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部１８２の補間部２０１に相当する単色画像生成部１８４の構成要素を補間部２０１−Ｂと記述する。
ステップＳ３７１において、補間部２０１−Ｂは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３７２に進む。ステップＳ３７２において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
ステップＳ３７３において、補間部２０１−Ｂは、１回目の注目画素の色がＢであるか否かを判定し、Ｂであると判定した場合、ステップＳ３７４に進む。ステップＳ３７４において、補間部２０１−Ｂは、１回目の注目画素を中心として１画素分の間隔を空けて上下左右に位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３７５において、補間部２０１−Ｂは、１回目の注目画素の画素値と、ステップＳ３７４で算出した平滑化値αとの和を、内蔵する合成感度補償ＬＵＴ（図９０乃至図９２を参照して上述した合成感度補償ＬＵＴと同様のもの）に適用し、得られた値をＢ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３７１に戻る。
なお、ステップＳ３７３において、１回目の注目画素の色がＢではない判定された場合、ステップＳ３７４およびステップＳ３７５はスキップされ、ステップＳ３７１に戻る。
その後、ステップＳ３７１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３７１乃至Ｓ３７５の処理が繰り返され、ステップＳ３７１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３７６に進む。
ステップＳ３７６において、補間部２０１−Ｂは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３７７に進む。ステップＳ３７７において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
ステップＳ３７８において、補間部２０１−Ｂは、２回目の注目画素の色がＲであるか否かを判定し、Ｒであると判定した場合、ステップＳ３７９に進む。ステップＳ３７９において、補間部２０１−Ｂは、２回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３８０において、補間部２０１−Ｂは、ステップＳ３７９で算出した平滑化値αをＢ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３７６に戻る。
なお、ステップＳ３７８において、２回目の注目画素の色がＲではない判定された場合、ステップＳ３７９およびステップＳ３８０はスキップされ、ステップＳ３７６に戻る。
その後、ステップＳ３７６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３７６乃至Ｓ３８０の処理が繰り返され、ステップＳ３７６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、処理はステップＳ３８１に進む。
ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたか否かを判定し、全ての画素を３回目の注目画素としていないと判定した場合、ステップＳ３８２に進む。ステップＳ３８２において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ３回目の注目画素に決定する。
ステップＳ３８３において、補間部２０１−Ｂは、３回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３８４に進む。ステップＳ３８４において、補間部２０１−Ｂは、３回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３８５において、補間部２０１−Ｂは、ステップＳ３８４で算出した平滑化値αをＢ候補画像の３回目の注目画素に対応する画素値とする。処理はステップＳ３８１に戻る。
なお、ステップＳ３８３において、３回目の注目画素の色がＧではない判定された場合、ステップＳ３８４およびステップＳ３８５はスキップされ、ステップＳ３８１に戻る。
その後、ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定されるまで、ステップＳ３８１乃至Ｓ３８５の処理が繰り返され、ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定された場合、当該Ｂ候補画像生成処理は終了される。
単色画像生成部１８３が実行するＧ候補画像生成処理について、図１１０のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部１８２の補間部２０１に相当する単色画像生成部１８３の構成要素を補間部２０１−Ｇと記述する。
ステップＳ３９１において、補間部２０１−Ｇは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３９２に進む。ステップＳ３９２において、補間部２０１−Ｇは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
ステップＳ３９３において、補間部２０１−Ｇは、１回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３９４に進む。ステップＳ３９４において、補間部２０１−Ｇは、１回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３９５において、補間部２０１−Ｇは、１回目の注目画素の画素値と、ステップＳ３９４で算出した平滑化値αとの和を、内蔵する合成感度補償ＬＵＴ（図９０乃至図９２を参照して上述した合成感度補償ＬＵＴと同様のもの）に適用し、得られた値をＧ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３９１に戻る。
なお、ステップＳ３９３において、１回目の注目画素の色がＧではない判定された場合、ステップＳ３９４およびステップＳ３９５はスキップされ、ステップＳ３９１に戻る。
その後、ステップＳ３９１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３９１乃至Ｓ３９５の処理が繰り返され、ステップＳ３９１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３９６に進む。
ステップＳ３９６において、補間部２０１−Ｇは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３９７に進む。ステップＳ３９７において、補間部２０１−Ｇは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
ステップＳ３９８において、補間部２０１−Ｇは、２回目の注目画素の色がＧであるか否かを判定し、Ｇではないと判定した場合、ステップＳ３９９に進む。ステップＳ３９９において、補間部２０１−Ｇは、２回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ４００において、補間部２０１−Ｇは、ステップＳ３９９で算出した平滑化値αをＧ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３９６に戻る。
なお、ステップＳ３９８において、２回目の注目画素の色がＲである判定された場合、ステップＳ３９９およびステップＳ４００はスキップされ、ステップＳ３９６に戻る。
その後、ステップＳ３９６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３９６乃至Ｓ４００の処理が繰り返され、ステップＳ３９６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、当該Ｒ候補画像生成処理は終了される。
ところで、上述したように、第４のデモザイク処理では、色・感度モザイク画像像から、輝度画像と単色画像を生成し、その後、輝度と色成分との相関性を利用して、全色を復元することにより、全ての画素が均一の感度で全ての色成分を復元するようにしたが、最初に生成する輝度画像は、復元する色情報に相関があって、高解像度で復元できる信号であれば、偏った分光特性をもっていてもかまわない。例えば、色・感度モザイク画像の色モザイク配列がベイヤ配列のように、Ｒの画素やＢの画素に比較してＧの画素が２倍存在する特性を利用して、輝度画像の代わりにＧ成分の画像を生成し、ＧとＲ、またはＧとＢの相関性を利用して、Ｒ成分の画像とＢ成分の画像を生成するようにしてもよい。
そのような処理を実行するために、図１１０に示すように、画像処理部７を構成してもよい。輝度画像生成部２２１は、画像処理部７の第４の構成例における単色画像生成部１８２の補間部２０１（図８４）の処理と同様の処理を実行することによって出力画像Ｇを生成する。単色画像生成部２２２，２２３は、それぞれ、画像処理部７の第４の構成例における単色画像生成部１８２，１８４と同様の処理を実行することによって、出力画像Ｒまたは出力画像Ｂを生成する。
以上、第１乃至第４のデモザイク処理を実行する画像処理部７の構成例に関する説明を終了する。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１６（フロッピディスクを含む）、光ディスク１７（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）を含む）、光磁気ディスク１８（ＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）を含む）、もしくは半導体メモリ１９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭやハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
産業上の利用可能性
以上のように、本発明によれば、所定の画像処理を施すことによって広ダイナミックレンジのカラー画像信号に変換可能な色・感度モザイク画像を撮像することが可能となる。
【図面の簡単な説明】
図１は、本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
図２は、ディジタルスチルカメラの動作の概要を説明する図である。
図３は、被写体の一例を示す図である。
図４は、図３に対応する色・感度モザイク画像の一例を示す図である。
図５は、色・感度モザイクパターンＰ１を示す図である。
図６は、色・感度モザイクパターンＰ２を示す図である。
図７は、色・感度モザイクパターンＰ３を示す図である。
図８は、色・感度モザイクパターンＰ４を示す図である。
図９は、色・感度モザイクパターンＰ５を示す図である。
図１０は、色・感度モザイクパターンＰ６を示す図である。
図１１は、色・感度モザイクパターンＰ７を示す図である。
図１２は、色・感度モザイクパターンＰ８を示す図である。
図１３は、色・感度モザイクパターンＰ９を示す図である。
図１４は、色・感度モザイクパターンＰ１０を示す図である。
図１５は、色・感度モザイクパターンＰ１１を示す図である。
図１６は、色・感度モザイクパターンＰ１２を示す図である。
図１７は、色・感度モザイクパターンＰ１３を示す図である。
図１８は、色・感度モザイクパターンＰ１４を示す図である。
図１９は、ＣＣＤイメージセンサ４の受光素子の断面を示す図である。
図２０は、感度のモザイク配列を光学的に実現する方法を説明するための図である。
図２１は、感度のモザイク配列を光学的に実現する方法を説明するための図である。
図２２は、感度のモザイク配列を光学的に実現する方法を説明するための図である。
図２３は、感度のモザイク配列を電子的に実現する第１の方法を説明するための図である。
図２４は、感度のモザイク配列を電子的に実現する第２の方法を説明するための図である。
図２５は、ＯＲ型の電極構造を示す図である。
図２６は、ＯＲ型の電極構造の断面を示す図である。
図２７は、ＡＮＤ型の電極構造を示す図である。
図２８は、色・感度モザイクパターンＰ１を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
図２９は、色・感度モザイクパターンＰ２を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
図３０は、色・感度モザイクパターンＰ３を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
図３１は、色・感度モザイクパターンＰ４を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
図３２は、色・感度モザイクパターンＰ５を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
図３３は、画素の位置座標の定義を説明するための図である。
図３４は、第１のデモザイク処理の概要を説明するための図である。
図３５は、第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
図３６は、第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
図３７は、第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
図３８は、第１のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
図３９は、第１のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
図４０は、第２のデモザイク処理の概要を説明するための図である。
図４１は、第２のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
図４２は、第２のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
図４３は、第２のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
図４４は、第２のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
図４５は、画像処理部７の第１の構成例を示すブロック図である。
図４６は、感度均一化部５１の第１の構成例を示すブロック図である。
図４７は、色補間部５２の構成例を示すブロック図である。
図４８は、色差画像生成部７２の構成例を示すブロック図である。
図４９は、輝度画像生成部７４の構成例を示すブロック図である。
図５０は、画像処理部７の第１の構成例による第１のデモザイク処理を説明するフローチャートである。
図５１は、感度均一化部５１の第１の構成例による第１の感度均一化処理を説明するフローチャートである。
図５２は、ステップＳ１１の感度補償処理を説明するフローチャートである。
図５３は、ステップＳ１２の有効性判別処理を説明するフローチャートである。
図５４は、ステップＳ１３の欠落補間処理を説明するフローチャートである。
図５５は、ステップＳ２の色補間処理を説明するフローチャートである。
図５６は、ステップＳ５２の第１の色差画像生成処理を説明するフローチャートである。
図５７は、ステップＳ５３の輝度画像生成処理を説明するローチャートである。
図５８は、ステップＳ５４の色空間変換処理を説明するフローチャートである。
図５９は、感度均一化部５１の第２の構成例を示すブロック図である。
図６０は、感度均一化部５１の第２の構成例による第２の感度均一化処理を説明するフローチャートである。
図６１は、ステップＳ１０３の補間処理を説明するフローチャートである。
図６２は、第２の色差画像生成処理を説明するフローチャートである。
図６３は、ステップＳ１２３の画像勾配ベクトル演算処理を説明するフローチャートである。
図６４は、画像処理部７の第２の構成例を示すブロック図である。
図６５は、感度均一化部１１１の第１の構成例を示すブロック図である。
図６６は、欠落補間部１２４の欠落補間処理を説明するフローチャートである。
図６７は、感度均一化部１１１の第２の構成例を示すブロック図である。
図６８は、感度均一化部１１１の第２の構成例による第２のデモザイク処理における第２の感度均一化処理を説明するフローチャートである。
図６９は、ステップＳ１６３の補間色決定処理を説明するフローチャートである。
図７０は、第３のデモザイク処理の概要を説明するための図である。
図７１は、第３のデモザイク処理における感度別色補間処理の概要を説明するための図である。
図７２は、第３のデモザイク処理における感度別色補間処理の概要を説明するための図である。
図７３は、画像処理部７の第３の構成例を示すブロック図である。
図７４は、感度別色補間部１５１の構成例を示すブロック図である。
図７５は、感度均一化部１５２の構成例を示すブロック図である。
図７６は、画像処理部７の第３の構成例による第３のデモザイク処理を説明するフローチャートである。
図７７は、ステップＳ１８１の感度別色補間処理を説明するフローチャートである。
図７８は、ステップＳ１９３の抽出処理を説明するための図である。
図７９は、ステップＳ１９３の抽出処理を説明するための図である。
図８０は、ステップＳ１８２の感度均一化処理を説明するフローチャートである。
図８１は、ステップＳ２０３の局所和算出処理において用いるフィルタ係数の例を示す図である。
図８２は、画像処理部７の打１４の構成例を示すブロック図である。
図８３は、輝度画像生成部１８１の第１の構成例を示すブロック図である。
図８４は、単色画像生成部１８２の構成例を示すブロック図である。
図８５は、画像処理部７の第４の構成例による第４のデモザイク処理を説明するフローチャートである。
図８６は、輝度画像生成部１８１の輝度画像生成処理を説明するフローチャートである。
図８７は、推定部１９１のＲ成分推定処理を説明するフローチャートである。
図８８は、Ｒ，Ｂ成分用補間フィルタ係数の一例を示す図である。
図８９は、Ｇ成分用補間フィルタ係数の一例を示す図である。
図９０は、合成感度補償ＬＵＴについて説明するための図である。
図９１は、合成感度補償ＬＵＴについて説明するための図である。
図９２は、合成感度補償ＬＵＴについて説明するための図である。
図９３は、ノイズ除去部１９８のノイズ除去処理を説明するフローチャートである。
図９４は、ノイズ除去部１９８の方向選択的平滑化処理を説明するフローチャートである。
図９５は、単色画像生成部１８２の単色画像生成処理を説明するフローチャートである。
図９６は、比率値算出部２０２の比率値算出処理を説明するフローチャートである。
図９７は、平滑化フィルタ係数の一例を示す図である。
図９８は、輝度画像生成部１８１の第２の構成例を示すブロック図である。
図９９は、推定部２１１によるＲＧＢ成分の推定処理を説明するフローチャートである。
図１００は、推定画素値Ｃ０補間処理に用いる画素の配置を示す図である。
図１０１は、推定画素値Ｃ０補間処理を説明するフローチャートである。
図１０２は、推定画素値Ｃ１補間処理に用いる画素の配置を示す図である。
図１０３は、推定画素値Ｃ１補間処理を説明するフローチャートである。
図１０４Ａは、推定画素値Ｃ２補間処理に用いる画素の配置を示す図である。
図１０４Ｂは、推定画素値Ｃ２補間処理に用いる画素の配置を示す図である。
図１０５は、推定画素値Ｃ２補間処理を説明するフローチャートである。
図１０６は、推定画素値Ｃ３補間処理に用いる画素の配置を示す図である。
図１０７は、推定画素値Ｃ３補間処理を説明するフローチャートである。
図１０８は、補間部２０１−ＲによるＲ候補画像生成処理を説明するフローチャートである。
図１０９は、補間部２０１−ＢによるＢ候補画像生成処理を説明するフローチャートである。
図１１０は、補間部２０１−ＧによるＧ候補画像生成処理を説明するフローチャートである。
図１１１は、画像処理部７の第５の構成例を示すブロック図である。

Claims (12)

1. 被写体の光学像を光電変換することにより、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する光電変換手段を備える撮像装置において、
   前記光電変換手段は、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された前記色・感度モザイク画像を生成する
   ことを特徴とする撮像装置。
2. 前記複数の色成分は、３原色成分である
   ことを特徴とする請求の範囲第１項に記載の撮像装置。
3. 前記光電変換手段は、色成分だけに注目した場合、ベイヤ配列をなす前記色・感度モザイク画像を生成する
   ことを特徴とする請求の範囲第２項に記載の撮像装置。
4. 被写体の光学像を光電変換することにより、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する光電変換手段を備える撮像装置において、
   前記光電変換手段は、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置された前記色・感度モザイク画像を生成し、
   前記色・感度モザイク画像の任意の画素と前記任意の画素の上下左右に隣接する４画素の合計５画素の中には、前記色・感度モザイクパターンに含まれる全ての色成分が存在する
   ことを特徴とする撮像装置。
5. 前記複数の色成分は、３原色成分である
   ことを特徴とする請求の範囲第４項に記載の撮像装置。
6. 前記光電変換手段は、有する感度特性毎にベイヤ配列をなす前記色・感度モザイク画像を生成する
   ことを特徴とする請求の範囲第５項に記載の撮像装置。
7. 被写体の光学像を光電変換することにより、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する撮像素子であって、
   同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置された前記色・感度モザイク画像を生成する
   ことを特徴とする撮像素子。
8. 前記複数の色成分は、３原色成分である
   ことを特徴とする請求の範囲第７項に記載の撮像素子。
9. 前記色・感度モザイク画像は、各画素の有する感度特性に拘わらず、色成分だけに注目した場合、ベイヤ配列を成している
   ことを特徴とする請求の範囲第８項に記載の撮像素子。
10. 被写体の光学像を光電変換することにより、各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を生成する撮像素子であって、
    同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、色成分に拘わらず、同一の感度特性を有する複数の画素が格子状に配置された前記色・感度モザイク画像を生成し、
    前記色・感度モザイク画像の任意の画素と前記任意の画素の上下左右に隣接する４画素の合計５画素の中には、前記色・感度モザイクパターンに含まれる全ての色成分が存在する
    ことを特徴とする撮像素子。
11. 前記複数の色成分は、３原色成分である
    ことを特徴とする請求の範囲第１０項に記載の撮像素子。
12. 前記色・感度モザイク画像は、各画素の色成分に拘わらず、有する感度特性毎にベイヤ配列を成している
    ことを特徴とする請求の範囲第１１項に記載の撮像素子。

Images