WO2014065056A1 - 撮像装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

撮像素子の欠陥画素の検出を行い、欠陥画素の出力画素値を補正して出力画像を生成する。撮像素子と、撮像素子からの出力信号の解析を実行して欠陥画素の検出を実行する信号処理部を有する。撮像素子は、例えば画素前面に配置したマイクロレンズを介して入射光を受光して、撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得する。信号処理部は、撮像素子の複数画素の集合からなる局所領域単位で、局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行し、欠陥画素と判定された画素の画素値を補正して出力する。

Description

撮像装置、および画像処理方法、並びにプログラム

　本開示は、撮像装置、および画像処理方法、並びにプログラムに関する。特に、撮像素子の欠陥画素を検出する撮像装置、および画像処理方法、並びにプログラムに関する。

　デジタルカメラやビデオカメラ等に搭載される撮像素子は、半導体基板上に形成されたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサや、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサによって構成される。このような撮像素子には、半導体基板上の局所的な結晶欠陥等により欠陥画素が発生することがある。

　このような欠陥画素は、入射光量に依存しない特異な画素値を出力してしまう。従って、撮像素子に欠陥画素が存在すると、エラー画素値を含む撮像画像が出力され、画質が劣化する。

　このような欠陥画素に基づくエラーを防止するため、従来のビデオカメラやデジタルカメラ等の撮像装置には、以下のような対策構成を有するものが多い。すなわち、予め、製造段階において固体撮像素子内の欠陥画素位置を示すアドレスデータを不揮発性メモリ等の記憶素子に記憶させる。画像の撮影時に記憶素子に記憶された欠陥画素を示すアドレスデータに基づいて、欠陥画素から出力される信号を補正して出力する。このような対策である。

　例えば、ＣＭＯＳイメージセンサを搭載した撮像装置の場合、製造段階において撮像装置のレンズを遮光し、ＣＭＯＳイメージセンサに光が入射されない状態で、ＣＭＯＳイメージセンサの各画素の出力信号と被検査画素の周辺画素の出力信号とを比較する。これらの出力信号値の差が所定の閾値を超えた場合、この特異な信号を出力した画素を欠陥画素と判定する。

　さらに、欠陥画素と判定した画素位置を示すアドレスデータを不揮発性メモリに記憶する。欠陥画素検出が終了すると、ＣＭＯＳイメージセンサと欠陥画素のアドレスデータが記憶された不揮発性メモリを撮像装置に内蔵して出荷する。
　ユーザがこの撮像装置を用いて画像を撮影する際には、不揮発性メモリに記憶されているＣＭＯＳイメージセンサの欠陥画素のアドレスデータに基づいて、ＣＭＯＳイメージセンサからの出力映像信号に含まれる欠陥画素の出力信号を、その欠陥画素の近傍画素の出力信号を用いて補正し、補正後の画素値信号を有する画像を出力画像として出力する。
　従来の欠陥画素対策としては、このような手法が多く用いられている。

　しかし、この処理は、あくまで、撮像素子の製造段階で発見された欠陥画素に対して有効となるのみである。撮像装置の出荷後に、経年変化によって生じる撮像素子の欠陥画素については、上記の対策では対応できないという問題がある。

　このような問題に対して、例えば、特許文献１（特開平６－６６８５号公報）には、撮像装置の電源投入時に、撮像装置に搭載されているレンズの絞りを閉じて遮光状態とし、固体撮像素子の撮像出力信号によって欠陥画素の検出を行い、この欠陥画素からの検出信号に基づいて欠陥データを記録し保持して、撮影時にこの最新の欠陥データを用いて欠陥画素の補正を行う欠陥補正装置を開示している。

　しかしながら、このような欠陥補正構成では、欠陥画素のアドレスデータ等をメモリに記憶することが必要であり、そのためのメモリ容量を確保することが必要となり、装置のコストアップを招くという問題がある。また、補正可能な欠陥画素の数は、欠陥画素のアドレスデータの記憶を行うメモリの記憶容量に依存してしまうという問題もある。

　さらに、欠陥画素位置を格納するメモリを搭載することなく、出荷後に生じた欠陥画素についても検出および補正を可能とした構成について、例えば特許文献２（特開２００８－１５４２７６号公報）や、特許文献３（特開２００９－１０５８７２号公報）に記載されている。

　特許文献２は、撮影画像から選択された注目画素の周囲のテクスチャ方向などを検証して、テクスチャ方向を参考とした欠陥検出や欠陥補正を行う構成を開示している。このテクスチャ方向を参考とした処理によって、検出精度や補正精度が向上する。

　しかし、この構成では、例えば平坦領域など注目画素の周囲のテクスチャ方向が正確に得られない画像領域などにおいて、欠陥の検出、補正の性能が低下するという問題がある。また、テクスチャ方向を正確に判定するためには計算コストや回路規模が増大するという問題もある。

　また、特許文献３には、撮影画像に基づく欠陥画素の検出に周囲画素の標準偏差値を利用する構成を開示している。しかし、画像のエッジ箇所などでも標準偏差の値は大きくなるため、エッジ領域を欠陥画素と判定してしまうといった誤検出が発生し、誤った画素値補正を行うことで、かえって画質を劣化させてしまうことがあるという問題がある。

特開平６－６６８５号公報 特開２００８－１５４２７６号公報 特開２００９－１０５８７２号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、撮像素子に存在する欠陥画素の高精度な検出を実行し、欠陥画素の出力画素値を補正した品質の高い出力画像を生成する撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　撮像素子と、
　前記撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行する信号処理部を有し、
　前記撮像素子は、
　前記撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力し、
　前記信号処理部は、
　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行する撮像装置にある。

　さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、前記局所領域に含まれる同一色画素の画素値のばらつきが大きく、かつ、前記局所領域に含まれる同一色画素の最大画素値と最小画素値を除く中間画素値の平均値と、注目画素の画素値との差分が大きい場合に、前記注目画素を欠陥画素と判定する処理を実行する。

　さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、前記局所領域に含まれる同一色画素の画素値の標準偏差が既定しきい値（ＴＨ１）より大きく、かつ、前記局所領域に含まれる同一色画素の最大画素値と最小画素値を除く中間画素値の平均値と、注目画素の画素値との差分絶対値が既定しきい値（ＴＨ２）より大きい場合に、前記注目画素を欠陥画素と判定する処理を実行する。

　さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、二次元アレイ状に配列された画素からなる光電変換部と、前記光電変換部の前面である撮像レンズ側に配置されたマイクロレンズを有し、撮像レンズを介した入射光を前記マイクロレンズを介して拡散させて、前記撮像素子の複数画素からなる前記局所領域単位で同一被写体光を受光する構成を有する。

　さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、前記マイクロレンズを有する撮像素子によって取得された画像から、特定の画素領域単位の画像の再構成により特定視点画像を生成する構成を有する。

　さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、ＲＧＢ各画素からなるベイヤ配列またはＲＧＢＷ各画素からなる配列の各画素を同一色の２×２画素に４分割した画素配列を有する。

　さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、前記撮像素子の２×２の同一色画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する。

　さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、前記撮像素子の４×４画素または８×８画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する。

　さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、前記撮像素子の画素密度に相当する画素分解能より低い低分解能の光学像を形成する低い光学分解能を有する低解像度撮像レンズを介した被写体光を入射することで、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する。

　さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、二次元アレイ状に配列された画素からなる光電変換部と、前記光電変換部の前面である撮像レンズ側に配置された光学ローパスフィルタを有し、撮像レンズを介した入射光を前記光学ローパスフィルタを介して拡散させて、前記撮像素子の複数画素からなる前記局所領域単位で同一被写体光を受光する構成を有する。

　さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、欠陥画素の画素値補正を実行する欠陥画素補正部を有し、前記欠陥画素補正部は、欠陥画素と同一の局所領域に含まれる欠陥画素と同一色画素の最大画素値と最小画素値を除く中間画素値を参照画素として前記欠陥画素の補正画素値を算出する。

　さらに、本開示の撮像装置の一実施態様において、前記欠陥画素補正部は、前記欠陥画素が、欠陥画素の含まれる局所領域の同一色画素中の最大画素値である場合、前記中間画素値中の最大画素値を前記欠陥画素の補正画素値として設定し、前記欠陥画素が、欠陥画素の含まれる局所領域の同一色画素中の最小画素値である場合、前記中間画素値中の最小画素値を前記欠陥画素の補正画素値として設定する。

　さらに、本開示の第２の側面は、
　撮像装置において実行する画像処理方法であり、
　撮像素子において、該撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力するステップと、
　信号処理部において、撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行する信号処理ステップを実行し、
　前記信号処理部は、前記信号処理ステップにおいて、
　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行する画像処理方法にある。

　さらに、本開示の第３の側面は、
　撮像装置において画像処理を実行させるプログラムであり、
　撮像素子に、該撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力させるステップと、
　信号処理部に、撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行させる信号処理ステップを実行させ、
　前記信号処理ステップにおいては、
　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、撮像素子の欠陥画素の検出を行い、欠陥画素の出力画素値を補正して出力画像を生成する。
　具体的には、撮像装置は、撮像素子と、撮像素子からの出力信号の解析を実行して欠陥画素の検出を実行する信号処理部を有する。撮像素子は、例えば画素前面に配置したマイクロレンズを介して入射光を受光して、撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得する。信号処理部は、撮像素子の複数画素の集合からなる局所領域単位で、局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行し、欠陥画素と判定された画素の画素値を補正して出力する。
　これらの処理により、撮像素子に存在する欠陥画素を高精度に検出することが可能となり、欠陥画素の出力画素値を補正した高品質な出力画像を生成することができる。

ベイヤ配列と４分割ベイヤ型配列の画素構成について説明する図である。 一般的な撮像構成と、本開示の撮像装置における撮像素子の構成について説明する図である。 本開示の撮像装置における撮像イメージについて説明する図である。 本開示の撮像装置における撮像素子の構成について説明する図である。 本開示の撮像装置における撮像イメージについて説明する図である。 本開示の撮像装置の全体構成例について説明する図である。 本開示の撮像装置の信号処理部の一実施例について説明する図である。 本開示の撮像装置の信号処理部の欠陥検出補正部の構成例について説明する図である。 欠陥検出補正部の欠陥画素検出部の詳細構成例について説明する図である。 欠陥検出補正部の欠陥画素検出部の実行する処理シーケンスについて説明するフローチャートを示す図である。 欠陥検出補正部の欠陥画素補正部の詳細構成例について説明する図である。 欠陥検出補正部の欠陥画素補正部の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の撮像装置の撮像素子の構成例について説明する図である。 本開示の撮像装置の撮像素子の構成例について説明する図である。 本開示の撮像装置の撮像素子の画素配列例について説明する図である。 本開示の撮像装置の信号処理部の一実施例について説明する図である。 本開示の撮像装置の信号処理部の一実施例について説明する図である。 撮像素子の光電変換素子の領域ごとにる異なる視点からの画像、あるいは、異なる焦点距離の画像を個別に取得する構成について説明する図である。

　以下、図面を参照しながら本開示の撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　１．本開示の撮像装置における撮像素子構成と入射光との対応について
　２．本開示の撮像装置の構成と処理について
　３．欠陥検出補正部の構成と処理について
　３－１．欠陥画素検出部の構成と処理の詳細について
　３－２．欠陥画素補正部の構成と処理の詳細について
　４．撮像レンズに低解像度レンズを利用した実施例
　５．光学ローパスフィルタを利用した実施例
　６．画素配列のバリエーションについて
　７．配列変換部をデモザイク処理部に置き換えた実施例
　８．特定視点画像生成部を備えた実施例
　９．本開示の構成のまとめ

　　［１．本開示の撮像装置における撮像素子構成と入射光との対応について］
　まず、本開示の撮像装置における撮像素子構成と入射光との対応について説明する。
　図１には、以下の２つの撮像素子（イメージセンサ）の画素配列例を示している。
　（１）ベイヤ（Ｂａｙｅｒ）型ＲＧＢ配列
　（２）４分割ベイヤ型ＲＧＢ配列

　図１（１）に示すベイヤ（Ｂａｙｅｒ）型ＲＧＢ配列は、現行のデジタルカメラや、ビデオカメラ等において多く利用されている撮像素子（イメージセンサ）の画素配列であり、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）の各色光を選択的に受光する構成である。具体的には、光電変換素子の前面にＲＧＢ各色の波長光を選択的に透過するカラーフィルタが装着され、撮像素子の各画素においてＲＧＢ各波長光を選択的に受光する構成となっている。

　ＲＧＢ各画素の各々は、各画素単位で受光量に応じた電荷を蓄積する。各画素は、その蓄積電荷に応じた電気信号、すなわち画素値を出力する。

　一方、図１（２）に示す４分割ベイヤ型ＲＧＢ配列は、本開示の撮像装置（撮像装置）において適用する撮像素子（イメージセンサ）の一構成例である。図１（２）に示す４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ（Ｂａｙｅｒ）型ＲＧＢ配列のＲＧＢ各画素を４分割した画素配列を有する。

　すなわち、図１（１）に示すベイヤ（Ｂａｙｅｒ）型ＲＧＢ配列の１つのＲ画素を４分割して４つのＲ画素によって構成し、１つのＧ画素を４分割して４つのＧ画素によって構成し、１つのＢ画素を４分割して４つのＢ画素によって構成している。
　撮像素子全体としては、（２）に示す４分割ベイヤ型ＲＧＢ配列の画素数は、（１）に示すベイヤ（Ｂａｙｅｒ）型ＲＧＢ配列の画素数の４倍の画素数を持つ。
　昨今、半導体技術の進化に伴い、撮像素子の画素密度を飛躍的に上昇させることが可能となっており、画素数を大幅に増加させた撮像素子を生成することが可能となり、図１（２）に示すような画素密度の高い撮像素子を製造することが可能となっている。

　図１（２）に示す４分割ベイヤ型ＲＧＢ配列の撮像素子は、図１（１）に示すベイヤ（Ｂａｙｅｒ）型ＲＧＢ配列の撮像素子に比較して４倍の分解能を有する。
　しかし、本開示の撮像装置では、図１（２）に示す４分割ベイヤ型ＲＧＢ配列の撮像素子を適用して、あえて、図１（１）に示すベイヤ（Ｂａｙｅｒ）型ＲＧＢ配列の撮像素子の分解能レベルまで落とした画像を撮影する。この分解能レベルを落とした撮影画像を用いて高精度な欠陥画素検出を実現する。

　図２を参照して、本開示の撮像装置における撮像構成例について説明する。
　図２には、以下の２つの撮像構成を示している。
　（ａ）一般的な撮像構成
　（ｂ）本開示の撮像装置における撮像構成の一実施例

　通常、撮像素子の分解能を生かした撮影を行なう場合、図２（ａ）に示すように、撮像レンズ１１０を介した入射光を、撮像素子１２０の各画素に撮影対象である被写体画像が結像するように合焦制御を行い撮像する。
　なお、撮像素子の各画素は、光電変換素子（フォトダイオード）１２１とカラーフィルタ１２２とオンチップレンズ１２３との積層構成を有している。各光電変換素子１２１は、光電変換素子１２１の前面のカラーフィルタ１２２の透過する波長光、すなわちＲ，Ｇ，Ｂ各色に対応する波長光の強度に応じた電荷を蓄積し、蓄積電荷に比例した信号（画素値）を出力する。

　この図２（ａ）に示すような撮像処理を行なえば、撮像素子の各画素単位で異なる被写体領域の画像を撮像することが可能となり、撮像素子の画素密度に応じた分解能の画像を撮影することができる。

　これに対して、図２（ｂ）に示す本開示の一実施例に係る撮像構成は、撮像素子１２０が、図２（ａ）に示す撮像素子とは異なる構成を有する。すなわち、撮像素子１２０の前面、すなわち撮像レンズ１１０側にマイクロレンズ１２４を有する。

　マイクロレンズ１２４は、撮像レンズ１１０を介して入射する入射光を拡散させる処理を行なう。この拡散処理によって、本来であれば、図２（ａ）に示す１つの画素に集光する画像光が、光電変換素子１２１の複数画素、例えば２×２＝４画素の画素領域に拡散して入射する。

　このような撮像処理によって、撮像素子１２０が取得する撮影画像は、撮像素子の有する分解能に相当する解像度を持たない低解像度の画像となるが、高精度な欠陥画素検出を行なうことが可能となる。この処理については後段で説明する。

　この図２（ｂ）に示す撮像構成の、より具体的な撮像イメージについて、図３を参照して説明する。図３は、先に図１を参照して説明した２つの撮像素子配列に対する撮像構成を模式的に示した図である。図３には以下の撮像構成例を示している。
　（１）従来のベイヤ配列に対する撮像構成
　（２）４分割型ベイヤ配列に対する撮像構成例として、
　（２ａ）図２（ａ）に示す被写体像を各画素に結像する設定とした撮像構成
　（２ｂ）図２（ｂ）に示す被写体像を複数画素（２×２画素）に結像する設定とした撮像構成

　図３（１）に示す従来のベイヤ配列に対する撮像構成は、撮像素子の各画素、すなわちＲＧＢ各画素に対して被写体像のそれぞれ異なる領域が結像する。なお、図に示すＲＧＢは、従来のベイヤ配列のＲＧＢ各画素を示している。ここでは２×２＝４画素のみを示している。なお、点線で示す円錐は、各々が被写体の異なる領域に対応する入射光を概念的に示したものである。
　この構成によって例えば、撮像素子の画素数に応じた解像度の画像が得られる。

　図３（２）には、図１（２）に示す４分割型ベイヤ配列に対する撮像構成例として、以下の２つの例を示している。
　図３（２ａ）は、図２（ａ）に示す被写体像を各画素に結像する設定とした撮像構成である。
　図３（２ａ）に示す撮像構成では、図３（１）と同様、撮像素子の各画素に被写体像のそれぞれ異なる領域が結像する構成である。このような撮像処理を行なえば、図３（１）の従来のベイヤ配列の撮像素子の撮影画像の４倍の解像度の画像が得られる。

　これに対して、図３（２ｂ）は、図１（２）に示す４分割型ベイヤ配列に対する撮像構成のもう１つの例であり、図２（ｂ）に撮像構成に対応する。すなわち、被写体像を単一画素ではなく、複数画素（２×２＝４画素）に結像する設定とした撮像構成である。図３（２ａ）に比較すると解像度は低下した画像となる。すなわち、解像度レベルは、図３（１）に示す従来のベイヤ配列を用いた撮像処理によって得られる画像と同様のレベルとなる。

　このように、本開示の撮像装置は、撮像素子（イメージセンサ）の分解能よりも粗い解像度で、入射光を集光させる。つまり撮像素子の画素密度によって規定される画素分解能より低い光学分解能を持つ画像を撮影する。

　多くの場合、高密度画素を持つ撮像素子を用いた撮像装置では、撮像素子の画素密度に対応する画素分解能に応じた光学分解能を持つレンズ等の光学素子を適用して撮像部が構成される。このように画素分解能と光学分解能とを一致させることで、先に図２（ａ）を参照して説明したように、各画素単位に異なる被写体像を結像させることが可能となり、撮像素子の画素密度に応じた解像度を持つ画像を撮影することができる。

　しかし、本開示の撮像装置では、図２（ｂ）や、図３（２ｂ）を参照して説明したように、あえて撮像素子の画素分解能より低い解像度の画像を撮影する。すなわち、光学分解能を画素分解能より低下させた構成とする。
　画素分解能より低い光学分解能の画像を取得するための構成としては、様々なものが利用可能である。以下に説明する第１実施例では、図２（ｂ）を参照して説明したマイクロレンズ１２４を利用している。
　このマイクロレンズ１２４を有する撮像素子構成について、さらに、図４を参照して説明する。

　図４には、撮像レンズ１１０と撮像素子１２０の断面構成を示している。先に図２（ｂ）を参照して説明したと同様の図である。さらに、図４（ａ）に、図３（２ｂ）と同様の撮像素子に対する２×２＝４画素に対する撮像構成の模式図を示している。

　図４に示すように、撮像素子１２０は、二次元アレイ状に配列された画素からなる光電変換素子（フォトダイオード）１２１上に各画素対応の色（ＲＧＢ）の設定されたカラーフィルタ１２２を配置し、さらにその上にオンチップレンズ１２３を搭載した構成を有する。
　本実施例の撮像素子１２０は、図４に示すように、オンチップレンズ１２３上にさらに、マイクロレンズ１２４を配置した構成を有する。

　先に説明したように、通常、フォーカスがあっている被写体から発せられる光は、撮像レンズ１１０を介して各光電変換素子（フォトダイオード）の位置に集光するように設計される。すなわち、先に図２（ａ）を参照して説明した撮像構成である。

　しかし、本開示の撮像装置では、被写体から発せられる光は、撮像レンズ１１０を介してマイクロレンズ１２４上で集光し、２Ｎｘ２Ｎ（Ｎは任意の整数）の画素（光電変換素子）に広がって照射される。
　図４（ａ）に示す例は、先に図３（２ｂ）を参照して説明したと同様、Ｎ＝１の場合、すなわち２×２画素に拡散して同じ被写体領域からの入射光が入光する設定である。

　このような構成においては、拡散した光があたる局所領域の画素集合に含まれる各画素、すなわち２×２＝４画素を構成する個別の画素に、ほぼ同量の光が入射される。
　従って、２×２＝４画素の各々の出力は、均一な出力値（画素値）となるはずである。

　しかし、同一被写体光が拡散して入射する一単位の画素集合、すなわち、本例では図４（ａ）に示すような２×２＝４画素に欠陥画素が含まれていると、画素集合（４画素）中、欠陥画素のみの出力値（画素値）が、他の画素（正常画素）の出力値（画素値）と異なる値となる。このように、同一被写体光が入射する１つの画素集合の個別画素の出力画素値が均一でない場合、その画素集合には欠陥画素が含まれると推定することができる。

　本開示の撮像装置は、このように同一被写体光が入射する画素集合単位で画素集合構成画素の出力値（画素値）同士を比較し、均一な出力でない場合に欠陥画素が含まれると判定し、さらに欠陥画素を特定する処理を行なう。
　このような処理を行なうことで、例えば画像内のエッジ領域と欠陥画素とを混同することなく、高精度な欠陥画素の検出を行なうことが可能となる。
　なお、検出された欠陥画素の出力画素値は、撮像装置の信号処理部内で補正した後、出力される。

　なお、本実施例において、カラーフィルタ配列は、図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列を利用した例として説明する。ただし、本開示の処理は、この４分割ベイヤ型ＲＧＢ配列以外の様々な配列を持つ撮像素子に適用可能である。

　また、同一被写体光が拡散して入射する一単位の画素集合の構成として、図３（２ｂ）や図４（ａ）には、２×２＝４画素とした例を示しているが、画素集合の設定は、このような２×２画素の設定に限らず、様々な設定が可能である。

　例えば、図５（ｂ）に示すように、同一被写体光が拡散して入射する画素集合を４×４＝１６画素とした設定、あるいは、図５（ｃ）に示すように、同一被写体光が拡散して入射する画素集合を８×８＝６４画素とした設定など、様々な設定が可能とである。
　ただし、欠陥画素を検出する場合の画素値比較に際しては、同一被写体光が拡散して入射する画素集合内の同一色の画素同士の出力値の比較を実行する。

　　［２．本開示の撮像装置の構成と処理について］
　次に、図６以下を参照して本開示の第１実施例の撮像装置の構成例と処理例について説明する。
　図６は、本開示の第１実施例に係る撮像装置１００の全体構成を示す図である。

　光学レンズ１１０を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１２０に入射し、光電変換による画像データを出力する。

　撮像素子１２０は、例えば図４に示す構成を有する撮像素子１２０である。例えば図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列を有し、図４（ａ）、または図５（ｂ），（ｃ）等に示すように、同一被写体光が拡散して入射する一単位の画素集合を有する。

　図６に示す撮像素子１２０から出力される画像データは信号処理部１３０に入力される。信号処理部１３０は、例えば、以下に説明する欠陥画素の検出および欠陥画素の画素値補正等の処理を実行し、さらに、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像３００を生成する。出力画像３００は図示しない記憶部に格納される。あるいは表示部に出力される。

　制御部１３５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

　次に、信号処理部１３０の構成例について図７を参照して説明する。
　図７は、本開示の一実施例の信号処理部１３０の構成を示す図である。
　信号処理部１３０は、図７に示すように欠陥検出補正部１４０、配列変換部１７０、カメラ信号処理部１８０を有する。

　撮像素子１２０は、図１（２）を参照して説明した画素配列を有し、４分割ベイヤ配列画像２１１を生成して出力する。
　なお、撮像素子１２０の出力する４分割ベイヤ型配列画像２１１は、図４を参照して説明したように、同一被写体光が拡散して入射する一単位の画素集合によって構成されている。

　撮像素子１２０から出力された４分割ベイヤ型配列画像２１１は、欠陥検出補正部１４０に入力される。
　欠陥検出補正部１４０は、撮像素子１２０から４分割ベイヤ型配列画像２１１を入力し、この画像を構成する画素の画素値を解析し、欠陥画素の検出を行う。さらに検出された欠陥画素の画素値を補正する処理を実行する。この結果として、欠陥補正４分割ベイヤ配列画像２１２を生成して出力する。

　欠陥検出補正部１４０の生成した欠陥補正４分割ベイヤ配列画像２１２は、配列変換部１７０に入力される。
　配列変換部１７０は、欠陥検出補正部１４０から欠陥補正４分割ベイヤ配列画像２１２を入力し、４分割ベイヤ配列を通常のベイヤ配列、すなわち、図１（１）に示すベイヤ配列画像に変換する処理を実行する。配列変換部１７０は、この配列変換により、ベイヤ配列画像２１３を生成してカメラ信号処理部１８０に出力する。

　カメラ信号処理部１８０は、配列変換部１７０から出力されるベイヤ配列画像２１３を入力し、ベイヤ配列画像のＲＧＢ各画素位置にＲＧＢ全色を設定するデモザイク処理を実行する。さらに、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行し、出力画像３００を生成して出力する。

　制御部１３５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

　　［３．欠陥検出補正部の構成と処理について］
　次に、図８を参照して、欠陥検出補正部１４０の構成と処理について説明する。
　欠陥検出補正部１４０は、図８に示すように、局所領域抽出部１４１、欠陥画素検出部１５０、欠陥画素補正部１６０を有する。

　撮像素子１２０の出力する４分割ベイヤ配列画像２１１は、欠陥画素検出補正部１４０の局所領域抽出部１４１に入力される。
　局所領域抽出部１４１は、次の欠陥画素検出部１５０において利用する局所領域の画素値を選択抽出する。この局所領域は、同一被写体光が拡散して入射する一単位の画素集合に対応する領域である。例えば図４に示す構成の場合、２×２画素からなる画素領域を局所領域として順次、抽出する。

　また、図５（ｂ）に示すような４×４画素が、同一被写体光が拡散して入射する一単位の画素集合である場合は、この４×４画素領域を局所領域として抽出する。
　また、図５（ｃ）に示すような８×８画素が、同一被写体光が拡散して入射する一単位の画素集合である場合は、この８×８画素領域を局所領域として抽出する。

　局所領域抽出部１４１の抽出した局所領域の画素情報は、欠陥画素検出部１５０に出力される。
　欠陥画素検出部１５０は、局所領域単位、すなわち、同一被写体光が拡散して入射する画素集合単位で欠陥画素検出処理を実行する。
　欠陥画素検出部１５０の具体的構成と処理については、後段で詳細に説明する。

　欠陥画素検出部１５０の検出した欠陥画素情報は、欠陥画素補正部１６０に出力される。
　欠陥画素補正部１６０は、欠陥画素検出部１５０の検出した欠陥画素情報に基づいて特定した欠陥画素の画素値を補正する処理を実行する。
　この欠陥画素補正部１６０の具体的構成と処理については、後段で詳細に説明する。

　欠陥画素補正部１６０は、欠陥画素の画素値を補正した欠陥補正４分割ベイヤ配列画像２１２を生成して、図７に示す信号処理部１３０内の配列変換部１７０に出力する。

　　［３－１．欠陥画素検出部の構成と処理の詳細について］
　次に、図８に示す欠陥検出補正部１４０内の欠陥画素検出部１５０の詳細構成について、図９を参照して説明する。
　図９は、図８に示す欠陥検出補正部１４０内の欠陥画素検出部１５０の詳細構成を示す図である。
　図９に示すように、欠陥画素検出部１５０は、最大／最小画素値検出部１５１、標準偏差（ｓｔｄ）算出部１５２、中間画素値平均（Ｔ）算出部１５３、欠陥画素判定部１５４を有する。

　最大／最小画素値検出部１５１は、図８に示す欠陥検出補正部１４０の局所領域抽出部１４１の抽出した局所領域画素情報４０１を入力する。
　局所領域抽出部１４１は、前述したように、同一被写体光が拡散して入射する画素集合の画素値情報を局所領域画素情報４０１として抽出する。例えば図４に示す構成の場合、２×２画素からなる画素領域が１つの局所領域であり、この局所領域単位で局所領域画素情報４０１を順次、生成して図９に示す欠陥画素検出部１５０の最大／最小画素値検出部１５１に出力する。

　最大／最小画素値検出部１５１は、局所領域画素情報４０１に含まれる同一色画素の最大画素値と最小画素値を検出する。
　なお、以下に説明する処理例においては、局所領域は２×２画素からなる同一色画素領域であるものとして説明する。２×２＝４画素の局所領域は、ＲまたはＧまたはＢの同一色の４画素のみによって構成される。
　図９には、局所領域画素情報４０１の一例として、４分割ベイヤ型ＲＧＢ配列中の２×２の４つのＲ画素：Ｒ１，Ｒ２，Ｒ３，Ｒ４を入力する例を示している。

　最大／最小画素値検出部１５１は、２×２＝４画素の同一色の４画素から最大の画素値を持つ画素と最小の画素値を持つ画素を検出し、この検出情報を局所領域画素情報４０１に併せて標準偏差（ｓｔｄ）算出部１５２と、中間画素平均値（Ｔ）算出部１５３に出力する。

　標準偏差（ｓｔｄ）算出部１５２は、局所領域画素情報４０１に含まれる複数の同一色画素の画素値の標準偏差（ｓｔｄ）を算出する。標準偏差（ｓｔｄ）は、以下に示す（式１）に従って算出する。

　　　・・・・（式１）

　なお、上記（式１）において、
　ａｖｅ：局所領域の同一色画素の画素値平均、
　ｎ：局所領域の同一色画素の画素数、
　ｉ：局所領域の同一色画素の各画素対応のインデックス）ｉ＝１，２，３，・・・ｎ、
　Ｃｉ：局所領域内の同一色画素（Ｃ＝ＲまたはＧまたはＢ）のインデックスｉの設定された画素の画素値、
　ｓｔｄ：局所領域の同一色画素の画素値の標準偏差
　である。

　例えば局所領域が図９に示すようにＲ１～Ｒ４の４画素から構成されている場合、
　ｎ＝４、
　ｉ＝１～４、
　Ｃｉ＝Ｒ１～Ｒ４各々の画素値
　これらの各値が適用される。

　標準偏差（ｓｔｄ）算出部１５２が、上記（式１）に従って算出した標準偏差（ｓｔｄ）の値は、欠陥画素判定部１５４に入力される。

　中間画素平均値（ａｖｅ）算出部１５３は、局所領域画素情報４０１に含まれる複数の同一色画素の画素値の最大画素値と最小画素値を除く中間画素値を持つ画素の画素値の平均値、すなわち中間画素平均値（Ｔ）を算出する。中間画素平均値（Ｔ）は、以下に示す（式２）に従って算出する。

　　　・・・・（式２）

　なお、上記（式２）において、
　ｎ：：局所領域の同一色画素の画素数、
　２ｎｄＭａｘ：局所領域の同一色画素の２番目に大きな画素値、
　２ｎｄＭｉｎ：局所領域の同一色画素の２番目に小さな画素値、
　Ｔ：中間画素平均値、
　である。

　例えば局所領域が図９に示すようにＲ１～Ｒ４の４画素から構成されている場合、
　ｎ＝４、
　２ｎｄＭａｘ＝Ｒ１～Ｒ４中、２番目に大きな値を持つ画素値、
　２ｎｄＭｉｎ＝Ｒ１～Ｒ４中、２番目に小さな値を持つ画素値、
　これらの各値が適用される。

　中間画素平均値（Ｔ）算出部１５３が、上記（式２）に従って算出した中間画素平均値（Ｔ）の値は、欠陥画素判定部１５４に入力される。

　欠陥画素判定部１５４は、以下の各値を入力する。
　（１）標準偏差（ｓｔｄ）算出部１５２が、上記（式１）に従って算出した標準偏差（ｓｔｄ）の値、
　（２）中間画素平均値（Ｔ）算出部１５３が、上記（式２）に従って算出した中間画素平均値（Ｔ）の値、
　欠陥画素判定部１５４は、これらの各値を入力し、局所領域に含まれる同一色画素から順次、選択した注目画素が欠陥画素であるか否かを判定する。
　この判定処理は、以下に示す（式３）に従って行われる。

　　　　　・・・（式３）

　なお、上記（式３）において、
　ｓｔｄ：前記（式１）に従って算出された標準偏差の値、
　Ｔ：前記（式２）従って算出された中間画素平均値、
　ＴＨ１：予め規定したしきい値、
　ＴＨ２：予め規定したしきい値、
　Ｃｉ：局所領域から順次選択される注目画素の画素値
　である。

　局所領域から順次選択される注目画素（Ｃｉ）について、上記に示す（式３）が成立する場合、その注目画素（Ｃｉ）は、欠陥画素であると判定する。
　一方、注目画素（Ｃｉ）について、上記に示す（式３）が成立しない場合、その注目画素（Ｃｉ）は、欠陥画素でないと判定する。

　上記（式３）は、各注目画素（Ｃｉ）について、以下の２つの条件を満足する場合にその注目画素（Ｃｉ）を欠陥画素と判定する式である。
　（第一の条件）注目画素（Ｃｉ）を含む局所領域の注目画素と同一色の画素を用いて、先に説明した（式１）に従って算出した標準偏差（ｓｔｄ）が予め規定した閾値（ＴＨ１）より大きいこと、
　（第二の条件）注目画素（Ｃｉ）を含む局所領域の注目画素と同一色の画素を用いて、先に説明した（式２）に従って算出した中間画素平均値（Ｔ）と、注目画素の画素値（Ｃｉ）との差分絶対値が、予め規定したしきい値（ＴＨ２）より大きいこと、

　すなわち、局所領域に含まれる同一色画素の画素値のばらつきが大きく、かつ、
　局所領域に含まれる同一色画素の最大画素値と最小画素値を除く中間画素値の平均値と、注目画素の画素値との差分が大きい場合に、注目画素を欠陥画素と判定する。

　欠陥画素判定部１５４は、局所領域から順次選択した注目画素Ｃｉについて、上記（式３）を満足するか否かを判定し、満足する場合は、その注目画素は欠陥画素であると判定し、満足しない場合は、欠陥画素でないと判定する。
　欠陥画素判定部１５４は、この判定結果を示す情報として、各注目画素に対応させた欠陥判定フラグ等の欠陥画素判定情報４０２を生成して次の欠陥画素補正部１６０に出力する。
　欠陥判定フラグは、例えば、注目画素が欠陥画素である場合は［１］、欠陥画素でない場合は［０］の設定としたフラグである。

　なお、欠陥画素検出部１５０は、局所領域に含まれる各画素について、順次、注目画素に選定し、選定注目画素が欠陥画素であるか否かを判定する処理を、注目画素を順じ、切り替えて繰り返し実行する。
　その結果として、注目画素に含まれるすべての画素に対して欠陥画素であるか否かの判定が実行される。
　なお、局所領域は、順次、変更して設定され、画像を構成するすべての画素について同様の処理を実行する。

　次に、図９に示す欠陥画素検出部１５０の実行する欠陥画素検出処理のシーケンスについて図１０に示すフローチャートを参照して説明する。
　なお、理解を容易にするため、具体的な局所領域画素情報として、図１０の左上に示す４分割ベイヤ型ＲＧＢ配列中の中央のＲ１～Ｒ４画素からなる２×２の画素領域の画素情報を入力して処理を行なう例について説明する。

　まず、ステップＳ１０１において、局所領域から１つの注目画素（Ｃｉ）を選択する。
　なお、この図１０に示すフローチャートは、極処領域に含まれる各画素を順次、注目画素として選択して、繰り返し実行する。
　ここでは、局所領域構成画素Ｒ１～Ｒ４の１つである画素Ｒ１を注目画素として選択したと仮定して説明する。

　次に、ステップＳ１０２において、注目画素（Ｃｉ）が局所領域の同一色画素の最大画素値または最小画素値のいずれかであるか否かを判定する。
　注目画素（Ｃｉ＝Ｒ１）が局所領域における同一色画素の最大画素値または最小画素値である場合（ステップＳ１０２の判定＝Ｙｅｓ）は、ステップＳ１０３に進む。
　一方、注目画素が局所領域における同一色画素の最大画素値または最小画素値でない場合（ステップＳ１０２の判定＝Ｎｏ）は、その注目画素（Ｃｉ＝Ｒ１）は欠陥画素ではないと判定して処理を終了する。

　注目画素（Ｃｉ）を画素Ｒ１とした場合、以下の判定処理を行なう。
　注目画素Ｒ１が、その他の画素Ｒ２，Ｒ３，Ｒ４の各画素値より大きい画素値を持つ最大画素値の画素であるか、あるいは、注目画素Ｒ１が、その他の画素Ｒ２，Ｒ３，Ｒ４の各画素値より小さい値を持つ最小画素値の画素のいずれかであるか否かを判定する。

　ステップＳ１０２の判定処理において、注目画素が局所領域における同一色画素の最大画素値または最小画素値であると判定した場合は、ステップＳ１０３に進む。
　ステップＳ１０３では、局所領域に含まれる複数の同一色画素の画素値の標準偏差（ｓｔｄ）を算出する。

　この処理は、先に図９を参照して説明した標準偏差（ｓｔｄ）算出部１５２の実行する処理である。
　先に説明した（式１）に従って局所領域に含まれる複数の同一色画素の画素値の標準偏差（ｓｔｄ）を算出する。
　例えば局所領域に含まれる画素がＲ１～Ｒ４である場合、これらの４画素の画素値を前述の（式１）のＣｉに設定して標準偏差（ｓｔｄ）を算出する。

　次に、ステップＳ０４において、局所領域に含まれる複数の同一色画素の画素値の最大画素値と最小画素値を除く中間画素値を持つ画素の画素値の平均値、すなわち中間画素平均値（Ｔ）を算出する。

　この処理は、先に図９を参照して説明した中間画素平均値（ａｖｅ）算出部１５３の実行する処理である。
　先に説明した（式２）に従って、局所領域に含まれる複数の同一色画素の画素値の最大画素値と最小画素値を除く中間画素値を持つ画素の画素値の平均値、すなわち中間画素平均値（Ｔ）を算出する。
　例えば局所領域に含まれる画素がＲ１～Ｒ４である場合、これらの４画素の画素値の最大画素値と最小画素値を除く中間画素値を持つ２つの画素値の平均を中間画素平均値（Ｔ）として算出する。

　次に、ステップＳ１０５において、注目画素（Ｃｉ）が欠陥画素であるか否かの判定処理を実行する。
　この処理は、先に図９を参照して説明した欠陥画素判定部１５４の処理である。

　先に説明したように、欠陥画素判定部１５４は、以下の各値に基づいて、注目画素（Ｃｉ）が欠陥画素であるか否かを判定する。
　（１）標準偏差（ｓｔｄ）算出部１５２が、上記（式１）に従って算出した標準偏差（ｓｔｄ）の値、
　（２）中間画素平均値（Ｔ）算出部１５３が、上記（式２）に従って算出した中間画素平均値（Ｔ）の値、
　欠陥画素判定部１５４は、これらの各値を入力し、局所領域に含まれる同一色画素から順次、選択した注目画素（Ｃｉ）が欠陥画素であるか否かを判定する。
　この判定処理は、先に説明した（式３）に従って行われる。

　注目画素に関して、（式３）が成立する場合、その注目画素は、欠陥画素であると判定する。
　一方、注目画素について、（式３）が成立しない場合、その注目画素は、欠陥画素でないと判定する。

　注目画素に関して、（式３）が成立し、注目画素が欠陥画素であると判定した場合は、ステップＳ１０６に進み、注目画素対応フラグである欠陥検出フラグの値を［１］に設定する。
　一方、注目画素に関して、（式３）が成立せず、注目画素が欠陥画素でないと判定した場合は、処理を終了する。この場合、注目画素対応フラグである欠陥検出フラグの値は初期値［０］のままの設定とする。

　なお、図１０に示すフローは、局所領域に含まれる各画素について、順次、注目画素に選定して、選定した注目画素単位で、順次、繰り返し実行する。
　その結果として、注目画素に含まれるすべての画素に対して欠陥画素であるか否かの判定が実行される。
　なお、局所領域は、順次、変更して設定され、画像を構成するすべての画素について同様の処理を実行する。

　　［３－２．欠陥画素補正部の構成と処理の詳細について］
　次に、図１１を参照して図８に示す欠陥検出補正部１４０内の欠陥画素補正部１６０の構成と処理の詳細について説明する。

　欠陥画素補正部１６０は、前段の欠陥画素検出部１５０において欠陥画素と判定された画素の画素値を補正する処理を行なう。
　前段の欠陥画素検出部１５０から、局所領域の画素情報とともに、欠陥画素判定情報（画素対応欠陥判定フラグ）４０２を入力し、このフラグに基づいて欠陥画素であると判定された画素を特定し、欠陥画素の画素値を補正する。

　中間画素検出部１６１は、欠陥画素の含まれる局所領域から、欠陥画素と同一色の画素である以下の画素値を取得する。
　（ａ）局所領域内の最大画素値の次、すなわち２番目に大きな画素値を持つ画素の画素値（２ｎｄＭａｘ）、
　（ｂ）局所領域内の最小画素値の次、すなわち２番目に小さな画素値を持つ画素の画素値（２ｎｄＭｉｎ）、
　中間画素検出部１６１は、これらの画素値情報を取得して画素値補正部１６２に出力する。

　画素値補正部１６２は、まず、補正対象となる欠陥画素と判定された注目画素（Ｃｉ）について、注目画素が、その注目画素の属する局所領域内の同一色画素中、最大値を持つ画素であるか、最小値を持つ画素であるかを判定する。

　注目画素が、その注目画素の属する局所領域内の最大値画素である場合は、その注目画素の画素値を、中間画素検出部１６１から入力した画素値（２ｎｄＭａｘ）に設定する画素値補正を行なう。
　すなわち、注目画素の画素値を、局所領域内の同一色の最大画素値の次、すなわち２番目に大きな画素値を持つ画素の画素値（２ｎｄＭａｘ）に補正する。

　一方、注目画素が、その注目画素の属する局所領域内の最小値画素である場合は、その注目画素の画素値を、中間画素検出部１６１から入力した画素値（２ｎｄＭｉｎ）に設定する画素値補正を行なう。
　すなわち、注目画素の画素値を、局所領域内の同一色の最小画素値の次、すなわち２番目に小さな画素値を持つ画素の画素値（２ｎｄＭｉｎ）に補正する。

　欠陥画素補正部１６０は、各局所領域の欠陥画素について順次、補正を実行する。
　また、局所領域は、順次、変更して設定され、画像を構成するすべての欠陥画素について同様の補正処理を実行する。
　この処理により、処理対象画像の欠陥画素は全て補正され、図１１に示す欠陥補正４分割ベイヤ配列画像２１２が生成され、後段の配列変換部１７０（図７参照）に出力される。

　次に、図１２に示すフローチャートを参照して、欠陥画素補正部１６０の実行する欠陥画素補正処理の詳細シーケンスについて説明する。

　まず、ステップＳ２０１において、１つの注目画素（Ｃｉ）を入力する。
　なお、図１２に示すフローは、処理画像の各画素を、順次、注目画素に設定して、全画素について繰り返し実行する。

　次に、ステップＳ２０２において、注目画素の欠陥検出フラグの設定が、欠陥画素であることを示す値［１］に設定されているか否かを判定する。
　欠陥検出フラグ＝１の場合は、ステップＳ２０３に進む。
　一方、欠陥検出フラグ＝０、すなわち欠陥画素でないことを示す場合は、補正を行なうことなく、処理を終了する。

　注目画素（Ｃｉ）の欠陥検出フラグの値が［１］であり、注目画素が欠陥画素である場合は、ステップＳ２０３に進む。
　ステップＳ２０３では、注目画素の属する局所領域から、その注目画素と同一色の画素中、２番目に大きな画素値（２ｎｄＭａｘ）と、２番目に小さな画素値（２ｎｄＭｉｎ）の各画素値を取得する。

　次に、ステップＳ２０４において、注目画素（Ｃｉ）が注目画素の属する局所領域において同一色画素の最大画素値を持つ画素であるか、最小画素値を持つ画素であるかを判定する。

　注目画素（Ｃｉ）が注目画素の属する局所領域において同一色画素の最大画素値を持つ画素であると判定した場合は、ステップＳ２０５に進む。ステップＳ２０５では、注目画素の画素値を、注目画素の属する局所領域内の注目画素と同一色の画素中、２番目に大きな画素値（２ｎｄＭａｘ）に設定する。すなわち、注目画素の画素値（Ｃｉ）を以下のように設定する。
　Ｃｉ＝２ｎｄＭａｘ

　一方、ステップＳ２０４において、注目画素（Ｃｉ）が注目画素の属する局所領域において同一色画素の最小画素値を持つ画素であると判定した場合は、ステップＳ２０６に進む。ステップＳ２０６では、注目画素の画素値を、注目画素の属する局所領域内の注目画素と同一色の画素中、２番目に小さな画素値（２ｎｄＭｉｎ）に設定する。すなわち、注目画素の画素値（Ｃｉ）を以下のように設定する。
　Ｃｉ＝２ｎｄＭｉｎ

　欠陥画素補正部１６０は、この図１２に示すフローに従った処理を、処理対象画像の各画素を順次、注目画素に設定して、繰り返し実行する。
　この処理により、処理対象画像の欠陥画素は全て補正され、図１１に示す欠陥補正４分割ベイヤ配列画像２１２が生成され、後段の配列変換部１７０（図７参照）に出力される。

　　［４．撮像レンズに低解像度レンズを利用した実施例］
　次に、本開示の撮像装置の実施例２として、撮像レンズに低解像度レンズを利用した実施例について説明する。

　本開示の撮像装置は、先に図４等を参照して説明したように、撮像素子の複数画素に対して、同一被写体光が拡散して入射する構成を有している。
　すなわち、撮像素子の画素密度に対応した画素分解能より低い光学分解能の画像を取得する構成としている。
　このような画像を取得するために、上述の実施例１では、図４他を参照して説明したように、撮像レンズ１１０と、光電変換素子１２１の間にマイクロレンズ１２４を配置して、撮像レンズ１１０からの入射光を拡散する構成としている。

　このように、撮像素子の複数画素に同一被写体光をあえてぼかして照射することで、複数画素に均一な強度の光が照射する構成とし、これらの局所領域の同一色の画素の画素値の比較を行なうことで、高精度な欠陥画素検出を可能にしている。

　撮像素子の複数画素に同一被写体光を照射する構成としては、図４に示すマイクロレンズを利用した構成以外の構成も可能である。
　例えば、図１３に示すように、低解像度撮像レンズ５１０を用いた構成によって、撮像素子の複数画素に同一被写体光を照射することが可能である。

　図１３に示す構成において、低解像度撮像レンズ５１０は、撮像素子の画素ピッチよりも低い解像度を持つレンズであり、低解像度撮像レンズ５１０を介して入射した入射光は、最もフォーカスのあった位置でも複数画素、具体的には、図１３（ａ）に示すように２×２画素の画素領域に同一被写体光が照射される設定となる。

　このように、画素ピッチよりも低い解像度を持つレンズを適用することで、フォーカスがあっている被写体の光を、複数画素に拡散させて照射することが可能となる。

　図１３に示す撮像素子５２０の構成は、先に図４を参照して説明した撮像素子１２０からマイクロレンズ１２４を省いた構成に相当する。すなわち、撮像素子５２０は、光電変換素子５２１、カラーフィルタ５２２、オンチップレンズ５２３を積層した構成を有する。
　撮像素子５２０の画素配列は、実施例１と同様、図１（２）を参照して説明した４分割ベイヤ型配列である。

　　［５．光学ローパスフィルタを利用した実施例］
　次に、本開示の撮像装置の実施例３として、光学ローパスフィルタを利用した実施例について説明する。

　実施例１では、図４に示すように、マイクロレンズ１２４を用いることで、撮像素子の複数画素に対して、同一被写体光が拡散して入射する構成を実現している。
　また、上記の実施例２では、図１３に示すように、低解像度撮像レンズ５１０を用いることで、撮像素子の複数画素に対して、同一被写体光が拡散して入射する構成を実現している。

　この他、撮像素子の複数画素に対して、同一被写体光が拡散して入射する構成を実現するために、図１４に示すように、撮像レンズ６１０と、光電変換素子６２１との間に、低周波光のみを選択的に透過する光学ローパスフィルタ６２４を配置した構成としてもよい。

　図１４に示す構成において、光学ローパスフィルタ６２４は、撮像レンズ６１０を介した入射光から所定の高周波成分光を透過させない特性を持つ光学ローパスフィルタである。
　この光学ローパスフィルタ６２４の透過光は、図１４に示すように、同一被写体光に相当する光束を広げる、すなわちぼかす役目を果たす。結果として、先に説明した実施例１や実施例２と同様、同一被写体光が、撮像素子の複数画素に拡散して照射される。具体的には、図１４（ａ）に示すように２×２画素の画素領域に同一被写体光が照射される設定となる。

　図１４に示す撮像素子６２０の構成は、先に図４を参照して説明した撮像素子１２０中のマイクロレンズ１２４を、光学ローパスフィルタ６２４に置き換えた構成に相当する。その他の構成は、図４に示す構成と同様の構成である。撮像素子６２０の構成は、光電変換素子６２１、カラーフィルタ６２２、オンチップレンズ６２３を積層し、撮像レンズ側に光学ローパスフィルタ６２４を配置した構成である。
　撮像素子５２０の画素配列は、実施例１と同様、図１（２）を参照して説明した４分割ベイヤ型配列である。

　　［６．画素配列のバリエーションについて］
　先に説明した実施例１では、撮像素子の画素配列として、図１（２）に示す４分割ベイヤ型ＲＧＢ配列を利用した構成について説明した。
　本開示の処理は、図１（２）に示す４分割ベイヤ型ＲＧＢ配列に限らず、その他、様々な画素配列の撮像素子にも適用可能である。

　例えば図１５（Ｂ）に示すような４分割ＷＲＧＢ型配列構成を持つ撮像素子にも適用可能である。
　図１５（Ｂ）に示す配列は、ほぼ全ての可視波長光を透過するＷｈｉｔｅ（透過）画素を含む４分割ＷＲＧＢ型配列構成を持つ撮像素子である。このような画素配列を持つ撮像素子を利用した場合も、上述した実施例に従った欠陥画素検出および補正処理が可能である。
　なお、図１５（Ｂ）に示すＷＲＧＢ型配列を用いた場合、図７に示す信号処理部１３０の配列変換部１７０は、４分割ＷＲＧＢ配列をベイヤ配列に変換する処理を実行することが必要である。

　　［７．配列変換部をデモザイク処理部に置き換えた実施例］
　先に図７を参照して説明した信号処理部１３０は、欠陥検出補正部１４０から出力された欠陥補正後の画素値の設定された画像、すなわち。図７に示す欠陥補正４分割ベイヤ配列画像２１２を配列変換部１７０に入力していた。配列変換部１７０は、入力画像である欠陥補正４分割ベイヤ配列画像２１２の画素配列を変換し、ベイヤ配列画像２１３を生成してカメラ信号処理部１８０に入力する構成である。

　すなわち、前述の実施例１は、カメラ信号処理部１８０において、デモザイク処理、すなわち各画素にＲＧＢいずれかの画素値のみが設定されたベイヤ配列画像２１３に基づいて各画素にＲＧＢ前画素値を設定するデモザイク処理を実行する構成である。

　これに対して、図１６に示す信号処理部１３０は、図７に示す配列変換部１７０の代わりにデモザイク処理部７０１を有する。
　デモザイク処理部７０１は、欠陥検出補正部１４０から欠陥補正４分割ベイヤ配列画像２１２を配列変換部１７０に入力し、この入力画像に基づいて、ベイヤ配列への変換にな併せて、変換後のベイヤ配列画像の各画素にＲＧＢ全画素を設定するデモザイク処理を実行する。このデモザイク処理によって生成したＲＧＢ画像７１１をカメラ信号処理部１８０に出力する。

　カメラ信号処理部１８０は、デモザイク処理を実行することなく、その他の一般的なカメラ信号処理、例えばホワイトバランス調整、ガンマ補正等の処理を実行して出力画像３００を生成する。

　　［８．特定視点画像生成部を備えた実施例］
　次に、図１７を参照して、信号処理部１３０に特定視点画像生成部８０１を備えた実施例について説明する。

　先に説明した実施例１では、図４を参照して説明したように、撮像素子１２０の前面にマイクロレンズ１２４を配置した構成を持つ。
　マイクロレンズ１２４の配置により、被写体光が拡散し、複数画素に同一被写体光が照射される構成については、先に説明したとおりである。

　マイクロレンズ１２４のもう１つの作用として、撮像素子の光電変換素子の領域ごとに異なる視点からの画像、あるいは、異なる焦点距離の画像を個別に取得させることが可能となるという作用がある。

　例えば、文献［Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ　ｗｉｔｈ　ａ　Ｈａｎｄ－Ｈｅｌｄ　Ｐｌｅｎｏｐｔｉｃ　Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ　Ｔｅｃｈ　Ｒｅｐｏｒｔ　ＣＴＳＲ　２００５－０２］に、「Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ」という撮像手法が開示されている。
　この手法は、先に説明した実施例１と同様、撮像素子の前面にマイクロレンズを配置し、マイクロレンズを介して入射光を拡散し光電変換部へ照射する構成を開示している。この構成により、撮像素子の光電変換素子の領域ごとに異なる視点からの画像、あるいは、異なる焦点距離の画像を個別に取得させることを可能としている。

　上記文献に記載の「Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ」に従って、撮像素子の光電変換素子の領域ごとにる異なる視点からの画像、あるいは、異なる焦点距離の画像を個別に取得する構成について、図１８を参照して説明する。

　図１８には、撮影対象としての被写体９００、撮像レンズ９２１、マイクロレンズ９２２、光電変換素子９２３を示している。
　被写体９００の頭部～足元までの特定の位置から発せられた光は、メインレンズとしての撮像レンズ９２１を通過し、マイクロレンズ９２２のある１つのマイクロレンズに収光される。例えば図中の被写体９００の頭部から出ている光線は、図のように撮像素子下部のマイクロレンズ９３１に収光され、同様に被写体９００の足元から出ている光線は上部のマイクロレンズ９３２に集光する。

　これらのマイクロレンズ９２２を通過した光は、対応する各パッチ内の光電変換素子９２３の各画素に照射される。
　このようにマイクロレンズ９２２で被写体から発する光線の発生位置を記録し、撮像素子で光線の方向を記録することが出来る。このようにして、光電変換素子９２３の各画素に記録された光線を選択的に用いることで、特定焦点画像や特定視点画像を生成することができる。

　例えば、図１８の実線（Ａ）で描かれた光線のみを集めて画像を復元することで、撮像レンズ９２１の下端を通る画像を生成することができる。また、図１８の点線（Ｂ）で描かれた光線を集めれば撮像レンズ９２１の中央部を通った画像を得ることができる。さらに、図１８の一点鎖線（Ｃ）で描かれた光線を集めれば撮像レンズ９２１の上部を通った画像を得ることができる。
　このように１度の撮影で複数の視点を持つ画像を生成することもできれば、異なる視点から得られる光線を合成して特定のボケを持つ画像を生成することができる。

　このような手法で撮影した画像を用い、撮像素子の各画素に対応する被写体の光線方向と位置情報を参照して、各画像を適宜組み合わせて再構築することで、１回の撮影画像を利用して、異なる複数視点の画像を生成することが可能となる。あるいは、焦点の異なる複数の画像を同時に生成することが可能となる。

　図１７に示す信号処理部１３０内の特定視点画像生成部８０１は、これらの処理を実行して、異なる複数視点の画像、あるいは、焦点の異なる複数の画像を特定視点画像８１１として生成し、配列変換部１７０に出力する。
　図に示す特定視点画像８１１は、１つの特定視点画像、または複数の特定視点画像によって構成される。
　なお、ここで、特定視点とは、観察位置としての視点と、特定焦点距離の被写体位置の双方を含むものとする。
　このように、特定視点画像生成部８０１を設定することで、欠陥補正に併せて、異なる特定視点画像を同時生成することが可能となる。

　　［９．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　撮像素子と、
　前記撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行する信号処理部を有し、
　前記撮像素子は、
　前記撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力し、
　前記信号処理部は、
　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行する撮像装置。

　（２）前記信号処理部は、前記局所領域に含まれる同一色画素の画素値のばらつきが大きく、かつ、前記局所領域に含まれる同一色画素の最大画素値と最小画素値を除く中間画素値の平均値と、注目画素の画素値との差分が大きい場合に、
　前記注目画素を欠陥画素と判定する処理を実行する前記（１）に記載の撮像装置。

　（３）前記信号処理部は、前記局所領域に含まれる同一色画素の画素値の標準偏差が既定しきい値（ＴＨ１）より大きく、かつ、前記局所領域に含まれる同一色画素の最大画素値と最小画素値を除く中間画素値の平均値と、注目画素の画素値との差分絶対値が既定しきい値（ＴＨ２）より大きい場合に、前記注目画素を欠陥画素と判定する処理を実行する前記（１）または（２）に記載の撮像装置。

　（４）前記撮像素子は、二次元アレイ状に配列された画素からなる光電変換部と、前記光電変換部の前面である撮像レンズ側に配置されたマイクロレンズを有し、撮像レンズを介した入射光を前記マイクロレンズを介して拡散させて、前記撮像素子の複数画素からなる前記局所領域単位で同一被写体光を受光する構成を有する前記（１）～（３）いずれかに記載の撮像装置。

　（５）前記信号処理部は、前記マイクロレンズを有する撮像素子によって取得された画像から、特定の画素領域単位の画像の再構成により特定視点画像を生成する構成を有する前記（４）に記載の撮像装置。

　（６）前記撮像素子は、ＲＧＢ各画素からなるベイヤ配列またはＲＧＢＷ各画素からなる配列の各画素を同一色の２×２画素に４分割した画素配列を有する前記（１）～（５）いずれかに記載の撮像装置。

　（７）前記撮像素子は、前記撮像素子の２×２の同一色画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する前記（６）に記載の撮像装置。

　（８）前記撮像素子は、前記撮像素子の４×４画素または８×８画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する前記（６）に記載の撮像装置。

　（９）前記撮像素子は、前記撮像素子の画素密度に相当する画素分解能より低い低分解能の光学像を形成する低い光学分解能を有する低解像度撮像レンズを介した被写体光を入射することで、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する前記（１）～（８）いずれかに記載の撮像装置。

　（１０）前記撮像素子は、二次元アレイ状に配列された画素からなる光電変換部と、前記光電変換部の前面である撮像レンズ側に配置された光学ローパスフィルタを有し、撮像レンズを介した入射光を前記光学ローパスフィルタを介して拡散させて、前記撮像素子の複数画素からなる前記局所領域単位で同一被写体光を受光する構成を有する前記（１）～（９）いずれかに記載の撮像装置。

　（１１）前記信号処理部は、欠陥画素の画素値補正を実行する欠陥画素補正部を有し、前記欠陥画素補正部は、欠陥画素と同一の局所領域に含まれる欠陥画素と同一色画素の最大画素値と最小画素値を除く中間画素値を参照画素として前記欠陥画素の補正画素値を算出する前記（１）～（１０）いずれかに記載の撮像装置。

　（１２）前記欠陥画素補正部は、前記欠陥画素が、欠陥画素の含まれる局所領域の同一色画素中の最大画素値である場合、前記中間画素値中の最大画素値を前記欠陥画素の補正画素値として設定し、前記欠陥画素が、欠陥画素の含まれる局所領域の同一色画素中の最小画素値である場合、前記中間画素値中の最小画素値を前記欠陥画素の補正画素値として設定する前記（１１）に記載の撮像装置。

　（１３）　撮像装置において実行する画像処理方法であり、
　撮像素子において、該撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力するステップと、
　信号処理部において、撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行する信号処理ステップを実行し、
　前記信号処理部は、前記信号処理ステップにおいて、
　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行する画像処理方法。

　（１４）　撮像装置において画像処理を実行させるプログラムであり、
　撮像素子に、該撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力させるステップと、
　信号処理部に、撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行させる信号処理ステップを実行させ、
　前記信号処理ステップにおいては、
　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、撮像素子の欠陥画素の検出を行い、欠陥画素の出力画素値を補正して出力画像を生成する。
　具体的には、撮像装置は、撮像素子と、撮像素子からの出力信号の解析を実行して欠陥画素の検出を実行する信号処理部を有する。撮像素子は、例えば画素前面に配置したマイクロレンズを介して入射光を受光して、撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得する。信号処理部は、撮像素子の複数画素の集合からなる局所領域単位で、局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行し、欠陥画素と判定された画素の画素値を補正して出力する。
　これらの処理により、撮像素子に存在する欠陥画素を高精度に検出することが可能となり、欠陥画素の出力画素値を補正した高品質な出力画像を生成することができる。

　１１０　撮像レンズ
　１２０　撮像素子
　１２１　光電変換素子
　１２２　カラーフィルタ
　１２３　オンチップレンズ
　１２４　マイクロレンズ
　１３０　信号処理部
　１３５　制御部
　１４０　欠陥検出補正部
　１４１　局所領域抽出部
　１５０　欠陥画素検出部
　１５１　最大／最小画素値検出部
　１５２　標準偏差（ｓｔｄ）算出部
　１５３　中間画素平均値（Ｔ）算出部
　１５４　欠陥画素判定部
　１６０　欠陥画素補正部
　１６１　中間画素検出部
　１６２　画素値補正部
　５１０　低解像度撮像レンズ
　５２０　撮像素子
　５２１　光電変換素子
　５２２　カラーフィルタ
　５２３　オンチップレンズ
　６１０　撮像レンズ
　６２０　撮像素子
　６２１　光電変換素子
　６２２　カラーフィルタ
　６２３　オンチップレンズ
　６２４　光学ローパスフィルタ
　７０１　デモザイク処理部
　８０１　特定視点画像生成部
　９００　被写体
　９２１　撮像レンズ
　９２２　マイクロレンズ
　９２３　光電変換素子

Claims (14)

1. 　撮像素子と、
   　前記撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行する信号処理部を有し、
   　前記撮像素子は、
   　前記撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力し、
   　前記信号処理部は、
   　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行する撮像装置。
2. 　前記信号処理部は、
   　前記局所領域に含まれる同一色画素の画素値のばらつきが大きく、かつ、
   　前記局所領域に含まれる同一色画素の最大画素値と最小画素値を除く中間画素値の平均値と、注目画素の画素値との差分が大きい場合に、
   　前記注目画素を欠陥画素と判定する処理を実行する請求項１に記載の撮像装置。
3. 　前記信号処理部は、
   　前記局所領域に含まれる同一色画素の画素値の標準偏差が既定しきい値（ＴＨ１）より大きく、かつ、
   　前記局所領域に含まれる同一色画素の最大画素値と最小画素値を除く中間画素値の平均値と、注目画素の画素値との差分絶対値が既定しきい値（ＴＨ２）より大きい場合に、
   　前記注目画素を欠陥画素と判定する処理を実行する請求項１に記載の撮像装置。
4. 　前記撮像素子は、
   　二次元アレイ状に配列された画素からなる光電変換部と、
   　前記光電変換部の前面である撮像レンズ側に配置されたマイクロレンズを有し、
   　撮像レンズを介した入射光を前記マイクロレンズを介して拡散させて、前記撮像素子の複数画素からなる前記局所領域単位で同一被写体光を受光する構成を有する請求項１に記載の撮像装置。
5. 　前記信号処理部は、
   　前記マイクロレンズを有する撮像素子によって取得された画像から、特定の画素領域単位の画像の再構成により特定視点画像を生成する構成を有する請求項４に記載の撮像装置。
6. 　前記撮像素子は、
   　ＲＧＢ各画素からなるベイヤ配列またはＲＧＢＷ各画素からなる配列の各画素を同一色の２×２画素に４分割した画素配列を有する請求項１に記載の撮像装置。
7. 　前記撮像素子は、
   　前記撮像素子の２×２の同一色画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する請求項６に記載の撮像装置。
8. 　前記撮像素子は、
   　前記撮像素子の４×４画素または８×８画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する請求項６に記載の撮像装置。
9. 　前記撮像素子は、
   　前記撮像素子の画素密度に相当する画素分解能より低い低分解能の光学像を形成する低い光学分解能を有する低解像度撮像レンズを介した被写体光を入射することで、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力する請求項１に記載の撮像装置。
10. 　前記撮像素子は、
    　二次元アレイ状に配列された画素からなる光電変換部と、
    　前記光電変換部の前面である撮像レンズ側に配置された光学ローパスフィルタを有し、
    　撮像レンズを介した入射光を前記光学ローパスフィルタを介して拡散させて、前記撮像素子の複数画素からなる前記局所領域単位で同一被写体光を受光する構成を有する請求項１に記載の撮像装置。
11. 　前記信号処理部は、
    　欠陥画素の画素値補正を実行する欠陥画素補正部を有し、
    　前記欠陥画素補正部は、欠陥画素と同一の局所領域に含まれる欠陥画素と同一色画素の最大画素値と最小画素値を除く中間画素値を参照画素として前記欠陥画素の補正画素値を算出する請求項１に記載の撮像装置。
12. 　前記欠陥画素補正部は、
    　前記欠陥画素が、欠陥画素の含まれる局所領域の同一色画素中の最大画素値である場合、前記中間画素値中の最大画素値を前記欠陥画素の補正画素値として設定し、
    　前記欠陥画素が、欠陥画素の含まれる局所領域の同一色画素中の最小画素値である場合、前記中間画素値中の最小画素値を前記欠陥画素の補正画素値として設定する請求項１１に記載の撮像装置。
13. 　撮像装置において実行する画像処理方法であり、
    　撮像素子において、該撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力するステップと、
    　信号処理部において、撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行する信号処理ステップを実行し、
    　前記信号処理部は、前記信号処理ステップにおいて、
    　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行する画像処理方法。
14. 　撮像装置において画像処理を実行させるプログラムであり、
    　撮像素子に、該撮像素子の複数画素からなる局所領域単位で同一被写体光を入力し、撮像素子の画素密度に相当する画素分解能より低い画像信号を取得して前記信号処理部に出力させるステップと、
    　信号処理部に、撮像素子からの出力信号の解析を実行して、前記撮像素子に含まれる欠陥画素の検出を実行させる信号処理ステップを実行させ、
    　前記信号処理ステップにおいては、
    　前記撮像素子の複数画素の集合からなる局所領域単位で、該局所領域に含まれる同一色画素の画素値比較を実行して、該比較結果に基づいて欠陥画素の検出を実行させるプログラム。

Images