JP6921567B2 - 画像処理装置、撮像装置、画素異常検出方法およびプログラム - Google Patents

画像処理装置、撮像装置、画素異常検出方法およびプログラム Download PDF

Info

Publication number
JP6921567B2
JP6921567B2 JP2017049741A JP2017049741A JP6921567B2 JP 6921567 B2 JP6921567 B2 JP 6921567B2 JP 2017049741 A JP2017049741 A JP 2017049741A JP 2017049741 A JP2017049741 A JP 2017049741A JP 6921567 B2 JP6921567 B2 JP 6921567B2
Authority
JP
Japan
Prior art keywords
unit
output
photoelectric conversion
pixel
output values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017049741A
Other languages
English (en)
Other versions
JP2018152829A (ja
Inventor
美樹 細野
美樹 細野
兼矢 細野
兼矢 細野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017049741A priority Critical patent/JP6921567B2/ja
Priority to PCT/JP2018/007767 priority patent/WO2018168492A1/ja
Publication of JP2018152829A publication Critical patent/JP2018152829A/ja
Priority to US16/565,451 priority patent/US10880508B2/en
Application granted granted Critical
Publication of JP6921567B2 publication Critical patent/JP6921567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Description

本発明は、撮像部によって生成された画像データに対応する画像の画素異常を判定する画像処理装置、撮像装置、画素異常検出方法およびプログラムに関する。
従来、デジタルカメラ等の撮像装置において、瞳分割位相差方式によって焦点検出を行う技術が知られている（特許文献１参照）。この技術では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子の画素毎に２つの光電変換部と１つのマイクロレンズとを設け、この２つの光電変換部の各々から出力された２つの電気信号に基づいて、焦点検出を行う。
このような撮像素子は、製造時に全ての画素を正常な画素として製造することが非常に困難であり、入射光量に応じた電気信号を出力しない画素異常が発生するという問題が生じる。この問題を解決するため、撮像素子を構成する複数の光電変換部のうち、所定数の光電変換部の各々から出力される電気信号の平均値を算出し、この平均値を基準とする所定の範囲にない電気信号を出力した光電変換部を画素異常として検出する技術が知られている（特許文献２参照）。この技術では、所定数の光電変換部の各々から出力される電気信号の標準偏差を算出し、この算出した標準偏差の値に基づいて、平均値を算出するための光電変換部の数を設定する。
特開２００１−１２４９８４号公報 特開２０１４−５７１４１号公報
しかしながら、上述した特許文献２では、平均値を算出するための数を設定するために複数回の標準偏差を算出しなければならないため、処理時間が遅延することによって、リアルタイムで画素異常を検出することができなかった。
本発明は、上記に鑑みてなされたものであって、リアルタイムで画素異常を検出することができる画像処理装置、撮像装置、画素異常検出方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較部と、前記比較部が前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定部と、を備えることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記比較部は、隣接する前記単位画素の同じ位置の前記光電変換素子が出力した出力値の比率を比較することによって前記異常出力を検出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、前記比較部によって前記単位画素における前記複数の光電変換素子の各々の出力値のうち、１つの出力値が他の出力値と異なると検出された場合、該１つの出力値を出力した前記光電変換素子を第１の画素異常であると推定することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、記推定部は、前記比較部によって前記単位画素における前記複数の光電変換素子の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、該一部の出力値を出力した前記光電変換素子を前記第１の画素異常と異なる第２の画素異常であると推定することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記第２の画素異常は、ゴースト光により生じる画素異常であり、前記推定部は、前記単位画素における前記第２の画素異常の位置と他の光電変換素子の位置とに基づいて、前記ゴースト光の入射方向を推定することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記第１の画素異常は、点滅欠陥であることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、前記比較部が前記異常出力を検出した複数の前記単位画素の各々における前記複数の光電変換素子の各々が出力する出力値を用いて異常を推定することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、複数の前記単位画素の各々が前記比較部によって前記複数の光電変換素子の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、該一部の出力値を出力した前記光電変換素子を前記第１の画素異常と異なる第２の画素異常であると推定することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、異常と推定した前記光電変換素子の位置に関する位置情報を出力することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記推定部による推定の実施を指示する指示信号の入力を受け付ける入力部をさらに備え、前記推定部は、前記入力部から前記指示信号が入力された場合、前記比較部が前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定することを特徴とする。
また、本発明に係る撮像装置は、上記の撮像素子と、上記の画像処理装置と、前記撮像素子の受光面に被写体像を結像するレンズ部と、を備えることを特徴とする。
また、本発明に係る画素異常検出方法は、複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に、複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、を実行させることを特徴とする。
本発明によれば、リアルタイムで画素異常を検出することができるという効果を奏する。
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る撮像素子を含む撮像部の構成を模式的に示す断面図である。 図３は、本発明の実施の形態１に係る撮像素子の構成を模式的に示す平面図である。 図４は、本発明の実施の形態１に係る撮像素子の単位画素の構成を模式的に示す斜視図である。 図５Ａは、本発明の実施の形態１に係る撮像素子の単位画素の別の構成を模式的に示す斜視図である。 図５Ｂは、本発明の実施の形態１に係る撮像素子の単位画素の別の構成を模式的に示す斜視図である。 図５Ｃは、本発明の実施の形態１に係る撮像素子の単位画素の別の構成を模式的に示す斜視図である。 図６は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図７は、図６の画素異常検出処理の概要を示すフローチャートである。 図８は、図７の画素異常検出処理で想到する単位画素の一例を示す図である。 図９は、図７の画素異常検出処理において１つのＰＤに点滅欠陥が発生した状況を示す図である。 図１０は、図７の画素異常検出処理において単位画素に対して下方向からの入射光によりゴーストが発生している状況を示す図である。 図１１は、本発明の実施の形態２に係る異常画素判定部が実行する画素異常検出処理の概要を示す図である。 図１２は、図１１の画素異常検出処理で想到する隣接する単位画素の一例を示す図である。 図１３は、図１２の隣接する単位画素の各ＰＤの出力値を模式的に示す図である。 図１４は、本発明の実施の形態３に係る撮像装置が備える異常画素判定部が実行する画素異常検出処理の概要を示す図である。 図１５は、図１４の画素異常検出処理において各ＰＤが通常画素の状況を示す図である。 図１６は、図１４の画素異常検出処理において１つのＰＤに点滅欠陥が発生した状況を示す図である。 図１７は、図１６の画素異常検出処理において単位画素に対して下方向からの入射光によりゴーストが発生している状況を示す図である。 図１８は、図１６の画素異常検出処理において、弱いレベルのゴーストが発生している状況を示す図である。
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらに、以下の説明では、画像処理装置の一例として、撮像装置に用いられる画像処理装置を説明する。
（実施の形態１）
〔撮像装置の構成〕
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部２と、位相差画素処理部３と、画像処理部４と、外部メモリ５と、表示部６と、入力部７と、タッチパネル８と、バッテリー９と、内部メモリ１０と、バス１１と、システム制御部１２と、を備える。
撮像部２は、被写体を撮像して画像データを生成し、この生成した画像データを位相差画素処理部３およびバス１１へ出力する。撮像部２は、レンズ部２１と、絞り２２、シャッタ２３と、撮像素子２４と、を備える。
レンズ部２１は、被写体像を撮像素子２４の受光面に結像する。レンズ部２１は、複数のレンズを用いて構成され、システム制御部１２の制御のもと、被写体に対してズームまたはフォーカスを行う。
絞り２２は、システム制御部１２の制御のもと、レンズ部２１が集光した光の入射量を制限することによって露出の調整を行う。
シャッタ２３は、システム制御部１２の制御のもと、撮像素子２４の状態を露光状態または遮光状態に切り替える。シャッタ２３は、例えばフォーカルプレーンシャッタ等を用いて構成される。
撮像素子２４は、システム制御部１２の制御のもと、レンズ部２１が集光した被写体像の光束を受光して光電変換を行うことによって画像データ（電気信号）を生成して位相差画素処理部３およびバス１１へ出力する。
〔撮像素子の詳細な構成〕
ここで、上述した撮像素子２４の詳細な構成について説明する。
図２は、撮像素子２４を含む撮像部２の構成を模式的に示す断面図である。図３は、撮像素子２４の構成を模式的に示す平面図である。図４は、撮像素子２４の単位画素の構成を模式的に示す斜視図である。なお、図３において、水平方向をＨｎ（ｎ＝１以上の整数）とし、垂直方向をＶｎ（ｎ＝１以上の整数）として説明する。
図２〜図４に示すように、撮像素子２４は、複数の光電変換素子２４１を１組の単位画素Ｇ１とし、この単位画素Ｇ１を二次元マトリクス状に複数配置してなる受光部２４２と、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）のいずれか１つの光を透過するフィルタ（Ｒフィルタ、ＧフィルタおよびＢフィルタ）を単位画素Ｇ１毎に積層してなるベイヤー配列のカラーフィルタ２４３と、単位画素Ｇ１毎に設けられたマイクロレンズ２４４と、を備える。このように構成された撮像素子２４は、単位画素Ｇ１毎に、レンズ部２１の出射瞳Ｄ１、出射瞳Ｄ２、出射瞳Ｄ３（図示せず）、出射瞳Ｄ４（図示せず）および１つのマイクロレンズ２４４を透過した光束を互いに異なる受光位置の複数の光電変換素子２４１の各々で受光する。なお、図３では、撮像素子２４の一部の構成について説明したが、同様の光電変換素子分割構造は、撮像素子２４上の全領域になされており、特定領域（例えば中央領域）のみでなされているわけではない。
また、本実施の形態１では、単位画素Ｇ１を４つの光電変換素子２４１で構成していたが、これに限定されることなく、図５Ａ〜図５Ｃに示すように、単位画素Ｇ１を２つ以上の光電変換素子２４１を１組として構成するようにしてもよい。好ましくは、単位画素Ｇ１を３つ以上の光電変換素子２４１を１組として構成し、より好ましくは単位画素Ｇ１を４つ以上の光電変換素子２４１を１組として構成するようにしてもよい。この場合、図４と同様に、レンズ部２１の出射瞳は、光電変換素子２４１の数に応じて設定される。例えば、図５Ｃに示すように、３×３の９つの光電変換素子２４１で単位画素を構成する場合、レンズ部２１の出射瞳を９つに設定し、かつ、マイクロレンズ２４４を１つとする。
図１に戻り、撮像装置１の構成の説明を続ける。
位相差画素処理部３は、撮像部２が生成した画像データに基づいて、撮像部２の焦点状態を検出し、かつ、単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して異常出力を単位画素Ｇ１毎に検出する。位相差画素処理部３は、異常画素判定部３１と、焦点検出部３２と、を有する。なお、本実施の形態１では、位相差画素処理部３が画像処理装置として機能する。
異常画素判定部３１は、撮像部２が生成した画像データに基づいて、単位画素Ｇ１毎に単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して異常出力を検出し、この異常出力を検出した単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定する。異常画素判定部３１は、比較部３１１と、推定部３１２と、を有する。
比較部３１１は、単位画素Ｇ１毎に、単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して異常出力を検出する。
推定部３１２は、比較部３１１が異常出力を検出した単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定する。具体的には、比較部３１１は、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、１つの出力値が他の出力値と異なる場合、１つの出力値を出力した光電変換素子２４１を第１の画素異常として推定する。ここで、第１の画素異常とは、点滅欠陥（点滅欠陥画素）または長時間露光で発生する点滅欠陥（長時間露光で生じる点滅欠陥画素）である。また、推定部３１２は、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルである場合、この一部の出力値を出力した複数の光電変換素子２４１を第２の画素異常であると推定する。ここで、第２の画素異常とは、ゴースト光によって出力値が異常を示すことである（異常画素）。さらに、推定部３１２は、第２の画素異常に対応する光電変換素子２４１と、他の光電変換素子２４１との位置から、撮像部２に入射したゴースト光の入射方向を推定する。
焦点検出部３２は、撮像部２が生成した画像データに基づいて、撮像部２の焦点状態を検出し、この検出した結果をシステム制御部１２へ出力する。
画像処理部４は、撮像部２が生成した画像データに対して、所定の画像処理を行って表示部６または外部メモリ５へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。
外部メモリ５は、撮像装置１の外部から装着されるメモリカードを用いて構成され、図示しないメモリＩ／Ｆを介して撮像装置１に着脱自在に装着され、撮像部２が生成した画像データ（ＲＡＷデータ）や動画データ、画像処理部４が画像処理を施した画像データ（ＪＰＥＧ（Joint Photographic Experts Group）形式の圧縮データ）を記録する。また、外部メモリ５は、システム制御部１２の制御のもと、バス１１を介して記録しているプログラム、画像データおよび各種情報を出力する。
表示部６は、システム制御部１２の制御のもと、バス１１を介して入力された画像データに対応する画像や撮像装置１の各種情報を表示する。表示部６は、液晶または有機ＥＬ（Electro Luminescence）等を用いて構成される。
入力部７は、撮像装置１の各種の指示を与える。具体的には、入力部７は、撮像装置１の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。
タッチパネル８は、表示部６の表示領域に重畳して設けられ、外部からの物体が接触した接触位置を検出し、この検出した接触位置に応じた信号をバス１１へ出力する。
バッテリー９は、電池や昇圧回路を用いて構成され、撮像装置１を構成する各部に電力を供給する。
内部メモリ１０は、撮像装置１が実行する各種プログラムや処理中の各種情報を記録する。また、内部メモリ１０は、バス１１を介して撮像部２から入力される画像データ等を一時的に記録する。内部メモリ１０は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）やＦｌａｓｈメモリを用いて構成される。
バス１１は、撮像装置１の各構成部を接続する伝送路等を用いて構成され、撮像装置１の内部で発生した各種データを撮像装置１の各構成部に転送する。
システム制御部１２は、撮像装置１の各部を統括的に制御する。システム制御部１２は、ＣＰＵ（Central Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）等を用いて構成される。
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。
図６は、撮像装置１が実行する処理の概要を示すフローチャートである。図６に示すように、システム制御部１２は、撮像部２に撮像を実行させ（ステップＳ１）、撮像部２によって生成された画像データに対応するライブビュー画像を表示部６に表示させる（ステップＳ２）。
続いて、異常画素判定部３１は、撮像部２が生成した画像データに対応する画像に対して、画素異常判定を開始する（ステップＳ３）。
その後、異常画素判定部３１は、撮像部２が生成した画像データに基づいて、単位画素Ｇ１毎に単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して画素異常を検出する画素異常検出処理を実行し（ステップＳ４）、画素異常判定を終了する（ステップＳ５）。なお、画素異常検出処理の詳細については、後述する。
続いて、焦点検出部３２は、撮像部２が生成した画像データに基づいて、撮像部２の焦点状態を検出して撮像部２の焦点を合焦させる（ステップＳ６）。
その後、入力部７に対して撮影の操作があった場合（ステップＳ７：Ｙｅｓ）、システム制御部１２は、撮像部２に撮影を実行させ、画像処理部４に撮像部２が生成した画像データに対して所定の画像処理を実行させて生成させた画像データを外部メモリ５に記録する（ステップＳ８）。この場合、システム制御部１２は、異常画素判定部３１が上述したステップＳ４で検出した撮像素子２４における異常と推定された光電変換素子２４１の位置に関する位置情報（撮像素子２４における画素座標）と、画素異常の種別（例えば点滅欠陥やゴーストによる異常）と、画像データと、を対応付けて外部メモリ５に記録する。例えば、システム制御部１２は、画像データのＥｘｉｆに画素異常の位置情報と画素異常の種別とを書き込むことによって外部メモリ５に記録する。なお、システム制御部１２は、異常画素判定部３１が上述したステップＳ４で検出した撮像素子２４における異常と推定された光電変換素子２４１の位置に関する位置情報（座標）と、画素異常の種別とを内部メモリ１０に記録してもよい。
続いて、入力部７に対して終了の操作があった場合（ステップＳ９：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、入力部７に対して終了の操作がなかった場合（ステップＳ９：Ｎｏ）、撮像装置１は、上述したステップＳ１へ戻る。
ステップＳ７において、入力部７に対して撮影の操作がなかった場合（ステップＳ７：Ｎｏ）、撮像装置１は、ステップＳ９へ移行する。
〔画素異常検出処理〕
次に、上述した図６のステップＳ４の画素異常検出処理の詳細について説明する。図７は、異常画素判定部３１が実行する画素異常検出処理の概要を示すフローチャートである。なお、図７においては、図８に示すように、４つの光電変換素子２４１（以下、左上から「ＰＤ１」、「ＰＤ２」、「ＰＤ３」および「ＰＤ４」という）を１組とする単位画素Ｇ１に対して画素異常を検出する例について説明する。また、以下において、４つのＰＤ１〜ＰＤ４のうちのいずれか１つを示す場合、単に「ＰＤ」と表現して記載する。さらに、以下においては、説明の便宜状、１つの単位画素Ｇ１に対して行う画素異常検出処理について説明するが、異常画素判定部３１は、撮像素子２４を構成する全ての単位画素Ｇ１に対して同様の画素異常検出処理を行う。
図７に示すように、まず、比較部３１１は、点滅欠陥の検出を開始し（ステップＳ１０１）、撮像部２が生成した画像データに基づいて、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した出力値の比較を行い、複数の出力値のうち、いずれか１つの出力値が他の出力値よりも大きいことにより、１つのＰＤのみ異常が生じているか否かを判定する（ステップＳ１０２）。比較部３１１は、出力値の比較を行なう場合、レンズ部２１から撮像素子２４に入射される光量の特性から閾値を求めても良い。具体的には、射出瞳Ｄ１、Ｄ２の径とマイクロレンズ２４４上の結像面から前記射出瞳Ｄ１、Ｄ２までの距離で角度（射出瞳のＦｎｏ）が決まるため、事前に把握した撮像素子の特性から算出した値を用いて閾値とする。射出瞳のＦｎｏ、撮像素子２４の位置(中央部か周辺部か)によって閾値を変化させてもよい。閾値は、被写体により変化する為、ここでは倍率で規定する。一例としては、約５倍の差となる可能性がある為、輝度差の大小関係は５倍以上かどうかを閾値として、異常か否かを判断することが出来る。この閾値には、ノイズや被写体輝度を考慮した係数を考慮してもよい。被写体の輝度レベルが低い場合、ノイズの影響が大きくなることでの誤判定が懸念されるため、被写体輝度レベルに応じた係数を設定可能とする。後述に記載されるステップＳ１０５で判定するレベル差にも使用する。また、後述する実施の形態２、実施の形態３に対しても出力比較を実施する場合は、上記の判断を使用する。比較部３１１が１つのＰＤのみ異常が生じていると判定した場合（ステップＳ１０２：Ｙｅｓ）、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４のうち、他の出力値より大きい出力値を出力したＰＤを点滅欠陥と判定する（ステップＳ１０３）。具体的には、図９に示すように、推定部３１２は、ＰＤ１の出力値が他のＰＤ２〜ＰＤ４の出力値より大きい場合（ＰＤ１＞ＰＤ２，ＰＤ３，ＰＤ４）、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４のうち、他のＰＤ２〜ＰＤ４の出力値より大きい出力値を出力したＰＤ１を第１の画素異常である点滅欠陥と判定する。閾値設定として５倍となっている場合は、ＰＤ２〜ＰＤ４の最大値に対して５倍のレベル差があるかの判定を行なう。ステップＳ１０３の後、撮像装置１は、図６のメインルーチンへ戻る。
ステップＳ１０２において、比較部３１１が１つのＰＤのみ異常が生じていると判定していない場合（ステップＳ１０２：Ｎｏ）、撮像装置１は、ステップＳ１０４へ移行する。
続いて、比較部３１１は、上下左右方向のいずれかからのゴーストの検出を開始し（ステップＳ１０４）、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した複数の出力値のうち、上下ペアの２つのＰＤまたは左右ペアの２つのＰＤの各々の出力値に所定レベル以上の差が生じているか比較する（ステップＳ１０５）。比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した複数の出力値のうち、上下ペアの２つのＰＤまたは左右ペアの２つのＰＤの各々の出力値に所定レベル以上の差が生じると判定した場合（ステップＳ１０５：Ｙｅｓ）、推定部３１２は、上下からの入射光によるゴーストと判定する（ステップＳ１０６）。具体的には、推定部３１２は、図１０に示すように、下方向からの入射光によりゴーストが発生する場合において、上のペアの２つのＰＤ１とＰＤ２の平均出力値が下のペアの２つのＰＤ３とＰＤ４の平均出力値より大きいとき（(ＰＤ１＋ＰＤ２）／２＞（ＰＤ３＋ＰＤ４）／２）、下方向からの入射光によりＰＤ１およびＰＤ２にゴーストが発生した第２の画素異常と判定する。これに対して、推定部３１２は、上方向からの入射光によりゴーストが発生する場合において、下のペアの２つのＰＤ３とＰＤ４の平均出力値が上のペアの２つのＰＤ１とＰＤ２の平均出力値より大きいとき（（ＰＤ１＋ＰＤ２）／２＜（ＰＤ３＋ＰＤ４）／２）、上方向からの入射光によりＰＤ３およびＰＤ４にゴーストが発生した第２の画素異常と判定する。また、推定部３１２は、右方向からの入射光によりゴーストが発生する場合において、右のペアの２つのＰＤ２とＰＤ４の平均出力値が左のペアの２つのＰＤ１とＰＤ３の平均出力値より大きいとき（（ＰＤ２＋ＰＤ４）／２＞（ＰＤ１＋ＰＤ３）／２）、右方向からの入射光によりＰＤ２およびＰＤ４にゴーストが発生した第２の画素異常と判定する。さらに、推定部３１２は、左方向からの入射光によりゴーストが発生する場合において、左のペアの２つのＰＤ１とＰＤ３の平均出力値が右のペアの２つのＰＤ２とＰＤ４の平均出力値より大きいとき（（ＰＤ２＋ＰＤ４）／２＜（ＰＤ１＋ＰＤ３）／２）、左方向からの入射光によりＰＤ１およびＰＤ３にゴーストが発生した第２の画素異常と判定する。ステップＳ１０６の後、撮像装置１は、図６のメインルーチンへ戻る。
ステップＳ１０５において、比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した複数の出力値のうち、上下ペアの２つのＰＤまたは左右ペアの２つのＰＤの各々の出力値に所定レベル以上の差が生じていないと判定した場合（ステップＳ１０５：Ｎｏ）、撮像装置１は、ステップＳ１０７へ移行する。
残りのＰＤの出力値で差が生じていないと判定した、推定部３１２は、単位画素Ｇ１を構成するＰＤ１〜ＰＤ４の各々が通常画素と判定する（ステップＳ１０７）。ステップＳ１０７の撮像装置１は、図６のメインルーチンへ戻る。
以上説明した本発明の実施の形態１によれば、比較部３１１が単位画素Ｇ１毎に複数の光電変換素子２４１の各々の出力値を比較して異常出力を検出し、比較部３１１が異常出力を検出した単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定するので、リアルタイムで画素異常を検出することができる。
また、本発明の実施の形態１によれば、推定部３１２が比較部３１１によって単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、１つの出力値が他の出力値と異なると検出された場合、この１つの出力値を出力した光電変換素子２４１を第１の画素異常である点滅欠陥画素として検出することができる。
また、本発明の実施の形態１によれば、比較部３１１によって単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、この一部の出力値を出力した光電変換素子２４１を第２の画素異常として検出することができる。
なお、本発明の実施の形態１では、推定部３１２が撮像部２によって画像データが生成される毎に画素異常を検出していたが、例えば、入力部７から推定部３１２による推定の実施を指示する指示信号に応じて、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定してもよい。即ち、推定部３１２は、入力部７の操作に応じた画素異常検出モードの設定の有無に応じて、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定してもよい。
また、本実施の形態１では、推定部３１２が異常画素である点滅欠陥画素を検出した場合、画像処理部４が点滅欠陥画素の画素値を補正してもよい。例えば、画像処理部４は、以下の２つの補正方法にとって点滅欠陥画素の画素値を補正する。具体的には、画像処理部４は、図３において、座標がＨ５，Ｖ５のＰＤ１が点滅欠陥画素と検出された場合について行う補正方法について説明する。
補正方法１
画像処理部４は、同一単位画素内のＰＤ（図３のＰＤ２（Ｈ６，Ｖ５）、ＰＤ３（Ｈ５，Ｖ６）およびＰＤ４（Ｈ６，Ｖ６））の画素値を用いて補正する。
具体的には、画像処理部３は、点滅欠陥画素であるＰＤ１（Ｈ５，Ｖ５））の画素値を、ＰＤ２（Ｈ６，Ｖ５）の画素値、ＰＤ３（Ｈ５，Ｖ６）の画素値およびＰＤ４（Ｈ６，Ｖ６））の画素値で３点補間（画素値の平均値）することによって補正する。
補正方法２
画像処理部４は、隣り合う単位画素の同位置のＰＤの画素値で補正する。
具体的には、画像処理部３は、点滅欠陥画素であるＰＤ１（Ｈ５，Ｖ５））の画素値を、ＰＤ１（Ｈ９，Ｖ５）、ＰＤ１（Ｈ５，Ｖ１）、ＰＤ１（Ｈ１，Ｖ５）およびＰＤ１（Ｈ５，Ｖ９）の各々の画素値で上下左右補間（画素値の平均値）することによって補正する。
なお、画像処理部４は、上述した２つの補正方法を行う場合において、推定部３１２によって補正に用いる画素で点滅欠陥画素であると判定されているとき、その画素を補正に用いる画素から除外し、残りの画素の画素値を用いて補正する。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、上述した実施の形態１に係る撮像装置１と同一の構成を有し、撮像装置が備える異常画素判定部が実行する画素異常検出処理が異なる。具体的には、上述した実施の形態１では、１つの単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力する出力値を比較することによって、画素異常であるか否かを推定していたが、本実施の形態２では、隣接する単位画素間の同じ受光位置のＰＤが出力する出力値の比率を比較することによって、画素異常であるか否かを推定する。以下においては、本実施の形態２に係る撮像装置が備える異常画素判定部が実行する画素異常検出処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔画素異常検出処理〕
図１１は、本発明の実施の形態２に係る撮像装置１が備える異常画素判定部３１が実行する画素異常検出処理の概要を示すフローチャートである。なお、図１１においては、図１２に示すように、４つの光電変換素子２４１で構成される１組を単位画素Ｇ１（ＰＤ１１，ＰＤ１２，ＰＤ１３，ＰＤ１４）とし、この単位画素Ｇ１に隣接する同色のフィルタ（例えばＲフィルタ）が積層された４つの光電変換素子２４１で構成される１組を単位画素Ｇ２（ＰＤ２１，ＰＤ２２，ＰＤ２３，ＰＤ２４）とする。また、以下において、８つのＰＤ１１〜ＰＤ１４，ＰＤ２１〜ＰＤ２４のうちのいずれか１つを示す場合、単に「ＰＤ」と表現して記載する。また、図１３は、単位画素Ｇ１，Ｇ２の各ＰＤの出力値を模式的に示す図である。さらにまた、以下においては、説明の便宜状、２つの単位画素Ｇ１，Ｇ２に対して行う画素異常検出処理について説明するが、異常画素判定部３１は、撮像素子２４を構成する全ての単位画素に対して同様の画素異常検出処理を行う。
図１１に示すように、まず、比較部３１１は、点滅欠陥の検出を開始し（ステップＳ２０１）、撮像部２が生成した画像データに基づいて、隣接する単位画素Ｇ１，Ｇ２の同位置のＰＤの出力値の比率を算出する（ステップＳ２０２）。具体的には、図１２に示すように、比較部３１１は、ＰＤ１１／ＰＤ２１，ＰＤ１２／ＰＤ２２，ＰＤ１３／ＰＤ２３，ＰＤ１４／ＰＤ２４の各々の出力値の比率を算出する。具体的には、図１３に示すように、ＰＤ１１／ＰＤ２１＝１００／１０，ＰＤ１２／ＰＤ２２＝１００／１０，ＰＤ１３／ＰＤ２３＝１０００／１０，ＰＤ１４／ＰＤ２４＝１００／１０の各々の出力値の比率を算出する。
続いて、比較部３１１は、隣接する単位画素Ｇ１，Ｇ２における４つの受光位置の比率において、１つの比率だけ差異が大きいと判定した場合（ステップＳ２０３：Ｙｅｓ）、推定部３１２は、点滅欠陥と判定する（ステップＳ２０４）。この場合、推定部３１２は、比率が他の比率と異なる受光位置のＰＤを点滅欠陥と判定する。具体的には、図１２および図１３に示すように、推定部３１２は、単位画素Ｇ１および単位画素Ｇ２において、ＰＤ１３／ＰＤ２３の出力値の比率が他の比率と異なるため、ＰＤ１３およびＰＤ２３を点滅欠陥の候補として判定する。そして、比較部３１１は、単位画素Ｇ１におけるＰＤ１１〜ＰＤ１４の各々の出力値を比較する。その後、推定部３１２は、比較部３１１がＰＤ１３の出力値がＰＤ１１、ＰＤ１２およびＰＤ１４の出力値より大きいと判定した場合、ＰＤ１３を点滅欠陥が生じている第１の画素異常として判定する。一方、単位画素Ｇ１のＰＤ１１〜ＰＤ１４の出力値に差がない場合、推定部３１２は、単位画素Ｇ２に対して、同様の判定を行い、比較部３１１がＰＤ２１〜ＰＤ２４の各々の出力値を比較した結果に基づいて、ＰＤ２１〜Ｐ２４の各々の出力値のうち、出力値が大きいＰＤを点滅欠陥が生じている第１の画素異常として判定する。ステップＳ２０４の後、撮像装置１は、図６のメインルーチンへ戻る。
ステップＳ２０３において、比較部３１１が隣接する単位画素Ｇ１，Ｇ２における４つの受光位置の比率において、１つの比率だけ差異が大きくないと判定した場合（ステップＳ２０３：Ｎｏ）、推定部３１２は、単位画素Ｇ１，Ｇ２を構成する各ＰＤが通常画素と判定する（ステップＳ２０５）。ステップＳ２０５の後、撮像装置１は、図６のメインルーチンへ戻る。
以上説明した本発明の実施の形態２によれば、上述した実施の形態１と同様の効果を奏し、リアルタイムで画素異常を検出することができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態１に係る撮像装置１と同一の構成を有し、撮像装置が実行する画素異常検出処理が異なる。具体的には、本実施の形態３では、複数の単位画素で出力値のばらつきが生じているか否かを判定することによって、点滅欠陥を判定する。以下においては、本実施の形態３に係る撮像装置が実行する画素異常検出処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔画素異常検出処理〕
図１４は、本発明の実施の形態３に係る撮像装置１が備える異常画素判定部３１が実行する画素異常検出処理の概要を示すフローチャートである。なお、図１４においては、上述した図８の４つの光電変換素子２４１（以下、左上から「ＰＤ１」、「ＰＤ２」、「ＰＤ３」および「ＰＤ４」という）を１組とする単位画素Ｇ１に対して画素異常を検出する例について説明する。また、以下において、４つのＰＤ１〜ＰＤ４のうちのいずれか１つを示す場合、単に「ＰＤ」と表現して記載する。さらに、以下においては、説明の便宜状、１つの単位画素Ｇ１に対して行う画素異常検出処理について説明するが、異常画素判定部３１は、撮像素子２４を構成する全ての単位画素Ｇ１に対して同様の画素異常検出処理を行う。
図１４に示すように、まず、比較部３１１は、画素異常の検出を開始し（ステップＳ３０１）、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上であるか否かを判定する（ステップＳ３０２）。比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上であると検出した場合（ステップＳ３０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ３０４へ移行する。これに対して、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上でないと検出した場合（ステップＳ３０２：Ｎｏ）、撮像装置１は、後述するステップＳ３０３へ移行する。
ステップＳ３０３において、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が通常画素（正常画素）と判定する（ステップＳ３０３）。具体的には、図１５に示すように、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上でない場合、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が通常画素（正常画素）と判定する。ステップＳ３０３の後、撮像装置１は、図６のメインルーチンへ戻る。
ステップＳ３０４において、比較部３１１は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々の出力値を比較し、１つのＰＤのみで異常値が発生しているか否かを判定する。比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の出力値を比較し、１つのＰＤのみで異常値が発生していると判定した場合（ステップＳ３０４：Ｙｅｓ）、推定部３１２は、異常値が発生している１つのＰＤを点滅欠陥と判定する（ステップＳ３０５）。具体的には、図１６に示すように、推定部３１２は、ＰＤ１の出力値が、他のＰＤ２，ＰＤ３およびＰＤ４の各々の出力値と異なる場合、ＰＤ１を第１の画素異常である点滅欠陥と判定する。ステップＳ３０５の後、撮像装置１は、図６のメインルーチンへ戻る。
ステップＳ３０４において、比較部３１１が単位画素Ｇ１を構成する４つの光電変換素子２４１の出力値を比較し、１つのＰＤのみで異常値が発生していないと判定した場合（ステップＳ３０４：Ｎｏ）、撮像装置１は、ステップＳ３０６へ移行する。
続いて、比較部３１１は、ゴーストの検出を開始し（ステップＳ３０６）、複数の単位画素Ｇ１で２つ以上のＰＤで異常値が発生する傾向が生じているか否かを判定する（ステップＳ３０７）。具体的には、比較部３１１は、同色のフィルタが積層された複数の単位画素Ｇ１同士で、２つ以上のＰＤで異常値が発生する傾向が生じているか否かを判定する。例えば、比較部３１１は、水平、垂直ラインにおける複数の単位画素Ｇ１、内部メモリ１０の容量に応じて定まる単位画素Ｇ１の数、および予め設定された水平および垂直の2つ以上の単位画素Ｇ１の数、のいずれか１つ以上の方法で各単位画素Ｇ１で２つ以上のＰＤで異常値が発生しているか否かを判定する。比較部３１１が複数の単位画素Ｇ１で２つ以上のＰＤで異常値が発生していると判定した場合（ステップＳ３０７：Ｙｅｓ）、推定部３１２は、ゴーストが生じていると判定する（ステップＳ３０８）。具体的には、図１７に示すように、推定部３１２は、下方向からの入射光によってＰＤ１，ＰＤ２にゴーストが生じていると判定する。また、図１８に示すように、推定部３１２は、弱いレベルのゴーストが発生した際の検出精度を高めるため、２×２以上単位画素領域で、所定数以上の単位画素でゴースト（例えば１≒２＞３≒４）が生じている場合、ゴーストと判定と判定する。これにより、通常被写体と弱いレベルのゴーストとを判定することができる。ステップＳ３０８の後、撮像装置１は、図６のメインルーチンへ戻る。
ステップＳ３０７において、比較部３１１が複数の単位画素Ｇ１で２つ以上のＰＤで異常値が発生する傾向が生じていないと判定した場合（ステップＳ３０７：Ｎｏ）、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤのうち、２つ以上のＰＤで点滅欠陥が生じている連続点滅欠陥と判定する（ステップＳ３０９）。ステップＳ３０９の後、撮像装置１は、図６のメインルーチンへ戻る。
以上説明した本発明の実施の形態３によれば、上述した実施の形態１と同様の効果を奏し、リアルタイムで画素異常を検出することができる。
（その他の実施の形態）
また、本発明に係る撮像装置は、デジタルスチルカメラ以外にも、デジタルビデオカメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。
また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
１・・・撮像装置；２・・・撮像部；３・・・位相差画素処理部；４・・・画像処理部
；５・・・外部メモリ；６・・・表示部；７・・・入力部；８・・・タッチパネル；９・・・バッテリー；１０・・・内部メモリ；１１・・・バス；１２・・・システム制御部；２１・・・レンズ部；２２・・・絞り；２３・・・シャッタ；２４・・・撮像素子；３１・・・異常画素判定部；３２・・・焦点検出部；２４１・・・光電変換素子；２４２・・・受光部；２４３・・・カラーフィルタ；２４４・・・マイクロレンズ；３１１・・・比較部；３１２・・・推定部；Ｇ１，Ｇ２・・・単位画素

Claims (9)

  1. ４個以上の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記４個以上の光電変換素子の各々の出力値を比較して異常出力を検出する比較部と、
    前記比較部が前記異常出力を検出した前記単位画素における前記４個以上の光電変換素子の各々の出力値を用いて異常を推定する推定部と、
    を備え、
    前記推定部は、前記比較部によって前記単位画素における前記４個以上の光電変換素子の各々の出力値のうち、１つの出力値が他の出力値と異なり、異常出力と検出された場合、該１つの出力値を出力した前記光電変換素子を点滅欠陥による異常であると推定し、
    前記比較部が前記異常出力を検出した複数の前記単位画素の各々が前記比較部によって前記４個以上の光電変換素子の各々の出力値のうち、２個以上の出力値が他の出力値と異なるレベルであり、異常出力と検出された場合、前記２個以上の出力値を出力した前記光電変換素子をゴースト光による異常であると推定することを特徴とする画像処理装置。
  2. 前記比較部は、隣接する前記単位画素の同じ位置の前記光電変換素子が出力した出力値の比率を比較することによって前記異常出力を検出することを特徴とする請求項１に記載の画像処理装置。
  3. 前記推定部は、前記単位画素における前記ゴースト光による異常の位置と他の光電変換素子の位置とに基づいて、前記ゴースト光の入射方向を推定することを特徴とする請求項１または２に記載の画像処理装置。
  4. 前記推定部は、異常と推定した前記光電変換素子の位置に関する位置情報を出力することを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
  5. 前記推定部による推定の実施を指示する指示信号の入力を受け付ける入力部をさらに備え、
    前記推定部は、前記入力部から前記指示信号が入力された場合、前記比較部が前記異常出力を検出した前記単位画素における前記４個以上の光電変換素子の各々の出力値を用いて異常を推定することを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
  6. 前記撮像素子と、
    請求項１〜５のいずれか１つに記載の画像処理装置と、
    前記撮像素子の受光面に被写体像を結像するレンズ部と、
    を備えることを特徴とする撮像装置。
  7. ４個以上の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記４個以上の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、
    前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記４個以上の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、
    を含み、
    前記推定ステップは、前記比較ステップにおいて前記単位画素における前記４個以上の光電変換素子の各々の出力値のうち、１つの出力値が他の出力値と異なり、異常出力と検出された場合、該１つの出力値を出力した前記光電変換素子を点滅欠陥による異常であると推定し、
    前記比較ステップにおいて前記異常出力を検出した複数の前記単位画素の各々が前記比較ステップによって前記４個以上の光電変換素子の各々の出力値のうち、２個以上の出力値が他の出力値と異なるレベルであり、異常出力と検出された場合、前記２個以上の出力値を出力した前記光電変換素子をゴースト光による異常であると推定することを特徴とする画素異常検出方法。
  8. 画像処理装置に、
    ４個以上の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記４個以上の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、
    前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記４個以上の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、
    を実行させ、
    前記推定ステップは、前記比較ステップにおいて前記単位画素における前記４個以上の光電変換素子の各々の出力値のうち、１つの出力値が他の出力値と異なり、異常出力と検出された場合、該１つの出力値を出力した前記光電変換素子を点滅欠陥による異常であると推定し、
    前記比較ステップにおいて前記異常出力を検出した複数の前記単位画素の各々が前記比較ステップによって前記４個以上の光電変換素子の各々の出力値のうち、２個以上の出力値が他の出力値と異なるレベルであり、異常出力と検出された場合、前記２個以上の出力値を出力した前記光電変換素子をゴースト光による異常であると推定することを特徴とするプログラム。
  9. ４個以上の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記４個以上の光電変換素子の各々の出力値を比較して異常出力を検出する比較部と、
    前記比較部が前記異常出力を検出した前記単位画素における前記４個以上の光電変換素子の各々の出力値を用いて異常を推定する推定部と、
    を備え、
    前記推定部は、前記比較部によって複数の前記単位画素にて前記４個以上の光電変換素子の各々の出力値のうちの２個以上の出力値が異常出力と検出された場合において、異常出力を検出した複数の前記単位画素のうち、異常出力と検出された前記光電変換素子の前記単位画素内の位置の傾向が同一である単位画素が、所定数より少ないとき、点滅欠陥による異常であると推定し、所定数以上存在するとき、ゴースト光による異常であると推定することを特徴とする画像処理装置。
JP2017049741A 2017-03-15 2017-03-15 画像処理装置、撮像装置、画素異常検出方法およびプログラム Active JP6921567B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017049741A JP6921567B2 (ja) 2017-03-15 2017-03-15 画像処理装置、撮像装置、画素異常検出方法およびプログラム
PCT/JP2018/007767 WO2018168492A1 (ja) 2017-03-15 2018-03-01 画像処理装置、撮像装置、画素異常検出方法およびプログラム
US16/565,451 US10880508B2 (en) 2017-03-15 2019-09-09 Image processing apparatus, imaging apparatus, pixel-abnormality detecting method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017049741A JP6921567B2 (ja) 2017-03-15 2017-03-15 画像処理装置、撮像装置、画素異常検出方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018152829A JP2018152829A (ja) 2018-09-27
JP6921567B2 true JP6921567B2 (ja) 2021-08-18

Family

ID=63523002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017049741A Active JP6921567B2 (ja) 2017-03-15 2017-03-15 画像処理装置、撮像装置、画素異常検出方法およびプログラム

Country Status (3)

Country Link
US (1) US10880508B2 (ja)
JP (1) JP6921567B2 (ja)
WO (1) WO2018168492A1 (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625318B1 (en) * 1998-11-13 2003-09-23 Yap-Peng Tan Robust sequential approach in detecting defective pixels within an image sensor
JP5002086B2 (ja) 1999-10-28 2012-08-15 キヤノン株式会社 焦点検出装置と撮像装置
JP4035356B2 (ja) * 2002-04-10 2008-01-23 キヤノン株式会社 撮像装置およびその制御方法
JP5262953B2 (ja) * 2009-04-22 2013-08-14 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5737929B2 (ja) * 2010-12-22 2015-06-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP6259492B2 (ja) * 2011-03-24 2018-01-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP6041495B2 (ja) 2011-03-24 2016-12-07 キヤノン株式会社 撮像装置及び欠陥画素の判定方法
EP2753062A4 (en) 2011-08-30 2015-02-11 Fujifilm Corp IMAGING DEVICE AND IMAGING METHOD
WO2013069445A1 (ja) * 2011-11-11 2013-05-16 富士フイルム株式会社 立体撮像装置及び画像処理方法
JP6239820B2 (ja) * 2011-12-19 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法
TWI492621B (zh) * 2012-02-10 2015-07-11 Novatek Microelectronics Corp 適應性影像處理方法及其相關裝置
JP6222908B2 (ja) * 2012-09-11 2017-11-01 キヤノン株式会社 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
JP6225328B2 (ja) * 2013-02-18 2017-11-08 パナソニックＩｐマネジメント株式会社 欠陥画素の補正装置および補正方法
JP5802858B2 (ja) 2013-03-05 2015-11-04 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
JP6238657B2 (ja) * 2013-09-12 2017-11-29 キヤノン株式会社 画像処理装置及びその制御方法
JP5946970B2 (ja) * 2013-09-27 2016-07-06 富士フイルム株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US10880508B2 (en) 2020-12-29
US20200007803A1 (en) 2020-01-02
WO2018168492A1 (ja) 2018-09-20
JP2018152829A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
JP4957850B2 (ja) 撮像装置、警告方法、および、プログラム
JP5701785B2 (ja) カメラモジュール
JP2014139679A (ja) 撮像装置及びその合焦制御方法
JP2016102733A (ja) レンズ及び撮影装置
JP5298638B2 (ja) 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
US8922681B2 (en) Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
US9836847B2 (en) Depth estimation apparatus, imaging device, and depth estimation method
JP2016127389A (ja) 画像処理装置およびその制御方法
JP2016197177A (ja) 表示制御装置及びその制御方法、及び撮像装置
US9307168B2 (en) Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated
WO2013183378A1 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP5610106B1 (ja) 撮像装置の異物情報検出装置および異物情報検出方法
US20160065835A1 (en) Focus-detection device, method for controlling the same, and image capture apparatus
US11347978B2 (en) Image processing apparatus, image processing method, and image processing system
JP2005012479A (ja) データ処理装置、画像処理装置、カメラおよびデータ処理方法
JP2015194680A (ja) 撮像装置
WO2019202984A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP6921567B2 (ja) 画像処理装置、撮像装置、画素異常検出方法およびプログラム
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
CN108496360B (zh) 图像处理装置、图像处理方法和记录了程序的介质
JP6316140B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20180146147A1 (en) Image-capturing apparatus and control method therefor
JP2018014644A (ja) 画像処理装置及びその制御方法
JP2008147751A (ja) 撮像装置
EP4216539A2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210728

R151 Written notification of patent or utility model registration

Ref document number: 6921567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151