JP6765953B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置とその制御方法に関し、特に、撮像装置における撮像素子の欠陥画素補正技術に関するものである。

デジタルカメラ等の撮像装置に用いられる撮像素子において、画素配列を構成する複数の画素の信号電荷には、入射光に応じた光電変換に基づく信号電荷に加え、暗電流に起因する信号電荷が含まれる。そして、画素の中には、暗電流に起因する信号電荷の発生量が周辺の画素と比較して多い画素（以下「欠陥画素」という）が存在する。この欠陥画素から出力された信号をそのまま用いて画像を形成すると、画質劣化が生じる。また、画像から被写体情報を検出する場合にも、欠陥画素をそのまま用いることによって検出精度の低下が生じる。そこで、例えば、工場出荷時に撮像素子内の欠陥画素のアドレス等の情報（以下「欠陥情報」という）を不揮発性メモリに格納し、実際の撮像時には欠陥情報を参照して欠陥画素を補正することが知られている。

また、撮像装置において、各画素の光電変換領域を複数の領域に分割した撮像素子を備え、当該複数の光電変換領域毎に得られた信号の位相差を検出することでオートフォーカスの精度を向上させるという技術がある。この技術を用いた場合は、撮像素子から取得した信号に基づいて全領域の位相差情報を取得できるという利点がある。一方で、各画素に対して複数回の読み出しを行うため、単位時間あたりに読み出せるフレーム数（フレームレート）が少なくなってしまうという問題がある。これに対し、特許文献１には、位相差検出用の領域のみ１画素に対して複数回の読み出しを行い、それ以外の領域においては１画素に対して１回の読み出しを行うことでフレームレートを向上させる手法が記載されている。

特開２０１６−２１０５２

しかし、特許文献１に記載の手法では、１画素に対して複数回の読み出しを行う場合と、１画素に対して１回の読み出しを行う場合とで、読み出しタイミングが異なる（不均一となる）ため、撮像特性が変化する場合が有った。変化する撮像特性として、例えば、読み出しタイミングに依存して欠陥レベル（暗電流に起因する信号電荷量）が変わってしまう場合があった。このため、フレーム内に読み出し方法が異なる画素が存在する場合、変化する欠陥レベルに対応するために、欠陥補正に用いる欠陥情報を領域毎に変更させる必要があった。一方で、フレーム取得毎に適応的に読み出し方法が異なる領域が変更される場合に、領域の変更に応じた欠陥補情報を都度生成する処理が必要となる。しかし、近年の撮像素子が取得する動画像には、高画素数（４Ｋ、８Ｋ等）やフレームレートの向上等が強く要望がされているために、欠陥情報を生成する処理の実行は短時間に実行することが求められている。

本発明はフレーム内に存在する読み出し方法が異なる領域が変化する場合に、領域の変化に応じた欠陥補正情報の生成を簡易な処理で実行し、高画素数及び高フレームレートを実現可能な撮像装置を提供することを目的とする。

上記目的を達成するために、本発明に係る撮像装置は、焦点検出に用いる位相差信号及び画像に用いる画素信号を取得可能な撮像素子を含む撮像装置であって、前記撮像素子においてフレーム内で前記位相差信号の取得を領域毎に切り替える制御手段と、前記撮像素子から取得される画素信号に対する欠陥情報を選択し、選択した前記欠陥情報に基づいて前記画素信号を補正する補正手段と、前記欠陥情報を記憶するメモリとを備え、前記メモリが記憶する欠陥情報は少なくとも第１の欠陥情報と前記第１の欠陥情報と同形式の第２の欠陥情報を含み、前記補正手段は、取得するフレームにおける前記位相差信号を取得する領域の変化に基づいて、使用する欠陥情報を切り替えることを特徴とする。

フレーム内に存在する読み出し方法が異なる領域が変化する場合に、領域の変化に応じた欠陥補正情報の生成を簡易な処理で実行し、高画素数及び高フレームレートを実現可能な撮像装置を提供することができる。

本発明の実施形態の撮像装置のブロック図である。 欠陥画素補正部１１０の内部構成を表した図である。 撮像素子１０２の画素構成の概要を示す図である。 撮像素子１０２における１画素の回路構成を示した図である。 撮像素子１０２に対する第１の制御方法の制御タイミングを示した図である。 撮像素子１０２に対する第２の制御方法の制御タイミングを示した図である。 欠陥画素補正部１１０の閾値算出部２０３における閾値データの形式を示した図である。 第１の実施形態における、第１の駆動モードの制御方法を示した図である。 第１の実施形態における、第２の駆動モードの制御方法を示した図である。 第１の実施形態における、第３の駆動モードの制御方法を示した図である。 第１の実施形態における、第４の駆動モードの制御方法を示した図である。 第１の実施形態における欠陥画素検出処理のフローチャートである。 第１の欠陥情報の一例を示した図である。 第２の欠陥情報、第３の欠陥情報を生成するフローチャートである。 第２の欠陥情報の一例である。 第３の欠陥情報の一例である。 第１の実施形態におけるフレーム毎の欠陥画素補正のフローチャートである。 第２の実施形態における欠陥画情報生成のフローチャートである。 第５の欠陥情報の一例である。 第６の欠陥情報の一例である。 第４の欠陥情報の一例である。 第２の実施形態のフレーム毎の欠陥画素補正処理のフローチャートである。 図２２におけるステップＳ５０３における処理のフローチャートである。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成要素の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更が可能であり、本発明がそれらの例示に限定されるものではない。発明を実施するための形態としては、まず、本発明の実施形態としての撮像装置全体の構成を図１を用いて説明する。なお、本実施形態に係る撮像装置は一例として、動画像を取得するためのデジタルビデオカメラであるが、静止画も取得可能なデジタルカメラ、監視カメラ、携帯電話、車載（移動体）カメラ等においても適用可能である。

まず、本発明の実施形態に係る撮像装置における各ブロックについて図１を用いて下記に説明する。図１は、本発明の実施形態の撮像装置のブロック図である。

１０１は被写体の光学像を形成するレンズ（撮像光学系）であり、変倍に際して光軸方向に移動する変倍レンズ（ズームレンズ）と、焦点調節（合焦）に際して光軸方向に移動するフォーカスレンズとを有する。また、レンズ１０１は入射光量を制御する絞りとＮＤを備えている。

１０２はレンズ１０１が形成した光学像を電気信号に光電変換する撮像素子である。撮像素子１０２はＣＭＯＳ型イメージセンサであり、ローリングシャッター方式またはグローバルシャッタ方式で露光を行う。露光によって得られた光学像は各画素より画素信号として外部に出力される。なお、撮像素子１０２及びその動作に関しては後ほど詳述する。

１０３は撮像素子１０２が出力した画素信号に対してフレーム単位で所定の補正処理を実行する補正部と、補正部が補正したフレーム単位の画素信号に基づいて所定のフォーマットの映像信号を生成する生成部等を含む映像信号処理部である。画像処理部は、画像信号に対して任意の画像処理及び解析処理を行い各ブロックへ出力する。映像信号処理部１０３は、レンズ１０１の光学収差を補正する収差補正処理、撮像素子１０２から出力される画素信号に対して固定パターンノイズやランダムノイズを低減するためのノイズ低減処理部等が含まれる。また、画素信号に各種の補正を行った後に、映像信号に圧縮及び符号化を行うデジタル信号処理部を含む構成としてもよい。また、各信号に対して解析処理を行う解析処理部を含む構成としてもよい。この解析処理として、対象被写体（顔等）の有無を検出する被写体検出処理、被写体の動きを検出する動き検出処理、被写体の輝度を検出する輝度検出処理等が含まれる。

１０４は撮像装置全体を制御するための全体制御演算部である。全体制御演算部１０４は、各種演算と撮像装置全体を制御するＣＰＵを含む。当該ＣＰＵは、撮像装置全体を制御するために各構成要素を統括的に制御及び各種設定パラメータ等の設定を行う。また、ＣＰＵは、データを電気的に書き込み・消去可能なキャッシュメモリ等を含み、これに記録されたプログラムを実行する。なお、メモリは、システム制御ＣＰＵが実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。全体制御演算部１０４は、映像信号処理部１０３より出力される各信号の解析結果に基づいて、撮像素子１０２やレンズ１０１、不図示のストロボ等における各露出の設定値を算出する。具体的には、映像信号処理部１０３にて解析した結果に含まれる被写体の輝度に基づいて、保持されたプログラム線図を用いる。そして、撮像素子１０２に設定する露出時間、レンズ１０１に含まれる絞りのＦ値、不図示のストロボの発光量等の露出に関連したパラメータを決定する。なお、演算は映像信号処理部１０３で行うこととしたが、演算の一部または全部を全体制御演算部１０４にて行うようにしてもよい。ここでいう露出時間とは電子シャッターの実行タイミングのことであり、全体制御演算部１０４が撮像素子１０２に電荷の蓄積開始タイミングと電荷の読み出しタイミングを送ることによって制御する。また、全体制御演算部１０４は、不図示の操作部におけるメニュー設定やＡＦ枠設定などに応じて撮像素子１０２の読み出し方法（駆動モード）を変更する。

１０５はＲＡＭであり、全体制御演算部１０４の演算結果や映像信号処理部１０３の出力信号を一時的に記憶する。ＣＰＵに含まれるキャッシュメモリとは別に設けてもよし、同一としてもよい。

１０６はＲＯＭであり、欠陥情報や種々の調整値を記憶する。ＲＯＭ１０６に記憶されている各種データは起動時等の所定のタイミングで前提際禦演算部１０４の制御によりＲＡＭ１０５に展開される。

１０７はＤＶＤ、ハードディスク、不揮発性メモリなどの記録媒体である。１０８は外部Ｉ／Ｆ部であり、撮像した映像を外部のモニタやレコーダに出力したり、他の撮像装置やプレーヤ等の外部機器から映像を入力したりできる。あるいは、外部Ｉ／Ｆ部１０８を介して撮像装置はコンピュータと接続し、コンピュータとインターネットを介して必要な情報を取得することができる。より詳細には外部Ｉ／Ｆ部１０８はＵＳＢやイーサネット（登録商標）等の有線には限られず、無線ＬＡＮ等の無線通信方式を採用してもよい。

１０９は欠陥画素検出部であり、撮像素子１０２から出力された画素信号または、ＲＡＭ１０５に格納された映像信号を用いて、各信号に含まれる欠陥か否かを検出する。画素毎に検出した結果である欠陥画素データに基づいて生成される欠陥情報をＲＡＭ１０５、ＲＯＭ１０６等に記憶する。なお、欠陥画素データには、欠陥量、欠陥画素のアドレス、欠陥の種類等が含まれる。ここで、欠陥量とは主に注目画素とその周囲画素との出力差であり、周辺画素より出力が高い場合は白欠陥、低い場合は黒欠陥となる。また、欠陥画素のアドレスとは、撮像素子１０２の画素配列内の位置を表すものであり、水平座標と垂直座標を組み合わせた絶対位置形式としてもよいし、信号走査方向において欠陥画素間の相対位置（距離）のみを記憶する相対位置形式としてもよい。また、欠陥の種類とは、欠陥の原因によって決定されるものである。各欠陥画素の欠陥量はその欠陥の原因によって依存する条件（撮像条件、環境条件等）が異なる。このため、工場出荷時に複数の撮像条件で画像信号を取得し、その結果を条件毎に欠陥の種類として記憶する。ここで、複数の撮像条件で欠陥を検出するために同一アドレスの画素に複数の欠陥が検出される場合がある。この場合は、一つの欠陥画素のアドレスに対応させて複数の欠陥の種類及び欠陥量を関連付けることが望ましい。また、欠陥画素データは欠陥検出部１０９にて検出された欠陥の情報であり、後述する補正に用いるために適宜修正することが望ましい。例えば、欠陥量に関しては複数の段階に分けてグループ化して、当グループをレベルとして記憶するようにしてもよい。このように修正された欠陥画素データは本実施形態においては欠陥補正データと称する。なお、欠陥補正データと欠陥画素データに含まれる情報は同様のものとなるが、データの修正の際に追加の情報を付加したり、不要な情報を削除するようにしてもよい。なお、ＲＡＭ１０５等に記憶された欠陥情報は欠陥補正データの集合に相当する。

１１０は欠陥画素補正部であり、欠陥画素検出部１０９で検出された欠陥画素データに基づいて生成される欠陥情報を用いて、欠陥画素を補正する。より詳細には、欠陥画素補正部１１０で欠陥補正に使用するために、ＲＡＭ１０５、ＲＯＭ１０６等に記憶された欠陥情報の中から選択した欠陥補正データを使用して補正を行う。当選択は全体制御演算部１０４が撮像条件（ＩＳＯ感度や露出時間）、不図示の温度計から取得した環境温度または撮像素子１０２の温度、撮像素子１０２の駆動モード等に基づいて行う。

図２は、欠陥画素補正部１１０の内部構成を表した図である。

２０１はアドレス算出部であり、撮像素子１０２の走査順に入力される画素信号の数をカウントして、補正対象となる注目画素信号に対応するアドレス情報を生成する。

２０２はデータ選択部であり、欠陥情報をＲＡＭ１０５から読み出す。そして、全体制御演算部１０４からの制御に基づいて選択した欠陥情報の一部を欠陥補正データとして後述する補正部２０４へ渡す。

２０３は閾値算出部であり、所定の閾値を元にカメラ設定に応じて適切な閾値を算出し、後述する補正部２０４へ渡す。

２０４は補正部であり、画像信号に対して、欠陥補正データに含まれる欠陥量と閾値を比較し、比較結果として閾値を超えた欠陥量を持つ画素信号に対して周辺画素を用いて補正を行い、出力する。より具体的には、以下のような判定を行う。まず、補正部２０４に注目画素の画像信号が入力された場合に、データ選択部２０２によって注目画素における欠陥情報が補正部２０４に入力される。一方で、アドレス算出部２０１より注目画素に対するアドレスも入力される。補正部２０４はアドレス算出部２０１より入力されたアドレスに基づいて欠陥情報に含まれる対象情報（欠陥補正データ）を抽出する。対象情報には欠陥量や欠陥の種類等が含まれる。そして、閾値算出部２０３からはカメラ設定に基づいて閾値が補正部２０４に入力される。補正部２０４は対象情報に含まれる欠陥量と入力された閾値とを比較する。比較した結果欠陥量が閾値を上回っていた場合には、注目画素はの欠陥量は補正すべき量であるとみなし周辺画素を用いて補正を行う。なお、本実施形態においては欠陥補正データに含まれる欠陥量と閾値を比較したが、欠陥量ではなく、入力された画素信号の値と閾値を比較してもよいし、両方の結果を組み合わせて判定を行ってもよい。ただし、入力画素の値と閾値を比較する場合には比較処理が発生するために、短時間で処理を終了する場合には好ましくいない。したがって、要求されるフレームレート等に基づいて処理を切り替えることが好ましい。

図３は、撮像素子１０２の画素構成の概要を示す図である。実線で示した矩形は各画素の領域を示しており、各画素はＲ、Ｇ、Ｂのいずれかのカラーフィルタを備えている。カラーフィルタの配列はいわゆるベイヤー配列の画素で構成される。さらに、各画素は点線で示した部分で左右の２つの領域（領域ａ、領域ｂ）に分離されている。分離されている領域は光電変換を行う光電変換部であり、それぞれ独立に電荷を保持し、独立に画素信号を読み出すことが可能である。各画素には不図示のマイクロレンズが１つ備えられており、レンズ１０１により結像された被写体の光学像を分割して取得することとなる。言い換えればレンズ１０１の射出瞳の領域を分割することとなる。これにより、各領域から取得した画像信号同士の位相差を検出することで、被写体までの距離を算出することが可能となる。当該演算は全体制御演算部１０４が行う。また、全ての領域の電荷を換算して読み出すことで、通常の画素（分離の無い画素）と同様の画素信号を取得することも可能である。なお、画素の分離数は２に限られるものではなく、３以上でも同様であり、また分離方向も複数設けるようにしてもよい。図３は説明を簡略化するために４ｘ４画素の例を示したが、実際の撮像素子は、例えば水平４０９６ｘ垂直２１６０画素、または水平８１９２ｘ垂直４３２０画素を有する。なお、本実施形態において、撮像素子１０２から取得される各領域から取得した画像信号は位相差を検出可能な位相差信号に相当する。さらに、当該位相差は、レンズ１０１に含まれるフォーカスレンズの焦点検出及び焦点調節にも用いられる。

図４は撮像素子１０２における画素の回路構成を示した図である。

４００、４０１は光電変換部に相当するフォトダイオード（ＰＤ）であり、光電変換により入射光に比例した電荷を発生させる。図３で示したように本実施形態の撮像素子１０２は、１つの画素に２つのＰＤを含む。なお、４００は画素の左部（図３の領域ａ）、４０１は画素の右部（図３の領域ｂ）のＰＤに相当する。各ＰＤはシリコン基板上に不純物を注入することで生成されることによって生成されるが、これに限られるものではなく有機物による光電変換膜を利用した構成としてもよい。この場合は、光電変換膜とは別に電荷を保持する電荷保持部を設ける構成となる。

４０２、４０３は転送スイッチ（ＴＸ１、ＴＸ２）である。転送スイッチ４０２（ＴＸ１）は、ＰＤ４００で発生した電荷を転送する際に制御され、転送スイッチ４０３（ＴＸ２）は、ＰＤ４０１で発生した電荷を転送する際に制御される。

４０４はフローティングディフュージョン（ＦＤ）であり、ＴＸ１及びＴＸ２を制御することにより転送される各ＰＤで発生した電荷を一時的に保持する。また、ＦＤは一定の容量を持っており、これにより保持した電荷量に基づいて電圧信号を生成することが可能である。

４０５はＦＤ４０４のリセットスイッチ（ＲＥＳ）であり、ＲＥＳ４０５を制御することによって、各ＰＤ及びＦＤ４０４にたまった電荷をリセットすることが可能となる。

４０６はソースフォロアアンプ（ＳＦ）であり、ＦＤ４０４に保持された電荷に基づいて発生した電圧信号を増幅し、後段の回路へ送る。

４０７は行選択スイッチ（ＳＥＬ）であり、ＳＦ４０６からの出力信号を、後述の垂直線４０８に出力するかを制御する。

なお、画素に含まれる各スイッチ（ＴＸ１、ＴＸ２、ＲＥＳ、ＳＥＬ）は、撮像素子１０２に含まれる不図示の垂直走査回路によって制御される。垂直走査回路は撮像素子１０２に含まれる各画素を行単位で制御することで、１フレーム分の画像信号を出力する。

なお、画素に含まれる各要素は半導体基板上に構成される。そのため、半導体の結晶欠陥や不純物の混入が発生した場合に画素欠陥を引き起こすこととなる。画素欠陥が発生した場合には、当該欠陥が発生した個所の特性に依存し、入射光に比例した電荷に基づいた信号とは異なる信号を出力する。

４０８は垂直線であり、ＳＥＬ４０７で選択されたＳＦ４０６の出力を後述の列回路に出力する。本実施形態において、列回路には信号を画素から出力されたアナログ信号を増幅するための列アンプ４０９と、列アンプ４０９が増幅した信号をＡＤ変換するＡＤ変換回路４１０を含む。列回路は垂直線４０８ごとに１つあり、同列の画素で共有して使用する。

なお、ＡＤ変換回路４１０は、撮像素子１０２に含まれる不図示の制御回路からの制御（ＳＨ）タイミングに基づいて列アンプ４０９の出力信号をサンプルホールドした後に、当該サンプルホールドした信号のＡＤ変換を行う。さらに、入射光に基づく画素信号（Ｓ信号）とリセット時の画素信号（Ｎ信号）を別々のタイミングでＡＤ変換を行う。それぞれの信号は別のメモリに一時的に格納されＳ信号よりＮ信号を減算することで、画素回路のばらつき成分を除去した画素信号を得ることが可能となる。なお、列回路は垂直線４０８毎に２つ以上設けるようにしてもよいし、２本以上の垂直線４０８に対して１つの列回路を設けてもよい。

図５は撮像素子１０２に対する第１の制御方法における制御タイミングを示した図である。図５は所定行における信号読み出しタイミングを示している。また、各信号は垂直走査回路から出力され、各タイミング（時刻）によってトグルするように制御される。それぞれの信号名は対応するスイッチ及び回路に対応している。

時刻Ｔ２１では、ＳＥＬ信号をＬＯＷからＨＩＧＨに変更する。これにより、ＳＥＬ４０７が制御され導通することで、ＳＦ４０６からの信号が垂直線４０８に出力される。本タイミングにおいてはＲＥＳ信号がＨＩＧＨであるため、ＲＥＳ４０５はＯＮ状態であり、リセット電圧に基づく信号が出力される。

時刻Ｔ２２では、ＲＥＳをＨＩＧＨからＬＯＷに変更する。これにより、ＲＥＳ４０５はＯＦＦとなる。これによって、ＦＤ４０４のリセット時の電圧に基づく信号がＳＦ４０６経由で垂直線４０８に出力される。

時刻Ｔ２３では、ＳＨをＬＯＷからＨＩＧＨに、時刻Ｔ２４ではＳＨをＨＩＧＨからＬＯＷに変更する。ＳＨを一時的にＨＩＧＨとした間に、垂直線４０８に出力されている信号をＡＤ変換回路４１０内のサンプルホールド容量でサンプルホールドする。サンプルホールドされた信号はＮ信号に相当する。サンプルホールドされたＮ信号はその後ＡＤ変換回路４１０にてＡＤ変換され、その結果はメモリに保持される。

時刻Ｔ２５では、ＴＸ１及びＴＸ２をＬＯＷからＨＩＧＨに変更し、時刻Ｔ２６では、ＴＸ１及びＴＸ２をＨＩＧＨからＬＯＷに変更する。これにより、ＰＤ４００及びＰＤ４０１で発生した電荷をＦＤ４０４へ転送する。なお、本実施形態ではその説明を省略したが、図５に示す動作以前に所定のタイミングでＰＤ４００及びＰＤ４０１の電荷をリセットすることによって、所定の期間（露光期間）の電荷蓄積が可能となる。

時刻Ｔ２７では、ＳＨをＬＯＷからＨＩＧＨに変更し、時刻Ｔ２８では、ＳＨをＨＩＧＨからＬＯＷに変更することで、時刻Ｔ２３及び時刻Ｔ２４と同様に信号（この場合にはＳ信号に相当する）をＡＤ変換回路４１０にてサンプルホールドしてＡＤ変換を行う。

図５に示した動作においては、Ｎ信号にはＦＤ４０４以降の回路におけるノイズ成分がＡＤ変換され、Ｓ信号にはＰＤ４００とＰＤ４０１の信号成分及びＦＤ４０４以降の回路におけるノイズ成分の合計値が含まれる。このため、正常な画素（欠陥画素ではない画素）においては、Ｓ信号からＮ信号を減算すれば、ＰＤ４００とＰＤ４０１の信号成分のみに基づいた信号を取得することが可能である。

しかし、Ｓ信号の取得タイミングとＮ信号の取得タイミングは厳密には異なるため、この時間差によって、意図していない信号成分が減算結果に含まれてしまう場合がある。例えば、ＦＤ４０４に欠陥があって、時間とともにＦＤ４０４への電荷のリークが発生している場合が挙げられる。電荷のリークはＦＤ４０４のリセットを解除してからの時間（時刻Ｔ２２）、またはＮ信号とＳ信号を取得する時間差（時刻Ｔ２４から時刻Ｔ２８まで）に依存する。そのため、上述の減算を行っても、ＦＤ４０４への電荷のリーク分がノイズ成分として残ってしまう場合がある。

図６は撮像素子１０２に対する第２の制御方法における制御タイミングを示した図である。Ｎ信号を取得するタイミング（時刻Ｔ４）までは図５の制御方法と同様である。以下、図５に示した第１の制御方法との差であるＳ信号を取得するタイミング以降の動作に関して詳細に説明する。

時刻Ｔ５では、ＴＸ１をＬＯＷからＨＩＧＨに変更し、時刻Ｔ６では、ＳＨをＨＩＧＨからＬＯＷに変更する。これにより、ＰＤ４００で発生した電荷のみをＦＤ４０４へ転送する。

時刻Ｔ７では、ＳＨをＬＯＷからＨＩＧＨに変更し、時刻Ｔ８では、ＳＨをＨＩＧＨからＬＯＷに変更することで、ＰＤ４００で発生した電荷に基づくＳ信号（以下Ｓａ信号）をＡＤ変換回路４１０にてサンプルホールドしてＡＤ変換を行う。

時刻Ｔ９では、ＴＸ１とＴＸ２をＬＯＷからＨＩＧＨに変更し、時刻Ｔ１０では、ＴＸ１とＴＸ２をＨＩＧＨからＬＯＷに変更する。これにより、ＰＤ４００とＰＤ４０１で発生した電荷をＦＤ４０４へ転送する。

時刻Ｔ１１では、ＳＨをＬＯＷからＨＩＧＨに変更し、時刻Ｔ１２では、ＳＨをＨＩＧＨからＬＯＷに変更することで、ＰＤ４００とＰＤ４０１で発生した電荷に基づくＳ信号（以下Ｓａｂ信号）をＡＤ変換回路４１０にてサンプルホールドしてＡＤ変換を行う。

図６に示した動作においては、第１の制御方法と同様にＮ信号にはＦＤ４０４以降の回路におけるノイズ成分がＡＤ変換され、Ｓａｂ信号にはＰＤ４００とＰＤ４０１の信号成分及びＦＤ４０４以降の回路におけるノイズ成分の合計値が含まれる。このため、正常な画素（欠陥画素ではない画素）においては、Ｓａｂ信号からＮ信号を減算すれば、ＰＤ４００とＰＤ４０１の信号成分のみに基づいた信号を取得することが可能である。

しかし、ＦＤ４０４に欠陥があり、時間経過とともにＦＤ４０４への電荷のリークが発生している場合は、上述の減算を行っても、ＦＤ４０４への電荷のリーク分がノイズ成分として残ってしまい、欠陥画素として読み出される場合がある。電荷のリーク量は、蓄積時間に比例することから、時刻Ｔ４から時刻Ｔ１２までの時間の長さに比例することとなる。図５と図６より分かるように第１の制御方法におけるＮ信号とＳ信号の取得時間差は、第２の制御方法におけるＮ信号とＳａｂ信号の取得時間差よりも小さい。したがって、第２の制御方法においては第１の制御方法よりも電荷のリークの影響を受けやすいと言える。なお、ここでは電荷のリークの影響を取得時間差に関連して説明したが、電荷のリークは熱励起でも発生することは明らかであり、その影響は撮像素子１０２の温度等によって変化する。

図７は欠陥画素補正部１１０の閾値算出部２０３における閾値データの形式を示した図である。示した閾値データは欠陥画素の種類と閾値の２つの要素を有している。例えば、ＰＤ起因の欠陥画素Ｋ１に対しては閾値ＴＨ１、ＦＤ起因の欠陥画素Ｋ２に対しては閾値ＴＨ２を持つ。欠陥画素補正部１１０において、欠陥補正データの種類がＫ１であるものに対しては、欠陥補正データのレベル情報が閾値ＴＨ１を超えているもののみを補正対象とする。一方で、欠陥画素補正部１１０において、欠陥補正データの種類がＫ２であるものに対しては、欠陥補正データのレベル情報が閾値ＴＨ２を超えているもののみを補正対象とする。閾値ＴＨ１、閾値ＴＨ２はカメラ設定に応じて、値を変更して用いる。たとえば、シャッタースピード（露光時間）やゲインや温度に応じて、適切な閾値を算出し、補正に用いる。

（第１の実施形態）
第１の実施形態では、撮像素子の駆動モードに応じて、欠陥補正データと閾値を変更する例を示す。

図８は第１の実施形態における第１の駆動モードの制御方法を示した図である。第１の駆動モードでは、加算及び間引き動作は行わず、全行に対して図５で示した第１の制御方法で画素の読み出しを行う。このため、注目画素であるアドレス（Ｘ１、Ｙ１）〜（Ｘ１０、、Ｙ１０）の画素については、全て第１の制御方法を用いて読み出しが行われる。

図９は第１の実施形態における第２の駆動モードの制御方法を示した図である。第２の駆動モードでは、加算及び間引き動作は行わず、フレーム全体に含まれる全行に対して図６で示した第２の制御方法で画素の読み出しを行う。このため、注目画素であるアドレス（Ｘ１、Ｙ１）〜（Ｘ１０、、Ｙ１０）の画素については、全て第２の制御方法を用いて読み出しが行われる。

図１０は第１の実施形態における第３の駆動モードの制御方法を示した図である。第３の駆動モードでは、第１の制御方法での読み出しと、第２の制御方法での読み出しを数行単位で交互に行う。このため、注目画素であるアドレス（Ｘ１、Ｙ１）（Ｘ３、、Ｙ３）（Ｘ５、、Ｙ５）（Ｘ７、Ｙ７）（Ｘ９、Ｙ９）の画素は第２の制御方法で読み出さる。一方で、注目画素であるアドレス（Ｘ２、Ｙ２）（Ｘ４、Ｙ４）（Ｘ６、Ｙ６）（Ｘ８、Ｙ８）（Ｘ１０、Ｙ１０）の画素は第１の制御方法で読みだされる。

図１１は第１の実施形態における第４の駆動モードの制御方法を示した図である。第４の駆動モードでは、中央付近の領域（例えば複数行）を第２の制御方法で読み出し、その上部と下部の行を第１の制御方法で読み出す。このため、注目画素であるアドレス（Ｘ１、Ｙ１）（Ｘ２、Ｙ２）（Ｘ８、Ｙ８）（Ｘ９、Ｙ９）（Ｘ１０、Ｙ１０）の画素は第１の制御方法で読み出される。一方で、このため、注目画素であるアドレス（Ｘ３、Ｙ３）（Ｘ４、Ｙ４）（Ｘ５、Ｙ５）（Ｘ６、Ｙ６）（Ｘ７、Ｙ７）の画素は第２の制御方法で読みだされる。

第２の駆動モードは第１の駆動モードと比較して、各画素から読み出す信号量が多いために、第１の駆動モードに比べてフレームレートは低下してしまう。しかし、全ての画素において位相差を検出することが可能となる。また、第３の駆動モードと第４の駆動モードは第２の駆動モードと比較して、各画素から読み出す信号量が少ないために、第２の駆動モードに比べてフレームレートを向上させることが可能となる。なお、第３の駆動モード及び第４際には適宜垂直または水平方向に対して加算または間引きを行う動作を組み合わせてされにフレームレートを向上させるようにしてもよい。

図１２は、第１の実施形態における欠陥画素検出処理のフローチャートである。本処理は全体制御演算部１０４が欠陥画素検出部１０９等を制御して行う。

ステップＳ１００において、全体制御演算部１０４は、撮像素子１０２を第２の駆動モードに制御するように各種設定パラメータ変更する。そして、処理をステップＳ１０１に進める。なお、本制御は不図示の操作部材等によってユーザーからの入力や所定の動作指示に連動して行うようにしてもよいし、外部Ｉ／Ｆ部１０８経由で受け付ける外部からの指示に基づいて行うようにしてもよい。

ステップＳ１０１において、全体制御演算部１０４は、第２の駆動モードで動作する撮像素子１０２から出力される画素信号を、欠陥画素検出部１０９に入力する。そして、所定の閾値を用いて欠陥画素を検出し第１の欠陥情報を生成する。そして、処理をステップＳ１０２に進める。なお、欠陥画素の検出は暗あるいは明の一様面を撮像した結果を取得し、隣接画素との出力差によって検出する動作が一般的である。

ステップＳ１０３において、全体制御演算部１０４は、撮像素子１０２をステップＳ１００にて第２の駆動モードに制御する前の駆動モードに戻すように各種設定パラメータ変更する。そして、処理を終了する。

なお、ステップＳ１０１での欠陥画素の検出においては、検出するための画素信号を取得する際にＰＤやＦＤ起因の欠陥画素がそれぞれ検出しやすいように、露光時間、ゲイン、温度、撮像素子の制御方法などの検出条件を変更してもよい。例えば、ＰＤ起因の欠陥画素を検出する場合は、露光時間を長くしたり、ＦＤ起因の欠陥画素を検出する場合は、転送スイッチ４０２、転送スイッチ４０３をＯＦＦ（非導通状態）するなどして欠陥画素を検出しやすい状態にする。さらに、上記のように特定の検出条件で検出した欠陥画素に対しては特定の欠陥の種類を割り当てる。本実施形態において、露光時間を長めに設定した検出条件で検出された欠陥画素はＰＤ起因の欠陥画素とみなし、欠陥の種類としてＫ１を付す。さらに、転送スイッチ４０３をＯＦＦとした検出条件で検出された欠陥画素はＦＤ起因の欠陥画素とみなし、欠陥の種類としてＫ２を付す。

図１３は、第１の欠陥情報の一例を示した図である。第１の欠陥情報はアドレス、レベル、種類の３つの要素で構成されてる。アドレスは、画像における欠陥画素の座標情報であり、水平アドレスと垂直アドレスの２次元アドレスを用いてもよいし、画像の左上から数えた画素数の相対値である１次元アドレスを用いてもよい。レベルは、欠陥量に相当し、周囲画素のメディアン値もしくは平均値と、着目画素のレベル差の情報である。第１の欠陥情報では、第２の駆動モードで読み出しを行った場合のレベルを記憶する。種類は、欠陥画素の種類であり、どのような特性を持った欠陥であるかといった情報を記憶する。例えば、周囲画素に対してレベルが大きい場合を白キズとし、小さい場合は黒キズとする場合等が挙げられる。また、得られた第１の欠陥情報は所定の形式でＲＡＭ１０５、ＲＯＭ１０６に記憶される。

図１４は、第２の欠陥情報、第３の欠陥情報を生成するフローチャートである。本フローチャートの処理も全体制御演算部１０４が行う。

ステップＳ２００において、全体制御演算部１０４は、第１の欠陥情報から第２の欠陥情報を生成する。そして、処理をステップＳ２１０に進める。図１５に、第２の欠陥情報の一例を示す。第２の欠陥情報は、第１の欠陥情報同様、アドレス、レベル、種類から構成されている。そして、データ数も第１の欠陥情報と同じである。第２の欠陥情報のアドレスと種類には、第１の欠陥情報のアドレスと種類と同じ情報を格納する。そして、第２の欠陥情報のレベルのうち、種類がＰＤ起因の欠陥画素を表すＫ１であるものについては、第１の欠陥情報と同じ値を格納する。一方で、第２の欠陥情報のレベルのうち、種類がＦＤ起因の欠陥画素を表すＫ２であり、且つ第３の駆動モードにおいて第１の制御方法を用いたラインに該当するアドレスの画素に対しては、第１の欠陥情報のレベルに係数αを乗算した値を格納する。ここで、係数αは第２の制御方法を用いた際のＦＤ４０４における欠陥画素のレベルに対する、第１の制御方法を用いた際のＦＤ４０４における欠陥画素のレベルの比を示す。例えば（時刻Ｔ２８−時刻Ｔ２４）／（時刻Ｔ１２−時刻Ｔ４）で求めることができる。図１０においては、アドレス（Ｘ１、Ｙ１）（Ｘ３、Ｙ３）（Ｘ５、Ｙ５）（Ｘ７、Ｙ７）（Ｘ９、Ｙ９）の画素が該当する。また、第２の欠陥情報のレベルのうち、種類がＦＤ起因の欠陥画素を表すＫ２であり、且つアドレスが第３の駆動モードにおいて第２の制御方法を用いたラインに該当するアドレスの画素に対しては、第１の欠陥情報のレベルと同じ値を格納する。図１０においては、アドレス（Ｘ２、Ｙ２）（Ｘ４、Ｙ４）（Ｘ６、Ｙ６）（Ｘ８、Ｙ８）（Ｘ１０、Ｙ１０）の画素が該当する。

ステップＳ２０１において、全体制御演算部１０４は、第１の欠陥情報から第３の欠陥情報を生成する。そして、処理を終了する。図１６に、第３の欠陥情報の一例を示す。第３の欠陥情報は、第１の欠陥情報同様、アドレス、レベル、種類から構成されている。そして、データ数も第１の欠陥情報と同じである。第３の欠陥情報のアドレスと種類には、第１の欠陥情報のアドレスと種類と同じ情報を格納する。そして、第３の欠陥情報のレベルのうち、種類がＰＤ起因の欠陥画素を表すＫ１であるものについては、第１の欠陥情報と同じ値を格納する。一方で、第３の欠陥情報のレベルのうち、種類がＦＤ起因の欠陥画素を表すＫ２であり、且つアドレスが第４の駆動モードにおいて第１の制御方法を用いたラインに該当するアドレスの画素に対しては、第１の欠陥情報のレベルに係数αを乗算した値を格納する。ここで、係数αは第２の欠陥情報を生成する際に用いた値と同じ値を用いるが、必ずしも同じ値でなくてもよい。図１１においては、アドレス（Ｘ１、Ｙ１）（Ｘ２、Ｙ２）（Ｘ８、Ｙ８）（Ｘ９、Ｙ９）（Ｘ１０、Ｙ１０）の画素が該当する。また、第３の欠陥情報のレベルのうち、種類がＦＤ起因の欠陥画素を表すＫ２であり、且つアドレスが第４の駆動モードにおいて第２の制御方法を用いたラインに該当するアドレスの画素に対しては、第１の欠陥情報のレベルと同じ値を格納する。図１１においては、アドレス（Ｘ３、Ｙ３）（Ｘ４、Ｙ４）（Ｘ５、Ｙ５）（Ｘ６、Ｙ６）（Ｘ７、Ｙ７）の画素が該当する。

なお、第２の欠陥情報、第３の欠陥情報の生成は起動する度に毎回行ってもよいし、撮像装置の製造工程調整時に１回だけ行ってもよい。調整時に行う場合は、ＲＡＭ１０５に生成されたデータをＲＯＭ１０６に格納することで、次回以降は起動時にＲＯＭ１０６のデータをＲＡＭ１０５に展開するだけで、生成した欠陥情報を欠陥画素補正部１１０に用いることができる。

図１７は、第１の実施形態における１フレーム内における欠陥画素補正のフローチャートである。本処理は全体制御演算部１０４が欠陥画素補正部１１０等を制御して行う。

ステップＳ３００において、全体制御演算部１０４は、現在設定されている駆動モードが第３の駆動モードかどうかを判定する。第３の駆動モードであると判定された場合は処理をステップＳ３０３へ進め、そうでないと判定された場合は処理をステップＳ３０１へ進める。

ステップＳ３０３において、全体制御演算部１０４は、第２の欠陥情報に基づく欠陥補正データを用いて補正を行う。より詳細には、第２の欠陥情報に基づく欠陥補正データと第１の補正閾値で欠陥画素補正を行う。そして処理を終了する。

ステップＳ３０１において、全体制御演算部１０４は、現在設定されている駆動モードが第４の駆動モードかどうかを判定する。第４の駆動モードであると判定された場合は処理をステップＳ３０４へ進め、そうでないと判定された場合は処理をステップＳ３０２へ進める。

ステップＳ３０４において、全体制御演算部１０４は、第３の欠陥情報に基づく欠陥補正データを用いて補正を行う。より詳細には第３の欠陥情報に基づく欠陥補正データと第１の補正閾値で欠陥画素補正を行う。そして処理を終了する。

ステップＳ３０２において、全体制御演算部１０４は、現在設定されている駆動モードが第２の駆動モードかどうかを判定する。第２の駆動モードであると判定された場合は処理をステップＳ３０５に進め、そうでないと判定された場合は処理をステップＳ３０６へ進める。

ステップＳ３０５において、全体制御演算部１０４は、第１の欠陥情報に基づく欠陥補正データを用いて補正を行う。より詳細には第１の欠陥情報に基づく欠陥補正データと第１の補正閾値で欠陥画素補正を行う。そして処理を終了する。

ステップＳ３０６において、全体制御演算部１０４は、第１の欠陥情報に基づく欠陥補正データを用いて補正を行う。より詳細には、第１の欠陥情報に基づく欠陥補正データと第２の補正閾値で欠陥画素補正を行う。ここで、第２の補正閾値は、第１の補正閾値に前述の係数αの逆数を乗算した値とする。

以上、説明したように、第１の実施形態においては、撮像素子の駆動モードに応じて補正に用いる欠陥情報と補正閾値を切り替える。これにより、ライン毎に画素の読み出し方法が変更された場合にも、適切な欠陥画素補正を行うことが可能となる。より詳細には、第１の実施形態では、各欠陥補正データに含まれる情報（アドレス、レベル、種類等）及びデータ量（欠陥画素の個数等）を含むデータ形式は同形式であり一致する。そのため、ＲＡＭ１０５上のデータ配列をそろえておけば、駆動モードが変更されたときに、欠陥情報の先頭アドレス、もしくは補正閾値を変更するだけ切換え可能である。そのため、短時間で処理が可能である。したがって、位相差を取得する領域がフレーム単位で変更されたとしても、フレームレート等の低下を引き起こすことなく高画素の映像を出力することが可能となる。また、欠陥情報のみではなく、判定用の閾値を切り替えることで、撮像素子の駆動モードの数より少ない数でよいため、データ容量増大が抑制できる。

（第２の実施形態）
第２の実施形態では、３つの欠陥情報を用いて、複数の駆動モードに対応する例を示す。なお、第２の実施形態における欠陥画素の検出処理は、第１の実施形態における方法と同様であるため、その説明を省略する。

図１８は、第２の実施形態における欠陥情報生成のフローチャートを示している。本処理は全体制御演算部１０４が行う。

ステップＳ４００において、全体制御演算部１０４は、第１の欠陥情報から第５の欠陥情報を生成する。そして、処理をステップＳ４０１に進める。図１９に、第５の欠陥情報の一例を示す。

第５の欠陥情報はアドレス、レベル、種類の３つの要素で構成されている。そして、データ数も第１の欠陥情報と同じである。第５の欠陥情報のアドレス、種類には、第１の欠陥情報のアドレス、種類と同じデータを格納する。そして、第５の欠陥情報のレベルのうち、種類がＫ１であるのものについては、第１の欠陥情報と同じ値を格納する。一方で、第５の欠陥情報のレベルのうち、種類がＫ２のものについては、初期値Ｌｉｎｉｔ（例えば４０９５）を格納する。第５の欠陥情報に含まれるアドレス（Ｘ１、Ｙ１、Ｌｉｎｉｔ、Ｋ２）からアドレス（Ｘ１０、Ｙ１０、Ｌ１０、Ｋ１）に対応する欠陥補正データまで、ＲＡＭ１０５上のアドレスＤ１＿１からＤ１＿１０にそれぞれ処理を行い格納する。

ステップＳ４０１において、全体制御演算部１０４は、第１の欠陥情報から第６の欠陥情報を生成する。そして、処理をステップＳ４０２に進める。図２０に、第６の欠陥情報の一例を示す。第６の欠陥情報は格納されるＲＡＭ１０５上のアドレスは異なるが、データとしては第５の欠陥情報と同じであり、生成方法も前述の方法と同様である。この第６の欠陥情報に含まれるアドレス（Ｘ１、Ｙ１、Ｌｉｎｉｔ、Ｋ２）からアドレス（Ｘ１０、Ｙ１０、Ｌ１０、Ｋ１）に対応する欠陥補正データまで、ＲＡＭ１０５上のアドレスＤ２＿１からＤ２＿１０にそれぞれ格納する。

ステップＳ４０２において、全体制御演算部１０４は、第１の欠陥情報から第４の欠陥情報を生成する。そして、処理を終了する。図２１に、第４の欠陥情報の一例を示す。第４の欠陥情報は垂直アドレス、第１のレベル、第２のレベル、第１のＲＡＭアドレス、第２のＲＡＭアドレス、の５つの要素で構成されておいる。そして、データ数は第１の欠陥情報のうち、種類がＫ２であるものの数と同じである。ここで、垂直アドレスには、第１の欠陥情報において、種類がＫ２であるデータのアドレスの情報から、垂直方向（Ｙ方向）のアドレス情報のみを抽出して格納する。第１のレベルには、第１の欠陥情報において種類がＫ２であるデータにおけるレベルの情報をアドレス情報と対応させて格納する。第２のレベルには、格納した第１のレベルに対応して第１のレベルに係数α（例えば１／２）を乗算した値を格納する。第１のＲＡＭアドレスには、第５の欠陥情報のうち、対応するデータのレベルが格納されているＲＡＭ１０５上のアドレスを格納する。例えば、Ｄ１＿１、Ｄ１＿２等が相当する。第２のＲＡＭアドレスは、第６の欠陥情報のうち、対応するデータのレベルが格納されているＲＡＭ１０５上のアドレスを格納する。例えば、Ｄ２＿１、Ｄ２＿２等が相当する。

なお、本実施形態における図１８に記載のフローチャートの処理は、任意のタイミングで実行してよい。例えば、は第４の欠陥情報、第５の欠陥情報、第６の欠陥情報の生成は起動する度に毎回行ってもよいし、工程調整時に１回だけ行ってもよい。工程調整時に行う場合は、ＲＡＭ１０５に生成されたデータをＲＯＭ１０６に格納することで、次回以降は起動時にＲＯＭ１０６のデータをＲＡＭ１０５に展開するだけで、生成したデータを欠陥画素補正部１１０に用いることができる。また、ユーザー等の指示によって後発欠陥を検出するための処理と合わせて行うようにしてもよい。

図２２は、第２の実施形態のフレーム毎の欠陥画素補正の処理に関するフローチャートである。本処理は全体制御演算部１０４及び、全体制御演算部１０４によって制御された欠陥画素補正部１１０等が行う。

ステップＳ５００において、全体制御演算部１０４は、ユーザー等により撮像処理の開始が開指示されると、撮像素子１０２を駆動するための駆動モードを決定する。そして、処理をステップＳ５０１に進める。

ここで、駆動モードは第１の実施形態に示した駆動モードと同様のものの中からいずれか駆動モードを決定する。しかし、本実施形態においてそれ以外の駆動モードを用いるようにしてもよい。例えば、第３の駆動モードにおいて、第２の制御方法で制御される行を変更してもよいし、第４の駆動モードにおいて第２の制御方法で制御される領域を変更してもよい。ここで、本ステップで決定された駆動モードに対応するパラメータは全体制御演算部１０４から撮像素子１０２に設定される。撮像素子１０２は設定されたパラメータ等に基づいて所定の周期（３０ｆｐｓや６０ｆｐｓ等）で画素信号の出力を開始する。なお、本ステップにおいては記録媒体１０７への記録や不図示の表示装置への表示は行っていない。

ステップＳ５０１において、全体制御演算部１０４は、ステップＳ５００にて決定された駆動モードに対応する欠陥情報をＲＡＭ１０５上に格納された欠陥情報の中から選択する。そして、処理をステップＳ５０２に進める。

ステップＳ５０２において、全体制御演算部１０４は、撮像を開始するように各ブロックの制御を行う。そして、処理をステップＳ５０３に進める。本実施形態において、撮像とは撮像素子１０２から出力される画素信号を何らかの形態でユーザーに提供する行為に相当する。例えば、記録媒体１０７に画素信号に基づく画像を記録する動作や不図示の表示装置に画像を表示する動作等が挙げられる。

ステップＳ５０３において、全体制御演算部１０４は、ステップＳ５０２で開始された撮像動作を継続する中で、適宜次のフレーム用の欠陥情報を修正する。本ステップにおける欠陥情報の修正方法の詳細は図２３を用いて後述する。そして、処理をステップＳ５０４に進め、撮像が終了するまでステップＳ５０３の動作を繰り返す。全体制御演算部１０４は、ユーザー等の指示により撮像動作の終了し指示が有ったことを検出した場合に、本フローチャートの処理を終了する。

図２３は図２２におけるステップＳ５０３における欠陥情報を修正するための処理のフローチャートである。なお、本処理は全体制御演算部１０４が行う。ステップＳ５０３において、欠陥情報を修正する必要がる場合は、主に第２の制御方法を用いるラインが変更された場合である。例えば被写体を追尾する際には被写体の移動に合わせて位相差を取得するため、取得するフレーム毎にラインを変更することが好ましい。このような場合には第２の制御方法を用いるラインの変更は全体制御演算部１０４が行うため、当変更処理に合わせて欠陥情報の修正を行うこととなる。

ステップＳ７００において、全体制御演算部１０４は、第４の欠陥画素データの一つ（例えば先頭のデータ）を選択する。そして処理をステップＳ７０１に進める。

ステップＳ７０１において、全体制御演算部１０４は、ステップＳ７００等で選択した第４の欠陥画素データに格納されている垂直アドレスが、次のフレームで第２の制御方法を用いるラインであるかどうかを判定する。そして、垂直アドレスが次のフレームで第２の制御方法を用いるラインである場合はステップＳ７０２へ、用いるラインでない場合はステップＳ７０３へ処理を進める。

ステップＳ７０２において、全体制御演算部１０４は、第５の欠陥情報が欠陥画素補正部１１０に使うデータとして選択されているかどうかを判定する。第５の欠陥情報が欠陥画素補正部１１０に使うデータとして選択されている場合は、ステップＳ７０４へ、そうでない場合は、ステップＳ７０５へ処理を進める。

ステップＳ７０３において、全体制御演算部１０４は、第５の欠陥情報が欠陥画素補正部１１０に使うデータとして選択されているかどうかを判定する。第５の欠陥情報が欠陥画素補正部１１０に使うデータとして選択されている場合は、ステップＳ７０６へ、そうでない場合は、ステップＳ７０７へ処理を進める。

ステップＳ７０４において、全体制御演算部１０４は、第４の欠陥情報の第１のレベルを、選択されていない第６の欠陥情報に格納する。より詳細には、対応する第２のＲＡＭアドレスに欠陥情報のレベルを書き込む。そして、ステップＳ７０８に進める。

ステップＳ７０５において、全体制御演算部１０４は、第４の欠陥情報の第１のレベルを、選択されていない第５の欠陥情報に格納する。より詳細には、対応する第１のＲＡＭアドレスに欠陥情報のレベルを書き込む。そして、ステップＳ７０８に進める。

ステップＳ７０６において、全体制御演算部１０４は、第４の欠陥情報の第２のレベルを、選択されていない第６の欠陥情報に格納する。より詳細には、対応する第２のＲＡＭアドレスに欠陥情報のレベルを書き込む。そして、ステップＳ７０８に進める。

ステップＳ７０７において、全体制御演算部１０４は、第４の欠陥情報の第２のレベルを、選択されていない第５の欠陥情報に格納する。より詳細には、対応する第１のＲＡＭアドレスに欠陥情報のレベルを書き込む。そして、ステップＳ７０８に進める。

ステップＳ７０８において、全体制御演算部１０４は、第４の欠陥情報の全てを処理済みであるかどうかを判定する。第４の欠陥情報の全てを処理済みであった場合は、処理を終了し、そうでない場合は、ステップＳ７０９へ処理を進める。

ステップＳ７０９において、全体制御演算部１０４は、第４の欠陥情報のうち、処理していないデータを選択し、ステップＳ７０１へ処理を戻す。

以上、説明したように、第２の実施形態においては、二つの欠陥情報を用意し使用していない欠陥情報を適宜修正している。このことによって、第２の制御方法を適用したラインがフレーム毎に任意のラインに切り替わった場合でも、適切な欠陥画素補正を行うことが可能となる。特に、第２の実施形態では、欠陥情報を切り替える処理、と最小限のデータを書き換える処理だけで済むため、所定の時間内で処理が可能となる。特に各フレームの垂直画素数が４０００画素以上のいわゆる８Ｋフォーマットの動画像、又はＦｕｌｌＨＤフォーマット動画において、フレームレートが１２０ｆｐｓ以上の動画像を取得する際に好適である。また、第１の制御方法と第２の制御方法をそれぞれどのラインに適用された場合においても、第４の欠陥情報、第５の欠陥情報、第６の欠陥情報のみを用いて、すべての組み合わせを補正することが可能であり、データ量の増大も抑制できる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

なお、本実施形態として、時間経過とともにＦＤ４０４への電荷のリークが発生している場合において、例示したがこれに限られるものではない。例えば、欠陥の種類としては、撮像素子ないの読み出し動作の変更に複数の垂直線を切り替える場合や、一つの画素からの読み出しタイミングが異なる場合等が挙げられる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ レンズ
１０２ 撮像素子
１０３ 映像信号処理部
１０４ 全体制御演算部
１０５ ＲＡＭ
１０６ ＲＯＭ
１０８ 外部Ｉ／Ｆ部
１０９ 欠陥画素検出部
１１０ 欠陥画素補正部
２０３ 閾値算出部
２０４ 補正部
４００ ＰＤ
４０１ ＰＤ
４０２ 転送スイッチ
４０３ 転送スイッチ
４０４ ＦＤ
４０５ リセットスイッチ
４０６ ソースフォロアアンプ
４０７ 行選択スイッチ
４０８ 垂直線
４０９ 列アンプ

Claims (7)

1. 焦点検出に用いる位相差信号及び画像に用いる画素信号を取得可能な撮像素子を含む撮像装置であって、
   前記撮像素子においてフレーム内で前記位相差信号の取得を領域毎に切り替える制御手段と、
   前記撮像素子から取得される画素信号に対する欠陥情報を選択し、選択した前記欠陥情報に基づいて前記画素信号を補正する補正手段と、
   前記欠陥情報を記憶するメモリとを備え、
   前記メモリが記憶する欠陥情報は少なくとも第１の欠陥情報と前記第１の欠陥情報と同形式の第２の欠陥情報を含み、
   前記補正手段は、取得するフレームにおける前記位相差信号を取得する領域の変化に基づいて、使用する欠陥情報を切り替えることを特徴とする撮像装置。
2. 前記制御手段は、前記フレーム内で前記位相差信号を取得する領域において、前記撮像素子から取得される画素信号よりも前に、前記位相差信号を取得するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は少なくとも第１の駆動モードと前記第１の駆動モードと前記位相差信号を取得する領域の異なる第２の駆動モードを含み、
   前記補正手段は、取得するフレームにおいて前記制御手段によって前記第１の駆動モードで制御されている場合には前記第１の欠陥情報を用い、前記第２の駆動モードで制御されている場合には前記第２の欠陥情報を用いることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記欠陥情報には、欠陥画素のアドレス、レベル、種類の情報を含み、
   前記第１の欠陥情報と前記第２の欠陥情報は少なくとも前記レベルにおいて異なる情報を含むことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記メモリに記憶されている第３の欠陥情報に基づいて、前記第１の欠陥情報または前記第２の欠陥情報の少なくとも一部を演算する演算手段を更に備え、
   前記演算手段は前記欠陥情報に含まれる種類に基づいて演算を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記第３の欠陥情報はフレーム全体から前記位相差信号を取得した場合の欠陥情報に相当することを特徴とする請求項５に記載の撮像装置。
7. 前記画像は垂直画素数が４０００画素以上、またはフレームレートが１２０ｆｐｓ以上である動画像であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

Images