JP4898637B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像素子を用いた撮像装置及びその制御方法に関するものである。

近年、デジタルカメラ、ビデオカメラなどの撮像装置において、従来のＣＣＤ型撮像素子に代わって、ＣＭＯＳ型撮像素子を搭載する撮像装置が増えてきている。ＣＭＯＳ型撮像素子は、フォトダイオードにより得られた光電荷を、フォトダイオードに隣接した位置に形成されたフローティングディフュージョンアンプ（以後、ＦＤアンプと略記）により電圧信号に変換する。ＣＭＯＳ型撮像素子は、ＦＤアンプで得られた画素電圧を、垂直走査回路により生成される行選択信号により所定の水平行単位で内部配線（垂直信号線）を経由して読み出し、水平走査回路により生成される水平駆動信号により順次読み出す。このような動きを行うＣＭＯＳ型撮像素子が一般的である。

上記画素電圧を生成するＦＤアンプは、接続先の負荷に耐えられるように、出力インピーダンスが変化するソースフォロワ回路で構成されることが多い。

ＣＭＯＳ型撮像素子では、ＭＯＳトランジスタによりソースフォロワ回路が形成されるが、ＭＯＳトランジスタによるソースフォロワ回路では、熱雑音と１／ｆノイズと呼ばれるランダム性ノイズが発生することが知られている。これらの中でも、１／ｆノイズは周波数ｆに対して１／ｆに比例したパワースペクトル密度をもつノイズである。

そして、ＣＭＯＳ型撮像素子では、上記１／ｆノイズを発生するソースフォロワ回路が、撮像素子のフォトダイオードに対応して大量に形成されることとなる。ここで、上記１／ｆノイズはソースフォロワ回路各々に対応しており、その発生量にばらつきがある。従って、何百万画素分もあるソースフォロワ回路（以後、画素ソースフォロワ回路と記す）を形成する中で、特に１／ｆノイズが大きい画素ソースフォロワ回路が発生することは不可避と見られている。

こうした１／ｆノイズが特に大きい画素ソースフォロワ回路が存在すると、その画素については特にノイズが大きく見えてしまうことになる。例えば、ビデオカメラなどで低照度被写体を撮影した場合、撮像素子の信号出力レベルが不十分となって信号処理によりゲインアップしたときに、このノイズが白く光る場合が最も目立つものとなる。逆に、高輝度被写体に対し、このノイズは黒くなる方向にあるので、周辺の影響で見えなくなる。

さらに、１／ｆノイズであることから、つまり周波数の低い成分ほど振幅が大きいということであるから、ノイズとはいっても、いわゆるランダムノイズとは違いゆっくりと変化するノイズとして見えやすい。

従って、低照度被写体を撮影した場合、撮像素子の信号出力レベルが不十分となって信号処理によりゲインアップしたときに、このノイズは、ちらちらと瞬く白色欠陥画素のように見える。

このように、ＣＭＯＳ型撮像素子においては、ちらちらと瞬く白色欠陥画素状の（孤立点状に見える）ノイズが原理的に発生する。なお、この白色欠陥画素状のノイズ、つまり１／ｆノイズは、画素ソースフォロワ回路を形成するＭＯＳトランジスタのゲート幅が狭くゲート長が短いほど大きくなる。従って、今後の撮像素子の小型化・高画素化による画素ソースフォロワ回路の小型化が進む程、より顕著に現れるものである。なお、前述した、ちらちらと瞬く白色欠陥画素状のノイズを発生する画素を、以下、またたき画素と称することとする。

ＣＭＯＳ型撮像素子における、またたき画素の存在は、画質劣化の一因であるので、除去または抑圧が望まれる。その方法として、前述したまたたき画素が、白色欠陥画素状に見えることによる画質劣化という点に鑑みた、いわゆる白色欠陥画素の補正技術が挙げられる。従来の白色欠陥画素の補正技術として、特許文献１に示される方法が知られている。

特許文献１に示される方法では、電子カメラなどの撮像装置の絞りを閉じた状態において、１画面分の撮影を行い、所定の閾値を超える白色欠陥画素の画素位置を検出してメモリなどに記憶する。そして、通常撮影時、この記憶した画素位置においては、その画素値を周囲画素の平均値に置き換えることにより、白色欠陥画素を補正する。
特開平１０−３２２６０３号公報

しかしながら、上記従来の撮像装置では、以下に掲げる問題があった。前述したまたたき画素の数は不特定であった。また、この不特定なまたたき画素どうしのノイズの出方に時間的相関は保証されなかった。また、この不特定なまたたき画素の中の任意の１画素に着目したとしても、所定の時間のスパンでノイズ強度が変動した。

これらの事情を鑑みると、特許文献１に開示された技術を用いた場合、不特定なまたたき画素に対し、全ての画素位置を一度に全て検出できるとは限らず、補正残りが生じる問題があった。

そこで、本発明は、またたき画素による画質劣化を効果的に防止し続けることが可能である撮像装置及びその制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、光電変換を行って光電荷を生成、保持および廃棄可能な光電変換素子と、選択されたことに応じて前記光電変換素子で生成および保持された光電荷の読み出しを廃棄前に行う読出素子とを有する画素部が複数配置された撮像素子を用いた撮像装置であって、前記読出素子による読み出しを行わずに前記画素部から出力を得る第１の読み出しモードと、前記読出素子による読み出しを行って前記画素部から出力を得る第２の読み出しモードとを有し、連続するフィールドまたはフレームの撮影画像のうち、一部のフィールドまたはフレームの撮影画像を前記第１の読み出しモードで取得する第１の画像取得手段と、前記一部のフィールドまたはフレームの撮影画像以外の他のフィールドまたはフレームの撮影画像を前記第２の読み出しモードで取得する第２の画像取得手段と、前記第１の読み出しモードで取得した前記一部のフィールドまたはフレームの撮影画像の情報に基づき、前記第２の読み出しモードで取得した前記他のフィールドまたはフレームの撮影画像に対して補正処理を行う補正手段とを備えたことを特徴とする。

本発明の撮像装置は、光電変換を行って光電荷を生成、保持および廃棄可能な光電変換素子と、選択されたことに応じて前記光電変換素子で生成および保持された光電荷の読み出しを廃棄前に行う読出素子とを有する画素部が複数配置された撮像素子を用いた撮像装置の制御方法であって、連続するフィールドまたはフレームの撮影画像のうち、一部のフィールドまたはフレームの撮影画像を、前記読出素子による読み出しを行わずに前記画素部から出力を得る第１の読み出しモードで取得する第１の画像取得ステップと、前記一部のフィールドまたはフレームの撮影画像以外の他のフィールドまたはフレームの撮影画像を、前記読出素子による読み出しを行って前記画素部から出力を得る第２の読み出しモードで取得する第２の画像取得ステップと、前記第１の読み出しモードで取得した前記一部のフィールドまたはフレームの撮影画像の情報に基づき、前記第２の読み出しモードで取得した前記他のフィールドまたはフレームの撮影画像に対して補正処理を行う補正ステップとを有することを特徴とする。

本発明の請求項１に係る撮像装置は、以下の処理を行う。すなわち、連続するフィールドまたはフレームの撮影画像のうち、第１の読み出しモードで取得した一部のフィールドまたはフレームの撮影画像の情報に基づき、第２の読み出しモードで取得した他のフィールドまたはフレームの撮影画像に対して補正処理を行う。この補正処理は周期的に継続して行われるので、またたき画素による画質劣化を効果的に防止し続けることが可能である。

本発明の撮像装置及びその制御方法の実施の形態について図面を参照しながら説明する。本実施形態の撮像装置はビデオカメラに適用される。

［第１の実施形態］
図１は第１の実施形態のビデオカメラの構成を示す図である。ビデオカメラは、結像光学レンズ１０１、ＣＭＯＳイメージセンサ１０２、アナログ・デジタルコンバータ（以下、ＡＤＣと略記）１０３および第１の同期信号発生回路（以下、第１のＳＳＧと略記）１０４を有する。また、ビデオカメラは、第２の同期信号発生回路（以下、第２のＳＳＧと略記）１０７、同期信号切り替えスイッチ１１０、ＣＰＵ１１３、読み出しモード制御線１１４、またたき画素検出回路１１５およびまたたき画素位置情報を記憶するメモリ１１６を有する。また、ビデオカメラは、またたき画素補正回路１１７、第３の同期信号発生回路（以下、第３のＳＳＧと略記）１１８、水平走査周波数を伸長するレート変換処理回路１２１、カメラ信号処理回路１２３および記録用信号処理回路１２４を有する。また、ビデオカメラは、ＣＲＴ等の表示装置１２５および磁気テープ等の記録メディア１２６を有する。

ビデオカメラでは、第１の垂直同期信号１０５、第１の水平同期信号１０６、第２の垂直同期信号１０８、第２の水平同期信号１０９、センサ垂直同期信号１１１およびセンサ水平同期信号１１２が伝達される。また、第３の垂直同期信号１１９、第３の水平同期信号１２０およびレート変換処理された映像信号１２２が伝達される。

図２はＣＭＯＳイメージセンサ１０２の全体構成を示す図である。ＣＭＯＳイメージセンサ１０２は、行方向および列方向に複数配置された画素部を有する。なお、本実施形態では、説明を簡略化するために、４行×４列の画素構成が示されているが、行数および列数としては任意の値をとることができる。

ＣＭＯＳイメージセンサ１０２は、１６個の画素部２０１、第１行〜第４行の読み出し制御線２０２−１〜２０２−４、第１行〜第４行の行選択制御線２０３−１〜２０３−４および第１行〜第４行のリセット制御線２０４−１〜２０４−４を有する。また、ＣＭＯＳイメージセンサ１０２は、第１列〜第４列の列信号線２０５−１〜２０５−４、第１列〜第４列の列アンプ２０６−１〜２０６−４、垂直走査回路２０７、水平走査回路２０８および第１列〜第４列の列信号保持容量２０９−１〜２０９−４を有する。また、ＣＭＯＳイメージセンサ１０２は、第１列〜第４列の列選択制御線２１０−１〜２１０−４、第１列〜第４列の列選択スイッチ２１１−１〜２１１−４および水平信号線２１２、出力バッファアンプ２１３および読み出しモード設定端子２１９を有する。読み出しモード設定端子２１９には、読み出しモード制御線１１４が接続される。

また、ＣＭＯＳイメージセンサ１０２は、画素部２０１のうち、別の符号で表された第１のまたたき画素の画素部２１７および第２のまたたき画素の画素部２１８を有する。

ＣＭＯＳイメージセンサ１０２では、センサ垂直同期信号１１１（図１参照）からの垂直同期信号２１５、およびセンサ水平同期信号１１２（図１参照）からの水平同期信号２１６が入力され、映像信号出力２１４から映像信号が出力される。

図３はＣＭＯＳイメージセンサ１０２の画素部２０１の構成を示す図である。画素部２０１は、フォトダイオード（以後、ＰＤと略記）３０１、各行の読み出し制御線２０２−１〜２０２−４に接続される読み出し制御パルス入力３０２、および読み出しゲートトランジスタ（以後、読み出しゲートと略記）３０３を有する。また、画素部２０１は、フローティングディフュージョン（以後、ＦＤと略記）３０４、各行のリセット制御線２０４−１〜２０４−４に接続されるリセット制御パルス入力３０５、およびリセットゲートトランジスタ（以後、リセットゲートと略記）３０６を有する。また、画素部２０１は、リセットレベル入力（以後、リセットレベルと略記）３０７、および各行の行選択制御線２０３−１〜２０３−４に接続される行選択制御パルス入力３０８を有する。また、画素部２０１は、画素ソースフォロワトランジスタ（以後、画素ＳＦと略記）３０９および画素出力３１０を有する。

ここで、ＰＤ３０１、ＦＤ３０４およびリセットゲート３０６は、光電荷を生成、保持および廃棄可能な光電変換素子に相当する。また、画素ＳＦ３０９、行選択制御パルス入力３０８および画素出力３１０は、生成および保持された光電荷の読み出しを廃棄前に行う読出素子に相当する。

上記構成を有するビデオカメラの動作を示す。ＣＰＵ１１３は、所定の単位フレームまたは単位フィールド毎に、読み出しモード制御線１１４に対し、第１の読み出しモードを表すＬｏｗレベルの読み出し制御信号と、第２の読み出しモードを表すＨｉｇｈレベルの読み出し制御信号を出力する。

また、第１のＳＳＧ１０４は、第１の読み出しモードにおいて、必要な第１の垂直同期信号１０５と第１の水平同期信号１０６を生成する。第２のＳＳＧ１０７は、第２の読み出しモードにおいて、必要な第２の垂直同期信号１０８と第２の水平同期信号１０９を生成する。

読み出しモード制御線１１４からの読み出し制御信号は、ＣＭＯＳイメージセンサ１０２および同期信号切り替えスイッチ１１０に送出される。これにより、ＣＭＯＳイメージセンサ１０２へのセンサ垂直同期信号１１１とセンサ水平同期信号１１２として、第１の読み出しモード時のフレームまたはフィールドにおいては、第１の垂直同期信号１０５と第１の水平同期信号１０６が送出される。一方、第２の読み出しモード時のフレームまたはフィールドにおいては、第２の垂直同期信号１０８と第２の水平同期信号１０９が送出される。

ＣＭＯＳイメージセンサ１０２は、センサ垂直同期信号１１１、センサ水平同期信号１１２および読み出しモード制御線１１４からの読み出し制御信号に応じて、結像光学レンズ１０１を通じて結像した光学像を光電変換し、映像信号を出力する。映像信号は、ＡＤＣ１０３によりデジタル映像信号に変換される。

つぎに、ＣＭＯＳイメージセンサ１０２における読み出しモードごとの動作について説明する。まず、連続するフィールドまたはフレームにおいて、第２の読み出しモード時のイメージセンサ動作を示す。第２の読み出しモードでは、前述したように、光電荷蓄積・画素信号読み出しを通常通り行う動作が行われる。

図４は第２の読み出しモードにおけるＣＭＯＳイメージセンサ１０２の動作を示すタイミングチャートである。まず、垂直同期信号２１５、水平同期信号２１６、および読み出しモード設定端子２１９における読み出しモード設定（＝Ｈｉｇｈ）が垂直走査回路２０７に与えられる。これにより、垂直走査回路２０７において、各行の読み出し制御線２０２−１〜２０２−４、各行の行選択制御線２０３−１〜２０３−４、および各行のリセット制御線２０４−１〜２０４−４が動作する。

即ち、図４に示す時刻ｔ０〜ｔ１において第１行の読み出し制御線がＨｉｇｈとなり、時刻ｔ１〜ｔ２において第１行の行選択制御線がＨｉｇｈとなり、時刻ｔ２〜ｔ３においては第１行のリセット制御線と第１行の読み出し制御線がＨｉｇｈとなる。

このとき、画素部２０１における動作は、次のようになる。読み出しゲート３０３、リセットゲート３０６および画素ＳＦ３０９のいずれもＨｉｇｈレベルでＯＮになる回路の場合、時刻ｔ０〜ｔ１において、読み出し制御パルス入力３０２がＨｉｇｈとなることにより読み出しゲート３０３がＯＮになる。このとき、ＰＤ３０１に蓄積された光電荷はＦＤ３０４に移動する。

時刻ｔ１〜ｔ２においては、行選択制御パルス入力３０８がＨｉｇｈとなることにより画素ＳＦ３０９がＯＮとなり、ＦＤ３０４に保持された光電荷に応じた電圧が画素出力３１０から出力される。このとき、各列の列信号線２０５−１〜２０５−４に、各画素出力３１０、すなわち第１行目における各画素部２０１の画素出力の電圧が加えられることとなる。

時刻ｔ２〜ｔ３においては、読み出し制御パルス入力３０２とリセット制御パルス入力３０５が共にＨｉｇｈとなることにより、読み出しゲート３０３とリセットゲート３０６が共にＯＮとなる。ＰＤ３０１の電位とＦＤ３０４の電位はリセットレベル３０７となり、画素部全体の保持電位がリセットされる。つまり、ＰＤ３０１に蓄積され、ＦＤ３０４に保持された光電荷は廃棄される。

時刻ｔ３以降、第１行目の画素部においては、再びＰＤ３０１で入射光に応じた光電荷が蓄積される。第１行目の読み出し制御線、行選択制御線、リセット制御線および画素部の動作と同様、時刻ｔ４〜ｔ５、ｔ５〜ｔ６、ｔ６〜ｔ７において、第２行目の読み出し制御線、行選択制御線、リセット制御線および画素部が動作する。同様に、時刻ｔ８〜ｔ９、ｔ９〜ｔ１０、ｔ１０〜ｔ１１において、第３行目の読み出し制御線、行選択制御線、リセット制御線および画素部が動作する。時刻ｔ１２〜ｔ１３、ｔ１３〜ｔ１４、ｔ１４〜ｔ１５において、第４行目の読み出し制御線、行選択制御線、リセット制御線および画素部が動作する。

各列の列信号線２０５−１〜２０５−４に、第１行目における各画素部２０１の画素出力の電圧が加えられると、各列の列アンプ２０６−１〜２０６−４で電圧増幅が行われ、その電圧は各列の列信号保持容量２０９−１〜２０９−４で保持される。この画素出力の電圧の保持動作は、時刻ｔ３において行われる。

つぎに、水平走査回路２０８が動作し、時刻ｔ３〜ｔ４において、第１列〜第４列の列選択制御線２１０−１〜２１０−４が順次Ｈｉｇｈとなることにより、第１列〜第４列の列選択スイッチ２１１−１〜２１１−４が順次ＯＮになる。

水平信号線２１２には、各列の列信号保持容量２０９−１〜２０９−４に保持された電圧増幅された第１行目の画素出力が順次出力され、出力バッファアンプ２１３を通じて映像信号出力２１４としてＣＭＯＳイメージセンサ１０２の外部へ出力される。

ここで、映像信号出力２１４は、ＰＤ３０１において発生した光学像を光電変換した映像信号となっている。しかし、第１のまたたき画素の画素部２１７と第２のまたたき画素の画素部２１８については、画素ＳＦ３０９の１／ｆノイズがとりわけ大きいため、これらの映像信号出力２１４は、ちらちらと瞬く白色欠陥画素状のノイズが重畳した映像信号となる。

連続するフィールドまたはフレームのうち、後述する第１の読み出しモードで取得された一部のフィールドまたはフレームの撮影画像以外の、他のフィールドまたはフレームの撮影画像を第２の読み出しモードで取得する処理は、第２の画像取得手段に相当する。

つぎに、連続するフィールドまたはフレームにおいて、第１の読み出しモード時のイメージセンサ動作を示す。第１の読み出しモードでは、前述したように、光電荷が蓄積された画素信号読み出しを行わない動作が行われる。なお、第１の読み出しモードで撮影画像（予備画像）を得るための電荷蓄積時間は、前述した第２の読み出しモードで撮影画像（本画像）を得るための電荷蓄積時間より短くされている。

図５は第１の読み出しモードにおけるＣＭＯＳイメージセンサ１０２の動作を示すタイミングチャートである。まず、垂直同期信号２１５、水平同期信号２１６、および読み出しモード設定端子２１９の読み出しモード設定（＝Ｌｏｗ）が垂直走査回路２０７に与えられる。これにより、垂直走査回路２０７において、各行の読み出し制御線２０２−１〜２０２−４、各行の行選択制御線２０３−１〜２０３−４、および各行のリセット制御線２０４−１〜２０４−４が動作する。

しかし、第２の読み出しモードと異なる動作として、第１の読み出しモードでは、垂直同期信号２１５および水平同期信号２１６の周期は第２の読み出しモードより短くなっている。具体的に、図５の周期は図４の周期に比べて１／２になっている。なお、周期の比率は１／２に限らず、他の値でもよい。また、図４に示す時刻ｔ０〜ｔ１においては、第１行の読み出し制御線がＨｉｇｈとなるが、図５に示す時刻ｔ０〜ｔ１においては、第１行の読み出し制御線はＬｏｗのままである。それ以外の動作については、第１および第２の読み出しモードは同一であるので、その説明を省略する。

第１の読み出しモードにおける画素部２０１の動作は、つぎのようになる。読み出しゲート３０３、リセットゲート３０６および画素ＳＦ３０９のいずれもＨｉｇｈレベルでＯＮになる回路であることは同様である。

図５に示す時刻ｔ０〜ｔ１において、読み出し制御パルス入力３０２がＬｏｗのままであることから、読み出しゲート３０３はＯＦＦのままである。従って、ＰＤ３０１に蓄積された光電荷はＦＤ３０４に移動しない。

時刻ｔ１〜ｔ２においては、行選択制御パルス入力３０８がＨｉｇｈとなることにより画素ＳＦ３０９がＯＮとなり、ＦＤ３０４に保持された光電荷に応じた電圧が画素出力３１０から出力されることとなる。しかし、前述したように、ＰＤ３０１に蓄積された光電荷は移動していないので、空の画素出力となる。つまり、最終的な映像信号出力２１４は、ＰＤ３０１において発生した光学像の光電変換信号の無い映像信号となっている。ただし、第１のまたたき画素の画素部２１７と第２のまたたき画素の画素部２１８における、画素ＳＦ３０９の１／ｆノイズによる、ちらちらと瞬く白色欠陥画素状のノイズは、ＰＤ３０１より後段で発生する。従って、映像信号はちらちらと瞬く白色欠陥画素状の（孤立点状に見える）ノイズだけが重畳したダーク映像信号となっている。

また、前述したように、垂直同期信号２１５と水平同期信号２１６の周期を第２の読み出しモードの１／２としているので、第１の読み出しモードでは、第２の読み出しモードの半分の時間で１フレームまたは１フィールドのダーク映像信号が生成される。

ここで、連続するフィールドまたはフレームのうち、一部のフィールドまたはフレームの撮影画像を第１の読み出しモードで取得する処理は、第１の画像取得手段に相当する。

図６はビデオカメラ全体の動作を示すタイミングチャートである。ここでは、第１の読み出しモードと第２の読み出しモードによって生成された、ＣＭＯＳイメージセンサ１０２の映像信号出力、読み出しモード、同期信号、第１のまたたき画素と第２のまたたき画素のノイズ強度の関係、およびレート変換後の映像信号が示される。

まず、図６の時刻Ｔａ〜Ｔｃの期間は、任意の時間におけるレート変換後の映像信号１２２で１Ｖ分の期間に当たるものであって、例えばＮＴＳＣ方式における１フィールド期間である。なお、時刻Ｔａ〜Ｔｃの期間はＰＡＬ等の他の映像フォーマットにおける１フィールドまたは１フレーム期間であってもよい。同様に、時刻Ｔａ〜Ｔｃの期間は、第１の垂直同期信号１０５では３Ｖ分、第２の垂直同期信号１０８では１Ｖ分、第３の垂直同期信号１１９では１Ｖ分となる。このように、連続するフィールドまたはフレームの時間間隔は、ＮＴＳＣ方式の映像フォーマットで規定された時間間隔より短くなる。

水平同期信号について、第１の水平同期信号１０６は第１の垂直同期信号１０５の１Ｖ当たり４Ｈ分となる。同様に、第２の水平同期信号１０９は第２の垂直同期信号１０８の１Ｖ当たり４Ｈ分となり、第３の水平同期信号１２０は第３の垂直同期信号１１９の１Ｖ当たり４Ｈ分となる。

読み出しモード制御線１１４の読み出し制御信号は、第１の垂直同期信号１０５を基準とすると、最初の１Ｖである時刻Ｔａ〜Ｔｂの期間ではＬｏｗであって、第１の読み出しモードとなるように制御される。また、この読み出し制御信号は、２Ｖ目、３Ｖ目に当たる時刻Ｔｂ〜Ｔｃの期間ではＨｉｇｈであって第２の読み出しモードとなるように制御される。

このため、センサ垂直同期信号１１１とセンサ水平同期信号１１２は、読み出しモード制御線１１４の読み出し制御信号によって、時刻Ｔａ〜Ｔｂの期間では第１の垂直・水平同期信号が与えられ、時刻Ｔｂ〜Ｔｃの期間では第２の垂直・水平同期信号が与えられる。

センサ垂直同期信号１１１、センサ水平同期信号１１２、および読み出しモード制御線１１４の読み出し制御信号が与えられたときの、ＣＭＯＳイメージセンサ１０２内の動作およびセンサの映像信号については、前述した通りである。

ここで、時刻Ｔａ〜Ｔｃの期間において、画素部２１７の第１のまたたき画素レベル（１／ｆノイズレベル）は大きく、画素部２１８の第２のまたたき画素レベル（１／ｆノイズレベル）が小さい状態であるとする。

またたき画素検出回路１１５は、時刻Ｔａ〜Ｔｂの期間において、第１の垂直同期信号１０５と第１の水平同期信号１０６を基準として、つぎの動作を行う。即ち、またたき画素検出回路１１５は、ＡＤＣ１０３でデジタル化されたイメージセンサ出力映像から、所定のレベルを超えるノイズである、画素レベルの大きい第１のまたたき画素の画素部２１７の画素位置情報を検出する。このイメージセンサ出力映像は、第１の読み出しモードであるから、またたき画素出力のみ重畳したダーク画像となる。一方、第２のまたたき画素の画素レベルが小さいため、またたき画素検出回路１１５は、第２のまたたき画素の第２のまたたき画素の２１８の画素位置情報を検出しない。検出された第１のまたたき画素の画素部２１７の画素位置情報は、メモリ１１６に記憶される。

時刻Ｔｂ〜Ｔｃの期間において、またたき画素補正回路１１７は、メモリ１１６に記憶された第１のまたたき画素の画素部２１７の画素位置情報を参照する。またたき画素補正回路１１７に与えられる第２の垂直同期信号１０８と第２の水平同期信号１０９を基準として、ＡＤＣ１０３でデジタル化されたイメージセンサ出力映像に対して補正動作が行われる。ここで、イメージセンサ出力映像は、第２の読み出しモードであるから、光電変換された信号にまたたき画素出力が重畳された被写体画像である。

この結果、第１のまたたき画素の画素部２１７については、周辺画素情報による補間または置き換え処理が施される。この結果、またたき画素補正回路１１７の出力映像を、またたき画素の影響、即ち、ちらちらと瞬く白色欠陥画素状のノイズが抑圧された状態とすることができる。ただし、またたき画素補正回路１１７の出力映像信号は、時刻Ｔａ〜Ｔｂの期間においては光電変換された信号の無いダーク画像である。

そこで、レート変換処理回路１２１は、第２の水平同期信号１０９と第３の水平同期信号１２０を基準としてデジタル映像信号のレート変換を行う。そして、レート変換処理回路１２１は、時刻Ｔｂ〜Ｔｃの期間における白色欠陥画素状のノイズが抑圧された被写体画像を、時刻Ｔａ〜Ｔｃの期間において出力する。

こうしてレート変換後の映像信号１２２とした後、カメラ信号処理回路１２３は、所定の信号処理を施した後、表示装置１２５に表示すると共に、記録用信号処理回路１２４においてデジタル記録のための処理を施した後、記録メディア１２６に記録する。

つづいて、図６の時刻Ｔｄ〜Ｔｆの期間は、時刻Ｔａ〜Ｔｃの期間から例えば数秒程度離れた時間におけるレート変換後の映像信号１２２で１Ｖ分の期間に当たるものである。また、各同期信号、読み出しモード制御、ＣＭＯＳイメージセンサおよび各処理回路の動作については、時刻Ｔａ〜Ｔｃの期間と同一であるので、その説明を省略する。ただし、時刻Ｔｄ〜Ｔｆの期間において、画素部２１７の第１のまたたき画素レベル（１／ｆノイズレベル）は小さく、画素部２１８の第２のまたたき画素レベル（１／ｆノイズレベル）が大きい状態に変動したものとする。

このとき、またたき画素検出回路１１５は、時刻Ｔｄ〜Ｔｅの期間において、第１の垂直同期信号１０５と第１の水平同期信号１０６を基準として、つぎの動作を行う。即ち、またたき画素検出回路１１５は、ＡＤＣ１０３でデジタル化されたイメージセンサ出力映像から、所定のレベルを超えるノイズである、画素レベルの大きい第２のまたたき画素の画素部２１８の画素位置情報を検出する。ここで、イメージセンサ出力映像は、第１の読み出しモードにおいて、またたき画素出力のみ重畳したダーク画像である。

時刻Ｔｄ〜Ｔｅの期間において、第１のまたたき画素の画素部２１７の画素レベルが小さいため、またたき画素検出回路１１５は、その画素位置情報を検出しない。第２のまたたき画素の画素部２１８の画素位置情報はメモリ１１６に記憶される。

時刻Ｔｅ〜Ｔｆの期間において、またたき画素補正回路１１７では、メモリ１１６に記憶された第２のまたたき画素の画素部２１８の画素位置情報が参照される。またたき画素補正回路１１７に与えられる第２の垂直同期信号１０８と第２の水平同期信号１０９を基準とし、ＡＤＣ１０３でデジタル化されたイメージセンサ出力映像に対して補正動作が行われる。このイメージセンサ出力映像は、第２の読み出しモードにおいて、光電変換された信号にまたたき画素出力が重畳された被写体画像である。

この結果、第２のまたたき画素の画素部２１８については、周辺画素情報による補間または置き換え処理が施される。また、またたき画素補正回路１１７の出力映像を、またたき画素の影響、即ち、ちらちらと瞬く白色欠陥画素状のノイズが抑圧された状態とすることができる。なお、レート変換処理回路１２１の以降の処理は、前述した通りである。

このように、第１の実施形態の撮像装置は、ＣＭＯＳ型撮像素子において原理的に発生する、またたき画素の画素位置を第１の読み出しモードで得られる画素部の出力から検出し、この画素位置情報に基づき、第２の読み出しモードにおいて補正処理を行う。

従って、たとえ、またたき画素の数が不特定であり、不特定なまたたき画素どうしのノイズの出方に時間的相関は保証されなくても、少なくとも短時間の任意の時間帯において大きなノイズレベルを発生しているまたたき画素に限れば、その画素位置を検出できる。また、このノイズレベルが持続している短時間内において、つまり、検出時のノイズレベルからの変動が少ない短時間内においては、ほぼリアルタイムでその画素位置のまたたき画素のみを補正することができる。さらに、この補正処理は周期的に継続して行われるので、またたき画素による画質劣化を効果的に防止し続けることが可能である。

こうして補正処理が行われた画像を、半固定的（半ランダム的）なまたたき画素の影響、すなわち、ちらちらと瞬く白色欠陥画素状のノイズが抑圧された状態とすることができる。また、またたき画素の検出、および上記補正処理を短時間で行うことができる。

［第２の実施形態］
図７は第２の実施形態のビデオカメラの構成を示す図である。ここで、第２の実施形態における各構成要素７０１〜７２６は、前記第１の実施形態における各構成要素１０１〜１２６と同一である。また、ＣＭＯＳイメージセンサ７０２の内部構成についても、図２、図３で説明したものと同一であり、ＣＭＯＳイメージセンサ７０２の内部動作についても、図４、図５で説明したものと同一である。従って、各構成要素の説明および各構成要素の動作に関する説明を省略する。

第２の実施形態のビデオカメラは、前記第１の実施形態の同一の構成要素の他、光学絞り７２７、黒画像保持部７２８および差分処理部７２９を有する。黒画像保持部７２８は、遮光状態において撮像された黒画像を保持する。差分処理部７２９は、非遮光状態で撮影された本画像から黒画像保持部７２８で保持された黒画像を減ずる。

図８はビデオカメラ全体の動作を示すタイミングチャートである。ここでは、ＣＭＯＳイメージセンサ７０２の映像信号出力、読み出しモード、同期信号、第１のまたたき画素と第２のまたたき画素のノイズ強度の関係、レート変換後の映像信号、並びに絞り７２７、黒画像保持部７２８および差分処理部７２９の動作が示される。

まず、図８の時刻Ｔａ〜Ｔｅの期間は、ＣＭＯＳイメージセンサ７０２により静止画像を１フレーム分撮影して画像を生成する期間を示している。

時刻Ｔａ以前を含み、時刻Ｔａ〜Ｔｂの期間において、絞り７２７の動作は閉じられた（Ｃｌｏｓｅ）状態となっている。また、読み出しモード制御線７１４の読み出し制御信号は、Ｈｉｇｈであり、第２の読み出しモードとなっている。

時刻Ｔａ〜Ｔｂの期間においては、遮光状態であり、ＰＤ３０１で発生した暗電流を含む映像信号は、いわゆる黒画像となっている。ただし、第１のまたたき画素の画素部２１７と第２のまたたき画素の画素部２１８には、ちらちらと瞬く白色欠陥画素状のノイズが重畳する。時刻Ｔａ〜Ｔｂの期間において、画素部２１７の第１のまたたき画素レベルは大きくノイズとして見えるが、画素部２１８の第２のまたたき画素レベルは小さくノイズとしては見えない状態である。前述したいわゆる黒画像は、時刻Ｔａ〜Ｔｂの期間において、黒画像保持部７２８に保持される。

時刻Ｔｂ〜Ｔｃの期間においては、読み出しモード制御線７１４の読み出し制御信号がＬｏｗであり、第１の読み出しモードとなっている。このため、時刻Ｔａ〜Ｔｂの期間と同様、黒画像ではあるが、ＰＤ３０１で発生した暗電流は出力されず、映像信号は、第１のまたたき画素の画素部２１７と第２のまたたき画素の画素部２１８の１／ｆノイズによる出力のみが重畳したものとなる。

画素部２１７の第１のまたたき画素レベルは大きく、画素部２１８の第２のまたたき画素レベルは小さいままで、大きな変化は無い状態である。時刻Ｔｂ〜Ｔｃの期間において、またたき画素検出回路７１５では、またたき画素位置の検出が行われる。画素部２１７の第１のまたたき画素はレベルが大きいため検出され、画素部２１８の第２のまたたき画素はレベルが小さいため非検出となる。検出された画素位置情報は、メモリ７１６に記憶される。

時刻Ｔｂ〜Ｔｃの期間において、絞り７２７の動作が開いている（Ｏｐｅｎ）状態となり、外部被写体の光学像の光電荷がＰＤ３０１で蓄積される。

時刻Ｔｃ〜Ｔｄの期間においては、読み出しモード制御線７１４の読み出し制御信号が再びＨｉｇｈとなって、第２の読み出しモードとなる。このため、ＰＤ３０１で発生した光電荷が読み出される。絞り７２７の動作が既にＯｐｅｎになっているため、外部被写体を反映した本画像が読み出される。

この外部被写体を反映した本画像は差分処理部７２９に入力されると共に、黒画像保持部７２８で保持され、時刻Ｔａ〜Ｔｂの期間において読み出されていた、いわゆる黒画像も差分処理部７２９に入力される。差分処理部７２９は、外部被写体を反映した本画像からいわゆる黒画像を減算する。

これにより、差分処理部７２９による差分画像は、暗電流による固定ノイズ成分がキャンセルされ、かつ、第１のまたたき画素の画素部２１７と第２のまたたき画素の画素部２１８についても、１／ｆノイズ分がある程度キャンセルされた画像となる。

暗電流は、ＰＤ３０１の電荷蓄積時間と温度に依存して変化する。しかし、蓄積時間は本画像といわゆる黒画像で同一とすることで無視でき、温度変化は十分にゆっくりとしか生じ得ない。従って、差分画像上で、暗電流についてはほぼ完全にキャンセルすることができる。しかし、またたき画素については、時間的な変動が多少生じる分だけ、差分画像では完全にキャンセルすることができない。

そこで、時刻Ｔｃ〜Ｔｄの期間において、またたき画素補正回路７１７では、メモリ７１６に記憶された画素部２１７の第１のまたたき画素位置情報により、周辺画素からの補間処理が施される。これにより、完全にはキャンセルされなかった画素部２１７のまたたき画素の補正が実行される。なお、画素部２１８の第２のまたたき画素については、多少の変動は生じているが、レベルが小さいままであるので、補正は必要ない。

時刻Ｔｃ〜Ｔｅの期間において、レート変換回路７２２では、映像レート変換が行われるが、これらについては、前記第１の実施形態と同様であるので、その説明を省略する。

なお、第２の実施形態では、Ｔａ〜Ｔｂの期間において第２の読み出しモードで黒画像、Ｔｂ〜Ｔｃの期間において第１の読み出しモードで黒画像、Ｔｃ〜Ｔｄの期間において第２の読み出しモードで本画像を撮像したが、これらの順番については任意である。

第２の実施形態の撮像装置によれば、本画像に含まれる暗電流とまたたき画素の画素ソースフォロワの１／ｆノイズを、黒画像によりキャンセルすることができる。さらに、キャンセル残りとなった、またたき画素の画素ソースフォロワの１／ｆノイズを、周辺画素情報により補正することで、暗電流とまたたき画素による画質劣化を効果的に防止することが可能である。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

第１の実施形態のビデオカメラの構成を示す図である。 ＣＭＯＳイメージセンサ１０２の全体構成を示す図である。 ＣＭＯＳイメージセンサ１０２の画素部２０１の構成を示す図ある。 第２の読み出しモードにおけるＣＭＯＳイメージセンサ１０２の動作を示すタイミングチャートである。 第１の読み出しモードにおけるＣＭＯＳイメージセンサ１０２の動作を示すタイミングチャートである。 ビデオカメラ全体の動作を示すタイミングチャートである。 第２の実施形態のビデオカメラの構成を示す図である。 ビデオカメラ全体の動作を示すタイミングチャートである。

符号の説明

１０２ ＣＭＯＳイメージセンサ
１１５ またたき画素検出回路
１１６ メモリ
１１７ またたき画素補正回路
１２１ レート変換処理回路
２０１ 画素部
３０１ フォトダイオード
３０３ 読み出しゲートトランジスタ
３０６ リセットゲートトランジスタ
３０９ 画素ソースフォロワトランジスタ

Claims (7)

1. 光電変換を行って光電荷を生成、保持および廃棄可能な光電変換素子と、選択されたことに応じて前記光電変換素子で生成および保持された光電荷の読み出しを廃棄前に行う読出素子とを有する画素部が複数配置された撮像素子を用いた撮像装置であって、
   前記読出素子による読み出しを行わずに前記画素部から出力を得る第１の読み出しモードと、前記読出素子による読み出しを行って前記画素部から出力を得る第２の読み出しモードとを有し、
   連続するフィールドまたはフレームの撮影画像のうち、一部のフィールドまたはフレームの撮影画像を前記第１の読み出しモードで取得する第１の画像取得手段と、
   前記一部のフィールドまたはフレームの撮影画像以外の他のフィールドまたはフレームの撮影画像を前記第２の読み出しモードで取得する第２の画像取得手段と、
   前記第１の読み出しモードで取得した前記一部のフィールドまたはフレームの撮影画像の情報に基づき、前記第２の読み出しモードで取得した前記他のフィールドまたはフレームの撮影画像に対して補正処理を行う補正手段とを備えたことを特徴とする撮像装置。
2. 前記第１の画像取得手段によって取得された前記一部のフィールドまたはフレームの撮影画像から、前記第１の読み出しモードで得られる前記画素部の出力が所定のレベルを超えるまたたき画素の画素部を検出する検出手段を備え、
   前記第１の読み出しモードで取得した前記一部のフィールドまたはフレームの撮影画像の情報は、前記検出手段によって検出された前記またたき画素の画素部の位置情報であることを特徴とする請求項１記載の撮像装置。
3. 前記補正手段は、前記第２の読み出しモードで取得した前記他のフィールドまたはフレームの撮影画像に対して補正処理を行う際、前記またたき画素の画素部に対し、その周辺画素情報による置き換えまたは補間を行うことを特徴とする請求項２記載の撮像装置。
4. 前記連続するフィールドまたはフレームの時間間隔は、ＮＴＳＣ方式の映像フォーマットで規定された時間間隔より短いことを特徴とする請求項２記載の撮像装置。
5. 前記第１の読み出しモードで取得した前記一部のフィールドまたはフレームの時間間隔は、前記第２の読み出しモードで取得した前記他のフィールドまたはフレームの時間間隔より短いことを特徴とする請求項２記載の撮像装置。
6. 前記第２の画像取得手段は、前記第２の読み出しモードで取得した前記他のフィールドまたはフレームの撮影画像を、前記第２の読み出しモードにおいて被写体の光学像を光電変換して取得した本画像から、前記第２の読み出しモードにおいて遮光状態で光電変換して取得した黒画像を減ずることにより得られる差分画像として生成する差分処理手段を備えたことを特徴とする請求項２記載の撮像装置。
7. 光電変換を行って光電荷を生成、保持および廃棄可能な光電変換素子と、選択されたことに応じて前記光電変換素子で生成および保持された光電荷の読み出しを廃棄前に行う読出素子とを有する画素部が複数配置された撮像素子を用いた撮像装置の制御方法であって、
   連続するフィールドまたはフレームの撮影画像のうち、一部のフィールドまたはフレームの撮影画像を、前記読出素子による読み出しを行わずに前記画素部から出力を得る第１の読み出しモードで取得する第１の画像取得ステップと、
   前記一部のフィールドまたはフレームの撮影画像以外の他のフィールドまたはフレームの撮影画像を、前記読出素子による読み出しを行って前記画素部から出力を得る第２の読み出しモードで取得する第２の画像取得ステップと、
   前記第１の読み出しモードで取得した前記一部のフィールドまたはフレームの撮影画像の情報に基づき、前記第２の読み出しモードで取得した前記他のフィールドまたはフレームの撮影画像に対して補正処理を行う補正ステップとを有することを特徴とする撮像装置の制御方法。

Images