JP7262236B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関する。

降伏電圧より大きな逆バイアス電圧を印加したアバランシェフォトダイオード（ＡＰＤ）をアレイ状に配置して、ある範囲に入射したフォトンの数を検出するフォトダイオードアレイが提案されている（特許文献１）。また、このようなフォトダイオードアレイをフォトンカウンティング方式の撮像素子として用いることも提案されている。

特開２０１２－１７４７８３号公報

従来、このようなフォトンカウンティング方式の撮像素子において、蛍光灯やＬＥＤといったフリッカ光源（高速で点滅する光源）の有無やフリッカ光源（またはフリッカ光）の特性を検出する方法は提案されていなかった。

したがって、本発明は、フォトンカウンティング方式の撮像素子を用いて、フリッカ光源の有無を検出可能な撮像装置およびその制御方法の提供を１つの目的とする。

上述の目的は、フォトンの入射に応じてパルス信号を出力する受光部と、パルス信号を計数する計数部とを有する画素が、２次元配列された画素領域と、パルス信号の出力頻度が予め定められた閾値以上となる周期に基づいて、撮影範囲におけるフリッカ光源の存在有無を検出する検出手段と、を有することを特徴とする撮像装置によって達成される。

本発明によれば、フォトンカウンティング方式の撮像素子を用いて、フリッカ光源の有無を検出することが可能な撮像装置およびその制御方法を提供することができる。

実施形態に係る撮像装置の構成例を示す図 第１実施形態に係る撮像素子の構成例を示す図 第１実施形態に係る撮像素子の回路構成例を示す図 第１実施形態に係る撮像素子のチップレイアウトの例を示す図 第１実施形態に係る撮像素子の動作に関するタイミングチャート 実施形態に係る撮影シーケンスのフローチャート 第１実施形態の別の形態に係る撮像素子の動作に関するタイミングチャート 第２実施形態に係る撮像素子の構成例を示す図 第２実施形態に係る撮像素子の回路構成例を示す図 第２実施形態に係る撮像素子のチップレイアウトの例を示す図 第２実施形態に係る撮像素子の動作に関するタイミングチャート 第３実施形態に係る撮像素子の構成例を示す図 第３実施形態に係る撮像素子の動作を説明するための図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

●（第１実施形態）
図１は、本発明の第１実施形態に係る、フォトンカウンティング方式の撮像素子を用いたカメラ１００の機能構成例を示すブロック図である。
撮影レンズ１０１は、フォーカスレンズを含む複数のレンズと、絞りおよび／またはＮＤフィルタを有する。撮影レンズ１０１は着脱可能であってもなくてもよい。撮影レンズ１０１は、被写体光学像を撮像素子１０２の撮像面に形成する撮影光学系である。フォトンカウンティング方式の撮像素子１０２（撮像装置とも呼ぶ）には、光電変換素子としてアバランシェフォトダイオード（ＡＰＤ）を有する画素が２次元配列されている。撮像素子１０２の構成例については後述する。

画像処理回路１０３は、撮像素子１０２から読み出された画像データに対して予め定められた信号処理を適用し、表示用および／または記録用の画像データを生成する。また、画像処理回路１０３は、画像データに信号処理を適用して得られた情報を制御回路１０６に出力する。画像処理回路１０３は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

ここで、画像処理回路１０３が適用する信号処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズ群１０の光学収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、制御回路１０６が行う自動露出制御処理や自動焦点検出処理に用いる評価値の算出処理である。なお、これらは画像処理回路１０３が実施可能な信号処理の例示であり、画像処理回路１０３が実施する信号処理を限定するものではない。

メモリ１０４は、画像データのバッファとして用いられたり、画像処理回路１０３や制御回路１０６のワークエリアとして用いられたり、表示装置１０８のビデオメモリとして用いられたりする。また、メモリ１０４の一部は不揮発性であり、制御回路１０６が実行するプログラムおよび設定値、カメラ１００の設定値、ＵＩ表示用データなどの記憶に用いられる。

記録回路１０５は、制御回路１０６の制御に従い、例えば半導体メモリカードである記録媒体１０９に対してデータファイルの書き込みおよび読み出しを実行する。
表示装置１０８は例えばフラットパネルディスプレイであり、制御回路１０６から供給される表示信号に基づく画像、例えばライブビュー画像やメニュー画面などを表示する。なお、表示装置１０８はタッチディスプレイであってもよい。

操作回路１０７はスイッチ、ボタン、タッチパッド、ダイヤルなどの入力デバイス群であり、ユーザがカメラ１００に指示を与えるために用いられる。操作回路１０７に含まれる入力デバイスのそれぞれには、固定的もしくは動的に機能が割り当てられる。それにより入力デバイスは、シャッターボタン、動画記録／停止ボタン、メニューボタン、方向キー、決定ボタン、動作モード切り替えダイヤルなどとして機能する。なお、表示装置１０８がタッチディスプレイの場合、タッチパネルとＧＵＩとの組み合わせによって実現されるソフトキーは操作回路１０７が有する入力デバイス群に含まれる。

制御回路１０６は例えばプログラマブルプロセッサである。制御回路１０６は、メモリ１０４が有する不揮発性メモリに記憶されているプログラムをメモリ１０４のシステムメモリに展開して実行し、各部の動作を制御してカメラ１００の機能を実現する。例えば制御回路１０６は、操作回路１０７の操作が検出されると、検出された操作に応じた動作を実行する。

次に、図２を参照して、撮像素子１０２の構成例について説明する。撮像素子１０２は画素領域２００、垂直選択回路２０２、水平選択回路２０３、タイミングジェネレータ（ＴＧ）２０４、パルス頻度検出部２０５、フレームメモリ２０６、加算回路２０７、およびデジタル出力部２０８を有する。

画素領域２００には、複数の画素２０１が行列状に配置されている。ここでは、簡単のためにごく一部の画素しか記載していないが、一般的なカメラでは数百万から数千万の画素が配置される。個々の画素２０１は自身の受光領域に入射した光量を、入射したフォトンの数として検出し、デジタル値として出力することができる。各画素２０１では、フォトンの計数値が所定の閾値以上になると、配線２１２を通じてパルス頻度検出信号ＰＦＲＥＱをパルス頻度検出部２０５に出力する。配線２１２は対応する画素行に配置された全ての画素と、一端を電源電圧ＶＤＤに接続されたプルアップ抵抗２１１とに接続されている。

パルス頻度検出部２０５は、全ての配線２１２に接続され、ＰＦＲＥＱを出力した画素の数を画素行単位で計数することができる。そして、パルス頻度検出部２０５は、露光（計数）期間中にＰＦＲＥＱを出力した画素の割合が所定値以上となった画素行を検出し、検出した画素行の情報をＴＧ２０４に通知する。

なお、図２に示した構成例では、ＰＦＲＥＱを画素行ごとに計数したが、他の単位で計数してもよい。例えば、画素列ごとに計数したり、画素全体に対して計数したり、所定の２次元領域ごとに計数したりしてもよい。

ＴＧ２０４は、垂直選択回路２０２、水平選択回路２０３、フレームメモリ２０６、加算回路２０７、デジタル出力部２０８に、動作を制御するタイミング信号を出力する（図２では一部の配線を省略している）。ＴＧ２０４の動作は制御回路１０６が制御している。

垂直選択回路２０２は、画素領域２００に配置された画素２０１を、スイッチ２０９のオン／オフを制御することによって画素行単位で選択する。また、垂直選択回路２０２は、不図示の配線を介して画素行ごとに制御信号を送出する（後述）。

水平選択回路２０３は、画素領域２００に配置された画素２０１を、スイッチ２１０のオン／オフを制御することによって画素列単位で選択する。垂直選択回路２０２と水平選択回路２０３の両方によって選択された画素から、画像データ（フォトンの計数値）が読み出され、フレームメモリ２０６に入力される。

フレームメモリ２０６は、画素２０１から読み出された画像データを保持する。フレームメモリ２０６は一時メモリ領域と積算メモリ領域とを有する。一時メモリ領域は、画像データを一時的に保持するための領域である。積算メモリ領域は、露光期間中に一時メモリ領域に保持された画像データをアドレスごとに積算して保持するための領域である。一時メモリ領域における１画素あたりのビット数は、画像データのビット数（画素が有するカウンタのビット数）に等しい。一方、積算メモリ領域における１画素当たりのビット数は、画像データのビット数より大きく、積算値を格納するために十分なビット数とする。

加算回路２０７は、フレームメモリ２０６の一時メモリ領域に保持された画像データを、積算メモリ領域に積算するための加算処理を実行する。具体的には、加算回路２０７は同じ画素に対応する、積算メモリ領域に保持された画像信号と、一時メモリ領域に保持された画像データとを読み出し、加算したのち、積算メモリ領域に書き戻す。

デジタル出力部２０８は、フレームメモリ２０６の積算メモリ領域に保持された画像データを所定の順序で読み出し、画像処理回路１０３に出力する。なお、フレームメモリ２０６および加算回路２０７は撮像素子１０２の外部に設けてもよい。この場合、画素から読み出した画像データをデジタル出力部２０８から出力し、外部に設けたフレームメモリ２０６の一時メモリ領域に保持するように構成する。

図３は、画素２０１のより詳細な構成例を示す図である。画素２０１は、受光部３０１と計数部３０２を備える。受光部３０１は、フォトダイオード３０３、クエンチ抵抗３０４、および反転バッファ３０５を有する。フォトダイオード３０３は、アバランシェフォトダイオード（ＡＰＤ）である。フォトダイオード３０３にはクエンチ抵抗３０４を介して降伏電圧以上のバイアス電圧Ｖｂｉａｓが印加されている。これにより、フォトダイオード３０３はガイガーモードで動作し、フォトンが入射するとアバランシェ増倍現象が発生する。

アバランシェ増倍現象が発生すると、アバランシェ電流が生じてクエンチ抵抗３０４で電圧降下が発生し、フォトダイオード３０３に印加されるバイアス電圧が低下する。バイアス電圧がフォトダイオード３０３の降伏電圧を下回るとアバランシェ増倍現象が停止する。その結果、アバランシェ電流が流れなくなり、フォトダイオード３０３に降伏電圧以上のバイアス電圧Ｖｂｉａｓが再度印加されようになる。このように、クエンチ抵抗３０４は、フォトダイオード３０３のアバランシェ増倍現象を停止されるために用いられる。なお、トランジスタの抵抗成分をクエンチ抵抗３０４として用いてもよい。

アバランシェ増倍現象の発生によってクエンチ抵抗３０４とフォトダイオード３０３との接続点Ｖｏｕｔに生じる電圧変化は、反転バッファ３０５によってパルス信号に変換される。したがって、ガイガーモードで動作するフォトダイオード３０３にフォトンが入射すると、反転バッファ３０５からパルス信号ＰＬＳが出力され、計数部３０２に与えられる。

計数部３０２は、反転バッファ３０５に接続されたカウンタ回路３０６と、カウンタ回路３０６の計数値を保持するための画素メモリ３０７と、比較器３０９と、反転バッファ３０８とを有している。

カウンタ回路３０６には、受光部３０１からパルス信号ＰＬＳが、垂直選択回路２０２からイネーブル信号ＰＥＮおよびリセット信号ＰＲＥＳが、それぞれ供給される。カウンタ回路３０６は、ＰＥＮがＨレベルかつＰＲＥＳがＬレベルの状態で、ＰＬＳがＬからＨレベルに変化した回数を計数する。カウンタ回路３０６はＰＥＮがＬレベルの場合には計数値を変更しない。また、カウンタ回路３０６はＰＲＥＳがＨレベルになると計数値を初期値（例えば０）にリセットする。

画素メモリ３０７には、垂直選択回路２０２からラッチ信号ＰＬＡＴが供給される。画素メモリ３０７は、ＰＬＡＴがＬレベルからＨレベルに変化すると、その時点におけるカウンタ回路３０６の計数値を画像データとして保持する。

垂直選択回路２０２と水平選択回路２０３の両方によって選択された画素２０１の画素メモリ３０７に保持された画像データが、垂直信号線およびスイッチ２１０を通じてフレームメモリ２０６の一時メモリ領域に保持される。なお、本実施形態においては、画素領域２００に配置された全ての画素２０１に対し、同一のＰＥＮ、ＰＲＥＳ、およびＰＬＡＴが供給される。

比較器３０９は、ＰＬＡＴがＬレベルからＨレベルになったときのカウンタ回路３０６の計数値を所定の閾値Ｃｔｈと比較し、比較結果を表すレベルを出力する。具体的には、計数値が閾値以上であればＨレベルを出力し、計数値が閾値未満であればＬレベルを出力する。比較器３０９の出力は、オープンドレイン出力の反転バッファ３０８を通じてＰＦＲＥＱとして出力される。したがって、カウンタ回路３０６の計数値が閾値Ｃｔｈ未満の状態では、反転バッファ３０８の出力、すなわちＰＦＲＥＱはハイインピーダンス（Ｈレベル）である。一方、カウンタ回路３０６の計数値が閾値Ｃｔｈ以上の状態では、ＰＦＲＥＱはＬレベルである。詳細は後述するが、閾値Ｃｔｈは、所定の単位期間（または単位時間）当たりの入射光量が多い状態（パルス信号の出力頻度が高い状態）を検出するために用いられ、制御回路１０６またはパルス頻度検出部２０５によって設定される。ＰＦＲＥＱは、パルス信号の出力頻度に応じたレベルを有する信号ということができる。

図２に関して説明したように、同じ画素行に配列された画素２０１のＰＦＲＥＱは共通の配線２１２に出力され、かつ、プルアップ抵抗２１１によってプルアップされている。したがって、配線２１２のレベルは接続された画素２０１のＰＦＲＥＱの論理和を示す。つまり、ある画素行について、すべての画素の計数値が閾値Ｃｔｈ未満の状態では、配線２１２を通じてパルス頻度検出部２０５に入力されるＰＦＲＥＱはＨレベルである。一方、行内のいずれかの画素の計数値が閾値Ｃｔｈ以上になると、ＰＦＲＥＱはＬレベルに変化する。

パルス頻度検出部２０５にはすべての画素行からＰＦＲＥＱが入力される。そのため、パルス頻度検出部２０５は、ＰＦＲＥＱのレベルに基づいて、画素領域２００に計数値が閾値Ｃｔｈ以上の画素が存在するか否かと、計数値が閾値Ｃｔｈ以上の画素が存在する画素行の位置および総数とを検出することができる。

また、ＰＦＲＥＱのレベルが変化する周期や被写体輝度の経時変化の周期的な変化に基づいて、パルス頻度検出部２０５や制御回路１０６はフリッカノイズもしくはフリッカ光源の有無ならびにフリッカ光の輝度変化特性（例えば周期または周波数）を検出できる。例えばパルス頻度検出部２０５は、ＰＦＲＥＱのレベルが変化する周期（または周波数）のばらつきが予め定めた範囲内である場合に、フリッカ光源が存在すると判定することができる。パルス頻度検出部２０５のこの動作は、パルス信号の出力頻度または出力頻度の経時変化に基づいて、撮影範囲におけるフリッカ光（またはフリッカ光源）の存在有無や特性を検出する動作に相当する。また、制御回路１０６は、同一被写体領域における輝度の経時変化の周期（または周波数）のばらつきが予め定めた範囲内である場合に、フリッカ光源が存在すると判定することができる。また、パルス頻度検出部２０５および／または制御回路１０６は、フリッカ光もしくは被写体輝度の変化特性に基づいて閾値Ｃｔｈを決定することができる。

図４は撮像素子１０２のチップレイアウトの一例を模式的に示す斜視図である。
撮像素子１０２は、受光部基板４０１と、計数部基板４０２と、フレームメモリ基板４０３とが積層された構成を有する。基板間はシリコン貫通電極などを用いて電気的に接続される。受光部基板４０１には、画素領域２００のうち、各画素２０１の受光部３０１が行列状に配置される。計数部基板４０２には、各画素２０１の計数部３０２が行列状に配置される。また、計数部基板４０２には、垂直選択回路２０２および水平選択回路２０３、ＴＧ２０４、パルス頻度検出部２０５も配置される。フレームメモリ基板４０３には、フレームメモリ２０６および加算回路２０７、デジタル出力部２０８が配置される。

受光部３０１と計数部３０２とを別々の基板に形成することで、各画素２０１の受光面積を大きくすることができる。また、フレームメモリ基板４０３を受光部基板４０１および計数部基板４０２よりも微細なプロセスで製造すれば、フレームメモリ２０６の容量を大きくすることができる。なお、図４に示すような積層構造とする代わりに、撮像素子１０２の全ての回路を同一基板上に形成してもよい。

次に、図５のタイミングチャートを用いて、動画撮影時のように複数フレームの画像データを連続して取得する際の、撮像素子１０２の読み出し動作について説明する。ここでは、環境光が、図５の最上段に示すような輝度変化特性を有するフリッカ光であるものとする。フリッカ光の輝度変化特性は、例えば撮影スタンバイ状態において表示装置１０８をＥＶＦとして機能させるために撮影された動画データに基づいて、パルス頻度検出部２０５または制御回路１０６で検出されているものとする。なお、図５において、パルス信号ＰＬＳ、計数値ＣＯＵＮＴ、パルス輝度検出信号ＰＦＲＥＱについては、画素領域２００に設けられた複数の画素のうちの１つ（以下、代表画素と呼ぶ）に関して示している。

時刻ｔ５０１で例えば操作回路１０７を通じた入力により、撮影開始信号ＳＴＡＲＴがＨレベルになると、制御回路１０６は撮像素子１０２の画素２０１に対するバイアス電圧Ｖｂｉａｓの供給を開始させる。これにより、受光部３０１のフォトダイオード３０３はガイガーモードでの動作を開始し、フォトダイオード３０３にフォトンが入射するごとに受光部３０１からＰＬＳ信号が出力される。なお、時刻ｔ５０１においてＰＲＥＳはＨレベルであるため、すべての画素２０１において、カウンタ回路３０６の計数値は０にリセットされている。したがって、ＰＦＲＥＱはＨレベルである。

時刻ｔ５０２で、ＰＲＥＳがＬレベルとなり、各画素２０１のカウンタ回路３０６のリセットが解除される。また、ＰＥＮがＨレベルとなり、各画素２０１のカウンタ回路３０６はイネーブル状態となる。これにより露光期間が開始され、各画素２０１のカウンタ回路３０６では、ＰＬＳがＬレベルからＨレベルになった回数の計数を開始する。

また、時刻ｔ５０２から、同期信号ＳｕｂＶＤが所定の間隔ΔｔごとにＨレベルとなる。本実施形態においては、ＳｕｂＶＤがＨレベルとなる間隔（周期）を単位期間（または単位時間）として、この単位期間あたりのパルス信号ＰＬＳの出力頻度を、カウンタ回路３０６の計数値に基づいて算出する。単位期間Δｔは、信号蓄積時間（露光時間またはシャッタースピード）として設定可能な最短時間以下の期間として設定することができる。また、所定の被写体輝度について、単位期間Δｔあたりの画素のカウント回路の計数値が所定値（＜閾値Ｃｔｈ）を超えないという条件を加えて単位期間Δｔを設定してもよい。

計数値ＣＯＵＮＴは、画素領域２００内のある１つの画素２０１のカウンタ回路３０６の計数値の変化を示している。時刻ｔ５０２にＳｕｂＶＤがＨレベルとなってから所定期間後の時刻ｔ５０３にラッチ信号ＰＬＡＴがＨレベルとなる。ラッチ信号ＰＬＡＴがＨレベルになった時点におけるカウンタ回路３０６の計数値が、画像データとして画素メモリ３０７に保持されるとともに、比較器３０９によって閾値Ｃｔｈと比較される。図５に計数値を示している画素では、時刻ｔ５０３におけるカウンタ回路３０６の計数値が閾値Ｃｔｈ未満であるため、ＰＦＲＥＱはＨレベルのまま変化しない。

上述の通り、パルス頻度検出部２０５は、ＰＦＲＥＱのレベルに基づいて、画素領域２００内で計数値が閾値Ｃｔｈ以上になった画素の存在有無を検出することができる。単位期間における計数値が閾値Ｃｔｈ以上になった画素は、入射光量が大きい画素である。

本実施形態において、パルス頻度検出部２０５は、単位期間に計数値が閾値Ｃｔｈ以上になった画素が存在する（ＰＦＲＥＱがＬレベルである画素行が存在する）場合、撮影範囲に高輝度の光源が存在するものと判断する。そして、パルス頻度検出部２０５は、ＴＧ２０４に対し、画素メモリ３０７に保持されている計数値を読み出してフレームメモリへ２０６に保持させる制御信号であるＶＣＬＫ、ＨＣＬＫを出力するように指示する。例えばこの指示は、パルス頻度検出部２０５からＴＧ２０４への特定の情報の送信であってよい。

図５に示す例では、時刻ｔ５０３においていずれの画素においてもＰＦＲＥＱはＨレベルのまま変化していないものとする。これは、画素領域２００にはカウンタ回路３０６の計数値が所定の閾値Ｃｔｈ以上となった画素が存在しないことに相当する。この場合、パルス頻度検出部２０５は撮影範囲に高輝度の光源は存在しないと判定し、ＴＧ２０４に対して制御信号ＶＣＬＫ、ＨＣＬＫを出力させることは行わない。このため、画素メモリ３０７に保持されている計数値はフレームメモリ２０６には読み出されない。

そして、時刻ｔ５０４でＰＲＥＳがＨレベルになり、各画素２０１のカウンタ回路３０６の計数値が０にリセットされる。そして、直後にＳｕｂＶＤがＨレベルになるのと同時にＰＲＥＳがＬレベルに戻ることで、カウンタ回路３０６のリセットが解除され、各画素２０１のカウンタ回路３０６は次の単位期間についてのＰＬＳの計数を開始する。

時刻ｔ５０４以降、カウンタ回路３０６の計数値が閾値Ｃｔｈ以上となる画素が存在しない単位期間を複数回経過した後、時刻ｔ５０５に初めて、計数値ＣＯＵＮＴが閾値Ｃｔｈ以上の画素が発生すると、ＰＦＲＥＱがＬレベルとなる。ここでは、全ての画素のうち、図５に計数値ＣＯＵＮＴを示している画素の計数値ＣＯＵＮＴが閾値Ｃｔｈを超えたものとする。

パルス頻度検出部２０５は、ＰＦＲＥＱがＬレベルに変化したことを検出すると、ＴＧ２０４に対し、ＶＣＬＫ、ＨＣＬＫを出力するように指示する。これにより時刻ｔ５０５から垂直選択回路２０２にＴＧ２０４からＶＣＬＫが供給される。ＶＣＬＫがＨレベルになるごとに、各行のスイッチ２０９が順番にオンし、垂直選択回路２０２が画素領域２００内の画素を１行ずつ選択する。そして、ある１行が選択されている状態で、水平選択回路２０３にＴＧ２０４からＨＣＬＫが供給され、各列のスイッチ２１０が順番にオンする。これにより、選択されている行の各画素の画素メモリ３０７に保持されていた計数値が、順次読み出され、フレームメモリ２０６の一時メモリ領域に保持される。

ある時刻でＰＦＲＥＱがＨレベルからＬレベルに変化した場合、その時刻が存在する単位期間の開始時刻（より厳密にはＰＲＥＳがＬレベルに戻った時刻）が信号蓄積時間の開始時刻になる。したがって、時刻ｔ５０５でＰＦＲＥＱがＬレベルに変化した場合、信号蓄積時間は時刻ｔ５０５が存在する単位期間の開始時刻から始まる。本実施形態において、信号蓄積時間は単位期間の整数倍であり、例えばユーザあるいは自動露出制御処理によって予め定められた露光時間またはシャッタスピードに相当する。

そして、加算回路２０７は、一時メモリ領域に新たに保持された計数値と、フレームメモリ２０６内の積算メモリ領域に保持された計数値とを、アドレスごとに加算し、加算後の計数値を積算メモリ領域に再び保持する。なお、この加算処理は、読み出された計数値をフレームメモリ２０６の一時メモリ領域に保持する処理と並行して行われる。

なお、時刻ｔ５０５からｔ５０６で行う最初の加算処理では、フレームメモリ２０６内の積算メモリ領域には計数値が保持されていない。そのため、各画素から読み出された計数値を、一時メモリ領域に保持せずに積算メモリ領域に直接保持するようにしてもよい。

ＰＦＲＥＱがＬレベルである単位期間ごとにカウンタ回路３０６の計数値が画素メモリ３０７を通じて読み出される。そして、フレームメモリ２０６の積算メモリ領域に、計数値が画素ごとに順次積算される。パルス頻度検出部２０５は、計数値が読み出された単位期間の合計が信号蓄積時間に達したか否かを判定する。そして、計数値が読み出された単位期間の合計が信号蓄積時間に達したと判定された場合、パルス頻度検出部２０５はＰＦＲＥＱのレベルに関わらず、画像データをフレームメモリ２０６の積算メモリ領域から読み出す。具体的にはパルス頻度検出部２０５は、ＴＧ２０４から垂直選択回路２０２へのＶＣＬＫの供給および、水平選択回路２０３へのＨＣＬＫの供給を停止させ、ＴＧ２０４からデジタル出力部２０８へのＯＵＴＣＬＫの供給を開始させる。なお、ＰＥＮはＨレベルを維持する。これにより、各画素のカウンタ回路３０６のイネーブル状態が維持される。

なお、図５では、ＰＦＲＥＱがＬレベルである期間が信号蓄積時間に対応した期間であった場合を示している。このような場合には、ＰＦＲＥＱがＨレベルに変化した直後の時刻ｔ５０８に積算した計数値（画像データ）の読み出し動作が開始される。しかし、信号蓄積時間が経過したあともＰＦＲＥＱがＬレベルを維持している場合であっても、画像データの読み出し動作（ＯＵＴＣＬＫの供給）は時刻ｔ５０８から開始される。時刻ｔ５０９に読み出しが完了すると、フレームメモリ２０６の積算メモリ領域に保持されていた画像データは０にリセットされる。

このように、画素領域２００に配列された複数の画素に関して、少なくとも１つの画素において計数値が閾値Ｃｔｈを超える単位期間について、画素ごとに計数値が積算される。そして、計数値が積算された単位期間が信号蓄積時間に達すると、積算された計数値が画素値として読み出される。

その後、時刻ｔ５１０において代表画素のＣＯＵＮＴが閾値Ｃｔｈ以上となると、代表画素のＰＦＲＥＱが再びＬレベルとなり、次フレームの画像データの取得が開始される。時刻ｔ５０５～ｔ５０７にける１フレーム目の画像データの取得時と同様に、ＴＧ２０４からＶＣＬＫ、ＨＣＬＫが出力され、画素メモリ３０７からフレームメモリ２０６への計数値の転送および、積算（加算）処理が実行される。

時刻ｔ５１１に、計数値を読み出した単位期間の合計が信号蓄積時間に達すると、時刻ｔ５１２から、フレームメモリ２０６の積算メモリ領域の読み出し動作が開始される。

以降、動画撮影の停止信号または終了信号が検出されるまで、同様にしてフレーム画像データの取得が繰り返し実行される。時刻ｔ５１４に、最後のフレームの信号蓄積時間が経過すると、ＰＥＮはＬレベルとなる。これにより、各画素のカウンタ回路３０６がディセーブル状態になり、カウンタ回路にＰＬＳが入力されても計数されなくなる。受光部３０１へのバイアス電圧Ｖｂｉａｓの供給を停止して、受光部３０１がＰＬＳを出力しなくなるようにしてもよい。そして、ＰＲＥＳがＨレベルになり、カウンタ回路３０６の計数値が０にリセットされる。ここでは、ＰＦＲＥＱもＨレベルとなり、パルス頻度検出部２０５からＴＧ２０４への制御信号は送出されなくなる。その後、時刻ｔ５１５～ｔ５１６に読み出し処理が行われ、最終フレームの画像データが出力される。

このように、画素領域２００に配置された複数の画素のうち、１つ以上の画素のカウンタ回路３０６の計数値が所定の閾値以上になった単位期間について計数値を画素ごとに積算する。そして、計数値を積算した単位期間の合計が信号蓄積時間に達すると、積算した計数値を１フレームの画像データとして読み出す。そのため、例えばフリッカ光源やフリッカ光で照明されている被写体を撮影している場合であっても、フリッカ光の輝度が一定以上である期間の信号を得ることができる。したがって、フリッカ光の影響を抑制した画像を取得することができる。

したがって、仮に信号蓄積時間（露光時間またはシャッタースピード）が、フリッカ光の輝度変化周期より短い場合であっても、フリッカ光の輝度変化の影響を抑制した画像を取得することができる。動画撮影や連写撮影時には画像間の輝度差を抑制することが可能であるため、特に有利である。

なお、図５の例では、フレームメモリ２０６からデジタル出力部２０８を介した１フレーム分の画像データの出力に要する時間がフリッカ光の周期よりも十分短く、フリッカ周期ごとに画像データが取得可能であった。しかし、画像データの出力に要する時間がフリッカ光の周期より長い場合には、信号蓄積時間が複数のフリッカ周期に跨がるように計数値の積算を行うようにして、画像データの出力に必要な時間を確保するようにしてもよい。この動作については図７を用いて後述する。

また、図５に示した読み出し動作は、動画撮影時や連写時に限らず、単写モードにおいても実施可能である。単写モードでの撮影の場合、時刻ｔ５０８において、時刻ｔ５１４と同様の処理を実行すればよい。

次に、本実施形態のカメラ１００の撮影動作について、図６のフローチャートを用いて説明する。
Ｓ６０１で制御回路１０６は、被写体輝度を測定する。被写体輝度は、撮影スタンバイ時に撮影されるライブビュー表示用の動画像を用いて取得してもよいし、専用の測光センサを用いて取得してもよい。また、どのような輝度情報を被写体輝度として求めてもよい。例えば全体および／または特定の領域についての、平均輝度および／または最大輝度であってよい。自動露出制御（ＡＥ）に用いる輝度の評価値を、被写体輝度として用いてもよい。フリッカ光が存在する可能性を踏まえ、複数フレームもしくは所定の期間について経時的に被写体輝度を測定してもよい。そして、制御回路１０６は、被写体輝度に周期的な経時変化が見られる場合にはフリッカ光が存在するものと判定し、フリッカ光の輝度変化特性を検出してもよい。

Ｓ６０２で制御回路１０６は、Ｓ６０１で測定された被写体輝度やユーザ設定などに基づいて、撮影条件（感度、絞り値、信号蓄積時間（シャッタースピード）など）を決定する。これは公知の自動露出制御処理であってよい。

Ｓ６０３で制御回路１０６は、Ｓ６０２で決定した撮影条件のうち、信号蓄積時間が所定時間未満（ここでは一例として１／１００秒とする）か否かを判定する。制御回路１０６は、信号蓄積時間が所定時間未満と判定された場合にはＳ６０４へ、判定されない場合にはＳ６０６へ、それぞれ処理を進める。ここで用いる所定時間は、撮影モードなどに応じて異なる値であってよい。例えばフリッカ光として想定される光源の輝度変化の周期を所定時間として用いてもよい。

Ｓ６０４で制御回路１０６は、Ｓ６０１で測定された被写体輝度に基づいて閾値Ｃｔｈを決定し、各画素に設定する。例えば制御回路１０６は、経時的に測定した被写体輝度の最大値より所定割合小さい輝度値に相当する計数値を閾値Ｃｔｈとして決定することができる。なお、閾値Ｃｔｈは輝度の高い領域の有無を判別するための閾値として任意の方法で決定することができる。

Ｓ６０５で制御回路１０６は、撮影開始信号ＳＴＡＲＴの検出とともに、図５を用いて説明した蓄積および読み出し動作を開始する。

一方、Ｓ６０６で制御回路１０６は、図５を用いて説明した信号読み出し動作は行わず、従前の蓄積および読み出し動作を開始する。従前の蓄積および読み出し動作は、撮影開始信号ＳＴＡＲＴの検出からパルス信号ＰＬＳの計数を開始し、信号蓄積時間が経過した時点における各画素における計数値を画像データとして読み出す動作であってよい。

Ｓ６０５もしくはＳ６０６において１フレームの画像データを取得したらに、Ｓ６０７において制御回路１０６は、撮影モードが連続撮影モード（連写モードまたは動画撮影モード）であるか否かを判定する。制御回路１０６は、連続撮影モードと判定された場合にはＳ６０８に、判定されない場合（単独撮影モードである場合）にはＳ６０９に処理を進める。

Ｓ６０８で制御回路１０６は、連続撮影の終了条件が満たされたか否かを判定する。終了条件は例えば連続撮影の終了指示の検出や、連続撮影の継続指示の消滅の検出などであってよい。連続撮影の終了条件が満たされたと判定されればＳ６０９へ処理を進め、判定されなければＳ６０３に処理を戻す。
Ｓ６０９で制御回路１０６は、蓄積および読み出し動作を終了する。

なお、上述したように、Ｓ６０４における閾値Ｃｔｈは、パルス頻度の経時変化に基づいて決定することもできる。例えば図５における複数の単位期間に渡ってパルス頻度（計数値）の求め、その経時変化に基づいてフリッカー光の輝度成分を測定し、フリッカー光の輝度成分を除去した輝度値に基づいて閾値Ｃｔｈを決定してもよい。また、制御回路１０６（またはパルス頻度検出部２０５）は、パルス頻度（計数値）に周期的な経時変化が見られる場合にはフリッカ光が存在するものと判定し、フリッカ光の輝度変化特性を検出してもよい。

以上説明したように、本実施形態によれば、フォトンカウンティング方式の撮像素子の画素領域に配置された複数の画素のうち、１つ以上の画素の計数値が所定の閾値以上になった単位期間について計数値を画素ごとに積算する。そして、計数値を積算した単位期間の合計が信号蓄積時間に達すると、積算した計数値を１フレームの画像データとして読み出す。そのため、例えばフリッカ光源やフリッカ光で照明されている被写体を撮影している場合であっても、フリッカ光の輝度が一定以上である期間の信号を得ることができる。したがって、フリッカ光の影響を抑制した画像を取得することができる。

（第１実施形態の別の形態）
上述したように、図５のタイミングチャートは、信号蓄積時間がフリッカ光の輝度変化周期よりも短い場合の動作を示していた。信号蓄積時間がフリッカ光の輝度変化周期より長い場合の信号蓄積および読み出し動作に関するタイミングチャートを図７に示す。例えば、図６におけるＳ６０６において、従前の蓄積および読み出し動作の代わりに実行することができる。

なお、以下では図５を用いて説明した動作との違いについて重点的に説明し、共通する動作に関しては極簡単な説明にとどめる。
時刻ｔ７０１～ｔ７０７の動作は、図５の時刻ｔ５０１～ｔ５０７までの動作と同様である。ただし、この期間において計数値を積算した期間Ａは、設定された信号蓄積時間よりも短い。したがって、時刻ｔ７０７でＣＯＵＮＴが閾値Ｃｔｈ未満になり、ＰＦＲＥＱがＨレベルになっても、ＶＣＬＫおよびＨＣＬＫの出力が停止されるだけで、フレームメモリ２０６の積算メモリ領域からの読み出しは実行しない。

その後、時刻ｔ７０８においてＣＯＵＮＴが再び閾値Ｃｔｈ以上であると判定されると、計数値の積算が再開される。時刻ｔ７０７～ｔ７０８の期間は、パルス信号ＰＬＳの出力頻度が低く、フリッカ光の輝度が低い期間に相当する。

時刻ｔ７０８以降、ＰＦＲＥＱがＬレベルを維持している状態で、時刻ｔ７０９に、計数値を積算した単位期間の合計（期間Ａと期間Ｂとの合計）が信号蓄積時間に達したとする。これに応じてパルス頻度検出部２０５は、時刻ｔ７１０にＴＧ２０４から垂直選択回路２０２へのＶＣＬＫの供給および、水平選択回路２０３へのＨＣＬＫの供給を停止させる。そして、パルス頻度検出部２０５は、時刻ｔ７１１に、ＴＧ２０４からデジタル出力部２０８へのＯＵＴＣＬＫの供給を開始させる。これにより、フレームメモリ２０６の積算メモリ領域に保持された画像データをデジタル出力部２０８から撮像素子１０２の外部に出力し、時刻ｔ７１２で出力が完了する。

時刻ｔ７１２～ｔ７１５の動作は、図５の時刻ｔ５１３～ｔ５１６までの動作と同様である。

このように、信号蓄積時間がフリッカ光の輝度変化周期よりも長い場合であっても、パルスの頻度が高い区間の計数値を積算する動作を輝度変化周期の複数周期に渡って実行することにより、フリッカ光の影響を抑制した画像データを取得することができる。

●（第２実施形態）

次に、本発明の第２実施形態について図８～図１１を用いて説明する。
図８は本実施形態における撮像素子１０２’の全体構成を、図９は撮像素子１０２’に配置された画素８０１の回路図をそれぞれ示す。図８および図９において、第１実施形態の撮像素子１０２および画素２０１と同じ構成については図２および図３と同じ参照符号を付し、説明を省略する。本実施形態では、第１実施形態におけるパルス頻度検出部、加算回路、および積算した計数値（画像データ）を保持するメモリを画素ごとに備えた構成を有する。

画素８０１は、受光部３０１、計数部９０２、積算部９０３を有する。
積算部９０３は、加算回路９０５および積算メモリ９０６を有する。加算回路９０５および積算メモリ９０６は、それぞれ図２の加算回路２０７、フレームメモリ２０６の積算メモリ領域に相当する。積算メモリ９０６はカウンタ回路３０６および画素メモリ３０７のビット幅よりも十分大きなビット幅を備えることができる。

計数部９０２は、カウンタ回路３０６、画素メモリ３０７、比較器３０９、およびパルス頻度検出部９０４を有する。比較器３０９が出力するＰＦＲＥＱは、パルス頻度検出部９０４に供給される。本実施形態の計数部９０２は反転バッファ３０８を有さないため、Ｃｔｈと計数値との大小関係とＰＦＲＥＱのレベルとの関係が第１実施形態とは逆転していることに留意されたい。つまり、本実施形態では計数値がＣｔｈ以上の場合にＰＦＲＥＱがＨレベルになり、Ｃｔｈ未満の場合にＰＦＲＥＱがＬレベルになる。

パルス頻度検出部９０４は、ＰＦＲＥＱがＬレベルからＨレベルに変化すると、加算回路９０５に加算信号ＰＡＤＤを出力する（加算信号ＰＡＤＤをＨレベルにする）。加算回路９０５はＰＡＤＤを検出すると、画素メモリ３０７に保持された計数値と積算メモリ９０６に保持された計数値とを加算し、加算結果を再び積算メモリ９０６に格納する。これにより、積算メモリ９０６にはＰＡＤＤが出力された単位期間に計数された計数値が積算される。各画素の積算メモリ９０６に保持された計数値（画像データ）は、信号蓄積時間終了後に、垂直選択回路２０２と水平選択回路２０３によって、順次デジタル出力部２０８に出力される。この動作は第１実施形態と同様であるため、詳細な説明は省略する。

図１０は、撮像素子１０２’を積層構造によって実現する際のチップレイアウトの一例であり、第１実施形態と同様の構成については図４と同じ参照数字を付して説明を省略する。撮像素子１０２’は、受光部基板１００１と計数部基板１００２とが積層された構成を有する。基板間は、シリコン貫通電極などを用いて電気的に接続される。受光部基板１００１には、画素領域２００のうち、各画素８０１の受光部３０１が行列状に配置される。計数部基板１００２には、各画素８０１の計数部９０２と積算部９０３とが行列状に配置される。また、計数部基板１００２には、垂直選択回路２０２および水平選択回路２０３、ＴＧ２０４、デジタル出力部２０８も配置される。

受光部３０１と、計数部９０２および積算部９０３とを別々の基板に形成することで、各画素８０１の受光面積を大きくすることができる。これにより、受光部の開口率の低下を防止できる。なお、図１０に示すような積層構造とする代わりに、撮像素子１０２’の全ての回路を同一基板上に形成してもよい。

次に、本実施形態における撮像素子１０２’の信号蓄積および読み出し動作について、図１１のタイミングチャートを用いて説明する。なお、以下では図５を用いて説明した第１実施形態における動作との違いについて重点的に説明し、共通する動作に関しては極簡単な説明にとどめる。

時刻ｔ１１０１～ｔ１１０５の動作は、図５の時刻ｔ５０１～ｔ５０５の動作と同様である。なお、上述したように、ＰＦＲＥＱのレベルは第１実施形態とは反転している。

時刻ｔ１１０５において計数値ＣＯＵＮＴが閾値Ｃｔｈ以上となると、代表画素のＰＦＲＥＱがＨレベルとなる。これを受けてパルス頻度検出部９０４は、加算信号ＰＡＤＤをＨレベルにする。ＰＡＤＤがＨレベルになったことを検出すると、加算回路９０５は、画素メモリ３０７に保持された計数値を、積算メモリ９０６に保持された計数値た積算する加算処理を実行する。なお、時刻ｔ１１０５～ｔ１１０６で行う最初の加算処理では、積算メモリ９０６には計数値が保持されていない（値が０である）。そのため、画素メモリ３０７から読み出された計数値を単純に積算メモリ９０６に保持してもよい。

本実施形態ではパルス頻度検出部９０４が画素ごとに設けられているため、第１実施形態と異なり、計数値を積算するか否かの判断は画素ごとに独立して実施される。したがって、単位期間ごとに、計数値が積算される画素とされない画素とが混在しうる。

単位期間ごとにカウンタ回路３０６の計数値が画素メモリ３０７を通じて読み出される。そして、可算信号ＰＡＤＤがＨレベルである単位期間ごとに積算メモリ９０６に計数値が積算される。パルス頻度検出部９０４は、計数値が読み出された単位期間の合計が信号蓄積時間に達したか否かを判定する。そして、計数値が読み出された単位期間の合計が信号蓄積時間に達したと判定された場合、パルス頻度検出部９０４はＰＦＲＥＱのレベルに関わらず、加算信号ＰＡＤＤをＬレベルにして、加算処理を終了させる。また、パルス頻度検出部９０４は、加算処理を終了したことをＴＧ２０４に通知する。なお、ＰＥＮはＨレベルを維持する。これにより、各画素のカウンタ回路３０６のイネーブル状態が維持される。

図１１の例も図５と同様、ＰＦＲＥＱがＨレベルである期間が信号蓄積時間に対応した期間であった場合を示している。このような場合には、ＰＦＲＥＱがＬレベルに変化した直後の時刻ｔ１１０７に積算した計数値（画像データ）の読み出し動作が開始される。しかし、信号蓄積時間が経過したあともＰＦＲＥＱがＨレベルを維持している場合であっても、画像データの読み出し動作は時刻ｔ１１０７から開始される。

ＴＧ２０４は画素領域２００内のいずれかの画素８０１のパルス頻度検出部９０４から加算処理の終了が通知されたか監視している。時刻ｔ１１０７でＴＧ２０４が代表画素のパルス頻度検出部９０４から加算処理の終了を通知されると、垂直選択回路２０２へのＶＣＬＫの供給を開始する。ＶＣＬＫがＨレベルになる毎に、各行のスイッチ２０９が順番にオンし、垂直選択回路２０２が画素領域の画素を１行ずつ選択していく。そして、任意の１行が選択されると、水平選択回路２０３にＴＧ２０４からＨＣＬＫが供給され、各列のスイッチ２１０が順番にオンする。これにより、選択行の画素の積算メモリ９０６に保持されていた計数値（画像データ）が順次デジタル出力部２０８に出力される。

ＴＧ２０４は時刻ｔ１１０９になるとデジタル出力部２０８へのＯＵＴＣＬＫの供給を開始する。これにより、１フレーム分の画像データが撮像素子１０２の外部に順次出力される。時刻ｔ１１１０で１フレーム分の出力が完了する。

その後、時刻ｔ１１１１において再び計数値ＣＯＵＮＴが閾値Ｃｔｈ以上となると、時刻ｔ１１０５～ｔ１１０７と同様の動作により、２フレーム目について蓄積および読み出しが実行される。

以降、動画撮影の停止信号または終了信号が検出されるまで、同様にしてフレーム画像データの取得が繰り返し実行される。時刻ｔ１１１６に、最後のフレームの信号蓄積時間が経過すると、ＰＥＮはＬレベルとなる。これにより、各画素のカウンタ回路３０６がディセーブル状態になり、カウンタ回路にＰＬＳが入力されても計数されなくなる。受光部３０１へのバイアス電圧Ｖｂｉａｓの供給を停止して、受光部３０１がＰＬＳを出力しなくなるようにしてもよい。そして、ＰＲＥＳがＨレベルになり、カウンタ回路３０６の計数値が０にリセットされる。ここでは、ＰＦＲＥＱもＬレベルとなり、パルス頻度検出部９０４からの加算信号ＰＡＤＤもＬレベルとなる。その後、時刻ｔ１１１７～ｔ１１１８に読み出し処理が行われ、最終フレームの画像データが出力される。

なお、本実施形態においても、第１実施形態と同様の撮影シーケンス（図６）を実施することができる。また、第１実施形態（図７）と同様に、信号蓄積時間を輝度変化周期の複数周期に渡って分散させることができる。また、本実施形態の蓄積および読み出し動作を単写モードで実行することも可能である。

本実施形態においても、第１実施形態と同様の効果を得ることができる。なお、本実施形態では第１実施形態と異なり、計数値を積算するか否かの判断は画素ごとに独立して実施される。したがって、画像データの読み出しが開始される時点において、全ての画素において信号蓄積時間に相当する数の単位期間について計数値が積算されているとは限らない。そのため、例えば加算処理において、加算回路９０５が積算メモリ９０６に画像データを格納する際、信号蓄積を行った単位期間の数（総信号蓄積時間）に関する情報を関連づけるように構成することができる。これにより、撮像素子１０２’から読み出した画像データのそれぞれに関連づけられた総信号蓄積時間の情報を用いて、画素間の信号蓄積時間の差を補償することが可能になる。

●（第３実施形態）
次に、本発明の第３実施形態について図１２と図１３を用いて説明する。
なお、本実施形態は、撮像素子の構成以外は第１実施形態の構成と同様の構成で実現可能であるため、共通する構成についての説明は省略する。また、本実施形態の信号蓄積および読み出し動作についても第１実施形態と同様の動作であってよいため、共通する動作についての説明は省略する。

第１実施形態の撮像素子１０２では、画素行ごとにＰＦＲＥＱをパルス頻度検出部２０５に入力する構成であったが、蓄積および読み出し動作は画素領域２００の全ての画素について共通であった。本実施形態の撮像素子１０２”では、画素領域２００を複数に分割したｎ×ｍ画素（ｎ，ｍの少なくとも一方は複数）の画素ブロック単位でＰＦＲＥＱを共通に接続した構成を有する。

そして、画素ブロックごとにフリッカ光の有無を検出するとともに、フリッカ光の検出有無に応じて、画素ブロックごとに信号蓄積および読み出し動作を制御する。したがって、撮影範囲に輝度変化の周期および／または位相が異なる複数種のフリッカ光源が存在する場合でも、フリッカ光源の影響を低減した画像を得ることが可能である。

図１２は本実施形態における撮像素子１０２”における画素領域２００とパルス頻度検出部１２０３との接続関係を示す図である。画素領域２００とパルス頻度検出部１２０３以外の構成は図２に示した第１実施形態と同一であってよいため省略してある。また、画素領域２００には、説明を簡単にするため、一部の画素（６×６画素）についてのみ記載している。画素２０１の構成は第１実施形態（図３）と同様であってよい。なお、画素ブロックの大きさは均等でなくてもよい。

画素領域２００に配置された複数の画素２０１は、画素ブロック１２０１ごとに、ＰＦＲＥＱが共通の配線１２０２に接続される。そして、パルス頻度検出部１２０３には、それぞれの画素ブロック１２０１から別個に配線１２０２が接続されている。

パルス頻度検出部１２０３では、例えばＰＦＲＥＱのレベル変化の周期に基づいて画素ブロックごとにフリッカ光の有無およびフリッカ光の輝度変化特性（例えば周期または周波数）を検出する。そして、パルス頻度検出部１２０３は、フリッカ光が存在すると判定した画素ブロックについては、例えば第１実施形態で説明したような信号蓄積および読み出し動作を行うようにＴＧ２０４に制御信号を送出する。また、パルス頻度検出部１２０３は、フリッカ光が存在しないと判定した画素ブロックについては従前の蓄積および読み出し動作を行うようにＴＧ２０４に制御信号を送出する。

図１３は、複数種のフリッカ光源が存在する撮影範囲１３００の一例を示している。撮影範囲１３００には、領域１３０１～１３０３に存在する交通標識、道路信号、および自動車のランプにフリッカ光源がそれぞれ存在し、輝度変化特性の周期および／または位相が異なっているものとする。

ここで、撮影範囲１３００を分割した単位領域１３１０が１つの画素ブロックに対応しているものとすると、領域１３０１～１３０３を構成する単位領域に該当する画素ブロックについてはフリッカ光が存在すると判定される。また、他の画素ブロックについてはフリッカ光が存在しないと判定される。例えば図６で説明した撮影シーケンスのＳ６０３においてこのフリッカ光の有無の判定を画素ブロックごとに行い、フリッカ光が存在すると判定されればＳ６０４に、判定されなければＳ６０６に進むようにすることができる。

信号蓄積時間によっては、フリッカ光が存在すると判定された画素ブロックにおいて実際に計数値が積算された単位期間の数が信号蓄積時間に満たないうちに画像データが読み出されることが起こりうる。そのため、少なくともフリッカ光が存在すると判定された画素ブロックから読み出された画像データについては、計数値が積算された単位期間の数を例えば画像データに関連づけておき、後段の処理でデータレベルを補正するために用いることができる。あるいは、画素ブロックごとに、信号蓄積時間に達するまで計数値の積算を継続するようにしてもよい。

本実施形態によれば、画素ブロックごとにフリッカ光の存在有無を判定し、判定結果に応じて画素ブロックごとに蓄積および読み出し動作を制御するようにした。そのため、撮影範囲に異なる種類のフリッカ光源が存在する場合であっても、それぞれのフリッカ光源によるフリッカ光の影響を抑制した画像データを取得することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１０２、１０２’、１０２”…撮像素子、１０６…制御回路、２００…画素領域、２０１…画素、２０２…垂直選択回路、２０３…水平選択回路、２０４…タイミング発生回路（ＴＧ）、２０５、９０４、１２０３…パルス頻度検出部

Claims (6)

1. フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、２次元配列された画素領域と、
   前記パルス信号の出力頻度が予め定められた閾値以上となる周期に基づいて、撮影範囲におけるフリッカ光源の存在有無を検出する検出手段と、
   を有することを特徴とする撮像装置。
2. 前記パルス信号の出力頻度が、予め定められた単位期間あたりの前記計数部における計数値であることを特徴とする請求項１に記載の撮像装置。
3. フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、２次元配列された画素領域と、
   前記計数部における計数値の積算値を画素ごとに格納するメモリと、
   前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御する制御手段と、を有し、
   前記画素領域が複数の画素ブロックに分割され、
   前記制御手段は、
   前記画素ブロックごとに、前記パルス信号の出力頻度に基づいて、該画素ブロックの撮影範囲におけるフリッカ光源の存在有無を検出し、
   フリッカ光源の存在が検出された画素ブロックについては、前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御し、
   フリッカ光源の存在が検出されない画素ブロックについては、前記パルス信号の出力頻度に関わらず、前記計数部における計数値を積算するか否かを制御する、
   ことを特徴とする撮像装置。
4. 前記制御手段は、フリッカ光源の存在が検出された画素ブロックについては、前記メモリに格納される積算値に、前記計数値を積算した単位期間の数を関連づけることを特徴とする請求項３に記載の撮像装置。
5. フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、２次元配列された画素領域を有する撮像装置の制御方法であって、
   検出手段が、前記パルス信号の出力頻度が予め定められた閾値以上となる周期に基づいて、撮影範囲におけるフリッカ光源の存在有無を検出する検出工程を有することを特徴とする撮像装置の制御方法。
6. フォトンの入射に応じてパルス信号を出力する受光部と、前記パルス信号を計数する計数部とを有する画素が、２次元配列された画素領域と、
   前記計数部における計数値の積算値を画素ごとに格納するメモリと、を有し、
   前記画素領域が複数の画素ブロックに分割されている撮像装置の制御方法であって、
   制御手段が、前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御する制御工程を有し、
   前記制御工程は、
   前記画素ブロックごとに、前記パルス信号の出力頻度に基づいて、該画素ブロックの撮影範囲におけるフリッカ光源の存在有無を検出することと、
   フリッカ光源の存在が検出された画素ブロックについては、前記パルス信号の出力頻度に基づいて、前記計数部における計数値を積算するか否かを制御することと、
   フリッカ光源の存在が検出されない画素ブロックについては、前記パルス信号の出力頻度に関わらず、前記計数部における計数値を積算するか否かを制御することと、
   を含むことを特徴とする撮像装置の制御方法。

Images