JP7007965B2 - 撮像素子およびそれを有する電子機器 - Google Patents

Description

本発明は、撮像素子およびそれを有する電子機器に関する。

従来、撮像装置の動きによる像ブレを補正する方法として、電子式の振れ補正が知られている。電子式の振れ補正は機械的な駆動を必要としないため、小型化や低コスト化の点で光学式の振れ補正より優位である。

また、複数の画像を加算することにより、ダイナミックレンジの広い画像を生成することが知られている（特許文献１）。特許文献１には、画像を加算する際、画像の位置合わせを行うことにより、加算画像における像ブレを補正することが開示されている。

特開２０１０－１９３５２４号公報

しかしながら、特許文献１の構成では、画像を加算するためのフレームメモリを撮像素子に設ける必要があるため、回路規模が増大する。画像の解像度（１フレームあたりの画素数）は増加する一方であるため、フレームメモリの容量も今後増加することが予想される。

本発明は、回路規模の増大を抑制しつつ、ブレを補正した画像を容易に得ることが可能な撮像素子を提供することを目的の１つとする。

上述の目的は、複数の画素が配置された撮像素子であって、複数の画素のそれぞれが、単一フォトンの入射を検出可能な受光素子と、信号に含まれるパルスをカウントするカウンタと、を備え、撮像素子はさらに、検出されたブレに基づいて、カウンタに供給する受光素子の信号を切り替えるか、カウンタのカウント値を、他の画素が有するカウンタのカウント値に置き換える制御手段を有する、ことを特徴とする撮像素子によって達成される。

本発明によれば、回路規模の増大を抑制しつつ、ブレを補正した画像を容易に得ることが可能な撮像素子を提供することができる。

実施形態に係る撮像装置の機能構成例を示すブロック図。 第１の実施形態に係る撮像素子の構成例を示す図。 第１の実施形態に係る画素部の構成例を示す回路図。 第１の実施形態に係る受光素子の構成例および画素部の有効画素領域を示す図。 第１の実施形態に係る撮像素子の構造例を示す模式図。 第１の実施形態に係るブレ補正駆動に関する図。 第１の実施形態に係る撮像素子の駆動方法に関するタイミングチャート。 第２の実施形態に係る撮像素子の構成例を示す図。 第２の実施形態に係る画素部の構成例を示す回路図。 第２の実施形態に係る画素部の有効画素領域および注目領域と、ブレ補正駆動に関する図。 第２の実施形態に係る撮像素子の駆動方法に関するタイミングチャート。

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。なお、以下では本発明を撮像素子を有する電子機器の一例としての撮像装置に適用した実施形態について説明するが、本発明は撮像素子を有しうる任意の電子機器に適用することができる。このような電子機器には撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。

●＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の概略的な機能構成例を示すブロック図である。撮影レンズ１０１はレンズ群および絞りを備え、被写体の光学像を撮像素子１００の撮像面に形成する。また、撮影レンズ１０１は可動レンズや絞りを駆動する機構（例えばモータやアクチュエータ）を備える。絞りはメカニカルシャッタとして機能してもよい。

撮像素子１００は、複数の画素を有し、各画素が有する光電変換部により、撮影レンズ１０１が形成する光学像を画像データに変換する。本実施形態では、撮像素子１００は単一フォトンを検出可能な光電変換部を用い、Ａ／Ｄ変換を行うことなく直接デジタル値の画素値を取得することができる。撮像素子１００の詳細については後述する。

レンズ制御部１０２は制御部１０３の指示に従い、撮影レンズ１０１が有するフォーカスレンズや絞りの駆動を制御する。

制御部１０３は例えばＣＰＵのようなプログラマブルプロセッサであり、予め記憶されたプログラムを例えばメモリ部１０５に読み込んで実行することにより、撮像装置の各部の動作を制御し、撮像装置の機能を実現する。撮像素子１００の露光および読み出し動作、撮像素子１００から読み出した画像データに対する画像処理、画像データに基づく自動露出制御や自動焦点検出などは制御部１０３が実行する。また、制御部１０３は、撮像装置の動きを検出するブレ検出部１０４の動作も制御する。なお、制御部１０３が実行するプログラムは、メモリ部１０５に含まれる不揮発性メモリに記憶しておくことができる。

ブレ検出部１０４は例えば加速度センサを有し、撮像装置の動きに応じたブレ検出信号を撮像素子１００に供給する。撮像素子１００はブレ検出信号を基に、ブレを補正するように駆動される。ブレ検出部１０４は、例えば１００ｋＨｚ程度の間隔で加速度をサンプリングし、１０ｋＨｚ～２０ｋＨｚの頻度でブレ検出信号を撮像素子１００に供給する。

メモリ部１０５は不揮発性メモリと揮発性メモリを有し、不揮発性メモリにはプログラム、設定値、ＧＵＩデータなどを記憶する。また、不揮発性メモリはプログラムの実行時にはシステムメモリとして用いられたり、画像データを一時的に保存するバッファメモリとして用いられたり、表示用メモリとして用いられたりする。

表示部１０６は例えばＬＣＤやＯＬＥＤであり、撮像画像、記録部１０７から読み出した画像、撮像装置の設定値や状態などの各種情報、ＧＵＩなどを表示する。撮影スタンバイ時や動画記録中には表示部１０６にライブビュー画像を表示させ、電子ビューファインダとして機能させることもできる。

記録部１０７は撮影によって得られた画像データを記録する記録媒体や記憶装置である。記録部１０７が用いる代表的な記録媒体は半導体メモリカードである。

操作部１０８はユーザが撮像装置に指示を入力するためのデバイスの総称である。操作部１０８には電源スイッチ、シャッタボタン、メニューボタン、方向キー、決定ボタン、記録／再生モード切り替えスイッチ、撮影モード選択ダイヤルなどが含まれるが、これらは単なる例示である。表示部１０６がタッチディスプレイの場合、表示部１０６は操作部１０８としても機能する。制御部１０３は操作部１０８のユーザ操作を監視し、検出した操作に応じた動作を実行する。

次に、図２を参照して、撮像素子１００の構成例について説明する。撮像素子１００は、複数の画素２００が行列状に配置された画素部２０１と、ブレ補正制御部２０２と、読み出し回路２０３と、信号処理回路２０４と、タイミング制御回路２０５とを有する。

画素２００は、単一フォトンを検出可能な光電変換部を有し、入射したフォトンの数に応じたデジタル値を出力する。また、詳細は後述するが、画素部２０１は電子式ブレ補正を実行可能である。

ブレ補正制御部２０２は、ブレ検出部１０４より供給されるブレ検出信号に基づいて、撮影レンズ１０１が撮像素子１００の撮像面に形成する被写体像がブレにより移動する方向および量を算出する。そして、ブレ補正制御部２０２は、電子式ブレ補正のために用いるズレ方向およびズレ量を算出し、ズレ方向およびズレ量に基づく選択信号を画素部２０１に供給する。

読み出し回路２０３は、画素部２０１に配置された画素２００の値（画素データ）を１行ごとに順次読み出し、信号処理回路２０４に出力する。
信号処理回路２０４は、読み出された画素データに対し、黒レベル補正等の各種補正を行い、補正された画素データを制御部１０３に出力する。
タイミング制御回路２０５は、画素部２０１、読み出し回路２０３、および信号処理回路２０４の駆動タイミングを制御する制御信号を供給する。

次に、図３を参照して、撮像素子１００の画素部２０１の構成例について説明する。図３には画素部２０１のうち、水平方向３画素、垂直方向３画素の領域の構成について示している。同様の構成が画素部２０１全体に設けられている。

個々の画素２００は同じ構成を有し、受光素子（光電変換部）３００、選択回路３０１、およびカウンタ３０２を備える。受光素子３００は、例えばガイガーモードで動作するアバランシェフォトダイオード（ＡＰＤ）であり、単一フォトンが入射する都度、出力電位がパルス状に変化する。

ここで、図４（ａ）を参照して、画素２００の受光素子３００の構成例について説明する。受光素子３００はアバランシェフォトダイオード（ＡＰＤ）４００、クエンチ抵抗４０１、波形整形回路４０２を有する。ＡＰＤ４００は、クエンチ抵抗４０１を介して逆バイアス電圧Ｖ_ＡＰＤと接続されており、フォトンが入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗４０１を介して排出される。波形整形回路４０２は、フォトンの入射に応じた電荷の生成および排出による電位変化を、増幅およびエッジ検出によって矩形パルスとして出力する。

選択回路３０１には、同じ画素２００に配置される受光素子３００の出力と、周りを取り囲む８つの画素２００の受光素子３００の出力信号が入力され、選択信号に従って一つの信号を選択してカウンタ３０２に出力する。

カウンタ３０２は入力信号に含まれるパルスの数をカウントする。つまり、カウンタ３０２のカウンタ値は、選択回路が選択した信号を出力している受光素子３００に入射したフォトンの数を表す。

上述のように、選択回路３０１は、９つの受光素子の出力信号のうち、ブレ補正制御部２０２から供給される選択信号に従って１つを選択してカウンタ３０２に出力する。選択信号は画素部２０１に配置される全ての画素２００に対して供給されるため、個々の画素２００において、選択回路３０１は、９つの信号のうち同じ１つを選択する。例えば、あるタイミングにおいて、各画素２００のカウンタ３０２は、自身が配置される画素２００内の受光素子３００の出力信号に含まれるパルスの数をカウントする。一方で、別のタイミングでは、各画素２００のカウンタ３０２は、自身が配置される画素２００の左上に隣接する画素２００内の受光素子３００の出力信号に含まれるパルスの数をカウントする。

このように、本実施形態では、ブレ補正制御部２０２から提供する選択信号により、個々の画素２００のカウンタ３０２がパルスの数をカウントする対象の受光素子３００を、周囲の８つの隣接画素を含む９つの画素の受光素子３００から選択することができる。つまり、個々の画素２００は、周囲の８つの隣接画素もしくは自身が有する受光素子３００に入射したフォトンの数を、自身の受光素子３００に入射したフォトンの数としてカウントすることができる。これにより、水平方向、垂直方向、斜め４５度方向に、１画素ピッチ分、画像の読み出し範囲をずらすことができる。したがって、ブレ補正制御部２０２から、ブレ検出信号が表す装置の動きを打ち消す方向に画像の読み出し範囲をずらすように選択信号を供給することにより、電子式ブレ補正を実現できる。

カウンタ３０２は、タイミング制御回路２０５より供給される制御信号により、カウント値のリセット、カウントの有効／無効の切り替え、カウント値の出力の有無に関して制御される。カウンタ３０２が出力するカウント値は、垂直方向に配置される複数の画素２００に共通して接続された垂直出力線３０３を通じて読み出し回路２０３に入力する。

なお、画素部２０１に配置される画素２００のうち、最外周に位置する画素２００は、隣接画素が存在しない方向がある。そのため、最外周に位置する画素２００が有する選択回路３０１が有する８つの入力のうち、存在しない隣接画素に対応する入力は接地される。接地された入力が選択信号によって選択された場合、カウンタ３０２にはパルスが入力されないため、カウント値は初期値から変化しない。

そのため、撮像画像を構成する最外周の画素についても画素値が得られるよう、画素部２０１には撮影画像の画素数よりも多くの画素２００を設けている。図４（ｂ）は、画素部２０１に配置された画素２００のうち、撮像画像を構成する画素信号を出力する画素（有効画素）が配置される有効画素領域５００を模式的に示している。有効画素領域５００の周囲には、それぞれ１行また１列分以上のブレ補正用画素が配置されている。これにより、有効画素領域５００の最外周に位置する画素についても、周囲に隣接する少なくとも８つの画素が存在するようになり、選択回路３０１の８つの入力はいずれも接地されなくなる。したがって、どのような選択信号が入力されても、全ての有効画素で適切な画素値（カウント値）が得られる。

次に、図５を参照して、撮像素子１００の構造例について説明する。図５は、撮像素子１００を半導体チップを積層した構造で実施する場合の構成例を模式的に示す斜視図である。図３に示したように、本実施形態の撮像素子１００は、個々の画素２００が多くの構成要素を含んでおり、特にカウンタ３０２は多ｂｉｔのカウンタで構成されるため、回路規模が大きくなる。複数の半導体チップを画素単位で接続した積層構造で撮像素子１００を実施すると、撮像素子１００の実装面積や配線長を削減することができるため、有利である。

撮像素子１００は上部基板６００と下部基板６０１とから構成され、画素２００のうち受光素子３００は上部基板６００に、選択回路３０１およびカウンタ３０２は下部基板６０１に設けられる。下部基板６０１にはさらに、ブレ補正制御部２０２、読み出し回路２０３、信号処理回路２０４、タイミング制御回路２０５が設けられる。個々の画素２００において、上部基板６００に設けられる受光素子３００と、下部基板６０１に設けられる選択回路３０１とは、図示しない電極によって電気的に接続される。

このように構成することで、撮像素子１００は、ＡＰＤ４００にフォトンを入射させるための十分な開口面積を上部基板６００側に確保しつつ、下部基板６０１側ではカウンタ３０２を配置する面積を確保することができる。なお、撮像素子１００は、目的や用途に応じて他の構造で実現してもよい。例えば、３つ以上の半導体チップの積層構造としてもよいし、単一チップで構成してもよい。また、積層構造とする複数の半導体チップのプロセスルールは異なっていてもよい。

図６および図７を参照して、撮像素子１００の駆動方法について説明する。まず、図６を参照して、ブレ補正を目的とした駆動方法について説明する。
図６（ａ）は撮影開始時における被写体像と撮像素子１００との位置関係を模式的に示している。図６（ｂ）は撮影開始時における各画素２００におけるカウンタ３０２と受光素子３００との接続関係を示している。図６（ｃ）は撮影中にブレが発生し、被写体像と撮像素子１００との位置関係が変化した状態を模式的に示している。図６（ｄ）は、ブレを補正するために、カウンタ３０２と受光素子３００との接続関係を選択信号によって変更した状態を示している。なお、図６（ｂ）および図６（ｄ）は、画素部２０１の画素２００のうち、中心に位置する３×３画素を示している。また、各画素が有する選択回路は図示を省略している。

撮影開始時（初期状態）では、図６（ｂ）に示すように、個々の画素２００のカウンタ３０２は、同一の画素２００内の受光素子３００の出力信号のパルスをカウントするように接続されている。

例えば動画撮影中の手振れにより、図６（ｃ）に示すように、撮像素子１００上の被写体像が、図の右方向に、画素２００の水平ピッチと同じ距離だけ移動したとする。この場合、ブレ補正制御部２０２は、ブレを補正するように選択信号を生成し、カウンタ３０２に接続する受光素子３００を変更する。具体的には、ブレ補正制御部２０２は、水平方向右に隣接する画素の受光素子３００の出力信号に含まれるパルスの数をカウントするように、選択信号を生成する。

なお、ブレ補正制御部２０２は、ブレ検出部１０４からのブレ検出信号に基づく装置の移動量を、撮影レンズ１０１の現在の画角を考慮した、撮像素子上の光学像の移動量に変換する。そして、ブレ補正制御部２０２は、光学像の移動量を、予め記憶された画素２００の垂直方向および水平方向の配置間隔（画素ピッチ）と比較することにより、移動量が画素ピッチ分に達したことを検出する。なお、ブレ検出信号から撮像素子上の光学像の移動量への変換は、計算によっても実現できるし、予め用意した変換テーブルを参照することによっても実現できる。ブレ検出信号に基づいて撮像素子上の光学像の移動量が得られさえすれば、どのような方法を用いてもよい。

このように、検出されたブレに従ってカウンタと受光素子との接続関係を変更することにより、撮像素子１００上の被写体像がブレにより移動しても、ブレを補正した画像を得ることが可能となる。撮像素子の画素がカウントする受光素子を切り替える構成であるため、メモリに記憶した画像の切り出し範囲を変更する構成と異なり、画像を記憶するためのメモリが不要である。

ここで、便宜上、カウンタ３０２が存在する画素を原点（０，０）として、パルス数のカウント対象の受光素子３００が存在する相対的な画素座標（ｘ，ｙ）により、選択信号を表記する。したがって、図６（ｂ）の状態の選択信号は（０，０）と表記する。また、図６（ｄ）に示すような、水平方向右に隣接する画素２００内の受光素子３００の出力信号のパルス数をカウントする状態に制御する選択信号は（１，０）となる。同様に、垂直方向下および垂直方向上に隣接する画素２００内の受光素子３００の出力信号のパルス数をカウントする状態に制御する選択信号はそれぞれ（０，－１）および（０，１）となる。

次に、図７に示すタイミングチャートを参照して、撮像素子１００から１フレーム分の画像データを取得するための駆動動作について説明する。ここで、ＶＤは制御部１０３からタイミング制御回路２０５に入力されるタイミング制御通信であり、１フレームの画像の取得開始タイミングを示している。タイミング制御回路２０５は例えば取得開始タイミングを基準として各種の制御信号を予め定められたタイミングで出力することができる。

また、ＲＥＳ、ＥＮ、ＯＵＴ＿１～ＯＵＴ＿ｎはカウンタ３０２に入力される制御信号である。ＲＥＳがＨレベルになると、カウンタ３０２はカウント値を初期値（ここでは０）にリセットする。また、ＥＮはカウンタ３０２のカウント動作の有効、無効を制御する信号である。ここでは、ＥＮがＨレベルの期間、カウンタ３０２はパルスの数をカウントするものとする。ＯＵＴ＿１～ＯＵＴ＿ｎは、有効画素領域５００内のｎ（ｎは１以上の整数）行目に配置されている画素２００が有するカウンタ３０２のカウント値を出力タイミングを制御する。ＯＵＴ＿１～ＯＵＴ＿ｎがＨレベルになると、対応する画素２００はカウンタ３０２からカウント値を垂直信号線に出力する。これにより、読み出し回路２０３は、１行ごとに各画素からカウント値を読み出すことができる。ブレ検出部出力は、ブレ検出部１０４がブレ検出信号を出力するタイミングおよび頻度を模式的に表している。選択信号は、ブレ補正制御部２０２が画素に供給する選択信号を上述した方法で表記している。

時刻ｔ８００で制御部１０３がＶＤをＨレベルとすることにより、１フレームの画像取得が開始される。この時、ブレ補正制御部２０２は選択信号（０，０）を出力しているため、カウンタ３０２は図６（ｂ）に示したように、同じ画素内の受光素子３００と接続されている。

時刻ｔ８０１で、タイミング制御回路２０５がＲＥＳをＨレベルとし、全ての画素２００が有するカウンタ３０２のカウント値をリセットする。また、ブレ検出部１０４がブレ検出信号の出力を開始する。ブレ補正制御部２０２は、ブレ検出信号を基に、撮像素子１００上の被写体像がブレにより移動する方向および量を算出する。

時刻ｔ８０２で、タイミング制御回路２０５がＥＮをＨレベルとし、全ての画素２００が有するカウンタ３０２がパルス数のカウントを開始する。この時点においても選択信号は（０，０）のままなので、カウンタ３０２は同じ画素２００内の受光素子３００の出力信号に含まれるパルスの数（入射したフォトンの数）をカウントする。

時刻ｔ８０３で、ブレ補正制御部２０２が、撮像素子１００上の被写体像の水平方向もしくは垂直方向の移動量が、同方向における画素２００の配置間隔（ピッチ）に等しくなったことを検知したとする。ブレ補正制御部２０２は、ブレ補正制御を開始する。まず、ブレ補正制御部２０２は、カウント動作を一時的に停止させるために、タイミング制御回路２０５に通知する。

タイミング制御回路２０５は、ブレ補正制御部２０２からの通知を受信すると、ＥＮをＬｏｗレベル（Ｌレベル）にして、カウンタ３０２の動作を停止させる。一方、ブレ補正制御部２０２は、ブレを補正するための選択信号を生成し、全ての画素に供給する。ブレによって被写体像が図６（ａ）に示す状態から右方向に水平画素ピッチ分移動して図６（ｃ）に示す状態になったものとすると、ブレ補正回路２０２は、選択信号を（０，０）から（１，０）に変更する。

タイミング制御回路２０５は、時刻ｔ８０３から予め定められた時間経過し、時刻ｔ８０４になると、ＥＮをＨレベルに戻す。これにより、各画素２００のカウンタ３０２はカウント動作を再開する。選択信号が（１，０）に変更されているため、これ以降、カウンタ３０２は水平方向右に隣接する画素２００内の受光素子３００の出力信号についてパルスの数をカウントする。

時刻ｔ８０５で、ブレ補正制御部２０２が、選択信号を変更してからの撮像素子１００上の被写体像の移動量が画素ピッチ分になったことを検知したとする。ここでは、下方向に移動したものとする。時刻ｔ８０３での処理と同様にして、ブレ補正制御部２０２は、選択信号を（１，－１）に変更する。

時刻ｔ８０６で、タイミング制御回路２０５がＥＮをＨレベルに戻すと、カウンタ３０２はカウント動作を再開する。選択信号は（１，－１）に変更されているため、カウンタ３０２はこれ以降、右斜め下に隣接する画素２００内の受光素子３００の出力信号についてパルスの数をカウントする。

時刻ｔ８０７でタイミング制御回路２０５は、撮影期間（露光期間）を終了させるため、ＥＮをＬレベルとして、カウンタ３０２のカウント動作を停止させる。

時刻ｔ８０８以降、タイミング制御回路２０５はＯＵＴ＿１～ＯＵＴ＿ｎを順次Ｈレベルとする。これにより、ＯＵＴ＿ｎがＨレベルになったｎ行目の画素２００のそれぞれから、カウンタ３０２のカウント値が画素信号として垂直信号線を通じて読み出し回路２０３に順次読み出される。読み出された画素信号は信号処理回路２０４を経て撮像素子１００の外部へと出力される。

時刻ｔ８０９で、有効画素領域５００の全ての画素２００の画素信号が撮像素子１００より出力されると、撮像素子１００の１フレームの画像取得が終了する。

撮像素子１００は、時刻ｔ８０２～ｔ８０７の期間に入射したフォトンをカウントして画素信号として出力する。厳密には、選択信号を変更するための期間（ｔ８０３～ｔ８０４およびｔ８０５～ｔ８０６）に入射したフォトンをカウントしていない、これらの期間はいずれも露光期間に比べて非常に短いので、画像への影響は無視できる。

本実施形態によれば、単一フォトンの入射を検出が可能な受光素子３００と、入射したフォトンの数をカウントするカウンタ３０２とを有する画素に、周囲の画素が有する受光素子の出力信号を選択的にカウンタ３０２に入力可能な構成とした。そして、撮像素子の振れに応じて、各カウンタ３０２に入力する出力信号を切り替えることにより、振れによる像ブレを補正した画像を得ることができる。本実施形態の構成によれば、画像を記憶するためのメモリを必要とすることなく、電子的なブレ補正を実現できる。

また、受光素子に入射したフォトンの数をカウントして画素値を得るため、デジタル値を得るためのＡ／Ｄ変換が不要である。そのため、Ａ／Ｄ変換によって生じる量子化誤差が原理的に発生せず、量子化誤差による画質劣化を生じないという利点もある。複数の撮影画像から１枚の合成画像を生成する場合、個々の画像の生成時にＡ／Ｄ変換を行うと、Ａ／Ｄ変換の量子化誤差に起因するノイズが合成画像に累積されるという問題がある。本実施形態ではＡ／Ｄ変換が不要であるため、このような問題は生じない。そのため、合成画像の元となる画像を撮影するのに特に適している。

なお、本実施形態では、説明および理解を容易にするため、ある画素のカウンタ３０２に、周囲の８つの隣接画素の受光素子３００から信号を入力可能にした構成について説明した。しかし、より広い範囲の画素の受光素子３００からの信号をカウンタに入力可能に構成してもよい。

●＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。以下では、第１の実施形態と異なる点について主に説明する。本実施形態では、ブレ検出部１０４の機能を撮像素子が有していることと、画素の構成が第１の実施形態と異なる。

図８を参照して、本実施形態における撮像素子９００の構成例について説明する。撮像素子９００の構成のうち、信号処理回路９０５およびタイミング制御回路９０６は第１の実施形態における同名の回路と同一である。

読み出し回路９０３は、１フレームの画像取得の最後に画素部９０２内の有効画素領域の画素信号を読み出して信号処理回路９０５に出力する点は第１の実施形態と同様である。それに加えて、本実施形態の読み出し回路９０３は、露光期間中（カウント動作が有効な期間中）、有効画素領域内の注目領域の画素信号を定期的に読み出し、ブレ検出・制御部９０４に出力する。

ブレ検出・制御部９０４は、読み出し回路９０３が定期的に読み出す注目領域の画素信号に基づいて、撮像素子のブレを検出する。例えば、ブレ検出・制御部９０４は、今回読み出した画素信号と過去に読み出した画素信号との差分を計算する。そして、ブレ検出・制御部９０４は、得られた差分画像に対してエッジや特徴点を検出したり、エッジや特徴点の動きを検出したりする。そして、ブレ検出・制御部９０４は、エッジや特徴点の動きから撮像素子の動き（ブレ）の方向および量を検出する。さらに、ブレ検出・制御部９０４は、検出したブレに基づいて画素部９０２のシフト方向およびシフト量を演算し、ブレを補正するための制御信号として、選択信号およびシフトＣＬＫを画素部９０２に供給する。このように、本実施形態では、撮像素子がブレを検出する機能を有するため、撮像装置が有するブレ検出部１０４は必須でない。

次に、図９を参照して、撮像素子９００の画素部９０２の構成例について説明する。図９には画素部９０２のうち、水平方向３画素、垂直方向３画素の領域の構成について示している。同様の構成が画素部９０２全体に設けられている。

個々の画素９０１は同じ構成を有し、受光素子（光電変換部）１０００、カウンタ１００１、および選択回路１００２を備える。受光素子１０００は、第１の実施形態の受光素子３００と同じ構成を有する。

カウンタ１００１は受光素子１０００の出力信号に含まれるパルスの数をカウントし、カウント値を、出力スイッチ１００３および垂直出力線１００４を介して読み出し回路９０３に出力する。また、カウンタ１００１のカウント値は、垂直方向および水平方向に隣接する４つの画素９０１内の選択回路１００２にも出力される。さらに、カウンタ１００１はシフトＣＬＫが入力されると、選択回路１００２より入力されるカウント値で、自身のカウント値を置き換える。

選択回路１００２には、水平および垂直方向に隣接する４つの画素９０１内のカウンタ１００１のカウント値が入力される。選択回路１００２は、４つのカウント値のうち、選択信号に応じた１つを、同じ画素９０１内のカウンタ１００１へ出力する。

出力スイッチ１００３は、カウンタ１００１のカウント値を垂直出力線１００４に出力するか否かを制御する。出力スイッチ１００３は、画素行ごとに共通の制御信号であるＯＵＴによって制御され、画素部９０２内のｍ行目の画素に共通する制御信号をＯＵＴ＿ｍと表す。ＯＵＴ＿ｍを１つずつＨレベルにすることで、行順次に出力スイッチ１００３はオンとなる。オンの出力スイッチ１００３に接続されたカウンタ１００１から、カウント値が垂直出力線１００４に出力される。全ての画素９０１には、カウント値の垂直出力線１００４への出力を制御するＯＵＴを除き、共通の選択信号、シフトＣＬＫ、および制御信号が入力される。

なお、画素部９０２に配置される画素９０１のうち、最外周に位置する画素９０１は、隣接画素が存在しない方向がある。そのため、最外周に位置する画素９０１が有する選択回路１００２が有する４つの入力のうち、存在しない隣接画素に対応する入力は接地される。

図１０（ａ）を参照して、本実施形態の撮像素子９００の画素部９０２の有効画素領域１１００および注目領域１１０１について説明する。有効画素領域１１００は第１の実施形態と同様、撮像画像を構成する画素信号を出力する画素（有効画素）が配置された領域である。有効画素領域１１００の周囲には、それぞれ２０行分または２０列分のブレ補正用画素が配置されている。

本実施形態においても、ブレ補正のために、撮像画像の最大画素数よりも多くの画素９０１を配置する必要がある。本実施形態においても、有効画素領域の外に配置するブレ補正画素の列数・行数によって、補正可能な最大ブレ量が決まる。そのため、撮像素子の面積と、補正可能な最大ブレ量とのトレードオフを鑑み、ブレ補正用画素の列数および行数を決定する。また、ブレ検出・制御部９０４は、カウント値のシフト量を、ブレ補正用画素の列数・行数を越えないように制御する。

注目領域１１０１は、ブレ検出・制御部９０４にてブレ検出を行う為に、読み出し回路９０３がカウンタ１００１のカウント値を周期的に読み出す領域である。注目領域１１０１は、ユーザーによる操作や、制御部１０３による被写体認識結果などに基づいて設定することができる。

本実施形態では、選択信号により選択回路１００２が上下左右の内、一方向のカウンタ１００１のカウント値を選択し、シフトＣＬＫに応じてカウンタ１００１のカウント値を入力された隣接するカウンタ１００１のカウント値に置き換える。この置き換え動作を、方向を切り替えながら繰り返すことにより、カウンタ１００１のカウント値を離れた画素９０１のカウンタ１００１までシフトすることが可能である。ブレを補正するようにカウンタ１００１のカウント値をシフトしながら、受光素子１０００のパルス信号をカウントすることで、ブレの補正された画像を得ることが可能である。

次に、図１０（ｂ）、（ｃ）および図１１を参照して、本実施形態の撮像素子９００の駆動方法について説明する。まず、図１０（ｂ）および（ｃ）を参照して、ブレ補正を目的とした駆動方法について説明する。
図１０（ｂ）は、撮影開始時における被写体像と、画素部９０２および有効画素領域１１００との位置関係を模式的に示している。また、図１０（ｃ）は、撮影中にブレが発生し、撮像素子９００がブレを補正する制御を行った後の、被写体像と、画素部９０２および有効画素領域１１００との位置関係を模式的に示している。以下の説明では、ｉ列ｊ行目に位置する画素を、画素９０１（ｉ，ｊ）と表す。

図１０（ｂ）に示した状態からブレが発生し、被写体像が図中の上方向に１画素ピッチ分の距離を、右方向に２画素ピッチ分移動し、図１０（ｃ）に示す状態に変化したとする。ブレ検出・制御部９０４は、読み出し回路９０３が周期的に読み出す注目領域１１０１のカウント値の変化に基づいて、ブレによる被写体像の移動を検知する。そして、ブレ検出・制御部９０４は、ブレを補正するためのシフト方向およびシフト量を算出する。そして、ブレ検出・制御部９０４は、現時点でカウンタ１００１が保持するカウント値を、算出したシフト方向およびシフト量だけ移動した画素のカウンタ１００１が保持するカウント値に置き換えるようにシフトＣＬＫおよび選択信号を生成する。

図１０（ｂ）および図１０（ｃ）に示した例では、ブレ検出・制御部９０４は、上方向に１回、右方向に２回シフトを行う。これにより、画素９０１（ｉ，ｊ）のカウンタ１００１に保持されていたカウント値は、画素９０１（ｉ＋２，ｊ－１）のカウンタ１００１に保持されていたカウント値で置き換えられる。

このように、ブレの方向および量に従ってカウント値をシフトさせることにより、被写体像がブレにより移動しても、移動する前のカウント値に対してカウントを継続できる。そのため、ブレ補正が繰り返し実行されることによる画質劣化を抑制することができる。

なお、本実施形態では、撮影開始時における被写体像と画素部９０２との位置関係を維持するようにブレ補正を行う第１の実施形態と異なり、移動後の被写体像の位置に画像をシフトすることによってブレ補正を行うものである。そのため、撮影期間終了後に、撮影開始時における被写体像と画素部９０２との位置関係となるように、信号処理回路９０５が画像の壊れない範囲で画素信号をシフトさせてから出力するようにしてもよい。

次に、図１１に示すタイミングチャートを参照して、撮像素子９００から１フレーム分の画像データを取得するための駆動動作について説明する。ここで、ＶＤは制御部１０３からタイミング制御回路９０６に入力されるタイミング制御通信であり、１フレームの画像の取得開始タイミングを示している。タイミング制御回路９０６は例えば取得開始タイミングを基準として各種の制御信号を予め定められたタイミングで出力することができる。また、ＲＥＳ、ＥＮ、ＯＵＴ＿１～ＯＵＴ＿ｎは第１の実施形態と同様である。ただし、ＯＵＴ＿ｉは注目領域１１０１の上端行の画素９０１に接続される信号であり、ＯＵＴ＿ｊは注目領域１１０１の下端行の画素９０１に接続される信号である。

ＣＮＴは、カウンタ１００１のカウント値の一例を表している。選択信号は選択回路１００２に入力され、Ｕ，Ｄ，Ｌ，Ｒは、それぞれ下，上，右，左方向に隣接するカウンタ１００１のカウント値を選択する状態を表す。選択信号がＵ、Ｄ、Ｌ、Ｒの状態でシフトＣＬＫが入力されることにより、カウンタ１００１のカウント値はそれぞれ、上、下、左、右方向にシフトする。

ＲＥＳ、ＥＮ、ＬＡＴＣＨ、シフトＣＬＫ、選択信号は、画素部９０２内の全ての画素９０１にそれぞれ共通の信号が入力される。
ＯＵＴ＿ｉ～ＯＵＴ＿ｊのみを順にＨレベルとする読み出し駆動は、注目領域１１０１の画素信号（カウント値）のみを撮像素子９００内のブレ検出・制御部９０４に読み出す動作である。注目領域１１０１の読み出しは、通常の１フレーム分の読み出しと異なり、読み出す画素９０１の数が少ないだけでなく、読み出したカウント値を撮像素子９００の外部に出力しない。そのため、撮像素子９００の外部インターフェースの速度に依存せずに、高速な読み出しが可能である。

ブレ検出・制御部は、ブレ検出・制御部９０４が、注目領域１１０１から読み出されたカウント値に基づいて、ブレ検出および、ブレを補正するためのシフト量およびシフト方向を算出するタイミングを示している。

時刻ｔ１３００で制御部１０３がＶＤをＨレベルとすることにより、１フレームの画像取得が開始される。
時刻ｔ１３０１でタイミング制御回路９０６がＲＥＳをＨレベルとし、全ての画素９０１が有するカウンタ１００１のカウント値をリセットする。
時刻ｔ１３０２でタイミング制御回路９０６がＥＮをＨレベルとし、全ての画素９０１が有するカウンタ１００１がパルス数のカウントを開始する。フォトンが入射するごとに受光素子１０００の出力信号にパルスが発生し、カウンタ１００１のカウント値ＣＮＴが上昇していく。

時刻ｔ１３０３でタイミング制御回路９０６は、注目領域１１０１のカウント値を読み出すため、ＯＵＴ＿ｉ～ＯＵＴ＿ｊを順次Ｈレベルとする。これにより、注目領域１１０１内の画素９０１のカウンタ１００１のカウント値が読み出し回路９０３を経てブレ検出・制御部９０４に入力される。

注目領域１１０１から全てのカウント値がブレ検出・制御部９０４に入力された後、ブレ検出・制御部９０４はブレ検出処理を実行する。なお、注目領域１１０１から最初にカウント値を読み出した際には、過去に読み出したカウント値が存在しないため、ブレ検出処理は行わなくてもよい。以降、周期的にｔ１３０３と同様の処理が実行される。

時刻ｔ１３０４では、時刻ｔ１３０３と同様に、注目領域１１０１の読み出しと、それに引き続くブレ検出処理が実行される。ここでは、ブレが検出されなかったものとする。

時刻ｔ１３０５で読み出された注目領域１１０１のカウント値により、ブレ検出・制御部９０４が、ブレによる被写体像の移動を検出したものとする。ブレ検出・制御部９０４は、検出したブレを補正するために必要なシフト量およびシフト方向を算出する。ここでは、ブレを補正するためのシフト量およびシフト方向として、上に１画素ピッチ分、右に２画素ピッチ分が算出されたものとする。

時刻ｔ１３０６でブレ検出・制御部９０４は、算出したシフト量およびシフト方向に基づき、ブレ補正制御（カウント値のシフト駆動）を開始する。まず、ブレ検出・制御部９０４は、カウント動作を一時的に停止させるために、タイミング制御回路９０６に通知する。タイミング制御回路９０６は、ブレ検出・制御部９０４からの通知を受信すると、ＥＮをＬレベルにして、カウンタ１００１の動作を停止させる。

一方、ブレ検出・制御部９０４は、選択信号Ｒを全ての画素９０１に供給する。これにょり、各画素９０１の選択回路１００２が、水平方向左に隣接する画素９０１のカウンタ１００１のカウント値を選択する。その後、ブレ検出・制御部９０４は、シフトＣＬＫを２つ出力する。これにより、画素部９０２内の全てのカウンタ１００１のカウント値が、水平右方向に２画素シフトする。

次に、ブレ検出・制御部９０４は選択信号Ｕを全ての画素に供給する。これにょり、各画素９０１の選択回路１００２が、下に隣接する画素９０１のカウンタ１００１のカウント値を選択する。その後、ブレ検出・制御部９０４は、シフトＣＬＫを１つ出力する。これにより、画素部９０２内の全てのカウンタ１００１のカウント値が、上方向に１画素シフトする。これら一連のシフト駆動により、カウンタ値ＣＮＴは１行下、２列左の画素のカウント値に置き換わる。ブレ検出・制御部９０４は、シフト駆動が終了したら、タイミング制御回路９０６に通知してもよい。

その後、時刻ｔ１３０７にて、タイミング制御回路９０６は、ＥＮをＨレベルに戻す。これにより、各画素９０１のカウンタ１００１はカウント動作を再開する。

その後、ブレ検出・制御部９０４が再度ブレを検出し、時刻ｔ１３０８～ｔ１３０９において、時刻ｔ１３０６～ｔ１３０７と同様にブレ補正制御（シフト駆動）が行われる。ここでは、ブレを補正するためのシフト量およびシフト方向として、下に１画素ピッチ分、左に２画素ピッチ分が算出されたものとする。

ブレ検出・制御部９０４は、選択信号Ｌを供給した状態でシフトＣＬＫを２つ出力し、次いで、選択信号Ｄを供給した状態でシフトＣＬＫを１つ出力する。これらの一連のシフトにより、カウンタ１００１のカウント値ＣＮＴは１行上、２列右の画素のカウント値に置き換わる。

時刻ｔ１３１０でタイミング制御回路９０６は、撮影期間（露光期間）を終了させるため、ＥＮをＬレベルとして、カウンタ１００１のカウント動作を停止させる。

時刻ｔ１３１１以降、タイミング制御回路９０６はＯＵＴ＿１～ＯＵＴ＿ｎを順次Ｈレベルとする。これにより、ＯＵＴ＿ｎがＨレベルになったｎ行目の画素９０１のそれぞれから、カウンタ１００１のカウント値が画素信号として垂直信号線を通じて読み出し回路９０３に順次読み出される。読み出された画素信号は信号処理回路９０５を経て撮像素子９００の外部へと出力される。

時刻ｔ１３１２で、有効画素領域１１００の全ての画素９０１の画素信号が撮像素子９００より出力されると、撮像素子９００の１フレームの画像取得が終了する。

撮像素子９００は、時刻ｔ１３０２～ｔ１３１０の期間に入射したフォトンをカウントして画素信号として出力する。厳密には、ブレ補正制御（シフト駆動）のための期間（時刻ｔ１３０６～ｔ１３０７、および時刻ｔ１３０８～ｔ１３０９）に入射したフォトンをカウントしていない、これらの期間はいずれも露光期間に比べて非常に短いので、画像への影響は無視できる。

本実施形態によれば、単一フォトンの入射を検出が可能な受光素子と、入射したフォトンの数をカウントするカウンタとを有する画素が配列された画素部において、各カウンタの保持する値を全体的に移動（シフト）可能な構成とした。そして、撮像素子の振れに応じたシフト方向およびシフト量に基づいて、カウンタの値をシフトさせることにより、振れによる像ブレを補正した画像を得ることができる。本実施形態の構成によっても、画像を記憶するためのメモリを必要とすることなく、電子的なブレ補正を実現できる。

また、本実施形態においてもデジタル値を得るためのＡ／Ｄ変換が不要であるため、Ａ／Ｄ変換の量子化誤差に起因するノイズが発生しない。さらに、本実施形態では、抑制可能な最大ブレ量にかかわらず、上下左右４方向に隣接する画素との配線があればよいため、第１の実施形態よりも配線量を削減することができる。

なお、本実施形態では、ブレ検出機能を撮像素子に持たせた構成について説明したが、第１の実施形態で説明したように、撮像装置が有するブレ検出部１０４が出力するブレ検出信号に基づいて撮像素子のブレを検出するようにしてもよい。また、第１の実施形態の構成において、第２の実施形態のように、ブレ検出機能を撮像素子に持たせる構成としてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００、９００…撮像素子、１０３…制御部、２００、９０１…画素、２０１、９０２…画素部、３００、１０００…受光素子、３０２、１００１…カウンタ、２０３、９０３…読み出し回路、２０４、９０５…信号処理回路、２０５、９０６…タイミング制御回路

Claims (11)

1. 複数の画素が配置された撮像素子であって、
   前記複数の画素のそれぞれが、
   単一フォトンの入射を検出可能な受光素子と、
   信号に含まれるパルスをカウントするカウンタと、
   を備え、
   前記撮像素子はさらに、
   検出されたブレに基づいて、前記カウンタに供給する受光素子の信号を切り替えるか、前記カウンタのカウント値を、他の画素が有するカウンタのカウント値に置き換える制御手段を有する、ことを特徴とする撮像素子。
2. 前記制御手段は、前記検出されたブレに基づいて、前記カウンタに供給する信号を、該カウンタが設けられた画素の受光素子の出力信号と、他の複数の画素が有する受光素子の出力信号とのうちの１つに切り替える、ことを特徴とする請求項１に記載の撮像素子。
3. 前記制御手段は、前記検出されたブレによる被写体像の移動量が、前記複数の画素の配置間隔に等しくなった際に、前記切り替えを行うことを特徴とする請求項２に記載の撮像素子。
4. 前記他の複数の画素が、水平方向、垂直方向、斜め４５度方向のそれぞれで隣接する画素であることを特徴とする請求項２または３に記載の撮像素子。
5. 前記制御手段は、前記カウンタのカウンタ値を、前記検出されたブレに基づく方向および量に応じてシフトさせることにより、該カウンタのカウンタ値を、他の画素が有するカウンタのカウンタ値に置き換える、ことを特徴とする請求項１に記載の撮像素子。
6. 前記制御手段は、前記シフトを水平方向および垂直方向に行うことを特徴とする請求項５に記載の撮像素子。
7. 前記制御手段は、外部から供給される信号に基づいて前記ブレを検出することを特徴とする請求項１から６のいずれか１項に記載の撮像素子。
8. 前記外部から供給される信号が、加速度センサの出力信号であることを特徴とする請求項７に記載の撮像素子。
9. 前記複数の画素のうち、予め定められた領域の画素が有するカウンタからカウント値を周期的に読み出す読み出し手段をさらに有し、
   前記制御手段は、前記読み出し手段が読み出したカウント値に基づいて前記ブレを検出することを特徴とする請求項１から６のいずれか１項に記載の撮像素子。
10. 前記制御手段は、異なる時刻に読み出されたカウント値の差分に基づいて前記ブレを検出することを特徴とする請求項９に記載の撮像素子。
11. 請求項１から１０のいずれか１項に記載の撮像素子を有することを特徴とする電子機器。

Images