JP7357466B2 - 撮像素子及びその制御方法、撮像装置 - Google Patents

Description

本発明は撮像素子およびその制御方法、撮像装置に関するものである。

近年、交通や防犯などの分野において、被写体の動きなどのイベントの有無を画像処理により検出する撮像装置が広く利用されている。特許文献１では、イベントが発生するまではＡＤ変換の回数を少なくして、消費電力を少なく駆動するため、画素毎のアナログ信号を所定の数分だけ加算するモードでデータを取得する撮像装置が提案されている。また、特許文献１によれば、該撮像装置はイベントが発生したら駆動モードを変更し、動画記録用に読み出したアナログ信号をＡＤ変換し、撮像装置から出力されたデータに画像処理を実施して記録する。

特開２０１８－０２２９３５号公報

しかし、特許文献１では、通常の画像を記録するモード（通常モード）で動作している間、撮像素子はイベントを検出することができない。そのため、撮像素子は特定のフレーム間隔毎にイベントを検出するためのモード（画素加算モード）に戻る必要がある。撮像素子が画素加算モードに戻っている間は通常の画像記録を行えなくなるため、通常モードの撮影において画像のコマ落ちが生じる可能性がある。このようなコマ落ちが発生しないようにするためには、通常モードでの動作時に動き検出の有無を確認するための回路を撮像素子の後段に設けることが必要になる。動き検出の有無の判定を撮像素子の外部で実行する構成では、回路規模が大きくなる。また、動きの検出結果を撮像素子へフィードバックするための通信処理などに時間がかかるためにパワーセーブの効率が落ちてしまう可能性がある。

本発明は、画像を出力するためのモードで動作している間であっても、撮像素子の内部でイベントの検出を行えるようにする技術を提供する。

本発明の一態様による撮像素子は以下の構成を備える。すなわち、
マトリクス状に配置された複数の画素を有する画素部と、
第１の動作モードにおいて前記複数の画素を第１の単位で分割したブロックごとに画素信号が加算された信号を出力し、第２の動作モードにおいて前記第１の単位よりも小さいブロックごとに画素信号が加算された信号またはそれぞれの画素からの信号を出力するように前記画素部を駆動する駆動手段と、
前記画素部から出力される前記信号をデジタルデータに変換する変換手段と、
前記第２の動作モードにおいて、前記変換手段により得られたデジタルデータを第２の単位のブロックごとに加算する加算手段と、
前記第１の動作モードでは前記変換手段で得られたデジタルデータを用いてイベントを検出し、前記第２の動作モードでは前記加算手段で得られたデジタルデータを用いてイベントを検出する検出手段と、を備え、
前記第２の単位は前記第１の単位と異なる。

本発明によれば、画像を出力するためのモードで動作している間であっても、撮像素子の内部でイベントの検出が行える。

第１実施形態における撮像装置の構成例を示すブロック図。 第１実施形態における撮像素子の構成例を示すブロック図。 第１実施形態における画素部の概略の構成を示す図。 第１実施形態における画素ブロックの回路図。 第１実施形態におけるイベント検出部の構成を示すブロック図。 第１実施形態におけるデジタル加算部の構成を示すブロック図。 第１実施形態における加算データ保持回路の構成を示すブロック図。 第１実施形態における加算データ保持回路の構成を示すブロック図。 第１実施形態におけるモード制御部の構成を示すブロック図。 第１実施形態による撮像素子の動作を示すフローチャート。 第２実施形態のデジタル加算部における記憶保持部を示す図。 第３実施形態による撮像素子の動作を説明するタイミングチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
図１は、第１実施形態による撮像装置１００の構成例を示すブロック図である。

レンズユニット１０１は、被写体からの入射光を集光して撮像素子２００へ光像を結像する。レンズユニット１０１は、例えば、複数のレンズ、絞り、などで構成され、撮像素子１００の画素部に光像を結像させる光学系である。制御部１１２は、画像処理部１０９の画像処理や撮像素子２００の駆動の制御、表示回路への表示、操作回路からの指示の受け取り、メモリ部１１１、記録部１１０へのデータ受け渡しを制御する。なお、制御部１１２を撮像素子２００または画像処理部１０９に持たせても構わない。

画像処理部１０９は撮像素子２００からの画像データに対し色マトリクス処理やガンマ処理などの現像処理を行う。これらの処理において、画像処理部１０９は、必要に応じてメモリ部１１１に画像データを一時的に保持させ、処理した画像データを表示部１１３や記録部１１０に出力する。表示部１１３は、処理した画像データなどを表示する。操作部１１４は、ユーザの操作に従って操作信号を生成する。バス１２０は、上述した撮像素子２００、画像処理部１０９、表示部１１３、操作部１１４、記録部１１０およびメモリ部１１１を接続する。各部は、バス１２０を介して互いにデータをやり取りすることができる。

図２は、第１実施形態における撮像素子２００の構成例を示すブロック図である。画素部２０１は、２次元に（マトリクス状）に配列された複数の画素（画素アレイ）を有する。以下、複数の画素のうち所定方向（例えば水平方向）に配列された画素の集合を「行」と称し、行に垂直な方向（例えば垂直方向）に配列された画素の集合を「列」と称する。

制御回路２０４は、垂直走査回路２０９、ＡＤ変換回路２０２、水平走査回路２０３を制御する。制御回路２０４には、所定の周波数（３０ヘルツ等）の垂直同期信号（以下ＶＤ）が制御部１１２から入力される。

垂直走査回路２０９は、選択行に配列された画素から電荷に応じた信号を読み出すための行選択信号を画素部２０１に出力する。画素は、行選択信号により駆動されて、露光量に応じたレベルのアナログ信号を出力する。垂直走査回路２０９には、露出制御部２０６からの露光制御信号と、モード制御部２０５からのモード信号とが制御回路２０４を介して入力される。露光制御信号は、露光時間を制御するための信号である。モード信号は、動作モードが、画素部２０１からブロック単位で画素が加算された信号を取得してイベントの発生を検出する第１の動作モードと、画素部２０１から取得された信号に基づいて画像データを出力する第２の動作モードのいずれかであるかを示す。以下、第１の動作モードをイベント検出モード、第２の動作モードを通常モードと称する。

イベント検出モードでは、複数の画素でアナログ加算が行われた結果（加算信号）が撮像素子２００から出力される。すなわち、画素部２０１の複数の画素を第１の単位（例えば、２×２）で分割したブロックごとに画素がアナログ加算された信号が、画素部２０１から出力される。通常モードでは、個々の画素の信号、または、第１の単位のブロックよりも少数の画素でアナログ加算が行われた結果の信号が画素部２０１から取得される。通常モードにおいて、撮像素子２００は、画素部２０１から取得した信号に基づいて画像データを生成し、出力する。尚、以下では通常モードではアナログ加算を行わずに個々の画素の信号（画素信号）を出力する例を示す。なお、通常モードにおいて行われる、第１の単位のブロックよりも少数の画素でのアナログ加算の例としては、たとえば、隣接同色２画素加算があげられる。

ＡＤ変換回路２０２は、画素部２０１から出力されたアナログ信号（加算信号または画素信号）に対してアナログデジタル変換（以下、ＡＤ変換）を行い、デジタルデータ（アナログ加算データまたは画素データ）を生成する。したがって、ＡＤ変換回路２０２は、イベント検出モードでは画素部２０１から出力される加算信号をＡＤ変換してアナログ加算データを、通常モードでは、画素部２０１から出力される画素信号をＡＤ変換して画素データを出力する。アナログ加算データまたは画素データは、スイッチ２１０に供給される。なお、以下、画素部２０１からの加算信号をデジタル化して得られる加算データをアナログ加算データ、後述するデジタル加算部２０８で画素データを加算して得られる加算データをデジタル加算データという。また、両者を総称して加算データと称する。

１フレームにおける加算データの出力数は、画像データの解像度と第１の単位（以下、加算単位ともいう）とにより決定される。例えば、画素部２０１における複数の画素の行数がＩ、列数がＪであり、アナログ加算の加算単位が２×２＝４画素（４画素を加算する）の場合には、出力数Ｍは次の式により表される。
Ｍ＝（Ｉ×Ｊ）／４
ここで、Ｉ、ＪおよびＭは整数である。なお、加算単位は４画素に限定されず、１６画素などであってもよい。

スイッチ２１０は、モード信号に従って、ＡＤ変換回路２０２からのデータの送り先を切り替える。具体的には、スイッチ２１０は、イベント検出モードにおいて、ＡＤ変換回路２０２からの加算データをイベント検出部２０７に供給する。一方、通常モードにおいてスイッチ２１０は、ＡＤ変換回路２０２からの画素データを画像データとして撮像素子２００の外部へ出力するとともに、画素データをデジタル加算部２０８に供給する。なお、本実施形態では、撮像素子２００から出力された画像データは画像処理部１０９に供給される。

デジタル加算部２０８は、入力されたデジタルデータ（画素データ）を、第２の単位のブロックごとに加算する。通常モードにおいて、デジタル加算部２０８には、スイッチ２１０を介して、画像データを構成する画素データが入力される。本実施形態では、第２の単位のブロックとアナログ加算の加算単位（第１の単位のブロック）が同じであるとする。すなわち、デジタル加算部２０８は入力された画素データを、イベント検出モードにおける加算単位と同じ単位でデジタル加算する。したがって、デジタル加算部２０８からは１フレームにつきＭ個の加算データが出力される。デジタル加算部２０８は、得られた加算データをイベント検出部２０７に供給する。

イベント検出部２０７は、２つのフレームの加算データの差分結果に基づいて、所定のイベントの有無を検出して検出結果（ＤＥＴ）を生成する。例えば、もともと撮像装置１００の画角に入っていなかった被写体が画角内に入ってきたときには、その被写体の動きがイベントとして検出される。また、イベント検出部２０７は、Ｍ個の加算データを積算し、輝度積分データとして露出制御部２０６に供給する。この輝度積分データは、画像全体の測光量を示す。

露出制御部２０６は、輝度積分データ（測光量）に基づいて、画素部２０１の露光量を制御する。より具体的には、露出制御部２０６は、後述するイベント検出部２０７内の積算部で求めた輝度積算データに基づいて次の撮像に適切な露光時間を求め、制御回路２０４にその情報を伝達する。なお、露出制御部２０６は、露光時間を制御しているが、露光時間の代わりに、レンズユニット１０１の絞りを制御するようにしてもよい。

モード制御部２０５は、イベント検出部２０７によるイベントの検出状態に基づいて、イベント検出モードと通常モードの間の遷移を制御する。モード制御部２０５は、ユーザにより所定の操作が行われると、動作モードをイベント検出モードに設定し、イベント検出モードを表すモード信号を出力する。モード信号は、垂直走査回路２０９およびスイッチ２１０に供給される。イベント検出モードにおいてイベント検出部２０７が所定のイベントの発生を検出すると、モード制御部２０５は、動作モードを通常モードへ遷移させ、通常モードを表すモード信号を出力する。通常モードにおいて、イベント検出部２０７が一定フレーム数にわたってイベントを検出しない場合、モード制御部２０５は動作モードを通常モードからイベント検出モードへ移行させ、イベント検出モードを表すモード信号を出力する。

上述したように通常モードにおいては、画素ごとにＡＤ変換が行われるため、ＡＤ変換の回数は、Ｉ×Ｊ回である。一方、イベント検出モードでは、画素加算の加算単位（Ｍ＝４画素）ごとにＡＤ変換が行われるため、ＡＤ変換の回数は、Ｉ×Ｊ／Ｍで済む。また、通常モードでは、後段の画像処理部１０９に画素データ（画像データ）が供給されて画像処理が実行されるが、イベント検出モードでは、画像処理部１０９に画像データは出力されず、画像処理は行われない。このように、ＡＤ変換の回数が少なく、画像処理の処理量も減少することから、イベント検出モードにおける撮像装置１００の消費電力は通常モードと比較して低減する。

また、イベント検出モードにおいて通常モードよりもフレームレートを落とすことにより、さらに消費電力を低減することが考えられる。たとえば通常モードでは１秒あたり３０フレームを出力するようにＶＤ間隔が設定されるところ、イベント検出モードでは１秒あたり１０フレームを出力するようにＶＤ間隔が設定される。これによりイベント検出モードにおける撮像装置１００の消費電力が、通常モードにおける消費電力と比較して低減され得る。

図３は、第１実施形態の撮像素子２００における画素部２０１の概略構成例を示す図である。画素部２０１は、画素２３０がマトリクス状に複数配置された画素アレイを有する。画素ブロック２４０は、加算単位に従って画素をまとめてグループ化したものであり、本例では２画×２画素の４画素である。なお、説明を簡略化するため、本例においては画素ブロック２４０を行列２×２とした配置にて説明するが、加算単位の行数、列数および配置は、本例に限られるものではない。

１つの画素ブロック２４０には、２つのリセット制御信号（例えばＲＳＴ１、ＲＳＴ２）、２つの行選択制御信号（例えばＳＥＬ１、ＳＥＬ２）、２つの転送制御信号（例えばＴＸ１、ＴＸ２）のための信号線が設けられている。これらの信号線により、画素ブロック２４０内の各々の画素２３０には、リセット制御信号、行選択制御信号、転送制御信号が供給される。また、１つの画素ブロック２４０には、加算信号ＡＤＤ（例えばＡＤＤ１）、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬ（例えばＡＤＤ＿ＳＥＬ１）のための信号線が設けられている。さらに画素ブロック２４０ごとに加算信号ＡＤＤ、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬが配線される。また、列方向には垂直信号線４１０が配線される。画素からの出力は垂直信号線４１０を介して、接続先のＡＤ変換回路２０２に入力される。

行選択信号による選択駆動が行われることで、画素部２０１から行単位で、垂直信号線４１０を介して画素信号が出力される。通常モードでは画素部２０１の各画素から順次に画素信号が出力されるのに対し、イベント検出モードでは後述するブロック内で加算スイッチを動作させ、アナログ加算の結果をある特定の画素から出力させる。

図４は、第１実施形態における画素ブロック２４０を構成する画素２３０の等価回路図である。１つの画素ブロック２４０に４つの画素２３０が配置されている。以下、左上の画素を中心に説明をする。フォトダイオード４０６－１にて発生および蓄積された電荷は、転送制御信号ＴＸ１の制御により、転送スイッチ４０５－１を介してフローティングディフュージョン（以後ＦＤ）４０７－１に転送される。アンプ４０８－１は垂直信号線４１０－１に接続された定電流源４１１－１と共にソースフォロアアンプを構成し、ＦＤ４０７－１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。行選択制御信号ＳＥＬ１が行選択スイッチ４０９－１を制御することにより、ソースフォロアアンプの出力（画素信号）が垂直信号線４１０－１へ出力される。

ＦＤ４０７－１に蓄積されている不要電荷をリセットする場合はリセット制御信号ＲＳＴ１によりリセットスイッチ４０４－１を制御する。フォトダイオード４０６－１をリセットする場合は、リセットスイッチ４０４－１と共に、転送制御信号ＴＸ１により転送スイッチ４０５－１を制御してリセットを実行する。転送制御信号ＴＸ１、リセット制御信号ＲＳＴ１と行選択制御信号ＳＥＬ１は垂直走査回路２０９につながっている。画素部２０１における画素の各行はそれぞれの制御信号（ＳＥＬ１、ＴＸ１、ＲＳＴ１）を持つ。

通常モードでは、それぞれの画素２３０から信号が読み出される。イベント検出モードでは、加算信号ＡＤＤにより、ＦＤ（４０７－１、４０７－２、４０７－３、４０７－４）に転送された信号が加算平均される。その後、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬの制御により、加算平均された結果（加算信号）が画素２３０－３から読み出される。このようにして、イベント検出モードでは、２×２の画素について得られた画素信号の加算平均の結果が、画素部２０１から出力される。なお、上述したように加算単位は２×２に限るものではない。さらにアナログ信号の加算は、ＦＤを用いた構成に限られるものではない。例えば、垂直信号線で複数の行をつないで加算し、水平の加算はＡＤ回路の前の加算回路を使用して実施するようにしてもよい。

図５は、第１実施形態によるイベント検出部２０７の構成例を示すブロック図である。第１保持部２１００は、イベント検出モードではＡＤ変換回路２０２から、通常モードではデジタル加算部２０８から供給される加算データを最初に保持する保持部である。第１保持部２１００の詳細は、図７の参照により後述する。第２保持部２２００は、第１保持部２１００で保持された加算データを、次のフレームの加算データが第１保持部２１００に保持される前に、前フレームの加算データとして保持する。第２保持部２２００の詳細は、図８の参照により後述する。積算部２８２は、Ｍ個の加算データを積算し、積算したデータを輝度積分データとして露出制御部２０６に供給する。

差分算出部２８４は、第１保持部２１００に保持されている現在のフレームの加算データと、第２保持部２２００に保持されている１つ前のフレームの輝度積分データとの差分を算出する。差分算出部２８４は、算出した差分を比較部２８５に供給する。比較部２８５は、差分算出部２８４から供給された差分と所定の閾値とを比較する。なお、差分と閾値との比較では、各画素ブロックの差分を積算して得られた結果を閾値と比較するようにしても良いし、画素ブロックの差分の最大値を閾値と比較するようにしてもよい。比較部２８５は、その比較結果を検出結果ＤＥＴとしてモード制御部２０５に供給する。例えば、差分が閾値を超える場合には被写体に動きがあった（すなわち、イベントがあった）ことが検出され、そうでない場合に被写体に動きが無いことが検出される。

なお、第１実施形態では、現在のフレームの画素ブロックごとの加算データと過去のフレームの画素ブロックごとの加算データを保持しているが、この構成に限定されない。たとえば加算データを積算したデータを現在のフレームのデータ、過去のフレームのデータとして保持しておき、それらの差分値を得るようにしてもよい。また、加算データを積算する場合に、加算データごとに、その加算データに乗算する重みを保持する構成にしてもよい。また、イベント検出部２０７は、被写体の動きをイベントとして検出しているが、加算データを用いて検出することができるものであれば、検出対象のイベントは、被写体の動きに限定されない。イベント検出部２０７は、例えば、画像認識を行って人物などの特定の物体の有無を検出する構成でもよい。

図６は、第１実施形態によるデジタル加算部２０８の構成例を示すブロック図である。通常モードが選択されると、ＡＤ変換後の画素データ（非加算のデータ）がスイッチ２１０を介して積算回路選択部２３００に入力される。積算回路選択部２３００で選択された積算回路２３０１に必要な加算分のデータを積算する。たとえばアナログ加算と同じ画素ブロック分の加算を実施する場合は、画素ブロックごとの積算をそれぞれの積算回路２３０１で実施するようにデータを入力する。なお、積算回路２３０１は、少なくとも積算に必要な数だけ用意される。例えば、画素部２０１における画素の列数がＪで２列を加算する場合は、少なくともＪ／２個の積算回路２３０１が用意される。

画素ブロック分の画素データが積算回路２３０１に入ると、積算の結果が除算部２３０２に供給される。除算部２３０２は、画素ブロックの画素数で積算結果を除算して、結果を加算データ記憶部２３０３に記憶する。Ｊ／２個の画素ブロックについて加算データ記憶部２３０３への記録が終わると、Ｊ／２個の積算回路２３０１のデータはＲＳＴ信号によりリセットされる。その後、次の行以降の画素ブロックの積算を開始する。各積算データは１フレーム分のデータ保持部２３０５にそれぞれ記憶される。加算データ記憶部２３０３に記憶された加算データは、加算データ選択部２３０４により順次にイベント検出部２０７に転送される。

図７は、第１実施形態におけるイベント検出部２０７が有する第１保持部２１００の構成例を示すブロック図である。上述のように、第１保持部２１００は、ＡＤ変換回路２０２またはデジタル加算部２０８から入力される現在のフレームの加算データを保持する。第１保持部２１００において、入力選択部２１０１は、イベント検出部２０７に順次に入力される加算データに対応する加算データ記憶部２１０３を選択し、選択した加算データ記憶部２１０３に加算データを記憶していく。出力選択部２１０２は、加算データ記憶部２１０３に記憶された加算データを順次出力する。出力されたデータは、それぞれ第2保持部２２００、差分算出部２８４、積算部２８２にそれぞれ出力される。

図８は、第１実施形態におけるイベント検出部２０７が有する第２保持部２２００の構成例を示すブロック図である。上述したように、第２保持部２２００は、第１保持部２１００から出力される加算データを過去のフレームの加算データとして保持する。第２保持部２２００において、入力選択部２２０１は第１保持部２１００から順次に入力される加算データを保持するための加算データ記憶部２２０３を順次に選択する。第２保持部２２００は、選択した加算データ記憶部２２０３に入力された加算データを記憶する。出力選択部２２０２は、加算データ記憶部２２０３に記憶された加算データを順次に出力する。出力選択部２２０２から出力された加算データは、差分算出部２８４に出力される。

図９は、第１実施形態によるモード制御部２０５の構成例を示すブロック図である。カウンタ２４０１は、垂直同期信号ＶＤを計数してカウンタ値Ｎ＿ＣＮＴを出力する。カウンタ２４０１は、イベント検出部２０７からのイベント信号（ＤＥＴ）に基づきリセット信号ＲＳＴを受けて、カウンタ値をリセットする。これにより、カウンタ２４０１は、画像に動きがない間の垂直同期信号ＶＤの数を計数する。Ｎ＿ＣＮＴの具体的なカウント、リセット方法は後述する。モード信号生成部２４００は、イベント検出部２０７による検出結果ＤＥＴとカウンタ値Ｎ＿ＣＮＴに基づいてモード信号（イベント検出モード／通常モード）を生成する。モード信号生成部２４００は、生成したモード信号を制御回路２０４およびスイッチ２１０に供給する。

図１０は第１実施形態における撮像素子２００の動作の一例を示すフローチャートである。

モード制御部２０５は、まず（初期状態として）イベント検出モードを設定し（Ｓ２５００）、イベント検出モードを示すモード信号を出力する。イベント検出モードにおいて、ＡＤ変換回路２０２からは、画素部２０１から出力された加算信号をデジタルデータに変換したアナログ加算データが出力される。イベント検出部２０７は、このアナログ加算データを取得する（Ｓ２５０１）。イベント検出部２０７は、取得したアナログ加算データがイベント検出モードにおける１枚目の画像（フレーム）から得られたものであるかどうかを判断する（Ｓ２５０２）。アナログ加算データが１枚目の画像から得られたものであると判定された場合（Ｓ２５０２：ＹＥＳ）、処理はＳ２５０１に戻り、イベント検出部２０７は、次の画像（フレーム）のアナログ加算データを取得する（Ｓ２５０１）。

アナログ加算データがイベント検出モードになってから２枚目以降の画像（フレーム）から得られたものと判定された場合（Ｓ２５０２：ＮＯ）、処理はＳ２５０３へ進む。イベント検出部２０７は、第１保持部２１００に保持されている現在のアナログ加算データと、第２保持部２２００に保持されている過去のアナログ加算データとを比較する（Ｓ２５０３）。イベント検出部２０７は、この比較の結果により、イベントの発生を検出する（Ｓ２５０４）。上述したように、イベント検出部２０７は、画素ブロックごとに現在のアナログ加算データと過去のアナログ加算データの差分を計算し、閾値との比較によりイベントの発生を検出する。

イベントが発生していないと判定された場合は（Ｓ２５０４：ＮＯ）、イベント検出部２０７は次の画像（フレーム）についてアナログ加算データ取得する（Ｓ２５０１）。イベント検出部２０７がイベントの発生を検出した場合（Ｓ２５０４：ＹＥＳ）、モード制御部２０５のモード信号生成部２４００は、通常モードを示すモード信号を出力して、動作モードをイベント検出モードから通常モードに移行させる（Ｓ２５０５）。このとき、モード信号生成部２４００は、カウンタ２４０１をリセットし、ＶＤのカウントを開始させる（Ｓ２５０５）。

通常モードへ移行すると、ＡＤ変換回路２０２は、画素部２０１から出力される非加算の画素信号をＡＤ変換して得られた画素データを画像データとして出力する（Ｓ２５０６）。また、デジタル加算部２０８は、画素ブロックごとに画素データを加算することによりデジタル加算データを生成し、イベント検出部２０７はそのデジタル加算データを取得する（Ｓ２５０６）。イベント検出部２０７は、第１保持部２２００にデジタル加算部２０８が生成したデジタル加算データを保持し、これが、通常モードにおける１枚目の画像（フレーム）から得られたものであるかどうかを判断する（Ｓ２５０７）。デジタル加算データが通常モードの１枚目の画像（フレーム）から得られたものであった場合は（Ｓ２５０７：ＹＥＳ）、イベント検出部２０７はデジタル加算部２０８から次のフレームのデジタル加算データを取得する（Ｓ２５０６）。

デジタル加算データが通常モードの２枚目以降の画像（フレーム）から得られたものであった場合（Ｓ２５０７：ＮＯ）、処理はＳ２５０８へ進む。イベント検出部２０７は、第１保持部２１００に保持されている加算データと、第２保持部２２００に保持されている加算データを比較し、イベントの発生を検出する（Ｓ２５０８）。上述したように、本実施形態のイベント検出部２０７は、画素ブロックごとに現在の加算データと過去の加算データの差分を計算し、得られた差分を閾値と比較することでイベントの発生を検出する（Ｓ２５０９）。イベントの発生が検出された場合は（Ｓ２５０９：ＹＥＳ）、モード制御部２０５のモード信号生成部２４００は、ＲＳＴ信号によりカウンタ２４０１のカウント値Ｎ＿ＣＮＴをリセット（Ｎ＿ＣＮＴに０を代入）する（Ｓ２５１１）。その後、処理はＳ２５０６に戻り、上述の処理が繰り返される。

イベントの発生が検出されなかった場合は（Ｓ２５０９：ＮＯ）、モード信号生成部２４００は、カウンタ２４０１のカウント値Ｎ＿ＣＮＴを読み出す（Ｓ２５１０）。そして、モード信号生成部２４００は、カウント値Ｎ＿ＣＮＴと所定の閾値Ｎとを比較する（Ｓ２５１２）。Ｎ＿ＣＮＴの値がＮ以上になった場合（Ｓ２５１２：ＹＥＳ）、モード信号生成部２４００は、通常モードからイベント検出モードに移行する（Ｓ２５００）。一方、カウント値Ｎ＿ＣＮＴがＮより小さい場合（Ｓ２５１２：ＮＯ）、処理はＳ２５０６に戻り、上述の処理が繰り返される。これにより、通常モードにおいて所定時時間にわたってイベントが発生しなかった場合に、モードが自動的にイベント検出モードへ移行する。

以上のようにイベントドリブンの撮像装置を駆動するうえで、イベント検出モードと通常モードがあり、通常モードでもイベント検出モードと同じ加算でデジタル加算して、イベント検出を行う方法を示した。第１実施形態の様にすれば、コマ落ちすることなく通常画像が記録できる。また後段でのイベント検出回路が必要ない。また撮像素子内で制御可能なため、パワーセーブの効率を高めることが可能である。

＜第２実施形態＞
第１実施形態では、デジタル加算部２０８による画素データの加算単位を画素部２０１の加算単位と同じにしている。第２実施形態では、デジタル加算部２０８によるデジタル加算の加算単位を変更可能にした構成を示す。以下、主に第１実施形態と異なる構成について説明する。

図１１は、第２実施形態によるデジタル加算部２０８の１フレーム分の加算データを記憶するデータ保持部２３０５を示すブロック図である。第１実施形態と同様に、画素部２０１における複数の画素の行数をＩ、列数をＪとする。図１１（ａ）は、アナログ加算の加算単位（画素ブロック）と同じ２×２の加算を実施した結果を保持するために、行方向にＰ（＝Ｉ／２）個のブロック、列方向にＲ（＝Ｊ／２）個のブロックの加算データ記憶部２３０３を有する。

図１１（ｂ）は、デジタル加算部２０８の駆動方法を変えた場合（たとえば４×４の加算単位での加算を実施した場合）にその結果を保持するために、行方向にＸ個のブロック、列方向にＹ個の加算データ記憶部２６００を使用する様子を示す。ここで、Ｐ、Ｒ、Ｘ、Ｙは整数である。なお、本例ではデジタル加算部２０８による加算単位が４×４の場合を示しているが、加算単位を２×１６、８×８などに変更してもよい。第２実施形態の撮像装置１００において、例えば、ユーザは、操作部１１４を介して加算単位の変更を設定できる。

図１１（ｂ）の場合、画素ブロック内の画素数が増える。データ保持部２３０５は、アナログ加算に合わせて行方向にＰ、列方向にＲの加算データ記憶部２３０３を有する。デジタル加算部２０８の駆動方法を変えて加算単位における画素数を増やせば、通常モードにおいて必要な加算データ記憶部の数は、Ｐ＞Ｘ、Ｒ＞Ｙと元々のブロック数より少なくなる。そのため第１保持部２１００および第２保持部２２００でＸ×Ｙ個のデータを記憶することは可能であり、さらに比較するブロック数を減らすことも可能である。

なお、第２実施形態では加算数を増やした例を示しているが、イベント検出部２０７で積算したデータを、現在のフレームのデータ、過去のフレームのデータとして比較し差分値を出す構成においては、２×２の画素ブロック内の画素数を減らしてもよい。その場合は、さらに精度の高いイベント検出が可能である。但し、これを実現するためには、データ保持部２３０５が、Ｘ×Ｙよりも多くの加算データ記憶部を備える必要がある。

以上のように、第２実施形態では、デジタル加算の加算単位を変更可能にする例を示した。加算単位の変更により、例えば、画素ブロック内の画素数を増やせば、通常モードのイベント検出において比較するブロック数を減らすことができ、比較処理を軽減することが可能である。また、加算単位の変更により画素ブロック内の画素数を減らせば、通常モードにおけるイベント検出の精度を高めることが可能である。

＜第３実施形態＞
第３実施形態では、第１実施形態または第２実施形態の撮像素子におけるイベント検出を実行するレート（すなわちデジタル加算データを出力するレート）を変更可能にする構成について説明する。以下、主に第１実施形態と異なる部分を説明する。

図１２（Ａ）はイベント検出モードにおけるデータの出力タイミングを示している。イベント検出モードでは、画像データ（画素データ）、デジタル加算データは出力されない。タイミングＴ２７８０において、ＡＤ変換回路２０２から、フレームＦ２７００のアナログ加算データの出力が開始される。その後、タイミングＴ２７８１までは出力はせずに、タイミングＴ２７８１において、ＡＤ変換回路２０２から、フレームＦ２７０１のアナログ加算データの出力が開始される。イベント検出部２０７は、フレームＦ２７００とフレームＦ２７０１のアナログ加算データを比較する。イベントが検出されない場合はそのままイベント検出モードが続く。ここで、通常モードにおける画像データの出力レート（ＶＤの周波数）を３０ヘルツ（Ｈｚ）とすると、タイミングＴ２７８１からＴ２７８２までの期間はたとえば１秒など、より遅いレートでアナログ加算データが出力されるようにしてもよい。

図１２（Ｂ）は、通常モードで、画像データと同じレートでデジタル加算データを生成する場合を示している。タイミングＴ２７８２から、フレームＦ２７１０、Ｆ２７１１、Ｆ２７１２、...のように、ＡＤ変換回路２０２が画像データの出力を開始する。アナログ加算データの出力はない。また、タイミングＴ２７８２から、デジタル加算部２０８がデジタル加算データのフレームＦ２７２０の生成を開始し、フレームＦ２７２０の生成が終了したら、次のフレームＦ２７２１の生成を開始する。フレーム２７２１の生成を終了したら、フレームＦ２７２２の生成を開始するのと並行して、イベント検出部２０７がフレームＦ２７２０、Ｆ２７２１を比較して、イベントが発生したか否かを検出する。

図１２（Ｃ）は通常モードで、デジタル加算データを生成するレート（イベントの検出を実行するレート）をイベント検出モードにおけるレートと同じにした例を示している。タイミングＴ２７８３からＡＤ変換回路２０２が画像データのフレームＦ２７３０を出力開始し、順次に、連続的に、フレームＦ２７３１、Ｆ２７３２...を出力する。図１２（Ｂ）と同様にアナログ加算データの出力はない。デジタル加算部２０８は、タイミングＴ２７８３からデジタル加算データのフレームＦ２７４０の生成を開始し、フレームＦ２７４０の生成が終了したら、タイミングＴ２７８４まで生成を停止する。そして、タイミングＴ２７８４になると、デジタル加算部２０８はデジタル加算データのフレームＦ２７４１を生成する。イベント検出部２０７は、生成されたフレームＦ２７４０、Ｆ２７４１を比較して、イベントが発生したか否かを検出する。

なお、第３実施形態では、デジタル加算データの生成タイミングを、アナログ加算データの出力タイミングと合わせる例を示しているが、生成タイミングの間隔はこれに限られるものではない。デジタル加算データの生成タイミングの間隔をより広くしてイベント検出のレートを下げてもよいし、デジタル加算データの生成タイミングの間隔を狭くしてイベント検出のレートを上げてもよい。

また、デジタル加算データの生成タイミングの間隔は一律でなくてもよい。たとえば、通常モードにおいて、イベントが検出されない時間の経過に応じて、イベントの検出のレートを下げるようにしてもよい。たとえば、最初は非加算データと同じレートでデジタル加算データを生成し、動きが少ない（Ｎ＿ＣＮＴが大きくなった）場合に、デジタル加算データの生成のレートを下げるようにしても良い。その場合、イベント検出のレートが、所定のレート以下になると、モード制御部２０５が動作モードを通常モードからイベント検出動作モードへ移行させるようにしてもよい。例えば、デジタル加算データの生成のレート（デジタル加算データによるイベント検出の実行のレート）がイベント検出モードにおけるイベント検出の実行のレートと同じになったことに応じて、動作モードをイベント検出モードに移行させるようにしてもよい。

以上の様に、通常モードの時のデジタル加算データの生成タイミングは、変更可能である。デジタル加算データの生成タイミングの間隔をあければ、デジタル加算部２０８の消費電力低減につながる。また、デジタル加算データの生成の間隔を短くすれば、イベント検出の精度を上げることが可能である。

以上のように、各実施形態によれば、通常モード時でも撮像素子２００の内部のイベント検出部２０７を使用できるため、コマ落ちすることなく通常画像を記録することができる。また、撮像素子２００の後段にイベント検出回路を設ける必要がない。また撮像素子２００内で制御可能なため、パワーセーブの効率を高めることが可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：レンズユニット、１０９：画像処理部、１１０：記録部、１１１：メモリ部、１１２：制御部、１１３：表示部、１１４：操作部

Claims (14)

1. マトリクス状に配置された複数の画素を有する画素部と、
   第１の動作モードにおいて前記複数の画素を第１の単位で分割したブロックごとに画素信号が加算された信号を出力し、第２の動作モードにおいて前記第１の単位よりも小さいブロックごとに画素信号が加算された信号またはそれぞれの画素からの信号を出力するように前記画素部を駆動する駆動手段と、
   前記画素部から出力される前記信号をデジタルデータに変換する変換手段と、
   前記第２の動作モードにおいて、前記変換手段により得られたデジタルデータを第２の単位のブロックごとに加算する加算手段と、
   前記第１の動作モードでは前記変換手段で得られたデジタルデータを用いてイベントを検出し、前記第２の動作モードでは前記加算手段で得られたデジタルデータを用いてイベントを検出する検出手段と、を備え、
   前記第２の単位は前記第１の単位と異なることを特徴とする撮像素子。
2. 前記第２の単位は前記第１の単位よりも小さいことを特徴とする請求項１に記載の撮像素子。
3. 前記第２の単位は前記第１の単位よりも大きいことを特徴とする請求項１に記載の撮像素子。
4. 前記第２の動作モードにおいて、
   前記駆動手段は所定のフレームレートで画像を得るように前記画素部を駆動し、
   前記検出手段は、前記所定のフレームレートでイベントの検出を実行する、ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. マトリクス状に配置された複数の画素を有する画素部と、
   第１の動作モードにおいて前記複数の画素を第１の単位で分割したブロックごとに画素信号が加算された信号を出力し、第２の動作モードにおいて前記第１の単位よりも小さいブロックごとに画素信号が加算された信号またはそれぞれの画素からの信号を出力するように前記画素部を駆動する駆動手段と、
   前記画素部から出力される前記信号をデジタルデータに変換する変換手段と、
   前記第２の動作モードにおいて、前記変換手段により得られたデジタルデータを第２の単位のブロックごとに加算する加算手段と、
   前記第１の動作モードでは前記変換手段で得られたデジタルデータを用いてイベントを検出し、前記第２の動作モードでは前記加算手段で得られたデジタルデータを用いてイベントを検出する検出手段と、を備え、
   前記第２の動作モードにおいて、
   前記駆動手段は所定のフレームレートで画像を得るように前記画素部を駆動し、
   前記検出手段は、前記所定のフレームレートよりも低いレートでイベントの検出を実行する、ことを特徴とする撮像素子。
6. 前記検出手段は、前記第１の動作モードと前記第２の動作モードで、同じレートでイベントの検出を実行することを特徴とする請求項５に記載の撮像素子。
7. 前記検出手段は、前記第２の動作モードにおいて、イベントが検出されない時間の経過に応じて前記検出のレートを下げることを特徴とする請求項４乃至６のいずれか１項に記載の撮像素子。
8. 前記第２の動作モードにおいて、前記変換手段により得られたデジタルデータを画像データとして出力する出力手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
9. 前記検出手段によるイベントの検出状態に基づいて、前記第１の動作モードと前記第２の動作モードの間の遷移を制御するモード制御手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像素子。
10. 前記モード制御手段は、前記第１の動作モードにおいて前記検出手段がイベントを検出すると動作モードを前記第２の動作モードへ移行させ、前記第２の動作モードで前記検出手段がイベントを検出しなくなったと判断すると動作モードを前記第１の動作モードへ移行させることを特徴とする請求項９に記載の撮像素子。
11. 前記検出のレートが、所定のレート以下になると、動作モードを前記第２の動作モードから前記第１の動作モードへ移行させるモード制御手段をさらに備えることを特徴とする請求項７に記載の撮像素子。
12. 前記所定のレートは、前記検出手段がイベント検出モードにおいて前記検出を実行するレートであることを特徴とする請求項１１に記載の撮像素子。
13. 請求項１乃至１２のいずれか１項に記載された撮像素子と、
    前記撮像素子の前記画素部に光像を結像させる光学系と、を備えることを特徴とする撮像装置。
14. マトリクス状に配置された複数の画素を有する画素部を備える撮像素子の制御方法であって、
    第１の動作モードにおいて前記複数の画素を第１の単位で分割したブロックごとに画素信号が加算された信号を出力し、第２の動作モードにおいて前記第１の単位よりも小さいブロックごとに画素信号が加算された信号またはそれぞれの画素からの信号を出力するように前記画素部を駆動する駆動工程と、
    前記画素部から出力される前記信号をデジタルデータに変換する変換工程と、
    前記第２の動作モードにおいて、前記変換工程により得られたデジタルデータを第２の単位のブロックごとに加算する加算工程と、
    前記第１の動作モードでは前記変換工程で得られたデジタルデータを用いてイベントを検出し、前記第２の動作モードでは前記加算工程で得られたデジタルデータを用いてイベントを検出する検出工程と、を備え、
    前記第２の単位は前記第１の単位と異なることを特徴とする撮像素子の制御方法。

Images