JP7325211B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関する。

近年、計測、交通情報の収集、防犯などの分野において、被写体の動きなどのイベントの有無を画像処理により検出し、イベントが発生した場合に画像を記録する撮像装置が開発されている。

例えば、特許文献１では、複数フレームの画像データを一定の時間間隔で撮像し、現在のフレームの輝度の積分値と過去のフレームの輝度の積分値との差分からイベントの有無を検出する撮像装置が提案されている。この撮像装置では、イベントを検出するまでは画素信号を混合した信号を用いてイベント検出を行い、イベントを検出すると画素信号を混合しないフレーム画像を記録する。これにより、イベントを検出する状態において、ＡＤ変換（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｓｉｏｎ）の回数を減らし、消費電力の削減を図っている。さらに、画素信号を混合するイベント検出待ちの状態においては、イベント検出後の画素信号を混合しない状態に比べて、フレームレートを低くし、消費電力をさらに削減している。

特開２０１８－２２９３５号公報

しかしながら、特許文献１に開示されている技術では、現在のフレームの輝度の積分値と過去のフレームの輝度の積分値との差分からイベントを検出するため、イベント検出時にフレームレートを低下させると検出に時間がかかる。そのため、イベントが発生した際に画像データの記録開始が遅れてしまう。また、イベントの有無が頻繁に切り替わるような場合には、イベントの検出に時間がかかることはさらに大きな問題となる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、フレームレートを落としたイベント検出状態から記録画像を撮像する通常撮影状態への遷移の遅れを抑制できる撮像装置を提供することである。

本発明に係わる撮像装置は、複数の画素が二次元的に配置された画素部と、前記画素部から出力される画素信号に基づいて被写体の変化を検出する検出手段とを有する撮像素子と、前記撮像素子から出力される画素信号から撮影用の画像データを生成する通常撮影モードと、該通常撮影モードに比べて、信号量を減らして前記画素部から読み出した画素信号に基づいて、前記検出手段により前記被写体の変化を検出する複数の検知モードとを切り替える制御手段と、を備え、前記複数の検知モードは、前記撮像素子から読み出される画素信号のフレームレートが低い第１の検知モードと、該第１の検知モードよりも、前記撮像素子から読み出される画素信号のフレームレートが高い第２の検知モードとを含むことを特徴とする。

本発明によれば、フレームレートを落としたイベント検出状態から記録画像を撮像する通常撮影状態への遷移の遅れを抑制できる撮像装置を提供することが可能となる。

本発明の撮像装置の第１の実施形態であるデジタルカメラ１００の構成を示すブロック図。 第１の実施形態における撮像素子の構成例を示すブロック図。 撮像素子の積層構造を示す図。 第１の実施形態における画素部の構成例を示す平面図。 第１の実施形態における画素ブロックの構成例を示す回路図。 第１の実施形態におけるイベント検出部の構成例を示すブロック図。 第１の実施形態におけるモード制御部の構成例を示すブロック図。 第１の実施形態におけるモード信号生成部の動作の例を示す図。 第１の実施形態におけるデジタルカメラの状態遷移の例を示す図。 第１の実施形態におけるイベント検知モードでの撮像素子の動作の例を示すタイミングチャート。 第１の実施形態における通常撮影モードでの撮像素子の動作の例を示すタイミングチャート。 第１の実施形態におけるデジタルカメラの動作を示すフローチャート。 第２の実施形態におけるモード信号生成部の動作の例を示す図。 第２の実施形態におけるデジタルカメラの状態遷移図の例を示す図。 第２の実施形態における通常撮影モードのデジタルカメラの動作を示すフローチャート。 第３の実施形態におけるモード信号生成部の動作の例を示す図。 第３の実施形態におけるデジタルカメラの状態遷移図の例を示す図。 第３の実施形態におけるデジタルカメラの動作を示すフローチャート。 第４の実施形態におけるイベント検出部の構成例を示すブロック図。 第４の実施形態におけるモード信号生成部の動作の例を示す図。 第４の実施形態におけるデジタルカメラの動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラ１００の構成を示すブロック図である。

図１において、撮影レンズ１０１は、被写体からの光を撮像素子２００へ結像させる。撮像素子２００は、例えばＣＭＯＳ型の撮像素子であり、撮影レンズ１０１を通して入射した光を光電変換して画像信号として出力する。また、撮像素子２００は、内部に画素出力値の変化量および変化領域を検出し、その検出結果に応じて、撮像素子２００自身の駆動制御を選択及び変更する制御機能を有している。この機能を有することにより、撮像素子自身が被写体の変化を検出し、適切な撮影モードを選択して変更することを可能としている。

画像処理回路１０２は、撮像素子２００から出力される画像信号に対して、フィルタ処理等の各種補正処理や圧縮等のデジタル画像処理を行う。また、４ＫモードやＦｕｌｌＨＤモードによる画像信号についても、ここで各モードに応じたリサイズ等の画像処理が施される。

制御回路１０３は、撮像素子２００の駆動タイミングの制御を行うとともに、画像処理回路１０２、表示回路１０６等の撮像装置全体の統括的な駆動及び制御を行う。また、制御回路１０３は、ユーザーの命令を受けて、静止画モード、ＦｕｌｌＨＤモード、４Ｋモード等の複数の撮影モードから選択された撮影モードに応じた駆動制御を行う。また、本実施形態のデジタルカメラ１００においては、前述したように、撮像素子２００が被写体の変化を検出して撮影モードの選択及び変更を行う検知モードを備えており、撮像素子２００への検知モードの動作許可の制御も行う。

メモリ回路１０４、記録回路１０５は、画像処理回路１０２から出力された画像信号を記録保持する不揮発性メモリやメモリカード等の記録媒体である。表示回路１０６は、撮影画像や各種設定画面等の表示を行う。操作回路１０７は、不図示の操作部材からの信号を受け付けて、制御回路１０３に対してユーザーの命令を伝達する。

制御回路１０３は動体検知回路１１０をさらに有し、撮像素子２００から入力された画像データについて動体の有無を検出する。制御回路１０３は、動体検知回路１１０での検出結果に応じて、撮像素子２００のモードを制御する。

図２は、撮像素子２００の構成例を示すブロック図である。撮像素子２００は、複数の画素が行列状に配置された画素部２２０を備えており、画素単位の信号を出力する機能、及び画素部２２０の面内を複数のブロックに分割した画素ブロック毎に画素信号を混合して出力する機能を有している。

画素部２２０の画素からの出力信号は、ＡＤ変換回路２１２において画素列毎または後述する画素ブロックを単位としたブロック列毎にアナログ－デジタル変換された後、水平走査回路２１３の駆動により順次イベント検出部２１４へ転送される。

イベント検出部２１４では、モード制御部２１６の制御信号を受け、画素ブロック単位の出力信号に対して、イベント発生の判断基準とする画素出力値の変化量を検出する。そして、検出結果の情報を撮像素子２００の駆動モード制御を行うモード制御部２１６へ送信する。また、イベント検出部２１４は、画素部２２０の出力が画素単位出力の場合には、そのまま画素の出力信号を信号処理部２１５へ転送する。さらにイベント検出部２１４は、画素ブロック単位の出力を積算し、積分データとして露光制御部２１７に供給する。信号処理部２１５は、イベント検出部２１４からの画素信号の出力の前後に、画素出力の変化量や撮像素子２００の駆動モード等の情報データを付帯して撮像素子２００の外部に出力する。

モード制御部２１６は、撮像素子２００内のイベント検出部２１４または撮像素子外の制御回路１０３からの信号を受けて、ＡＤ変換回路２１２、水平走査回路２１３、垂直走査回路２１１の各々に駆動タイミング制御信号を供給する。そして、撮像素子２００の撮像モード毎に応じた駆動制御を行う。また、モード制御部２１６は、制御回路１０３から撮像素子２００が検知モードとして動作することが許可されている場合、撮像素子２００を検知モードに設定し、画素ブロック毎に画素混合する駆動を開始させる。

垂直走査回路２１１は、各行ごとに接続される信号線を介して、画素単位または画素ブロック単位に行選択及び駆動を行う。露光制御部２１７は、イベント検出部２１４からの積分データに基づき、撮像素子２００の露光制御として露光時間の算出を行い、モード制御部２１６へ露光制御信号を供給する。

図３は、撮像素子２００の積層構造を示す図である。

図３（ａ）に示されるように、撮像素子２００は、斜線模様で示される半導体基板２３０と、白色で示される半導体基板２３２とを有する。半導体基板２３０および半導体基板２３２は、図３（ｂ）に示されるように重畳された状態で封止され、モジュール化（一体化）される。

つまり、図３（ｃ）に示されるように、半導体基板２３０および半導体基板２３２は、多層構造（積層構造）を形成する。半導体基板２３０に形成される回路と半導体基板２３２に形成される回路は、ビア（ＶＩＡ）等により互いに接続される。

このように、撮像素子２００は、半導体基板２３０と半導体基板２３２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップとも称する）である。モジュール内部において半導体基板２３０と半導体基板２３２がこのように積層構造を形成することにより、撮像素子２００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子２００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

なお、半導体基板２３０には、画素部２２０およびＡ／Ｄ変換回路１１２などが形成される。また、半導体基板２３２には、イベント検出部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７が形成される。撮像素子２００と画像処理回路１０２は、バス１２１により接続される。

図４は、本実施形態における画素部２２０の構成例を示す図である。

図４において、画素部２２０には、画素２３０が行列状（二次元的に）に複数配置されている。またイベント検知のために信号を混合する単位として、複数の画素（本実施形態では例えば４個）の組である画素ブロック２４０が形成されている。なお、説明を分かりやすくするため、本実施形態においては画素ブロック２４０を２行×２列の４つの画素から構成する場合について説明するが、行数、列数および配置については、これに限定されるものではない。

画素ブロック２４０には駆動信号線が接続され、そのブロック毎に２つのリセット制御信号（例えばＲＳＴ１，ＲＳＴ２）、２つの行選択制御信号（例えばＳＥＬ１，ＳＥＬ２）、２つの転送制御信号（例えばＴＸ１，ＴＸ２）、混合信号ＡＤＤ（例えばＡＤＤ１）、混合後の信号選択制御信号ＡＤＤ＿ＳＥＬ（例えばＡＤＤ＿ＳＥＬ１）が供給される。

各画素２３０には、リセット制御信号、行選択制御信号、転送制御信号が駆動信号線を介して供給される。さらに画素ブロックごとに混合信号ＡＤＤ、混合後の信号選択制御信号ＡＤＤ＿ＳＥＬが供給される。列方向には列出力線４１０が配置されている。画素からの出力信号は列出力線４１０を介して、接続先のＡＤ変換回路２１２に入力される。

上記の駆動信号が各駆動信号線を介して選択的に画素に供給されることにより、撮像素子２００の各画素の信号が行単位で、各列出力線４１０を介して読み出される。記録用または表示用の通常画像（撮影用画像）を撮影する通常撮影モードでは、画素部２２０からは、各画素２３０毎の信号が独立して順次読み出される。これに対し、イベントを検出するイベント検知モードでは、後述するように画素ブロック２４０内のフローティングディフュージョン部（以下、ＦＤ部）ごとに混合スイッチを動作させることにより、各ブロックの混合信号が読み出される。つまり、信号量を減らして読み出される。

図５は、本実施形態における画素２３０の等価回路図である。

図５では、１つの画素ブロック２４０を構成する４つの画素２３０について図示している。左上の画素を中心に説明すると、フォトダイオード４０６－１において蓄積された電荷は、転送制御信号ＴＸ１により、転送スイッチ４０５を介してＦＤ部４０７－１に転送される。ソースフォロアアンプ４０８－１は列出力線４１０に接続された定電流源４１１－１と共に構成され、ＦＤ部４０７－１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプの出力信号は、行選択制御信号ＳＥＬ１が行選択スイッチ４０９を制御することにより、列出力線４１０－１へ出力される。

ＦＤ部４０７－１に蓄積されている不要電荷をリセットする場合はリセット制御信号ＲＳＴ１によりリセットスイッチ４０４－１を制御する。さらにフォトダイオード４０６－１をリセットする場合は、リセットスイッチ４０４－１と共に、転送制御信号ＴＸ１により転送スイッチ４０５－１を制御してリセットを実行する。垂直操作回路２１１は、駆動信号線を介して各行の画素に転送制御信号ＴＸ１、リセット制御信号ＲＳＴ１、行選択制御信号ＳＥＬ１を供給する。

通常撮影モードでは、各画素２３０の信号が画素単位で読み出される。イベント検知モードでは、混合信号ＡＤＤにより混合スイッチ４１３がオン状態になり、フォトダイオード４０６－１，４０６－２，４０６－３，４０６－４から同じ画素ブロック内のＦＤ部４０７－１，４０７－２，４０７－３，４０７－４に転送された信号が混合される。その後、混合後の信号を選択する信号である選択制御信号ＡＤＤ＿ＳＥＬを画素２３０－３に設けられているＯＲ回路４１２に入力することにより、から混合した信号が列出力線４１０－１が出力される。

このようにして、２行×２列の４つの画素の信号を混合した信号がイベント検知モードで出力される。なお信号を混合する単位は２行×２列に限られるものではない。また、信号の混合方法はＦＤ部同士を接続して行う方法に限られるものではない。列出力線で複数の行をつないで混合し、水平方向の混合はＡＤ変換回路の前の混合回路を使用して実施するようにしてもよい。

図６は、本実施形態におけるイベント検出部２１４の構成例を示す図である。

出力切り替え回路２６０は、撮像素子２００の動作モードを制御するモード制御部２１６からの制御信号ＣｔｒｌＳｉｇに応じて画素信号の出力先を撮像素子内部と外部へと切り替える。撮像素子の動作モードが被写体変化（イベント）を検出するイベント検知モードである場合、出力切り替え回路２６０は、画素部２２０の画素ブロック単位で混合された画素信号の出力先を積算演算処理回路２６１とする。また、撮像素子の動作モードが通常撮影モードである場合、出力切り替え回路２６０は、画素信号の出力先を撮像素子外部の信号処理部２１５とする。

積分演算処理回路２６１は、出力切り替え回路２６０から供給される画素信号を積算し、積算データを露光制御部２１７へ供給する。また、画素ブロック単位の画素出力信号を保持するメモリ２６２へ出力する。メモリ２６２は、画素ブロック単位の画素出力信号と、出力元の撮像素子２００の撮像面内における同じ画素ブロックの位置情報とを、過去データとして記憶し、保持する。

差分検出回路２６３は、直近に読み出された画素ブロック単位の出力信号値と、メモリ２６２に保持されている同じ画素ブロックについての過去の出力信号値との差を算出し、その差分データを作成する。差分データは比較回路２６４に供給される。比較回路２６４は、各差分データと所定の閾値を比較する。比較回路２６４により得られた比較結果データは、モード制御部２１６に送信される。

図７は、本実施形態におけるモード制御部２１６の構成例を示すブロック図である。

図７において、モード制御部２１６は、モード信号生成部６０１とカウンタ６０２を備える。モード信号生成部６０１は、イベント検出部２１４の比較回路２６４からの比較結果データ（イベントの有無を示すデータ）である検出結果ＤＥＴ１および制御回路１０３からの検出結果ＤＥＴ２に基づいてモード信号ＭＯＤＥを生成する。このモード信号生成部６０１は、生成したモード信号ＭＯＤＥを垂直走査回路２１１に供給する。

図８は、本実施形態におけるモード信号生成部６０１の動作の一例を示す図である。

本実施形態では、イベントを検出するイベント検知モードとして、低速のフレームレートで駆動するイベント検知モード（以下、低速イベント検知モード）と、高速のフレームレートで駆動するイベント検知モード（以下、高速イベント検知モード）とを有する。本実施形態では、撮像装置の動作開始時などのように、直近でイベントの発生が生じていない状況においては、低速イベント検知モードで駆動することにより、大幅に消費電力を低減しつつイベントの検出を行う。

一方、通常撮影モードからイベント検知モードに移行する場合などのように、再度イベントが発生しやすい状況においては、一定期間、高速イベント検知モードで駆動する。これにより、消費電力の削減効果は小さくなるものの、通常撮影モードよりも消費電力を低減させながら、イベントの検出を短時間で行うことができる。これにより、再度イベントが発生した際に、即座に通常撮影モードに移行し、画像データを取得することができる。

イベント検出部２１４からモード信号生成部６０１へは、差分検出回路２６３で得られる差分データと所定の閾値の比較結果（結果としてイベントの有無を示すデータ）が検出結果ＤＥＴ１として入力される。また、制御回路１０３からモード信号生成部６０１へは、動体検知結果が検出結果ＤＥＴ２として入力される。また、カウンタ６０２からモード信号生成部６０１へはカウント値ＣＮＴが入力される。

図８において、まず、現在のモードが低速イベント検知モードである場合には、モード信号生成部６０１に入力される各情報のうち、イベント検出部２１４からの入力情報である検出結果ＤＥＴ１に基づいてモード信号の生成が行われる。

検出結果ＤＥＴ１によりイベント無しの情報が入力された場合には、モード信号生成部６０１からは、低速イベント検知モードを継続するよう信号が出力される。また、検出結果ＤＥＴ１によりイベント有りの情報が入力された場合には、モード信号生成部６０１からは、通常撮影モードへ移行するよう信号が出力される。

次に、現在のモードが通常撮影モードである場合には、モード信号生成部６０１に入力される各情報のうち、制御回路１０３からの入力情報である検出結果ＤＥＴ２に基づいてモード信号の生成が行われる。

検出結果ＤＥＴ２により動体無しの情報が入力された場合には、モード信号生成部６０１からは、高速イベント検知モードへ移行するよう信号が出力される。検出結果ＤＥＴ２により動体有りの情報が入力された場合には、モード信号生成部６０１からは、通常撮影モードを継続するよう信号が出力される。

次に、現在のモードが高速イベント検知モードの場合には、モード信号生成部６０１に入力される各情報のうち、イベント検知部２１４からの検出結果ＤＥＴ１に加えて、カウンタ６０２からのカウント値ＣＮＴを用いてモード信号の生成が行われる。

検出結果ＤＥＴ１によりイベント無しの情報が入力され、さらにカウント値ＣＮＴが所定値Ｎよりも小さい場合には、モード信号生成部６０１からは、高速イベント検知モードを継続するよう信号が出力される。また、検出結果ＤＥＴ１によりイベント無しの情報が入力され、さらにカウント値ＣＮＴが所定値Ｎ以上の場合には、モード信号生成部６０１からは、低速イベント検知モードに移行するよう信号が出力される。

検出結果ＤＥＴ１によりイベント有りの情報が入力された場合には、モード信号生成部６０１からは、通常撮影モードに移行するよう信号が出力される。ここで、通常撮影モードでの制御部による動体検知方法については、一般的な画像解析による被写体検知方法であるため、説明は省略する。

本実施形態では、イベント検知モードとして、低速のフレームレートで駆動するイベント検知モードと高速のフレームレートで駆動するイベント検知モードとを用いる例について説明したが、イベント検知モードはこの二つに限定されるものではない。他にもより低速なフレームレートのイベント検知モードやより高速なフレームレートのイベント検知モードをさらに設定できる構成であってもよい。その場合には、通常撮影モードからイベント検知モードに移行する際に、より高速なフレームレートのイベント検知モードからより低速なイベント検知モードへ徐々にフレームレートが下がるように移行していくような構成であることが望ましい。

図９は、本実施形態におけるデジタルカメラ１００の状態遷移の一例を示す図である。

このデジタルカメラ１００の状態は、初期状態８１０、低速イベント検知モード８２０、高速イベント検知モード８３０および通常撮影モード８４０の４つに分類される。

初期状態８１０は、撮像素子２００が停止している状態であり、低速イベント検知モード８２０および高速イベント検知モード８３０は、撮像素子２００が動作し、画素混合を行う状態である。また、通常撮影モード８４０は、撮像素子２００が動作し、画素混合をせずに撮像を行う状態である。

初期状態８１０において、デジタルカメラ１００の動作を開始させるための操作が行われると、デジタルカメラ１００は、撮像素子２００を動作させて低速イベント検知モード８２０に移行する。低速イベント検知モード８２０において、デジタルカメラ１００は、垂直同期信号ＶＳＹＮＣに同期して、画素混合により輝度積分データを取得する。そして、イベント検出部２１４は、その輝度積分データからイベントの有無を検出する。イベントが発生した場合に、デジタルカメラ１００は、通常撮影モード８４０に移行する。

通常撮影モード８４０において、デジタルカメラ１００は、画素混合せずに画像を撮像し、動体検知回路１１０の検知結果から動体が無いと判断されると、高速イベント検知モード８３０に移行する。高速イベント検知モード８３０において、デジタルカメラ１００は、垂直同期信号ＶＳＹＮＣに同期して、画素混合により輝度積分データを取得する。そして、イベント検出部２１４は、その輝度積分データからイベントの有無を検出する。イベントが発生した場合に、デジタルカメラ１００は、通常撮影モード８４０に移行する。

一方、高速イベント検知モード８３０において、イベント検出部２１４は、輝度積分データからイベントの有無を検出し、イベントが発生しない場合には、画素混合データをＮ枚取得すると低速イベント検知モード８２０に移行する。また、低速イベント検知モード８２０、高速イベント検知モード８３０および通常撮影モード８４０において、動作を終了させるための操作が行われると、デジタルカメラ１００は、撮像素子２００を停止させて初期状態８１０に移行する。

図１０は本実施形態における低速イベント検知モードおよび高速イベント検知モードでの撮像素子２００の動作の一例を示すタイミングチャートである。図１０（ａ）は低速イベント検知モードのタイミングチャートの一例であり、図１０（ｂ）は高速イベント検知モードのタイミングチャートの一例である。タイミングＴ０においてイベント検知モードが設定されたものとする。

図１０（ａ）において、低速イベント検知モードでは、垂直走査回路２１１は、混合信号ＡＤＤ、ＡＤＤ＿ＳＥＬをオン状態として、ブロック単位による読み出しを開始させる。混合信号ＡＤＤおよびＡＤＤ＿ＳＥＬをオン状態にすることで、ブロック単位で混合された画素信号が列出力線から出力されるようになる。

混合信号のオンのタイミングと同タイミングで、リセット信号ＲＳＴ１，ＲＳＴ２、転送信号ＴＸ１，ＴＸ２をハイレベルに制御する。これにより、混合信号ＡＤＤにより接続状態となったＦＤ部４０７－１，４０７－２，４０７－３，４０７－４、およびブロック内の各フォトダイオード４０６－１，４０６－２，４０６－３，４０６－４が電源電位にリセットされる。

タイミングＴ１において、リセット信号ＲＳＴ１，ＲＳＴ２、転送信号ＴＸ１，ＴＸ２がローレベルに復帰して、ブロック単位の１行目に対する露光が開始される。

一定の露光時間の経過後、タイミングＴ２において、垂直走査回路２１１は、ブロック単位の１行目に対応する転送信号ＴＸ１，ＴＸ２をハイレベルに制御してＴＲ４０５－１、ＴＲ４０５－２、ＴＲ４０５－３、ＴＲ４０５－４をオン状態とする。これにより、各フォトダイオード４０６－１，４０６－２，４０６－３，４０６－４に蓄積された電荷がＦＤ部４０７－１，４０７－２，４０７－３，４０７－４に転送され、さらに混合される。これにより電荷が混合されたブロック単位の露光が終了する。

ブロック単位で混合された電荷は、ソースフォロアアンプ４０８－３により電圧信号として増幅され、画素出力信号として列出力線４１０－１から出力される。列出力線４１０－１に出力された混合画素信号はＡＤ変換回路２１２によりＡＤ変換され、読み出される。タイミングＴ３以降は、同様に順次ブロック行単位で露光および読み出しが行われ、最終ブロックのＮブロック行の読み出しが行われると、全ブロック行の読み出しが完了する。全ブロック行の読み出しは、垂直同期信号ＶＳＹＮＣに同期して複数回に亘って実行される。

最終ブロック行のＮブロック行の読み出しが行われ、全てのブロック行の読み出しが完了すると、次の垂直同期信号ＶＳＹＮＣが発行されるまでの期間、撮像素子自体の動作を停止する。低速イベント検知モードについては、全ブロック行を読み出してから次の垂直同期信号ＶＳＹＮＣが発行されるまでの動作停止時間を長くすることにより（フレームレートを低くすることにより）消費電力を削減することができる。

図１０（ｂ）においても、図１０（ａ）と同様に、垂直走査回路２１１は、混合信号ＡＤＤ、ＡＤＤ＿ＳＥＬをオン状態として、ブロック単位による読み出しを開始させる。以下、Ｎブロック行までの読み出しは図１０（ａ）と同様であるため、説明は省略する。

最終ブロック行のＮブロック行の読み出しが行われ、全てのブロック行の読み出しが完了すると、次の垂直同期信号ＶＳＹＮＣが発行されるまでの期間、撮像素子自体の動作を停止する。

本実施形態における高速イベント検知モードと低速イベント検知モードの違いは、Ｎブロック行を読み終わってから次の垂直同期信号ＶＳＹＮＣが発行されるまでの時間にある。高速イベント検知モードについては、低速イベント検知モードに比べて全ブロック行を読み出してから次の垂直同期信号ＶＳＹＮＣが発行されるまでの時間を短くする（フレームレートを高くする）。これにより低速イベント検知モードよりも消費電力は大きくなるが、短時間で複数フレームの画像データを取得できるため、短時間でイベントを検出することができる。そのため、通常撮影モードへの復帰も素早く行うことができる。

図１１は、本実施形態における通常撮影モードの撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ０の後のタイミングＴ１０において、イベントが検出されて通常撮影モードが設定されたものとする。

垂直走査回路２１１は、１行目の画素行の信号読み出しを開始するために、行選択制御信号ＳＥＬ＿１をハイレベルするとともに、リセット信号ＲＳＴ１を所定のパルス期間に旦ってハイレベルに制御する。また、これと同じタイミングで、転送信号ＴＸ１をハイレベルに制御する。これにより、１行目の画素行のＦＤ部４０７－１，４０７－２およびフォトダイオード４０６－１，４０６－２が電源電位にリセットされる。また、ＦＤ部４０７－３はＦＤ部４０７－１と結線されており、ＦＤ部４０７－４はＦＤ部４０７－２と結線されているため、同様にリセットされる。

タイミングＴ１１において、リセット信号ＲＳＴ１、転送信号ＴＸ１がローレベルに復帰して、１行目の画素行に対する露光が開始される。

一定の露光時間の経過後、タイミングＴ１２において、垂直走査回路２１１は、転送信号ＴＸ１をハイレベルに制御して、ＴＲ４０５－１、ＴＲ４０５－２をオン状態とする。これにより、フォトダイオード４０６－１に蓄積された電荷はＦＤ部４０７－１，４０７－３に、フォトダイオード４０６－２に蓄積された電荷はＦＤ部４０７－２，４０７－４に転送され、画素単位の露光が終了する。

ＦＤ部に転送された電荷は、接続先となる各ソースフォロアアンプ４０８－１，４０８－２において電圧信号として増幅され、画素出力信号として各列の列出力線から出力される。各列出力線に出力された画素信号は、各列のＡＤ変換回路によりデジタル信号に変換される。

次に、タイミングＴ１４からＴ１７において、２行目の画素の信号読み出し動作が行われる。信号読み出しは、２行目の画素に対応する行選択信号ＳＥＬ＿２、リセット信号ＲＳＴ２、転送信号ＴＸ２が、１行目の画素における信号と同様に発行される。そして、フォトダイオード４０６－３に蓄積された電荷がＦＤ部４０７－３，４０７－１に転送され、フォトダイオード４０６－４に蓄積された電荷がＦＤ部４０７－４，４０７－２に転送されて２行目における画素単位の露光が終了する。ＦＤ部に転送された電荷は、接続先となる各ソースフォロアアンプ４０８－３，４０８－４において電圧信号として増幅され、画素出力信号として各列の列出力線から出力される。

以降は、同様に画素行単位に、露光および読み出しが行われ、全行分の読み出しが完了する。また全行の読み出しは、垂直同期信号に同期して複数回に亘って実行される。

図１２は、本実施形態におけるデジタルカメラ１００の動作の一例を示すフローチャートである。この動作は、例えば、ユーザーが動作の開始を指示したときに開始される。

ステップＳ１１０１では、まず、低速イベント検知モードに移行し、ステップＳ１１０２では、画素信号混合読み出しにより輝度積分データを取得する。ステップＳ１１０３では、ステップＳ１１０２で取得した輝度積分データに基づいて、所定のイベントが発生したか否かを判断する。イベントが発生していない場合には、ステップＳ１１０２とステップＳ１１０３の動作を繰り返し実行する。

一方、ステップＳ１１０３で、イベントが発生した場合には、ステップＳ１１０４において通常撮影モードに移行し、ステップＳ１１０５で、画素信号混合読み出しを行わずに画像データを取得する。

ステップＳ１１０６では、ステップＳ１１０５で取得した画像データに基づいて動体の検知を行う。ステップＳ１１０６で、動体有りと判断された場合には、ステップＳ１１０５とステップＳ１１０６の動作を繰り返し実行する。

一方ステップＳ１１０６で、動体が無いと判断されると、ステップＳ１１０７において、高速イベント検知モードに移行し、カウンタ値ＣＮＴを「０」に初期化した後、ステップＳ１１０８で、画素信号混合読み出しにより積分データを取得する。ステップＳ１１０９では、ステップＳ１１０８で取得した輝度積分データに基づいて、所定のイベントが発生したか否かを判断する。

ステップＳ１１０９において、イベントが発生した場合には、ステップＳ１１０４に戻り、再度通常撮影モードに移行し、ステップＳ１１０４～Ｓ１１０９の動作を繰り返し実行する。一方ステップＳ１１０９で、イベントが発生していない場合には、ステップＳ１１１０において、カウンタ値ＣＮＴが所定値Ｎ以上か否かを判断する。

ステップＳ１１１０において、カウンタ値ＣＮＴが所定値Ｎ未満の場合には、カウンタ値ＣＮＴをインクリメントし、ステップＳ１１０８～Ｓ１１１０の動作を繰り返し実行する。一方ステップＳ１１１０で、カウンタ値ＣＮＴが所定値Ｎ以上の場合には、ステップＳ１１０１に戻り、低速イベント検知モードに移行する。

以上説明したように、本実施形態では、通常撮影モードによる画像撮影後に動体が検知されなくなった際に、一時的にフレームレートが高速なイベント検知モードによるイベント検出を行う。これにより、イベント検出を短時間で行うことができ、イベント発生時に短時間で通常撮影モードによる画像撮影を開始することが可能となる。

本実施形態では、通常撮影モードからイベント検知モードに移行する際に、高速なフレームレートでのイベント検知モードへ移行することにより、再度イベントが検知された際の通常撮影モードへの移行を短時間に行う方法について説明した。しかし、通常撮影モードへの移行を行いやすくする方法はこれに限らず、例えば、イベントを検知しやすくする方法として、通常撮影モードからイベント検知モードに移行した際に、一定期間、イベント検出部の検出閾値を下げることで、イベントを検出しやすくしてもよい。

また、本実施形態では、通常撮影モード時には動体検知回路１１０で動体を検知する方法について説明したが、移動体や被写体の検知についてはこれに限定されるものではない。例えば、通常撮影モード時についても、撮像素子内のイベント検出部によりイベント検出を行ってもよいし、撮像素子内に別の動体検知回路を設け、そこで動体の検知を行ってもよい。

また、本実施形態では、イベント検出時のモードを、画素混合を行うイベント検知モードとして記載したが、イベント検出時の消費電力を通常撮影モード時よりも抑えることができればイベント検知モードに限定されるものではない。例えば、一部の画素の信号を間引いて読み出してＡＤ変換の回数を減らすことにより消費電力を抑える間引き読み出しモードでもよい。また、通常撮影モードのように全画素の信号を読み出しても、フレームレートを通常撮影モードよりも低速にして消費電力を抑えるようにしてもよい。

また、本実施形態では、通常撮影モードは、全画素の信号を読み出すモードとして説明したが、イベント検出後に移行するモードはこれに限定されず、画素信号を混合して読み出すモードや、画素信号の間引きを行って読み出すモードであってもよい。

（第２の実施形態）
上述の第１の実施形態では、通常撮影モードからイベント検知モードに移行する場合に、一時的に高速のフレームレートでのイベント検知モードを行うことにより、再度イベントが発生した際のイベント検出を短時間で行う方法について説明した。しかし、一度イベント検知モードに移行してしまうと、フレームレートを高速化したとしても、画像データが取得できない時間が短くはなるが、無くなるわけではない。

この第２の実施形態では、通常撮影モードで動体が検知されなくなった場合でも、即時にイベント検知モードに移行せず、一定時間、通常撮影モードの状態で画像データを取得しながら動体検知を継続する。これにより、再度動体が検知された場合に、画像データが欠けることなく、通常撮影モードによる画像データの取得を行うことができる。

以下、第２の実施形態について説明する。なお、デジタルカメラ及び撮像素子の構成については、第１の実施形態における図１から図７と同じであり、撮像素子の駆動タイミングについては、第１の実施形態における図１０、図１１と同じであるため、これらについての説明は省略する。

図１３は、第２の実施形態におけるモード信号生成部６０１の動作の一例を示す図である。

イベント検出部２１４からモード信号生成部６０１へは、差分検出回路２６３で得られる差分データと所定の閾値の比較結果（結果としてイベントの有無を示すデータ）が検出結果ＤＥＴ１として入力される。また、制御回路１０３からモード信号生成部６０１へは、動体検知結果が検出結果ＤＥＴ２として入力される。また、カウンタ６０２からモード信号生成部６０１へはカウント値が入力される。

図１３において、まず、現在のモードが低速イベント検知モードの場合には、モード信号生成部６０１に入力される各情報のうち、イベント検出部２１４からの入力情報である検出結果ＤＥＴ１に基づいてモード信号の生成が行われる。

検出結果ＤＥＴ１によりイベント無しの情報が入力された場合には、モード信号生成部６０１からは、低速イベント検知モードを継続するよう信号が出力される。また、検出結果ＤＥＴ１によりイベント有りの情報が入力された場合には、モード信号生成部６０１からは、通常撮影モードへ移行するよう信号が出力される。

次に、現在のモードが通常撮影モードの場合には、モード信号生成部６０１に入力される各情報のうち、制御回路１０３からの入力情報である検出結果ＤＥＴ２に加えて、カウンタ６０２からのカウント値を用いてモード信号の生成が行われる。

検出結果ＤＥＴ２により動体無しの情報が入力され、さらにカウント値が所定値Ｎよりも小さい場合には、モード信号生成部６０１からは、通常撮影モードを継続するよう信号が出力される。検出結果ＤＥＴ２によりイベント有りの情報が入力された場合にも、モード信号生成部６０１からは、通常撮影モードを継続するよう信号が出力される。さらに、検出結果ＤＥＴ２により動体無しの情報が入力され、さらにカウント値が所定値Ｎ以上となった場合には、モード信号生成部６０１からは、低速イベント検知モードに移行するよう信号が出力される。

図１４は、本実施形態におけるデジタルカメラ１００の状態遷移の一例を示す図である。

この第２の実施形態では、デジタルカメラ１００の状態は、初期状態１３１０、低速イベント検知モード１３２０、および通常撮影モード１３３０の３つに分類される。

初期状態１３１０は、撮像素子２００が停止している状態であり、低速イベント検知モード１３２０は、撮像素子２００が動作し、画素信号の混合を行う状態である。また、通常撮影モード１３３０は、撮像素子２００が動作し、画素混合をせずに撮像を行う状態である。

初期状態１３１０において、デジタルカメラ１００の動作を開始させるための操作が行われると、デジタルカメラ１００は、撮像素子２００を動作させて低速イベント検知モード１３２０に移行する。低速イベント検知モード１３２０において、デジタルカメラ１００は、垂直同期信号ＶＳＹＮＣに同期して、画素信号の混合により輝度積分データを取得する。そして、イベント検出部２１４は、その輝度積分データからイベントの有無を検出する。イベントが発生した場合に、デジタルカメラ１００は、通常撮影モード１３３０に移行する。

通常撮影モード１３３０において、デジタルカメラ１００は、画素信号を混合せずに画像データを撮像する。そして、動体検知回路１１０の検知結果から動体が無いと判断されると、画像データをＮ枚取得し、その間動体が検知されない場合には、低速イベント検知モード１３２０に移行する。

また、低速イベント検知モード１３２０および通常撮影モード１３３０において、動作を終了させるための操作が行われると、デジタルカメラ１００は、撮像素子２００を停止させて初期状態１３１０に移行する。

図１５は、本実施形態におけるデジタルカメラ１００の動作の一例を示すフローチャートである。この動作は、例えば、ユーザーが動作の開始を指示したときに開始される。

ステップＳ１４０１では、まず、低速イベント検知モードに移行し、ステップＳ１４０２では、画素信号の混合により輝度積分データを取得する。ステップＳ１４０３では、ステップＳ１４０２で取得した輝度積分データに基づいて、所定のイベントが発生したか否かを判断する。イベントが発生していない場合には、ステップＳ１４０２とステップＳ１４０３の動作を繰り返し実行する。

一方、ステップＳ１４０３で、イベントが発生した場合には、ステップＳ１４０４において通常撮影モードに移行し、ステップＳ１４０５で、画素信号の混合を行わずに画像データを取得する。

ステップＳ１４０６では、ステップＳ１４０５で取得した画像データに基づいて動体の検知を行う。ステップＳ１４０６で、動体有りと判断された場合には、ステップＳ１４０７でカウンタ値ＣＮＴを「０」に初期化した後、ステップＳ１４０５～Ｓ１４０７の動作を繰り返し実行する。

一方、ステップＳ１４０６において、動体が無いと判断されると、ステップＳ１４０８で、カウンタ値ＣＮＴをインクリメントする。

ステップＳ１４０９で、カウンタ値ＣＮＴが所定値Ｎ以上か否かを判断し、ステップＳ１４０９でカウンタ値ＣＮＴがＮ未満の場合には、ステップＳ１４０５～Ｓ１４０９を繰り返し実行する。一方ステップＳ１４０９で、カウンタ値ＣＮＴが所定値Ｎ以上の場合には、ステップＳ１４０１に戻り、低速イベント検知モードに移行する。

以上説明したように、第２の実施形態では、通常撮影モードによる画像の撮影後に動体が検知されなくなった場合でも、一定時間、通常撮影モードによる画像データの取得と動体検知を継続する。これにより、再度動体が検知された際に、画像データが欠けることなく通常撮影モードによる画像撮影を行うことが可能となる。

本実施形態では、通常撮影モードからイベント検知モードに移行する際に、常に一定時間、通常撮影モードでの動体検知を継続する方法について説明した。しかし、本発明はこれに限らず、例えば、通常撮影モードとイベント検知モードの切り替わりが頻繁に繰り返されるなど動体の有無が頻繁に生じている場合に限って、通常撮影モードからイベント検知モードへの移行時に、一定時間通常撮影モードによる動体検知を継続するようにしてもよい。

（第３の実施形態）
第１及び第２の実施形態では、イベント検出部によりイベントが検出されるとすぐにイベント検知モードを取りやめて、通常撮影モードに移行している。この場合、検出されたイベントが記録したい被写体のイベントではなく、記録したくない被写体の輝度変化などのイベントである場合もある。その場合は、通常撮影モードに移行すると無駄に消費電力が増加する。この第３の実施形態ではこの問題を解決する方法について説明する。

なお、第３の実施形態では、デジタルカメラ及び撮像素子の構成については、第１の実施形態における図１から図７と同じであり、撮像素子の駆動タイミングについては、第１の実施形態における図１０、図１１と同じであるため、これらについての説明は省略する。

図１６は、本実施形態におけるモード信号生成部６０１の動作の一例を示す図である。

本実施形態では、イベントを検出するイベント検知モードとして、低速のフレームレートで駆動するイベント検知モード（低速イベント検知モード）と、高速のフレームレートで駆動するイベント検知モード（高速イベント検知モード）とを有する。本実施形態では、撮像装置の動作開始時などのように、直近でイベントの発生が生じていない状況においては、低速イベント検知モードで駆動することにより、大幅に消費電力を低減しつつイベントの検出を行う。

一方、低速イベント検知モードでのイベント検出時には、第１及び第２の実施形態と同様に、即座に画素信号の混合を行わずに読み出して記録を行う通常撮影モードへ移行する場合と、低速イベント検知モードでのイベント検出結果に応じて、即座に通常撮影モードへ移行せずに、一度、高速イベント検知モードに移行してイベント検出を再度行い、高速イベント検知モードでもイベント検出された場合のみ通常撮影モードに移行する場合とを使い分ける。

こうすることにより、イベント検出の精度が低いシーンにおいて、確実にイベントが発生しているときのみ通常撮影モードに移行することができ、余計な消費電力の増加を抑えることができる。

図１６において、まず、現在のモードが低速イベント検知モードの場合には、モード信号生成部６０１に入力される各情報のうち、イベント検出部２１４からの入力情報である検出結果ＤＥＴ１に基づいてモード信号の生成が行われる。ここでの、検出結果ＤＥＴ１は、差分検出回路２６３により得られた、直近に読み出された画素ブロック単位の出力値と、メモリ２６２に保持されている同じ画素ブロックについての過去の出力値との差を算出した差分データを、比較回路２６４で所定の閾値と比較した結果である。

検出結果ＤＥＴ１において、差分データが閾値Ｓ１以下の場合には、モード信号生成部６０１からは、低速イベント検知モードを継続するよう信号が出力される。また、差分データが閾値Ｓ１より大きく、閾値Ｓ２以下の場合には、モード信号生成部６０１からは、高速イベント検知モードへ移行するよう信号が出力される。また、差分データが閾値Ｓ２よりも大きい場合には、モード信号生成部６０１からは、通常撮影モードへ移行するよう信号が出力される。

次に、現在のモードが高速イベント検知モードの場合には、モード信号生成部６０１に入力される各情報のうち、イベント検知部２１４からの検出結果ＤＥＴ１に基づいてモード信号の生成が行われる。

検出結果ＤＥＴ１における差分データが閾値Ｓ１以下の場合には、モード信号生成部６０１からは、低速イベント検知モードへ移行するよう信号が出力される。また、差分データが閾値Ｓ１より大きく、閾値Ｓ３以下の場合には、モード信号生成部６０１からは、高速イベント検知モードを継続するよう信号が出力される。また、差分データが閾値Ｓ３よりも大きい場合には、モード信号生成部６０１からは、通常撮影モードへ移行するよう信号が出力される。

ここで、閾値Ｓ１、閾値Ｓ２、閾値Ｓ３の大小関係は以下のようになる。

Ｓ２＞Ｓ３＞Ｓ１ …（１）
つまり、低速イベント検知モードで駆動されている場合に、通常撮影モードに直接移行するのは、差分データが閾値Ｓ２を超えた場合であり、差分データが最も大きく、被写体の変化が明確であるときのみ通常撮影モードに移行するようにする。

次に、現在のモードが通常撮影モードの場合には、モード信号生成部６０１に入力される各情報のうち、制御回路１０３からの入力情報である検出結果ＤＥＴ２に基づいてモード信号の生成が行われる。

検出結果ＤＥＴ２により動体無しの情報が入力された場合には、モード信号生成部６０１からは、低速イベント検知モードへ移行するよう信号が出力される。検出結果ＤＥＴ２により動体有りの情報が入力された場合には、モード信号生成部６０１からは、通常撮影モードを継続するよう信号が出力される。ここで、通常撮影モードでの制御部による動体検知方法については、一般的な画像解析による被写体検知方法であるため説明は省略する。

図１７は、本実施形態におけるデジタルカメラ１００の状態遷移の一例を示す図である。

このデジタルカメラ１００の状態は、初期状態２８１０、低速イベント検知モード２８２０、高速イベント検知モード２８３０および通常撮影モード２８４０の４つに分類される。

初期状態２８１０は、撮像素子２００が停止している状態であり、低速イベント検知モード２８２０および高速イベント検知モード２８３０は、撮像素子２００が動作し、画素信号の混合を行う状態である。また、通常撮影モード２８４０は、撮像素子２００が動作し、画素信号を混合せずに撮像を行う状態である。

初期状態２８１０において、デジタルカメラ１００の動作を開始させるための操作が行われると、デジタルカメラ１００は、撮像素子２００を動作させて低速イベント検知モード２８２０に移行する。低速イベント検知モード２８２０において、垂直同期信号ＶＳＹＮＣに同期して得られる検出結果ＤＥＴ１における差分データが、Ｓ２≧差分データ＞Ｓ１である場合には、高速イベント検知モード２８３０に移行する。また、差分データ＞Ｓ２である場合には、通常撮影モード２８４０に移行する。

また、高速イベント検知モード２８３０において、検出結果ＤＥＴ１における差分データが、差分データ＞Ｓ３である場合には、通常撮影モード２８４０に移行する。また、検出結果ＤＥＴ１における差分データが、差分データ≦Ｓ１である場合には、低速イベント検知モード２８２０に移行する。

また、通常撮影モード２８４０において、デジタルカメラ１００は、画素信号を混合せずに画像データを撮像する。そして、動体検知回路１１０の検知結果から動体が無いと判断されると、低速イベント検知モード２８２０に移行する。

なお、低速イベント検知モード２８２０、高速イベント検知モード２８３０および通常撮影モード２８４０において、動作を終了させるための操作が行われると、デジタルカメラ１００は、撮像素子２００を停止させて初期状態２８１０に移行する。

図１８は、本実施形態におけるデジタルカメラ１００の動作の一例を示すフローチャートである。この動作は、例えば、ユーザーが動作の開始を指示したときに開始される。

ステップＳ２１０１では、まず、低速イベント検知モードに移行し、ステップＳ２１０２では、画素信号の混合により輝度積分データを取得し、検出回路２６３で差分データＤｌを取得する。

ステップＳ２１０３では、比較回路２６４において、ステップＳ２１０２で取得した差分データＤｌと閾値Ｓ１との比較を行う。ステップＳ２１０３において、差分データＤｌが閾値Ｓ１以下の場合には、イベントが発生していないため、ステップＳ２１０２とＳ２１０３の動作を繰り返し実行する。

一方、ステップＳ２１０３において、差分データＤｌが閾値Ｓ１よりも大きい場合には、ステップＳ２１０４で差分データＤｌと閾値Ｓ２との比較を行う。

ステップＳ２１０４において、差分データＤｌが閾値Ｓ２よりも大きい場合には、イベントが発生していると判断して、ステップＳ２１０９で通常撮影モードに移行する。一方、ステップＳ２１０４において、差分データＤｌが閾値Ｓ２以下の場合には、イベントが発生していない可能性があるため、ステップＳ２１０５で高速イベント検知モードに移行する。

ステップＳ２１０６では、高速イベント検知モードにおいて、イベント検出部２１４の差分検出回路２６４で再度差分データＤｈを取得する。ステップＳ２１０７で、比較回路２６４において、ステップＳ２１０５で取得した差分データＤｈと閾値Ｓ１との比較を行う。

ステップＳ２１０７において、差分データＤｈが閾値Ｓ１以下の場合には、イベントが発生していないと判断して、ステップＳ２１０１に戻る。そして、低速イベント検知モードに移行し、ステップＳ２１０１からＳ２１０７の動作を繰り返し実行する。ステップＳ２１０７において、差分データＤｈが閾値Ｓ１より大きい場合には、ステップＳ２１０８に移行する。

ステップＳ２１０８では、比較回路２６４において、差分データＤｈと閾値Ｓ３の比較を行う。ステップＳ２１０８において、差分データＤｈが閾値Ｓ３以下の場合には、高速イベント検知モードでさらにイベントの発生を検出するために、ステップＳ２１０６に戻る。

ステップＳ２１０８において、差分データＤｈが閾値Ｓ３より大きい場合には、イベントが発生したと判断して、ステップＳ２１０９で通常撮影モードに移行し、ステップＳ２１１０において、画素信号の混合を行わずに画像データを取得する。

ステップＳ２１１１では、ステップＳ２１１０で取得した画像データに基づいて動体の検知を行う。ステップＳ２１１１で、動体有りと判断された場合には、ステップＳ２１１０に戻り、ステップＳ２１１０とＳ２１１１の動作を繰り返し実行する。

一方ステップＳ２１１１において、動体が無いと判断されると、ステップＳ２１０１に戻り、低速イベント検知モードに移行する。

なお、上記の説明では、ステップＳ２１０７とステップＳ２１０８で閾値を異ならせることにより、高速イベント検知モードを継続する期間を設けたが、高速イベント検知モードでのイベント検出は一回行うだけでもよい。そのため、ステップＳ２１０７とステップＳ２１０８の閾値を同じにして、ステップ２１０６において最低２フレームの画像を用いて差分データＤｈを求めるようにしてもよい。

以上説明したように、本実施形態では、低速イベント検知モードによってイベント検出を行った後、再度、高速イベント検知モードによるイベント検出を行う。これにより、イベントを誤検出して通常撮影モードに移行することによる電力増加を抑えることができ、低消費電力での動作を維持することができる。

本実施形態では、イベント検知モードを低速のフレームレートで駆動するイベント検知モードと高速のフレームレートで駆動するイベント検知モードの二つのイベント検知モードを例に挙げて説明した。しかし、イベント検知モードはこの二つに限定されるものではなく、他にもより低速なフレームレートのイベント検知モードやより高速なフレームレートのイベント検知モードをさらに設定できる構成であってもよい。その場合には、通常撮影モードからイベント検知モードに移行する際に、より高速なフレームレートのイベント検知モードからより低速なイベント検知モードへ徐々にフレームレートが下がるようにイベント検知モードを移行していくような構成であることが望ましい。

また、本実施形態では、再度イベント検出を行うモードを、フレームレートを上げるモードとして説明したが、再度イベント検出を行うモードについては、先にイベント検出されたモードよりもイベント検出の精度が向上するモードであればこれに限定されない。例えば、画素信号の混合数を変えることでこれを実現してもよいし、ＩＳＯ感度や露光時間などの撮影条件を変えることでこれを実現してもよい。

また、本実施形態では、低速イベント検知モードから高速イベント検知モードへの移行判断を前フレームとの差分データの大小により行う方法として説明したが、イベント検出を行うモード間の移行条件はこれに限定されるものではない。例えば、前フレームとの差分が検出されたブロックの数が所定数を超えたか否かで判断してもよい。

また、本実施形態では、通常撮影モード時には動体検知回路１１０で動体検知を行う方法について説明したが、移動体や被写体の検知についてはこれに限定されるものではない。例えば、通常撮影モード時についても、撮像素子内のイベント検出部によりイベント検出を行ってもよいし、撮像素子内に別の動体検知回路を設けて、そこで動体の検知を行ってもよい。

また、本実施形態では、イベント検出時のモードを、画素信号の混合を行うイベント検知モードとして記載した。しかし、イベント検出時の消費電力を通常撮影モード時よりも抑えることができれば、モードはイベント検知モードに限定されるものではない。
例えば、一部の画素を間引いて読み出してＡＤ変換の回数を減らすことにより消費電力を抑える間引き読み出しモードでもよい。また、通常撮影モードのように全画素を読み出すモードであっても、フレームレートを通常撮影モードよりも低速にして撮像素子の消費電力を抑えるようなモードとしてもよい。

また、本実施形態では、通常撮影モードは、全画素を読み出すモードとして説明したが、イベント検出後に移行するモードはこれに限らず、画素を混合して読み出すモードや、画素の間引きを行って読み出すモードであってもよい。

（第４の実施形態）
上述の第３の実施形態では、低速イベント検知モードでの検出結果に応じて高速イベント検知モードに移行するか否かを判断する方法について説明した。しかし、撮影シーンによっては、イベント検出後、即座に記録モードに遷移する効果が小さいシーンも存在する。そのようなシーンにおいては、低速イベント検知モードでイベントが検出された後に、常に高速イベント検知モードでイベント検出を行った方がイベントの誤検出が減り、より電力消費を抑えることができる。

この第４の実施形態では、低速イベント検知モードでの画素信号値から低速イベント検知モードでのイベント検出を行った後に、常に高速イベント検知モードでのイベント検出に移行するか否かを判断する方法について説明する。

なお、第４の実施形態では、デジタルカメラ及び撮像素子の構成については、第１の実施形態における図１から図５、図７と同じであり、撮像素子の駆動タイミングについては、第１の実施形態における図１０、図１１と同じであるため、これらについての説明は省略する。

図１９は、第４の実施形態におけるイベント検出部２１４の構成例を示す図である。出力切り替え回路２６０から比較回路２６４は、第１の実施形態を示す図６と同じであるため説明は省略する。

積分値比較回路３２０１は、読み出された画素ブロック単位の出力値と所定閾値を比較するものである。積分値比較回路３２０１により得られた積分値の比較結果データは、モード制御部２１６に送信される。

図２０は、本実施形態におけるモード信号生成部６０１の動作の一例を示す図である。

イベント検出部２１４の比較回路２６４からモード信号生成部６０１へは検出結果ＤＥＴ１が入力される。検出結果ＤＥＴ１は、差分検出回路２６３により得られた、直近に読み出された画素ブロック単位の出力値と、メモリ２６２に保持されている同じ画素ブロックについての過去の出力値との差を算出した差分データを、比較回路２６４で所定の複数種類の閾値と比較した結果である。

また、制御回路１０３からモード信号生成部６０１へは動体検知結果が検出結果ＤＥＴ２として入力される。カウンタ６０２からモード信号生成部６０１へはカウント値が入力される。さらに、本実施形態では、上記に加えて、イベント検出部２１４の積分値比較回路３２０１からモード信号生成部６０１へ、積分値の比較結果が比較結果ＤＥＴ３として入力される。

図２０において、現在のモードが低速イベント検知モードの場合には、モード信号生成部６０１に入力される各情報のうち、イベント検出部２１４における比較回路２６４での差分データを所定の複数種類の閾値と比較した結果ＤＥＴ１と、積分値比較回路３２０１での輝度積分データを所定の閾値と比較した結果ＤＥＴ３とからモード信号の生成を行う。

比較回路２６４での比較の結果、差分データが閾値Ｓ１以下の場合には、モード信号生成部６０１からは、低速イベント検知モードを継続するよう信号が出力される。差分データが閾値Ｓ１より大きい場合で、積分値比較回路１２０で輝度積分データが閾値Ｘ以下の場合には、モード信号生成部６０１からは、高速イベント検知モードへ移行するよう信号が出力される。つまり、輝度値が低い場合には、差分データが閾値Ｓ１を超えた時点で、常に高速イベント検知モードへ移行される。

輝度積分データが閾値Ｘより大きい場合には、差分データが閾値Ｓ１より大きく閾値Ｓ２以下のときに高速イベント検知モードに移行し、差分データが閾値Ｓ２より大きいときには、通常イベント検知モードへ直接移行する。現在のモードが高速イベント検知モードの場合と、通常撮影モードの場合の動作は、図１６で説明した動作と同じであるため説明は省略する。

図２１は、本実施形態におけるデジタルカメラ１００の動作の一例を示すフローチャートである。この動作は、例えば、ユーザーが動作の開始を指示したときに開始される。

ステップＳ３１０１では、まず、低速イベント検知モードに移行し、ステップＳ３１０２では、画素信号の混合により輝度積分データＹを取得する。ステップＳ３１０３では、ステップＳ３１０２で取得した輝度積分データＹに基づいて、差分検出回路２６３で差分データＤｌを取得する。

ステップＳ３１０４では、比較回路２６４において、ステップＳ３１０３で取得した差分データＤｌと閾値Ｓ１との比較を行う。ステップＳ３１０４において、差分データＤｌが閾値Ｓ１以下の場合には、イベントが発生していないため、ステップＳ３１０３とＳ３１０４の動作を繰り返し実行する。

一方、ステップＳ３１０４において、差分データＤｌが閾値Ｓ１よりも大きい場合には、ステップＳ３１０５で、積分値比較回路３２０１においてステップＳ３１０２で取得した輝度積分データＹと閾値Ｘとの比較を行う。

ステップＳ３１０５で、輝度積分データＹが閾値Ｘ以下の場合には、ステップＳ３１０７に進み、高速イベント検知モードに移行する。一方、ステップＳ３１０５で輝度積分データＹが閾値Ｘより大きい場合には、ステップＳ３１０６に進み、比較回路２６４においてステップＳ３１０３で取得した差分データＤｌと閾値Ｓ２との比較を行う。

ステップＳ３１０６で、差分データＤｌが閾値Ｓ２以下の場合には、ステップＳ３１０７に進み、高速イベント検知モードに移行する。

以降、ステップＳ３１０７からステップＳ３１１３の動作については、図１８のステップＳ２１０５からステップＳ２１１１の動作と同様であるため説明は省略する。

以上説明したように、この第４の実施形態によれば、撮影された被写体の輝度信号も高速イベント検知モードへの移行条件に加えることにより、イベントが誤検知されやすい被写体においては高速イベント検知モードへ移行しやすくなる。また、より不必要な通常撮影モードへの移行が減り、余計な電力の消費を抑制することができる。

本実施形態では、低速イベント検知モードの画素信号値に応じてイベント検知後に常に高速イベント検知モードに移行するかを判断する方法について説明したが、常に高速イベント検知モードへ移行するかの判断はこれに限定されるものではない。例えば、カメラの撮影条件であるＩＳＯ感度やシャッター速度や絞りなどに応じて、常に低速イベント検知モードから高速イベント検知モードに移行するかを判断してもよい。

また、本実施形態では、低速イベント検知モード時の条件のみで高速イベント検知モードに移行するか否かを判断する方法について説明したが、高速イベント検知モードへの移行条件についてはこれに限定されるものではない。例えば、低速イベント検知モードから通常撮影モードへの移行が所定期間内に一定回数以上行われた場合には、低速イベント検知モードでのイベント検知後に高速イベント検知モードに移行するようにしてもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：撮影レンズ、１０２：画像処理回路、１０３：制御回路、１０４：メモリ回路、１０５：記録回路、１０６：表示回路、１０７：操作回路、１１０：動体検知回路、２００：撮像素子

Claims (12)

1. 複数の画素が二次元的に配置された画素部と、前記画素部から出力される画素信号に基づいて被写体の変化を検出する検出手段とを有する撮像素子と、
   前記撮像素子から出力される画素信号から撮影用の画像データを生成する通常撮影モードと、該通常撮影モードに比べて、信号量を減らして前記画素部から読み出した画素信号に基づいて、前記検出手段により前記被写体の変化を検出する複数の検知モードとを切り替える制御手段と、を備え、
   前記複数の検知モードは、前記撮像素子から読み出される画素信号のフレームレートが低い第１の検知モードと、該第１の検知モードよりも、前記撮像素子から読み出される画素信号のフレームレートが高い第２の検知モードとを含むことを特徴とする撮像装置。
2. 前記通常撮影モードでは、前記撮像素子の前記画素部における各画素の信号を独立して読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記複数の検知モードでは、前記撮像素子の前記画素部における複数の画素の信号を混合、または間引いて読み出すことにより、前記通常撮影モードに比べて前記撮像素子から読み出す信号量を減らすことを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数の検知モードでは、前記撮像素子の撮像面を複数のブロックに分け、それぞれの前記ブロックごとに該ブロック内の画素の信号を混合して読み出すことを特徴とする請求項３に記載の撮像装置。
5. 前記検出手段は、前記画素部から出力される画素信号を前のフレームにおいて前記画素部から出力された画素信号と比較することにより、被写体の変化を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記検出手段は、前記画素部から出力される画素信号と前のフレームにおいて前記画素部から出力された画素信号の差分に基づいて、被写体の変化を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記複数の検知モードにおいて前記撮像素子から読み出される画素信号のフレームレートが、前記通常撮影モードにおいて前記撮像素子から読み出される画素信号のフレームレートと異なることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第１の検知モードにおける前記検出手段による検出結果に基づいて、前記撮像装置の動作モードを、前記第１の検知モードから、前記第２の検知モードに切り替えるか、前記通常撮影モードに切り替えるかを制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段が、前記撮像素子内に設けられていることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 複数の画素が二次元的に配置された画素部と、前記画素部から出力される画素信号に基づいて被写体の変化を検出する検出手段とを有する撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子から出力される画素信号から撮影用の画像データを生成する通常撮影モードと、該通常撮影モードに比べて、信号量を減らして前記画素部から読み出した画素信号に基づいて、前記検出手段により前記被写体の変化を検出する複数の検知モードとを切り替える制御工程と、を有し、
    前記複数の検知モードは、前記撮像素子から読み出される画素信号のフレームレートが低い第１の検知モードと、該第１の検知モードよりも、前記撮像素子から読み出される画素信号のフレームレートが高い第２の検知モードとを含むことを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images