JP7356266B2 - 撮像装置、撮像システム、および撮像装置の駆動方法 - Google Patents

Description

本発明は、撮像装置、撮像システム、および撮像装置の駆動方法に関する。

従来より、被写体の動きを検出する機能を備えた撮像装置が案出されている。非特許文献１に記載の撮像装置は、画素アレイを複数の画素ブロックに分割し、画素ブロック内の信号を加算して読み出すことにより、動き検出期間における消費電流低減を図っている。

O.Kumagai, et al. "A 1/4-inch 3.9Mpixel Low-Power Event-Driven Back-Illuminated Stacked CMOS Image Sensor" ISSCC Dig. Tech. Papers, pp.86-87, Feb 2018.

しかしながら、非特許文献１においては、動き検出期間における画素ブロックを構成する画素数、配置などに関する考察はなされておらず、被写体によっては動き検出精度が低下するという課題がある。あるいは、非特許文献１に開示される動作フローでは、暗い被写体が動く場合や小さい被写体が動く場合などに動体を検知できない可能性がある。そのような場合、被写体を高解像度で撮像する機会が失われる可能性がある。

本明細書の一の開示における撮像装置は、複数行および複数列にわたって配された複数の画素を有する画素部と、それぞれが複数の前記画素を含む複数の画素ブロックに前記画素部を所定の分割パターンで分割し、各画素ブロックにおいて当該画素ブロックに含まれる複数の前記画素からの信号を合成して１つの信号を生成する読み出し部と、１つの画素ブロックから順に出力される複数の信号の間で信号値が変化したことを検知する検知部と、前記検知部が前記信号値の変化を検知したことに応じて、少なくとも前記１つの画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する制御と、を備え、前記制御部は、少なくとも２つのフレームにおいて前記分割パターンが異なるように、前記読み出し部を制御する。

本明細書の他の開示における撮像装置は、複数行および複数列にわたって配された複数の画素を有する画素部と、それぞれが複数の前記画素を含む複数の画素ブロックに前記画素部を所定の分割パターンで分割し、各画素ブロックにおいて当該画素ブロックに含まれる複数の前記画素からの信号を合成して１つの信号を生成する読み出し部と、１つの画素ブロックから順に出力される複数の信号の間で信号値が変化したことを検知する検知部と、前記検知部が前記信号値の変化を検知したことに応じて、少なくとも１つの前記画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する制御部と、を備え、前記制御部は、第１の画素ブロックと第２の画素ブロックが配置されているフレームにおいて、前記第１の画素ブロックを構成する画素数と前記第２の画素ブロックを構成する画素数が異なるように、前記読み出し部を制御する。

本明細書の他の開示における撮像装置は、複数行および複数列にわたって配された複数の画素を有する画素部と、それぞれが複数の前記画素を含む複数の画素ブロックに前記画素部を所定の分割パターンで分割し、各画素ブロックにおいて当該画素ブロックに含まれる複数の前記画素からの信号を合成して１つの信号を生成する読み出し部と、１つの画素ブロックから順に出力される複数の信号の間で信号値が変化したことを検知する検知部と、前記検知部が前記信号値の変化を検知したことに応じて、少なくとも前記１つの画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する制御部と、を備え、前記制御部は、前記検知部が所定の数のフレームに亘って前記信号値の変化を検知しない場合に、少なくとも前記１つの画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する。

本発明によれば、消費電流を抑制しつつ、適切に被写体を撮像することができる。例えば、被写体の動き検出精度を向上させることができる。あるいは、動き検出とは独立して被写体を撮像することができる。

本発明の第１実施形態における撮像システムのブロック図である。 本発明の第１実施形態における撮像装置のブロック図である。 本発明の第１実施形態における画素ブロックの概念図である。 本発明の第１実施形態における画素の配列を表す図である。 本発明の第１実施形態における画素部のブロック図である。 本発明の第１実施形態における画素部の読み出し方法を説明するための図である。 本発明の第１実施形態における撮像装置の駆動方法を表すフローチャートである。 本発明の第２実施形態における撮像装置の駆動方法を表すフローチャートである。 本発明の第３実施形態における画素ブロックを説明するための図である。 本発明の第３実施形態における画素ブロックを説明するための図である。 本発明の第４実施形態における撮像装置のブロック図である。 本発明の第５実施形態における撮像装置のブロック図である。 本発明の第６実施形態における撮像装置のブロック図である。 本発明の第７実施形態における撮像装置の駆動方法を表すフローチャートである。 本発明の第８実施形態における撮像装置の駆動方法を表すフローチャートである。 本発明の第９実施形態における画素部の読み出し方法を説明するための図である。 本発明の第９実施形態におけるが素部の読み出し方法を説明するための図である。 本発明の第９実施形態における機械学習モデルの図である 本発明の第１０実施形態における画素部のブロック図である。 本発明の第１１実施形態における画素部のブロック図である。 本発明の第１２実施形態における車載カメラにおける撮像システムのブロック図である。

以下、本発明の実施形態を説明する。後述する実施形態における撮像装置は、画素部、読み出し部、検知部、制御部を備える。画素部は、複数行および複数列にわたって配された複数の画素を有する。読み出し部は、それぞれが複数の画素を含む複数の画素ブロックに画素部を所定の分割パターンで分割し、各画素ブロックにおいて当該画素ブロックに含まれる複数の画素からの信号を合成して１つの信号を生成する。検知部は、１つの画素ブロックから順に出力される複数の信号の間で信号値が変化したことを検知する。制御部は、検知部が信号値の変化を検知したことに応じて、少なくとも１つのブロックに含まれる複数の画素から個別に信号を出力するように、読み出し部を制御する。制御部は、少なくとも２つのフレームにおいて分割パターンが異なるように、読み出し部を制御する。

具体的には、分割パターンにおける複数の画素ブロックのそれぞれは所定の画素数を含み得る。制御部は、複数フレームの撮像信号において検出された被写体の動きに基づいて、画素ブロックに含まれる画素数を変化させる。また、分割パターンにおける複数の画素ブロックは、所定の画素数を含む第１の画素ブロックと、所定の画素数よりも多い画素数を含む第２の画素ブロックとを含み得る。この場合、制御部は、第１の画素ブロックおよび第２の画素ブロックのそれぞれの数または配置をフレーム単位で変化させることができる。

画素ブロックの画素数または配置等の分割パターンをフレーム単位で変化させることにより、被写体の動きを検出する期間における消費電流を抑制しつつ、動き検出精度を向上させることができる。

以下、本発明の実施形態について図面を用いて説明する。本発明は、以下に説明される実施形態に限定されない。例えば、以下のいずれかの実施形態の一部の構成を、他の実施形態に追加し、あるいは他の実施形態の一部の構成と置換してもよい。

［第１実施形態］
図１は本実施形態における撮像システムのブロック図である。撮像システムは、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、監視用カメラ、複写機、ファックス、携帯端末、スマートフォン、車載カメラ、観測衛星、人口知能ロボットなどであり得る。

図１に示す撮像システムは、バリア１０１、レンズ１０２、絞り１０３、撮像装置１００、信号処理部１０４、メモリ部１０５、外部Ｉ／Ｆ部１０６、記録媒体制御Ｉ／Ｆ部１０７、記録媒体１０８、機械装置１０９、制御部１１０を備える。バリア１０１はレンズ１０２を保護し、レンズ１０２は被写体の光学像を撮像装置１００に結像させる。絞り１０３はレンズ１０２を通った光量を可変する。撮像装置１００はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の固体撮像装置であって、レンズ１０２により結像された光学像を画像データに変換する。撮像装置１００は、画素回路、信号処理回路などが形成された半導体基板、半導体基板を格納するパッケージ、外部回路との接続端子などを含み得る。撮像装置１００の半導体基板にはＡＤ（アナログ・デジタル）変換部が形成されている。信号処理部１０４は撮像装置１００より出力された画像データにおいて階調補正、ノイズ除去などの画像処理を行う。

メモリ部１０５はダイナミックメモリなどの揮発性メモリ、またはフラッシュメモリなどの不揮発性メモリを備え、画像データを格納するフレームメモリとして機能する。外部Ｉ／Ｆ部１０６は外部コンピュータ、ネットワーク、サーバ等と通信するための有線または無線のインターフェースである。記録媒体制御Ｉ／Ｆ部１０７は記録媒体１０８に画像データの記録または読み出しを行うためのインターフェースであり、記録媒体１０８は画像データを格納するための半導体メモリを有するメモリカード等の着脱可能な記録媒体である。機械装置１０９はレンズ１０２、絞り１０３などの光学機構の駆動装置、カメラヘッドの姿勢制御などを行う機構装置などを含み得る。制御部１１０はＣＰＵ、ＲＯＭ、ＲＡＭなどを備え、予め定められたプログラムに従い、撮像システム全体の制御を行う。また、制御部１１０は、画像データにおける被写体の動きを検出し、所定の処理を実行することが可能である。図１において、信号処理部１０４、メモリ１０５、制御部１１０は撮像装置１００とは別に設けられているが、撮像装置１００と同一の半導体基板に形成されてもよい。

図２は本実施形態における撮像装置のブロック図である。本実施形態において、撮像装置１００の回路要素は２枚の積層された半導体基板１Ａ、１Ｂに形成されている。半導体基板（第１の基板）１Ａには画素部２が形成され、半導体基板（第２の基板）１Ｂには、垂直走査回路３、アナログ・デジタル変換回路（ＡＤＣ回路）４、水平走査回路５、信号処理回路６、制御回路７などの読み出し部が形成されている。半導体基板１Ａ、１Ｂのそれぞれの配線層は例えばＣｕ－Ｃｕなどの金属結合によって電気的に接続されている。

画素部２は複数行および複数列に亘って配された複数の画素１０を備え、それぞれの画素１０は照射光に基づき電荷を生成および蓄積する光電変換部を備える。なお、本明細書において、行方向とは図面における水平方向を示し、列方向とは図面において垂直方向を示すものとする。画素１０上にはマイクロレンズ、カラーフィルタが配置され得る。カラーフィルタは例えば赤、青、緑の原色フィルタであって、ベイヤー配列に従って各画素１０に設けられている。一部の画素１０はＯＢ画素（オプティカル・ブラック画素）として遮光されている。列信号線Ｌ１は画素１０の列毎に設けられており、入射光に基づく信号が画素１０から列信号線Ｌ１に出力される。

垂直走査回路３はシフトレジスタ、ゲート回路、バッファ回路などから構成され、垂直同期信号、水平同期信号、クロック信号などに基づき行毎に駆動パルスを出力する。駆動パルスは各行の画素１０に供給される。駆動パルスは、行ごと、順次、もしくはランダムに供給され得る。

ＡＤＣ回路４は、画素１０の各列に設けられ、画素１０から信号を読み出すとともに、信号に対してアナログ・デジタル変換を行なう。ＡＤＣ回路４は、コンパレータ、パルス生成回路、デジタルメモリを備える。コンパレータは差動増幅回路から構成され、列信号線Ｌ１におけるアナログの信号と時間とともに変化するランプ信号との比較結果に応じて、ハイレベルまたはローレベルの信号を出力する。パルス生成回路は、コンパレータの出力が反転した際に１ショットのパルスを出力し、デジタルメモリはショットのパルスを検出すると、カウンタのカウント値を保持する。コンパレータに入力された信号の電位に応じて、ランプ信号の電位が低下し始めてから、コンパレータの出力が反転するまでの時間が変化する。デジタルメモリに保持されたカウント値は、信号の電位の振幅を表している。

水平走査回路５はシフトレジスタ、ゲート回路などから構成され、複数のＡＤＣ回路４を順次走査する。すなわち、水平走査回路５はＡＤＣ回路４のデジタルメモリからデジタルの画像データを順次読み出す。信号処理回路６はデジタルの画像データにおいて相関二重サンプリング、階調補正、ノイズリダクション、ホワイトバランスなどの各種信号処理を行う。信号処理回路６からの画像データは撮像装置１００の外部へ出力される。

制御回路７は、クロック、同期信号などに基づき様々な制御信号、駆動信号を生成するタイミングジェネレータとして機能する。制御回路７は、垂直走査回路３、ＡＤＣ回路４、水平走査回路５、信号処理回路６を制御する。また、後述するように、制御回路７は、画素部２を複数の画素ブロックに分割し、画素ブロック毎に信号を読み出す制御を行うことが可能である。

図３は本実施形態における画素ブロックの概念図である。画素部２は複数の画素ブロックＢＬに分割され、それぞれの画素ブロックＢＬはｍ行、ｎ列からなる複数の画素１０を有している。本実施形態における撮像装置１００は、画素ブロックＢＬ毎に信号を読み出し可能であって、フレーム毎に画素ブロックＢＬの数を変更可能である。また、画素ブロックＢＬを構成する画素１０の数、画素ブロックＢＬの形状およびサイズを変更することも可能である。

図４は本実施形態における画素の配列を表す図である。画素１０には、赤（Ｒ）、青（Ｂ）、緑（Ｇ）のカラーフィルタがベイヤー配列に従って形成されている。例えば、第１行、第１列の画素１０には赤色のカラーフィルタＲ１１が配置され、第２行、第２列の画素１０には青色のカラーフィルタＢ２２が配置されている。また、第１行、第２列の画素１０にはカラーフィルタＧ１２が配置され、第２行、第１列の画素１０には緑色のカラーフィルタＧ２１が配置されている。なお、カラーフィルタは必ずしもベイヤー配列に従って形成されることを要せず、マゼンタ、シアン、イエロー、グリーンなどの補色のカラーフィルタを用いて形成されてもよい。

図５は本実施形態における画素部のブロック図である。画素部２は行列状に配置された複数の画素１０、列信号線Ｌ１、スイッチＭ５、Ｍ６、定電流源１１を備える。画素１０は、光電変換部ＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、浮遊拡散領域ＦＤを含む。以下の説明は、画素１０を構成するトランジスタがＮチャネルＭＯＳトランジスタである例を示している。光電変換部ＰＤは例えばフォトダイオードから構成されており、入射光による光電変換および電荷の蓄積を行なう。なお、光電変換部ＰＤはフォトダイオードに限定されず、光電効果を生じさせる材料であれば良い。光電変換部ＰＤにはマイクロレンズが設けられており、マイクロレンズにより集光された光が光電変換部ＰＤに入射する。

転送トランジスタＭ１のゲートには駆動パルスが垂直走査回路３から入力される。駆動パルスがハイレベルとなると、転送トランジスタＭ１がオン状態（導通状態）となり、光電変換部ＰＤの電荷が増幅トランジスタＭ３の入力ノードである浮遊拡散領域ＦＤに転送される。また、駆動パルスがローレベルとなると、転送トランジスタＭ１はオフ状態（非導通状態）となる。転送トランジスタＭ１をオンまたはオフすることにより、光電変換部ＰＤの電荷を浮遊拡散領域ＦＤに転送することができる。増幅トランジスタＭ３は、浮遊拡散領域ＦＤに転送された電荷に基づく信号を選択トランジスタＭ４を介して列信号線Ｌ１に出力する。

リセットトランジスタＭ２のソースは浮遊拡散領域ＦＤに接続され、ゲートには垂直走査回路３から駆動パルスが入力される。駆動パルスがハイレベルとなると、リセットトランジスタＭ２はオン状態となり、浮遊拡散領域ＦＤにリセット電圧が供給される。選択トランジスタＭ４は増幅トランジスタＭ３と列信号線Ｌ１との間に設けられており、選択トランジスタＭ４のゲートには垂直走査回路３から駆動パルスが入力される。駆動パルスがハイレベルとなると、増幅トランジスタＭ３と列信号線Ｌ１とが電気的に導通する。

上述のように構成された画素１０の概略の動作を説明する。垂直走査回路３は、選択トランジスタＭ４をオンとし、リセットトランジスタＭ２をオンとすることで、浮遊拡散領域ＦＤの電荷をリセットする。垂直走査回路３はリセットトランジスタＭ２をオフとし、リセット動作を終了する。列信号線Ｌ１には、画素１０のリセット状態における信号が出力され、ＡＤＣ回路４に入力される。画素１０のリセットトランジスタＭ２がオフになった後は、浮遊拡散領域ＦＤの電圧にはリセットノイズが含まれる。垂直走査回路３は転送トランジスタＭ１をオンとし、光電変換部ＰＤに蓄積された電荷を浮遊拡散領域ＦＤに転送する。浮遊拡散領域ＦＤの電位は、電荷量に応じて所定電位だけ変化する。増幅トランジスタＭ３からは、光電変換部ＰＤの電荷に基づく信号が列信号線Ｌ１に出力され、ＡＤＣ回路４に入力される。上述したリセット状態における信号と光電変換の電荷に基づく信号との差分を求めることで、いわゆる相関二重サンプリングを行い、ノイズが除去された画像データが得られる。

本実施形態においては、画素部２はさらにスイッチＭ５、Ｍ６を備える。複数のスイッチ（第１のスイッチ）Ｍ５は同一列における複数行の画素１０の浮遊拡散領域ＦＤを互いに導通または非導通とする。スイッチＭ５のソースは浮遊拡散領域ＦＤに接続され、ドレインは他のスイッチＭ５のドレインに接続されている。スイッチＭ５のゲートには垂直走査回路３から駆動パルスが入力され、駆動パルスがハイレベルとなると、スイッチＭ５は複数の浮遊拡散領域ＦＤを電気的に導通させる。例えば、第１行、第２行のスイッチＭ５がオンとなると、カラーフィルタＲ１１、Ｇ２１を有する２つの画素１０における浮遊拡散領域ＦＤの電荷が加算され、加算された電荷に基づく信号が列信号線Ｌ１に出力される。また、第１行～第４行のスイッチＭ５がオンとなると、カラーフィルタＲ１１、Ｇ２１、Ｒ３１、Ｇ４１を有する４つの画素１０における浮遊拡散領域ＦＤの電荷が加算される。このように、所望の行のスイッチＭ５をオンとすることにより、列方向（垂直方向）においてビニングを行う画素１０の数を任意に変更することができる。

複数のスイッチ（第２のスイッチ）Ｍ６は隣接する列信号線Ｌ１間に設けられ、列信号線Ｌ１を互いに導通または非導通とする。例えば、スイッチＭ６のソースは第１列の列信号線Ｌ１に接続され、ドレインは第２列の列信号線Ｌ１に接続されている。スイッチＭ６のゲートには垂直走査回路３から駆動パルスが入力され、駆動パルスがハイレベルとなると、スイッチＭ６は第１列、第２列の列信号線Ｌ１を電気的に導通させる。所望の列のスイッチＭ６をオンとすることにより、行方向（水平方向）においてビニングされる画素１０の数を任意に変更することができる。

本実施形態において、複数のスイッチＭ５、Ｍ６を適宜、オンまたはオフとすることにより、画素部２を区分けし、画素ブロックＢＬの行方向、列方向のそれぞれの画素１０の数を任意に変更することができる。例えば、画素部２が、ｍ行、ｎ列の複数の画素ブロックＢＬによって分割されるとする。この場合、（ｍ－１）個のスイッチＭ５をオンとし、かつ、（ｎ－１）個のスイッチＭ６をオンとすることで、ｍ行、ｎ列の画素１０からなる画素ブロックＢＬ毎に１つの信号を読み出すビニングを行なうことができる。１つの画素ブロックＢＬに接続された複数の列信号線Ｌ１には、共通の信号が出力される。このため、ｎ列毎の信号を読み出し、また、ｍ行毎に読み取り走査をすれば足りる。従って、画素ブロックＢＬを大きくし、ビニングを行う画素数を増やすことにより、撮像装置１００の消費電流を低減することができる。一方、フレーム間における動き検出精度を高めるためには、画素ブロックＢＬの画素数を少なくし、高解像度の読み出しを行うことが好ましい。本実施形態においては、後述するように、画素ブロックＢＬの画素数、配置などの分割パターンを動的に変化させることにより、動き検出精度を高めながら消費電流を低減させることが可能である。

なお、図５において、異なる複数のカラーフィルタ（Ｒ１１、Ｇ１２、Ｇ２１、Ｂ２２等）を有する画素１０がビニングされる例が示されているが、同色のカラーフィルタ（Ｇ１２、Ｇ２１等）を有する画素１０をビニングしてもよい。

図６は本実施形態における画素部の読み出し方法を説明するための図であって、画素ブロックおよび画素ブロックに含まれる画素数をフレーム毎に表している。画素部２は、複数の画素ブロックＢＬを含む所定の分割パターンに分割され、それぞれの画素ブロックＢＬは所定の画素数を含む。図６において、フレームは、第１、２、・・・、第Ｎ、第（Ｎ＋１）、・・・、第Ｘ、第（Ｘ＋１）の順に読み出されるものとする。第１、第２フレームにおいて、画素ブロックＢＬはｍ行、ｎ列、すなわちｍ×ｎ個の画素１０から構成される。第Ｎ、第（Ｎ＋１）フレームにおいて、画素ブロックＢＬはｋ行、Ｌ列、すなわちｋ×Ｌ個の画素１０から構成される。さらに、第Ｘ、第（Ｘ＋１）フレームにおいて、画素ブロックＢＬは、ｐ行、ｑ列、すなわちｐ×ｑ個の画素１０から構成される。本実施形態において、画素ブロックＢＬを構成する画素数は、フレームの読み出し時刻に従って減少することが望ましい。すなわち、ｍ×ｎ＞ｋ×Ｌ＞ｐ×ｑの式が充足されることが望ましい。または、ｍ＞ｋ＞ｐ、およびｎ＞Ｌ＞ｑの少なくとも１式が充足されてもよい。

第１、第２フレームにおいては、分割された画素ブロックＢＬの数が最も少なく、１つの画素ブロックＢＬにおいてビニングされる画素数が最も多くなる。ｍ行毎、ｎ列毎に信号を読み出せば足りるため、撮像装置１００における消費電流を最小にすることができる。第Ｎ、第（Ｎ＋１）フレームにおいては、第１、第２フレームに比べて画素ブロックＢＬの数が多くなり、動き検出精度を向上させることができる。第Ｘ、第（Ｘ＋１）フレームにおいては、第Ｎ、第（Ｎ＋１）フレームに比べて画素ブロックＢＬの数がさらに多くなり、動き検出精度を向上させることができる。

本実施形態において、第Ｎフレームおよび第（Ｎ＋１）フレームのように、同じ数の画素ブロックＢＬを有するフレームが複数連続している。動き検出精度を優先させる場合は、多くの画素ブロックＢＬを有するフレーム数を増やすことが望ましい。また、消費電力の低減を優先させる場合は、少ない画素ブロックＢＬを有するフレーム数を増やしてもよい。なお、図６には、画素ブロックＢＬの３種類の分割パターンが示されているが、２種類の分割パターン、あるいは４種類以上の分割パターンを用いてもよい。

図７は本実施形態における撮像装置の駆動方法を表すフローチャートであって、動き検出期間（動き検出モード）における信号の読み出し方法を表している。撮像装置１００は、画素ブロックの分割パターンの異なる複数のモードを順に実行可能である。

ステップＳ１００において、撮像システムにおける制御部１１０は予め定められたプログラムに従い、動作を開始する。制御部１１０は撮像装置１００を起動させ、撮像装置１００は入射光に基づく電荷の蓄積を開始する。

ステップＳ１０１において、制御部１１０は動き検出およびブロック読み出しの動作モードをモード１（第１のモード）に設定し、モード１を表す信号を撮像装置１００に与える。撮像装置１００の制御回路７はモード１の信号に従いブロック読み出しを開始する。ここで、モード１によるブロック読み出しは、例えばｍ行、ｎ列の画素ブロックＢＬに分割された第１の分割パターンによる読み出しである。モード１においては、１フレームにおける画素ブロックＢＬの数が最も少なく、１つの画素ブロックＢＬにおいてビニングされる画素数が最も多くなる。従って、撮像装置１００における消費電流を低減することが可能となる。

ステップＳ１０２において、制御部１１０は複数フレームの画像データにおいて動き検出を行う。すなわち、制御部１１０は特定の画素ブロックＢＬの信号を複数フレーム間において比較し、複数フレーム間における信号の差分（信号値の変化）が予め定められた閾値ＴＨを超えたか否かを判断する。比較の対象となる複数フレームは、図６の第１、第２フレームのように、同じ分割パターンの画素ブロックＢＬを有する連続した複数フレームであることが好ましい。第１フレームにおいては、差分は算出されず、判定結果がＮＯとなる。フレーム間の信号の差分が閾値ＴＨを超えた場合（ステップＳ１０２でＹＥＳ）、制御部１１０は、背景に対して被写体の相対位置が変化したと判断し、撮像装置１００の動作を全画素読み出しモード（第３のモード）へ移行させる（ステップＳ１１０）。全画素読み出しモードにおいては、撮像装置１００は、複数の画素１０の加算読み出しを行わずに、画素単位で信号を読み出し、高精細な画像データを出力する。なお、画素１０毎に読み出しを行う代わりに、モード１における画素ブロックＢＬよりも小さな画素ブロックＢＬにおける加算読み出しを行ってもよい。また、モード１に比較して、全画素読み出しモードにおいてＡＤＣ回路４の解像度（ビット数）、フレームレートを向上させてもよい。

全画素読み出しモードにおいて、画像システムは、被写体が撮像された高精細の画像データを記録媒体１０８または外部機器へと出力する。なお、全画素読み出しモードに遷移してから所定時間経過後、または、被写体が検出されなくなくなった場合など、所定条件下において、制御部１１０は動作モードを動き検出を行うモード１に遷移させてもよい（ステップＳ１０１）。

フレーム間の信号の差分が閾値ＴＨを超えない場合、すなわち動きが検出されない場合（ステップＳ１０２でＮＯ）、制御部１１０はモード１による動き検出を所定フレーム数、すなわち所定期間実行したかを判断する（ステップＳ１０３）。モード１による動き検出が所定フレーム数実行されていない場合（ステップＳ１０３でＮＯ）、制御部１１０は次フレームにおけるブロック読み出し（ステップＳ１０１）および動き検出（ステップＳ１０２）を繰り返し実行する。

被写体の動きが所定期間検出されることなく、モード１による動き検出が所定フレーム数実行されると（ステップＳ１０３でＹＥＳ）、制御部１１０は動き検出およびブロック読み出しの動作モードをモード２（第２のモード）に移行させる。撮像装置１００はモード２に従ったブロック読み出しを開始する（ステップＳ１０４）。ここで、モード２によるブロック読み出しは、例えば図６の第Ｎ、第（Ｎ＋１）フレームに示されたｋ行、Ｌ列の画素ブロックＢＬによる第２の分割パターンによる読み出しである。モード２における画素ブロックＢＬの画素数はモード１の画素ブロックＢＬの画素数よりも少なく、１フレームに含まれる画素ブロックＢＬの数は多くなる。このため、モード１と比較して、動き検出を高精度に行うことが可能となる。

ステップＳ１０５において、制御部１１０は複数フレーム間における信号の差分が予め定められた閾値ＴＨを超えたか否かを判断する。比較の対象となる複数フレームは、図６の第Ｎ、第（Ｎ＋１）フレームのように、同じパターンの画素ブロックＢＬを有する連続した複数フレームであることが好ましい。フレーム間の信号の差分が閾値ＴＨを超えた場合、すなわち、動きが検出された場合（ステップＳ１０５でＹＥＳ）、制御部１１０は撮像装置１００の動作を全画素読み出しモードへ移行させる（ステップＳ１１０）。

フレーム間の信号の差分が閾値ＴＨを超えない場合、すなわち動きが検出されない場合（ステップＳ１０５でＮＯ）、制御部１１０はモード２による動き検出を所定フレーム数実行したかを判断する（ステップＳ１０６）。モード２による動き検出が所定フレーム数実行されていない場合（ステップＳ１０６でＮＯ）、制御部１１０は次フレームにおけるブロック読み出し（ステップＳ１０４）および動き検出（ステップＳ１０５）を繰り返し実行する。制御部１１０は、モード２による動き検出を所定フレーム数実行すると（ステップＳ１０６でＹＥＳ）、画素ブロックＢＬの画素数をさらに少なくし、動き検出を行う。

以下、制御部１１０および撮像装置１００は画素ブロックＢＬを次第に小さくしながら上述の処理を繰り返す。所定フレーム数（所定期間）に亘って被写体の動きが検出されなかった場合（ステップＳ１０５でＮＯ、かつステップＳ１０６でＹＥＳ）、制御部１１０は動き検出およびブロック読み出しの動作モードをモードＰに設定する（ステップＳ１０７）。モードＰは、予め定められた最小の画素ブロックＢＬにおけるブロック読出しおよび動き検出を行う動作モードである。最小の画素ブロックＢＬにおいても、所定のフレーム数に亘って動きが検出されなかった場合（ステップＳ１０８でＮＯ、かつステップＳ１０９でＹＥＳ）、制御部１１０は動作モードをモード１に設定し（ステップＳ１０１）、上述の処理を繰り返す。

上述したように、本実施形態の撮像装置１００は、動き検出の結果に基づき、画素ブロックＢＬの画素数、配置などの分割パターンをフレーム単位で変更可能である。本実施形態においては、撮像装置１００内部においてブロック読み出しを行うことができるため、消費電流を低減することができる。例えば、画素ブロックＢＬがｍ行、ｎ列の画素１０から構成される場合、ｎ列の列信号線Ｌ１のいずれかに接続されたＡＤＣ回路４のみを動作させ、ｍ行毎に読み取り走査をすれば足りる。従って、画素ブロックＢＬを大きくし、ビニングを行う画素数を増やすことにより、撮像装置１００の消費電流を小さくすることができる。一方、フレーム間における動き検出精度を高めるためには、画素ブロックＢＬを小さくし、高解像度の読み出しを行うことができる。本実施形態においては、画素ブロックＢＬを次第に小さくさせながら動き検出を行うことで、消費電流の低減と動き検出精度の向上とを両立させることが可能となる。

なお、ステップＳ１０２、Ｓ１０５、Ｓ１０８において、動き検出のための閾値ＴＨは全モードにおいて同一であってもよいが、各モードにおいて最適の値に設定してもよい。同様に、ステップＳ１０３、Ｓ１０６、Ｓ１０９において、判断基準となるフレーム数は全モードにおいて同一であってもよいが、各モードにおいて最適の値に設定してもよい。

また、ｍ行、ｎ列の画素ブロックＢＬにおいて、行方向または列方向のいずれかの加算を撮像装置１００の内部で行い、他方の加算を撮像装置１００の外部で行ってもよい。この場合においても、撮像装置１００内部で加算を行うことにより、消費電流を低減する効果を得ることができる。さらに、画素ブロックＢＬを構成する全画素１０の信号を加算する代わりに、画素ブロックＢＬ内のいずれかの画素１０の信号、または一部の画素１０の信号の平均値を画素ブロックＢＬの代表値として用いてもよい。また、図５において、スイッチＭ５をオフにしながら、複数行の選択トランジスタＭ４を同時にオンにし、複数行の信号を読み出してもよい。列信号線Ｌ１に同時に出力された複数行の信号の電圧が近似している場合には、列信号線Ｌ１には複数の信号の平均値が出力される。同時に選択された行のうち、ある信号が特に大きい場合には、最大の画素値が出力される。複数行の画素値の平均値または最大値を、画素ブロックＢＬの代表値として、フレーム間の動き検出に用いてもよい。

［第２実施形態］
図８は本実施形態における撮像装置の駆動方法を表すフローチャートであって、動き検出期間（動き検出モード）における信号の読み出し方法を表している。以下、第１実施形態と異なる構成を中心に説明する。それ以外の構成は第１実施形態と同じ構成である。第１実施形態と同じ構成の部分については、第１実施形態についての説明がすべて援用される。

最小の画素ブロックＢＬにおいても、所定のフレーム数に亘って動きが検出されなかった場合（ステップＳ１０８でＮＯ、かつステップＳ１０９でＹＥＳ）、制御部１１０は動作モードを全画素読み出しモードに遷移する（ステップＳ１１０）。全画素読み出しモードに遷移してから所定時間経過後、制御部１１０は動作モードを動き検出を行うモード１に遷移させる（ステップＳ１０１）。このとき、モード１の他に、モード２～モードＰの任意の１つに遷移してもよい。あるいは、所定の条件に応じて、いずれのモードに遷移するかを選択してもよい。

なお、図８においては、全画素読み出しモード（ステップＳ１１０）は、モード１からモードＰの一巡の処理（ステップＳ１０１～Ｓ１０９）を行う毎に実行されている。これに対して、モード１からモードＰの複数回の処理毎に全画素読み出しモード（ステップＳ１１０）が実行されてもよい。すなわち、モードＰの処理の後（ステップＳ１０９でＮＯ）、動作開始からの合計のフレーム数が所定フレーム数に達していない場合、制御部１１０はステップＳ１１０の全画素読み出し（ステップＳ１１０）を行わずにモード１に遷移してもよい（ステップＳ１０１）。一方、動作開始から合計のフレーム数が所定フレーム数に達している場合、制御部１１０は全画素読み出し（ステップＳ１１０）を行った後にモード１に遷移してもよい。

このように、所定のフレーム数に亘って動きが検出されなかった場合にも全画素読み出しモードに遷移することで、動きの検知が困難な動体に対しても高解像度の撮像を行うことができる。なお、本実施形態では、第１実施形態で説明しているような画素ブロックＢＬのサイズあるいは個数などを変更する必要はない。例えば、撮像装置１００は画素ブロックの分割パターンを常に固定したままブロック読み出しを行い、所定のフレーム数に亘って動きが検出されなかった場合に全画素読み出しモードに移行する。このような構成において、動きの検知が困難な動体に対しても高解像度の撮像を行うことができるという効果が得られる。

［第３実施形態］
図９、図１０は本実施形態における画素ブロックを説明するための図である。本実施形態においては、画素数、形状が互いに異なる複数種類の画素ブロックが１フレーム内に配置される。以下、第１実施形態と異なる構成を中心に説明する。

図９において、画素部２は、複数種類の画素ブロックＢＬ１、ＢＬ２、ＢＬ３、ＢＬ４・・・に分割されている。例えば、画素ブロック（第１の画素ブロック）ＢＬ１は、略正方形をなしており、他の画素ブロック（第２の画素ブロック）ＢＬ２、ＢＬ３、ＢＬ４と比べて少ない数の画素１０から構成されている。画素ブロックＢＬ４は、画素ブロックＢＬ１と同様に略正方形をなしているが、他の画素ブロックＢＬ１、ＢＬ２、ＢＬ３と比べて多い数の画素１０から構成されている。画素ブロックＢＬ２、ＢＬ３は、同じ数の画素１０から構成され得るが、互いに異なる形状を有している。１フレームにおいて、画素数または形状の異なる複数種類の画素ブロックを配置することにより、任意の領域における動き検出精度を向上させることができる。例えば、撮像領域の中心側における動き検出精度を高める必要がある場合には、周辺側に比較して中心側における画素ブロックＢＬの画素数を少なくすることが好ましい。

また、画素ブロックＢＬの画素数、形状、配置などの分割パターンを、フレーム単位で変化させてもよい。例えば、被写体が中心側から周辺側に移動する場合、周辺側の画素ブロックＢＬ２、ＢＬ４のサイズを中央の画素ブロックＢＬ１よりも小さくしてもよい。さらに、図１０に示すように、同じ画素数の画素ブロックＢＬ５の間に、画素ブロックＢＬの画素数とは異なる画素数の画素ブロックＢＬ６を配置してもよい。異なる画素数の画素ブロックを隣接して配置することにより、被写体がより多くの画素ブロックＢＬにおいて検出され易くなる。これにより、１フレームにおける画素ブロックＢＬの数を少なくし、消費電流を抑制しながら、動き検出精度を効果的に高めることが可能となる。

［第４実施形態］
図１１は本実施形態における撮像装置のブロック図である。以下、第１実施形態と異なる構成を中心に説明する。本実施形態においては、撮像装置１００を構成する回路要素は１枚の半導体基板１上に形成されている。すなわち、半導体基板１には、画素部２、垂直走査回路３、ＡＤＣ回路４、水平走査回路５、信号処理回路６、制御回路７が形成されている。半導体基板１が十分な面積を有する場合には、半導体基板が積層された第１実施形態と比較して、製造コストを抑えることが可能となる。本実施形態においても、第１実施形態と同様に、消費電流を低減しながら動き検出精度を高めることが可能である。

［第５実施形態］
図１２は本実施形態における撮像装置のブロック図である。以下、第１実施形態と異なる構成を中心に説明する。本実施形態においては、撮像装置１００は積層された３枚の半導体基板１Ａ、１Ｂ、１Ｃに形成されている。半導体基板１Ａには画素部２が形成され、半導体基板１Ｂには、垂直走査回路３、ＡＤＣ回路４、水平走査回路５、信号処理回路６、制御回路７が形成されている。半導体基板（第３の基板）１ＣにはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ回路が形成されている。ＤＲＡＭはデジタル変換された画像データを一時的に保存する。撮像装置１００から信号処理部１０４への信号経路に速度制約がある場合、画像データをＤＲＡＭに保存することで、画素部２から信号を高速に読み出すことができる。このため、高フレームレートでの撮影が可能となり、動きの速い被写体の動きを高精度に検出することが可能となる。

［第６実施形態］
図１３は本実施形態における撮像装置のブロック図である。以下、第１実施形態と異なる構成を中心に説明する。本実施形態においては、ＡＤＣ回路４は画素１０毎に設けられている。第１実施形態と比較して、回路規模は大きくなるが、信号を高速に読み出すことが可能となる。このため、高フレームレートでの撮影が可能となり、動きの速い被写体を高精度に検出することが可能となる。

［第７実施形態］
図１４は本実施形態における撮像装置の駆動方法を表すフローチャートである。本実施形態における撮像装置１００は、全画素読み出しモードの後に動き検出を行う場合、動き検出がなされた読み出しモードと同じ読み出しモードに移行する。以下、第１実施形態と異なる構成を中心に説明する。

ステップＳ２００において、制御部１１０は予め定められたプログラムに従い、動作を開始する。制御部１１０は撮像装置１００を起動させ、撮像装置１００は入射光に基づく電荷の蓄積を開始する。

ステップＳ２０１において、制御部１１０は動き検出およびブロック読み出しの動作モードをモード１に設定し、撮像装置１００はモード１に従いブロック読み出しを開始する。第１実施形態と同様に、モード１によるブロック読み出しにおいては、１つの画素ブロックＢＬに含まれる画素数が最も多い。

ステップＳ２０２において、制御部１１０は複数フレーム間において信号の差分が予め定められた閾値ＴＨを超えたか否かを判断する。フレーム間の信号の差分が閾値ＴＨを超えた場合、すなわち、動きが検出された場合（ステップＳ２０２でＹＥＳ）、制御部１１０は撮像装置１００の動作を全画素読み出しモードへ移行させる（ステップＳ２１０）。全画素読み出しモードにおいては、撮像装置１００は、画素毎に信号を読み出し、高精細な画像データを出力する。全画素読み出しモードに移行してから所定時間経過後、または、被写体が検出されなくなくなった場合など、所定条件下において、制御部１１０は動作モードを全画素読み出しモードから動き検出を行うモード１に移行させる（ステップＳ２０１）。

フレーム間の信号の差分が閾値ＴＨを超えない場合、すなわち、動きが検出されない場合（ステップＳ２０２でＮＯ）、制御部１１０はモード１による動き検出を所定フレーム数実行したかを判断する（ステップＳ２０３）。モード１による動き検出が所定フレーム数実行されていない場合（ステップＳ２０３でＮＯ）、制御部１１０は次フレームにおけるブロック読み出し（ステップＳ２０１）および動き検出（ステップＳ２０２）を繰り返し実行する。

被写体の動きが検出されることなく、モード１による動き検出が所定フレーム数実行されると（ステップＳ２０３でＹＥＳ）、制御部１１０は動作モードをモード２に移行させる（ステップＳ２０４）。撮像装置１００は、画素ブロックＢＬの画素数を減少させた分割パターンを用いて、モード２によるブロック読み出しおよび動き検出を開始する。

フレーム間の信号の差分が閾値ＴＨを超えた場合、すなわち、動きが検出された場合（ステップＳ２０５でＹＥＳ）、制御部１１０は撮像装置１００の動作を全画素読み出しモードへ移行させる（ステップＳ２１１）。この後、所定条件において、制御部１１０は動作モードを全画素読み出しモードからモード２に移行させる（ステップＳ２０４）。

フレーム間の信号の差分が閾値ＴＨを超えない場合、すなわち動きが検出されない場合（ステップＳ２０５でＮＯ）、制御部１１０はモード２による動き検出を所定フレーム数実行したかを判断する（ステップＳ２０６）。モード２による動き検出が所定フレーム数実行されていない場合（ステップＳ２０６でＮＯ）、制御部１１０は次フレームにおけるブロック読み出し（ステップＳ２０４）および動き検出（ステップＳ２０５）を繰り返し実行する。モード２による動き検出が所定フレーム数実行されると（ステップＳ２０６でＹＥＳ）、制御部１１０は画素ブロックＢＬの画素数を減少させた分割パターンを用いて、ブロック読み出しおよび動き検出を行う。

以下、制御部１１０および撮像装置１００は画素ブロックＢＬを次第に小さくしながら上述の処理を繰り返す。動きが検出されなかった場合、制御部１１０は動き検出およびブロック読み出しの動作モードをモードＰに設定する（ステップＳ２０７）。モードＰは、予め定められた最小の画素ブロックＢＬにおけるブロック読み出しおよび動き検出を行う動作モードである。

フレーム間の信号の差分が閾値ＴＨを超えた場合、すなわち、動きが検出された場合（ステップＳ２０８でＹＥＳ）、制御部１１０は撮像装置１００の動作を全画素読み出しモードへ移行させる（ステップＳ２１２）。この後、所定条件において、制御部１１０は動作モードを全画素読み出しモードからモードＰに移行させる（ステップＳ２０７）。最小の画素ブロックＢＬにおいても、所定のフレーム数に亘って動きが検出されなかった場合（ステップＳ２０８でＮＯ、かつステップＳ２０９でＹＥＳ）、制御部１１０は動作モードをモード１に設定する（ステップＳ２０１）。

本実施形態においては、全画素読み出しモードからブロック読み出しモードに移行する場合、動き検出された際のモードと同じモードへ再び移行する。例えば、モード２において動きが検出され、全画素読み出しモードに移行した場合、続いて実行されるブロック読み出しモードはモード２である。このように、全画素読み出しモードの後に動き検出が行われる場合、動きが検出された時点における読み出しモードと同じ読み出しモードが実行される。画像内の同じ領域で被写体の動きが繰り返し検出される場合、同じ読み出しモードを用いて動き検出を行うことにより、動き検出を効果的に行うことができる。この結果、動き検出のスピードおよび精度を高めることが可能となる。

［第８実施形態］
図１５は本実施形態における撮像装置の駆動方法を表すフローチャートである。本実施形態における撮像システムは、全画素読み出しモードから動き検出モードに復帰する際に、前回の動き検出の結果に基づいて、動き判定のフレーム数および画素ブロックのパターンを変更することが可能である。以下、第１、第６実施形態と異なる構成を中心に説明する。

ステップＳ３００～Ｓ３０９までの処理は第１、第６実施形態と略同様である。複数フレーム間において信号の差分が閾値ＴＨを超えた場合（ステップＳ３０２、Ｓ３０５、Ｓ３０８においてＹＥＳ）、制御部１１０は撮像装置１００の動作を全画素読み出しモードへ移行させる（ステップＳ３１０）。全画素読み出しモードに遷移してから所定時間経過後、または、所定の条件下において、制御部１１０は再度の動き検出のため、ステップＳ３１１以後の処理を実行する。

ステップＳ３１１において、制御部１１０は、動き検出結果（ステップＳ３０２、Ｓ３０５、Ｓ３０８）に基づき、画素ブロックの画素数、配置などの分割パターンを再設定する。例えば、制御部１１０がステップＳ３０１～Ｓ３０９の動き検出を繰り返した結果、モード２における分割パターンを用いた場合（ステップＳ３０４）に、被写体の動きが検出される頻度が高くなったと仮定する。この場合、制御部１１０は、モード１およびモードＰの一部のフレームにおける分割パターンをモード２と同様に変更する（ステップＳ３０１、Ｓ３０７）。また、モード２における画素ブロックをさらに細かく分割してもよい。なお、動き検出結果を撮像システムまたは撮像装置１００のメモリに記憶してもよい。

ステップＳ３１２において、制御部１１０は、フレーム数の判定（ステップＳ３０３、Ｓ３０６、Ｓ３０９）におけるフレーム数を動き検出結果（Ｓ３０２、Ｓ３０５、Ｓ３０８）に基づき再設定する。例えば、制御部１１０がステップＳ３０１～Ｓ３０９の動き検出を繰り返した結果、モード２における動き検出を行った場合（ステップＳ３０５）に、被写体の動きが検出される頻度が高くなったと仮定する。この場合、制御部１１０は、モード２における判定フレーム数を増やす（ステップＳ３０６）。すなわち、動き検出の頻度が高いモードの処理の割合（回数）を増加させることにより、動き検出のスピードおよび精度を高めることができる。

続いて、制御部１１０は、画素ブロックの分割パターン、フレーム数の設定値を用いて、ステップＳ３０１～Ｓ３０９の動き検出を繰り返す。さらに、制御部１１０は、動き検出を繰り返しながら最適な設定値を学習することが可能となる。このように、動き検出の結果に基づいて画素ブロックの分割パターン、および判定フレーム数を再設定することにより、動き検出した頻度が高い信号読み出しステップの割合を大きくすることにより、動き検出のスピード、精度を高めることができる。

［第９実施形態］
本実施形態においては、第８実施形態をさらに発展させた例について、第８実施形態と異なる構成を中心に説明する。本実施形態における駆動方法は第８実施形態で説明した図１５のフローチャートに示された駆動方法と略同様であるが、画素ブロックの分割パターンにおいて異なっている。以下、モード１～３に簡略化した分割パターンを説明する。制御部１１０がステップＳ３０１～Ｓ３０９の動き検出を初めて行う場合、モード１、モード２、モード３の順で動き検出を行う。

図１６は本実施形態における画素部の読み出し方法を説明するための図であって、初期の画素ブロックの分割パターンを表している。第１、２、・・・、第Ｎ、第（Ｎ＋１）、・・・、第Ｘ、第（Ｘ＋１）の順に各フレームが読み出されるものとする。便宜的に、領域Ａ、領域Ｂ、領域Ｃは、同じサイズの画素領域である。モード１である第１、第２フレームにおいては、画素部２の左上の領域Ａを構成する画素ブロックの数は中央の領域Ｂ及び右下の領域Ｃを構成する画素ブロックの数より多い。換言すると、領域Ａにおいて１つの画素ブロックに含まれる画素数は、領域Ｂあるいは領域Ｃにおいて１つの画素ブロックに含まれる画素数よりも小さい。そのため、領域Ａのほうが領域Ｂ、領域Ｃよりも動き検出精度が高い。同様に、モード２である第Ｎ、第（Ｎ＋１）フレームにおいては、画素部２の中央の領域Ｂを構成する画素ブロックの数は左上の領域Ａ及び右下の領域Ｃを構成する画素ブロックの数より多い。このため、領域Ｂのほうが領域Ａ、領域Ｃよりも動き検出精度が高い。モード３である第Ｘ、第（Ｘ＋１）フレームにおいては、画素部２の右下の領域Ｃを構成する画素ブロックの数は左上の領域Ａ及び中央の領域Ｂを構成する画素ブロックの数より多いため、領域Ｃのほうが領域Ａ、領域Ｂよりも動き検出精度が高い。なお、図１６には代表的に領域Ａ～Ｃのみが挙げられていが、撮像エリアに設定される領域はさらに多くてもよい。

ここで、図１６において、ステップＳ３０１～Ｓ３０９の動き検出を繰り返した結果、いずれのモードにおいても動体が検知されない場合（ステップＳ３０９でＹＥＳ）について説明する。この場合、ステップＳ３１１とＳ３１２において、画素ブロックの分割パターンとフレーム数の設定を変更せずに動体検知を継続してもよい。あるいは、画素ブロックの分割パターンまたはフレーム数を変更するように設定してもよい。変更する方法は事前に設定してもよく、ランダムに変更されるように設定してもよい。

次に、ステップＳ３０１～Ｓ３０９の動き検出を繰り返した結果、いずれかのモードにおいて動体が検知された場合について説明する。動体が検知された場合（ステップＳ３０２、Ｓ３０５、Ｓ３０８のいずれかにおいてＹＥＳ）、制御部１１０は全画素読み出しモードに移行する（ステップＳ３１０）。その後、動体が検知されない場合と同様に、ステップＳ３１１とＳ３１２において、画素ブロック分割パターンとフレーム数の設定を変更せずに動体検知を継続してもよい。あるいは、画素ブロックの分割パターンまたはフレーム数を変更するように設定してもよい。

制御部１１０は、動き検出を繰り返しながら、検出結果の統計データを元に最適な分割パターン及びフレーム数を設定してもよい。例えば、動き検出を繰り返す中で、モード１で動き検出される頻度が高い場合、モード１、モード２、モード１、モード３、モード１、モード２、モード１・・・という順番のように、モード１が出現する割合を増やすことができる。特定の領域において動体が検出される確率が高い場合、当該領域を検出する頻度を高くし、動体をより効率良く検出することが可能となる。

また、動き検出を繰り返す中で、動きが検出されるモードの順番に特徴がある場合、ステップＳ３１１において画素ブロックの画素数、配置などの分割パターンを再設定することにより、モードを出現させる順番を変更することもできる。

例えば、制御部１１０がステップＳ３０１～Ｓ３０９の動き検出を繰り返した結果、モード３で被写体の動きが検出された後、次に被写体の動きが検出される頻度が高いモードはモード２であったと仮定する。さらに、モード２で被写体の動きが検出された後、次に被写体の動きが検出される頻度が高いモードはモード１であったと仮定する。この場合、制御部１１０は、画素ブロックの分割パターンが初期に設定していたモード３、モード２、モード１の順になるように、画素ブロックの画素数、配置などの分割パターンを再設定しても良い。

図１７は本実施形態における画素部の読み出し方法を説明するための図であって、画素ブロックの分割パターンを再設定した後の分割パターンを表している。フレームは、第１、２、・・・、第Ｎ、第（Ｎ＋１）、・・・、第Ｘ、第（Ｘ＋１）の順に読み出されるものとする。モード１である第１、第２フレームにおいては、画素部２の右下の領域Ｃを構成する画素ブロックの数は左上の領域Ａ及び中央の領域Ｂを構成する画素ブロックの数より多いため、領域Ｃのほうが領域Ａ、領域Ｂよりも動き検出精度が高い。モード２である第Ｎ、第（Ｎ＋１）フレームにおいては、画素部２の中央の領域Ｂを構成する画素ブロックの数は左上の領域Ａ及び右下の領域Ｃを構成する画素ブロックの数より多いため、領域Ｂのほうが領域Ａ、領域Ｃよりも動き検出精度が高い。モード３である第Ｘ、第（Ｘ＋１）フレームにおいては、画素部２の左上の領域Ａを構成する画素ブロックの数は中央の領域Ｂ及び右下の領域Ｃを構成する画素ブロックの数より多いため、領域Ａのほうが領域Ｂ、領域Ｃよりも動き検出精度が高い。

以上のように、動き検出の頻度が高くなるように画素ブロックの分割パターンの順番を変更することにより、動き検出のスピードおよび精度を高めることができる。例えば、被写体が画面右下から画面左上に移動する場合、図１７に示す分割パターンが再設定され得る。

また、動き検出した際の画像情報から被写体を分類し、機械学習することによって、被写体の動きを予測し、画素ブロックの画素数、配置などの分割パターンを再設定することも可能である。図１８に、本実施形態における機械学習モデルのニューラルネットワークの模式図を示す。機械学習モデルは例えば制御部１１０によって学習され、メモリ部１０５に記録され得る。ニューラルネットワークは、複数のノードを有する入力層と、複数のノードを有する中間層と、１個のノードを有する出力層とを備える。入力層の各ノードには全画素モードで撮影した画像が入力され得る。中間層の各ノードは、入力層の各ノードに接続される。中間層のノードに入力された入力値の各要素は、中間層の各ノードにおける演算に用いられる。中間層の各ノードは、例えば、入力層の各ノードから入力された入力値と、所定の重み付け係数と、所定のバイアス値とを用いて演算値を算出する。中間層の各ノードは、それぞれ出力層に接続され、算出した演算値を出力層のノードに出力する。出力層のノードは、中間層の各ノードから演算値が入力される。機械学習モデル（中間層）は、画像に含まれる動体の分類を行う。例えば、特定された動体が人、動物、車両などの違いを見分け、被写体のサイズや動く範囲やスピードを予測することによって、画素ブロックの画素数、配置などの分割パターンを再設定し、出力層から出力することも可能である。なお、動体を検知した画素ブロックの情報を、機械学習モデルの入力として追加してもよい。これにより、画像内で動体が存在する可能性のある領域が特定され、動体の分類の精度を向上させることができる。

また、機械学習モデルの出力は、動体との関係が深い被写体を特定するものでもよい。例えば、機械学習モデルの出力として、道路（車両の出現する可能性が高い）、通路、ドア、窓（人の出入りする可能性が高い）を特定する。これらが存在する領域の画素ブロックが小さくなるように、上述のモードの選択や切り替えを行う。

分類した被写体が所望の被写体でない場合、全画素読み出しモード（ステップＳ３１０）を実行せずに画素ブロック分割パターン設定（ステップＳ３１１）に移行することで、所望の被写体の検出精度を向上させることができる。

なお、全画素読み出しモードで撮影した画像を機械学習モデル等のニューラルネットワークに入力し、ニューラルネットワークの出力に基づいて制御を行う場合、モード１からモードＰへと画素ブロックのサイズを順次変更することを要せず、また、１フレーム内にサイズの異なる複数の画素ブロックを設けなくてもよい。画素ブロックの設定について様々方法が本発明に含まれる。例えば、出力に基づいた制御は、上述のモード選択に限定されず、動体を検知しない場合において全画素読み出しモードに移行するタイミングの制御を含み得る。あるいは、撮像装置の露光期間の制御、撮像装置の内部でのゲイン制御、フレームレートの制御などに適用してもよい。さらに、動体を検知した場合における全画素モードを出力する期間の制御に適用してもよい。

機械学習モデルの入力および出力の情報は上述の例に限定されない。画像に加えて、撮像時刻、撮像場所などの様々な情報（条件）を入力し、各条件において最適な分割パターンおよび画素ブロックの画素数を出力してもよい。動体検出結果を機械学習モデルにフィードバックし、各ノード間の重み付け係数を更新することにより、様々な条件において最も効果的に動体を検出可能な分割パターンおよび画素ブロックの画素数を学習させることができる。出力層のノードは、中間層の各ノードから入力された演算値と、重み付け係数と、バイアス値とを用いて出力層の値を算出する。なお、ニューラルネットワークの学習は、例えば誤差逆伝播法によって行われ得る。具体的には、データを入力層に入力したときの出力値と教師データから得られる出力値とを比較し、比較の結果生じた誤差を中間層にフィードバックする。これを誤差が所定の閾値を下回るまで繰り返すことにより、ニューラルネットワーク（学習モデル）の学習を行うことができる。

［第１０実施形態］
図１９は本実施形態における画素部のブロック図である。第１実施形態においては、隣接する列信号線Ｌ１間に設けられたスイッチによって複数列の信号を加算していたが、本実施形態においては、複数列の浮遊拡散領域を互いに導通または非導通とするスイッチを用いて、複数列の画素の信号を加算している。以下、第１実施形態と異なる構成を中心に説明する。

画素１０は、光電変換部ＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、スイッチ（第４のスイッチ）Ｍ１０、浮遊拡散領域ＦＤを含む。また、複数の画素１０はスイッチ（第１のスイッチ）Ｍ５０、スイッチ（第３のスイッチ）Ｍ６０を介して互いに接続されている。画素１０において、スイッチＭ１０のソースは浮遊拡散領域ＦＤに電気的に接続され、スイッチＭ１０のドレインはスイッチＭ５０のソース、リセットトランジスタＭ２のソース、スイッチＭ６０のソースに電気的に接続されている。スイッチＭ５０のドレインは他のスイッチＭ５０のドレインと電気的に接続されている。スイッチＭ５０のゲートには垂直走査回路３から駆動パルスが入力される。

動き検出モード、すなわち信号を加算するブロック読み出しモードにおいては、スイッチＭ１０をオンの状態にしながら、スイッチＭ５０、Ｍ６０のオンまたはオフを制御することにより、任意の画素数の浮遊拡散領域ＦＤの信号を加算することができる。具体的には、先ず、リセットトランジスタＭ２がオンおよびオフし、浮遊拡散領域ＦＤがリセットされる。この後に、転送トランジスタＭ１がオンおよびオフし、光電変換部ＰＤの光電荷が浮遊拡散領域ＦＤへ転送される。複数行において、スイッチＭ１０、Ｍ５０がオンとなると、複数行の浮遊拡散領域ＦＤがスイッチＭ１０、Ｍ５０を介して互いに導通する。これにより、列方向（垂直方向）の加算読み出しを行うことが可能となる。また、複数列において、スイッチＭ１０、Ｍ６０がオンとなると、複数列の浮遊拡散領域ＦＤがスイッチＭ１０、Ｍ６０を介して互いに導通する。これにより、行方向（水平方向）の加算読み出しを行うことが可能となる。

第１実施形態においては、複数の列信号線Ｌ１を互いにスイッチＭ６によって導通させることによって、行方向の加算読み出しを行っていた。この場合、複数の信号の差が大きい場合には、信号の加算値ではなく、最大の信号が出力され得る。例えば、ある画素１０にのみ高輝度の光が入射し、他の画素には光が殆ど入射しない状態を想定する。高輝度光の画素１０においては、浮遊拡散領域ＦＤの電位が大きく低下し、増幅トランジスタＭ３のゲートおよびソース間の電位差が小さくなり、増幅トランジスタＭ３はオフとなってしまう。一方、低輝度の画素１０においては、浮遊拡散領域ＦＤの電位は高い状態のままであり、増幅トランジスタＭ３のソースの電位も高くなる。このため、列信号線Ｌ１の電位が、低輝度の画素１０のみによって定められてしまい、信号の理想的な加算値（平均値）から外れてしまう。この傾向は、加算される列信号線Ｌ１の数が多いほど顕著であって、高輝度の小さな被写体の動きを検出することが困難になり得る。

これに対して、本実施形態によれば、行方向においても複数の浮遊拡散領域ＦＤにおける電荷を加算することにより、理想的な信号加算を行うことが可能となる。特に、行方向において加算する画素数が多い場合には、本実施形態に効果は顕著となる。本実施形態によれば、水平方向において理想的な信号加算を行うことができ、水平方向の加算画素数を増やすことが可能となる。

通常撮像時、すなわち信号加算を行わない全画素読み出しモードにおいては、スイッチＭ５０、Ｍ６０はオフとなる。また、各画素１０においてスイッチＭ１０はリセット動作時以外の読み出し動作時にはオフ状態となる。具体的には、リセット時においては、リセットトランジスタＭ２、スイッチＭ１０は同時にオンおよびオフする。浮遊拡散領域ＦＤがリセットされた後、スイッチＭ１０はオフ状態となる。転送トランジスタＭ１がオンおよびオフすることで、光電変換部ＰＤから浮遊拡散領域ＦＤに電荷が転送される。このとき、スイッチＭ１０はオフであるため、浮遊拡散領域ＦＤはスイッチＭ５０、Ｍ６０から電気的に遮断される。これにより、隣接する列信号線Ｌ１の信号が容量結合等によって浮遊拡散領域ＦＤに混入してしまうのを防ぎ、混色が生じるのを回避することが可能となる。また、スイッチＭ５０、Ｍ６０の寄生容量が浮遊拡散領域ＦＤに付随することを防ぎ、ＳＮ比を向上させることも可能となる。

［第１１実施形態］
図２０は本実施形態における画素部のブロック図であって、第８実施形態における画素部の変形例を表している。以下、第８実施形態と異なる構成を中心に説明する。

画素１０は、光電変換部ＰＤ１、ＰＤ２、転送トランジスタＭ１１、Ｍ１２、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、浮遊拡散領域ＦＤを含む。光電変換部ＰＤ１、ＰＤ２は１つの浮遊拡散領域ＦＤを共有している。光電変換部ＰＤ１、ＰＤ２にはそれぞれ異なるカラーフィルタが設けられている。例えば、第１行、第１列の画素１０において、光電変換部ＰＤ１には赤色のカラーフィルタ（Ｒ１１）が設けられ、光電変換部ＰＤ２には緑色のカラーフィルタ（Ｇ１２）が設けられている。転送トランジスタＭ１１、Ｍ１２を独立にオンまたはオフさせることで、光電変換部ＰＤ１、ＰＤ２の電荷を独立に読み出し可能であって、画素１０は２つの画素１０（Ｒ１１、Ｇ１２）を含む単位画素として機能し得る。複数の画素１０の浮遊拡散領域ＦＤはスイッチＭ５０、Ｍ６０を介して互いに接続されている。但し、第１０実施形態と異なり、浮遊拡散領域ＦＤとスイッチＭ５０、Ｍ６０との間には他のスイッチが設けられていない。

動き検出モード、すなわち信号を加算するブロック読み出しモードにおいては、転送トランジスタＭ１１、Ｍ１２を同時にオンとすることにより、光電変換部ＰＤ１、ＰＤ２の電荷を加算して読み出すことができる。また、第１０実施形態と同様に、スイッチＭ５０、Ｍ６０のオンまたはオフを制御することにより、任意の画素数の浮遊拡散領域ＦＤを互いに接続することができる。

通常撮像時、すなわち信号加算を行わない全画素読み出しモードにおいては、スイッチＭ５０、Ｍ６０はオフとなる。本実施形態においては、浮遊拡散領域ＦＤとスイッチＭ５０、Ｍ６０との間にはスイッチが設けられていないが、各行において同時に読み出される各画素１０の色は同一となるため、混色が生じることはない。例えば、第１行の画素１０の読み出しにおいては、先ず赤色の画素Ｒ１１、Ｒ１３、・・・の信号が同時に読み出され、続いて、緑色の画素Ｇ１２、Ｇ１４、・・・の信号が同時に読み出される。すなわち、各行において同時に読み出される信号の色成分は同じである。このため、本実施形態においては、混色を防止することが可能となる。なお、第１０実施形態と同様に、浮遊拡散領域ＦＤとスイッチＭ５０、Ｍ６０との間にスイッチを設けてもよい。この場合、同色における信号の干渉を防ぐことができるとともに、浮遊拡散領域ＦＤに付随する寄生容量を低減し、ＳＮ比を向上させることが可能となる。

［第１２実施形態］
図２１（ａ）、図２１（ｂ）は、第１～第１１実施形態における撮像装置を車戴カメラに関する撮像システムに適用した例を示している。本実施形態において、撮像装置１００を構成する画素１０は第１の光電変換部と、第２の光電変換部とを含み得る。信号処理部１０４は、第１の光電変換部で生じた電荷に基づく信号と、第２の光電変換部で生じた電荷に基づく信号とを処理し、撮像装置１００から被写体までの距離情報を取得するように構成されてもよい。

撮像システム２０００は、撮像装置１００により取得された複数の画像データに対し、画像処理を行う画像処理部２０３０と、撮像システム２０００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部２０４０を有する。また、撮像システム２０００は、算出された視差に基づいて対象物までの距離を算出する距離計測部２０５０と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部２０６０とを有する。ここで、視差算出部２０４０、距離計測部２０５０は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部２０６０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム２０００は車両情報取得装置２３１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ２４１０が接続されている。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、ドライバーへ警報を発する警報装置２４２０とも接続されている。例えば、衝突判定部２０６０の判定結果として衝突可能性が高い場合、制御ＥＣＵ２４１０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置２４２０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトまたはステアリングに振動を与えるなどしてユーザに警告を行う。撮像システム２０００は上述のように車両を制御する動作の制御を行う制御手段として機能する。

本実施形態では車両の周囲、例えば前方または後方を撮像システム２０００で撮像する。図２１（ｂ）に、車両前方（撮像範囲２５１０）を撮像する場合の撮像システムを示した。撮像制御手段としての車両情報取得装置２３１０が、上述の第１乃至第１１の実施形態に記載した動作を行うように撮像システム２０００ないしは撮像装置１００に指示を送る。撮像装置１００の動作は、第１～第１１実施形態と同じなので、ここでは説明を省略する。このような構成により、測距の精度をより向上させることができる。

上述では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［第１３実施形態］
上述の実施形態において、動き検出処理および読み出しブロックのモードの決定処理を行う信号処理部１０４および制御部１１０は撮像装置の外部に設けられているが、信号処理部１０４および制御部１１０は撮像装置１００の内部に設けられてもよい。例えば、図１２に示す半導体基板（第３の基板）１Ｃに信号処理部１０４および制御部１１０が搭載されてもよい。撮像装置１００から信号処理部１０４への信号経路に速度制約がある場合、信号処理部１０４および制御部１１０を撮像装置１００の内部に設けることで、信号処理部１０４および制御部１１０への信号伝達経路を短くすることができる。これにより、信号処理部１０４は信号を高速に読み出し、高フレームレートでの撮影が可能となり、制御部１１０は高速の被写体の動きを高精度に検出することが可能となる。

［第１４実施形態］
信号処理部１０４および制御部１１０は、図１３に示す半導体基板（第２の基板）１Ｂに搭載されてもよい。本実施形態においても、撮像装置１００から信号処理部１０４への信号経路に速度制約がある場合、信号処理部１０４および制御部１１０を撮像装置１００の内部に設けることで、信号処理部１０４および制御部１１０への信号伝達経路を短くすることができる。これにより、高フレームレートでの撮影が可能となり、高速の被写体の動きを高精度に検出することが可能となる。

［他の実施形態］
本発明は、上述の実施形態に限らず本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例、または他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

本発明の実施形態は、記憶媒体に記録されたコンピュータ実行可能命令（例えば、１つまたは複数のプログラム）を読み出して実行する撮像システムまたは撮像装置のコンピュータによって実現され得る。また、特定用途向け集積回路（ＡＳＩＣ）は、一時的ではないコンピュータ可読記憶媒体として使用することができる。上述した機能を実現するためのプログラムコードを記録した記憶媒体を、撮像システムあるいは撮像装置に供給してもよい。さらに、ネットワーク、サーバを通じて、撮像システムあるいは撮像装置が、上述の機能の一部またはすべてを実行するように、プログラムをダウンロードしてもよい。

撮像システムあるいは撮像装置には、プロセッサ（たとえば、中央処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ））が含まれ得る。コンピュータ実行可能命令は、例えばネットワークまたは記憶媒体からコンピュータに提供することができる。記憶媒体は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、分散コンピューティングシステムの記憶装置、光ディスク（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク（ＢＤ）（商標））、フラッシュメモリデバイス、メモリカードなどを含む。

ＢＬ、ＢＬ１、ＢＬ２ 画素ブロック
２ 画素部
３ 垂直走査回路
４ ＡＤＣ回路
５ 信号処理回路
６ 水平走査回路
７ 制御回路
１０ 画素
１００ 撮像装置
１１０ 制御部
ＰＤ１、ＰＤ２ 光電変換部
Ｍ１ 転送トランジスタ
Ｍ２ リセットトランジスタ
Ｍ３ 増幅トランジスタ
Ｍ４ 選択トランジスタ
ＦＤ 浮遊拡散領域
Ｍ５、Ｍ６、Ｍ１０、Ｍ５０，Ｍ６０スイッチ
Ｌ１ 列信号線

Claims (32)

1. 複数行および複数列にわたって配された複数の画素を有する画素部と、
   それぞれが複数の前記画素を含む複数の画素ブロックに前記画素部を所定の分割パターンで分割し、各画素ブロックにおいて当該画素ブロックに含まれる複数の前記画素からの信号を合成して１つの信号を生成する読み出し部と、
   １つの画素ブロックから順に出力される複数の信号の間で信号値が変化したことを検知する検知部と、
   前記検知部が前記信号値の変化を検知したことに応じて、少なくとも前記１つの画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する制御部と、を備え、
   前記制御部は、少なくとも２つのフレームにおいて前記分割パターンが異なるように、前記読み出し部を制御する、
   ことを特徴とする撮像装置。
2. 前記分割パターンにおける複数の前記画素ブロックは所定の画素数をそれぞれ含む第１の画素ブロックおよび第２の画素ブロックを有し、
   前記制御部は、前記第１の画素ブロックまたは前記第２の画素ブロックに含まれる画素数を変化させることを特徴とする請求項１に記載の撮像装置。
3. 複数行および複数列にわたって配された複数の画素を有する画素部と、
   それぞれが複数の前記画素を含む複数の画素ブロックに前記画素部を所定の分割パターンで分割し、各画素ブロックにおいて当該画素ブロックに含まれる複数の前記画素からの信号を合成して１つの信号を生成する読み出し部と、
   １つの画素ブロックから順に出力される複数の信号の間で信号値が変化したことを検知する検知部と、
   前記検知部が前記信号値の変化を検知したことに応じて、少なくとも１つの前記画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する制御部と、を備え、
   前記制御部は、第１の画素ブロックと第２の画素ブロックが配置されているフレームにおいて、前記第１の画素ブロックを構成する画素数と前記第２の画素ブロックを構成する画素数が異なるように、前記読み出し部を制御する、
   ことを特徴とする撮像装置。
4. 前記第１の画素ブロックを構成する画素数は前記第２の画素ブロックを構成する画素数よりも少なく、
   前記制御部は、前記第１の画素ブロックおよび前記第２の画素ブロックのそれぞれの数または配置をフレーム単位で変化させることを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１の画素ブロックおよび前記第２の画素ブロックは隣接していることを特徴とする請求項４に記載の撮像装置。
6. 前記第２の画素ブロックは前記第１の画素ブロックよりも前記画素部の周辺側に配置されることを特徴とする請求項４または５に記載の撮像装置。
7. 前記第２の画素ブロックは前記第１の画素ブロックよりも前記画素部の中心側に配置されることを特徴とする請求項４または５に記載の撮像装置。
8. 前記第１の画素ブロックは複数の前記第２の画素ブロックの間に配置されることを特徴とする請求項４または５に記載の撮像装置。
9. 前記信号値の変化が所定期間、検出されない場合、前記制御部は、前記画素ブロックに含まれる前記画素数を減少させることを特徴とする請求項２乃至８のいずれか１項に記載の撮像装置。
10. 前記信号値の変化が所定期間、検出されない場合、前記制御部は、前記第１の画素ブロックおよび前記第２の画素ブロックのそれぞれの数または配置をフレーム単位で変化させることを特徴とする請求項４乃至８のいずれか１項に記載の撮像装置。
11. 前記信号値の変化が検出された場合、前記読み出し部は画素単位の信号を読み出すことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記読み出し部は、
    第１の分割パターンで分割された複数の前記画素ブロックのそれぞれから前記信号を読み出す第１のモードと、
    前記第１の分割パターンと異なる第２の分割パターンで分割された複数の前記画素ブロックのそれぞれから前記信号を読み出す第２のモードとを順に実行可能であって、
    前記第１のモードおよび前記第２のモードにおいて、前記信号値の変化が検出された場合、画素単位の信号を読み出す第３のモードを実行することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
13. 前記第１のモードにおいて前記信号値の変化が検出された場合、前記第３のモードに移行した後、前記第１のモードに移行し、
    前記第２のモードにおいて前記信号値の変化が検出された場合、前記第３のモードに移行した後、前記第２のモードに移行することを特徴とする請求項１２に記載の撮像装置。
14. 前記第３のモードに移行した後、前記第１のモードおよび前記第２のモードのうち、前記信号値の変化が検出される頻度が最も高いモードに移行することを特徴とする請求項１２に記載の撮像装置。
15. 前記第１のモードにおいて、前記信号値の変化が所定期間、検出されなかった場合に、前記第２のモードに移行し、
    前記第２のモードにおいて、前記信号値の変化が所定期間、検出されなかった場合に、前記第３のモードに移行し、
    前記第１のモードおよび前記第２のモードのうち、前記信号値の変化が検出される頻度が最も高いモードの前記所定期間を他のモードの前記所定期間よりも長くすることを特徴とすることを特徴とする請求項１２に記載の撮像装置。
16. 前記画素ブロックの前記信号は、前記画素ブロックに含まれる複数の前記画素の信号の加算値であることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 前記画素ブロックの前記信号は、前記画素ブロックに含まれる複数の前記画素の信号の平均値であることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
18. 前記画素ブロックの前記信号は、前記画素ブロックに含まれる複数の前記画素の信号のうちの最大値であることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
19. 前記画素は、入射光に基づく電荷を蓄積する光電変換部、前記電荷を浮遊拡散領域に転送する転送トランジスタ、前記浮遊拡散領域における前記電荷に基づく信号を列信号線に出力する増幅トランジスタ、前記浮遊拡散領域をリセットするリセットトランジスタを備え、
    前記画素部は、複数行の前記浮遊拡散領域を互いに導通または非導通とする第１のスイッチを備え、
    前記読み出し部は、前記第１のスイッチを導通させることにより、前記画素ブロックの複数行の前記画素の信号をビニングすることを特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。
20. 前記画素部は、複数列の前記列信号線を互いに導通または非導通とする第２のスイッチを備え、
    前記読み出し部は、前記第２のスイッチをオンさせることにより、前記画素ブロックの複数列の前記画素の信号をビニングすることを特徴とする請求項１９に記載の撮像装置。
21. 前記画素部は、複数列の前記浮遊拡散領域を互いに導通または非導通とする第３のスイッチを備え、
    前記読み出し部は、前記第３のスイッチを導通させることにより、前記画素ブロックの複数列の前記画素の信号をビニングすることを特徴とする請求項１９に記載の撮像装置。
22. 前記画素部は、前記第１のスイッチおよび前記第３のスイッチと前記浮遊拡散領域とを導通または非導通とする第４のスイッチを備え、
    前記読み出し部は、画素単位の信号を読み出す場合には、前記第３のスイッチを非導通とすることを特徴とする請求項２１に記載の撮像装置。
23. 前記画素は、互いに異なる色のカラーフィルタが形成された複数の前記光電変換部を備え、
    前記読み出し部は、画素単位の信号を読み出す場合には、各行において同じ色の前記カラーフィルタが設けられた前記光電変換部の信号を読み出すことを特徴とする請求項２１に記載の撮像装置。
24. 複数の前記画素は複数の色のカラーフィルタを備え、
    前記読み出し部は、前記画素ブロックに含まれる複数の前記画素のうち、同じ色の前記カラーフィルタを備える複数の前記画素の信号をビニングすることを特徴とする請求項１乃至２２のいずれか１項に記載の撮像装置。
25. 複数の前記画素は複数の色のカラーフィルタを備え、
    前記読み出し部は、前記画素ブロックに含まれる複数の前記画素のうち、異なる色の前記カラーフィルタを備える複数の前記画素の信号をビニングすることを特徴とする請求項１乃至２２のいずれか１項に記載の撮像装置。
26. 前記画素部が形成された第１の基板と、
    前記第１の基板に積層されるとともに、前記読み出し部が形成された第２の基板とを備えることを特徴とする請求項１乃至２５のいずれか１項に記載の撮像装置。
27. 前記第１の基板および前記第２の基板に積層されるとともに、前記読み出し部によって読み出された前記信号を保持するメモリが形成された第３の基板をさらに備えることを特徴とする請求項２６に記載の撮像装置。
28. 前記制御部は、複数の前記画素からの信号または前記画素ブロックからの信号と前記画素ブロックを構成する画素数または前記画素ブロックの配置との関係を予め学習した学習モデルに基づいて前記画素ブロックを構成する画素数または前記画素ブロックの配置を設定することを特徴とする請求項１乃至２７のいずれか１項に記載の撮像装置。
29. 前記制御部は、複数の前記画素からの信号または前記画素ブロックからの信号を入力し、前記画素ブロックを構成する画素数または前記画素ブロックの配置を出力するニューラルネットワークにおいて、前記ニューラルネットワークのノード間の重み付けを更新することより、前記学習モデルを学習することを特徴とする請求項２８に記載の撮像装置。
30. 複数行および複数列にわたって配された複数の画素を有する画素部と、
    それぞれが複数の前記画素を含む複数の画素ブロックに前記画素部を所定の分割パターンで分割し、各画素ブロックにおいて当該画素ブロックに含まれる複数の前記画素からの信号を合成して１つの信号を生成する読み出し部と、
    １つの画素ブロックから順に出力される複数の信号の間で信号値が変化したことを検知する検知部と、
    前記検知部が前記信号値の変化を検知したことに応じて、少なくとも前記１つの画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する制御部と、を備え、
    前記制御部は、前記検知部が所定の数のフレームに亘って前記信号値の変化を検知しない場合に、少なくとも前記１つの画素ブロックに含まれる複数の前記画素から個別に信号を出力するように、前記読み出し部を制御する、
    ことを特徴とする撮像装置。
31. 請求項１乃至２９のいずれか１項に記載の撮像装置と、
    前記撮像装置から出力された信号を処理する信号処理部と
    を有することを特徴とする撮像システム。
32. 前記画素は複数の光電変換部を備え、
    前記信号処理部は、複数の前記光電変換部にて生成された前記信号をそれぞれ処理し、前記撮像装置から被写体までの距離情報を取得することを特徴とする請求項３１に記載の撮像システム。

Images