JPWO2017013806A1 - 固体撮像装置 - Google Patents

Abstract

入射した光を光電変換した第１の電荷信号を発生するｎ個の第１の光電変換素子と、ｎ個の第１の光電変換素子のそれぞれに対応し、対応する第１の光電変換素子が発生した第１の電荷信号に応じた信号電圧を第１の画素信号として出力するｎ個の第１の読み出し回路と、入射した光を光電変換した第２の電荷信号を発生するｍ個の第２の光電変換素子と、ｍ個の第２の光電変換素子のそれぞれに対応し、対応する第２の光電変換素子が発生した第２の電荷信号の変化に基づいた第２の画素信号を逐次出力するｍ個の第２の読み出し回路と、第１の光電変換素子の内、予め定めた読み出し領域内に配置された第１の光電変換素子に対応する第１の画素信号の読み出しを制御する読み出し制御回路と、を有し、ｍ個の第２の読み出し回路のそれぞれは、対応する第２の光電変換素子が発生した第２の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、変化を表すイベント信号を出力する検出回路と、イベント信号に、対応する第２の光電変換素子が配置された位置を表すアドレス情報を付加した第２の画素信号を出力する画素信号生成回路と、を有し、読み出し制御回路は、第２の画素信号に含まれるアドレス情報に対応する第２の光電変換素子が配置された位置に基づいた領域を、第１の画素信号を読み出す読み出し領域として決定し、決定した読み出し領域内に配置された第１の光電変換素子のそれぞれに対応する第１の読み出し回路のそれぞれに第１の画素信号を出力させ、ｎは２以上の自然数であり、ｍは２以上の自然数である。

Description

本発明は、固体撮像装置に関する。

従来から、被写体の動きを検出する動き検出の技術がある。従来の動き検出では、予め定めたフレームの間隔で撮影したそれぞれの画像の差分をとることによって、動いている被写体を捕らえている。このため、従来の動き検出では、被写体の動きをフレームの間隔でしか検出することができない。つまり、被写体の動きを逐次検出することができない。

そこで、近年では、例えば、非特許文献１に開示されたように、被写体の動きに応じた信号の変化を検出することによって、被写体の動きを逐次検出する動き検出と、通常の撮影とを両立する固体撮像装置の技術が提案されている。非特許文献１に提案された固体撮像装置では、それぞれの画素に、入射した光を光電変換する１個の光電変換素子（フォトダイオード）を備え、通常の撮影による電荷信号を読み出すＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ）読み出しと、動き検出のための電荷信号を読み出すＡＥＲ（Ａｄｄｒｅｓｓ Ｅｖｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）読み出しとを非同期に行うことができる。

非特許文献１に提案された固体撮像装置では、動き検出の際に、フォトダイオードが光電変換している電荷信号の時間的な変化を検出し、電荷信号の大きさが予め定めた閾値を超えた画素からのみ、電荷信号が変化した方向、つまり、電荷信号の大きさの増減を表すパルス信号をＡＥＲ読み出しで出力している。このとき、ＡＥＲ読み出しによって出力されるパルス信号には、パルス信号を出力する画素、つまり、被写体の動きを検出した画素の位置を表すアドレス情報も付加されている。

これにより、非特許文献１に提案された固体撮像装置では、被写体の動きを検出した画素の位置を、通常の撮影において電荷信号を読み出すフレームのタイミングとは関係しない非同期のタイミングで抽出することができる。このことにより、非特許文献１に提案された固体撮像装置では、通常の撮影におけるフレームレートよりも高速に、動いている被写体を捕らえることができる。

"Ａ ２４０×１８０ １０ｍＷ １２ｕｓ ｌａｔｅｎｃｙ ｓｐａｒｓｅ−ｏｕｔｐｕｔ ｖｉｓｉｏｎ ｓｅｎｓｏｒ ｆｏｒ ｍｏｂｉｌｅ ａｐｐｌｉｃａｔｉｏｎｓ"， ＶＬＳＩ Ｃｉｒｃｕｉｔｓ （ＶＬＳＩＣ）， ２０１３ Ｓｙｍｐｏｓｉｕｍ ｏｎ， Ｐｕｂｌｉｃａｔｉｏｎ Ｙｅａｒ： ２０１３， Ｐａｇｅ（ｓ）： Ｃ１８６ − Ｃ１８７

しかしながら、非特許文献１に提案された固体撮像装置では、電荷信号が変化した方向を検出する論理回路や、パルス信号にアドレス情報を付加するための論理回路を、それぞれの画素に備える必要がある。そして、これらの論理回路は、１個の画素の中で占有する面積が大きいため、非特許文献１に提案された固体撮像装置では、これらの論理回路の追加に伴って、フォトダイオードの面積が小さくなり、フォトダイオードが入射した光を光電変換する電荷信号のレベルが低下してしまう。このため、非特許文献１に提案された固体撮像装置では、通常の撮影において生成する画像の画質が低下してしまう。そこで、フォトダイオードの面積を大きくすることも考えられる。しかし、この場合には、それぞれの画素の面積が大きくなるため、固体撮像装置が大型化して、製造上の問題やコスト面の問題が発生し、画素の数を増やす、つまり、通常の撮影において生成する画像の解像度を高くすることが容易ではなくなる。このように、非特許文献１に提案された固体撮像装置は、高画質化や高解像度化を図ることに対して、様々な阻害要因がある。

また、非特許文献１に提案された固体撮像装置では、ＡＥＲ読み出しによって、動きがあった被写体の位置を画素のレベルで得ることはできるが、被写体の動きを反映した画像を生成するためには、ＡＰＳ読み出しによって通常の撮影で得る電荷信号を全て読み出して画像を生成する必要がある。また、被写体の動きを検出した後に通常の撮影で得る電荷信号を全て読み出して画像を生成するということは、被写体の動きを検出したときと、被写体の動きを反映した画像の生成に時間的なずれが生じてしまうことになる。この時間的なずれを解消するために、ＡＰＳ読み出しによる電荷信号の読み出しを高速化する、つまり、通常の撮影におけるフレームレートを高くすることも考えられる。しかし、フレームレートを高くするということは、固体撮像装置の消費電力が増加してしまうということである。また、非特許文献１に提案された固体撮像装置の高解像度化のために画素の数を増やすと、さらに消費電力が増加してしまう。このように、非特許文献１に提案された固体撮像装置では、被写体の動きを反映した画像を生成する際に多くの電力を消費してしまうという問題もある。

本発明は、上記の課題に基づいてなされたものであり、被写体の動きを逐次検出する動き検出と通常の撮影とを両立する固体撮像装置において、消費電力の増大を抑えつつ、検出した被写体の動きを反映した高画質の画像を生成することができる固体撮像装置を提供することを目的としている。

本発明の第１の態様によれば、固体撮像装置は、入射した光を光電変換した第１の電荷信号を発生するｎ個の第１の光電変換素子と、前記ｎ個の第１の光電変換素子のそれぞれに対応し、対応する前記第１の光電変換素子が発生した前記第１の電荷信号に応じた信号電圧を第１の画素信号として出力するｎ個の第１の読み出し回路と、入射した光を光電変換した第２の電荷信号を発生するｍ個の第２の光電変換素子と、前記ｍ個の第２の光電変換素子のそれぞれに対応し、対応する前記第２の光電変換素子が発生した前記第２の電荷信号の変化に基づいた第２の画素信号を逐次出力するｍ個の第２の読み出し回路と、前記第１の光電変換素子の内、予め定めた読み出し領域内に配置された前記第１の光電変換素子に対応する前記第１の画素信号の読み出しを制御する読み出し制御回路と、を有し、前記ｍ個の第２の読み出し回路のそれぞれは、対応する前記第２の光電変換素子が発生した前記第２の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、変化を表すイベント信号を出力する検出回路と、前記イベント信号に、対応する前記第２の光電変換素子が配置された位置を表すアドレス情報を付加した前記第２の画素信号を出力する画素信号生成回路と、を有し、前記読み出し制御回路は、前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子が配置された位置に基づいた領域を、前記第１の画素信号を読み出す前記読み出し領域として決定し、決定した前記読み出し領域内に配置された前記第１の光電変換素子のそれぞれに対応する前記第１の読み出し回路のそれぞれに前記第１の画素信号を出力させ、前記ｎは２以上の自然数であり、前記ｍは２以上の自然数である。

本発明の第２の態様によれば、上記第１の態様の固体撮像装置において、前記読み出し制御回路は、同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子が分布している位置に基づいて生成した矩形の領域を、前記読み出し領域として決定してもよい。

本発明の第３の態様によれば、上記第１の態様の固体撮像装置において、前記読み出し制御回路は、同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子が分布している領域を包含する矩形の領域を、前記読み出し領域として決定してもよい。

本発明の第４の態様によれば、上記第１の態様から上記第３の態様のいずれか一態様の固体撮像装置において、前記読み出し制御回路は、同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の分布の大きさが、予め定めた分布の大きさの閾値よりも大きい場合に、前記第２の光電変換素子の分布の大きさに応じた矩形の領域を前記読み出し領域として決定し、同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の分布の大きさが、前記分布の大きさの閾値以下である場合に、前記読み出し領域を決定しなくてもよい。

本発明の第５の態様によれば、上記第１の態様から上記第３の態様のいずれか一態様の固体撮像装置において、前記読み出し制御回路は、同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の数が、予め定めた数の閾値よりも多い場合に、それぞれの前記アドレス情報に対応する前記第２の光電変換素子に対応する前記読み出し領域を決定し、同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の数が、前記数の閾値以下である場合に、前記読み出し領域を決定しなくてもよい。

本発明の第６の態様によれば、上記第４の態様または上記第５の態様の固体撮像装置において、前記読み出し制御回路は、前記ｎ個の第１の光電変換素子が配置された全体の領域を、予め定めた大きさで区切った複数のブロックに分割し、分割したそれぞれの前記ブロックごとに、前記読み出し領域を決定してもよい。

本発明の第７の態様によれば、上記第１の態様から上記第６の態様のいずれか一態様の固体撮像装置において、前記ｎ個の第１の光電変換素子のそれぞれおよび前記ｍ個の第２の光電変換素子のそれぞれは、第１の半導体基板の同一の平面の領域に周期的に配置されてもよい。

本発明の第８の態様によれば、上記第７の態様の固体撮像装置において、前記画素信号生成回路は、前記第１の半導体基板に光が入射する側の面と反対側の面に積層される第２の半導体基板に配置されてもよい。

本発明の第９の態様によれば、上記第８の態様の固体撮像装置において、前記第１の半導体基板と前記第２の半導体基板との間に形成され、前記第１の半導体基板の回路要素と前記第２の半導体基板の回路要素とを電気的に接続する接続部、をさらに有し、前記接続部は、前記ｍ個の第２の読み出し回路のそれぞれが有する前記検出回路と、対応する前記第２の光電変換素子とを電気的に接続してもよい。

本発明の第１０の態様によれば、上記第９の態様の固体撮像装置において、ｓ個の前記第１の光電変換素子が発生した前記ｓ個の前記第１の電荷信号を１つの単位とした電荷信号を前記第２の光電変換素子が発生する前記第２の電荷信号として兼用し、前記ｓは１以上の自然数であり、前記第２の電荷信号として兼用する前記第１の電荷信号を出力する前記第１の光電変換素子の総数は、１以上で前記ｎ以下の自然数であってもよい。

本発明の第１１の態様によれば、上記第１０の態様の固体撮像装置において、前記ｍは前記ｎよりも小さく、前記ｓは２以上の自然数であり、前記ｍ個の第２の読み出し回路のそれぞれは、対応する前記ｓ個の前記第１の光電変換素子が発生した前記ｓ個の前記第１の電荷信号を１つの単位として加算する加算回路、をさらに有し、前記検出回路は、前記加算回路によって加算された後の前記第１の電荷信号の変化を検出してもよい。

本発明の第１２の態様によれば、上記第１の態様から上記第６の態様のいずれか一態様の固体撮像装置において、前記ｎ個の第１の光電変換素子のそれぞれは、光が入射する第１の半導体基板に周期的に配置され、前記ｍ個の第２の光電変換素子のそれぞれは、前記第１の半導体基板に光が入射する側の面と反対側の面に積層される第２の半導体基板に周期的に配置され、前記第１の半導体基板を透過した光を光電変換した前記第２の電荷信号を発生してもよい。

本発明の第１３の態様によれば、上記第９の態様または上記第１２の態様の固体撮像装置において、前記第２の読み出し回路のそれぞれは、ｔ個の前記第２の光電変換素子を１つの単位とし、前記ｔ個の前記第２の光電変換素子が発生したそれぞれの前記第２の電荷信号を加算する加算回路、をさらに有し、前記検出回路は、前記加算回路によって加算された後の前記第２の電荷信号の変化を検出し、前記ｔは２以上の自然数であってもよい。

上記各態様によれば、被写体の動きを逐次検出する動き検出と通常の撮影とを両立する固体撮像装置において、消費電力の増大を抑えつつ、検出した被写体の動きを反映した高画質の画像を生成することができる固体撮像装置を提供することができる。

本発明の第１の実施形態における固体撮像装置の概略構成を示した概観図である。 本発明の第１の実施形態における固体撮像装置の概略構成を示したブロック図である。 本発明の第１の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第１の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第１の実施形態の固体撮像装置における画素の配置と画素信号を出力させる画素を指定する領域との一例を模式的に示した図である。 本発明の第１の実施形態の固体撮像装置において画素信号を出力する構成を示した図である。 本発明の第１の実施形態の固体撮像装置において画素信号を出力させる画素を指定する領域の一例を模式的に示した図である。 本発明の第１の実施形態の固体撮像装置において画素信号を出力させる画素を指定する領域の別の一例を模式的に示した図である。 本発明の第１の実施形態の固体撮像装置において画素信号を出力させる画素を指定する領域のさらに別の一例を模式的に示した図である。 本発明の第１の実施形態の固体撮像装置において画素信号を出力させる画素を指定する領域を決定する処理の処理手順を示したフローチャートである。 本発明の第１の実施形態の固体撮像装置において画素信号を出力させる画素を指定する領域を決定する別の処理の処理手順を示したフローチャートである。 本発明の第１の実施形態の固体撮像装置における画素の別の構成の一例を示した回路図である。 本発明の第１の実施形態の固体撮像装置において画素を駆動するタイミングの一例を示したタイミングチャートである。 本発明の第２の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第２の実施形態の固体撮像装置において画素信号を出力する構成を示した図である。 本発明の第２の実施形態の固体撮像装置における画素信号の読み出しシーケンスを示したタイミングチャートである。 本発明の第３の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第３の実施形態の固体撮像装置において画素信号を出力する構成を示した図である。 本発明の第３の実施形態の固体撮像装置における画素の配置の一例を模式的に示した図である。 本発明の第３の実施形態の固体撮像装置において画素信号を出力する別の構成を示した図である。 本発明の第４の実施形態の固体撮像装置において画素信号を出力する構成を示した図である。

（第１の実施形態）
以下、本発明の実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態における固体撮像装置の概略構成を示した概観図である。第１の実施形態の固体撮像装置１は、複数の半導体基板を積層（接合）して構成する。図１において、固体撮像装置１は、第１の半導体基板１１と、第２の半導体基板１２とを、チップ接続部１３によって接合している。

固体撮像装置１は、固体撮像装置１の機能を実現するための回路を、第１の半導体基板１１または第２の半導体基板１２のいずれか一方の半導体基板上に形成する。固体撮像装置１の機能を実現するための回路は、入射してきた光（光線）を光電変換するフォトダイオードなどの光電変換素子、および光電変換素子が発生した電荷信号を読み出す読み出し回路を含む画素が二次元の行列状に複数配置された画素アレイ部、画素アレイ部内の画素を駆動するための駆動回路などがある。

なお、固体撮像装置１の機能を実現するためのそれぞれの回路は、第１の半導体基板１１または第２の半導体基板１２のいずれか一方の半導体基板上に形成する構成のみではなく、第１の半導体基板１１および第２の半導体基板１２の両方の半導体基板上に形成する構成であってもよい。

それぞれの半導体基板上に形成された固体撮像装置１の機能を実現するためのそれぞれの回路は、チップ接続部１３によって電気的に接続する。そして、第１の半導体基板１１に形成した回路と第２の半導体基板１２に形成した回路とは、チップ接続部１３を介して信号の送受信を行う。

チップ接続部１３は、例えば、蒸着法、めっき法で作製されるマイクロバンプなどを用いる。なお、それぞれの半導体基板上に形成された固体撮像装置１の機能を実現するためのそれぞれの回路を接続する方法は、マイクロバンプを用いた方法に限定されるものではなく、例えば、シリコン貫通電極（ＴＳＶ：Ｔｈｒｏｕｇｈ−Ｓｉｌｉｃｏｎ−Ｖｉａ）を用いた方法であってもよい。

次に、第１の実施形態の固体撮像装置１の構成の一例について説明する。図２は、本発明の第１の実施形態における固体撮像装置１の概略構成を示したブロック図である。図２において、固体撮像装置１は、制御回路１０と、垂直走査回路２０と、水平走査回路３０と、複数の画素５０が配置された画素アレイ部４０とを備えている。また、制御回路１０は、読み出しアドレス制御回路１００を備えている。なお、図１に示した固体撮像装置１では、複数の画素５０が、７行８列に２次元的に配置された画素アレイ部４０の例を示している。

画素アレイ部４０内に配置されたそれぞれの画素５０は、入射してきた光（光線）を光電変換した電荷信号を発生させる。画素アレイ部４０内に配置された画素５０には、通常の撮影による電荷信号を発生させる構成の画素５０と、動き検出のための電荷信号を発生させる構成の画素５０とがある。

通常の撮影による電荷信号を発生させる構成の画素５０は、垂直走査回路２０から入力された制御信号に応じたＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ）読み出し（以下、「通常読み出し」という）によって、発生させた電荷信号に応じた画素信号を行ごとに、垂直信号線６０に出力する。そして、垂直信号線６０に出力されたそれぞれの行の画素信号は、水平走査回路３０による制御に応じて、固体撮像装置１の外部に出力される。すなわち、通常の撮影による電荷信号を発生させる構成の画素５０の画素信号は、通常の撮影におけるフレームごとに、固体撮像装置１の外部に出力される。なお、以下の説明においては、通常の撮影による電荷信号を発生させる構成の画素５０、つまり、通常の撮影の画素信号を出力する画素５０を「通常画素５１」という。

また、通常画素５１は、フレームごとに画素信号を順次、固体撮像装置１の外部に出力する以外にも、指定された通常画素５１から画素信号を固体撮像装置１の外部に出力することができる。なお、画素信号を出力する通常画素５１の指定は、制御回路１０が、垂直走査回路２０および水平走査回路３０を制御することによって行う。また、このとき、画素信号を出力する通常画素５１を指定する方法は、それぞれの通常画素５１を直接指定する方法であっても、通常画素５１が配置された領域を指定する方法であってもよい。

動き検出のための電荷信号を発生させる構成の画素５０は、ＡＥＲ（Ａｄｄｒｅｓｓ Ｅｖｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）読み出し（以下、「動き検出読み出し」という）によって、電荷信号の時間的な変化および変化した方向を表すパルス信号を、垂直走査回路２０による通常画素５１の駆動とは同期せずに、つまり、非同期で出力する。このとき、動き検出のための電荷信号を発生させる構成の画素５０は、画素５０自身の位置を表すアドレス情報をパルス信号に付加し、画素信号として出力する。なお、以下の説明においては、動き検出のための電荷信号を発生させる構成の画素５０、つまり、動き検出の画素信号を出力する画素５０を「動き検出画素５２」という。固体撮像装置１では、動き検出画素５２は、動き検出の画素信号を、制御回路１０に出力する。

通常画素５１および動き検出画素５２のそれぞれを構成する回路要素は、第１の半導体基板１１または第２の半導体基板１２のいずれか一方または両方の半導体基板に形成し、チップ接続部１３によって画素アレイ部４０内で接続する。

制御回路１０は、垂直走査回路２０、水平走査回路３０を制御する。制御回路１０は、通常読み出しによってそれぞれの通常画素５１から１つのフレームの画素信号を出力する（読み出す）際には、垂直走査回路２０および水平走査回路３０が、それぞれの通常画素５１を順次駆動するように制御する。また、制御回路１０は、通常画素５１を指定して画素信号を出力する（読み出す）際には、垂直走査回路２０および水平走査回路３０が、画素アレイ部４０内の指定した位置に配置された通常画素５１を駆動するように制御する。なお、制御回路１０では、通常画素５１を指定して画素信号を出力する（読み出す）際の通常画素５１の指定を、読み出しアドレス制御回路１００が制御する。

読み出しアドレス制御回路１００は、画素アレイ部４０内に配置されたそれぞれの動き検出画素５２から出力された動き検出の画素信号に含まれるアドレス情報に基づいて、通常の撮影の画素信号を出力する（読み出す）通常画素５１を指定する。このとき、読み出しアドレス制御回路１００は、アドレス情報が表している動き検出画素５２が配置された位置を中心とした予め定めた領域（以下、「読み出し領域」という）に配置されている通常画素５１を指定する。なお、読み出しアドレス制御回路１００によって通常の撮影の画素信号を出力する際に通常画素５１を指定する方法に関する詳細な説明は、後述する。

垂直走査回路２０は、制御回路１０からの制御に応じて、画素アレイ部４０内のそれぞれの通常画素５１を制御し、それぞれの通常画素５１の画素信号を垂直信号線６０に出力させる駆動回路である。垂直走査回路２０は、制御回路１０によって１つのフレームの画素信号を出力する（読み出す）ためにそれぞれの通常画素５１を順次駆動するように制御されると、通常画素５１を駆動するための制御信号を、画素アレイ部４０に備えた通常画素５１の行ごとに出力する。また、垂直走査回路２０は、制御回路１０、つまり、読み出しアドレス制御回路１００によって駆動する通常画素５１が指定されると、指定された通常画素５１が配置されている画素アレイ部４０の行に、通常画素５１を駆動するための制御信号を出力する。

水平走査回路３０は、画素アレイ部４０に備えたそれぞれの通常画素５１から出力されたそれぞれの行の画素信号を、固体撮像装置１の外部に出力させる駆動回路である。水平走査回路３０は、制御回路１０によって１つのフレームの画素信号を出力する（読み出す）ためにそれぞれの通常画素５１を順次駆動するように制御されると、それぞれの通常画素５１から行ごとに出力された画素信号を、画素アレイ部４０に備えた通常画素５１の列ごとに順次出力する。また、水平走査回路３０は、制御回路１０、つまり、読み出しアドレス制御回路１００によって駆動する通常画素５１が指定されると、指定された通常画素５１が配置されている画素アレイ部４０の列の画素信号を出力する。

次に、第１の実施形態の固体撮像装置１において画素アレイ部４０内に配置する通常画素５１および動き検出画素５２の構成について説明する。図３Ａおよび図３Ｂは、本発明の第１の実施形態の固体撮像装置１における画素５０（通常画素５１および動き検出画素５２）の構成の一例を示した回路図である。図３Ａには、固体撮像装置１の画素アレイ部４０内に配置する通常画素５１の構成の一例を示し、図３Ｂには、固体撮像装置１の画素アレイ部４０内に配置する動き検出画素５２の構成の一例を示している。

まず、図３Ａを用いて、通常画素５１の構成を説明する。図３Ａにおいて、通常画素５１は、光電変換素子ＰＤ１と、電荷転送トランジスタ５１１、画素リセットトランジスタ５１２、増幅トランジスタ５１３、および選択トランジスタ５１４とを備えている。なお、図３Ａにおいては、通常画素５１に備えた増幅トランジスタ５１３のゲート端子に接続されたノードに付随する容量であるノード容量ＦＤ１を、通常画素５１の回路要素としてキャパシタの記号で示している。

通常画素５１においては、電荷転送トランジスタ５１１、画素リセットトランジスタ５１２、増幅トランジスタ５１３、および選択トランジスタ５１４と、ノード容量ＦＤ１とで、光電変換素子ＰＤ１が発生させた電荷信号に応じた画素信号を読み出す読み出し回路を構成している。固体撮像装置１では、光電変換素子ＰＤ１と読み出し回路とを、第１の半導体基板１１に形成する。

光電変換素子ＰＤ１は、入射してきた光（光線）を光電変換して電荷信号を発生させ、発生させた電荷信号を蓄積するフォトダイオードである。

電荷転送トランジスタ５１１は、垂直走査回路２０から入力された制御信号ＴＸに応じて、光電変換素子ＰＤ１が発生して蓄積した電荷信号を、増幅トランジスタ５１３のゲート端子に転送する。これにより、電荷転送トランジスタ５１１によって転送された電荷信号が、ノード容量ＦＤ１に蓄積される。

増幅トランジスタ５１３は、ゲート端子に転送された電荷信号、すなわち、ノード容量ＦＤ１に蓄積された電荷信号に応じた信号電圧を、選択トランジスタ５１４に出力する。

画素リセットトランジスタ５１２は、垂直走査回路２０から入力された制御信号ＲＳＴに応じて、通常画素５１内の電荷信号を、電源電圧ＶＤＤにリセットする。

選択トランジスタ５１４は、垂直走査回路２０から入力された制御信号ＳＥＬに応じて、増幅トランジスタ５１３から出力される信号電圧を、通常画素５１の画素信号として垂直信号線６０に出力する。これにより、通常画素５１に備えた光電変換素子ＰＤ１が発生した電荷信号に応じた画素信号が、垂直信号線６０に読み出される。

このような構成によって、通常画素５１では、光電変換素子ＰＤ１が入射した光を光電変換した電荷信号に応じたそれぞれの信号電圧を、画素信号として垂直信号線６０に読み出す。

続いて、図３Ｂを用いて、動き検出画素５２の構成を説明する。図３Ｂにおいて、動き検出画素５２は、光電変換素子ＰＤ２と、アンプ５２１と、バイアストランジスタ５２２と、スイッチトキャパシタアンプ回路５２３と、スレッショルドアンプ５２４およびスレッショルドアンプ５２５と、ＡＥＲ回路５２６とを備えている。また、スイッチトキャパシタアンプ回路５２３は、キャパシタ５２３１と、アンプ５２３２と、キャパシタ５２３３と、スイッチ５２３４とを備えている。

動き検出画素５２においては、アンプ５２１およびバイアストランジスタ５２２で、光電変換素子ＰＤ２が発生させた電荷信号を出力する出力回路を構成している。また、動き検出画素５２においては、スイッチトキャパシタアンプ回路５２３、スレッショルドアンプ５２４、スレッショルドアンプ５２５、およびＡＥＲ回路５２６で、光電変換素子ＰＤ２が発生させた電荷信号を読み出す読み出し回路を構成している。固体撮像装置１では、光電変換素子ＰＤ２および出力回路を第１の半導体基板１１に形成し、読み出し回路を第２の半導体基板１２に形成する。

光電変換素子ＰＤ２は、通常画素５１に備えた光電変換素子ＰＤ１と同様に、入射してきた光（光線）を光電変換して電荷信号を発生させ、発生させた電荷信号を蓄積するフォトダイオードである。光電変換素子ＰＤ２は、発生させた電荷信号を逐次、アンプ５２１に出力する。

アンプ５２１は、光電変換素子ＰＤ２が発生して出力した電荷信号を、増幅する。アンプ５２１は、増幅した電荷信号を、チップ接続部１３を介してスイッチトキャパシタアンプ回路５２３に出力する。これにより、光電変換素子ＰＤ２が発生する電荷信号の変化が、スイッチトキャパシタアンプ回路５２３に入力される。また、アンプ５２１は、増幅した電荷信号を、バイアストランジスタ５２２のゲート端子に転送する。

バイアストランジスタ５２２は、ゲート端子に転送された電荷信号に応じて光電変換素子ＰＤ２に流れる電流が一定の電流になるように制御する。これにより、光電変換素子ＰＤ２が発生する電荷信号が変化した場合、電荷信号の大きさが逐次、変化した後の大きさで安定する。つまり、光電変換素子ＰＤ２の出力がクリップされる。

スイッチトキャパシタアンプ回路５２３は、アンプ５２１からチップ接続部１３を介して入力された電荷信号の変化、つまり、光電変換素子ＰＤ２が発生する電荷信号の増減を、予め定めた電圧の範囲の電圧信号に変換し、スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれに出力する。また、スイッチトキャパシタアンプ回路５２３の動作は、ＡＥＲ回路５２６によってリセットされる。

より具体的には、アンプ５２１からチップ接続部１３を介して入力された電荷信号は、キャパシタ５２３１の第１の端子に入力されて蓄積される。これにより、キャパシタ５２３１の第２の端子から、蓄積した電荷信号に応じた電圧の電圧信号が出力されてアンプ５２３２に出力される。

アンプ５２３２は、入力された電圧信号の電圧を増幅し、増幅した電圧信号を、スイッチトキャパシタアンプ回路５２３の出力としてスレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれにて出力する。また、アンプ５２３２が出力した電圧信号は、キャパシタ５２３３の第１の端子に入力されて蓄積される。これにより、キャパシタ５２３３の第２の端子から、蓄積した電圧信号に応じた電圧の信号が、フィードバック信号としてアンプ５２３２に出力される。そして、アンプ５２３２は、フィードバック信号の電圧に応じた一定の電圧の電圧信号を出力し続ける。つまり、アンプ５２３２は、アンプ５２１からチップ接続部１３を介してスイッチトキャパシタアンプ回路５２３に入力された電荷信号に応じた電圧の電圧信号を、スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれに出力し続ける。ここで、アンプ５２３２がスレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれに出力する電圧信号は、光電変換素子ＰＤ２が発生する電荷信号が増減した大きさを表す電圧の信号である。

また、アンプ５２３２の出力端子（キャパシタ５２３３の第１の端子でもある）は、スイッチ５２３４の第１の端子に接続し、アンプ５２３２の入力端子（キャパシタ５２３３の第２の端子でもある）は、スイッチ５２３４の第２の端子に接続している。そして、スイッチ５２３４は、ＡＥＲ回路５２６から出力され、制御端子に入力されるリセット信号によって短絡と開放とが制御される。スイッチ５２３４は、ＡＥＲ回路５２６から出力されたリセット信号によって短絡するように制御されると、第１の端子と第２の端子とを短絡する。これにより、キャパシタ５２３３の両方の端子が短絡されて、キャパシタ５２３３の両方の端子の電圧が同じ電圧なってリセットされると共に、アンプ５２３２による電圧信号の増幅動作もリセットされる。

なお、図３Ｂには、キャパシタ５２３１、アンプ５２３２、キャパシタ５２３３、およびスイッチ５２３４によって構成したスイッチトキャパシタアンプ回路５２３を示したが、スイッチトキャパシタアンプ回路５２３の構成は、図３Ｂに示した構成に限定されるものではない。

スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれは、スイッチトキャパシタアンプ回路５２３内のアンプ５２３２から入力された電圧信号の電圧の変化と、変化した方向とを検出する。

より具体的には、スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれは、スイッチトキャパシタアンプ回路５２３内のアンプ５２３２から入力された電圧信号の電圧と、予め定めた閾値電圧（スレッショルド電圧）とを比較する。そして、スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれは、入力された電圧信号の電圧がスレッショルド電圧を超えた場合に、スレッショルド電圧を超えた変化があることを表すイベント信号を、ＡＥＲ回路５２６に出力する。

なお、スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれには、予め定めた正方向の電圧または負方向の電圧のいずれか一方の電圧が、スレッショルド電圧として設定されている。図３Ｂに示した構成では、スレッショルドアンプ５２４に、予め定めた電圧値の正方向の電圧がスレッショルド電圧として設定され、スレッショルドアンプ５２５に、予め定めた電圧値の負方向の電圧がスレッショルド電圧として設定されている。このため、スレッショルドアンプ５２４は、アンプ５２３２から入力された電圧信号の電圧が、正方向のスレッショルド電圧よりも多く正方向（増加する方向）に変化したか否かを検出する。また、スレッショルドアンプ５２５は、アンプ５２３２から入力された電圧信号の電圧が、負方向のスレッショルド電圧よりも多く負方向（減少する方向）に変化したか否かを検出する。

このように、スレッショルドアンプ５２４とスレッショルドアンプ５２５との構成によって、スイッチトキャパシタアンプ回路５２３によって予め定めた電圧の範囲に変換された電圧信号のスレッショルド電圧を超える変化および変化した方向とを検出する。これは、光電変換素子ＰＤ２が発生した電荷信号の予め定めた閾値を超えた変化および変化した方向を検出することに相当する。そして、スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれがＡＥＲ回路５２６に出力するイベント信号が、光電変換素子ＰＤ２が発生した電荷信号の変化と変化した方向（正方向または負方向）とを表している。つまり、スレッショルドアンプ５２４がイベント信号を出力した場合には、光電変換素子ＰＤ２が発生した電荷信号に、正方向の予め定めた閾値を超える変化があったことを表し、スレッショルドアンプ５２５がイベント信号を出力した場合には、光電変換素子ＰＤ２が発生した電荷信号に、負方向の予め定めた閾値を超える変化があったことを表している。

なお、図３Ｂに示した構成では、スイッチトキャパシタアンプ回路５２３と、スレッショルドアンプ５２４およびスレッショルドアンプ５２５との構成によって、光電変換素子ＰＤ２が発生した電荷信号の時間的な変化を検出している。しかし、光電変換素子ＰＤ２が発生した電荷信号の時間的な変化を検出する構成は、図３Ｂに示した構成に限定されるものではない。例えば、スレッショルドアンプ５２４とスレッショルドアンプ５２５とによって、光電変換素子ＰＤ２が発生した電荷信号の時間的な変化を検出する構成にしてもよい。

ＡＥＲ回路５２６は、スレッショルドアンプ５２４とスレッショルドアンプ５２５とのそれぞれから入力されたイベント信号に基づいて、光電変換素子ＰＤ２が発生させた電荷信号が正方向または負方向のいずれの方向に変化したか、つまり、電荷信号の大きさの増減を判定する。そして、ＡＥＲ回路５２６は、判定した結果を表すパルス信号を生成する。例えば、光電変換素子ＰＤ２が発生させた電荷信号が正方向（増加する方向）に変化した場合に正方向のパルス信号を生成し、光電変換素子ＰＤ２が発生させた電荷信号が負方向（減少する方向）に変化した場合に負方向のパルス信号を生成する。そして、ＡＥＲ回路５２６は、生成したパルス信号に、動き検出画素５２自身の位置を表すアドレス情報を付加し、画素信号として出力する。なお、以下の説明においては、通常画素５１が出力する画素信号と区別するため、ＡＥＲ回路５２６、すなわち、動き検出画素５２が出力する画素信号を、「イベント画素信号」という。

このような構成によって、動き検出画素５２では、光電変換素子ＰＤ２が入射した光を光電変換した電荷信号の変化とその変化した方向とを検出し、検出した情報と、動き検出画素５２の位置を表すアドレス情報とを、動き検出画素５２ごとに出力する。

そして、固体撮像装置１では、読み出しアドレス制御回路１００が、動き検出画素５２から出力されたイベント画素信号に含まれるアドレス情報に基づいて、アドレス情報に表された動き検出画素５２、つまり、被写体の動きを検出した動き検出画素５２が配置された位置を中心とした予め定めた読み出し領域に配置されている通常画素５１から画素信号を出力する（読み出す）。

なお、動き検出画素５２は、上述したように、それぞれの動き検出画素５２ごとにイベント画素信号を読み出しアドレス制御回路１００に出力するが、それぞれの動き検出画素５２がイベント画素信号を読み出しアドレス制御回路１００に出力する構成は限定しない。例えば、それぞれの動き検出画素５２が、水平走査回路３０を介してイベント画素信号を出力する構成であってもよい。

また、動き検出画素５２では、ＡＥＲ回路５２６が、生成したパルス信号にアドレス情報を付加することによって、イベント画素信号として出力する構成を示したが、パルス信号にアドレス情報を付加する構成は、ＡＥＲ回路５２６に限定されるものではない。例えば、固体撮像装置１に備えた不図示の構成要素が、それぞれの動き検出画素５２に備えたＡＥＲ回路５２６が出力したパルス信号に、パルス信号を出力した動き検出画素５２の位置を表すアドレス情報を付加し、イベント画素信号として出力する構成であってもよい。

また、動き検出画素５２では、スイッチトキャパシタアンプ回路５２３によって、光電変換素子ＰＤ２が発生した電荷信号を増幅してから予め定めた電圧の範囲の電圧信号に変換する構成を示した。しかし、動き検出画素５２において、光電変換素子ＰＤ２が発生した電荷信号を予め定めた電圧の範囲の電圧信号に変換する構成は、スイッチトキャパシタアンプ回路５２３による構成に限定しない。例えば、動き検出画素５２を、スイッチトキャパシタアンプ回路５２３に備えたアンプ５２３２を備えない構成、いわゆる、スイッチトキャパシタ回路によって、光電変換素子ＰＤ２が発生した電荷信号を予め定めた電圧の範囲の電圧信号に変換する構成にしてもよい。この場合、動き検出画素５２は、スイッチトキャパシタ回路と、スレッショルドアンプ５２４およびスレッショルドアンプ５２５との構成によって、光電変換素子ＰＤ２が発生した電荷信号の時間的な変化を検出してもよい。

次に、第１の実施形態の固体撮像装置１における画素アレイ部４０内の通常画素５１および動き検出画素５２の配置の一例と、画素信号を出力させる通常画素５１の指定方法について説明する。図４は、本発明の第１の実施形態の固体撮像装置１における画素５０（通常画素５１および動き検出画素５２）の配置と画素信号を出力させる画素５０（通常画素５１）を指定する領域（読み出し領域）との一例を模式的に示した図である。図４には、固体撮像装置１を構成する第１の半導体基板１１の画素アレイ部４０の領域内に画素５０（通常画素５１および動き検出画素５２）を配置した一例を示している。

固体撮像装置１においては、画素５０、つまり、通常画素５１と動き検出画素５２とを平面状に配置する。このとき、固体撮像装置１では、上述したように、通常画素５１を第１の半導体基板１１に形成し、動き検出画素５２を第１の半導体基板１１と第２の半導体基板１２とに分けて形成する。

より具体的には、図４に示したように、第１の半導体基板１１の画素アレイ部４０の平面の領域には、通常画素５１（光電変換素子ＰＤ１および読み出し回路）と動き検出画素５２の光電変換素子ＰＤ２および出力回路とを、行方向および列方向に周期的に配置する。このとき、通常画素５１は、図４に示したように、動き検出画素５２よりも多く配置する。なお、図４では、通常画素５１を画素アレイ部４０の平面の領域全体に均一に配置し、予め定めた間隔ごと（図４では、４個の通常画素５１ごと）に、通常画素５１を動き検出画素５２の光電変換素子ＰＤ２および出力回路に置き換えたような配置にしている。

なお、第２の半導体基板１２の画素アレイ部４０の平面の領域には、第１の半導体基板１１に配置した動き検出画素５２の光電変換素子ＰＤ２および出力回路に対応する動き検出画素５２の読み出し回路を、画素アレイ部４０の平面の領域全体に均一に配置する。このとき、動き検出画素５２の読み出し回路は、第１の半導体基板１１に配置した通常画素５１に対応する第２の半導体基板１２の画素アレイ部４０の平面の領域を含めて形成する。つまり、固体撮像装置１では、通常画素５１よりも多くの回路要素から構成されるため形成する際に多くの領域を必要とする動き検出画素５２を、通常画素５１を形成するために使用していない第２の半導体基板１２の領域を利用して形成する。より具体的には、通常画素５１に光が入射する側の面と反対側の面に積層された第２の半導体基板１２において、第１の半導体基板１１に形成された通常画素５１の領域と重複している領域を含めて動き検出画素５２の読み出し回路を形成する。そして、第１の半導体基板１１に形成した出力回路と、第２の半導体基板１２に形成した読み出し回路とを、チップ接続部１３によって電気的に接続する。

なお、図４に示したように、固体撮像装置１では、通常画素５１を動き検出画素５２よりも多く配置している。つまり、固体撮像装置１においては、画素アレイ部４０内に配置する動き検出画素５２の数は、通常画素５１の数よりも少ない。しかし、被写体の動きの検出では、通常の撮影において生成する画像ほど高い解像度、つまり、高画質は要求されない。むしろ、被写体の動きを逐次検出する動き検出では、動き検出画素５２の光電変換素子ＰＤ２が、短い時間であっても電荷信号を発生して動き検出を行えることが望ましい。一方、固体撮像装置１では、画素アレイ部４０に備える通常画素５１の数を増加させることによって、通常の撮影において高画素化を実現することが望ましい。固体撮像装置１では、画素アレイ部４０内に配置する通常画素５１の数をさらに多くすることによって、通常の撮影において生成する画像の画質を向上させる、つまり、高精細な出力を得る構成にすることもできる。より具体的には、固体撮像装置１では、通常の撮影による画素信号の出力に特化した通常画素５１と、動き検出によるイベント画素信号の出力に特化した動き検出画素５２とのそれぞれを画素アレイ部４０内に形成するため、通常画素５１をより高精細化して、図４に示した配置の一例よりもさらに多くの通常画素５１を配置する構成にしてもよい。

固体撮像装置１では、図４に示したように配置されたいずれかの動き検出画素５２から、制御回路１０内の読み出しアドレス制御回路１００にイベント画素信号が入力されると、読み出しアドレス制御回路１００は、イベント画素信号に含まれるアドレス情報に基づいて、イベント画素信号を出力した動き検出画素５２の位置を中心とした予め定めた周辺の領域（読み出し領域）に配置されている通常画素５１から画素信号を出力する（読み出す）。例えば、図４に示した画素５０（通常画素５１および動き検出画素５２）の配置の一例において、６行７列目に配置された動き検出画素５２ａから、読み出しアドレス制御回路１００にイベント画素信号が入力されると、読み出しアドレス制御回路１００は、動き検出画素５２ａの位置を中心とした周辺の予め定めた５行５列の矩形の読み出し領域ａｒ１内に配置されている通常画素５１から画素信号を出力する（読み出す）。

なお、固体撮像装置１では、通常画素５１は、予め定めた周期（フレームレート）で通常の撮影のための露光を行っている。つまり、通常画素５１は、光電変換素子ＰＤ１による入射してきた光（光線）の光電変換と、電荷転送トランジスタ５１１による光電変換素子ＰＤ１が発生させた電荷信号のノード容量ＦＤ１への転送と、画素リセットトランジスタ５１２によるノード容量ＦＤ１に蓄積された電荷信号のリセットとを、周期的に繰り返している。従って、読み出しアドレス制御回路１００が、読み出し領域ａｒ１内の通常画素５１を、画素信号を出力する（読み出す）通常画素５１として指定した場合には、指定された通常画素５１は、周期的に行っている直近の露光によって得た電荷信号に応じた信号電圧を、画素信号として出力する（読み出す）。なお、直近の露光とは、通常画素５１が、読み出しアドレス制御回路１００に指定されたときにすでに終了している直前の露光であってもよいし、読み出しアドレス制御回路１００に指定されたあとに終了する直後の露光であってもよい。従って、以下の説明においては、指定された通常画素５１が出力する画素信号を得るための露光のタイミングに関しては、特に規定しない。

（第１の画素指定方法）
次に、第１の実施形態の固体撮像装置１における通常画素５１の指定方法について説明する。図５は、本発明の第１の実施形態の固体撮像装置１において画素信号を出力する構成を示した図である。図５には、固体撮像装置１において通常画素５１と動き検出画素５２とが図４に示したように配置されている場合における画素アレイ部４０の一部の縦構造と、制御回路１０に備えた読み出しアドレス制御回路１００とを示している。より具体的には、第１の半導体基板１１に形成された通常画素５１と、第１の半導体基板１１および第２の半導体基板１２に形成された動き検出画素５２と、読み出しアドレス制御回路１００との間でやり取りされるそれぞれの信号を示している。

上述したように、固体撮像装置１では、通常画素５１の光電変換素子ＰＤ１と読み出し回路とを、第１の半導体基板１１に形成する。図５には、通常画素５１の光電変換素子ＰＤ１と、通常画素５１の読み出し回路に備えた選択トランジスタ５１４とを第１の半導体基板１１に形成している状態を示している。

また、上述したように、固体撮像装置１では、動き検出画素５２の光電変換素子ＰＤ２および出力回路を第１の半導体基板１１に形成し、読み出し回路を第２の半導体基板１２に形成する。図５には、動き検出画素５２の光電変換素子ＰＤ２と出力回路に備えたアンプ５２１とを第１の半導体基板１１に形成し、動き検出画素５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５２３とＡＥＲ回路５２６とを第２の半導体基板１２に形成している状態を示している。

このとき、固体撮像装置１では、動き検出画素５２の読み出し回路を、第１の半導体基板１１に形成された通常画素５１の領域と重複している領域を含めた第２の半導体基板１２の領域に形成する。図５には、動き検出画素５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５２３とＡＥＲ回路５２６とを、第１の半導体基板１１に形成された通常画素５１の領域と重複している領域を含めた第２の半導体基板１２の領域に形成している状態を示している。

そして、上述したように、固体撮像装置１では、動き検出画素５２の出力回路と、対応する動き検出画素５２の読み出し回路とを、第１の半導体基板１１と第２の半導体基板１２との間に形成するチップ接続部１３によって電気的に接続する。図５には、第１の半導体基板１１に形成した動き検出画素５２の出力回路に備えたアンプ５２１と、第２の半導体基板１２に形成した動き検出画素５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５２３とを、チップ接続部１３によって接続している状態を示している。

そして、上述したように、固体撮像装置１では、第２の半導体基板１２に形成された動き検出画素５２のＡＥＲ回路５２６は、光電変換素子ＰＤ２が発生した電荷信号の時間的な変化を検出したとき、イベント画素信号を、読み出しアドレス制御回路１００に出力する。

読み出しアドレス制御回路１００は、イベント画素信号が入力されると、入力されたイベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した動き検出画素５２の位置を検出（確認）する。例えば、図４に示した動き検出画素５２ａからイベント画素信号が入力されると、読み出しアドレス制御回路１００は、イベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した動き検出画素５２が、６行７列目に配置された動き検出画素５２ａであると検出（確認）する。

そして、読み出しアドレス制御回路１００は、検出（確認）した動き検出画素５２の位置を中心とした予め定めた領域に配置されている通常画素５１の領域を、読み出し領域として決定する。そして、読み出しアドレス制御回路１００は、決定した読み出し領域内に配置されている通常画素５１を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。例えば、図４に示した動き検出画素５２ａの位置を中心とした５行５列の矩形の読み出し領域ａｒ１を、通常画素５１から画素信号を出力する（読み出す）読み出し領域に決定し、読み出し領域ａｒ１内に配置されている通常画素５１を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。

これにより、垂直走査回路２０および水平走査回路３０のそれぞれは、指定された通常画素５１を順次駆動して、読み出しアドレス制御回路１００によって指定された通常画素５１から画素信号を出力する（読み出す）。例えば、垂直走査回路２０および水平走査回路３０のそれぞれは、図４に示した読み出し領域ａｒ１内に配置されている通常画素５１を指定するための制御信号が入力されると、読み出し領域ａｒ１内の通常画素５１を順次駆動して、読み出し領域ａｒ１内に配置されているそれぞれの通常画素５１から画素信号を出力する（読み出す）。

このように、固体撮像装置１では、通常の撮影による画素信号の出力に特化した通常画素５１と、動き検出によるイベント画素信号の出力に特化した動き検出画素５２とのそれぞれを画素アレイ部４０内に配置することによって、被写体の動きを逐次検出する動き検出と通常の撮影とを両立する。このとき、固体撮像装置１では、通常の撮影においてフレーム単位で画素信号を順次読み出す通常読み出しとは関係しない非同期のタイミングで、逐次被写体の動きを検出する動き検出を行う、つまり、通常読み出しと動き検出読み出しとを同時期に行うことができる。そして、固体撮像装置１では、図４に示した通常画素５１と動き検出画素５２との配置の一例のように、画素アレイ部４０内に配置する通常画素５１の数を、動き検出画素５２よりも多くしている。言い換えれば、固体撮像装置１では、画素アレイ部４０内に配置する動き検出画素５２を、第１の半導体基板１１と第２の半導体基板１２とに分けて形成することによって、画素アレイ部４０内に配置する通常画素５１の数を多くしている。このため、固体撮像装置１を搭載した撮像システムでは、固体撮像装置１から出力された通常の撮影におけるそれぞれの画素信号に基づいて画像を生成する画像処理部は、より高解像度の画像、つまり、高画質の画像を生成することができる。

なお、固体撮像装置１を搭載した撮像システムに備えた画像処理部は、それぞれの画素信号に基づいた画像を生成する際に、固体撮像装置１において動き検出画素５２が配置されている位置の画素信号、つまり、欠けている画素の画素信号を補間することによって、全ての画素の画素信号が含まれた画像を生成する。より具体的には、通常画素５１から通常読み出しによって読み出した画素信号から画像を生成する場合、動き検出画素５２が配置されている位置に対応する通常画素５１の画素信号を、周辺の通常画素５１の画素信号に基づいて補間する。なお、本発明においては、画像処理部が、動き検出画素５２が配置されている位置に対応するそれぞれの通常画素５１の画素信号を補間する方法（画素の補間演算の方法）に関しては、特に規定しない。

また、固体撮像装置１では、動き検出画素５２からイベント画素信号が出力されたときに、第１の画素指定方法のように、イベント画素信号を出力した動き検出画素５２の位置を中心とした予め定めた読み出し領域内に配置された通常画素５１から画素信号を出力する（読み出す）。つまり、固体撮像装置１では、被写体の動きを検出した動き検出画素５２が配置された位置を中心とした予め定めた小さな読み出し領域に配置されている通常画素５１のみから通常の撮影の画素信号を出力する（読み出す）。これにより、固体撮像装置１では、従来の固体撮像装置のように、被写体の動きを反映した画像を生成するために通常の撮影で得た全ての画素信号を読み出すのに比べて、消費電力を削減することができる。

なお、固体撮像装置１を搭載した撮像システムに備えた画像処理部は、第１の画素指定方法によって出力された（読み出された）被写体の動きが検出された小さな読み出し領域の画素信号に基づいて、被写体の動きを反映した画像を生成する。つまり、画像処理部は、すでに固体撮像装置１から取得している１フレーム分の画素信号の内、動きが検出された小さな読み出し領域に対応する少ない数の画素信号を差し替えて画像を生成することにより、被写体の動きを反映した画像を生成する。

なお、第１の画素指定方法では、１個の動き検出画素５２がイベント画素信号を出力したときに、イベント画素信号を出力した動き検出画素５２が配置された位置に基づいて、画素信号を読み出す通常画素５１を指定する方法を示した。しかし、上述したように、固体撮像装置１では、被写体の動きを検出する動き検出を逐次行うことができる。このため、同時期に複数の動き検出画素５２が被写体の動きを検出することも考えられる。

ここで、同時期に複数の動き検出画素５２からイベント画素信号が出力された場合に、読み出しアドレス制御回路１００が画素信号を出力する（読み出す）読み出し領域を決定する方法について説明する。図６は、本発明の第１の実施形態の固体撮像装置１において画素信号を出力させる画素５０（通常画素５１）を指定する領域（読み出し領域）の一例を模式的に示した図である。図６には、図４に示したように固体撮像装置１を構成する第１の半導体基板１１の画素アレイ部４０の領域内に画素５０（通常画素５１および動き検出画素５２）が配置される場合において、複数の動き検出画素５２から同時期にイベント画素信号が出力された場合に画素信号を出力させる通常画素５１が配置された読み出し領域を決定する方法の一例を示している。

図６に示した画素５０（通常画素５１および動き検出画素５２）の配置の一例において、６行７列目に配置された動き検出画素５２ａと、２行７列目に配置された動き検出画素５２ｂと、２行１１列目に配置された動き検出画素５２ｃと、６行１１列目に配置された動き検出画素５２ｄとのそれぞれから、同時期にイベント画素信号が出力された場合を考える。この場合、読み出しアドレス制御回路１００は、動き検出画素５２ａの位置を中心として予め定めた５行５列の矩形の読み出し領域ａｒ１と、動き検出画素５２ｂの位置を中心として予め定めた５行５列の矩形の読み出し領域ａｒ２と、動き検出画素５２ｃの位置を中心として予め定めた５行５列の矩形の読み出し領域ａｒ３と、動き検出画素５２ｄの位置を中心として予め定めた５行５列の矩形の読み出し領域ａｒ４とのそれぞれの読み出し領域を決定する。

しかし、図６に示したように読み出し領域ａｒ１と、読み出し領域ａｒ２と、読み出し領域ａｒ３と、読み出し領域ａｒ４とのそれぞれの読み出し領域には、隣接する読み出し領域同士に同じ通常画素５１も含まれている。つまり、互いの読み出し領域内に配置されている通常画素５１が重複している。このような場合、読み出しアドレス制御回路１００は、互いの読み出し領域で重複している通常画素５１から重複して画素信号を読み出さないよう、画素信号を読み出す読み出し領域を決定する。より具体的には、図６に示したように、イベント画素信号を出力した全ての動き検出画素５２に対応する全ての矩形の読み出し領域（読み出し領域ａｒ１〜読み出し領域ａｒ４）が含まれる矩形の読み出し領域ａｒ５を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定する。そして、読み出しアドレス制御回路１００は、読み出し領域ａｒ５内に配置されている通常画素５１を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。

これにより、垂直走査回路２０および水平走査回路３０のそれぞれは、指定された読み出し領域ａｒ５内の通常画素５１を順次駆動して、読み出し領域ａｒ５内に配置されているそれぞれの通常画素５１から画素信号を出力する（読み出す）。

このように、固体撮像装置１では、同時期に複数の動き検出画素５２からイベント画素信号が出力された場合、第１の画素指定方法において、読み出しアドレス制御回路１００は、イベント画素信号を出力したそれぞれの動き検出画素５２が配置された位置に応じて、画素信号を読み出す通常画素５１を指定する読み出し領域を決定する。これにより、固体撮像装置１では、重複する通常画素５１から画素信号を複数回出力する（読み出す）ことなく、消費電力を削減することができる。

なお、第１の画素指定方法では、通常画素５１から画素信号を出力する（読み出す）予め定めた読み出し領域が、イベント画素信号を出力した動き検出画素５２ａの位置を中心とした５行５列の矩形の読み出し領域である場合について説明した。しかし、通常画素５１から画素信号を出力する（読み出す）予め定めた読み出し領域の大きさは、上述した５行５列に限定されるものではなく、画素アレイ部４０内の通常画素５１と動き検出画素５２との配置などに応じて、種々の大きさ（行列の数）が考えられる。また、それぞれの読み出し領域は、隣接する読み出し領域同士で重複している読み出し領域、つまり、同じ通常画素５１を含んだ読み出し領域に限定しない。

なお、第１の画素指定方法では、１個の動き検出画素５２または複数の動き検出画素５２がイベント画素信号を出力したときに、イベント画素信号を出力した動き検出画素５２が配置された位置に基づいて、画素信号を読み出す通常画素５１を指定する矩形の読み出し領域を決定する場合について説明した。しかし、イベント画素信号を出力する動き検出画素５２が配置された位置は、常に容易に矩形の読み出し領域を決定することができる位置に配置されているとは限らない。特に、同時期に複数の動き検出画素５２からイベント画素信号が出力された場合には、イベント画素信号を出力した動き検出画素５２が配置された位置によっては、図６に示したように、容易に矩形の読み出し領域を決定することができる位置に配置されているとは限らない。そこで、読み出しアドレス制御回路１００は、イベント画素信号を出力したそれぞれの動き検出画素５２が配置された位置に応じて、画素信号を読み出す通常画素５１を指定する読み出し領域を決定する方法を変更する構成にしてもよい。

（第２の画素指定方法）
次に、第１の実施形態の固体撮像装置１における通常画素５１の別の指定方法について説明する。図７は、本発明の第１の実施形態の固体撮像装置１において画素信号を出力させる画素５０（通常画素５１）を指定する領域（読み出し領域）の別の一例を模式的に示した図である。図７には、固体撮像装置１を構成する第１の半導体基板１１の画素アレイ部４０の領域内に画素５０（通常画素５１および動き検出画素５２）が配置されている場合において、複数の動き検出画素５２から同時期にイベント画素信号が出力された場合に画素信号を出力させる通常画素５１が配置された読み出し領域を決定する方法の一例を示している。

なお、図７において、動き検出画素分布Ｄ１は、画素アレイ部４０の全体の領域内に配置された複数の動き検出画素５２の内、同時期にイベント画素信号を出力した動き検出画素５２が分布している範囲を表している。従って、動き検出画素分布Ｄ１の領域は、読み出しアドレス制御回路１００が画素信号を読み出す通常画素５１を指定する最小の読み出し領域に相当する。

図７に示した動き検出画素分布Ｄ１のように、イベント画素信号を出力したそれぞれの動き検出画素５２に対応する矩形の読み出し領域（以下、それぞれの動き検出画素５２に対応する矩形の読み出し領域を区別せずに表すときは「読み出し領域ａｒ」という）を複数組み合わせることによって、画素信号を読み出す通常画素５１を指定することができる場合を考える。この場合、読み出しアドレス制御回路１００が、第１の画素指定方法の考え方に基づいて、それぞれの読み出し領域ａｒで重複する通常画素５１を除いた領域を読み出し領域として決定しても、実際に動き検出画素分布Ｄ１の領域に配置されている通常画素５１を読み出しアドレス制御回路１００が指定するには、その指定方法が複雑になる。つまり、効率的にそれぞれの通常画素５１から画素信号を読み出すためには、それぞれの読み出し領域ａｒ内に配置されている通常画素５１を指定するための制御信号を出力するタイミングを考慮して制御することが必要になる。例えば、読み出しアドレス制御回路１００が、それぞれの通常画素５１から画素信号を読み出すために、それぞれの読み出し領域ａｒ内に配置されている通常画素５１を指定するための制御信号を出力するタイミングを考慮することも必要になる。このため、動き検出画素分布Ｄ１のように複雑な形状に分布した動き検出画素５２に対応する読み出し領域ａｒ内に配置されたそれぞれの通常画素５１から、効率的に画素信号を読み出すことができないことも考えられる。

そこで、読み出しアドレス制御回路１００における第２の画素指定方法では、動き検出画素分布Ｄ１を包含する矩形の領域を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定する。より具体的には、第２の画素指定方法では、イベント画素信号を出力した全ての動き検出画素５２に対応する全ての矩形の読み出し領域ａｒが含まれる矩形の読み出し領域ａｒ６を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定する。この場合、読み出しアドレス制御回路１００は、例えば、それぞれの動き検出画素５２に対応した矩形の読み出し領域ａｒから、全ての矩形の読み出し領域ａｒが含まれる左上の通常画素５１の位置と右下の通常画素５１の位置とを求める。そして、読み出しアドレス制御回路１００は、求めた左上と右下とのそれぞれの通常画素５１の位置によって表される矩形の読み出し領域ａｒ６を、動き検出画素分布Ｄ１に対応した画素信号を読み出す通常画素５１の読み出し領域として決定する。

これにより、画素信号を読み出す通常画素５１を指定する最小の読み出し領域よりは大きな読み出し領域内に配置されたそれぞれの通常画素５１から画素信号を読み出すことになるものの、通常画素５１を指定するための制御信号を出力するための処理が、簡単になる。そして、読み出しアドレス制御回路１００は、読み出し領域ａｒ６内に配置されている通常画素５１を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。

そして、垂直走査回路２０および水平走査回路３０のそれぞれは、左上の位置（開始位置）の通常画素５１から右下の位置（終了位置）の通常画素５１までを順次駆動して、読み出し領域ａｒ６内に配置されているそれぞれの通常画素５１から画素信号を出力する（読み出す）。なお、開始位置と終了位置とに基づいて通常画素５１から画素信号を出力する（読み出す）方法は、一般的に多くの固体撮像装置において行うことができる画素信号の読み出し方法に合致する方法である。

このように、固体撮像装置１では、複雑な形状に分布した複数の動き検出画素５２から同時期にイベント画素信号が出力された場合には、読み出しアドレス制御回路１００は、第２の画素指定方法によって、通常画素５１を指定するための制御信号を出力するための処理が簡単になる矩形の領域を、画素信号を読み出す通常画素５１を指定する読み出し領域として決定する。これにより、固体撮像装置１を搭載した撮像システムに備えた画像処理部が被写体の動きを反映した画像を生成する際の処理も簡単にすることができる。

なお、第１の画素指定方法および第２の画素指定方法では、イベント画素信号を出力する動き検出画素５２が、画素アレイ部４０の全体の領域内の１カ所である場合について説明した。しかし、イベント画素信号を出力する動き検出画素５２は、画素アレイ部４０の全体の領域内の複数箇所に存在することも考えられる。

ここで、画素アレイ部４０の全体の領域内の複数箇所に存在する動き検出画素５２から同時期にイベント画素信号が出力された場合に、読み出しアドレス制御回路１００が画素信号を出力する（読み出す）読み出し領域を決定する方法について説明する。図８は、本発明の第１の実施形態の固体撮像装置１において画素信号を出力させる画素５０（通常画素５１）を指定する領域（読み出し領域）のさらに別の一例を模式的に示した図である。図８には、図７に示したように固体撮像装置１を構成する第１の半導体基板１１の画素アレイ部４０の領域内に画素５０（通常画素５１および動き検出画素５２）が配置されている場合において、同時期にイベント画素信号を出力する複数の動き検出画素５２の分布が複数箇所に存在する場合に画素信号を出力させる通常画素５１が配置された読み出し領域を決定する方法の一例を示している。

なお、図８に示した動き検出画素分布Ｄ１、動き検出画素分布Ｄ２、および動き検出画素分布Ｄ３のそれぞれは、同時期にイベント画素信号を出力した動き検出画素５２の分布を表している。従って、動き検出画素分布Ｄ１、動き検出画素分布Ｄ２、および動き検出画素分布Ｄ３のそれぞれの領域は、読み出しアドレス制御回路１００が画素信号を読み出す通常画素５１を指定するそれぞれの最小の読み出し領域に相当する。

図８に示したように、同時期にイベント画素信号を出力する複数の動き検出画素５２の分布が複数箇所に存在する場合、読み出しアドレス制御回路１００は、第２の画素指定方法の考え方に基づいて、それぞれの動き検出画素分布に対応する通常画素５１から画素信号を読み出すそれぞれの読み出し領域を決定する。より具体的には、動き検出画素分布Ｄ１に対応する矩形の読み出し領域ａｒ６と、動き検出画素分布Ｄ２に対応する矩形の読み出し領域ａｒ７と、動き検出画素分布Ｄ３に対応する矩形の読み出し領域ａｒ８とのそれぞれの読み出し領域を決定する。

しかし、図８に示したように読み出し領域ａｒ６と読み出し領域ａｒ７とが近い位置に存在する場合、読み出し領域ａｒ６内の通常画素５１と、読み出し領域ａｒ７内の通常画素５１とのそれぞれから画素信号を読み出すと、それぞれの通常画素５１から、効率的に画素信号を読み出すことができないことも考えられる。つまり、読み出し領域ａｒ６と読み出し領域ａｒ７とが近接している場合には、読み出し領域ａｒ６と読み出し領域ａｒ７とを別々にしてそれぞれの読み出し領域内の通常画素５１から画素信号を読み出すよりも、読み出し領域ａｒ６と読み出し領域ａｒ７とを合わせた読み出し領域内のそれぞれの通常画素５１から画素信号を読み出す方が効率的であることも考えられる。

このような場合、読み出しアドレス制御回路１００は、近接している複数の読み出し領域を合わせた領域を、画素信号を読み出す読み出し領域として決定する。より具体的には、図８に示したように、読み出し領域ａｒ６と読み出し領域ａｒ７とが含まれる矩形の読み出し領域ａｒ９を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定する。

一方、図８に示したように、読み出し領域ａｒ８は、読み出し領域ａｒ６および読み出し領域ａｒ７のいずれにも近接していない。この場合に読み出しアドレス制御回路１００が、読み出し領域ａｒ８と、読み出し領域ａｒ６および読み出し領域ａｒ７とが含まれる矩形の読み出し領域ａｒ１０を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定してしまうと、読み出し領域ａｒ１０内のそれぞれの通常画素５１からの画素信号の読み出しが多くなってしまう。

このような場合、読み出しアドレス制御回路１００は、読み出し領域ａｒ１０を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定せず、読み出し領域ａｒ９と読み出し領域ａｒ８とを別々に、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定し、それぞれの読み出し領域内の通常画素５１から画素信号を読み出すようにしてもよい。しかし、図８に示したように、読み出し領域ａｒ１０が、ほぼ画素アレイ部４０の全ての領域であると判定することができる場合には、画素アレイ部４０の全ての領域を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定してもよい。つまり、１フレーム分の画素信号を読み出すようにしてもよい。

なお、複数の読み出し領域を合わせた読み出し領域を、画素信号を読み出す読み出し領域として決定するか否かの判定は、上述したように、通常画素５１を指定するための制御信号を出力するための処理が簡単になるか否かによって行う。この場合、複数の読み出し領域を合わせる前の状態でそれぞれの読み出し領域内の通常画素５１から画素信号を読み出す際のデータ出力時間および画素信号を読み出す読み出し領域を切り替える処理の処理時間を合わせた時間と、複数の読み出し領域を合わせた読み出し領域内の通常画素５１から画素信号を読み出す際のデータの出力時間とを比較した結果も、判定の材料にしてもよい。なお、画素信号を読み出す読み出し領域として複数の読み出し領域を合わせるか否かを判定する材料は、上述した時間の比較結果に限定されるものではなく、複数の読み出し領域を合わせて処理したときと、それぞれの読み出し領域を別々に処理したときの処理の負荷の差など、種々の判定材料が考えられる。

このように、固体撮像装置１では、同時期にイベント画素信号を出力する複数の動き検出画素５２の分布が複数箇所に存在する場合、第２の画素指定方法において、読み出しアドレス制御回路１００は、それぞれの動き検出画素５２の分布が存在する位置に応じて、それぞれの分布に対応する複数の読み出し領域を合わせた読み出し領域を、画素信号を読み出す通常画素５１を指定する１つの読み出し領域として決定する。これにより、固体撮像装置１では、通常画素５１を指定するための制御信号を出力するための処理を、より簡単にすることができる。

なお、第１および第２の画素指定方法では、動き検出画素５２がイベント画素信号を出力したときに、イベント画素信号を出力した動き検出画素５２の位置を中心として予め定めた矩形の読み出し領域を、通常画素５１から画素信号を読み出す読み出し領域とする場合について説明した。しかし、例えば、イベント画素信号を出力した動き検出画素５２の分布が、図８に示した動き検出画素分布Ｄ３のみである場合のように、イベント画素信号を出力した動き検出画素５２の数や動き検出画素５２が分布している範囲の大きさによっては、被写体の動きが少ないと判定し、通常画素５１から画素信号を読み出す読み出し領域として指定しない構成にしてもよい。

（第３の画素指定方法）
次に、第１の実施形態の固体撮像装置１における通常画素５１のさらに別の指定方法について説明する。図９は、本発明の第１の実施形態の固体撮像装置１において画素信号を出力させる画素５０（通常画素５１）を指定する領域（読み出し領域）を決定する処理の処理手順を示したフローチャートである。

読み出しアドレス制御回路１００は、画素アレイ部４０内に配置したいずれかの動き検出画素５２からイベント画素信号が入力されると、入力されたイベント画素信号を取得する（ステップＳ１００）。続いて、読み出しアドレス制御回路１００は、取得したイベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した動き検出画素５２の位置を検出（確認）する（ステップＳ１０１）。そして、読み出しアドレス制御回路１００は、検出（確認）したイベント画素信号を出力した動き検出画素５２の位置の分布を算出する（ステップＳ１０２）。

続いて、読み出しアドレス制御回路１００は、算出した動き検出画素５２の位置の分布の大きさが、予め定めた分布の大きさの閾値よりも大きいか否かを判定する（ステップＳ１０３）。ここで、予め定めた分布の大きさの閾値は、画素信号を読み出す通常画素５１の読み出し領域を設定する最小の分布の大きさとして予め定めた分布の大きさを、例えば、面積や、画素アレイ部４０の全体の領域に対する面積の比率などによって表した値である。

ステップＳ１０３における判定の結果、算出した動き検出画素５２の位置の分布の大きさが、予め定めた分布の大きさの閾値よりも大きいと判定した場合（ステップＳ１０３の“ＹＥＳ”）、読み出しアドレス制御回路１００は、算出した動き検出画素５２の位置の分布の大きさに応じた、画素信号を読み出す通常画素５１の読み出し領域（例えば、図７に示した読み出し領域ａｒ）を決定する（ステップＳ１０４）。

続いて、読み出しアドレス制御回路１００は、決定した読み出し領域内に配置されている通常画素５１を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。これにより、垂直走査回路２０および水平走査回路３０のそれぞれは、読み出しアドレス制御回路１００から出力された制御信号に応じて、指定された通常画素５１を順次駆動し、画素信号を読み出す（ステップＳ１０５）。そして、読み出しアドレス制御回路１００は、画素信号を出力させる通常画素５１を指定する読み出し領域を決定する処理を完了する。

一方、ステップＳ１０３における判定の結果、算出した動き検出画素５２の位置の分布の大きさが、予め定めた分布の大きさの閾値よりも大きくない、すなわち、予め定めた分布の大きさの閾値以下であると判定した場合（ステップＳ１０３の“ＮＯ”）、読み出しアドレス制御回路１００は、画素信号を出力させる通常画素５１を指定する読み出し領域を決定する処理を完了する。つまり、読み出しアドレス制御回路１００は、画素信号を読み出す通常画素５１の読み出し領域を決定せずに（通常画素５１から画素信号を読み出さずに）、処理を完了する。

読み出しアドレス制御回路１００は、図９に示したフローチャートの処理手順を、動き検出画素５２からイベント画素信号が入力されるごとに行う。これにより、読み出しアドレス制御回路１００は、被写体の動きを検出した動き検出画素５２の範囲が、閾値で定められた分布の大きさよりも大きい範囲になった場合に、画素信号を読み出す通常画素５１の読み出し領域を決定することができる。より具体的には、例えば、イベント画素信号を出力した動き検出画素５２の分布が、図８に示した動き検出画素分布Ｄ１のような大きさである場合には、矩形の読み出し領域ａｒ６を通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定して処理を完了する。一方、例えば、イベント画素信号を出力した動き検出画素５２の分布が、図８に示した動き検出画素分布Ｄ３のような大きさである場合には、矩形の読み出し領域ａｒ８を通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定せずに処理を完了する。これにより、固体撮像装置１では、被写体の動きが少ない場合には、通常画素５１から画素信号を読み出すことなく、消費電力を削減することができる。

なお、同時期に複数の動き検出画素５２が被写体の動きを検出してイベント画素信号を出力する場合でも、それぞれのイベント画素信号が同時に読み出しアドレス制御回路１００に入力されないことも考えられる。このため、読み出しアドレス制御回路１００がステップＳ１０２においてイベント画素信号を出力した動き検出画素５２の位置の分布を算出する場合、予め定めた期間内にイベント画素信号を出力した複数の動き検出画素５２の位置に基づいて分布を算出することが望ましい。つまり、図９に示したフローチャートにおけるステップＳ１００〜ステップＳ１０２の処理を、予め定めた期間だけ繰り返して、イベント画素信号を出力した動き検出画素５２の位置の分布の大きさが確定された状態にしてから、ステップＳ１０３における判定を行うことが望ましい。

なお、画素信号を出力させる通常画素５１の読み出し領域を決定する処理は、図９に示したフローチャートのように、動き検出画素５２の分布に基づく処理に限定されるものではなく、上述したように、イベント画素信号を出力した動き検出画素５２の数に基づいた処理であってもよい。

ここで、イベント画素信号を出力した動き検出画素５２の数に基づいて画素信号を出力させる通常画素５１の読み出し領域を決定する処理について説明する。図１０は、本発明の第１の実施形態の固体撮像装置１において画素信号を出力させる画素５０（通常画素５１）を指定する領域（読み出し領域）を決定する別の処理の処理手順を示したフローチャートである。

読み出しアドレス制御回路１００は、画素アレイ部４０内に配置したいずれかの動き検出画素５２からイベント画素信号が入力されると、図９に示したフローチャートにおけるステップＳ１００と同様に、入力されたイベント画素信号を取得する（ステップＳ１１０）。続いて、読み出しアドレス制御回路１００は、取得したイベント画素信号に含まれるアドレス情報から、図９に示したフローチャートにおけるステップＳ１０１と同様に、イベント画素信号を出力した動き検出画素５２の位置を検出（確認）する（ステップＳ１１１）。そして、読み出しアドレス制御回路１００は、検出（確認）したイベント画素信号を出力した動き検出画素５２の数を算出する（ステップＳ１１２）。

続いて、読み出しアドレス制御回路１００は、算出した動き検出画素５２の数が、予め定めた数の閾値よりも大きいか否かを判定する（ステップＳ１１３）。ここで、予め定めた数の閾値は、画素信号を読み出す通常画素５１の読み出し領域を設定する動き検出画素５２の最小値を、例えば、動き検出画素５２の数や、画素アレイ部４０に配置した全ての動き検出画素５２の数に対する動き検出画素５２の数の比率などによって表した値である。

ステップＳ１１３における判定の結果、算出した動き検出画素５２の数が、予め定めた数の閾値よりも大きいと判定した場合（ステップＳ１１３の“ＹＥＳ”）、読み出しアドレス制御回路１００は、検出（確認）したそれぞれの動き検出画素５２の位置に応じた、画素信号を読み出す通常画素５１の読み出し領域（例えば、図７に示した読み出し領域ａｒ）を決定する（ステップＳ１１４）。

続いて、読み出しアドレス制御回路１００は、決定した読み出し領域内に配置されている通常画素５１を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。これにより、垂直走査回路２０および水平走査回路３０のそれぞれは、読み出しアドレス制御回路１００から出力された制御信号に応じて、指定された通常画素５１を順次駆動し、画素信号を読み出す（ステップＳ１１５）。そして、読み出しアドレス制御回路１００は、画素信号を出力させる通常画素５１を指定する読み出し領域を決定する処理を完了する。

一方、ステップＳ１１３における判定の結果、算出した動き検出画素５２の数が、予め定めた数の閾値よりも大きくない、すなわち、予め定めた数の閾値以下であると判定した場合（ステップＳ１１３の“ＮＯ”）、読み出しアドレス制御回路１００は、画素信号を出力させる通常画素５１を指定する読み出し領域を決定する処理を完了する。つまり、読み出しアドレス制御回路１００は、図９に示したフローチャートにおけるステップＳ１０３と同様に、画素信号を読み出す通常画素５１の読み出し領域を決定せずに（通常画素５１から画素信号を読み出さずに）、処理を完了する。

読み出しアドレス制御回路１００は、図１０に示したフローチャートの処理手順を、図９に示した処理手順と同様に、動き検出画素５２からイベント画素信号が入力されるごとに行う。これにより、読み出しアドレス制御回路１００は、被写体の動きを検出した動き検出画素５２の数が、閾値で定められた数よりも大きい場合に、画素信号を読み出す通常画素５１の読み出し領域を決定することができる。より具体的には、例えば、イベント画素信号を出力した動き検出画素５２の数が１００個以上である場合には、それぞれの動き検出画素５２の位置を中心として予め定めた矩形の読み出し領域を合わせた読み出し領域を、通常画素５１から画素信号を出力する（読み出す）読み出し領域として決定して処理を完了する。一方、イベント画素信号を出力した動き検出画素５２の数が１００個よりも少ない場合には、通常画素５１から画素信号を出力する（読み出す）読み出し領域を決定せずに処理を完了する。これにより、固体撮像装置１では、図９に示した処理手順と同様に、被写体の動きが少ない場合には、通常画素５１から画素信号を読み出すことなく、消費電力を削減することができる。

なお、イベント画素信号を出力した動き検出画素５２の数に基づいて画素信号を出力させる通常画素５１の読み出し領域を決定する場合でも、それぞれの動き検出画素５２が同時にイベント画素信号を出力しないことも考えられる。つまり、複数の動き検出画素５２のそれぞれから同時期に複数のイベント画素信号が入力されるが、それぞれのイベント画素信号が同時に読み出しアドレス制御回路１００に入力されないことも考えられる。このため、図９に示した処理手順と同様に、読み出しアドレス制御回路１００がステップＳ１１２においてイベント画素信号を出力した動き検出画素５２の数を算出する場合、予め定めた期間内にイベント画素信号を出力した動き検出画素５２の数を算出することが望ましい。従って、図９に示した処理手順と同様に、図１０に示したフローチャートにおけるステップＳ１１０〜ステップＳ１１２の処理を、予め定めた期間だけ繰り返して、イベント画素信号を出力した動き検出画素５２の数が確定された状態にしてから、ステップＳ１１３における判定を行うことが望ましい。

なお、上記の説明では、第１〜第３の画素指定方法のそれぞれの方法が別々の方法であるものとして説明した。しかし、第１〜第３のそれぞれの画素指定方法を組み合わせて適用してもよい。つまり、動き検出画素５２からイベント画素信号が出力された状況に応じて、第１〜第３の画素指定方法のいずれか方法を用いて画素信号を読み出す通常画素５１の読み出し領域を決定するかを切り替える構成にしてもよい。

また、第１〜第３の画素指定方法では、画素アレイ部４０の全体の領域に対して第１〜第３の画素指定方法のそれぞれの考え方を適用して、イベント画素信号を出力した動き検出画素５２に対応する画素信号を読み出す通常画素５１の読み出し領域を決定する場合について説明した。しかし、画素信号を読み出す通常画素５１の読み出し領域を決定する際に判定する領域は、上述したような画素アレイ部４０の全体の領域に限定されるものではない。例えば、画素アレイ部４０の全体の領域を、予め定めた行数および列数で区切った複数のブロックに分割する。そして、読み出しアドレス制御回路１００が、分割したそれぞれのブロックの領域に対して第１〜第３の画素指定方法のいずれかの考え方を適用することによって、画素信号を読み出す通常画素５１の読み出し領域を、それぞれのブロックごとに決定してもよい。この場合、例えば、分割したそれぞれのブロックの領域を、上述した画素アレイ部４０の全ての領域と考えて、イベント画素信号を出力した動き検出画素５２に対応する画素信号を読み出す通常画素５１の読み出し領域を決定してもよい。また、例えば、図１０に示したイベント画素信号を出力した動き検出画素５２の数に基づいて画素信号を出力させる通常画素５１の読み出し領域を決定する処理のステップＳ１１３における閾値を、動き検出画素５２の数の代わりに、イベント画素信号を出力した動き検出画素５２が含まれるブロックの数として処理を行ってもよい。

なお、第１の実施形態の固体撮像装置１では、画素アレイ部４０の領域内に配置する画素５０（通常画素５１および動き検出画素５２）の構成として、図３Ａに示した通常画素５１および図３Ｂに示した動き検出画素５２の構成を示した。しかし、画素アレイ部４０の領域内に配置する画素５０の構成は、図３Ａおよび図３Ｂに示した構成に限定されるものではない。例えば、図３Ａに示した通常画素５１は、光電変換素子ＰＤ１が発生した電荷信号を蓄積する回路要素を備えていない。そして、図３Ｂに示した動き検出画素５２は、通常画素５１の動作と非同期のタイミングでイベント画素信号を出力する。このため、通常画素５１が予め定めた周期（フレームレート）で通常の撮影のための露光を行っている期間、すなわち、通常画素５１の露光期間中であっても、動き検出画素５２がイベント画素信号を出力することも考えられる。この場合、動き検出画素５２から出力されたイベント画素信号に応じて通常画素５１から画素信号を読み出そうとしても、通常画素５１が露光期間中である場合には、直前の露光によって得た通常の撮影における画素信号、すなわち、被写体の動きを反映した高画質の画像を生成するための画素信号を読み出すことができないことも考えられる。この場合には、通常画素５１からの画素信号の読み出しを、現在行っている露光が終了するまで待つことが必要になる。そこで、通常画素５１の構成を、光電変換素子ＰＤ１が発生した電荷信号を蓄積する回路要素を備えた構成に変更することによって、蓄積している信号電荷に応じた画素信号、すなわち、直前の露光によって得た通常の撮影における画素信号を、動き検出画素５２から出力されたイベント画素信号に応じて読み出すことができるようになる。

（第１の実施形態の変形例）
次に、第１の実施形態の固体撮像装置１において画素アレイ部４０内に配置する通常画素５１の別の構成について説明する。図１１は、本発明の第１の実施形態の固体撮像装置１における画素５０（通常画素５１）の別の構成の一例を示した回路図である。なお、以下の説明においては、別の構成の通常画素５１を「通常画素５３」という。

なお、通常画素５３を構成する回路要素には、通常画素５１を構成する回路要素と同様の回路要素を含んでいる。従って、以下の説明においては、通常画素５３を構成する回路要素において、通常画素５１を構成する回路要素と同様の回路要素には同一の符号を付与し、詳細な説明は省略する。

図１１において、通常画素５３は、光電変換素子ＰＤ１と、電荷転送トランジスタ５１１と、画素リセットトランジスタ５１２と、増幅トランジスタ５１３と、ノイズ抑圧素子５３４と、サンプルホールドトランジスタ５３１と、電荷蓄積容量５３０と、クランプトランジスタ５３２と、第２の増幅トランジスタ５３３と、選択トランジスタ５１４とを備えている。なお、図１１においては、通常画素５３に備えた増幅トランジスタ５１３のゲート端子に接続されたノードに付随する容量であるノード容量ＦＤ１を、通常画素５３の回路要素としてキャパシタの記号で示している。

通常画素５３においては、電荷転送トランジスタ５１１、画素リセットトランジスタ５１２、増幅トランジスタ５１３、ノイズ抑圧素子５３４、サンプルホールドトランジスタ５３１、電荷蓄積容量５３０、クランプトランジスタ５３２、第２の増幅トランジスタ５３３、および選択トランジスタ５１４と、ノード容量ＦＤ１とで、光電変換素子ＰＤ１が発生させた電荷信号に応じた画素信号を蓄積して読み出す読み出し回路を構成している。固体撮像装置１では、通常画素５３の光電変換素子ＰＤ１と読み出し回路とを、第１の半導体基板１１に形成する。

電荷転送トランジスタ５１１は、垂直走査回路２０から入力された制御信号ＴＸ１に応じて、光電変換素子ＰＤ１が発生して蓄積した電荷信号を、増幅トランジスタ５１３のゲート端子に転送する。これにより、電荷転送トランジスタ５１１によって転送された電荷信号が、ノード容量ＦＤ１に蓄積される。

増幅トランジスタ５１３は、ゲート端子に転送された電荷信号、すなわち、ノード容量ＦＤ１に蓄積された電荷信号に応じた信号電圧を、ノイズ抑圧素子５３４の第１の端子に出力する。

画素リセットトランジスタ５１２は、垂直走査回路２０から入力された制御信号ＲＳＴ１に応じて、通常画素５３内の電荷信号を、電源電圧ＶＤＤにリセットする。

ノイズ抑圧素子５３４は、増幅トランジスタ５１３から第１の端子に入力された信号電圧を蓄積する容量である。

クランプトランジスタ５３２は、垂直走査回路２０から入力された制御信号ＲＳＴ２に応じて、電荷蓄積容量５３０とノイズ抑圧素子５３４とのそれぞれを固定電位ＶＲＥＦにクランプする。これにより、電荷蓄積容量５３０とノイズ抑圧素子５３４とのそれぞれは、クランプされた固定電位ＶＲＥＦを保持（蓄積）する。

サンプルホールドトランジスタ５３１は、垂直走査回路２０から入力された制御信号ＴＸ２に応じて、ノイズ抑圧素子５３４の第２の端子から出力された信号電圧を電荷蓄積容量５３０に蓄積させる。

電荷蓄積容量５３０は、サンプルホールドトランジスタ５３１を介して入力された、ノイズ抑圧素子５３４の第２の端子から出力された信号電圧（ノイズ除去処理された信号）を蓄積する容量である。

増幅トランジスタ５１３から出力された信号電圧、つまり、光電変換素子ＰＤ１が発生した電荷信号に応じた信号電圧は、クランプトランジスタ５３２、サンプルホールドトランジスタ５３１、電荷蓄積容量５３０、およびノイズ抑圧素子５３４の構成によって、リーク電流（暗電流）に起因するノイズ除去処理が行われる。そして、電荷蓄積容量５３０は、ノイズ除去処理された信号電圧を蓄積する。

なお、電荷蓄積容量５３０としては、単位面積当たりのリーク電流（暗電流）が少ない容量であるＭＩＭ（Ｍｅｔａｌ Ｉｎｓｕｌａｔｏｒ Ｍｅｔａｌ）容量や、ＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）容量を使用することがより望ましい。これにより、ノイズに対する耐性が向上し、高品質な信号を得ることができる。

第２の増幅トランジスタ５３３は、ゲート端子の電圧、すなわち、電荷蓄積容量５３０に蓄積されたノイズ除去処理された信号電圧に応じた信号電圧を、選択トランジスタ５１４に出力する。

選択トランジスタ５１４は、垂直走査回路２０から入力された制御信号ＳＥＬに応じて、第２の増幅トランジスタ５３３から出力される信号電圧を、通常画素５３の画素信号として垂直信号線６０に出力する。これにより、通常画素５３に備えた光電変換素子ＰＤ１が発生した電荷信号に応じた画素信号が、垂直信号線６０に読み出される。

このような構成によって、通常画素５３では、光電変換素子ＰＤ１が入射した光を光電変換した電荷信号に応じたそれぞれの信号電圧を、電荷蓄積容量５３０に一旦蓄積し、垂直走査回路２０からの制御に応じて、蓄積した信号電圧を、画素信号として垂直信号線６０に読み出す。

ここで、図１１に示した通常画素５３の駆動タイミングについて説明する。図１２は、本発明の第１の実施形態の固体撮像装置１において通常画素５３を駆動するタイミングの一例を示したタイミングチャートである。図１２に示したタイミングチャートは、通常の撮影によって得た電荷信号に応じた信号電圧を一旦蓄積した後、蓄積した信号電圧を画素信号として垂直信号線６０に出力するように通常画素５３を制御する、垂直走査回路２０の制御タイミングを示している。

通常の撮影を行う場合、まず、時刻ｔ１において、画素アレイ部４０内の全ての通常画素５３をリセットする。より具体的には、時刻ｔ１において、垂直走査回路２０は、制御信号ＲＳＴ１と制御信号ＴＸ１とを、同時に“Ｈｉｇｈ”レベルにして、画素リセットトランジスタ５１２と電荷転送トランジスタ５１１とをＯＮ状態にする。これにより、画素アレイ部４０内の全ての通常画素５３に備えた光電変換素子ＰＤ１とノード容量ＦＤ１とがリセットされる。

その後、垂直走査回路２０は、制御信号ＲＳＴ１と制御信号ＴＸ１とを、同時に“Ｌｏｗ”レベルにして、画素リセットトランジスタ５１２と電荷転送トランジスタ５１１とをＯＦＦ状態にし、画素アレイ部４０内の全ての通常画素５３のリセットを解除する。これにより、画素アレイ部４０内の全ての通常画素５３が同時に露光を開始する。すなわち、画素アレイ部４０内の全ての通常画素５３に備えた光電変換素子ＰＤ１が、入射した光を光電変換した電荷信号の発生と蓄積とを開始する。

続いて、一定の期間が経過した後、すなわち、通常の撮影における任意の露光時間が経過した後、時刻ｔ２から、光電変換素子ＰＤ１のリセットレベルの信号電圧と露光によって発生した信号電圧（以下、「露光レベルの信号電圧」という）との、ノイズ抑圧素子５３４への読み出しを行う。そして、通常画素５３における光電変換素子ＰＤ１のリセットレベルの信号電圧と露光レベルの信号電圧との差分をとるノイズ除去処理を行う。

より具体的には、時刻ｔ２において、垂直走査回路２０は、制御信号ＲＳＴ１を“Ｈｉｇｈ”レベルにして、画素リセットトランジスタ５１２をＯＮ状態にし、ノード容量ＦＤ１をリセットする。これにより、増幅トランジスタ５１３から光電変換素子ＰＤ１のリセットレベルの信号電圧が、ノイズ抑圧素子５３４の第１の端子に出力される。

また、垂直走査回路２０は、制御信号ＲＳＴ２および制御信号ＴＸ２を“Ｈｉｇｈ”レベルにして、クランプトランジスタ５３２とサンプルホールドトランジスタ５３１とをＯＮ状態にする。これにより、電荷蓄積容量５３０とノイズ抑圧素子５３４とのそれぞれが、固定電位ＶＲＥＦにクランプされる。

その後、垂直走査回路２０は、制御信号ＲＳＴ１を“Ｌｏｗ”レベルにして、画素リセットトランジスタ５１２をＯＦＦ状態にし、ノード容量ＦＤ１のリセットを解除する。続いて、時刻ｔ３において、垂直走査回路２０は、制御信号ＲＳＴ２を“Ｌｏｗ”レベルにして、電荷蓄積容量５３０のクランプを解除する。

続いて、時刻ｔ４において、垂直走査回路２０は、制御信号ＴＸ１を“Ｈｉｇｈ”レベルにして、電荷転送トランジスタ５１１をＯＮ状態にし、光電変換素子ＰＤ１に蓄積された電荷信号を、増幅トランジスタ５１３のゲート端子に転送する。このとき、電荷転送トランジスタ５１１によって転送された電荷信号は、ノード容量ＦＤ１に蓄積される。これにより、増幅トランジスタ５１３から光電変換素子ＰＤ１が発生した電荷信号、すなわち、ノード容量ＦＤ１に蓄積された電荷信号に応じた信号電圧（露光レベルの信号電圧）が、ノイズ抑圧素子５３４の第１の端子に出力される。

そして、ノイズ抑圧素子５３４は、光電変換素子ＰＤ１のリセットレベルの信号電圧と露光レベルの信号電圧との差分の電圧、すなわち、ノイズ除去処理された信号電圧を、第２の端子から出力する。

その後、垂直走査回路２０は、制御信号ＴＸ１を“Ｌｏｗ”レベルにして、電荷転送トランジスタ５１１をＯＦＦ状態にし、光電変換素子ＰＤ１に蓄積された電荷信号の増幅トランジスタ５１３のゲート端子への転送を停止する。

続いて、時刻ｔ５において、垂直走査回路２０は、制御信号ＴＸ２を“Ｌｏｗ”レベルにして、サンプルホールドトランジスタ５３１をＯＦＦ状態にし、電荷蓄積容量５３０のサンプルホールドを停止する。これにより、電荷蓄積容量５３０は、ノイズ抑圧素子５３４が出力しているノイズ除去処理された信号電圧を蓄積する。

ここまでで、通常画素５３に備えた光電変換素子ＰＤ１が発生した電荷信号がノイズ除去処理されて、電荷蓄積容量５３０に蓄積されることになる。なお、固体撮像装置１では、ここまでの制御を、画素アレイ部４０内に配置された全ての通常画素５３に対して同時に制御することによって、いわゆる、グローバルシャッタ機能で、通常画素５３に通常の撮影を行わせる。従って、通常画素５３は、光電変換素子ＰＤ１が発生した電荷信号に応じた信号電圧がノイズ除去処理されて電荷蓄積容量５３０に蓄積されれば、引き続き、次の通常の撮影のための露光を開始することができる。

その後、垂直走査回路２０は、読み出しアドレス制御回路１００から、画素信号を読み出す通常画素５３を指定するための制御信号が入力されると、指定された通常画素５３の制御信号ＳＥＬを順次制御して、それぞれの通常画素５３に備えた電荷蓄積容量５３０に蓄積されたノイズ除去処理されたそれぞれの信号電圧を順次、それぞれの通常画素５３の画素信号として垂直信号線６０に出力させる。

このようにして、固体撮像装置１では、読み出しアドレス制御回路１００が、被写体の動きを検出した動き検出画素５２に対応する通常画素５３に一旦蓄積された信号電圧を、通常の撮影のための露光によって通常画素５３が得た画素信号として読み出す。

なお、電荷蓄積容量５３０に蓄積した信号電荷に応じた画素信号の読み出しが行われなかった通常画素５３は、次の通常の撮影のための露光が終了すると、電荷蓄積容量５３０に蓄積した信号電荷を破棄する。より具体的には、時刻ｔ２において、垂直走査回路２０が制御信号ＲＳＴ２を“Ｈｉｇｈ”レベルにして電荷蓄積容量５３０を固定電位ＶＲＥＦにクランプすることによって、電荷蓄積容量５３０に蓄積された信号電荷が破棄される。そして、時刻ｔ３〜時刻ｔ５における垂直走査回路２０による制御によって、次の通常の撮影のための露光において光電変換素子ＰＤ１が発生した電荷信号がノイズ除去処理されて、電荷蓄積容量５３０に蓄積される。

このように、第１の実施形態の固体撮像装置１では、画素アレイ部４０の領域内に配置する通常画素５１の代わりに、光電変換素子ＰＤ１が発生した電荷信号を蓄積する回路要素を備えた構成の通常画素５３を配置することによって、通常の撮影のための露光によって得た画素信号を、それぞれの通常画素５３内に一旦蓄積させる。これにより、固体撮像装置１では、通常画素５３が予め定めた周期（フレームレート）で通常の撮影のための露光を行っている露光期間中に動き検出画素５２が被写体の動きを検出してイベント画素信号を出力した場合でも、読み出しアドレス制御回路１００は、イベント画素信号に応じて通常画素５３から画素信号を読み出すことができる。このことにより、固体撮像装置１を搭載した撮像システムに備えた画像処理部は、被写体の動きを検出したときに対して時間的なずれが少ない、被写体の動きを反映した高画質の画像を生成することができる。

第１の実施形態によれば、入射した光を光電変換した第１の電荷信号を発生するｎ個の第１の光電変換素子（光電変換素子ＰＤ１）と、ｎ個の光電変換素子ＰＤ１のそれぞれに対応し、対応する光電変換素子ＰＤ１が発生した第１の電荷信号に応じた信号電圧を第１の画素信号（通常画素５１が出力する画素信号）として出力するｎ個の第１の読み出し回路（通常画素５１の読み出し回路：電荷転送トランジスタ５１１、画素リセットトランジスタ５１２、増幅トランジスタ５１３、選択トランジスタ５１４、およびノード容量ＦＤ１）と、入射した光を光電変換した第２の電荷信号を発生するｍ個の第２の光電変換素子（光電変換素子ＰＤ２）と、ｍ個の光電変換素子ＰＤ２のそれぞれに対応し、対応する光電変換素子ＰＤ２が発生した第２の電荷信号の変化に基づいた第２の画素信号（イベント画素信号）を逐次出力するｍ個の第２の読み出し回路（動き検出画素５２の読み出し回路）と、光電変換素子ＰＤ１の内、予め定めた読み出し領域（読み出し領域ａｒ）内に配置された光電変換素子ＰＤ１に対応する第１の画素信号（通常画素５１が出力する画素信号）の読み出しを制御する読み出し制御回路（読み出しアドレス制御回路１００）と、を有し、ｍ個の動き検出画素５２の読み出し回路のそれぞれは、対応する光電変換素子ＰＤ２が発生した第２の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、変化を表すイベント信号を出力する検出回路（スレッショルドアンプ５２４およびスレッショルドアンプ５２５）と、イベント信号に、対応する光電変換素子ＰＤ２が配置された位置を表すアドレス情報を付加したイベント画素信号を出力する画素信号生成回路（ＡＥＲ回路５２６）と、を有し、読み出しアドレス制御回路１００は、イベント画素信号に含まれるアドレス情報に対応する光電変換素子ＰＤ２が配置された位置に基づいた領域（例えば、読み出し領域ａｒ１）を、第１の画素信号（通常画素５１が出力する画素信号）を読み出す読み出し領域ａｒとして決定し、決定した読み出し領域ａｒ内に配置された光電変換素子ＰＤ１のそれぞれに対応する通常画素５１の読み出し回路のそれぞれに第１の画素信号（通常画素５１が出力する画素信号）を出力させ、ｎは２以上の自然数であり、ｍは２以上の自然数である、固体撮像装置（固体撮像装置１）が構成される。

また、第１の実施形態によれば、読み出しアドレス制御回路１００は、同時期に出力されたイベント画素信号に含まれるアドレス情報に対応する光電変換素子ＰＤ２が分布している位置に基づいて生成した矩形の領域（例えば、予め定めた５行５列の矩形の読み出し領域ａｒ１）を、読み出し領域ａｒとして決定する、固体撮像装置１が構成される。

また、第１の実施形態によれば、読み出しアドレス制御回路１００は、同時期に出力されたイベント画素信号に含まれるアドレス情報に対応する光電変換素子ＰＤ２が分布している領域（例えば、動き検出画素分布Ｄ１）を包含する矩形の領域（例えば、読み出し領域ａｒ６）を、読み出し領域ａｒとして決定する、固体撮像装置１が構成される。

また、第１の実施形態によれば、読み出しアドレス制御回路１００は、同時期に出力されたイベント画素信号に含まれるアドレス情報に対応する光電変換素子ＰＤ２の分布の大きさが、予め定めた分布の大きさの閾値よりも大きい場合に、光電変換素子ＰＤ２の分布の大きさに応じた矩形の領域を読み出し領域ａｒとして決定し、同時期に出力されたイベント画素信号に含まれるアドレス情報に対応する光電変換素子ＰＤ２の分布の大きさが、分布の大きさの閾値以下である場合に、読み出し領域ａｒを決定しない、固体撮像装置１が構成される。

また、第１の実施形態によれば、読み出しアドレス制御回路１００は、同時期に出力されたイベント画素信号に含まれるアドレス情報に対応する光電変換素子ＰＤ２の数が、予め定めた数の閾値よりも多い場合に、それぞれのアドレス情報に対応する光電変換素子ＰＤ２に対応する読み出し領域ａｒを決定し、同時期に出力されたイベント画素信号に含まれるアドレス情報に対応する光電変換素子ＰＤ２の数が、数の閾値以下である場合に、読み出し領域ａｒを決定しない、固体撮像装置１が構成される。

また、第１の実施形態によれば、読み出しアドレス制御回路１００は、ｎ個の光電変換素子ＰＤ１が配置された全体の領域を、予め定めた大きさで区切った複数のブロックに分割し、分割したそれぞれのブロックごとに、読み出し領域ａｒを決定する、固体撮像装置１が構成される。

また、第１の実施形態によれば、ｎ個の光電変換素子ＰＤ１のそれぞれおよびｍ個の光電変換素子ＰＤ２のそれぞれは、第１の半導体基板（第１の半導体基板１１）の同一の平面の領域（画素アレイ部４０の領域）に周期的に配置される、固体撮像装置１が構成される。

また、第１の実施形態によれば、ＡＥＲ回路５２６は、第１の半導体基板１１に光が入射する側の面と反対側の面に積層される第２の半導体基板（第２の半導体基板１２）に配置される、固体撮像装置１が構成される。

また、第１の実施形態によれば、第１の半導体基板１１と第２の半導体基板１２との間に形成され、第１の半導体基板１１の回路要素と第２の半導体基板１２の回路要素とを電気的に接続する接続部（チップ接続部１３）、をさらに有し、チップ接続部１３は、ｍ個の動き検出画素５２の読み出し回路のそれぞれが有するスレッショルドアンプ５２４およびスレッショルドアンプ５２５と、対応する光電変換素子ＰＤ２とを電気的に接続する、固体撮像装置１が構成される。

上記に述べたように、第１の実施形態の固体撮像装置１では、通常の撮影による画素信号の出力に特化した通常画素５１（または通常画素５３）と、動き検出によるイベント画素信号の出力に特化した動き検出画素５２とのそれぞれを、画素アレイ部４０における行方向および列方向に周期的に（平面状に）配置する。これにより、第１の実施形態の固体撮像装置１では、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。

そして、第１の実施形態の固体撮像装置１では、動き検出画素５２からイベント画素信号が出力されたときに、イベント画素信号を出力した動き検出画素５２の位置に対応する予め定めた読み出し領域内に配置された通常画素５１（または通常画素５３）から画素信号を出力する（読み出す）。つまり、第１の実施形態の固体撮像装置１では、被写体の動きを検出した動き検出画素５２が配置された位置に対応する予め定めた小さな読み出し領域に配置されている通常画素５１（または通常画素５３）のみから通常の撮影の画素信号を出力する（読み出す）。これにより、第１の実施形態の固体撮像装置１では、従来の固体撮像装置のように、被写体の動きを反映した画像を生成するために通常の撮影で得た全ての画素信号を読み出すのに比べて、消費電力を削減することができる。

また、第１の実施形態の固体撮像装置１を搭載した撮像システムに備えた画像処理部は、被写体の動きが検出された小さな読み出し領域に配置されている通常画素５１（または通常画素５３）のみから出力した（読み出した）少ない数の画素信号に基づいて、被写体の動きを反映した画像を生成することができる。このことにより、第１の実施形態の固体撮像装置１を搭載した撮像システムに備えた画像処理部では、被写体の動きを検出したときに対して時間的なずれが少ない、被写体の動きを反映した高画質の画像を生成することができる。

なお、図４に示した通常画素５１と動き検出画素５２との配置の一例では、画素アレイ部４０内に配置する動き検出画素５２の数が、通常画素５１の数よりも少ない。しかし、被写体の動きの検出では、通常の撮影において生成する画像ほど高い解像度、つまり、高画質は要求されない。一方、通常の撮影においては、画素アレイ部４０に備える通常画素５１の数を増加させることによって、高画素化を実現することが望ましい。第１の実施形態の固体撮像装置１では、画素アレイ部４０内に配置する通常画素５１の数をさらに多くすることによって、通常の撮影において生成する画像の画質を向上させる、つまり、高精細な出力を得る構成にすることもできる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本発明の第２の実施形態における固体撮像装置（以下、「固体撮像装置２」という）の概観や概略構成は、図１および図２に示した第１の実施形態における固体撮像装置１の概観および概略構成と同様である。従って、以下の説明においては、固体撮像装置２の構成要素において、第１の実施形態の固体撮像装置１の構成要素と同様の構成要素には、同一の符号を用い、それぞれの構成要素や動作に関する詳細な説明は省略する。

ここで、第２の実施形態の固体撮像装置２において画素アレイ部４０内に配置する画素５０の構成について説明する。固体撮像装置２において画素アレイ部４０内に配置する画素５０も、第１の実施形態の固体撮像装置１と同様に、通常読み出しによる通常の撮影の画素信号と、動き検出読み出しによる動き検出のイベント画素信号とを出力する。ただし、固体撮像装置２において画素アレイ部４０内に配置する動き検出のイベント画素信号を出力する画素５０は、通常の撮影の画素信号も出力することができる構成である。すなわち、この画素５０は、第１の実施形態の固体撮像装置１において画素アレイ部４０内に配置する通常画素５１と動き検出画素５２との機能の両方を備えた構成の画素である。

以下の説明においては、固体撮像装置２の画素アレイ部４０内に配置する、通常読み出しによる通常の撮影の画素信号の出力と、動き検出読み出しによる動き検出のイベント画素信号の出力とを行う画素５０を「兼用画素５４」という。兼用画素５４は、通常画素５１に備えた光電変換素子ＰＤ１と動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用し、同じ光電変換素子が発生した電荷信号に基づいて、通常の撮影の画素信号と動き検出のイベント画素信号とのそれぞれを出力する。

図１３は、本発明の第２の実施形態の固体撮像装置２における兼用画素５４の構成の一例を示した回路図である。図１３に示した兼用画素５４は、第１の実施形態の固体撮像装置１において画素アレイ部４０内に配置した通常画素５１に備えた光電変換素子ＰＤ１と、動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する構成の画素である。なお、兼用画素５４を構成する回路要素には、第１の実施形態の固体撮像装置１において配置する通常画素５１または動き検出画素５２を構成する回路要素と同様の回路要素を含んでいる。従って、以下の説明においては、兼用画素５４を構成する回路要素において、通常画素５１または動き検出画素５２を構成する回路要素と同様の回路要素には同一の符号を付与し、詳細な説明は省略する。

図１３において、兼用画素５４は、光電変換素子ＰＤ１２と、電荷転送トランジスタ５１１と、画素リセットトランジスタ５１２と、増幅トランジスタ５１３と、選択トランジスタ５１４と、アンプ５２１と、バイアストランジスタ５２２と、スイッチトキャパシタアンプ回路５２３と、スレッショルドアンプ５２４およびスレッショルドアンプ５２５と、ＡＥＲ回路５２６とを備えている。また、スイッチトキャパシタアンプ回路５２３は、キャパシタ５２３１と、アンプ５２３２と、キャパシタ５２３３と、スイッチ５２３４とを備えている。なお、図１３においては、兼用画素５４に備えた増幅トランジスタ５１３のゲート端子に接続されたノードに付随する容量であるノード容量ＦＤ１を、兼用画素５４の回路要素としてキャパシタの記号で示している。

兼用画素５４では、光電変換素子ＰＤ１２と、電荷転送トランジスタ５１１と、画素リセットトランジスタ５１２と、増幅トランジスタ５１３と、選択トランジスタ５１４と、ノード容量ＦＤ１との構成によって、通常の撮影による電荷信号を発生させる画素、つまり、第１の実施形態の固体撮像装置１における通常画素５１と同様の画素を構成する。なお、以下の説明においては、通常の撮影による電荷信号を発生させる兼用画素５４を「通常兼用画素５４１」という。通常兼用画素５４１においては、電荷転送トランジスタ５１１、画素リセットトランジスタ５１２、増幅トランジスタ５１３、および選択トランジスタ５１４と、ノード容量ＦＤ１とで、通常の撮影において光電変換素子ＰＤ１２が発生させた電荷信号に応じた画素信号を読み出す読み出し回路を構成している。

また、兼用画素５４では、光電変換素子ＰＤ１２と、アンプ５２１と、バイアストランジスタ５２２と、スイッチトキャパシタアンプ回路５２３と、スレッショルドアンプ５２４およびスレッショルドアンプ５２５と、ＡＥＲ回路５２６との構成によって、動き検出のための電荷信号を発生させる画素、つまり、第１の実施形態の固体撮像装置１における動き検出画素５２と同様の画素を構成する。なお、以下の説明においては、動き検出のための電荷信号を発生させる兼用画素５４を「動き検出兼用画素５４２」という。動き検出兼用画素５４２においては、アンプ５２１およびバイアストランジスタ５２２で、動き検出のために光電変換素子ＰＤ１２が発生させた電荷信号を出力する出力回路を構成し、スイッチトキャパシタアンプ回路５２３、スレッショルドアンプ５２４、スレッショルドアンプ５２５、およびＡＥＲ回路５２６で、動き検出のために光電変換素子ＰＤ１２が発生させた電荷信号を読み出す読み出し回路を構成している。

固体撮像装置２では、兼用画素５４を、第１の実施形態の固体撮像装置１において画素アレイ部４０内に配置した動き検出画素５２の代わりに、配置する。このとき、固体撮像装置２では、光電変換素子ＰＤ１２と、通常兼用画素５４１の読み出し回路と、動き検出兼用画素５４２の出力回路とを、第１の半導体基板１１に形成する。また、固体撮像装置２では、動き検出兼用画素５４２の読み出し回路を第２の半導体基板１２に形成する。

光電変換素子ＰＤ１２は、第１の実施形態の固体撮像装置１において、通常画素５１に備えた光電変換素子ＰＤ１および動き検出画素５２に備えた光電変換素子ＰＤ２と同様に、入射してきた光（光線）を光電変換して電荷信号を発生させ、発生させた電荷信号を蓄積するフォトダイオードである。光電変換素子ＰＤ１２は、発生させた電荷信号を逐次、アンプ５２１に出力する。

兼用画素５４は、通常の撮影による画素信号を出力する画素として動作する場合、つまり、通常読み出しによって通常兼用画素５４１から画素信号を垂直信号線６０に出力する場合、アンプ５２１は、バイアスの制御に応じて、バイアストランジスタ５２２が常にＯＮ状態になるようにする電圧の電圧信号Ｖｐを、バイアストランジスタ５２２のゲート端子に出力する。すなわち、兼用画素５４において通常の撮影による画素信号を出力する場合には、バイアストランジスタ５２２によって、光電変換素子ＰＤ１２が発生した電荷信号を、電荷転送トランジスタ５１１にそのまま伝送させる。これにより、電荷転送トランジスタ５１１は、垂直走査回路２０から入力された制御信号ＴＸに応じて、光電変換素子ＰＤ１２が発生して蓄積し、バイアストランジスタ５２２を介して入力された電荷信号を、増幅トランジスタ５１３のゲート端子に転送する。これにより、電荷転送トランジスタ５１１によって転送された電荷信号が、ノード容量ＦＤ１に蓄積される。

このような動作によって、兼用画素５４（通常兼用画素５４１）では、光電変換素子ＰＤ１２が入射した光を光電変換した電荷信号に応じたそれぞれの信号電圧を、画素信号として垂直信号線６０に読み出す。

一方、兼用画素５４は、動き検出のための電荷信号を発生させる画素として動作する場合、つまり、動き検出読み出しによって動き検出兼用画素５４２から動き検出のイベント画素信号とを出力する場合、垂直走査回路２０は、画素リセットトランジスタ５１２が常にＯＮ状態になるように制御信号ＲＳＴを制御する。また、垂直走査回路２０は、制御信号ＴＸを固定のバイアス電圧に制御する。これにより、画素リセットトランジスタ５１２と電荷転送トランジスタ５１１とによって、バイアストランジスタ５２２に、固定のバイアス電圧に応じた固定の電圧が供給される。

このような動作によって、兼用画素５４（動き検出兼用画素５４２）では、光電変換素子ＰＤ１２が、被写体の動きに応じた大きさの電荷信号を発生させて、電荷信号の変化とその変化した方向に応じたイベント画素信号を出力する。

このような構成および動作によって、兼用画素５４は、通常読み出しによる通常の撮影の画素信号と、動き検出読み出しによる動き検出のイベント画素信号とを出力することができる。

なお、図１３に示した兼用画素５４の構成では、第１の実施形態の固体撮像装置１において画素アレイ部４０内に配置した通常画素５１に備えた光電変換素子ＰＤ１と、動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する構成を示した。しかし、兼用画素５４は、第１の実施形態の変形例において示した通常画素５３に備えた光電変換素子ＰＤ１と、動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する光電変換素子ＰＤ１２を備えた構成にすることもできる。より具体的には、図１３に示した兼用画素５４と同様に、通常画素５３に備えた電荷転送トランジスタ５１１において光電変換素子ＰＤ１が接続されたソース端子およびドレイン端子の一方の端子と、動き検出画素５２に備えたバイアストランジスタ５２２において光電変換素子ＰＤ２が接続されていないソース端子およびドレイン端子の一方の端子とを接続する。これにより、通常画素５３に備えた光電変換素子ＰＤ１と、動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する構成にすることができる。

なお、兼用画素５４では、上述したように、通常画素５１（または通常画素５３）に対応する通常兼用画素５４１と、動き検出画素５２に対応する動き検出兼用画素５４２とで光電変換素子ＰＤ１２を兼用している。このため、固体撮像装置２では、通常兼用画素５４１から画素信号を読み出す通常読み出しと、動き検出兼用画素５４２から動き検出の画素信号（イベント画素信号）を読み出す動き検出読み出しとを排他的に行う。

（第２の実施形態の画素指定方法）
次に、第２の実施形態の固体撮像装置２における画素５０（通常画素５１または通常画素５３）の指定方法について説明する。なお、固体撮像装置２において読み出しアドレス制御回路１００が画素信号を出力する（読み出す）通常画素５３の読み出し領域を決定する方法は、第１の実施形態の固体撮像装置１における第１〜第３の画素指定方法と同様である。従って、固体撮像装置２において、読み出しアドレス制御回路１００が、画素信号を出力する（読み出す）通常画素５３の読み出し領域を決定する方法に関する詳細な説明は省略し、以下の説明においては、固体撮像装置２において画素信号を出力する通常画素５１（または通常画素５３）を指定する構成について説明する。

以下の説明においては、固体撮像装置２の画素アレイ部４０内に、通常の撮影の画素信号の読み出しを行う画素５０として通常画素５３が、通常の撮影の画素信号とイベント画素信号との読み出しを行う画素５０として兼用画素５４が、それぞれ配置されているものとして説明する。なお、画素アレイ部４０における通常画素５３と兼用画素５４との配置は、図４に示した第１の実施形態の固体撮像装置１における画素５０の配置と同様であるものとする。より具体的には、固体撮像装置２の画素アレイ部４０において、図４に示した第１の実施形態の固体撮像装置１の画素アレイ部４０内に配置された通常画素５１の代わりに通常画素５３が配置され、動き検出画素５２の代わりに兼用画素５４が配置されているものとする。

図１４は、本発明の第２の実施形態の固体撮像装置２において画素信号を出力する構成を示した図である。図１４には、固体撮像装置２おいて通常画素５３と兼用画素５４とが配置された画素アレイ部４０の一部の縦構造と、制御回路１０に備えた読み出しアドレス制御回路１００とを示している。より具体的には、第１の半導体基板１１に形成された通常画素５３と、第１の半導体基板１１および第２の半導体基板１２に形成された兼用画素５４と、読み出しアドレス制御回路１００との間でやり取りされるそれぞれの信号を示している。

上述したように、固体撮像装置２では、通常画素５３の光電変換素子ＰＤ１と読み出し回路とを、第１の半導体基板１１に形成する。図１４には、通常画素５３の光電変換素子ＰＤ１と、通常画素５３の読み出し回路に備えた選択トランジスタ５１４とを第１の半導体基板１１に形成している状態を示している。

また、上述したように、固体撮像装置２では、兼用画素５４の光電変換素子ＰＤ１２と、兼用画素５４内に構成される通常兼用画素５４１の読み出し回路と、兼用画素５４内に構成される動き検出兼用画素５４２の出力回路とを第１の半導体基板１１に形成する。また、上述したように、固体撮像装置２では、兼用画素５４内に構成される動き検出兼用画素５４２の読み出し回路を第２の半導体基板１２に形成する。図１４には、兼用画素５４の光電変換素子ＰＤ１２と通常兼用画素５４１の読み出し回路に備えた選択トランジスタ５１４とを第１の半導体基板１１に形成し、動き検出兼用画素５４２の読み出し回路に備えたスイッチトキャパシタアンプ回路５２３とＡＥＲ回路５２６とを第２の半導体基板１２に形成している状態を示している。

このとき、固体撮像装置２では、動き検出兼用画素５４２の読み出し回路を、第１の半導体基板１１に形成された通常画素５３の領域と重複している領域を含めた第２の半導体基板１２の領域に形成する。図１４には、動き検出兼用画素５４２の読み出し回路に備えたスイッチトキャパシタアンプ回路５２３とＡＥＲ回路５２６とを、第１の半導体基板１１に形成された通常画素５３の領域と重複している領域を含めた第２の半導体基板１２の領域に形成している状態を示している。

そして、固体撮像装置２では、動き検出兼用画素５４２の出力回路と、対応する動き検出兼用画素５４２の読み出し回路とを、第１の半導体基板１１と第２の半導体基板１２との間に形成するチップ接続部１３によって電気的に接続する。図１４には、第１の半導体基板１１に形成した動き検出兼用画素５４２の出力回路に備えたアンプ５２１（不図示）と、第２の半導体基板１２に形成した動き検出兼用画素５４２の読み出し回路に備えたスイッチトキャパシタアンプ回路５２３とを、チップ接続部１３によって接続している状態を示している。

そして、固体撮像装置２でも、第１の実施形態の固体撮像装置１と同様に、第２の半導体基板１２に形成された動き検出兼用画素５４２のＡＥＲ回路５２６は、光電変換素子ＰＤ１２が発生した電荷信号の時間的な変化を検出したとき、イベント画素信号を、読み出しアドレス制御回路１００に出力する。

読み出しアドレス制御回路１００は、イベント画素信号が入力されると、入力されたイベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した兼用画素５４の位置を検出（確認）する。そして、読み出しアドレス制御回路１００は、検出（確認）した兼用画素５４の位置を中心とした予め定めた読み出し領域に配置されている通常画素５３の領域を、通常画素５３から画素信号を出力する（読み出す）読み出し領域に決定する。

そして、読み出しアドレス制御回路１００は、決定した読み出し領域内に配置されている通常画素５３を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。これにより、垂直走査回路２０および水平走査回路３０のそれぞれは、指定された通常画素５３を順次駆動して、読み出しアドレス制御回路１００によって指定された通常画素５３から画素信号を出力する（読み出す）。

なお、固体撮像装置２では、画素アレイ部４０内に、通常の撮影の画素信号とイベント画素信号との読み出しを行う兼用画素５４が配置されている。このため、固体撮像装置２では、兼用画素５４内に構成される動き検出兼用画素５４２が出力したイベント画素信号に応じて読み出す画素信号は、通常画素５３から読み出す通常の撮影による画素信号のみではなく、兼用画素５４内に構成される通常兼用画素５４１からも通常の撮影による画素信号を読み出すことができる。つまり、第１の実施形態の固体撮像装置１では、画素アレイ部４０において動き検出画素５２が配置されている画素アレイ部４０内の位置が、通常の撮影の画素信号を読み出す通常画素５１が欠けている位置となっていたが、固体撮像装置２では、固体撮像装置１において動き検出画素５２が配置されている位置でも、通常の撮影による画素信号を読み出すことができる。すなわち、通常の撮影における画素信号が欠けている位置がない。このため、固体撮像装置２から出力された通常の撮影における画素信号に基づいて画像を生成する画像処理部は、それぞれの画素信号に基づいた画像を生成する際に、欠けている画素の画素信号を補間する演算を行う必要がない。

ただし、上述したように、固体撮像装置２では、兼用画素５４内に構成される通常兼用画素５４１から画素信号を読み出す通常読み出しと、兼用画素５４内に構成される動き検出兼用画素５４２から動き検出の画素信号（イベント画素信号）を読み出す動き検出読み出しとを時分割で行う。

ここで、兼用画素５４内に構成される通常兼用画素５４１と動き検出兼用画素５４２とのそれぞれから画素信号（通常の撮影における画素信号およびイベント画素信号）を読み出す動作について説明する。なお、以下の説明においては、兼用画素５４が、通常画素５３に備えた光電変換素子ＰＤ１と、動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する構成の兼用画素５４であるものとして説明する。つまり、兼用画素５４内に構成される通常兼用画素５４１は、通常画素５３と同様に、光電変換素子ＰＤ１２が発生した電荷信号に応じた信号電圧を電荷蓄積容量５３０に一旦蓄積する動作をし、兼用画素５４に備えた動き検出兼用画素５４２は、動き検出画素５２と同様に、逐次被写体の動きを検出する動き検出の動作をするものとして説明する。

図１５は、本発明の第２の実施形態の固体撮像装置２における画素信号（通常の撮影における画素信号およびイベント画素信号）の読み出しシーケンスを示したタイミングチャートである。なお、固体撮像装置２においても、垂直走査回路２０および水平走査回路３０のそれぞれが、制御回路１０または制御回路１０に備えた読み出しアドレス制御回路１００が出力した制御信号に応じて通常画素５３や兼用画素５４を駆動するが、以下の説明においては、説明を容易にするため、読み出しアドレス制御回路１００が通常画素５３や兼用画素５４を駆動するものとして説明する。なお、通常画素５３の動作と兼用画素５４内に構成される通常兼用画素５４１の動作とは同様であるため、以下の説明においては、通常画素５３の動作を、通常兼用画素５４１の動作として説明する。また、動き検出画素５２の動作は、兼用画素５４に備えた動き検出兼用画素５４２の動作として説明する。図１５には、兼用画素５４に備えた光電変換素子ＰＤ１２と、通常兼用画素５４１の動作を表すための電荷蓄積容量５３０と、動き検出兼用画素５４２の動作を表すＡＥＲ回路５２６とを示している。

読み出しアドレス制御回路１００は、予め定めたフレームレートの周期で、通常兼用画素５４１（通常画素５３も含む）に通常の撮影のための露光を行わせる。そして、読み出しアドレス制御回路１００は、通常の撮影における任意の露光時間が経過した後、グローバルシャッタ機能の動作によって、全ての通常兼用画素５４１の光電変換素子ＰＤ１２（通常画素５３の光電変換素子ＰＤ１も含む）が発生した電荷信号に応じた信号電圧を電荷蓄積容量５３０に転送して蓄積させる。

その後、読み出しアドレス制御回路１００は、引き続き、動き検出兼用画素５４２に動き検出のための露光を行わせる。これにより、動き検出兼用画素５４２は、被写体の動きを逐次検出する。なお、図１５には、光電変換素子ＰＤ１２が発生する電荷信号が飽和した場合を考慮し、動き検出のための露光を、予め定めた任意の露光時間で区切って、複数回行う場合を示している。

そして、読み出しアドレス制御回路１００は、いずれかの動き検出兼用画素５４２からイベント画素信号が入力されると、入力されたイベント画素信号に含まれるアドレス情報に基づいて、画素信号を読み出す通常画素５３の読み出し領域を決定し、決定した読み出し領域内に配置されている通常画素５３から画素信号を読み出す。このとき、読み出しアドレス制御回路１００は、イベント画素信号を出力した動き検出兼用画素５４２と光電変換素子ＰＤ１２を兼用している通常兼用画素５４１からも、画素信号を読み出す。より具体的には、決定した読み出し領域内に配置されている通常画素５３および通常兼用画素５４１に備えた電荷蓄積容量５３０から、蓄積した信号電圧に応じた画素信号を読み出す。

このように、固体撮像装置２では、通常の撮影のためのそれぞれの露光の間の時間に、動き検出のための露光を行う。そして、被写体の動きを検出した動き検出兼用画素５４２を備えた兼用画素５４内に構成される通常兼用画素５４１からも画素信号を読み出す。このとき、固体撮像装置２では、第１の実施形態の固体撮像装置１と同様に、すでに取得している１フレーム分の画素信号の内、動きが検出された小さな読み出し領域から少ない数の画素信号を読み出す。これにより、固体撮像装置２でも、第１の実施形態の固体撮像装置１と同様に、検出した被写体の動きに応じた画素信号を読み出す際の消費電力を削減することができる。

しかも、固体撮像装置２では、被写体の動きを検出した動き検出兼用画素５４２が配置された位置の通常の撮影における画素信号も、画素信号を読み出す読み出し領域内の画素信号として読み出すことができる。このため、固体撮像装置２を搭載した撮像システムに備えた画像処理部は、それぞれの画素信号に基づいた画像を生成する際に、欠けている画素の画素信号を補間する演算を行う必要がない。

第２の実施形態によれば、ｓ個の第１の光電変換素子（光電変換素子ＰＤ１）が発生したｓ個の第１の電荷信号を１つの単位とした電荷信号を第２の光電変換素子（光電変換素子ＰＤ２）が発生する第２の電荷信号として兼用し、ｓは１以上の自然数であり、第２の電荷信号として兼用する第１の電荷信号を出力する光電変換素子ＰＤ１の総数は、１以上でｎ以下の自然数である、固体撮像装置（固体撮像装置２）が構成される。

上記に述べたように、第２の実施形態の固体撮像装置２では、通常の撮影による画素信号の出力に特化した通常画素５１（または通常画素５３）と、通常の撮影による画素信号の出力と、動き検出によるイベント画素信号の出力とを、同じ光電変換素子ＰＤ１２が発生した電荷信号に基づいて行う兼用画素５４を、画素アレイ部４０における行方向および列方向に周期的に（平面状に）配置する。これにより、第２の実施形態の固体撮像装置２でも、第１の実施形態の固体撮像装置１と同様に、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。

そして、第２の実施形態の固体撮像装置２でも、第１の実施形態の固体撮像装置１と同様に、兼用画素５４内に構成される動き検出兼用画素５４２からイベント画素信号が出力されたときに、イベント画素信号を出力した動き検出兼用画素５４２の位置に対応する予め定めた読み出し領域内に配置された通常画素５１（または通常画素５３）から画素信号を出力する（読み出す）。つまり、第２の実施形態の固体撮像装置２でも、第１の実施形態の固体撮像装置１と同様に、被写体の動きを検出した兼用画素５４（動き検出兼用画素５４２）が配置された位置に対応する予め定めた小さな読み出し領域に配置されている通常画素５１（または通常画素５３）とイベント画素信号を出力した兼用画素５４内に構成される通常兼用画素５４１のみから通常の撮影の画素信号を出力する（読み出す）。これにより、第２の実施形態の固体撮像装置２でも、第１の実施形態の固体撮像装置１と同様に、従来の固体撮像装置のように、被写体の動きを反映した画像を生成するために通常の撮影で得た全ての画素信号を読み出すのに比べて、消費電力を削減することができる。

また、第２の実施形態の固体撮像装置２を搭載した撮像システムに備えた画像処理部も、第１の実施形態の固体撮像装置１を搭載した撮像システムに備えた画像処理部と同様に、被写体の動きが検出された小さな読み出し領域に配置されている通常画素５１（または通常画素５３）と、兼用画素５４（通常兼用画素５４１）のみから出力した（読み出した）少ない数の画素信号に基づいて、被写体の動きを反映した画像を生成することができる。このとき、第２の実施形態の固体撮像装置２を搭載した撮像システムに備えた画像処理部は、欠けている画素の画素信号を補間する演算を行うことなく、被写体の動きを反映した画像を生成することができる。このことにより、第２の実施形態の固体撮像装置２を搭載した撮像システムに備えた画像処理部は、第１の実施形態の固体撮像装置１を搭載した撮像システムに備えた画像処理部よりも少ない処理の負荷で、被写体の動きを検出したときに対して時間的なずれが少ない、被写体の動きを反映した高画質の画像を生成することができる。

なお、第２の実施形態の固体撮像装置２では、通常画素５１（または通常画素５３）と兼用画素５４とが、図４に示した第１の実施形態の固体撮像装置１における画素５０の配置と同様に配置されているものとして説明した。つまり、第２の実施形態の固体撮像装置２の画素アレイ部４０において、図４に示した第１の実施形態の固体撮像装置１の画素アレイ部４０内に配置された通常画素５１の代わりに通常画素５３が配置され、動き検出画素５２の代わりに兼用画素５４が配置されているものとして説明した。しかし、第２の実施形態の固体撮像装置２における画素アレイ部４０内の通常画素５１（または通常画素５３）と兼用画素５４との配置は、上述した第１の実施形態の固体撮像装置１における画素アレイ部４０内の画素５０の配置と同様の配置に限定されるものではない。例えば、第２の実施形態の固体撮像装置２における画素アレイ部４０の平面の領域全体に、兼用画素５４を均一に配置してもよい。これは、兼用画素５４は、通常兼用画素５４１が、通常画素５１（または通常画素５３）と同様に、通常読み出しによって、通常の撮影の画素信号を出力することができる構成の画素５０であるからである。

なお、上述したように、第２の実施形態の固体撮像装置２でも、画素アレイ部４０に備える通常画素５１（または通常画素５３）および通常兼用画素５４１の数を増加させることによって、通常の撮影において高画素化を実現することが望ましい。第２の実施形態の固体撮像装置２でも、画素アレイ部４０内に配置する通常画素５１（または通常画素５３）および通常兼用画素５４１をより高精細化して、画素アレイ部４０内に配置する数をさらに多くすることによって、通常の撮影において生成する画像の画質を向上させる、つまり、高精細な出力を得る構成にすることもできる。

しかしながら、上述したように、第２の実施形態の固体撮像装置２においても、被写体の動きを逐次検出する動き検出では、光電変換素子ＰＤ１２が、短い時間であっても電荷信号を発生し、動き検出兼用画素５４２が被写体の動きの検出を行えることが望ましい。ところが、通常兼用画素５４１をより高精細化すると、動き検出兼用画素５４２と兼用している光電変換素子ＰＤ１２の面積が小さくなって、光電変換によって発生する電荷信号のレベルが低下してしまう。これは、動き検出兼用画素５４２が動き検出において時間的な変化を検出するための電荷信号のレベルも低下するということであり、動き検出の精度が低下してしまうことにつながってしまう。そこで、第２の実施形態の固体撮像装置２では、兼用画素５４の構成を変更することによって、通常の撮影において生成する画像の画質を向上させる、つまり、高画素化を実現する構成にすると共に、動き検出の精度の低下を抑える構成にすることもできる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。なお、本発明の第３の実施形態における固体撮像装置（以下、「固体撮像装置３」という）の概観や概略構成は、第２の実施形態における固体撮像装置２の概観および概略構成、つまり、図１および図２に示した第１の実施形態における固体撮像装置１の概観および概略構成と同様である。従って、以下の説明においては、固体撮像装置３の構成要素において、第１の実施形態の固体撮像装置１および第２の実施形態の固体撮像装置２の構成要素と同様の構成要素には、同一の符号を用い、それぞれの構成要素や動作に関する詳細な説明は省略する。

ここで、第３の実施形態の固体撮像装置３において画素アレイ部４０内に配置する画素５０の構成について説明する。固体撮像装置３において画素アレイ部４０内に配置する画素５０も、第２の実施形態の固体撮像装置２において画素アレイ部４０内に配置する兼用画素５４と同様に、通常読み出しによる通常の撮影の画素信号と、動き検出読み出しによる動き検出のイベント画素信号とを出力する。すなわち、この画素５０も、兼用画素５４と同様に、通常画素５１（または通常画素５３）に備えた光電変換素子ＰＤ１と動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する構成の画素である。ただし、固体撮像装置３において画素アレイ部４０内に配置する画素５０は、複数の光電変換素子ＰＤ１が発生した電荷信号に基づいて被写体の動きを検出し、イベント画素信号を出力する。

以下の説明においては、固体撮像装置３の画素アレイ部４０内に配置する、通常読み出しによる通常の撮影の画素信号の出力と、動き検出読み出しによる動き検出のイベント画素信号の出力とを行う画素５０を「兼用画素５５」という。兼用画素５５は、複数の通常画素５１（または通常画素５３）の機能と、１個の動き検出画素５２の機能とを備えた構成の画素である。つまり、兼用画素５５は、図１３に示した兼用画素５４において、通常の撮影による電荷信号を発生させる通常兼用画素５４１を高精細化して通常の撮影において生成する画像の画質を向上させると共に、動き検出のための電荷信号を発生させる動き検出兼用画素５４２が兼用する光電変換素子ＰＤ１２の数を多くすることによって動き検出の精度の低下を抑える構成の画素である。

図１６は、本発明の第３の実施形態の固体撮像装置３における兼用画素５５の構成の一例を示した回路図である。図１６には、２個の高精細化した通常兼用画素５４１と１個の動き検出兼用画素５５２とを備えた構成の兼用画素５５を示している。なお、兼用画素５５を構成する回路要素には、第２の実施形態の固体撮像装置２において画素アレイ部４０内に配置する兼用画素５４を構成する回路要素と同様の回路要素を含んでいる。従って、以下の説明においては、兼用画素５５を構成する回路要素において、第２の実施形態の固体撮像装置２において画素アレイ部４０内に配置する兼用画素５４を構成する回路要素と同様の回路要素には同一の符号を付与し、詳細な説明は省略する。

兼用画素５５に備えた２個の通常兼用画素５４１のそれぞれは、兼用画素５４内に構成される通常兼用画素５４１と同様の構成である。図１６においては、２個の通常兼用画素５４１のそれぞれを、通常兼用画素５４１ａおよび通常兼用画素５４１ｂとして区別している。そして、図１６では、それぞれの通常兼用画素５４１内の回路要素を区別するため、それぞれの回路要素の符号に続いて、通常兼用画素５４１のそれぞれを区別するために付与した符号、すなわち、「ａ」または「ｂ」を付与している。

より具体的には、通常兼用画素５４１ａは、光電変換素子ＰＤ１２ａと、電荷転送トランジスタ５１１ａと、画素リセットトランジスタ５１２ａと、増幅トランジスタ５１３ａと、選択トランジスタ５１４ａと、ノード容量ＦＤ１ａとによって構成されている。また、通常兼用画素５４１ｂは、光電変換素子ＰＤ１２ｂと、電荷転送トランジスタ５１１ｂと、画素リセットトランジスタ５１２ｂと、増幅トランジスタ５１３ｂと、選択トランジスタ５１４ｂと、ノード容量ＦＤ１ｂとによって構成されている。

なお、通常兼用画素５４１ａおよび通常兼用画素５４１ｂの動作や、垂直走査回路２０による制御タイミングは、兼用画素５４内に構成される通常兼用画素５４１と同様であるため、詳細な説明は省略する。

また、兼用画素５５に備えた１個の動き検出兼用画素５５２は、兼用画素５４内に構成される動き検出兼用画素５４２と同様の構成である。ただし、動き検出兼用画素５５２では、１個の動き検出兼用画素５５２が、複数の通常兼用画素５４１と光電変換素子ＰＤ１２を兼用する。図１６には、１個の動き検出兼用画素５５２が、高精細化した通常兼用画素５４１ａおよび通常兼用画素５４１ｂのそれぞれと光電変換素子ＰＤ１２を兼用する。つまり、動き検出兼用画素５５２は、複数の光電変換素子ＰＤ１２が発生した電荷信号に基づいて被写体の動きを検出する。このため、動き検出兼用画素５５２では、それぞれの光電変換素子ＰＤ１２に対応する回路要素の構成が変更されている。

より具体的には、動き検出兼用画素５５２は、兼用画素５４内に構成される動き検出兼用画素５４２に備えたアンプ５２１、バイアストランジスタ５２２、およびスイッチトキャパシタアンプ回路５２３に備えたキャパシタ５２３１のそれぞれが、兼用するそれぞれの光電変換素子ＰＤ１２に対応した構成になっている。

なお、図１６においては、動き検出兼用画素５５２内の回路要素においていずれかの１つの光電変換素子ＰＤ１２に対応する回路要素には、光電変換素子ＰＤ１２に付与された符号（「ａ」または「ｂ」）をそれぞれの回路要素の符号に続いて付与することによって、それぞれの回路要素が対応する光電変換素子ＰＤ１２を区別している。

より具体的には、動き検出兼用画素５５２は、アンプ５２１ａおよびアンプ５２１ｂと、バイアストランジスタ５２２ａおよびバイアストランジスタ５２２ｂと、スイッチトキャパシタアンプ回路５５３と、スレッショルドアンプ５２４およびスレッショルドアンプ５２５と、ＡＥＲ回路５２６とによって構成されている。また、スイッチトキャパシタアンプ回路５５３は、キャパシタ５２３１ａおよびキャパシタ５２３１ｂと、アンプ５２３２と、キャパシタ５２３３と、スイッチ５２３４とによって構成されている。

アンプ５２１ａは、対応する光電変換素子ＰＤ１２ａが発生して出力した電荷信号を増幅し、増幅した電荷信号を、チップ接続部１３ａを介してスイッチトキャパシタアンプ回路５５３内のキャパシタ５２３１ａに出力する。また、アンプ５２１ａは、増幅した電荷信号を、バイアストランジスタ５２２ａのゲート端子に、電圧信号Ｖｐａとして転送する。

アンプ５２１ｂは、対応する光電変換素子ＰＤ１２ｂが発生して出力した電荷信号を増幅し、増幅した電荷信号を、チップ接続部１３ｂを介してスイッチトキャパシタアンプ回路５５３内のキャパシタ５２３１ｂに出力する。また、アンプ５２１ｂは、増幅した電荷信号を、バイアストランジスタ５２２ｂのゲート端子に、電圧信号Ｖｐｂとして転送する。

バイアストランジスタ５２２ａは、ゲート端子に転送された電圧信号Ｖｐａに応じて光電変換素子ＰＤ１２ａに流れる電流が一定の電流になるように、つまり、光電変換素子ＰＤ１２ａが発生する電荷信号が変化した場合でも、電荷信号の大きさが変化した後の大きさで逐次安定するように制御する。つまり、光電変換素子ＰＤ１２ａの出力をクリップする。

バイアストランジスタ５２２ｂは、ゲート端子に転送された電圧信号Ｖｐｂに応じて光電変換素子ＰＤ１２ｂに流れる電流が一定の電流になるように、つまり、光電変換素子ＰＤ１２ｂが発生する電荷信号が変化した場合でも、電荷信号の大きさが変化した後の大きさで逐次安定するように制御する。つまり、光電変換素子ＰＤ１２ｂの出力をクリップする。

スイッチトキャパシタアンプ回路５５３は、アンプ５２１ａおよびアンプ５２１ｂのそれぞれから対応するチップ接続部１３ａまたはチップ接続部１３ｂを介して入力された電荷信号を加算する。より具体的には、キャパシタ５２３１ａは、対応するアンプ５２１ａから第１の端子に入力された電荷信号を蓄積し、蓄積した電荷信号に応じた電圧の電圧信号を第２の端子から出力する。また、キャパシタ５２３１ｂは、対応するアンプ５２１ｂから第１の端子に入力された電荷信号を蓄積し、蓄積した電荷信号に応じた電圧の電圧信号を第２の端子から出力する。このとき、図１６に示したようにキャパシタ５２３１ａの第２の端子とキャパシタ５２３１ｂの第２の端子とが接続されているため、キャパシタ５２３１ａの第２の端子から出力する電圧信号と、キャパシタ５２３１ｂの第２の端子から出力する電圧信号とは加算されて、アンプ５２３２に出力される。そして、スイッチトキャパシタアンプ回路５５３は、兼用画素５４内に構成される動き検出兼用画素５４２に備えたスイッチトキャパシタアンプ回路５２３と同様に、加算した電荷信号の変化、つまり、光電変換素子ＰＤ１２ａおよび光電変換素子ＰＤ１２ｂのそれぞれが発生する電荷信号を加算した電荷信号の増減を、予め定めた電圧の範囲の電圧信号に変換し、スレッショルドアンプ５２４およびスレッショルドアンプ５２５のそれぞれに出力する。

このような構成によって、動き検出兼用画素５５２では、通常兼用画素５４１の高精細化に伴ってそれぞれの通常兼用画素５４１に備えた光電変換素子ＰＤ１２の面積が小さくなった場合でも、複数の光電変換素子ＰＤ１２が発生した電荷信号を加算することによって、より大きな電荷信号に基づいて被写体の動きを検出することができる。このため、動き検出兼用画素５５２では、動き検出の精度の低下を抑えることができる。

なお、動き検出兼用画素５５２の動作や、垂直走査回路２０による制御タイミングは、動き検出兼用画素５５２が、加算した電荷信号に基づいて動作すること以外は、兼用画素５４内に構成される動き検出兼用画素５４２と同様であるため、詳細な説明は省略する。

このような構成によって、兼用画素５５では、高精細化した通常兼用画素５４１によって通常の撮影において生成する画像の画質を向上させると共に、動き検出兼用画素５５２が兼用する光電変換素子ＰＤ１２の数を多くすることによって動き検出の精度の低下を抑えることができる。

そして、固体撮像装置３では、兼用画素５５を、画素アレイ部４０の平面の領域全体に均一に配置する。このとき、固体撮像装置３では、それぞれの光電変換素子ＰＤ１２と、それぞれの通常兼用画素５４１の読み出し回路と、動き検出兼用画素５５２の出力回路とを第１の半導体基板１１に形成し、動き検出兼用画素５５２の読み出し回路を第２の半導体基板１２に形成する。

なお、図１６に示した兼用画素５５の構成では、図１３に示した兼用画素５４の構成と同様に、第１の実施形態において図３Ａに示した通常画素５１に備えた光電変換素子ＰＤ１と、第１の実施形態において図３Ｂに示した動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する構成を示した。つまり、それぞれの光電変換素子ＰＤ１２が発生した電荷信号を蓄積する回路要素を備えていない構成の複数の通常兼用画素５４１と、動き検出兼用画素５４２とを合わせた構成を示した。しかし、兼用画素５５も、兼用画素５４と同様に、第１の実施形態の変形例において図１１に示した通常画素５３に備えた光電変換素子ＰＤ１と、第１の実施形態において図３Ｂに示した動き検出画素５２に備えた光電変換素子ＰＤ２とを兼用する光電変換素子ＰＤ１２を備えた構成にすることもできる。なお、この場合のそれぞれの回路要素の接続は、兼用画素５４における考え方と同様である。より具体的には、図１６に示した兼用画素５５と同様に、通常画素５３に備えた電荷転送トランジスタ５１１において光電変換素子ＰＤ１が接続されたソース端子およびドレイン端子の一方の端子と、動き検出画素５２に備えたバイアストランジスタ５２２において光電変換素子ＰＤ２が接続されていないソース端子およびドレイン端子の一方の端子とを、それぞれの通常画素５３ごとに接続する。これにより、１個の動き検出画素５２に備えた光電変換素子ＰＤ２を、複数の通常画素５３に備えた光電変換素子ＰＤ１で構成することができる。

なお、兼用画素５５では、上述したように、複数の通常画素５１（または通常画素５３）に対応する通常兼用画素５４１と、動き検出画素５２に対応する動き検出兼用画素５５２とで光電変換素子ＰＤ１２を兼用している。このため、固体撮像装置３でも、第２の実施形態の固体撮像装置２と同様に、通常兼用画素５４１から画素信号を読み出す通常読み出しと、動き検出兼用画素５５２から動き検出の画素信号（イベント画素信号）を読み出す動き検出読み出しとを排他的に行う。

（第３の実施形態の画素指定方法）
次に、第３の実施形態の固体撮像装置３における通常兼用画素５４１の指定方法について説明する。なお、固体撮像装置３において読み出しアドレス制御回路１００が画素信号を出力する（読み出す）兼用画素５５（通常兼用画素５４１）の読み出し領域を決定する方法は、第１の実施形態の固体撮像装置１における第１〜第３の画素指定方法と同様である。従って、固体撮像装置３において、読み出しアドレス制御回路１００が、画素信号を出力する（読み出す）兼用画素５５（通常兼用画素５４１）の読み出し領域を決定する方法に関する詳細な説明は省略し、以下の説明においては、固体撮像装置３において画素信号を出力する兼用画素５５（通常兼用画素５４１）を指定する構成について説明する。なお、以下の説明においては、上述したように、固体撮像装置３の画素アレイ部４０の平面の領域全体に、兼用画素５５が均一に配置されているものとして説明する。

図１７は、本発明の第３の実施形態の固体撮像装置３において画素信号を出力する構成を示した図である。図１７には、固体撮像装置３おいて兼用画素５５が均一に配置された画素アレイ部４０の一部の縦構造と、制御回路１０に備えた読み出しアドレス制御回路１００とを示している。より具体的には、第１の半導体基板１１および第２の半導体基板１２に形成された兼用画素５５と、読み出しアドレス制御回路１００との間でやり取りされるそれぞれの信号を示している。なお、図１７には、３個の通常画素５１（または通常画素５３）に対応する通常兼用画素５４１と、動き検出画素５２に対応する動き検出兼用画素５５２とで光電変換素子ＰＤ１２を兼用している構成の兼用画素５５を示している。つまり、兼用画素５５は、３つの光電変換素子ＰＤ１２（光電変換素子ＰＤ１２ａ〜光電変換素子ＰＤ１２ｃ）のそれぞれが発生した電荷信号に基づいて被写体の動きを検出する兼用画素である。図１７では、それぞれの通常兼用画素５４１内の回路要素を区別するため、それぞれの回路要素の符号に続いて、「ａ」、「ｂ」、または「ｃ」を付与している。

上述したように、固体撮像装置３では、兼用画素５５のそれぞれの光電変換素子ＰＤ１２と、兼用画素５５内に構成されるそれぞれの通常兼用画素５４１の読み出し回路と、兼用画素５５内に構成される動き検出兼用画素５５２の出力回路とを第１の半導体基板１１に形成する。また、上述したように、固体撮像装置３では、兼用画素５５内に構成される動き検出兼用画素５５２の読み出し回路を第２の半導体基板１２に形成する。図１７には、兼用画素５５の３つの光電変換素子ＰＤ１２ａ〜光電変換素子ＰＤ１２ｃと、それぞれの通常兼用画素５４１の読み出し回路に備えたそれぞれの選択トランジスタ５１４（選択トランジスタ５１４ａ〜選択トランジスタ５１４ｃ）とを第１の半導体基板１１に形成し、動き検出兼用画素５５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５５３を第２の半導体基板１２に形成している状態を示している。

このとき、固体撮像装置３では、動き検出兼用画素５５２の読み出し回路を、第１の半導体基板１１に形成された通常兼用画素５４１および動き検出兼用画素５５２の出力回路の領域と重複している領域を含めた第２の半導体基板１２の領域に形成する。図１７には、動き検出兼用画素５５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５５３を、第１の半導体基板１１に形成された通常画素５３および動き検出兼用画素５５２の出力回路の領域と重複している領域を含めた第２の半導体基板１２の領域に形成している状態を示している。

そして、固体撮像装置３では、動き検出兼用画素５５２の読み出し回路と、対応するそれぞれの動き検出兼用画素５５２の出力回路とを、第１の半導体基板１１と第２の半導体基板１２との間に形成するチップ接続部１３によって電気的に接続する。図１７には、第１の半導体基板１１に形成したそれぞれの動き検出兼用画素５５２の出力回路に備えたアンプ５２１ａ（不図示）〜アンプ５２１ｃ（不図示）と、第２の半導体基板１２に形成した動き検出兼用画素５５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５５３とを、対応するチップ接続部１３によって接続している状態を示している。

そして、固体撮像装置３でも、第２の実施形態の固体撮像装置２と同様に、第２の半導体基板１２に形成された動き検出兼用画素５５２のＡＥＲ回路５２６（不図示）は、光電変換素子ＰＤ１２ａ〜光電変換素子ＰＤ１２ｃのそれぞれが発生した電荷信号の時間的な変化を検出したとき、イベント画素信号を、読み出しアドレス制御回路１００に出力する。

読み出しアドレス制御回路１００は、イベント画素信号が入力されると、入力されたイベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した兼用画素５５の位置を検出（確認）する。なお、ここで、読み出しアドレス制御回路１００が検出（確認）する兼用画素５５の位置は、兼用画素５５内に構成される複数の通常兼用画素５４１が配置されている領域である。しかし、読み出しアドレス制御回路１００は、兼用画素５５の領域における中心位置を、イベント画素信号を出力した兼用画素５５の位置として検出（確認）してもよい。そして、読み出しアドレス制御回路１００は、検出（確認）した兼用画素５５の位置を中心とした予め定めた読み出し領域に配置されている通常兼用画素５４１の領域を、通常兼用画素５４１から画素信号を出力する（読み出す）読み出し領域に決定する。

そして、読み出しアドレス制御回路１００は、決定した読み出し領域内に配置されている通常兼用画素５４１を指定するための制御信号を、垂直走査回路２０および水平走査回路３０に出力する。これにより、垂直走査回路２０および水平走査回路３０のそれぞれは、指定された通常兼用画素５４１を順次駆動して、読み出しアドレス制御回路１００によって指定された通常兼用画素５４１から画素信号を出力する（読み出す）。

なお、固体撮像装置３では、画素アレイ部４０内に、通常の撮影の画素信号とイベント画素信号との読み出しを行う兼用画素５５が均一に配置されている。このため、固体撮像装置３では、兼用画素５５内に構成される動き検出兼用画素５５２が出力したイベント画素信号を出力した際に、兼用画素５５内に構成される通常兼用画素５４１から通常の撮影による１フレーム分の画素信号を読み出すことができる。つまり、固体撮像装置３でも、第２の実施形態の固体撮像装置２と同様に、通常の撮影において欠けている画素信号がない。このため、固体撮像装置３から出力された通常の撮影における画素信号に基づいて画像を生成する画像処理部も、それぞれの画素信号に基づいた画像を生成する際に、欠けている画素の画素信号を補間する演算を行う必要がない。

ただし、固体撮像装置３でも、第２の実施形態の固体撮像装置２と同様に、兼用画素５５内に構成される通常兼用画素５４１から画素信号を読み出す通常読み出しと、兼用画素５５内に構成される動き検出兼用画素５５２から動き検出の画素信号（イベント画素信号）を読み出す動き検出読み出しとを時分割で行う。

なお、図１６に示した兼用画素５５の構成では、１個の動き検出兼用画素５５２が、２個の通常兼用画素５４１（通常兼用画素５４１ａおよび通常兼用画素５４１ｂ）と光電変換素子ＰＤ１２（光電変換素子ＰＤ１２ａおよび光電変換素子ＰＤ１２ｂ）を兼用する構成を示した。しかし、兼用画素５５の構成は、図１６に示した構成に限定されるものではない。つまり、兼用画素５５において１個の動き検出兼用画素５５２が兼用する光電変換素子ＰＤ１２の数は、図１６に示した２個に限定されるものではない。例えば、兼用画素５５において、１個の動き検出兼用画素５５２が、４個の通常兼用画素５４１と光電変換素子ＰＤ１２を兼用する構成、すなわち、動き検出兼用画素５５２が４個の光電変換素子ＰＤ１２が発生した電荷信号を加算した電荷信号に基づいて被写体の動きを検出する構成にしてもよい。

なお、固体撮像装置３では、画素アレイ部４０内に、通常の撮影の画素信号とイベント画素信号との読み出しを行う兼用画素５５が均一に配置されている場合について説明した。しかし、固体撮像装置３における画素アレイ部４０内の兼用画素５５の配置は、画素アレイ部４０の全体の領域への均一な配置に限定されるものではない。例えば、兼用画素５５内に構成される動き検出兼用画素５５２が兼用する光電変換素子ＰＤ１２を備えた通常兼用画素５４１を、画素アレイ部４０の行方向および列方向に、周期的に配置してもよい。この場合、兼用画素５５内に構成される動き検出兼用画素５５２が兼用しない光電変換素子の位置には、高精細化した通常画素５１（または通常画素５３）を配置してもよい。

（第３の実施形態の変形例）
ここで、第３の実施形態の固体撮像装置３における画素アレイ部４０内の通常画素５１（または通常画素５３）および兼用画素５５の配置の一例について説明する。図１８は、本発明の第３の実施形態の固体撮像装置３における画素５０（通常画素５１（または通常画素５３）および兼用画素５５）の配置の一例を模式的に示した図である。図１８には、通常画素５１（または通常画素５３）および兼用画素５５のそれぞれに光が入射する側に、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の波長帯域の光に対応するカラーフィルタ（色フィルタ）がベイヤー配列で貼付された、固体撮像装置３を構成する第１の半導体基板１１の画素アレイ部４０内の通常画素５３および兼用画素５５の配置の一例を示している。

図１８に示した固体撮像装置３における画素５０の配置例では、通常画素５３を画素アレイ部４０の平面の領域全体に均一に配置し、予め定めた位置に配置された通常画素５３に備えた光電変換素子ＰＤ１を、兼用画素５５内に構成される動き検出兼用画素５５２が兼用するように、兼用画素５５を配置している。つまり、画素アレイ部４０に配置された通常画素５３を、行方向および列方向に周期的に兼用画素５５に置き換えたような配置にしている。より具体的には、画素アレイ部４０において赤色（Ｒ）の波長帯域の光に対応するカラーフィルタが貼付された行の緑色（Ｇ）の波長帯域の光に対応するカラーフィルタが貼付された位置に配置された通常画素５３に備えた光電変換素子ＰＤ１を、兼用画素５５内に構成される動き検出兼用画素５５２が兼用するように配置している。これにより、動き検出兼用画素５５２は、通常の撮影で生成する画像において輝度を表すと考えることができる緑色（Ｇ）の波長帯域の光によって被写体の動きを検出することができる。

なお、上述したように、第２の半導体基板１２に形成する動き検出兼用画素５５２の読み出し回路は、第１の半導体基板１１に形成された通常画素５３の領域と重複している領域を含めて形成する。従って、図１８に示した固体撮像装置３における画素５０の配置例では、６行６列の矩形の領域ｄ１〜領域ｄ６のそれぞれの領域に対応する第２の半導体基板１２に、動き検出兼用画素５５２の読み出し回路を形成する。

（第３の実施形態の変形例の画素指定方法）
次に、第３の実施形態の変形例の固体撮像装置３における通常兼用画素５４１の指定方法について説明する。なお、変形例の固体撮像装置３において読み出しアドレス制御回路１００が画素信号を出力する（読み出す）兼用画素５５（通常兼用画素５４１）の読み出し領域を決定する方法も、第１の実施形態の固体撮像装置１における第１〜第３の画素指定方法と同様である。従って、変形例の固体撮像装置３において、読み出しアドレス制御回路１００が、画素信号を出力する（読み出す）兼用画素５５（通常兼用画素５４１）の読み出し領域を決定する方法に関する詳細な説明は省略し、以下の説明においては、変形例の固体撮像装置３において画素信号を出力する兼用画素５５（通常兼用画素５４１）を指定する構成について説明する。なお、以下の説明においては、固体撮像装置３の画素アレイ部４０の平面の領域に、図１８に示したように、通常画素５３と兼用画素５５とが配置されている場合について説明する。

図１９は、本発明の第３の実施形態の変形例の固体撮像装置３において画素信号を出力する別の構成を示した図である。図１９には、変形例の固体撮像装置３おいて通常画素５３と兼用画素５５とが配置された画素アレイ部４０の一部の縦構造と、制御回路１０に備えた読み出しアドレス制御回路１００とを示している。より具体的には、第１の半導体基板１１に形成された通常画素５３と、第１の半導体基板１１および第２の半導体基板１２に形成された兼用画素５５と、読み出しアドレス制御回路１００との間でやり取りされるそれぞれの信号を示している。なお、図１９には、２個の通常画素５３に対応する通常兼用画素５４１と動き検出兼用画素５５２とで光電変換素子ＰＤ１２（光電変換素子ＰＤ１２ａおよび光電変換素子ＰＤ１２ｂ）を兼用している構成の兼用画素５５を示している。従って、兼用画素５５は、光電変換素子ＰＤ１２ａおよび光電変換素子ＰＤ１２ｂのそれぞれが発生した電荷信号に基づいて被写体の動きを検出する兼用画素である。

変形例の固体撮像装置３では、通常画素５３の光電変換素子ＰＤ１と読み出し回路とを、第１の半導体基板１１に形成する。図１７には、通常画素５３の光電変換素子ＰＤ１と、通常画素５３の読み出し回路に備えた選択トランジスタ５１４とを第１の半導体基板１１に形成している状態を示している。

また、変形例の固体撮像装置３では、兼用画素５５のそれぞれの光電変換素子ＰＤ１２と、兼用画素５５内に構成されるそれぞれの通常兼用画素５４１の読み出し回路と、兼用画素５５内に構成される動き検出兼用画素５５２の出力回路とを第１の半導体基板１１に形成する。また、上述したように、変形例の固体撮像装置３では、兼用画素５５内に構成される動き検出兼用画素５５２の読み出し回路を第２の半導体基板１２に形成する。図１９には、兼用画素５５の２つの光電変換素子ＰＤ１２ａおよび光電変換素子ＰＤ１２ｂと、それぞれの通常兼用画素５４１の読み出し回路に備えたそれぞれの選択トランジスタ５１４（選択トランジスタ５１４ａおよび選択トランジスタ５１４ｂ）とを第１の半導体基板１１に形成し、動き検出兼用画素５５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５５３とＡＥＲ回路５２６とを第２の半導体基板１２に形成している状態を示している。

このとき、変形例の固体撮像装置３では、動き検出兼用画素５５２の読み出し回路を、第１の半導体基板１１に形成された通常兼用画素５４１および動き検出兼用画素５５２の出力回路の領域と重複している領域を含めた第２の半導体基板１２の領域に形成する。図１９には、動き検出兼用画素５５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５５３とＡＥＲ回路５２６とを、第１の半導体基板１１に形成された通常画素５３および動き検出兼用画素５５２の出力回路の領域と重複している領域を含めた第２の半導体基板１２の領域に形成している状態を示している。

そして、変形例の固体撮像装置３では、動き検出兼用画素５５２の読み出し回路と、対応するそれぞれの動き検出兼用画素５５２の出力回路とを、第１の半導体基板１１と第２の半導体基板１２との間に形成するチップ接続部１３によって電気的に接続する。図１９には、第１の半導体基板１１に形成したそれぞれの動き検出兼用画素５５２の出力回路に備えたアンプ５２１ａ（不図示）およびアンプ５２１ｂ（不図示）と、第２の半導体基板１２に形成した動き検出兼用画素５５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５５３とを、対応するチップ接続部１３によって接続している状態を示している。

そして、変形例の固体撮像装置３でも、画素アレイ部４０の平面の領域全体に、兼用画素５５が均一に配置されている場合と同様に、第２の半導体基板１２に形成された動き検出兼用画素５５２のＡＥＲ回路５２６は、光電変換素子ＰＤ１２ａおよび光電変換素子ＰＤ１２ｂのそれぞれが発生した電荷信号の時間的な変化を検出したとき、イベント画素信号を、読み出しアドレス制御回路１００に出力する。

読み出しアドレス制御回路１００は、イベント画素信号が入力されると、入力されたイベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した兼用画素５５の位置を検出（確認）する。なお、読み出しアドレス制御回路１００がイベント画素信号を出力した兼用画素５５の位置を検出（確認）する際の考え方は、画素アレイ部４０の平面の領域全体に、兼用画素５５が均一に配置されている場合と同様である。例えば、図１８に示した領域ｄ１に配置された動き検出兼用画素５５２からイベント画素信号が入力されると、読み出しアドレス制御回路１００は、イベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した動き検出兼用画素５５２が配置された領域ｄ１または領域ｄ１の中心位置に相当する３行４列目に配置された通常兼用画素５４１の位置を、イベント画素信号を出力した兼用画素５５の位置として検出（確認）する。

そして、読み出しアドレス制御回路１００は、検出（確認）した兼用画素５５の位置を中心とした予め定めた読み出し領域に配置されている通常兼用画素５４１の領域を、通常兼用画素５４１から画素信号を出力する（読み出す）読み出し領域に決定し、決定した読み出し領域内に配置されている通常兼用画素５４１から画素信号を出力する（読み出す）。

これにより、変形例の固体撮像装置３から出力された通常の撮影における画素信号に基づいて画像を生成する画像処理部も、欠けている画素の画素信号を補間する演算を行うことなく、それぞれの画素信号に基づいた画像を生成することができる。

このように、固体撮像装置３でも、第２の実施形態の固体撮像装置２と同様に、被写体の動きを検出した兼用画素５５が配置された位置に対応する予め定めた小さな読み出し領域に配置されている通常兼用画素５４１、または通常画素５１（または通常画素５３）のみから通常の撮影の画素信号を出力する（読み出す）。これにより、固体撮像装置３でも、第２の実施形態の固体撮像装置２と同様に、検出した被写体の動きに応じた画素信号を読み出す際の消費電力を削減することができる。

なお、固体撮像装置３では、図１６に示した兼用画素５５の構成のように、１個の動き検出兼用画素５５２が、複数（図１６では２個）の通常兼用画素５４１と、光電変換素子ＰＤ１２を兼用する構成を示した。つまり、兼用画素５５内に構成される動き検出兼用画素５５２は、１個の動き検出画素５２が行う被写体の動きを検出する機能を、光電変換素子ＰＤ２に対応する複数（図１６では２個）の光電変換素子ＰＤ１２が発生した電荷信号に基づいて実現する構成の画素である場合について説明した。しかし、１個の動き検出画素５２の機能を実現する際に複数の光電変換素子が発生した電荷信号を用いる構成は、図１６に示した構成に限定されるものではない。例えば、１個の動き検出画素５２が、複数の光電変換素子ＰＤ２が発生した電荷信号を加算した電荷信号に基づいて被写体の動きを検出する構成にしてもよい。この構成の場合、１つの光電変換素子ＰＤ２の面積を大きくすることなく、動き検出画素５２が、より大きな電荷信号に基づいて被写体の動きを検出することができ、動き検出の精度を向上させることができる。

なお、この構成の場合の画素アレイ部４０の縦構造は、図１９に示した変形例の固体撮像装置３の縦構造において、第１の半導体基板１１および第２の半導体基板１２に形成された兼用画素５５の代わりに、上述した複数の光電変換素子ＰＤ２が発生した電荷信号を加算した電荷信号に基づいて被写体の動きを検出する構成の動き検出画素５２が形成されるのと同様に考えることができる。従って、図１９に示した光電変換素子ＰＤ１２（光電変換素子ＰＤ１２ａおよび光電変換素子ＰＤ１２ｂ）は、上述した複数の光電変換素子ＰＤ２が発生した電荷信号を加算した電荷信号に基づいて被写体の動きを検出する構成の１個の動き検出画素５２が被写体の動きを検出するために用いる電荷信号を発生させるそれぞれの光電変換素子ＰＤ２となる。

第３の実施形態によれば、ｍはｎよりも小さく、ｓは２以上の自然数であり、ｍ個の第２の読み出し回路（動き検出画素５２の読み出し回路）のそれぞれは、対応するｓ個の第１の光電変換素子（光電変換素子ＰＤ１）が発生したｓ個の第１の電荷信号を１つの単位として加算する加算回路（キャパシタ５２３１ａおよびキャパシタ５２３１ｂ）、をさらに有し、検出回路（スレッショルドアンプ５２４およびスレッショルドアンプ５２５）は、キャパシタ５２３１ａおよびキャパシタ５２３１ｂによって加算された後の第１の電荷信号の変化を検出する、固体撮像装置（固体撮像装置３）が構成される。

また、第３の実施形態によれば、動き検出画素５２の読み出し回路のそれぞれは、ｔ個の第２の光電変換素子（光電変換素子ＰＤ２）を１つの単位とし、ｔ個の光電変換素子ＰＤ２が発生したそれぞれの第２の電荷信号を加算する加算回路（キャパシタ５２３１ａおよびキャパシタ５２３１ｂ）、をさらに有し、検出回路（スレッショルドアンプ５２４およびスレッショルドアンプ５２５）は、キャパシタ５２３１ａおよびキャパシタ５２３１ｂによって加算された後の第２の電荷信号の変化を検出し、ｔは２以上の自然数である、固体撮像装置３が構成される。

上記に述べたように、第３の実施形態の固体撮像装置３でも、第２の実施形態の固体撮像装置２と同様に、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。そして、第３の実施形態の固体撮像装置３でも、イベント画素信号を出力した動き検出兼用画素５５２の位置に対応する予め定めた小さな読み出し領域内に配置された通常兼用画素５４１、または通常画素５１（または通常画素５３）から画素信号を出力する（読み出す）ことによって、第２の実施形態の固体撮像装置２と同様の効果を得ることができる。

なお、第３の実施形態の固体撮像装置３では、図１８において、ベイヤー配列の緑色（Ｇ）の波長帯域の光に対応するカラーフィルタが貼付された画素アレイ部４０の位置に配置された通常画素５１（または通常画素５３）に備えた光電変換素子ＰＤ１を、兼用画素５５内に構成される動き検出兼用画素５５２が兼用する場合について説明した。しかし、本発明においては、固体撮像装置３に貼付するカラーフィルタの色や配列に関しては、特に規定しない。例えば、通常画素５１（または通常画素５３）および兼用画素５５のそれぞれに光が入射する側に、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）、および白色（Ｗ）の波長帯域の光に対応するカラーフィルタが貼付されてもよい。そして、白色（Ｗ）の波長帯域の光に対応するカラーフィルタが貼付された画素アレイ部４０の位置に配置された通常画素５１（または通常画素５３）に備えた光電変換素子ＰＤ１を、兼用画素５５内に構成される動き検出兼用画素５５２が兼用する構成にしてもよい。この場合、動き検出兼用画素５５２は、特定の波長帯域の光によってではなく、被写体の動きを検出することができる。また、例えば、通常画素５１（または通常画素５３）および兼用画素５５のそれぞれに光が入射する側に、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）、および近赤外（Ｉｒ）の波長帯域の光に対応するカラーフィルタを貼付し、近赤外（Ｉｒ）の波長帯域の光に対応するカラーフィルタが貼付された画素アレイ部４０の位置に配置された通常画素５１（または通常画素５３）に備えた光電変換素子ＰＤ１を動き検出兼用画素５５２が兼用する構成にしてもよい。この場合、例えば、固体撮像装置３を搭載した撮像システムに赤外光を発光する光源を備え、被写体の動きを検出する際に赤外光を照射することによって、動き検出の精度を向上させる構成にすることもできる。

なお、第２の実施形態の固体撮像装置２および第３の実施形態の固体撮像装置３では、通常画素５１（または通常画素５３）に備えた光電変換素子ＰＤ１を動き検出兼用画素５４２（または動き検出兼用画素５５２）が兼用する構成にすることによって、通常の撮影において欠けている画素の画素信号を補間する演算を行わない構成について説明した。しかし、動き検出兼用画素５４２（または動き検出兼用画素５５２）が光電変換素子ＰＤ１を兼用する以外の構成で、通常の撮影において欠けている画素の画素信号を補間する演算を行わない構成にしてもよい。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本発明の第４の実施形態の固体撮像装置（以下、「固体撮像装置４」という）は、画素５０の構成が、第１の実施形態において図３Ａに示した通常画素５１と、図３Ｂに示した動き検出画素５２とである場合に、通常の撮影において欠けている画素の画素信号を補間する演算を行わない構成にした固体撮像装置である。つまり、固体撮像装置４は、第２の実施形態の固体撮像装置２および第３の実施形態の固体撮像装置３のように、画素５０の構成を変更することなく、通常の撮影において欠けている画素の画素信号を補間する演算を行わないようにした構成である。

なお、固体撮像装置４の概観や概略構成は、図１および図２に示した第１の実施形態における固体撮像装置１の概観および概略構成を同様である。従って、以下の説明においては、固体撮像装置４の構成要素において、第１の実施形態の固体撮像装置１の構成要素と同様の構成要素には、同一の符号を用い、それぞれの構成要素や動作に関する詳細な説明は省略する。

固体撮像装置４では、通常画素５１を第１の半導体基板１１の画素アレイ部４０の平面の領域全体に均一に配置（形成）し、動き検出画素５２を第２の半導体基板１２の画素アレイ部４０の平面の領域全体に均一に配置（形成）する。つまり、固体撮像装置４は、通常画素５１を配置した固体撮像装置と、動き検出画素５２を配置した固体撮像装置との２つの固体撮像装置が積層（接合）された構成である。

なお、通常画素５１は、図３Ａに示した通常画素５１と同様の構成である。従って、通常画素５１の構成や動作に関する詳細な説明は省略する。また、動き検出画素５２は、図３Ｂに示した動き検出画素５２と同様の構成であり、動き検出画素５２を第２の半導体基板１２に形成するため、チップ接続部１３が削除されていることのみが異なる。従って、動き検出画素５２の構成や動作に関する詳細な説明は省略する。

なお、固体撮像装置４では、第１の半導体基板１１に形成する通常画素５１の代わりに、図１１に示した通常画素５３を第１の半導体基板１１に形成してもよい。

（第４の実施形態の画素指定方法）
次に、第４の実施形態の固体撮像装置４における画素５０（通常画素５１または通常画素５３）の指定方法について説明する。なお、固体撮像装置４において読み出しアドレス制御回路１００が画素信号を出力する（読み出す）通常画素５３の読み出し領域を決定する方法は、第１の実施形態の固体撮像装置１における第１〜第３の画素指定方法と同様である。従って、固体撮像装置４において、読み出しアドレス制御回路１００が、画素信号を出力する（読み出す）通常画素５１の読み出し領域を決定する方法に関する詳細な説明は省略し、以下の説明においては、固体撮像装置４において画素信号を出力する通常画素５１（または通常画素５３）を指定する構成について説明する。

図２０は、本発明の第４の実施形態の固体撮像装置４において画素信号を出力する構成を示した図である。図２０には、固体撮像装置４おいて通常画素５１と動き検出画素５２とが配置された画素アレイ部４０の一部の縦構造と、制御回路１０に備えた読み出しアドレス制御回路１００とを示している。より具体的には、第１の半導体基板１１に形成された通常画素５１および第２の半導体基板１２に形成された動き検出画素５２と、読み出しアドレス制御回路１００との間でやり取りされるそれぞれの信号を示している。

固体撮像装置４では、通常画素５１の光電変換素子ＰＤ１と読み出し回路とを、第１の半導体基板１１に形成する。図２０には、通常画素５１の光電変換素子ＰＤ１と、通常画素５１の読み出し回路に備えた選択トランジスタ５１４とを第１の半導体基板１１に形成している状態を示している。

また、固体撮像装置４では、動き検出画素５２の光電変換素子ＰＤ２と、出力回路と、読み出し回路を第２の半導体基板１２に形成する。図２０には、動き検出画素５２の光電変換素子ＰＤ２と、動き検出画素５２の読み出し回路に備えたスイッチトキャパシタアンプ回路５２３とＡＥＲ回路５２６とを第２の半導体基板１２に形成している状態を示している。

このとき、固体撮像装置４では、動き検出画素５２を、第１の半導体基板１１に形成された通常画素５１の領域と重複している第２の半導体基板１２の領域に形成する。図２０には、動き検出画素５２を、第１の半導体基板１１に形成された４個分の通常画素５１の領域と重複している第２の半導体基板１２の領域に形成している状態を示している。

なお、固体撮像装置４では、第２の半導体基板１２に配置されたそれぞれの動き検出画素５２の光電変換素子ＰＤ２が、第１の半導体基板１１に配置された通常画素５１の光電変換素子ＰＤ１の領域を透過してきた光（光線）を光電変換した電荷信号を発生させる。このため、光電変換素子ＰＤ２は、第１の半導体基板１１をより多く透過する波長が長い光ほど、より大きな電荷信号を発生させる。このことを考慮すると、固体撮像装置４では、第２の半導体基板１２に形成する動き検出画素５２の光電変換素子ＰＤ２を、例えば、波長が長いため通常画素５１をより多く透過する赤色（Ｒ）の波長帯域の光に対応するカラーフィルタが貼付された通常画素５１に対応する位置に形成することが望ましい。しかし、本発明においては、固体撮像装置４に貼付するカラーフィルタの色や配列に関しては、特に規定しない。

なお、固体撮像装置４において第２の半導体基板１２に形成する動き検出画素５２の光電変換素子ＰＤ２を、赤色（Ｒ）の波長帯域の光に対応するカラーフィルタが貼付された通常画素５１に対応する位置に形成した場合、例えば、固体撮像装置４を搭載した撮像システムに赤外光を発光する光源を、被写体の動きを検出する際の補助光として動作させることによって、動き検出の精度を向上させる構成にすることもできる。

そして、固体撮像装置４でも、第１の実施形態の固体撮像装置１と同様に、第２の半導体基板１２に形成された動き検出画素５２のＡＥＲ回路５２６は、光電変換素子ＰＤ２が発生した電荷信号の時間的な変化を検出したとき、イベント画素信号を、読み出しアドレス制御回路１００に出力する。

読み出しアドレス制御回路１００は、イベント画素信号が入力されると、第１の実施形態の固体撮像装置１と同様に、入力されたイベント画素信号に含まれるアドレス情報から、イベント画素信号を出力した動き検出画素５２の位置を検出（確認）する。そして、読み出しアドレス制御回路１００は、検出（確認）した動き検出画素５２の位置を中心とした予め定めた読み出し領域に配置されている通常画素５１の領域を、通常画素５１から画素信号を出力する（読み出す）読み出し領域に決定する。

そして、読み出しアドレス制御回路１００は、第１の実施形態の固体撮像装置１と同様に、決定した読み出し領域内に配置されている通常画素５１を指定するための制御信号を垂直走査回路２０および水平走査回路３０に出力し、決定した読み出し領域内に配置されている通常画素５１から画素信号を出力する（読み出す）。

なお、固体撮像装置４では、通常画素５１（または通常画素５３）を第１の半導体基板１１の画素アレイ部４０に、動き検出画素５２を第２の半導体基板１２の画素アレイ部４０に、それぞれ均一に配置されている。このため、固体撮像装置４でも、第２の実施形態の固体撮像装置２や第３の実施形態の固体撮像装置３と同様に、通常の撮影において欠けている画素信号がない。これにより、固体撮像装置４から出力された通常の撮影における画素信号に基づいて画像を生成する画像処理部も、欠けている画素の画素信号を補間する演算を行うことなく、それぞれの画素信号に基づいた画像を生成することができる。

しかも、固体撮像装置４では、通常画素５１（または通常画素５３）と動き検出画素５２とが光電変換素子を兼用していない。このため、固体撮像装置４では、通常画素５１（または通常画素５３）から画素信号を読み出す通常読み出しと、動き検出画素５２から動き検出の画素信号（イベント画素信号）を読み出す動き検出読み出しとを排他的に行う必要がない。従って、固体撮像装置４では、第２の実施形態の固体撮像装置２や第３の実施形態の固体撮像装置３のように、通常画素５１（または通常画素５３）から画素信号を読み出す通常読み出しと、動き検出画素５２から動き検出の画素信号（イベント画素信号）を読み出す動き検出読み出しとを時分割で行う必要がなく、同時期に行うことができる。

なお、固体撮像装置４においても、第３の実施形態の固体撮像装置３と同様に、１個の動き検出画素５２が、複数の光電変換素子ＰＤ２が発生した電荷信号を加算した電荷信号に基づいて被写体の動きを検出する構成にすることもできる。この構成にすることにより、動き検出画素５２は、第１の半導体基板１１に配置された複数の通常画素５１の光電変換素子ＰＤ１の領域を透過してきた光（光線）を光電変換した電荷信号を発生させることができる。これにより、固体撮像装置４でも、第３の実施形態の固体撮像装置３と同様に、１つの光電変換素子ＰＤ２の面積を大きくすることなく、動き検出画素５２が、より大きな電荷信号に基づいて被写体の動きを検出することができ、動き検出の精度を向上させることができる。

第４の実施形態によれば、ｎ個の第１の光電変換素子（光電変換素子ＰＤ１）のそれぞれは、光が入射する第１の半導体基板（第１の半導体基板１１）に周期的に配置され、ｍ個の第２の光電変換素子（光電変換素子ＰＤ２）のそれぞれは、第１の半導体基板１１に光が入射する側の面と反対側の面に積層される第２の半導体基板（第２の半導体基板１２）に周期的に配置され、第１の半導体基板１１を透過した光を光電変換した第２の電荷信号を発生する、固体撮像装置（固体撮像装置４）が構成される。

上記に述べたように、第４の実施形態の固体撮像装置４でも、第１の実施形態の固体撮像装置１と同様に、通常の撮影による画素信号の出力に特化した通常画素５１（または通常画素５３）と、動き検出によるイベント画素信号の出力に特化した動き検出画素５２とのそれぞれを、画素アレイ部４０内に配置する。このとき、第４の実施形態の固体撮像装置４では、通常画素５１（または通常画素５３）を第１の半導体基板１１の画素アレイ部４０の平面の領域全体に均一に配置する。また固体撮像装置４では、動き検出画素５２を第２の半導体基板１２の画素アレイ部４０の平面の領域全体に均一に配置する。これにより、第４の実施形態の固体撮像装置４でも、第１の実施形態の固体撮像装置１と同様に、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。そして、第４の実施形態の固体撮像装置４では、通常読み出しと動き検出読み出しとを同時期に行うことができる。また、第４の実施形態の固体撮像装置４でも、イベント画素信号を出力した動き検出画素５２の位置に対応する予め定めた小さな読み出し領域内に配置された通常画素５１（または通常画素５３）から画素信号を出力する（読み出す）ことによって、第１の実施形態の固体撮像装置１と同様の効果を得ることができる。

また、第４の実施形態の固体撮像装置４では、通常の撮影による画素信号の出力に特化した通常画素５１（または通常画素５３）を第１の半導体基板１１に形成し、動き検出によるイベント画素信号の出力に特化した動き検出画素５２を第２の半導体基板１２に形成することによって、通常の撮影において欠けている画素信号をなくしている。このことにより、第４の実施形態の固体撮像装置４を搭載した撮像システムに備えた画像処理部は、第２の実施形態の固体撮像装置２や第３の実施形態の固体撮像装置３と同様に、少ない処理の負荷で、被写体の動きを検出したときに対して時間的なずれが少ない、被写体の動きを反映した高画質の画像を生成することができる。

上記に述べたように、本発明の各実施形態によれば、固体撮像装置に備える画素として、通常の撮影の画素信号を出力する通常画素と、動き検出のイベント画素信号を出力する動き検出画素とを、画素アレイ部に配置する。本発明の各実施形態では、画素アレイ部に配置する通常画素の数を、動き検出画素よりも多くする。これにより、本発明の各実施形態では、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができるとともに、通常の撮影において生成する画像の画質を向上させることができる。

そして、本発明の各実施形態では、動き検出画素からイベント画素信号が出力されたときに、イベント画素信号を出力した、つまり、被写体の動きを検出した動き検出画素が配置されている画素アレイ部内の位置を中心とした予め定めた読み出し領域内に配置された通常画素から、通常の撮影で得た画素信号を読み出す。つまり、本発明の各実施形態では、被写体の動きを検出した際に、画素アレイ部内に配置した全ての通常画素から画素信号を読み出すのではなく、予め定めた読み出し領域内の少ない数の通常画素のみから画素信号を読み出す。言い換えれば、本発明の各実施形態では、被写体の動きを検出したことによって変化した通常画素の予め定めた周辺の領域（読み出し領域）のみから画素信号を読み出す。これにより、本発明の各実施形態の固体撮像装置では、被写体の動きを反映した画像を生成するために通常の撮影で得た画素信号を読み出す際の消費電力を、従来の固体撮像装置よりも削減することができる。

また、本発明の各実施形態では、被写体の動きが検出された小さな読み出し領域内に配置された通常画素から画素信号を読み出すため、被写体の動きを反映した画像を生成するために読み出す画素信号の数が少ない。このため、本発明の各実施形態の固体撮像装置を搭載した撮像システムにおいて被写体の動きに応じて読み出した画素信号を伝送する際に要するデータの伝送帯域、いわゆる、バス帯域の圧迫を低減することができる。そして、本発明の各実施形態の固体撮像装置を搭載した撮像システムに備えた画像処理部は、１フレーム分の画素信号の内、被写体の動きが検出された位置に対応する一部の画素信号（少ない数の画素信号）を差し替えて画像処理を行う。これにより、本発明の各実施形態の固体撮像装置を搭載した撮像システムに備えた画像処理部は、少ない処理の負荷で、被写体の動きを検出したときに対して時間的なずれが少ない、被写体の動きを反映した高画質の画像を生成することができる。

また、本発明の各実施形態では、読み出しアドレス制御回路１００を、制御回路１０内に備えている構成について説明した。しかし、読み出しアドレス制御回路１００を備える構成は、本発明の各実施形態の構成に限定されるものではない。例えば、読み出しアドレス制御回路１００を、制御回路１０の外部、つまり、制御回路１０や垂直走査回路２０などと並列に備える構成であってもよい。また、例えば、読み出しアドレス制御回路１００を、固体撮像装置の外部、つまり、撮像システムの構成要素として備える構成であってもよい。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

また、本発明の各実施形態に係る固体撮像装置は、２枚の半導体基板がチップ接続部により接続されていてもよいし、３枚以上の半導体基板がチップ接続部で接続されていてもよい。３枚以上の半導体基板がチップ接続部で接続される固体撮像装置の場合、そのうちの２枚の半導体基板が請求項に係る第１の半導体基板と第２の半導体基板に相当する。

上記各実施形態によれば、被写体の動きを逐次検出する動き検出と通常の撮影とを両立する固体撮像装置において、消費電力の増大を抑えつつ、検出した被写体の動きを反映した高画質の画像を生成することができる。

１，２，３，４ 固体撮像装置
１１ 第１の半導体基板
１２ 第２の半導体基板
１３，１３ａ，１３ｂ チップ接続部（接続部）
１０ 制御回路（読み出し制御回路）
１００ 読み出しアドレス制御回路（読み出し制御回路）
２０ 垂直走査回路（読み出し制御回路）
３０ 水平走査回路（読み出し制御回路）
４０ 画素アレイ部
５０ 画素
５１ 通常画素
ＰＤ１ 光電変換素子（第１の光電変換素子）
５１１，５１１ａ，５１１ｂ 電荷転送トランジスタ（第１の読み出し回路）
５１２，５１２ａ，５１２ｂ 画素リセットトランジスタ（第１の読み出し回路）
５１３，５１３ａ，５１３ｂ 増幅トランジスタ（第１の読み出し回路）
５１４，５１４ａ，５１４ｂ 選択トランジスタ（第１の読み出し回路）
ＦＤ１，ＦＤ１ａ，ＦＤ１ｂ ノード容量（第１の読み出し回路）
５２，５２ａ，５２ｂ，５２ｃ，５２ｄ 動き検出画素
ＰＤ２ 光電変換素子（第２の光電変換素子）
５２１，５２１ａ，５２１ｂ アンプ
５２２，５２２ａ，５２２ｂ バイアストランジスタ
５２３，５５３ スイッチトキャパシタアンプ回路（第２の読み出し回路）
５２３１ キャパシタ（第２の読み出し回路）
５２３２ アンプ（第２の読み出し回路）
５２３３ キャパシタ（第２の読み出し回路）
５２３１ａ，５２３１ｂ キャパシタ（第２の読み出し回路，加算回路）
５２３４ スイッチ（第２の読み出し回路）
５２４ スレッショルドアンプ（第２の読み出し回路，検出回路）
５２５ スレッショルドアンプ（第２の読み出し回路，検出回路）
５２６ ＡＥＲ回路（第２の読み出し回路，画素信号生成回路）
５３ 通常画素
５３０ 電荷蓄積容量（第１の読み出し回路）
５３１ サンプルホールドトランジスタ（第１の読み出し回路）
５３２ クランプトランジスタ（第１の読み出し回路）
５３３ 第２の増幅トランジスタ（第１の読み出し回路）
５３４ ノイズ抑圧素子（第１の読み出し回路）
５４，５５ 兼用画素
５４１，５４１ａ，５４１ｂ 通常兼用画素
５４２，５５２ 動き検出兼用画素
ＰＤ１２，ＰＤ１２ａ，ＰＤ１２ｂ 光電変換素子（第１の光電変換素子，第２の光電変換素子）
６０ 垂直信号線
ａｒ，ａｒ１，ａｒ２，ａｒ３，ａｒ４，ａｒ５，ａｒ６，ａｒ７，ａｒ８，ａｒ９，ａｒ１０ 読み出し領域
Ｄ１，Ｄ２，Ｄ３ 動き検出画素分布

Claims (13)

1. 入射した光を光電変換した第１の電荷信号を発生するｎ個の第１の光電変換素子と、
   前記ｎ個の第１の光電変換素子のそれぞれに対応し、対応する前記第１の光電変換素子が発生した前記第１の電荷信号に応じた信号電圧を第１の画素信号として出力するｎ個の第１の読み出し回路と、
   入射した光を光電変換した第２の電荷信号を発生するｍ個の第２の光電変換素子と、
   前記ｍ個の第２の光電変換素子のそれぞれに対応し、対応する前記第２の光電変換素子が発生した前記第２の電荷信号の変化に基づいた第２の画素信号を逐次出力するｍ個の第２の読み出し回路と、
   前記第１の光電変換素子の内、予め定めた読み出し領域内に配置された前記第１の光電変換素子に対応する前記第１の画素信号の読み出しを制御する読み出し制御回路と、
   を有し、
   前記ｍ個の第２の読み出し回路のそれぞれは、
   対応する前記第２の光電変換素子が発生した前記第２の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、変化を表すイベント信号を出力する検出回路と、
   前記イベント信号に、対応する前記第２の光電変換素子が配置された位置を表すアドレス情報を付加した前記第２の画素信号を出力する画素信号生成回路と、
   を有し、
   前記読み出し制御回路は、
   前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子が配置された位置に基づいた領域を、前記第１の画素信号を読み出す前記読み出し領域として決定し、決定した前記読み出し領域内に配置された前記第１の光電変換素子のそれぞれに対応する前記第１の読み出し回路のそれぞれに前記第１の画素信号を出力させ、
   前記ｎは２以上の自然数であり、
   前記ｍは２以上の自然数である、
   固体撮像装置。
2. 前記読み出し制御回路は、
   同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子が分布している位置に基づいて生成した矩形の領域を、前記読み出し領域として決定する、
   請求項１に記載の固体撮像装置。
3. 前記読み出し制御回路は、
   同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子が分布している領域を包含する矩形の領域を、前記読み出し領域として決定する、
   請求項１に記載の固体撮像装置。
4. 前記読み出し制御回路は、
   同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の分布の大きさが、予め定めた分布の大きさの閾値よりも大きい場合に、前記第２の光電変換素子の分布の大きさに応じた矩形の領域を前記読み出し領域として決定し、
   同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の分布の大きさが、前記分布の大きさの閾値以下である場合に、前記読み出し領域を決定しない、
   請求項１から請求項３のいずれか１の項に記載の固体撮像装置。
5. 前記読み出し制御回路は、
   同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の数が、予め定めた数の閾値よりも多い場合に、それぞれの前記アドレス情報に対応する前記第２の光電変換素子に対応する前記読み出し領域を決定し、
   同時期に出力された前記第２の画素信号に含まれる前記アドレス情報に対応する前記第２の光電変換素子の数が、前記数の閾値以下である場合に、前記読み出し領域を決定しない、
   請求項１から請求項３のいずれか１の項に記載の固体撮像装置。
6. 前記読み出し制御回路は、
   前記ｎ個の第１の光電変換素子が配置された全体の領域を、予め定めた大きさで区切った複数のブロックに分割し、分割したそれぞれの前記ブロックごとに、前記読み出し領域を決定する、
   請求項４または請求項５に記載の固体撮像装置。
7. 前記ｎ個の第１の光電変換素子のそれぞれおよび前記ｍ個の第２の光電変換素子のそれぞれは、
   第１の半導体基板の同一の平面の領域に周期的に配置される、
   請求項１から請求項６のいずれか１の項に記載の固体撮像装置。
8. 前記画素信号生成回路は、
   前記第１の半導体基板に光が入射する側の面と反対側の面に積層される第２の半導体基板に配置される、
   請求項７に記載の固体撮像装置。
9. 前記第１の半導体基板と前記第２の半導体基板との間に形成され、前記第１の半導体基板の回路要素と前記第２の半導体基板の回路要素とを電気的に接続する接続部、
   をさらに有し、
   前記接続部は、
   前記ｍ個の第２の読み出し回路のそれぞれが有する前記検出回路と、対応する前記第２の光電変換素子とを電気的に接続する、
   請求項８に記載の固体撮像装置。
10. ｓ個の前記第１の光電変換素子が発生した前記ｓ個の前記第１の電荷信号を１つの単位とした電荷信号を前記第２の光電変換素子が発生する前記第２の電荷信号として兼用し、
    前記ｓは１以上の自然数であり、
    前記第２の電荷信号として兼用する前記第１の電荷信号を出力する前記第１の光電変換素子の総数は、１以上で前記ｎ以下の自然数である、
    請求項９に記載の固体撮像装置。
11. 前記ｍは前記ｎよりも小さく、
    前記ｓは２以上の自然数であり、
    前記ｍ個の第２の読み出し回路のそれぞれは、
    対応する前記ｓ個の前記第１の光電変換素子が発生した前記ｓ個の前記第１の電荷信号を１つの単位として加算する加算回路、
    をさらに有し、
    前記検出回路は、
    前記加算回路によって加算された後の前記第１の電荷信号の変化を検出する、
    請求項１０に記載の固体撮像装置。
12. 前記ｎ個の第１の光電変換素子のそれぞれは、
    光が入射する第１の半導体基板に周期的に配置され、
    前記ｍ個の第２の光電変換素子のそれぞれは、
    前記第１の半導体基板に光が入射する側の面と反対側の面に積層される第２の半導体基板に周期的に配置され、
    前記第１の半導体基板を透過した光を光電変換した前記第２の電荷信号を発生する、
    請求項１から請求項６のいずれか１の項に記載の固体撮像装置。
13. 前記第２の読み出し回路のそれぞれは、
    ｔ個の前記第２の光電変換素子を１つの単位とし、前記ｔ個の前記第２の光電変換素子が発生したそれぞれの前記第２の電荷信号を加算する加算回路、
    をさらに有し、
    前記検出回路は、
    前記加算回路によって加算された後の前記第２の電荷信号の変化を検出し、
    前記ｔは２以上の自然数である、
    請求項９または請求項１２に記載の固体撮像装置。

Images