WO2014069212A1 - 動き検出用固体撮像装置および動き検出システム - Google Patents

Abstract

　消費電力を低減するとともに、動き検出精度を向上させた、動き検出用固体撮像装置および動き検出システムを提供することを目的とし、その解決手段としては、動き検出用撮像装置１２から出力される露光時間の長い信号と短い信号をそれぞれ複数画素合成し、露光時間の長い信号と短い信号の差分信号に基づいて動く物体の有無を判定し、動く物体が無いと判定したときに、動き検出画像処理装置または映像管理装置の少なくとも一部の回路を停止させ、検出精度向上と省電力化を図る。

Description

動き検出用固体撮像装置および動き検出システム

　本発明は、撮像画面上の映像の動きを検出・検出する動き検出用固体撮像装置および動き検出システムに関する。

固体撮像装置市場において、近年携帯電話用カメラ向けにＣＭＯＳセンサタイプが急速に数量を伸ばされている。ＣＭＯＳセンサ型固体撮像装置の各画素部は、入射光に応じた信号電荷を発生する光電変換部（以下画素と称す）と、この光電変換部の信号電荷を信号電圧に変換して増幅する増幅部を備えている。

固体撮像装置は単に映像を撮像するだけでなく、この固体撮像装置の撮像画面上で被写体の動きを検出することがある。例えば、同一視野を連続的に撮像して、この視野内に人が侵入してきたことを検出し、この人の侵入に応答して各種の機器を制御したり、この人の侵入を報知したり記録するなどの動き検出システムに使われている。

この様な撮像画面上の映像の動きを検出する方法としては、前後のフレーム間の同一画素単位での信号出力を比較して動きを検出する方法１がある（特許文献１）。また隣接画素を一対の組として積分時間を変え、ゲインを調整して差分信号出力により動きを検出する方法２がある（特許文献２）。

前者の方法１は、フレームメモリが必要となるため、回路規模が大きくなり、消費電力が増加する。さらにコストの上昇を避けることができない。後者の方法２は、被写体の輪郭部分で差分信号が発生するため誤検出信号が発生するため動き検出精度が悪いという問題があった。

特にカラー撮像の場合には、代表的な色フィルタ配置であるベイヤー方式（2x2画素を1組とし、G（緑）を対角に配置し、残りにR（赤）とB（青）の色フィルタを配置）を適用すると、少なくとも１画素飛ばしの位置にある同色のGの画素信号を用いるため誤検出信号が増加するため、さらに動き検出精度が劣化する。

さらに、動き検出動作は常に動いている被写体が有るかの検出動作をされている。ため低消費電力な固体撮像装置や動き検出システムが要求されている。

特開２０１１－１６６５３５号公報 特開平１０－２９０４００号公報

　本発明の目的は、消費電力を低減するとともに、動き検出精度を向上させた、動き検出用固体撮像装置および動き検出システムを提供することにある。

上記課題を解決するために、本発明の動き検出用撮像装置は、光電変換素子を有する画素部と、画素部を駆動するためのタイミング発生回路と、光電変換素子の蓄積時間を制御するための複数の蓄積時間発生回路と、画素部の各ラインを垂直方向に走査するための垂直走査回路と、画素部の垂直ラインを複数同時に駆動するための垂直並列制御回路と、前記画素部の垂直信号線から出力されるアナログ信号を水平方向で合成するための水平合成回路とを備え、
　動き物体検出動作時において、動き物体を検出するための光電変換素子の蓄積時間制御は、画素部を格子状に少なくとも2分割した長時間蓄積と短時間蓄積となるように制御し、蓄積時間の長さが同じ前記複数の光電変換素子の出力信号を垂直並列制御回路あるいは水平合成回路を用いて合成して出力する。

動き検出システムは、動き検出用撮像装置で撮影した1画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離回路と、分離した撮像信号間の差分信号を生成する差分信号生成回路と、差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定回路と、動き判定手段で判定した動き判定信号を基に、動き検出画像処理装置もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止回路を備える。

本発明によれば、動き検出中の固体撮像装置や動き検出システムの消費電力を大幅に低減できる。さらに、ランダムノイズを低減することができるため、低照度下での動き検出感度の向上されている。さらに、輪郭で発生する偽信号（ノイズ）を抑制することで、精度の良い動き検出を行うことができる。

図１は、本発明の第１実施形態に係る動き検出システムの概略構成を示すブロック図。 図２は、本発明の第２実施形態に係る動き検出システムの概略構成を示すブロック図。 図３は、本発明の第３実施形態に係る動き検出システムの概略構成を示すブロック図。 図４は、図３の動き検出用固体撮像装置の実施例１の概略構成を示すブロック図 図５は、図３の実施例１の撮像信号分離回路の構成図。 図６は、図４の画素部の映像信号読み出し動作例を説明するタイミングチャート図。 図７（Ａ）は、図４の画素部の画素合成読み出し動作例１と２の概略を示す構成図。 図７（Ｂ）は、図４の画素部の画素合成読み出し動作例１と２の概略を示す別の構成図。 図８（Ａ）は、図７（Ａ）の動き検出動作時の読出し動作を説明するためのタイミングチャート図。 図８（Ｂ）は、図７（Ｂ）の動き検出動作時の読出し動作を説明するためのタイミングチャート図。 図９（Ａ）は、図４の画素部の画素合成読み出し動作例３と４の概略を示す構成図。 図９（Ｂ）は、図４の画素部の画素合成読み出し動作例３と４の概略を示す別の構成図。 図１０（Ａ）は、図９（Ａ）の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１０（Ｂ）は、図９（Ｂ）の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１１は、図３の動き検出用固体撮像装置の実施例２の概略構成を示すブロック図。 図１２は、図３の実施例２の信号処理による画素合成回路と撮像信号分離回路の構成図。 図１３（Ａ）は、図１１の画素部の画素合成読み出し動作例５と６の概略を示す構成図。 図１３（Ｂ）は、図１１の画素部の画素合成読み出し動作例５と６の概略を示す別の構成図。 図１４（Ａ）は、図１３（Ａ）の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１４（Ｂ）は、図１３（Ｂ）の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１５は、本発明の第４実施形態に係る動き検出システムの概略構成を示すブロック図。 図１６は、本発明の第５実施形態に係る動き検出システムの概略構成を示すブロック図。 図１７は、本発明の第６実施形態に係る動き検出システムの概略構成を示すブロック図。 図１８は、図１７の動き検出用体撮像装置の実施例３の概略構成を示すブロック図 図１９は、図１７の実施例３の信号処理による画素合成回路と撮像信号分離回路の構成例図。 図２０は、本発明の第７実施形態に係る動き検出システムの概略構成を示すブロック図。 図２１は、本発明の第７実施形態に係る動き検出用固体撮像装置の概略構成を示すブロック図。 図２２は、図２１の画素部の画素合成読み出し動作例７の概略を示す構成図。

　以下、本発明の実施形態に係る動き検出用固体撮像装置および動き検出システムについて図面を参照しながら説明する。以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。

　＜動き検出システムの実施形態１＞
図１は、本発明の動き検出システムの実施形態１に係る動き検出システムの概略構成を示すブロック図を参照して詳細に説明する。
　本実施形態１の動き検出システムは、撮像レンズ１１を備えた撮像装置１２aと動き検出画像処理装置１０aとからなる動き検出カメラと映像管理装置３０aから構成されている。

動き検出画像処理装置１０aは、撮影した1画面の撮像信号を保存するためのフレームメモリ２０、撮影時刻の異なる撮像（画素）信号S１と撮像（画素）信号S２の差分信号生成回路１３a、差分信号を基に撮影した画面の中に動く物体の有無を判定する動き判定回路１４a、動きを判定するための判定レベルを設定する動き判定用閾値設定回路１９、撮像装置１２aの撮像信号S２をモニタに再生するための映像信号となるように処理するカラー信号処理回路２１、カラー処理した映像信号に撮影日や撮影時刻を記録するための時刻発生回路（時計１７）、日付や時刻の信号を映像信号に埋め込むための時刻加算回路１８、時刻を埋め込んだ映像信号１を出力するための映像信号出力回路１６と、動き判定した判定結果を出力するための動き判定信号出力回路１５などから構成されている。

　映像管理装置３０aは、動き判定信号入力回路２２、映像信号入力回路２３、入力した映像信号１を記録するための録画サーバ２４、映像信号１を再生するための映像モニタ２７、管理会社へ映像信号を伝送するためのLAN出力装置２５、映像信号をインターネット経由で携帯電話やパソコンなどで受信できるようにするためのWeb出力装置２６などから構成されている。

　差分信号生成回路１３aは、撮像信号S１と撮像信号S２との差分信号を生成する。生成した差分信号はプラスマイナスの極性に関係ない絶対値の差分信号を出力する。撮影した画面で動く物体が無い場合は、ノイズレベルの差分信号が出力される。動く物体が有る場合は、大きな差分信号が発生する。

動き判定用閾値設定回路１９は、ノイズレベルの差分信号をカウントしないようにカウントするレベル閾値１を設定すると共に、閾値２となるカウント数を設定する。この閾値よりカウント数が多くなると動く物体が有ると判定する。

動き判定回路１４aは、差分信号生成回路１３aの出力信号のレベルが、閾値１より大きいレベルの発生回数をカウントする。そして、閾値２よりカウント数が多くなると動く物体が有ると判定し、判定信号ON/OFF１をHIレベルにする。動きが無い場合は、LOレベルに設定している。
差分信号は、絶対値を用いたが、プラス側もしくはマイナス側のみを信号を用いてもよい。

　動き判定回路１４aで生成した動き判定信号（ON/OFF1）を用いて、動きが無いと判定した場合には、カラー信号処理回路２１や時刻加算回路１８、映像信号出力回路１６などの回路動作や信号処理動作を停止することで動き検出画像処理装置１０aの消費電力を低減できる。同様に、後段の映像管理装置３０aの記録サーバ２４やLAN出力装置２５、Web出力装置２６、モニタ２７などの処理を停止させることで、動き検出システム全体の消費電力を大幅に低減できる。さらに、録画サーバ２４は、動きの無い映像信号を記録しないため、録画サーバの容量低減による小型化・低価格化、もしくは動き有りの映像信号の長時間録画・保存が可能となっている。

　動き判定信号による回路や装置の処理動作の停止方法１として、カラー信号処理の入力信号（撮像S２）を遮断する。例えば入力信号の10bitのデジタル値をオールゼロに切換える。カラー信号処理回路以降の信号がゼロとなり、デジタル回路のスイッチ動作（０⇔１切換え）が停止することで回路動作の消費電力を低減することができる。
　停止方法２として、各回路や装置には誤動作発生時に元の状態に戻すためのリセットスイッチが備わっている。このリセットスイッチをON状態で保つことで各回路や装置の回路処理を停止させたままにすることで、消費電力を削減することができる。
停止方法３として、停止させたい回路や装置の電源供給を遮断機能付きのレギュレータICにより遮断させる。また、電源にリレー回路を設け、このリレー回路を遮断することで大幅な消費電力を削減することができる。

＜動き検出システムの実施形態２＞
図２は、本発明の動き検出システムの実施形態２に係る動き検出システムの概略構成を示すブロック図である。本実施形態２の動き検出システムは、撮像レンズ１１を備えた撮像装置１２aと動き検出画像処理装置１０ｂとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態１と異なる構成動作について説明する。

動き検出画像処理装置１０ｂは、図１の動き判定信号出力回路１５を削減することで出力信号を映像信号２のみとすることで従来の伝送ケーブルが使えるなどの利点がある。動き判定回路１４ｂは、動き判定信号（ON/OFF1）を出力すると共に判定コードを出力している。動き判定信号（ON/OFF1）は実施形態１と同様に、カラー信号処理回路２１や時刻加算回路１８、映像信号出力回路１６などの回路動作や信号処理動作を停止する。

判定信号のON/OFF信号をコード化した判定コードは、動き判定信号加算回路２８を用いて映像信号に埋め込んでいる。一般的に、映像信号と異なる撮影情報は有効な映像信号が含まれないブランキング期間に情報を埋め込んでいる。同様に動き判定信号をコード化し、ブランキング期間に埋め込んで映像信号２を出力する。

　映像管理装置３０ｂは、動き判定コードが埋め込まれた映像信号２から判定信号抽出回路２９ｂによって、動き判定コードの情報から動き判定信号ON/OFF２を生成している。
実施形態１と同様に記録サーバ２４やLAN出力装置２５、Web出力装置２６、モニタ２７などの処理を停止させることで、動き検出システムの消費電力の大幅な低減をしている。さらに、録画サーバ２４は、動きの無い映像信号を記録しないため、録画サーバの容量低減による小型化・低価格化、もしくは動き画像の長時間録画・保存が可能となっている。

＜動き検出システムの実施形態３＞
図３は、本発明の実施形態３に係る動き検出システムの概略構成を示すブロック図である。
　本実施形態３の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｂ（１２ｃ）と動き検出画像処理装置１０ｃとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態２と異なる構成動作について説明する。

動き検出画像処理装置１０ｃは、撮像装置１２ｂ（１２ｃ）から撮影した1画面の撮像（画素）信号は、撮影時刻が異なるように、フォトダイオードが2次元に配置された画素エリアをフォトダイオードで露光する蓄積時間の長い撮像（画素）信号STLと蓄積時間の短い撮像（画素）信号STSが含まれた撮像（画素）信号Saが入力されている。蓄積時間の長いフォトダイオードと短いフォトダイオードは、格子状に配置されている。動き検出画像処理装置１０cに入力された撮像信号Saは、撮像信号分離回路３５にて撮像信号STLと撮像信号STSに分離し、比較対象画素となる撮像信号STLと撮像信号STSを同時に出力し、差分信号生成回路１３aの差分信号を基に撮影した画面の中に動く物体の有無を判定している。

実施形態３は、実施形態２のフレームメモリ２０を削減することで、動き検出画像処理装置１０ｃの小型化、低価格化、低消費電力化を実現している。さらに、映像信号記録動作時はフル解像度の撮像信号Saを出力し、動き検出動作時は、サンプリング数を低減した撮像信号Saを出力することで、さらに動き検出システムの消費電力を低減している。

　＜動き検出用固体撮像装置の実施例１＞　
　図４乃至図１０を用いて、固体撮像装置１２ｂ（１２ｃ）の詳細構成およびその動作を説明する。　まず、図４を用いて、動き検出システムの実施形態３に係る固体撮像装置１２ｂの構成例を説明する。実施例１に係る固体撮像装置１２ｂは、画素部４４aには、レンズ１１を介して光が入射され、光電変換によって入射光量に応じた信号電荷が生成される。この画素部４４aには、複数のセル（単位画素）が半導体基板上に行及び列の二次元的にマトリクス状に配置されている。

そして１つのセルは、４つのトランジスタ（Ｔａ，Ｔｂ，Ｔｃ，Ｔｄ）と2個のフォトダイオード（ＰＤｎ、PDｍ）から構成される。各セルには垂直駆動回路（垂直走査回路４２，垂直並列制御回路４３）からパルス信号ＡＤＲＥＳｎ，ＲＥＳＥＴｎ，ＲＥＡＤｎがそれぞれ供給される。図に記載していないが、この画素部１１の上部にはソースフォロワ回路用の負荷トランジスタが水平方向に沿って各垂直信号線に配置されている。フォトダイオードの入射光面に形成された色フィルタは代表的なBayer配列（２ｘ２の画素配列として、Gr：緑,R：赤,B：青,Gb：緑）で２次元に配置されている。

この画素部４４aを制御するためのタイミング発生回路４０、画素部で光信号を電荷に変換するフォトダイオードの蓄積時間を制御するための長い蓄積時間TLと短い蓄積時間TSを発生する蓄積時間発生回路４１、画素部を垂直方向に走査するための垂直走査回路４２、垂直のラインを複数同時に駆動するための垂直並列制御回路４３で構成されている。

そして、画素部４４aから出力される垂直信号線の読出し回路は、水平のサンプリング数を低減するための水平合成回路１（４５a）、カラム型ノイズキャンセル回路（ＣＤＳ）４６、アナログ信号をデジタル信号に変換するカラム型アナログデジタルコンバータ（ＡＤ変換）回路４７、AD変換したデジタル信号を保存するラインメモリ１（４８）、および水平方向へデジタル信号を読み出すための水平走査回路１（４９）で構成されている。AD変換回路４７の動作でCDS処理を含める場合はCDS回路４６が省略される。

垂直信号線nは、水平合成回路１（４５a）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５a）は、垂直信号線2本が1ライン毎にスイッチトランジスタH5A1とH5A2で接続されている。このトランジスタのゲートは、タイミング発生回路４０のHAVE信号によって制御されている。このHAVE信号をONにすることで、垂直信号線2本に出力される信号を水平合成（平均化）することができる。また、垂直並列制御回路４３で、垂直の読出しラインを複数本同時にONにすることで、垂直に配置した画素信号を垂直合成（平均化）することができる。

　図５に構成例１の撮像信号分離回路３５aを示す。撮像信号分離回路３５aは、撮像信号Saを１水平（１H）期間分遅延させるためのラインメモリ２（３１a）、撮像信号Saを画素単位で遅延させる遅延回路DL（３２）、撮像信号Saを増幅するための増幅回路３３、信号切換え回路３９から構成されている。

動き検出動作は、撮像装置１２ｂの画素部４４aの所定のフォトダイオードを長時間蓄積となる蓄積時間TLと短時間蓄積となる蓄積時間TSで動作させ、画素部４４aからライン毎に読み出す。長時間蓄積した信号STLと短時間蓄積した信号STSの比較する画素信号の位相が同じになるようにラインメモリ２（３１a）と画素単位の遅延回路DL（３２）で調整されている。さらに短時間蓄積した画像信号STSは、信号レベルが同等となるように増幅回路３３で蓄積時間比（TL/TS）のゲインで増幅されている。

動いている物体を検出した直後は、画素部４４aの信号読出しはフル解像度が得られる信号合成は実施しないで撮像信号Saが出力される。フル解像度動作１では、蓄積時間が短い撮像信号Saは増幅回路３３で蓄積時間比（TL/TS）のゲインで増幅した信号側に信号切換え回路３９で切換えて撮像信号Sbが出力されている。蓄積時間が長い撮像信号Saの場合は、信号切換え回路３９を撮像信号Sa側に切換えて撮像信号Sbが出力されている。またフル解像度動作２では、全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。これらの動作は、予め設定した所定の時間例えばフル解像度撮影を５秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施できる。　　　

＜映像信号用の信号読出し動作例＞　
　図６に示す動作タイミングを用いて、本例に係る固体撮像装置の標準の撮像信号読み出し動作について説明する。フォトダイオードＰＤで光電変換した電荷を蓄積する蓄積時間は全画素共通の蓄積時間ＴＬに設定する。この蓄積時間TLは、被写体の明るさに応じて調整される。蓄積時間ＴＬは蓄積時間発生回路４１で１Ｈ毎に制御される。

　タイミング発生回路４０で発生させた水平同期信号HDに同期してREAD１とRESET12のパルスを発生させることで、蓄積開始の時刻までフォトダイオードPD１に蓄積していた信号電荷を排出後、蓄積を開始する。この動作を順次PD2,PD3，・・・と動作している。

そして、所定の蓄積時間TLが終了すると、読出しパルスREAD１の直前にパルスRESET１２を印加して検出部に発生していた余分なリーク信号を排出する。その後、読み出しパルスREAD１を印加することでフォトダイオードPD1に蓄積していた信号電荷を読み出す。
これらのRESET１２とREAD１の読出し動作期間はADREA１２パルスをONにすることで、出力アンプを介して垂直信号線へ電圧信号が出力される。この動作をHDに同期して順次フォトダイオードPD2,PD3,・・・と続けて２次元の画像を出力している。各パルス振幅は、高レベルを２．８Ｖ～３．８Vにして動作している。

＜動き検出信号読出し動作例１＞
図７（A）の画素配列と図８（A）の動作タイミングを用いて動き検出信号読出し動作１について説明する。動き検出信号読出し動作１は、実線丸の4画素のGr画素の信号を合成（加算もしくは平均化）した信号と、次の点線丸の4画素のGb画素の信号を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理が実施される。

水平合成回路１（４５a）での水平方向の信号合成（加算もしくは平均化）動作は、HAVE信号をONにすることで平均化した信号が生成される。スイッチH5A1をONにすることで、水平に配置したGr用の垂直信号線の出力信号が平均化される。また、スイッチH5A2をONにすることで、水平に配置したGb用の垂直信号線の出力信号が平均化さる。同様に水平方向に平均化用のスイッチを配置している。
この動き検出動作は、水平方向のサンプリング数が1/2に低減されるため後段のCDS回路４６以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減している。

図８（A）に示す動作タイミングを用いて垂直2画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図８（A）に示すようにADRES１２とADRES３４を同時にONにすることで、垂直方向の2画素の信号が同時に垂直信号線へ出力される。出力した２つの信号は、垂直信号線で信号合成（平均化）した信号となる。水平方向の信号合成（平均化）処理と同時に実施することで4画素の信号合成（平均化）処理を実施している。

　まず、タイミング発生回路４０の水平同期信号HDに同期して奇数ラインのREAD１とREAD3とRESET12とRESET34のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD3に蓄積していた信号電荷を排出し、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD５,PD７,・・・と順次奇数ラインの信号排出動作をしている。蓄積時間は長時間蓄積TLに設定している。

　次に短時間蓄積TSが長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定している。蓄積時間TLの1/2になる時刻HDに同期して、偶数ラインのREAD２とREAD４とRESET12とRESET34のパルスを同時に発生させることで、この時刻までフォトダイオードPD２とPD４に蓄積していた信号電荷を排出し、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD６,PD８,・・・と順次偶数ラインの信号を排出動作している。

そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD3のパルス印加直前に検出部に蓄積した余分なリーク信号を排出するためにRESET12とRSET34のパルスを同時に印加している。そして読出しパルスREAD１とREAD3を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出し、検出部で電圧に変換して出力アンプから垂直信号線へ出力している。

このRESET動作から信号読出し動作期間の間はADREA１２とADRES３４パルスを同時にONにすることで、PD１とPD３の信号を垂直信号線へ電圧信号として同時に出力している。このADRES１２とADRES３４を同時にONにすることで、垂直信号線に発生する信号は、2画素分の信号が平均化した信号電圧が発生する。この読出し動作を順次PD２とPD４、次にPD５とPD７とHDに同期して読出し動作を実施している。

＜動き検出信号読出し動作例２＞
図７（B）の画素配列と図８（B）の動作タイミングを用いて動き検出信号読出し動作２について説明する。動き検出信号読出し動作２は、実線丸の１６画素のGr画素を信号合成（加算もしくは平均化）した信号と、次の点線丸の１６画素のGb画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している

水平合成回路１（４５b）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号が生成されている。スイッチH7B1とH7B3とH7B5をONにすることで、水平に配置した4箇所のGr用の垂直信号線の出力信号が平均化される。また、スイッチH7B2とH7B4とH7B6をONにすることで、水平に配置した4箇所のGb用の垂直信号線の出力信号が平均化される。同様に水平方向に平均化用のスイッチを配置、順次各4箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路４６以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力が低減される。

図８（B）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図８（B）に示すようにADRES１２とADRES３４とADRES５６とADRES７８を同時にONにすることで、垂直方向の４画素の信号が同時に垂直信号線へ出力する。出力した４つの信号は、合成（平均化）した信号が垂直信号線に発生する。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。

　まず、タイミング発生回路４０の水平同期信号HDに同期して奇数ラインのREAD１とREAD3と READ５とREAD７とRESET12とRESET34とRESET56とRESET78のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD3 とPD５とPD７に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期して同様にフォトダイオードPD９,PD１１,・・・と順次４箇所の奇数ラインの信号排出動作を実施する。蓄積時間は長時間蓄積TLに設定されている。

　次に短時間蓄積TSが長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、偶数ラインのREAD２とREAD４とREAD６とREAD８とRESET12とRESET34とRESET56とRESET78のパルスを同時に発生させることで、この時刻までフォトダイオードPD２とPD４とPD６とPD８に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD１０,PD１２,・・・と順次4箇所の偶数ラインの信号排出動作を実施する。

そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD３とREAD５とREAD７の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET１２とRSET３４と RESET５６とRSET７８のパルスを同時に印加している。そして読出しパルスREAD１とREAD3とREAD５とREAD７を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で電圧に変換して出力アンプで垂直信号線へ読み出している。

このRESET動作から信号読出し動作期間の間はADREA１２とADRES34とADREA５６とADRES７８パルスを同時にONにすることで、フォトダイオードPD１とPD３とPD５とPD７の信号
を垂直信号線へ電圧信号として同時に出力している。このADRES１２とADRES３４とADRES５６とADRES７８を同時にONにすることで、垂直信号線に発生する信号は、垂直４画素分の信号を平均化した信号電圧が発生する。この読出し動作を順次PD２とPD４とPD６とPD８、次にPD９とPD１１とPD１３とPD１５とHDに同期して読出す。

動いている物体の検出は、図８（A）や図８（B）に示す長時間蓄積TLと短時間蓄積TSから得られる信号差分から得ることができる。短時間蓄積TSの信号量は長時間蓄積TLより蓄積時間が短い分だけ信号量が少ないため、後段の信号処理で同じ信号レベルになるように蓄積時間比G＝TL／TSの係数Gで短時蓄積TS信号を増幅する。そして、信号差分量＝TL－G＊TSで動いている物体の検出が実施されている。蓄積時間の比率は、２限定されないが２，４，８などに設定すると、増幅回路がbitシフトと簡単な信号処理で実現できる。

動きのない物体は、信号差分量がほぼゼロとなる（ランダムノイズレベル）。動きの有る物体は、蓄積開始が速く始まる蓄積時間TLの開始時間と蓄積開始が遅く始まる蓄積時間TSの開始時間の差の信号が蓄積時間TLの信号に発生する。すなわち、動いている物体のエッジ部分に差分信号が発生する。この差分信号量と発生頻度を後段の動き判定回路で判定することで、動いている物体を検出することができる。

しかし、動きのない物体のエッジ部分は、長時間蓄積と短時間蓄積の画素のサンプリングポイントが異なるため大きな信号差分が発生し偽信号となる。そこで、図７（A）や図７（B）に示す長時間蓄積した信号と短時間蓄積した信号を複数画素合成し、さらにサンプリングする画素位置がオーバーラップするように信号合成することで、この偽信号を大幅に低減している。その結果、動き物体の検出精度が大幅に向上した。さらに、複数画素の信号を合成しているためS/Nが改善され暗い環境での動き物体検出精度が向上している。さらに、複数画素の信号合成により、サンプリング数を1/4や1/16などに大幅に低減することで、動き物体検出動作時の消費電力を1/4や1/16と大幅に低減している。さらに検出動作速度を4倍速、16倍速と高速化が用意に実現できる。

＜動き検出信号読出し動作例３＞
図９（A）の画素配列と図１０（A）の動作タイミングを用いて動き検出信号読出し動作３について説明する。動き検出信号読出し動作３は、実線丸のBayer配列2x2の４画素を合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。

水平合成回路１（４５ｃ）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成している。スイッチH9A1をONにすることで、水平に配置した実線丸２箇所の垂直信号線の出力信号を平均化している。また、スイッチH9A2をONにすることで、水平に配置した点線丸２箇所の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置、各２箇所の平均化を実施されている。
この動き検出動作は、水平方向のサンプリング数が1/２に低減されるため後段のCDS回路４６以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減できる。

図１０（A）に示す動作タイミングを用いて垂直２画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１０（A）に示すようにADRES１２をONにし、READ１とREAD２を同時にONにすることで、PD1とPD2に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力する。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで４画素の信号合成（加算もしくは平均化）処理を実施している。

　まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目のREAD１とREAD２と RESET12のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期して同様にフォトダイオードPD５,PD６,・・・と２ラインの信号排出動作をしている。蓄積時間は長時間蓄積TLに設定されている。

　次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、次の３ライン目と４ライン目のREAD３とREAD４とRESET３４のパルスを同時に発生させることで、この時刻までフォトダイオードPD３とPD４に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD７,PD８,・・・と順次２ラインの信号排出動作をしている。

そしてフォトダイオードで蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET12のパルスを印加している。そして読出しパルスREAD１とREAD２を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で加算動作をし、電圧に変換して出力アンプで垂直信号線へ読み出している。

この読出し動作を順次PD３とPD４、PD５とPD６、・・・とHDに同期して順次読出している。
水平の信号合成（加算もしくは平均化）処理と合わせて、Bayer配列の4画素の信号合成（加算もしくは平均化）動作を実施している。

＜動き検出信号読出し動作例４＞
図９（B）の画素配列と図１０（B）の動作タイミングを用いて動き検出信号読出し動作４について説明する。動き検出信号読出し動作４は、実線丸のBayer配列2x2の４画素を基本に4箇所の合計16画素を合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素を基本に4箇所の合計16画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。

水平合成回路１（４５d）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成している。スイッチH9B1とH9B2とH9B5をONにすることで、水平に配置した実線丸4箇所の垂直信号線の出力信号が平均化される。また、スイッチH9B3とH9B4とH9B6をONにすることで、水平に配置した点線丸4箇所の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置、各4箇所の平均化を実施している。

この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路４６以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力を低減できる。

図１０（B）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１０（B）に示すようにADRES１２と同時にADRES５６をONにし、READ１とREAD２とREAD５とREAD６を同時にONにすることで、PD1とPD2とPD５とPD６に蓄積した信号電荷が読み出され、検出部でそれぞれ加算した信号を生成し、それぞれADRES１２とADRES５６の出力アンプから垂直信号線へ出力される。2箇所から出力した信号は、垂直信号線で合成（平均化）した信号が発生する。水平方向の信号合成（平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。

　まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目と5ライン目と6ライン目のREAD１とREAD２と READ５とREAD６とRESET12とRESET56のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD２ とPD５とPD６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期して同様にフォトダイオードPD９,PD１０,・・・と４ラインの信号排出動作を順次実施している。蓄積時間は長時間蓄積TLに設定されている。

　次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、次の３ライン目と４ライン目と７ライン目と８ライン目のREAD３とREAD４とREAD７とREAD８とRESET３４とRESET７８のパルスを同時に発生させることで、この時刻までフォトダイオードPD３とPD４とPD７とPD８に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD１１,PD１２,・・・と順次４ラインの信号排出動作をしている。

そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２とREAD５とREAD６の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET１２とRESET５６のパルスを同時に印加している。そして読出しパルスREAD１とREAD２とREAD５とREAD６を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出してそれぞれ検出部で加算し電圧に変換して出力アンプから垂直信号線へ出している。

このRESET動作から信号読出し動作期間の間はADREA１２とADREA５６パルスを同時にONにすることで、加算したPD１とPD２と加算したPD５とPD６の信号を垂直信号線へ出力している。垂直信号線に発生する信号は、垂直４画素分の信号を合成（加算と平均化）した信号電圧を発生する。この読出し動作を順次PD３とPD４とPD７とPD８、次にPD９とPD１０とPD１３とPD１４とHDに同期して順次読出している。

＜動き検出用固体撮像装置の実施例２＞
　図１１を用いて、動き検出システムの実施形態３に係る固体撮像装置１２cの構成例を説明する。動き検出用固体撮像装置の実施例１（図４）に対して、異なる画素部４４ｂと水平合成回路１（４５c）について説明する。

画素部４４ｂの１つのセルは、４つのトランジスタ（Ｔａ，Ｔｂ，Ｔｃ，Ｔｄ）と2個のフォトダイオード（ＰＤ1、PD2）から構成され、各セルにはパルス信号ＡＤＲＥＳｎ，ＲＥＳＥＴｎがそれぞれ供給される。フォトダイオードからの読出し用の配線は2本のＲＥＡＤｎ，ＲＥＡＤｎ‘が配線されている。Bayer配列の２ｘ２画素を１つの単位として、水平垂直共に交互に各画素の読出しトランジスタ（Td）に接続されている。この画素部４４ｂの上部にはソースフォロワ回路用の負荷トランジスタが水平方向に沿って配置されている。

画素部４４ｂから出力する垂直信号線nは、水平合成回路１（４５ｃ）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５ｃ）は、垂直信号線nが隣接２ライン毎にスイッチトランジスタH9Anで接続されている。このトランジスタのゲートは、タイミング発生回路４０のHAVE信号によって制御されている。このHAVE信号をONにすることで、２つの垂直信号線に出力される信号は水平合成（平均化）した信号となる。また、垂直並列制御回路４３で、垂直の読出しラインを複数本同時にONにすることで、垂直に配置した画素信号を垂直合成（平均化）することができる。

　図１２に構成例２の信号処理による画素合成回路と撮像信号分離回路３５ｂを示す。
撮像信号分離回路３５ｂは、撮像信号Saを１水平（１H）期間分遅延させるためのラインメモリ２（３１a）、画素単位で遅延させる遅延回路DL（３２a、３２ｂ）、撮像信号Saとラインメモリ２（３１a）の出力信号とそれぞれを１画素遅延させた信号とをクロスで加算するための加算回路（３４a、３４ｂ）、加算したいづれかの撮像信号を増幅するための増幅回路３３から構成されている。

動き検出動作時は、
撮像装置１２ｂから出力された撮像信号aは、ラインメモリ２（３１a）で1水平（HD）期間遅延し、さらに画素単位で遅延させる遅延回路DL(３２a)と前記撮像信号aとを加算する加算回路３４aの出力信号として長時間蓄積した画像STL信号が出力されている。
さらに、撮像装置１２ｂから出力された撮像信号aは、画素単位で遅延した遅延回路（３２ｂ）とラインメモリ２（３１a）で1水平（HD）期間遅延した信号とを加算する加算回路３４ｂで加算した信号をさらに増幅回路３３で増幅した信号を短時間蓄積した画像STS信号として出力されている。

動いている物体を検出した直後は、フル解像度動作として全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。この動作は、予め設定した所定の時間例えば撮影を１０秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施している。

＜動き検出信号読出し動作例５＞
図１３（A）の画素配列と図１４（A）の動作タイミングを用いて動き検出信号読出し動作５について説明する。動き検出信号読出し動作５は、実線丸のBayer配列2x2の４画素を合成（加算もしくは平均化）した信号と斜め配置の同じくBayer配列の4画素との合計8画素合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素の斜め配置の2箇所を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。

水平合成回路１（４５ｃ）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成されている。スイッチH9A1をONにすることで、水平に配置した隣接した2本の垂直信号線の出力信号を平均化している。また、スイッチH9A2をONにすることで、次の隣接した2本の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置することで、順次隣接した２つの垂直信号線の出力信号の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が1/２に低減されるため後段のCDS回路４６以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減できる。

図１４（A）に示す動作タイミングを用いて垂直２画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１４（A）に示すようにADRES１２をONにし、READ１とREAD２とREAD１’とREAD２’とを同時にONにすることで、PD1とPD2に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力されている。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで４画素の合成（加算もしくは平均化）処理を実施している。

　まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目のREAD１とREAD２と RESET12のパルスを同時に発生させることで、この時刻まで長時間蓄積用のフォトダイオードPD１とPD２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期して同様にフォトダイオードPD３,PD４,・・・と順次２ラインの信号排出動作をされている。蓄積時間は長時間蓄積TLに設定されている。

　次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、１ライン目と２ライン目のREAD１’とREAD２’とRESET12のパルスを同時に発生させることで、この時刻まで短時間蓄積用のフォトダイオードPD１とPD２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期してフォトダイオードPD３,PD４,・・・と順次２ラインの信号排出動作をしている。

そしてフォトダイオードで蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２とREAD１’とREAD２’の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET12のパルスを印加している。そして読出しパルスREAD１とREAD２とREAD１’とREAD２’を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で加算動作をし、電圧に変換して出力アンプで垂直信号線に読み出している。

この読出し動作を順次PD３とPD４、PD５とPD６、・・・とHDに同期して順次読出している。
水平の信号合成（平均化）処理と合わせて、Bayer配列の4画素の信号合成（加算もしくは平均化）動作を実施している。

＜動き検出信号読出し動作例６＞
図１３（B）の画素配列と図１４（B）の動作タイミングを用いて動き検出信号読出し動作６について説明する。動き検出信号読出し動作６は、実線丸のBayer配列2x2の４画素を基本に８箇所の合計３２画素を合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素を基本に８箇所の合計３２画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。

水平合成回路１（４５d）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成している。スイッチH9B1とH9B2とH9B5をONにすることで、水平に配置した実線丸4箇所（垂直ライン１と２と５と６）の垂直信号線の出力信号を平均化されている。また、スイッチH9B3とH9B4とH9B6をONにすることで、水平に配置した点線丸4箇所（垂直ライン１と２と５と６）の垂直信号線の出力信号を平均化されている。同様に水平方向に平均化用のスイッチを配置、各4箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路４６以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力を低減できる。

図１４（B）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１４（B）に示すようにADRES１２をONにし、READ１とREAD２とREAD１’とREAD２’を同時にONにすることで、PD1とPD2に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力されている。

そして、同時にADRES５６をONにし、READ５とREAD６とREAD５’とREAD６’を同時にONにすることで、PD５とPD６に蓄積した信号電荷が読み出され、検出部で加算した信号は出力アンプで垂直信号線へ出力している。ADRES12とADRES56の2箇所から出力した信号は、垂直信号線で合成（平均化）した信号が生成される。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。

　まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目と5ライン目と6ライン目のREAD１とREAD２と READ５とREAD６とRESET１２とRESET５６のパルスを同時に発生させることで、この時刻まで長時間蓄積用フォトダイオードPD１とPD２ とPD５とPD６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期して同様にフォトダイオードPD３,PD４,PD７，PD8，・・・と順次４ラインの信号排出動作をしている。蓄積時間は長時間蓄積TLに設定されている。

　次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、１ライン目と２ライン目と５ライン目と６ライン目のREAD１’とREAD２’とREAD５’とREAD６’とRESET12とRESET56のパルスを同時に発生させることで、この時刻まで短時間蓄積用フォトダイオードPD１とPD２とPD５とPD６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期して短時間蓄積用フォトダイオードPD３,PD４,PD７，PD8，・・・と順次４ラインの信号排出動作をされている。

そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２とREAD５とREAD６とREAD１’とREAD２’とREAD５’とREAD６’の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET１２とRESET５６のパルスを同時に印加している。そして読出しパルスREAD１とREAD２とREAD５とREAD６とREAD１’とREAD２’とREAD５’とREAD６’を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で電圧に変換して出力アンプで読み出されている。

このRESET動作から信号読出し動作期間の間はADREA１２とADREA５６パルスを同時にONにすることで、PD１とPD２の信号を検出部で加算した信号とPD５とPD６の信号を検出部で加算した信号とを垂直信号線へ電圧信号として出力して、ADRES12とADRES56を同時にONにすることで、垂直信号線に発生する信号は、合計垂直４画素分の信号を合成（平均化）した信号電圧を発生する。この読出し動作を順次PD３とPD４とPD７とPD８、次にPD９とPD１０とPD１３とPD１４とHDに同期して順次読出される。
これらの処理により、図１３（B）の実線丸8箇所と、点線丸8箇所との動き検出差分処理を実施している。

＜動き検出システムの実施形態４＞
図１５は、本発明の実施形態４に係る動き検出システムの概略構成を示すブロック図である。
　本実施形態４の動き検出システムは、撮像レンズ１１を備えた撮像装置１２eと動き検出画像処理装置１０eとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態３と異なる構成動作について説明する。

撮像装置１２eは、センサコア部３６と動き検出部から構成されている。センサコア部３６は、図４あるいは図１１の固体撮像装置と同様の構成になっている。
動き検出画像装置１０eは、撮像信号Sbを入力し、カラー信号処理回路２１、時刻発生回路１７、動き判定信号（ON/OFF１）を映像信号に埋め込むためのコードを発生するコード発生回路３８、動き判定信号加算回路２８ｂ、映像信号出力回路１６で構成されている。

センサコア部３６から出力された撮像信号Saは、撮像信号分離回路３５にて長時間蓄積した撮像信号STLと短時間蓄積した撮像信号STSに分離し、比較対象画素となる撮像信号STLと撮像信号STSを同時に出力し、差分信号生成回路１３aで差分信号を生成し、動き判定回路１４aで動いている物体の有無を判定し、撮像装置１２eから判定信号（ON/OFF1）が出力されている。
撮像信号分離回路３５は、図５あるいは図１２と同様の構成となっている。

＜動き検出システムの実施形態５＞
図１６は、本発明の実施形態５に係る動き検出システムの概略構成を示すブロック図である。
　本実施形態５の動き検出システムは、撮像レンズ１１を備えた撮像装置１２fと動き検出画像処理装置１０ｆとからなる動き検出カメラと映像管理装置３０ｂから構成されている。

撮像装置１２fは、実施形態４に対して動き判定回路１４ｃからは動き判定コードのみを出力し、撮像信号Saに埋め込むための動き判定信号加算回路２８aが追加され、動き判定コードを埋め込んだ撮像信号Scが出力されている。

動き検出画像装置１０ｆは、実施形態４と異なり入力された撮像信号Scに埋め込まれた判定コードを抽出するための動き判定信号抽出回路２９aを用いて、埋め込まれた動き判定信号（ON/OFF１）を抽出し出力する。動きが無いと判定した場合は、カラー信号処理回路２１や映像信号出力回路１６などの回路動作や信号処理動作を停止する。

＜動き検出システムの実施形態６＞
図１７は、本発明の実施形態６に係る動き検出システムの概略構成を示すブロック図である。
　本実施形態６の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｄと動き検出画像処理装置１０ｄとからなる動き検出カメラと映像管理装置３０ｂから構成されている。
　撮像装置１２ｄは、動き検出動作時にもサンプリング数を削減せずに、画素部の全画素の信号を撮像信号Saとして出力している。

動き検出画像処理装置１０ｄは、撮像装置１２ｄからの全画素の撮像信号Saを画素信号合成回路３７で複数画素の信号を合成（加算）し、撮像信号分離回路３５へ出力している。
その他は、実施形態３と同じ構成になっている。

＜動き検出用固体撮像装置の実施例３＞　
　図１８を用いて、動き検出システムの実施形態６に係る固体撮像装置１２ｄの構成例を説明する。動き検出用固体撮像装置の実施例２（図１１）の固体撮像装置１２ｃと異なるのは、サンプリング数の削減を実施していないため、垂直並列制御回路４３と水平合成回路１（４５ｃ）がない。撮像装置１２ｄは回路削減により簡単な構成になっている。

　図１９に構成例３の撮像信号分離回路３５ｃと撮像信号の信号処理による画素合成回路３７を示す。図１３Aに示す画素信号の合成方法について説明する。撮像信号合成回路３７は、動き検出用撮像装置１２ｄの撮像エリアから出力した順次４ライン毎の信号の演算ができるように４ライン（少なくとも３ライン）のラインメモリ３１ｂ～eと、入力した4ラインの画素信号をそれぞれ上側2ラインの画素に相当する垂直２画素水平2画素の4画素の第１の加算信号と、下2ラインに相当する垂直２画素水平2画素の4画素の第２の加算信号を生成する。

撮像信号分離回路３５ｃは、
図１３Aに示すように、実線丸の4画素加算と点線丸の4画素加算した信号が、前記第１の信号と第２の信号として入力される。この撮像信号分離回路３５ｃは、クロスになった信号同士を加算する必要が有る。
第１の加算信号と第２の加算信号をそれぞれ加算信号１画素分相当だけ遅延手段で遅延させ、
遅延していない第１の加算信号と遅延した第２の加算信号を加算した第３の加算信号を生成し、
遅延していない第２の加算信号と遅延した第１の加算信号を加算した第４の加算信号を生成し、
第３の撮像信号もしくは第４の撮像信号のいずれかを増幅し、増幅した短い蓄積時間の撮像信号STSと増幅していない長い蓄積時間の撮像信号STLの少なくとも２種類の撮像信号を出力している。

＜動き検出システムの実施形態７＞
図２０は、本発明の実施形態７に係る動き検出システムの概略構成を示すブロック図である。
　本実施形態７の動き検出システムは、撮像レンズ１１を備えた動き検知用撮像装置１２ｇ（動き検出カメラ）と映像管理装置３０aから構成されている。撮像装置１２ｇは、例えば実施形態３（図３）の動き検出画像処理装置１０ｃの回路がオンチップで撮像装置１２ｇに組み込まれている。また、実施形態２（図２）と同様に撮像装置１２ｇの映像信号１に動き判定信号を埋め込んで、映像管理装置３０ｂと組み合わせることで、映像信号１のみを出力することができる。

図２１は、本発明の実施形態７に係る動き検出システムの撮像装置１２ｇの概略構成を示すブロック図である。撮像装置１２ｇはセンサチップに動き判定回路１４ｂとカラー信号処理回路２１などを組み込んだ1チップの固体撮像装置となっている。実施形態３と異なる構成動作について説明する。

撮像装置１２ｇの画素部４４ｂの下部には、画素部４４ｂから出力される垂直信号線が入力されたカラム型ノイズキャンセル回路（ＣＤＳ）４６、カラム型アナログデジタルコンバータ回路（ＡＤ変換）４７、ラインメモリ１（４８）、水平走査回路１（４９）、
画素部４４ｂの上部には、画素部４４ｂから出力される垂直信号線を受け水平方向で信号を合成する水平合成回路２、水平方向の読出しを走査する水平走査回路２（５０）で構成されている。

動き判定用の撮像信号は、水平走査回路２（５０）と水平合成回路２（５１）を用いて平均化した長時間蓄積した撮像信号STLと短時間蓄積した撮像信号STSとしてアナログ信号を出力し、蓄積時間の差分を補正するためのアナログの増幅回路５２で信号レベルが調整されている。その増幅回路５２の出力の差分信号をアナログの差動アンプとなる差分信号生成回路１３ｂで差分信号を生成する。そして、アナログのコンパレータ回路５５を用いて閾値設定回路１９aで設定した閾値よりも大きいレベルデジタル値に変換し、動き判定回路１４ｂで動きの有無を判定している。

動き判定回路１４ｂで動き有りと判定した場合は、
動き判定信号（ON/OFF1）がタイマ回路５４を経由して各回路を動作させるON信号を出力している。タイマ回路４５は、予め設定した所定の時間例えば撮影を１０秒間実施後、タイミング発生回路の動作モードを撮影モードから動き検出動作モードに切換えて動き検出を実施している。
動き判定回路１４ｂで動き無しと判定した場合は、下部のCDS回路以降の回路動作をOFF制御することで、撮像装置１２ｇの大幅な消費電力の低減が実施されている。そして、動き検出動作を継続する。

＜動き検出信号読出し動作例７＞
実施形態７の動き検出読出し動作について図２２の画素配列と動き検出信号用の水平読出し回路を用いて説明する。動作タイミングは図１４（B）と同じ動作をしている。

　まず、水平の1ライン目と2ライン目と5ライン目と6ライン目の読み出し動作は、水平８画素を1組として水平走査回路２（５０）で順次読出されている。水平合成回路５１のスイッチH1～H８をONにすることで、上部水平読出しラインに、短時間蓄積した信号水平4画素分が平均化されて読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の平均化した信号が発生する。

　水平合成回路５１の下部水平読出しラインには、長時間蓄積した信号水平4画素分が平均化さして読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の平均化した信号が発生する。そして、信号切換え回路５２で上下を入換え、画像STL信号と増幅回路５２で蓄積時間比分増幅した撮像信号STSを後段処理へ出力している。

　次の、３ライン目と４ライン目と７ライン目と８ライン目の読み出し動作は、水平合成回路５１の水平８画素を1組として水平走査回路２（５０）で順次読出されている。スイッチH1～H８をONにすることで、上部水平読出しラインに、長時間蓄積した信号水平4画素分が平均化されて読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の合成（加算もしくは平均化）した信号が発生する。

　水平合成回路５１の下部水平読出しラインには、短時間蓄積した信号水平4画素分が合成（加算もしくは平均化）されて読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の平均化した信号が発生する。そして、信号切換え回路５２で上下を入れ換えないで、画像STL信号と増幅回路５２で蓄積時間比分で増幅した撮像信号STSを後段処理へ出力している。

　実施形態７は、CDS回路、ADC回路、ラインメモリなどを用いずに簡単なアナログの増幅回路５２とアナログの差分信号生成回路５３とアナログのコンパレータ回路５５などの回路を追加することで、動き検出動作時の消費電力を大幅に低減できる。

　以上説明した各実施の形態の特徴は互いに組み合わせて用いることができる。また、撮像装置の画素部のセル構造を2個のフォトダイオードに対して出力回路が1個の2画素1セルで説明したが、1画素1セル、4画素1セルなど2画素1セルに限定されない。色フィルタ配列は代表的なBayer配列で説明したが、本発明の特徴を生かすことで、Bayer配列に限定されない。
 

　１０a，１０ｂ，１０ｃ　動き検出画像処理装置
３０a，３０ｂ　映像管理装置
１１　撮像レンズ
１２　撮像装置
１３　差分信号生成回路
１４　動き判定回路
１５　動き判定信号出力回路
１６　映像信号出力回路
１７　日付・時刻発生回路
１８　時刻加算回路
１９　動き判定用閾値設定回路
２０　フレームメモリ
２１　カラー信号処理回路
２２　動き判定信号入力回路
２３　映像信号入力回路
２４　映像信号録画サーバ
２５　LAN出力装置
２６　Web出力装置
２７　映像モニタ
２８　動き判定信号加算回路
２９　動き判定信号抽出回路
３１　ラインメモリ
３２　遅延回路
３３，５２　増幅回路
３４　信号加算回路
３５　撮像信号分離回路
３６　センサコア
３７　画素信号合成
３８　コード信号発生回路
３９　撮像信号切換え回路
４０　タイミング発生回路
４１　蓄積時間制御回路
４２　垂直走査回路
４３　垂直並列制御回路
４４　画素部
４５，５１　水平合成回路
４６　CDS回路
４７　ADC回路
４８　ラインメモリ
４９，５０　水平走査回路
５２　信号線切換え回路
５４　動作時間制御回路（タイマ）
５５　比較回路
６０　水平読出し回路
 

Claims (17)

1. 　半導体基板に複数の光電変換素子を有する画素部と、前記画素部を制御するための画素制御部と、前記画素部から出力した画素信号を処理する信号処理部を備える撮像装置において、
   前記画素制御部は、前記画素部に配置した複数の光電変換素子を少なくとも２分割し、それぞれの蓄積時間を制御するための蓄積時間発生手段を有し、
   前記信号処理部は、前記蓄積時間の異なる少なくとも２種類の画素信号間の差分信号を生成する差分信号生成手段と、前記差分信号生成手段で生成した差分信号に基づいて物体が動いたかを判定する動き判定手段と、前記画素信号をモニタに再生するための映像信号となるように処理する映像信号処理手段と、前記動き判定手段で判定した動き判定信号を基に、前記映像信号処理手段もしくは画素制御部の少なくとも一部の回路を停止させる回路停止手段と、
   前記動き判定信号を撮像装置から出力する動き判定信号出力手段と
   を備えることを特徴とする撮像装置。
2. 半導体基板に複数の光電変換素子を有する画素部と、前記画素部を制御するための画素制御部と、前記画素部から出力した画素信号を処理する信号処理部を備える撮像装置において、
   前記画素制御部は、前記画素部に配置した複数の光電変換素子を少なくとも２分割し、それぞれの蓄積時間を制御するための蓄積時間発生手段を有し、
   前記信号処理部は、前記蓄積時間の異なる少なくとも２種類の画素信号間の差分信号を生成する差分信号生成手段と、前記差分信号生成手段で生成した差分信号に基づいて物体が動いたかを判定する動き判定手段と、前記画素信号をモニタに再生するための映像信号となるように処理する映像信号処理手段と、
   前記動き判定手段で判定した動き判定信号を撮像装置から出力する動き判定信号出力手段と、
   さらに、前記分割した複数の光電変換素子の画素信号を、それぞれの蓄積時間毎に複数の画素信号を合成する画素合成手段と
   を備えることを特徴とする撮像装置。
3. 　半導体基板に複数の光電変換素子を有する画素部と、前記画素部を制御するための画素制御部と、前記画素部から出力した画素信号を処理する信号処理部を備える撮像装置において、
   　前記画素制御部は、前記画素部に配置した複数の光電変換素子を少なくとも２分割し、それぞれの蓄積時間を制御するための蓄積時間発生手段を有し、
   前記信号処理部は、前記蓄積時間の異なる少なくとも２種類の画素信号間の差分信号を生成する差分信号生成手段と、
   前記差分信号生成手段で生成した差分信号に基づいて物体が動いたかを判定する動き判定手段と、
   前記動き判定手段で判定した動き判定信号を撮像装置から出力する動き判定信号出力手段と
   を備えることを特徴とする撮像装置。
4. 前記画素合成手段は、前記画素部で垂直方向に配置した光電変換素子の画素信号を複数画素同時に読み出すための垂直並列制御手段と、前記画素部から信号を出力する垂直信号線を水平方向に複数本接続するための垂直信号線間スイッチ手段の、少なくともどちらか一方を備えていること
   を特徴とする請求項２又は３に記載の撮像装置。
5. 前記画素合成手段は、前記画素部から出力した画素信号を、1ライン以上のラインメモリで遅延した画素信号と、遅延時間の異なる画素信号とを合成する加算手段を備えていること
   を特徴とする請求項２又は３に記載の撮像装置。
6. 前記画素合成手段において、
   前記画素部の蓄積時間制御と画素合成は、光電変換素子の配置が、垂直水平方向に各1画素飛ばしに配置した少なくとも4画素を第１の蓄積時間で制御した少なくとも4画素を合成した第１の合成信号と、前記4画素の斜め方向に隣接した少なくとも4画素を第２の蓄積時間で制御した少なくとも4画素を合成した第２の合成信号を生成すること
   を特徴とする請求項２又は３に記載の撮像装置。
7. 前記画素合成手段において、
   前記画素部の蓄積時間制御と画素合成は、光電変換素子の配置が、垂直水平方向に隣接した少なくとも4画素１組を第１の蓄積時間で制御した少なくとも4画素１組を合成した第１の合成信号と、
   前記4画素1組の斜め方向に隣接した少なくとも4画素１組を第２の蓄積時間で制御した少なくとも4画素１組を合成した第２の合成信号を生成すること
   を特徴とする請求項２又は３に記載の撮像装置。
8. 前記画素合成手段において、
   前記画素部の蓄積時間制御と画素合成は、光電変換素子の配置が、垂直水平方向に隣接した少なくとも4画素1組と、前記4画素1組の斜め方向に隣接した少なくとも4画素１組の少なくとも合計８画素を第１の蓄積時間で制御し合成した第１の合成信号と、前記４画素２組に対してクロス配置となる、4画素2組の少なくとも合計8画素を第２の蓄積時間で制御し合成した第２の合成信号を生成すること
   を特徴とする請求項２又は３に記載の撮像装置。
9. 前記回路停止手段は、
   前記映像信号を停止させる映像信号停止手段であること
   を特徴とする請求項１記載の撮像装置。
10. 撮像レンズで結像した光信号を電気信号に変換する複数の光電変換素子を有する画素部と、前記画素部で撮影した撮影時刻の異なる少なくとも２種類の画素信号を基に、動き物体の有無を検出する動き検出部と、前記画素信号をモニタに再生するための映像信号となるように処理する映像信号処理部とを備えた撮像装置と、前記撮像装置からの映像信号を発信するための映像信号発信手段、もしくは記録する映像信号記録手段、もしくはモニタに再生するための映像信号再生手段、の少なくともいずれか１つを有した映像信号管理装置とからなる動き検出システムにおいて、
    前記動き検出部は、前記画素部で撮影した少なくとも２種類の画素信号間の差分信号を生成する差分信号生成手段と、前記差分信号生成手段で生成した差分信号に基づいて動き物体の有無を判定する動き判定手段と、
    前記動き判定手段で判定した動き判定信号を撮像装置から出力する動き判定出力手段を有し、前記動き判定手段で判定した動き判定信号を基に、前記映像信号処理部もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる回路停止手段と
    を備えることを特徴とする動き検出システム。
11. 前記画素部で撮影した撮影時刻の異なる少なくとも２種類の画素信号は、フレームメモリに少なくとも１フレーム蓄積した画素信号と、前記フレームメモリに蓄積していない画素信号の少なくとも２種類の画素信号であること
    を特徴とする請求項１０記載の動き検出システム。
12. 前記画素部で撮影した撮影時刻の異なる少なくとも２種類の画素信号は、前記画素部に配置した複数の光電変換素子を少なくとも2分割し、それぞれの蓄積時間を異ならせた少なくとも２種類の画素信号であること
    を特徴とする請求項１０記載の動き検出システム。
13. 前記差分信号生成手段に入力する少なくとも２種類の画素信号は、それぞれの画素信号毎に複数の画素信号を合成する画素合成手段と
    をさらに備えたことを特徴とする請求項１０記載の動き検出システム。
14. 　請求項１，２又は３のいずれか一項記載の撮像装置と、前記撮像装置からの映像信号を発信するための映像信号発信手段、もしくは記録する映像信号記録手段、もしくはモニタに再生するための映像信号再生手段、の少なくともいずれか１つを有した映像信号管理装置と、
    を備えることを特徴とする動き検出システム。
15. 　請求項１，２又は３のいずれか一項記載の撮像装置と、前記撮像装置からの映像信号を発信するための映像信号発信手段、もしくは記録する映像信号記録手段、もしくはモニタに再生するための映像信号再生手段、の少なくともいずれか１つを有した映像信号管理装置と、
    前記動き判定手段で判定した動き判定信号を基に、前記映像信号管理装置の少なくとも一部の回路を停止させる回路停止手段と、
    を備えることを特徴とする動き検出システム。
16. 　前記撮像装置は、前記動き判定手段の判定結果を、前記映像信号に埋め込むための判定信号加算手段とを、さらに備えたことを特徴とする請求項１，２，１０，１５のうちのいずれかに記載の動き検出システム。
17. 　前記撮像装置は、前記映像信号に、少なくとも撮影した時刻情報を埋め込むための時刻加算手段と、をさらに備えたことを特徴とする請求項１，２，１０，１５のうちのいずれかに記載の動き検出システム。
     

Images