JPWO2017010316A1 - 撮像装置、および情報処理システム - Google Patents

撮像装置、および情報処理システム Download PDF

Info

Publication number
JPWO2017010316A1
JPWO2017010316A1 JP2017528387A JP2017528387A JPWO2017010316A1 JP WO2017010316 A1 JPWO2017010316 A1 JP WO2017010316A1 JP 2017528387 A JP2017528387 A JP 2017528387A JP 2017528387 A JP2017528387 A JP 2017528387A JP WO2017010316 A1 JPWO2017010316 A1 JP WO2017010316A1
Authority
JP
Japan
Prior art keywords
pixel
image sensor
block
sampling function
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017528387A
Other languages
English (en)
Other versions
JP6863281B2 (ja
Inventor
光永　知生
知生 光永
若林　準人
準人 若林
健市 奥村
健市 奥村
康宣 人見
康宣 人見
大輔 磯
大輔 磯
智経 増野
智経 増野
慎一郎 伊澤
慎一郎 伊澤
出羽　恭子
恭子 出羽
原田　耕一
耕一 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017010316A1 publication Critical patent/JPWO2017010316A1/ja
Application granted granted Critical
Publication of JP6863281B2 publication Critical patent/JP6863281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

本開示は、ネットワークを介して送信する映像などのデータ量を削減するとともに、撮像装置の消費電力を抑制することができるようにする撮像装置、および情報処理システムに関する。本開示の第１の側面である情報処理装置は、多数の画素が縦横に配置された撮像面を有するイメージセンサと、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎にサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させる画素制御部と、前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像を生成する縮小画像生成部と備える。

Description

本開示は、撮像装置、および情報処理システムに関し、特に、例えば、複数のカメラによって撮像された映像を集約して解析する場合に用いて好適な撮像装置、および情報処理システムに関する。
従来、所定の場所に近づこうとする不審者を検知するための警備システムや、工場における作業員や店舗における買物客などの行動を解析する解析システムとして、多数のカメラによって撮像された映像をネットワークを介してサーバに集約し、サーバにて分析するシステムが提案されている。
例えば、特許文献１には、店舗における買物客の行動を解析できるシステムが開示されている。このシステムは、複数のエリアに配置されているカメラからの映像がネットワークを介してサーバに集約され、サーバにて、映像内に写っている来店客の動線が算出、記録が設置される。このサーバには、顔画像を登録する登録者データベースと、複数のカメラからの映像から顔画像を検出する顔検出エンジンと、顔検出エンジンで検出された顔画像と登録者データベースに登録された顔画像とを照合する顔認証エンジンとが備えられており、顔画像の照合により映像に映る人物を同定して動線を算出すると同時に、顔画像から判断できる性別・年齢層によって算出した動線分析情報を分類する仕組みも提供することができる。
特開２０１０−５５５９４号公報
前述したシステムなどでは、カメラの台数を増やしたり、行動解析の精度を向上させようとして映像を高画質化したりした場合、ネットワークの帯域が輻輳してしまうことが起こり得る。
しかしながら、ネットワークを介して送信する映像などのデータ量は、行動解析の精度を劣化させない程度にできるだけ少ない方が望ましい。また、カメラの台数を増やすと、その消費電力もカメラの台数に比例して多くなるので、各カメラにおける消費電力を抑えることが望ましい。
本開示はこのような状況に鑑みてなされたものであり、ネットワークを介して送信する映像などのデータ量を削減するとともに、各カメラ（撮像装置）の消費電力を抑制できるようにするものである。
本開示の第１の側面である撮像装置は、多数の画素が縦横に配置された撮像面を有するイメージセンサと、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎にサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させる画素制御部と、前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像を生成する縮小画像生成部と備える。
前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する１画素を選択し、選択した１画素の画素値を前記サンプリング信号として出力することができる。
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する１画素を選択することができる。
前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有することができる。
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの１画素を空間的かつ時間的にランダムに選択することができる。
前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する複数の画素を選択し、選択した複数の画素の画素値を加算した加算値を前記サンプリング信号として出力することができる。
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号によって選択された画素の画素値を行毎に加算するアナログ加算部と、前記アナログ加算部からの行毎の出力を順次デジタル加算するADC部とを有することができる。
前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有することができる。
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの複数の画素を空間的かつ時間的にランダムに選択することができる。
前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する複数の画素を選択し、選択した複数の画素の画素値に正または負の符号を付加して加算した加算値を前記サンプリング信号として出力することができる。
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号によって選択された画素の画素値を行毎に加算するアナログ加算部と、前記アナログ加算部からの出力の符号を反転する符号反転部と、前記アナログ加算部または前記符号反転部からの行毎の出力を順次デジタル加算するADC部とを有することができる。
前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有することができる。
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの複数の画素を空間的かつ時間的にランダムに選択することができる。
前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎に共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させることができ、前記縮小画像生成部は、前記イメージセンサから出力される前記共通のサンプリング関数が適用された前記ブロック毎の前記サンプリング信号に基づいて前記縮小画像を生成することができる。
前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎に共通のサンプリング関数または前記共通のサンプリング関数とは異なる非共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数または前記非共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させることができ、前記縮小画像生成部は、前記イメージセンサから出力される前記共通のサンプリング関数または前記非共通のサンプリング関数が適用された前記ブロック毎の前記サンプリング信号を保持する保持部から、前記共通のサンプリング関数に基づいて前記サンプリング信号をリサンプリングすることにより前記縮小画像を生成することができる。
本開示の第１の側面である撮像装置は、前記縮小画像に対して特徴検出処理を行う特徴検出部をさらに備えることができる。
本開示の第１の側面である撮像装置は、前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する前記ブロック毎の前記サンプリング信号を切り出して後段に出力する領域切り出し部をさらに備えることができる。
前記領域切り出し部は、前記イメージセンサの出力から成る前記縮小画像から、前記特徴検出処理によって特徴が検出された領域を切り出して後段に出力することができる。
前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロックのうち、前記特徴検出処理によって特徴が検出された領域に対応するブロックに対しては共通のサンプリング関数とは異なる非共通のサンプリング関数を適用し、前記特徴検出処理によって特徴が検出されない領域に対応するブロックに対しては前記共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数または前記非共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させることができ、前記領域切り出し部は、前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する、前記非共通のサンプリング関数が適用された前記ブロックの前記サンプリング信号を切り出してして後段に出力することができる。
本開示の第１の側面においては、イメージセンサが制御され、イメージセンサの撮像面を複数に区分したブロック毎にサンプリング関数が適用されることにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素が選択され、選択された画素の画素値に基づくサンプリング信号が出力され、前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像が生成される。
本開示の第２の側面である情報処理システムは、１以上の撮像装置と、前記撮像装置とネットワークを介して接続された情報処理装置から成る情報処理システムにおいて、前記撮像装置が、多数の画素が縦横に配置された撮像面を有するイメージセンサと、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎にサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させる画素制御部と、前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像を生成する縮小画像生成部と、前記縮小画像に対して特徴検出処理を行う特徴検出部と、前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する前記ブロック毎の前記サンプリング信号を切り出し、前記ネットワークを介して前記情報処理装置に送信する領域切り出し部とを備え、前記情報装置が、前記ネットワークを介して送信された前記情報処理装置の出力に対して所定の情報処理を行う情報処理部を備える。
本開示の第２の側面である情報処理システムにおいては、撮像装置により、イメージセンサが制御され、イメージセンサの撮像面を複数に区分したブロック毎にサンプリング関数が適用されることにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素が選択され、選択された画素の画素値に基づくサンプリング信号が出力され、前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像が生成され、前記縮小画像に対して特徴検出処理が行われ、前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する前記ブロック毎の前記サンプリング信号が切り出されて、前記ネットワークを介して情報処理装置に送信される。また、情報装置により、前記ネットワークを介して送信された前記情報処理装置の出力に対して所定の情報処理が行われる。
本開示の第１の側面によれば、ネットワークを介して情報処理装置に送信するデータ量を削減できる。
また、本開示の第１の側面によれば、撮像装置の消費電力を抑制できる。
本開示の第２の側面によれば、ネットワークを介して情報処理装置に送信するデータ量を削減でき、撮像装置の消費電力を抑制できる。
本開示を適用したカメラ監視システムの第１の構成例を示すブロック図である。 撮像装置と判別サーバの第１の構成例を示すブロック図である。 イメージセンサの撮像面をブロック単位に区分した状態を示す図である。 画素の第１の構成例に対応する等価回路図である。 イメージセンサの第１の構成例を示すブロック図である。 サンプリング関数と各ブロックの出力値とイメージセンサの出力データフォーマットの関係を示す図である。 時系列的に変化するサンプリング関数と各ブロックの出力値とイメージセンサの出力データフォーマットの関係を示す図である。 サンプリング関数の一例を示す図である。 図８のサンプリング関数に基づく画素制御の様子を示す図である。 サンプリング関数の一例を示す図である。 図１０のサンプリング関数に基づく画素制御の様子を示す図である。 イメージセンサの第２の構成例を示すブロック図である。 サンプリング関数の一例を示す図である。 図１３のサンプリング関数に基づく画素制御の様子を示す図である。 図２の第１の構成例における撮像装置の処理を説明するフローチャートである。 撮像装置と判別サーバの第２の構成例を示すブロック図である。 サンプリング関数の一例を示す図である。 図１７のサンプリング関数に基づく画素制御の様子を示す図である。 図１６の第２の構成例における撮像装置の処理を説明するフローチャートである。 画素の第２の構成例に対応する等価回路図である。 画素のMOSFETの構造を表す断面図である。 画素の第２の構成例に対応するイメージセンサの構成例（第３の構成例）を示すブロック図である。 画素の第１の構成例とそれに対応するイメージセンサの第１の構成例に適用可能なサンプリング関数を表すタイミングチャートである。 図２３のタイミングチャートに対応する行列表記のサンプリング関数を示す図である。 画素の第２の構成例とそれに対応するイメージセンサの第３の構成例に適用可能なサンプリング関数を表すタイミングチャートである。 図２５のタイミングチャートに対応する行列表記のサンプリング関数を示す図である。 画素の第３の構成例に対応する等価回路図である。 画素の第３の構成例とそれに対応するイメージセンサに適用可能なサンプリング関数の一例を示す図である。 画素の第３の構成例に対応する等価回路図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
＜本開示の実施の形態であるカメラ監視システムの構成例＞
図１は、本開示の実施の形態であるカメラ監視システムの構成例を示している。
このカメラ監視システム１０は、複数の撮像装置２０と、判別サーバ３０と、行動解析装置１２とから構成される。なお、図１の場合、５台の撮像装置２０が図示されているが、撮像装置２０の数はカメラ監視システム１０を適用する施設などの規模に応じて任意に増減することができる。
撮像装置２０は、ネットワーク１１を介して判別サーバ３０に接続されており、その出力を、ネットワーク１１を介して判別サーバ３０に送信するようになされている。
撮像装置２０は、通常読み出し（撮像装置２０に搭載されているイメージセンサの全画素を駆動して全画素の画素信号から成る全体画像を得ること）の他、ＣＳ（Compressive Sensing）読み出しを行うことができる。
ここで、ＣＳ読み出しとは、撮像装置２０に搭載されているイメージセンサの撮像面を所定サイズのブロックに区分し、区分したブロック毎に、ブロックに含まれる画素のうち、サンプリング関数（詳細後述）に基づいてランダムに選択される画素だけを駆動し、駆動した画素から得られる画素信号に所定の演算を行うことにより１値（以下、ＣＳデータと称する）を生成、出力する動作を指す。したがって、ＣＳ読み出し時はイメージセンサの撮像面を区分した各ブロックからＣＳデータを得ることができる。
撮像装置２０にてＣＳ読み出しを行う場合、通常読み出しに比較して、駆動させる画素の数を削減することができるので、消費電力を抑制することができる。また、ネットワーク１１を介して判別サーバ３０に送信するデータ量を削減することができる。
また、撮像装置２０は、ＣＳ読み出しによって得られたＣＳデータから直接的に特徴検出（人物や顔などがある領域を検出すること）を行い、人物や顔などが検出された領域のＣＳデータだけを切り出して、ネットワーク１１を介して判別サーバ３０に転送する。
さらに、撮像装置２０は、人物や顔などが検出された領域の画素信号を切り出して、ネットワーク１１を介して判別サーバ３０に転送することができる。これにより、後段の判別サーバ３０などでは、人物の表情を検出するなどのより精細な映像を必要とする映像解析も行うことができる。
判別サーバ３０は、ネットワーク１１を介して撮像装置２０から送信される、人物や顔などが検出された領域のＣＳデータから画像を再構成し、再構成した画像に対して同定判別処理を行う。
行動解析装置１２は、判別サーバ３０による同定判別処理の結果に基づき、被写体である人物の行動解析処理などを実行する。
＜撮像装置２０および判別サーバ３０の第１の構成例＞
次に、図２は、撮像装置２０および判別サーバ３０の第１の構成例を示している。なお、図２においては、１台の撮像装置２０のみが図示されているが、実際には、複数の撮像装置２０がネットワーク１１を介して判別サーバ３０に接続されているものとする。
第１の構成例における撮像装置２０は、サンプリング関数保持部２１、画素制御部２２、イメージセンサ２３、イメージセンサ出力保持部２４、特徴検出部２５、および領域切り出し部２６から構成される。
サンプリング関数保持部２１は、異なる複数のサンプリング関数を保持しており、画素制御部２２からの要求に応じて、保持するサンプリング関数を画素制御部２２に供給する。
サンプリング関数とは、イメージセンサ２３の撮像面を区分した各ブロックに含まれる画素のうち、どの位置の画素を駆動させるかを表す行列データ、または行列データと同等の意味を有するフォーマットのデータである。なお、該第１の構成例における撮像装置２０においては、イメージセンサ２３の全ブロックに対して、共通のサンプリング関数が適用される。
画素制御部２２は、イメージセンサ２３の駆動（各画素の露光と読み出し）を制御する。具体的には、イメージセンサ２３の各ブロックに共通のサンプリング関数を適用して対応する画素を駆動させることにより、イメージセンサ２３のＣＳ読み出しを制御する。
イメージセンサ２３は、画素制御部２２からの制御に従って画素等を駆動することにより、ブロック毎のＣＳデータを生成し、生成したブロック毎のＣＳデータを同時にまたは順次にイメージセンサ出力保持部２４に出力する。
イメージセンサ出力保持部２４は、イメージセンサ２３から入力されたブロック毎のＣＳデータを保持する。なお、イメージセンサ出力保持部２４に保持される全ブロックそれぞれのＣＳデータは、共通のサンプリング関数を適用して得られたものであるので、それはイメージセンサ２３の全画素を駆動した場合に得られる画像の縮小画像としてみなすことができる。よって、以下、イメージセンサ出力保持部２４に保持されている、共通のサンプリング関数を適用して得られた各ブロックのＣＳデータを一括して縮小画像とも称する。
特徴検出部２５は、イメージセンサ出力保持部２４に保持されている縮小画像を対象として、例えば人物や顔などの特徴を持つ領域を検出する特徴検出処理を行い、人物や顔などが検出された領域を領域切り出し部２６に通知する。領域切り出し部２６は、特徴検出部２５からの通知に従い、イメージセンサ出力保持部２４に保持されている縮小画像から、特徴検出された領域だけを切り出し、ネットワーク１１を介して判別サーバ３０に送信する。
なお、特徴検出部２５における特徴検出処理は既存の手法を適用すればよい。例えば、顔や人物の見え（アピアランス）の部分的な明暗パターンなどの大まかな構造のテンプレートを予め統計的（学習的）な手法で複数作成しておき、縮小画像とそれらのテンプレートとの合致度を総合して検出する手法を適用できる。この手法は、大まかな構造に基づいた特徴検出を行うため、縮小画像からでも特徴検出をし易いという性質がある。
具体的には、イメージセンサ２３にて、例えば、１フレーム当たり異なる４種類のサンプリング関数を適用して４枚の縮小画像を得るようにし、特徴検出処理では、サンプリング関数毎に予め学習したテンプレートを４種類用意する。そして、入力される縮小画像毎に学習したテンプレートとの合致度を調べて検出したいもの（例えば人物）である可能性をブロックごとに判断する。この判断結果はブロック数に等しいビットマップイメージとして保持され、次の異なるサンプリング関数に対応する縮小画像の判別においては、保持されているビットマップイメージが参照され、前の縮小画像に対する判断で検出された領域のみが、テンプレートとの合致度を調べる対象とされる。これによって特徴検出処理量を削減することができる。
一方、第１の構成例における判別サーバ３０は、例えば、被写体の動線解析の予備情報として、各撮像装置２０から送信されるＣＳデータから全体画像を再構成し、再構成した全体画像を相互に照合したり、判別データベースに格納された過去履歴と照合したりして同定判定処理を行う。なお、判別サーバ３０に送信されるＣＳデータは、既に撮像装置２０側で特徴検出処理（例えば顔検出処理など）が実施済みのものなので、判別サーバ３０にて大量の映像データから人物を探すなど高負荷の処理をする必要がなく、同定判別処理に集中できる。
ただし、判別サーバ３０には、特徴検出された領域のＣＳデータが縮小画像から切り出されて送信されるので、同定判別処理を行う前に、該ＣＳデータから、通常読み出し時の出力と同様の全体画像を再構成する処理が必要である。なお、ＣＳの原理によれば、撮像装置２０にて適用されたサンプリング関数と同じサンプリング関数を用いれば、全体画像の再構成が可能であることが知られている。
判別サーバ３０は、撮像装置出力保持部３１、画像再構成部３２、サンプリング関数保持部３３、同定判別部３４、判別ＤＢ（Data Base）３５、および判別結果ＤＢ３６から構成される。
撮像装置出力保持部３１には、ネットワーク１１を介して複数の撮像装置２０から送信される、縮小画像から切り出された領域のＣＳデータから保持される。画像再構成部３２は、撮像装置２０がＣＳ読み出し時に用いたサンプリング関数と同じものをサンプリング関数保持部３３から取得する。さらに、画像再構成部３２は、該サンプリング関数に基づき、撮像装置出力保持部３１に保持されている、縮小画像から切り出された領域のＣＳデータから全体画像を復元する。
サンプリング関数保持部３３は、撮像装置２０のサンプリング関数保持部３３と同様、複数のサンプリング関数が保持されており、画像再構成部３２からの要求に応じてサンプリング関数を供給する。同定判別部３４は、再構成された各撮像装置２０からの全体画像を相互に照合したり、判別ＤＢ３５に格納された過去履歴と照合したりして、既に検出されている顔などの同定判定処理を行い、判別結果を判別結果ＤＢ３６に登録する。なお、判別結果ＤＢ３６に登録された同定判別結果は、行動解析装置１２における被写体の同線解析処理の予備情報として利用される。
＜イメージセンサ２３の詳細な構成例＞
次に、図３は、イメージセンサ２３の撮像面をブロック単位に区分した状態を示している。
同図に示されるように、イメージセンサ２３の撮像面４０には、入射光を電気信号に変換する多数の画素４２が２次元格子状に配置されている。撮像面４０は、Ｋ×Ｌ画素から成るブロック単位でＭ×Ｎブロックに区分されている。
＜画素４２の第１の構成例＞
図４は、イメージセンサ２３の撮像面４０に配置されている画素４２の第１の構成例に対応する等価回路を示している。
画素４２には、入射した光を光電変換により電気信号に変換するＰＤ（フォトダイオード）４２1が形成されており、ＰＤ４２1には転送スイッチ４２2を介してＦＤ（フローティングディフュージョン）４２3が接続されている。
ＦＤ４２3は読み出しAMP４２4のゲートと接続され、読み出しAMP４２4は行選択スイッチ４２6を介して読出し信号線５１に接続されている。また、ＦＤ４２3はリセットスイッチ４２5にも接続されている。読出し信号線５１は画素４２の外で列選択スイッチ５２と接続されている。
画素４２の第１の構成例においては、転送スイッチ４２2に転送信号Ｔが印加されると、ＰＤ４２1に蓄積された電荷がＦＤ４２3に転送される。次に、行選択スイッチ４２6にＳRが印加される同時に、列選択スイッチ５２に列選択信号ＳCが印加されると、ＦＤ４２3の電位が読出しアンプ４２4によって増幅され、増幅された信号が読出し信号線５１から読み出される。なお、リセットスイッチ４２5にリセット信号Ｒが印加されると、ＦＤ４２3の電位が電源の電位にリセットされる。
＜イメージセンサ２３の第１の構成例＞
図５は、イメージセンサ２３の第１の構成例を示している。ただし、同図は撮像面４０をＭ×Ｎブロックに区分した１個のブロック４１と、そこに接続された画素制御信号線、画素信号読み出し線、および周辺回路のみを示しており、ブロック４１には、１６（＝４×４）画素が含まれている場合を示している。
イメージセンサ２３内の全ての画素４２は、画素制御部２２から行選択信号線(row sel.)、転送信号線(trans.)、列選択信号線(col.sel.)およびリセット信号線(reset)を介して通知される制御信号に従って駆動する。
同一の行に属する画素は、行選択信号線、転送信号線、およびリセット信号線を共有する。同一の列に属する画素には、共通の読出し信号線(read)５１が接続されており、列選択信号線は対応する列の読出し信号線５１を列選択スイッチ５２で制御する。したがって、各画素４２は、行選択信号線と列選択信号線によるX-Yアドレシングによって、画素信号の読出し対象か否かが制御される。
また、同一のブロック４１に属する全ての画素４２は、列単位で共通な読出し信号線５１、および列選択ＳＷ（スイッチ）５２を介して、ブロック毎に設けられたアナログ加算器(Analog Adder)５３に接続されている。アナログ加算器５３の後段には、ブロック毎にADC５４が設けられている。
イメージセンサ２３の第１の構成例においては、行選択信号線および列選択信号によって選択された画素４２の画素信号が、列毎に配線された読出し信号線５１により読み出される。同じタイミングで読み出された画素信号はアナログ加算器５３によって加算され、アナログ加算器５３の出力はADC５４によって順次デジタル加算される。
＜イメージセンサ２３の出力について＞
次に、図６は、サンプリング関数と各ブロックの出力値とイメージセンサの出力データフォーマットの関係を示している。
上述したように、ブロックに含まれる画素のうち、どの画素の画素信号を読み出して、加算するかについては、サンプリング関数によって制御される。すなわち、画素制御部２２は、サンプリング関数に基づいて、行選択信号、列選択信号、およびリセット信号を生成、出力する。
以下、１ブロックを構成するＫ×Ｌ画素が４×４画素である場合を例にして説明する。あるブロックの画素の画素値をｘ＝［ｘ1，ｘ2，・・・，ｘ16］、該ブロックに対して適用されるサンプリング関数Ａ＝［ａ1，ａ2，・・・，ａ16］、該ブロックの出力値、すなわち、ＣＳデータをｙとした場合、これらの関係は、図６に示されるように、ｙ＝Ａｘとなって、サンプリング関数の１つの行ベクトルに対応してブロックの出力値ｙが１つ決まる。
イメージセンサ２３では、ある時刻において、全てのブロック４１に対して共通のサンプリング関数Ａが適用されて、各ブロック４１からそのときの出力値ｙを得るように動作する。なお、イメージセンサ２３におけるADC５４からの信号出力線はブロック毎に分離しているため、全てのブロック４１で同期した制御を行うことにより、全てのブロック４１から同時にそれぞれ１値の出力値ｙを得ることができる。換言すれば、Ｍ×Ｎ個の２次元配列状の出力値ｙを得ることができる。
ここで、サンプリング関数Ａはブロック４１を構成する４×４画素に対する任意係数のリサンプリングフィルタとみなすことができるが、全てのブロック４１に対して共通のサンプリング関数が適用されているので、全てのブロック４１から出力されるＭ×Ｎ個の出力値ｙは、あたかも全体画像からＭ×Ｎ個の２次元格子点上である共通のリサンプリングを行ったデータでもある。したがって、Ｍ×Ｎ個の出力値ｙは、Ｍ×Ｎ画素の縮小画像とみなすことができる。
画素制御部２２およびイメージセンサ２３は、上述した動作を、サンプリング関数Ａを切り替えながら時系列的に連続して実施することができる。
図７は、時系列的に連続して切り替えられるサンプリング関数と各ブロックの出力値とイメージセンサの出力データフォーマットの関係を示している。ただし、同図の場合、時系列的に連続して切り替えられる４種類のサンプリング関数Ａ1＝［ａ11，ａ12，・・・，ａ116］，Ａ2＝［ａ21，ａ22，・・・，ａ216］，Ａ3＝［ａ31，ａ32，・・・，ａ316］，Ａ4＝［ａ41，ａ42，・・・，ａ416］をまとめて、４行１６列の行列式Ａとして表している。
サンプリング関数Ａ1，Ａ2，Ａ3，Ａ4に対する出力値ｙは、それぞれがＭ×Ｎ個の２次元配列データ（縮小画像）である[ｙ1，ｙ2，ｙ3，ｙ1]となる。
＜サンプリング関数Ａに基づく具体的な画素制御について＞
次に、サンプリング関数Ａに基づく具体的な画素制御について説明する。
サンプリング関数Ａの各行ベクトルは、少なくとも１要素が１であればよく、残りの要素は０でよい。
図８は、ブロック４１を構成する１６画素のうちの１画素を選択して読み出す場合のサンプリング関数Ａの一例であり、順次時系列に適用される４種類（４行分）の行ベクトルから構成される。このサンプリング関数Ａが適用される場合、ブロック４１を構成する１６画素のうちの１画素が時系列に４画素分読み出されて出力される。
図９は、図８に示されたサンプリング関数Ａに基づく画素制御部２２により制御の様子を示している。
すなわち、図８のサンプリング関数Ａの１行目0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0に対応して、図９のＡに示されるように、各ブロック４１における４行目の行選択信号線および１列目の列選択信号線がアクティブとされて４×４画素のうちの４行１列目の１画素が選択される。さらに、４つの列選択スイッチ５２のうちの１列目、およびADC５４が駆動される。これにより、４×４画素のうちの４行１列目の１画素の画素値がデジタル信号として出力される。
次のタイミングでは、図８のサンプリング関数Ａの２行目0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0に対応して同様の制御が行われ、図９のＢに示されるように、各ブロック４１における４×４画素のうちの２行３列目の１画素、４つの列選択スイッチ５２のうちの３列目、およびADC５４が駆動される。これにより、４×４画素のうちの２行３列目の１画素の画素値がデジタル信号として出力される。
さらに次のタイミングでは、図８のサンプリング関数Ａの３行目0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0に対応して同様の制御が行われ、図９のＣに示されるように、各ブロック４１における４×４画素のうちの３行２列目の１画素、４つの列選択スイッチ５２のうちの２列目、およびADC５４が駆動される。これにより、４×４画素のうちの３行２列目の１画素の画素値がデジタル信号として出力される。
またさらに次のタイミングでは、図８のサンプリング関数Ａの４行目0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0に対応して同様の制御が行われ、図９のＤに示されるように、各ブロック４１における４×４画素のうちの１行４列目の１画素、４つの列選択スイッチ５２のうち４列目、およびADC５４が駆動される。これにより、４×４画素のうちの１行４列目の１画素の画素値がデジタル信号として出力される。
図１０は、ブロック４１を構成する１６画素のうちの６画素を選択して読み出す場合のサンプリング関数Ａの一例であり、同図の場合、１種類（１行分）の行ベクトルのみが図示されている。このサンプリング関数Ａが適用される場合、ブロック４１を構成する１６画素のうちの６画素が読み出され、加算されて出力される。
図１１は、図１０に示されたサンプリング関数Ａに基づいて画素制御部２２により駆動される画素４２などを示している。
図１０に示されたサンプリング関数Ａのように、同一の列から２画素以上を読み出す場合には、ブロック４１の行数に合わせて４フェーズに分けて画素の読み出しが行われる。
すなわち、１番目のフェーズでは、図１０のサンプリング関数Ａの行ベクトルのうちの１列目から４列目までの要素1 0 1 0に対応して、図１１のＡに示されるように、各ブロック４１における１行目の行選択信号線、並びに１列目および３列目の列選択信号線がアクティブとされて４×４画素のうちの１行１列目と１行３列目の２画素が選択される。さらに、４つの列選択スイッチ５２のうちの１列目と３列目、アナログ加算器５３、およびADC５４が駆動される。これにより、４×４画素のうちの１行１列目と１行３列目の２画素の画素値がデジタル信号に変換されてADC５４内のカウンタに保持される。
次に２番目のフェーズでは、図１０のサンプリング関数Ａの行ベクトルのうちの５列目から８列目までの要素0 0 1 0に対応して同様の制御が行われ、図１１のＢに示されるように、４×４画素のうちの２行３列目の１画素が選択される。さらに、４つの列選択スイッチ５２のうちの３列目、アナログ加算器５３、およびADC５４が駆動される。これにより、４×４画素のうちの２行３列目の１画素の画素値がデジタル信号に変換されてADC５４内のカウンタに加算、保持される。
３番目のフェーズでは、図１０のサンプリング関数Ａの行ベクトルのうちの９列目から１２列目までの要素0 1 0 0に対応して同様の制御が行われ、図１１のＣに示されるように、４×４画素のうちの３行２列目の１画素が選択される。さらに、４つの列選択スイッチ５２のうちの２列目、アナログ加算器５３、およびADC５４が駆動される。これにより、４×４画素のうちの３行２列目の１画素の画素値がデジタル信号に変換されてADC５４内のカウンタに加算、保持される。
最後に４番目のフェーズでは、図１０のサンプリング関数Ａの行ベクトルのうちの１３列目から１６列目までの要素1 0 0 1に対応して同様の制御が行われ、図１１のＤに示されるように、４×４画素のうちの４行１列目と４行４列目の２画素が選択される。さらに、４つの列選択スイッチ５２のうちの１列目と３列目、アナログ加算器５３、およびADC５４が駆動される。これにより、４×４画素のうちの４行１列目と４行４列目の２画素の画素値がデジタル信号に変換されてADC５４内のカウンタに加算された後、後段に出力される。
＜イメージセンサ２３の第２の構成例＞
次に、図１２は、イメージセンサ２３の第２の構成例を示している。この第２の構成例は、図５に示された第１の構成例に対して、列選択スイッチ５２を列選択スイッチ６１に置換するととともにアナログ符号反転器６２を追加したものであり、第１の構成例と共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
列選択スイッチ６１は、出力側がアナログ加算器５３およびアナログ符号反転器６２に接続されており、列選択信号を介する画素制御部２２からの制御に応じて、画素４２から読み出される画素信号をアナログ加算器５３またはアナログ符号反転器６２に出力する。アナログ符号反転器６２は、出力側がアナログ加算器５３に接続されており、入力される画素信号に負符号を付加してアナログ加算器５３に出力する。
アナログ符号反転器６２が追加されたイメージセンサ２３の第２の構成例によれば、ブロック４１を構成する１６画素のうち、サンプリング関数Ａに対応する画素の画素信号を読み出し、それらを加算または減算した後、デジタル信号として出力することができる。
図１３は、イメージセンサ２３の第２の構成例に適用できるサンプリング関数Ａの一例を示している。同図に示されたサンプリング関数Ａの行ベクトルの要素のうち、１に対応する画素については画素値が読み出されて加算され、−１に対応する画素については画素値が読み出されて減算され、０に対応する画素については画素値が読み出されない（駆動されない）。
図１４は、図１３に示されたサンプリング関数Ａに基づいて画素制御部２２により駆動される画素４２などを示している。
図１３に示されたサンプリング関数Ａのように、同一の列から２画素以上を読み出す場合には、ブロック４１の行数に合わせて４フェーズに分けて画素の読み出しが行われる。
すなわち、１番目のフェーズでは、図１３のサンプリング関数Ａの行ベクトルのうちの１列目から４列目までの要素1 -1 0 0に対応して、図１４のＡに示されるように、各ブロック４１における１行目の行選択信号線、並びに１列目および２列目の列選択信号線がアクティブとされて４×４画素のうちの１行１列目と１行２列目の２画素が選択される。また、１列目の列選択スイッチ６１の出力先はアナログ加算器５３、２列目の列選択スイッチ６１の出力先はアナログ符号反転器６２とされる。さらに、アナログ加算器５３、アナログ符号反転器６２、およびADC５４が駆動される。これにより、４×４画素のうちの１行１列目の画素の画素値に、１行３列目の画素の符号が負に反転された画素値が加算された後にデジタル信号に変換されてADC５４内のカウンタに保持される。
次に２番目のフェーズでは、図１３のサンプリング関数Ａの行ベクトルのうちの５列目から８列目までの要素0 -1 0 -1に対応して同様の制御が行われ、図１４のＢに示されるように、４×４画素のうちの２行２列目と２行４列目の２画素が選択される。また、２列目および４列目の列選択スイッチ６１の出力先はアナログ符号反転器６２とされる。さらに、アナログ加算器５３、アナログ符号反転器６２、およびADC５４が駆動される。これにより、４×４画素のうちの２行１列目の画素の符号が負に反転された画素値に、２行４列目の画素の符号が負に反転された画素値が加算された後にデジタル信号に変換されてADC５４内のカウンタに加算、保持される。
次に３番目のフェーズでは、図１３のサンプリング関数Ａの行ベクトルのうちの９列目から１２列目までの要素0 0 1 0に対応して同様の制御が行われ、図１４のＣに示されるように、４×４画素のうちの３行３列目の１画素が選択される。また、３列目の列選択スイッチ６１の出力先はアナログ加算器５３とされる。さらに、アナログ加算器５３、アナログ符号反転器６２、およびADC５４が駆動される。これにより、４×４画素のうち３行３列目の画素の画素値がデジタル信号に変換されてADC５４内のカウンタに加算、保持される。
最後に、４番目のフェーズでは、図１３のサンプリング関数Ａの行ベクトルのうちの１３列目から１６列目までの要素-1 0 0 1に対応して同様の制御が行われ、図１４のＤに示されるように、４×４画素のうちの４行１列目と４行４列目の２画素が選択される。また、１列目の列選択スイッチ６１の出力先はアナログ符号反転器６２、４列目の列選択スイッチ６１の出力先はアナログ加算器５３とされる。さらに、アナログ加算器５３、アナログ符号反転器６２、およびADC５４が駆動される。これにより、４×４画素のうちの４行１列目の画素の符号が負に反転された画素値に、４行４列目の画素の画素値が加算され、デジタル信号に変換されてから、ADC５４内のカウンタに加算され、後段に出力される。
＜図２の第１の構成例における撮像装置２０の動作説明＞
次に、図１５は、図２の第１の構成例における撮像装置２０の動作を説明するフローチャートである。
ステップＳ１において、画素制御部２２は、サンプリング関数保持部２１から予め判別サーバ３０側と取り決められているサンプリング関数を取得し、取得したサンプリング関数に従い、イメージセンサ２３を駆動させる。これにより、イメージセンサ２３から、縮小画素（Ｍ×Ｎブロック毎のＣＳデータ）が出力されて、イメージセンサ出力保持部２４に保持される。
ステップＳ２において、特徴検出部２５は、イメージセンサ出力保持部２４に保持されている縮小画像を対象として、例えば人物や顔などの特徴を持つ領域を検出する特徴検出処理を行い、人物や顔などが検出された領域を領域切り出し部２６に通知する。
ステップＳ３において、領域切り出し部２６は、特徴検出部２５からの通知に従い、イメージセンサ出力保持部２４に保持されている縮小画像から、人物や顔などが検出された領域だけを切り出し、ネットワーク１１を介して判別サーバ３０に送信する。以上で、第１の構成例における撮像装置２０の１フレーム分の動作は終了される。
上述したように、第１の構成例における撮像装置２０では、サンプリング関数に従ったＣＳ読み出しを行うので消費電力を抑制できる。また、ＣＳ読み出しにより得られた縮小画像のうち、特徴が検出された領域だけを判別サーバ３０に送信するので、イメージセンサ２３を通常読み出しして得られる全体画像をそのまま判別サーバ３０に送信する場合に比較して、データ通信を大幅に削減することができる。
さらに、判別サーバ３０側では、画像の再構成処理が必要となるものの、改めて特徴検出処理を実行することなく、同定判別処理を行うことができるので、判別サーバ３０側の処理負荷を削減することができる。
＜撮像装置２０および判別サーバ３０の第２の構成例＞
次に、図１６は、撮像装置２０および判別サーバ３０の第２の構成例を示している。なお、この第２の構成例の構成要素のうち、図２に示された第１の構成例と共通するものについては同一の符号を付しているので、その説明は適宜省略する。
図２に示された第１の構成例における撮像装置２０は、イメージセンサ２３の全ブロックに対して共通のサンプリング関数を適用してＣＳ読み出しを行い、縮小画像を得るようになされていた。
これに対して第２の構成例における撮像装置２０は、必ずしも全てのブロックに対して共通のサンプリング関数を適用しなくてもよく、特定のブロックに対しては共通のサンプリング関数とは異なるサンプリング関数を適用することができる。
例えば、行動解析側において、検出した人物の細やかな表情を分析するような場合には、人物の顔領域だけでも、ＣＳデータでない全画素の画素値がそろっている画像データが必要となることがある。このよう場合に対応し、第２の構成例における撮像装置２０は、特徴（顔など）が検出された領域のブロックに対しては、全画素の読み出しを意味するサンプリング関数を適用することができる。
第２の構成例における撮像装置２０は、サンプリング関数保持部２１、画素制御部２２、イメージセンサ２３、イメージセンサ出力保持部２４、リサンプリング部７１、縮小画像保持部７２、特徴検出部７３、および領域切り出し部２６から構成される。
サンプリング関数保持部２１は、異なる複数のサンプリング関数を保持しており、画素制御部２２またはリサンプリング部７１からの要求に応じて、保持するサンプリング関数を供給する。
なお、画素制御部２２に対しては、イメージセンサ２３の各ブロックに対して共通に適用されるサンプリング関数と、特定のブロックに対して適用されるサンプリング関数（例えば、ブロック内の全画素を読み出すもの）が供給される。一方、リサンプリング部７１に対しては、イメージセンサ２３の各ブロックに対して共通に適用されるサンプリング関数が供給される。
画素制御部２２は、イメージセンサ２３の駆動（各画素の露光と読み出し）を制御する。具体的には、イメージセンサ２３の各ブロックに対して共通のサンプリング関数に対応する画素のみを駆動させることにより、イメージセンサ２３のＣＳ読み出しを制御する。さらに、第２の構成例の場合、画素制御部２２は、特定のブロックに対して、その他のブロックに対して共通に適用されるサンプリング関数とは異なるサンプリング関数を適用することができる。具体的には、例えば、特徴検出部７３から通知される、特徴が検出された領域周辺のブロックに対しては、全画素を読み出すサンプリング関数を適用することができる。
イメージセンサ２３は、画素制御部２２からの制御に従って画素等を駆動することにより、ブロック毎のＣＳデータをイメージセンサ出力保持部２４に出力する。
イメージセンサ出力保持部２４は、イメージセンサ２３から入力されたブロック毎のＣＳデータを保持する。ただし、第２の構成例の場合、イメージセンサ出力保持部２４に保持されている各ブロックのＣＳデータは、共通のサンプリング関数が適用されていない場合があるので、これを縮小画像とみなすことはできない。
リサンプリング部７１は、イメージセンサ出力保持部２４に保持されているブロック毎のＣＳデータを取得し、サンプリング関数保持部２１から取得したブロック毎のＣＳデータに対して共通のサンプリング関数を適用するリサンプリング処理を行い、処理結果を縮小画像保持部７２に保持させる。
ここで、縮小画像保持部７２に保持される、リサンプリング処理の結果は、共通のサンプリング関数が適用されているので縮小画像とみなすことができる。また、イメージセンサ出力保持部２４に保持されているブロック毎のＣＳデータのうち、共通のサンプリング関数が適用されているものについてはリサンプリング処理を省略することができる。
特徴検出部７３は、図２の特徴検出部２５と同様の特徴検出処理により、縮小画像保持部７２に保持されている縮小画像を対象として、例えば人物や顔などの特徴を持つ領域を検出し、人物や顔などが検出された領域を領域切り出し部２６および画素制御部２２に通知する。
領域切り出し部２６は、特徴検出部２５からの通知に従い、イメージセンサ出力保持部２４に保持されているブロック毎のＣＳデータのうち、人物や顔などが検出された領域に対応するものを切り出し、ネットワーク１１を介して判別サーバ３０に送信する。
ただし、イメージセンサ出力保持部２４に保持されている、ブロック毎のＣＳデータについては、特定のブロック（前回の特徴検出処理で特徴が検出された領域周辺のブロック）のＣＳデータは、該ブロックに属する全画素の画素値そのものである。したがって、判別サーバ３０には、特徴が検出された領域に属するブロックの全画素の画素値が送信されることになる。
これにより、第２の構成例における判別サーバ３０での画像再構成処理が不要となるので、第２の構成例における判別サーバ３０は、図２に示された第１の構成例における判別サーバ３０から画像再構成部３２とサンプリング関数保持部３３を省略した構成をとることができる。第２の構成例における判別サーバ３０のその他の構成要素については、第１の構成例と同様なので、その説明は省略する。
＜全画素読み出しを指示するサンプリング関数の一例＞
図１７は、画素制御部２２が特定のブロックに対して適用する、その他のブロックに対して共通に適用されるサンプリング関数とは異なるサンプリング関数の一例を示している。
この１６行１６列のサンプリング関数Ａは、各行ベクトルの１要素だけが１の値を有し、その他の１５要素が０の値を有する。これら１６種類の行ベクトル（１行１６列のサンプリング関数）を順次適用することにより、このサンプリング関数を適用するブロックから全ての画素を読み出すことができる。
図１８は、図１７に示されたサンプリング関数Ａに基づく画素制御部２２により制御の様子を示している。
すなわち、図１７のサンプリング関数Ａの１行目1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0に対応して、図１８のＡに示されるように、対応するブロック４１における１行目の行選択信号線および１列目の列選択信号線がアクティブとされて４×４画素のうちの１行１列目の１画素が選択される。さらに、４つの列選択スイッチ５２のうちの１列目、およびADC５４が駆動される。これにより、４×４画素のうちの１行１列目の１画素の画素値がデジタル信号として出力される。
次のタイミングでは、図１７のサンプリング関数Ａの２行目0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0に対応して同様に制御することにより、図１８のＢに示されるように、対応するブロック４１における４×４画素のうちの１行２列目の１画素、４つの列選択スイッチ５２のうちの２列目、およびADC５４が駆動される。これにより、４×４画素のうちの１行２列目の１画素の画素値がデジタル信号として出力される。
さらに次のタイミングでは、図１７のサンプリング関数Ａの３行目0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0に対応して同様に制御することにより、図１８のＣに示されるように、対応するブロック４１における４×４画素のうちの１行３列目の１画素、４つの列選択スイッチ５２のうちの３列目、およびADC５４が駆動される。これにより、４×４画素のうちの１行３列目の１画素の画素値がデジタル信号として出力される。
次のタイミングでは、図１７のサンプリング関数Ａの４行目0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0に対応して同様に制御することにより、図１８のＤに示されるように、対応するブロック４１における４×４画素のうちの１行４列目の１画素、４つの列選択スイッチ５２のうち４列目、およびADC５４が駆動される。これにより、４×４画素のうちの１行４列目の１画素の画素値がデジタル信号として出力される。
以降のタイミングについては、その説明と図示を省略するが、同様に、対応するブロック４１における４×４画素のうちの１画素の画素値がデジタル信号として出力される。
ただし、図１７に示されたような特定のブロックに対して適用するサンプリング関数Ａに従って駆動させるブロックと、図８に示されたような特定のブロック以外のブロックに共通して適用するサンプリング関数Ａに従って駆動させるブロックでは、読み出す画素の数が異なり、ブロック内の各行を選択する回数も異なるため、ブロック間で制御を同期させることができない。例えば、全画素読み出しのブロックではADCを数倍（図１８の例の比では４倍）高速に駆動させる必要がある。
しかしながら、ブロック間では、行選択信号線と列選択信号線を共有するものの、ADCはブロック毎に設けられている。これを利用すれば、全ブロックを同期させるのでなく、ブロック行単位で選択制御信号を与えるタイミングをずらすことによって、ある特定のブロックのみ全画素読み出し用の制御信号を出すことは可能である、また、それに合わせて当該ブロックのADCを高速に駆動させれば、異なるサンプリング関数に従って駆動されるブロックを混在させることが可能である。なお、ブロック単位で選択制御信号を与えるタイミングをずらすことによっても、異なるサンプリング関数に従って駆動されるブロックを混在させることができる。
＜図１６の第２の構成例における撮像装置２０の動作説明＞
次に、図１９は、図１６の第２の構成例における撮像装置２０の動作を説明するフローチャートである。
ただし、前提として、既に画素制御部２２に対して特徴検出部７３から前回の特徴検出処理により特徴が検出された領域が通知されているものとする。
ステップＳ１１において、画素制御部２２は、サンプリング関数保持部２１から特定のブロックに対して適用するサンプリング関数と、特定のブロック以外のブロックに対して共通に適用するサンプリング関数を取得し、取得したサンプリング関数に従い、イメージセンサ２３を駆動させる。これにより、イメージセンサ２３から、各ブロックのＣＳデータが出力されて、イメージセンサ出力保持部２４に保持される。
ステップＳ１２において、リサンプリング部７１は、イメージセンサ出力保持部２４に保持されている各ブロックのＣＳデータを取得するとともに、サンプリング関数保持部２１から、イメージセンサ２３の各ブロックに対して共通に適用されるサンプリング関数を取得する。さらに、リサンプリング部７１は、取得した各ブロックのＣＳデータに対して共通のサンプリング関数を適用することにより縮小画像を生成して縮小画像保持部７２に保持させる。
ステップＳ１３において、特徴検出部７３は、縮小画像保持部７２に保持されている縮小画像を対象として、例えば人物や顔などの特徴を持つ領域を検出する特徴検出処理を行い、人物や顔などが検出された領域を領域切り出し部２６および画素制御部２２に通知する。
ステップＳ１４において、領域切り出し部２６は、特徴検出部７３からの通知に従い、イメージセンサ出力保持部２４に保持されている各ブロックのＣＳデータのうち、人物や顔などが検出された領域に対応するものだけを切り出し、ネットワーク１１を介して判別サーバ３０に送信する。ただし、イメージセンサ出力保持部２４に保持されている、ブロック毎のＣＳデータについては、特定のブロック（前回の特徴検出処理で特徴が検出された領域周辺のブロック）のＣＳデータは、該ブロックに属する全画素の画素値そのものである。したがって、判別サーバ３０には、特徴が検出された領域に属するブロックの全画素の画素値が送信されることになる。以上で、第２の構成例における撮像装置２０の１フレーム分の動作は終了される。
上述したように、第２の構成例における撮像装置２０では、サンプリング関数に従ったＣＳ読み出しを行うので消費電力を抑制できる。また、特徴が検出された領域については全画素の画素値を判別サーバ３０に送信するので、イメージセンサ２３を通常読み出しして得られる全体画像をそのまま判別サーバ３０に送信する場合に比較して、データ通信を大幅に削減することができる。
さらに、判別サーバ３０側では、改めて特徴検出処理を実行することなく、特徴が検出された領域の全画素の画素値を用いて同定判別処理を行うことができるので、判別サーバ３０側の処理負荷を削減することができることに加えて、より詳細な画像分析や行動解析を行うことができる。
＜画素４２の第２の構成例＞
図２０は、イメージセンサ２３の撮像面４０に配置されている画素４２の第２の構成例に対応する等価回路を示している。
画素４２の第２の構成例は、図４に示された第１の構成例における転送スイッチ４２2を、マルチビット化した転送スイッチ４２21，４２22に置換したものであり、その他の構成要素については第１の構成例と共通なので同一の符号を付している。
図４に示された第１の構成例では、サンプリング関数に基づいて選択された画素を読出したとき、選択されなかった画素についてもリセットしてしまい、そこに蓄積されている電荷を読み出すことはできなかった。
該第２の構成例では、転送スイッチ４２21，４２22に対し、行転送信号ＴRと列転送信号ＴCが同時に印可された場合にだけ、ＰＤ４２1に蓄積された電荷がＦＤ４２3に転送される。これにより、サンプリング関数に基づいて選択されなかった画素をリセットせずに、蓄積されている電荷を、該画素がそれ以降に適用されるサンプリング関数に基づいて選択された場合に読み出すことができる。
図２１は、画素４２のMOSFETの構造を表す断面図を示している。なお、同図Ａは図４に示された画素４２の第１の構成例に対応するものであり、同図Ｂは図２０に示された画素４２の第２の構成例に対応するものである。
図２１のＡおよび図２１のＢに共通し、MOSFETは、ソースとドレインに同じ性質（同図の場合、Ｎ型）を持つ半導体、ゲートの真下にあるチャネル領域にその反対の性質（同図の場合、Ｐ型）を持つ半導体を配置することで形成される。
各領域上に金属電極を設置することで、ソースは電流の入口、ドレインは出口、ゲートに電流の流れを制御する水門の機能を持たせることができる。ゲートに電圧が印可されていない場合、ソースとドレインの間には性質の異なる半導体が挟まれる構造のため、電気的に絶縁される。反対に、ゲートに電圧が印可された場合、ゲートの真下にあるチャネル領域に自由電子が引き寄せられる。このため、ソースとドレインを結ぶ全ての経路で自由電子が豊富な状態となり、電流が流れ易くなる。
同図Ｂに示されるゲート１，２は、第２の構成例における転送スイッチ４２21，４２22を相当する。第２の構成例では、転送スイッチ４２21，４２22に対して同時に電圧が印可された場合のみ、電流が流れ易くなる。
＜画素４２の第２の構成例に対応するイメージセンサの構成例＞
図２２は、画素４２の第２の構成例に対応するイメージセンサの構成例（第３の構成例）を示している。
該第３の構成例は、図５に示された第１の構成例における転送信号線(trans.)が、各画素４２のマルチビット化された転送スイッチ４２21，４２22に繋がる行転送信号線(row trans.)と列転送信号線(col.trans.)に置換されたものであり、その他の共通する構成要素には同一の符号を付している。
イメージセンサ２３の第３の構成例においては、選択されていない列の列転送信号を印加しないことにより、選択されない画素４２の蓄積電荷をＰＤ４２1に保持させることができる。そして、ＰＤ４２1に保持された電荷は次の同一行の読出しのタイミングでＦＤ４２3に転送して読み出すことができる。
なお、イメージセンサ２３の第３の構成例において、行転送信号線と列信号転送線から常に同一の転送信号を出力するようにすれば、図５に示された第１の構成例と同一の動作が可能である。
上述したように、画素４２の第２の構成例とそれに対応するイメージセンサ２３の第３の構成例によれば、イメージセンサ２３の各画素４２はＦＤ４２3のリセットのタイミングに制限されることなく、ＰＤ４２1の蓄積電荷を任意のタイミングで転送することができる。これを利用した場合、任意の露光時間で各画素の画素信号をサンプリングすることができる。換言すれば、各画素の画素信号を時間的および空間的にランダム加算することができる。
ここで比較のために、画素４２の第１の構成例とそれに対応するイメージセンサ２３の第１の構成例が可能である、各画素の画素信号を時間的および空間的にランダムにサンプリングする場合のサンプリング関数の一例を図２３に示す。
ただし、以降の説明では、同図Ａに示されるように、１ブロックは３×３画素で区分されているものとする。同図Ｂは、サンプリング関数をタイミングチャートとして表したものであり、行は各画素のサンプリングのタイミングを示し、色つきのマス目においてサンプリングが行われる。列はサンプリングのタイミングを示す。同図Ｂの場合、１フレーム分（実線の区切り）のデータが５回（破線の区切り）に分けてサンプリングされ、３フレーム分の合計１５回のサンプリングが行われる。なお、３行単位で列が少しずれているのは、画素４２からの画素信号がフォーカルプレーン読み出しにより各行の読み出しが時間的には少しずつずらされることを示している。ただし、その時間差は１Ｈ未満なので１ロロックを構成する９画素の読み出しは同時とみなすことができる。
上述したように、画素４２の第１の構成例では、サンプリングのタイミング毎に、全ての画素４２が、それぞれ選択されているか否か（読み出されるか否か）に拘わらず、ＰＤ４２1の蓄積電荷がリセットされる。このため、例えば１フレーム目における画素Ｐ11およびＰ22のように複数回サンプリングが連続される場合であっても、その都度、リセットしてサンプリングする必要がある。したがって、１フレーム目における画素Ｐ11では３回、画素Ｐ22では５回のサンプリングを行う必要がある。
図２４は、図２３のＢに示されたタイミングチャートに対応する行列表記のサンプリング関数を示している。同図に示されるように、３フレームに合計１５回のサンプリングを行うので、サンプリング関数は、９要素の行ベクトルが１５行分まとめられて、１５行９列の行列として表記される。
次に、図２５は、画素４２の第２の構成例とそれに対応するイメージセンサ２３の第３の構成例が可能である、各画素の画素信号を時間的および空間的にランダム加算する場合のサンプリング関数の一例を示している。
図２５の場合、図２３と同様、１フレーム分（実線の区切り）のデータが５回（破線の区切り）に分けてサンプリング可能であり、３フレームに最大で合計１５回のサンプリングが可能であるが、リセットを行うことなくサンプリングを継続することができるので、フレーム内でのサンプリングはどの画素でも１回で済ますことができる。
すなわち、画素４２の第２の構成例では、その画素４２が読出し選択されたか否かに拘わらず、ＰＤ４２1の蓄積電荷を転送するか否かを制御できるので、連続した期間の蓄積電荷をその都度転送せずに、期間の最後にまとめて転送し、読み出すことができる。
図２６は、図２５に示されたタイミングチャートに対応する行列表現のサンプリング関数を示している。同図において、１以外の係数、例えば、４行１列目の３は、サンプリングのインターバルを１とした場合に３倍の連続した露光期間の信号をサンプリングすることを意味する。
＜画素４２の第３の構成例＞
次に、図２７は、イメージセンサ２３の撮像面４０に配置されている画素４２の第３の構成例に対応する等価回路を示している。
画素４２の第３の構成例は、図２０に示された第２の構成例におけるリセットスイッチ４２5を、マルチビット化したリセットスイッチ４２51，４２52に置換したものであり、その他の構成要素については第２の構成例と共通なので同一の符号を付している。
該第３の構成例では、信号読み出しの対象として選択されているか否かに拘わらず、ＦＤ４２3をリセットするか否かを画素毎に制御することが可能となる。これを利用すれば、例えば、図２５にタイミングチャートとして示されているサンプリング関数において、各フレームの露光期間終了時にのみ全画素リセットをかけるようにすれば、フレーム内の異なる期間に露光したブロック内の画素を空間で加算した信号を読み出すことができる。この場合、サンプリング関数の行列表現は図２８に示されるとおりとなる。
また、この場合、フレーム毎にブロック内の画素を加算した読み出しを行うので、フレーム当たりの出力値は１値であり、その出力値に対応するサンプリング関数の行ベクトルは、フレーム内のサンプリング単位の総数である４５（９画素×５期間）要素のベクトルとなる。
＜画素４２の第４の構成例＞
次に、図２９は、イメージセンサ２３の撮像面４０に配置されている画素４２の第４の構成例に対応する等価回路を示している。
画素４２の第４の構成例は、図２７に示された第３の構成例における行選択スイッチ４２6を、マルチビット化した選択スイッチ４２61，４２62に置換するとともに、列選択スイッチ５２を廃し、列選択スイッチ５２に接続されていた列選択信号線ＳCを選択スイッチ４２62に接続したものである。その他の構成要素については第３の構成例と共通なので同一の符号を付している。
画素４２の第４の構成例では、図２７に示された第３の構成例と同様に動作することができる。
＜本実施の形態であるカメラ監視システムの適用例＞
本実施の形態であるカメラ監視システムは、例えば、不審者検知をおこなう警備システム、工場の作業員や店舗の買物客の行動を解析するシステムなどに適用できる。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は以下のような構成も取ることができる。
（１）
多数の画素が縦横に配置された撮像面を有するイメージセンサと、
前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎にサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させる画素制御部と、
前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像を生成する縮小画像生成部と
備える撮像装置。
（２）
前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する１画素を選択し、選択した１画素の画素値を前記サンプリング信号として出力する
前記（１）に記載の撮像装置。
（３）
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する１画素を選択する
前記（１）または（２）に記載の撮像装置。
（４）
前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有する
前記（３）に記載の撮像装置。
（５）
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの１画素を空間的かつ時間的にランダムに選択する
前記（４）に記載の撮像装置。
（６）
前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する複数の画素を選択し、選択した複数の画素の画素値を加算した加算値を前記サンプリング信号として出力する
前記（１）に記載の撮像装置。
（７）
前記イメージセンサは、
前記画素制御部からの行選択信号および列選択信号によって選択された画素の画素値を行毎に加算するアナログ加算部と、
前記アナログ加算部からの行毎の出力を順次デジタル加算するADC部と
を有する
前記（１）または（５）に記載の撮像装置。
（８）
前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有する
前記（７）に記載の撮像装置。
（９）
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの複数の画素を空間的かつ時間的にランダムに選択する
前記（８）に記載の撮像装置。
（１０）
前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する複数の画素を選択し、選択した複数の画素の画素値に正または負の符号を付加して加算した加算値を前記サンプリング信号として出力する
前記（１）に記載の撮像装置。
（１１）
前記イメージセンサは、
前記画素制御部からの行選択信号および列選択信号によって選択された画素の画素値を行毎に加算するアナログ加算部と、
前記アナログ加算部からの出力の符号を反転する符号反転部と、
前記アナログ加算部または前記符号反転部からの行毎の出力を順次デジタル加算するADC部と
を有する
前記（１）または（１０）に記載の撮像装置。
（１２）
前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有する
前記（１１）に記載の撮像装置。
（１３）
前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの複数の画素を空間的かつ時間的にランダムに選択する
前記（１２）に記載の撮像装置。
（１４）
前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎に共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させ、
前記縮小画像生成部は、前記イメージセンサから出力される前記共通のサンプリング関数が適用された前記ブロック毎の前記サンプリング信号に基づいて前記縮小画像を生成する
前記（１）に記載の撮像装置。
（１５）
前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎に共通のサンプリング関数または前記共通のサンプリング関数とは異なる非共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数または前記非共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させ、
前記縮小画像生成部は、前記イメージセンサから出力される前記共通のサンプリング関数または前記非共通のサンプリング関数が適用された前記ブロック毎の前記サンプリング信号を保持する保持部から、前記共通のサンプリング関数に基づいて前記サンプリング信号をリサンプリングすることにより前記縮小画像を生成する
前記（１）に記載の撮像装置。
（１６）
前記縮小画像に対して特徴検出処理を行う特徴検出部を
さらに備える前記（１）から（１５）のいずれかに記載の撮像装置。
（１７）
前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する前記ブロック毎の前記サンプリング信号を切り出して後段に出力する領域切り出し部を
さらに備える前記（１）から（１６）のいずれかに記載の撮像装置。
（１８）
前記領域切り出し部は、前記イメージセンサの出力から成る前記縮小画像から、前記特徴検出処理によって特徴が検出された領域を切り出して後段に出力する
前記（１７）に記載の撮像装置。
（１９）
前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロックのうち、前記特徴検出処理によって特徴が検出された領域に対応するブロックに対しては共通のサンプリング関数とは異なる非共通のサンプリング関数を適用し、前記特徴検出処理によって特徴が検出されない領域に対応するブロックに対しては前記共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数または前記非共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させ、
前記領域切り出し部は、前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する、前記非共通のサンプリング関数が適用された前記ブロックの前記サンプリング信号を切り出してして後段に出力する
前記（１７）に記載の撮像装置。
（２０）
１以上の撮像装置と、前記撮像装置とネットワークを介して接続された情報処理装置から成る情報処理システムにおいて、
前記撮像装置は、
多数の画素が縦横に配置された撮像面を有するイメージセンサと、
前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎にサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させる画素制御部と、
前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像を生成する縮小画像生成部と、
前記縮小画像に対して特徴検出処理を行う特徴検出部と、
前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する前記ブロック毎の前記サンプリング信号を切り出し、前記ネットワークを介して前記情報処理装置に送信する領域切り出し部とを備え、
前記情報装置は、
前記ネットワークを介して送信された前記情報処理装置の出力に対して所定の情報処理を行う情報処理部を備える
情報処理システム。
１０ カメラ監視システム， １１ ネットワーク， １２ 行動解析装置， ２０ 撮像装置， ２１ サンプリング関数保持部， ２２ 画素制御部， ２３ イメージセンサ， ２４ イメージセンサ出力保持部， ２５ 特徴検出部， ２６ 領域切り出し部， ３０ 判別サーバ， ３１ 撮像装置出力保持部， ３２ 画像再構成部， ３３ サンプリング関数保持部， ３４ 同定判別部， ３５ 判別ＤＢ， ３６ 判別結果ＤＢ， ４０ 撮像面， ４１ ブロック， ４２ 画素

Claims (20)

  1. 多数の画素が縦横に配置された撮像面を有するイメージセンサと、
    前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎にサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させる画素制御部と、
    前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像を生成する縮小画像生成部と
    備える撮像装置。
  2. 前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する１画素を選択し、選択した１画素の画素値を前記サンプリング信号として出力する
    請求項１に記載の撮像装置。
  3. 前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する１画素を選択する
    請求項２に記載の撮像装置。
  4. 前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有する
    請求項３に記載の撮像装置。
  5. 前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの１画素を空間的かつ時間的にランダムに選択する
    請求項４に記載の撮像装置。
  6. 前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する複数の画素を選択し、選択した複数の画素の画素値を加算した加算値を前記サンプリング信号として出力する
    請求項１に記載の撮像装置。
  7. 前記イメージセンサは、
    前記画素制御部からの行選択信号および列選択信号によって選択された画素の画素値を行毎に加算するアナログ加算部と、
    前記アナログ加算部からの行毎の出力を順次デジタル加算するADC部と
    を有する
    請求項６に記載の撮像装置。
  8. 前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有する
    請求項７に記載の撮像装置。
  9. 前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの複数の画素を空間的かつ時間的にランダムに選択する
    請求項８に記載の撮像装置。
  10. 前記イメージセンサは、前記画素制御部からの制御に従い、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する複数の画素を選択し、選択した複数の画素の画素値に正または負の符号を付加して加算した加算値を前記サンプリング信号として出力する
    請求項１に記載の撮像装置。
  11. 前記イメージセンサは、
    前記画素制御部からの行選択信号および列選択信号によって選択された画素の画素値を行毎に加算するアナログ加算部と、
    前記アナログ加算部からの出力の符号を反転する符号反転部と、
    前記アナログ加算部または前記符号反転部からの行毎の出力を順次デジタル加算するADC部と
    を有する
    請求項１０に記載の撮像装置。
  12. 前記イメージセンサの各画素は、前記画素制御部からの前記行選択信号および前記列選択信号に基づいてスイッチングを行うマルチビット化された転送スイッチを有する
    請求項１１に記載の撮像装置。
  13. 前記イメージセンサは、前記画素制御部からの行選択信号および列選択信号に従い、前記ブロックを構成する画素のうちの複数の画素を空間的かつ時間的にランダムに選択する
    請求項１２に記載の撮像装置。
  14. 前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎に共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させ、
    前記縮小画像生成部は、前記イメージセンサから出力される前記共通のサンプリング関数が適用された前記ブロック毎の前記サンプリング信号に基づいて前記縮小画像を生成する
    請求項１に記載の撮像装置。
  15. 前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎に共通のサンプリング関数または前記共通のサンプリング関数とは異なる非共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数または前記非共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させ、
    前記縮小画像生成部は、前記イメージセンサから出力される前記共通のサンプリング関数または前記非共通のサンプリング関数が適用された前記ブロック毎の前記サンプリング信号を保持する保持部から、前記共通のサンプリング関数に基づいて前記サンプリング信号をリサンプリングすることにより前記縮小画像を生成する
    請求項１に記載の撮像装置。
  16. 前記縮小画像に対して特徴検出処理を行う特徴検出部を
    さらに備える請求項１に記載の撮像装置。
  17. 前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する前記ブロック毎の前記サンプリング信号を切り出して後段に出力する領域切り出し部を
    さらに備える請求項１６に記載の撮像装置。
  18. 前記領域切り出し部は、前記イメージセンサの出力から成る前記縮小画像から、前記特徴検出処理によって特徴が検出された領域を切り出して後段に出力する
    請求項１７に記載の撮像装置。
  19. 前記画素制御部は、前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロックのうち、前記特徴検出処理によって特徴が検出された領域に対応するブロックに対しては共通のサンプリング関数とは異なる非共通のサンプリング関数を適用し、前記特徴検出処理によって特徴が検出されない領域に対応するブロックに対しては前記共通のサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記共通のサンプリング関数または前記非共通のサンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させ、
    前記領域切り出し部は、前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する、前記非共通のサンプリング関数が適用された前記ブロックの前記サンプリング信号を切り出してして後段に出力する
    請求項１７に記載の撮像装置。
  20. １以上の撮像装置と、前記撮像装置とネットワークを介して接続された情報処理装置から成る情報処理システムにおいて、
    前記撮像装置は、
    多数の画素が縦横に配置された撮像面を有するイメージセンサと、
    前記イメージセンサを制御し、前記イメージセンサの前記撮像面を複数に区分したブロック毎にサンプリング関数を適用することにより、前記ブロックを構成する画素のうちの前記サンプリング関数に対応する画素を選択し、選択した画素の画素値に基づくサンプリング信号を出力させる画素制御部と、
    前記イメージセンサから出力される前記ブロック毎の前記サンプリング信号に基づいて縮小画像を生成する縮小画像生成部と、
    前記縮小画像に対して特徴検出処理を行う特徴検出部と、
    前記イメージセンサの出力から、前記特徴検出処理によって特徴が検出された領域に対応する前記ブロック毎の前記サンプリング信号を切り出し、前記ネットワークを介して前記情報処理装置に送信する領域切り出し部とを備え、
    前記情報装置は、
    前記ネットワークを介して送信された前記情報処理装置の出力に対して所定の情報処理を行う情報処理部を備える
    情報処理システム。
JP2017528387A 2015-07-16 2016-07-01 撮像装置、および情報処理システム Active JP6863281B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015141882 2015-07-16
JP2015141882 2015-07-16
PCT/JP2016/069646 WO2017010316A1 (ja) 2015-07-16 2016-07-01 撮像装置、および情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2017010316A1 true JPWO2017010316A1 (ja) 2018-04-26
JP6863281B2 JP6863281B2 (ja) 2021-04-21

Family

ID=57757221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528387A Active JP6863281B2 (ja) 2015-07-16 2016-07-01 撮像装置、および情報処理システム

Country Status (4)

Country Link
US (1) US10602084B2 (ja)
JP (1) JP6863281B2 (ja)
CN (2) CN107736014B (ja)
WO (1) WO2017010316A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806494B2 (ja) * 2016-08-24 2021-01-06 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
JP7140580B2 (ja) * 2018-07-13 2022-09-21 マクセル株式会社 ステレオ撮像装置
JP6635221B1 (ja) 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US20230035728A1 (en) * 2021-07-29 2023-02-02 Omnivision Technologies, Inc. Color-infrared sensor with a low power binning readout mode

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP2008035279A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5558670A (en) * 1978-10-25 1980-05-01 Ricoh Co Ltd Picture processing system
JP3733873B2 (ja) * 2001-06-07 2006-01-11 ノーリツ鋼機株式会社 写真画像処理装置、方法及び写真処理装置
JP4403687B2 (ja) * 2002-09-18 2010-01-27 ソニー株式会社 固体撮像装置およびその駆動制御方法
JP4290066B2 (ja) * 2004-05-20 2009-07-01 キヤノン株式会社 固体撮像装置および撮像システム
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
CN2838168Y (zh) * 2005-10-19 2006-11-15 上海广电（集团）有限公司中央研究院 用于图像显示的截断误差补偿装置
US7944482B2 (en) 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
JP4867554B2 (ja) * 2006-09-29 2012-02-01 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
US8169495B2 (en) * 2006-12-01 2012-05-01 Broadcom Corporation Method and apparatus for dynamic panoramic capturing
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
US20090219418A1 (en) * 2008-02-29 2009-09-03 Hiroaki Fujita Image sensor and method to reduce dark current of cmos image sensor
JP4753193B2 (ja) 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
JP5140638B2 (ja) * 2009-06-22 2013-02-06 日本放送協会 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
FR2959901B1 (fr) * 2010-05-04 2015-07-24 E2V Semiconductors Capteur d'image a matrice d'echantillonneurs
JP5845140B2 (ja) * 2011-06-29 2016-01-20 キヤノン株式会社 撮像素子及び撮像装置
CN203894772U (zh) * 2014-03-11 2014-10-22 深圳市中安视科技有限公司 一种海量人脸发现与识别系统
US20150334299A1 (en) * 2014-05-14 2015-11-19 Panasonic Intellectual Property Management Co., Ltd. Monitoring system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP2008035279A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置

Also Published As

Publication number Publication date
JP6863281B2 (ja) 2021-04-21
CN107736014B (zh) 2020-12-18
CN112738365A (zh) 2021-04-30
US20180205895A1 (en) 2018-07-19
WO2017010316A1 (ja) 2017-01-19
US10602084B2 (en) 2020-03-24
CN107736014A (zh) 2018-02-23
CN112738365B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
WO2017010316A1 (ja) 撮像装置、および情報処理システム
CN109640007B (zh) 人工智能图像传感设备
CN109740590B (zh) 基于目标跟踪辅助的roi精确提取方法及系统
CN102833488A (zh) 图像摄取装置、图像摄取装置控制方法和程序
US10225441B2 (en) Time delay and integration (TDI) imaging sensor and method
CN103313032B (zh) 用于分析多通道图像的方法和系统
US10477236B2 (en) Image acquisition device, image processing device, image processing method, image processing program, and storage medium for generating high resolution image from low resolution images
US8687065B2 (en) Virtual fence
JP5909711B1 (ja) 動線分析システム及び動線表示方法
US10321160B2 (en) Compressing multiple video files using localized camera meta data
JP5069091B2 (ja) 監視カメラおよび監視カメラシステム
Goyal et al. Photon-starved scene inference using single photon cameras
KR101701138B1 (ko) 해상도 및 초점 향상
US9344648B2 (en) High dynamic range imaging
US11558548B2 (en) Systems and methods for encoding regions containing an element of interest in a sequence of images with a high resolution
JP5909708B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP5909709B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
KR101793164B1 (ko) 저장 공간을 절감하기 위한 영상 처리 장치, 영상 복원 장치 및 영상 관리 장치
Boyun Intelligent real time videosystems of new generation
WO2021152437A1 (en) System and method for capturing and analysing images and/or videos in low light condition
JP5455682B2 (ja) 画像処理装置、画像処理方法及び画像処理用プログラム
Monacos et al. Synthetic foveal imaging technology
JP2016207193A (ja) 動線分析システム及び動線分析方法
JP2016207194A (ja) 動線分析システム及び動線分析方法
JP2016015716A (ja) 動線分析システム、カメラ装置及び動線分析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R151 Written notification of patent or utility model registration

Ref document number: 6863281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151