《第1の実施形態》
以下、第1の実施形態に係る監視カメラシステム500について、図1〜図11に基づいて詳細に説明する。図1には、本第1の実施形態に係る監視カメラシステム500の構成が概略的に示されている。
監視カメラシステム500は、図1に示すように、複数の監視カメラ10と、管理装置50と、を備える。監視カメラ10と管理装置50とは、LAN(Local Area Network)等のネットワーク60に接続されている。
監視カメラ10は、ビル内や工場内、路上等を監視するために用いられるカメラであり、図2に示すような構成を有する。監視カメラ10は、図2に示すように、レンズ部12、撮像部14、画像処理部16、ワークメモリ18、操作部20、記録部22、システム制御部24、通信部26、及び照度計28を備えている。
レンズ部12は、複数のレンズ群から構成された撮像光学系である。レンズ部12は、被写体からの光束を撮像部14に導く。なお、レンズ部12は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
撮像部14は、撮像素子30と、駆動部32と、を有する。撮像素子30は、取得した画素信号を画像処理部16へ引き渡す。駆動部32は、システム制御部24からの指示に従って、撮像素子30の駆動を制御する制御回路である。なお、撮像素子30の具体的構成、及び駆動部32による撮像素子30の具体的な駆動制御については後述する。
画像処理部16は、ワークメモリ18をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。画像処理部16は、第1画像処理部16Aと、第2画像処理部16Bと、を有する。本第1の実施形態においては、後述するように、システム制御部24は、撮像素子30の画素領域内に移動被写体(例えば人)が侵入してきた場合に、画素領域のうちの当該移動被写体が含まれる範囲を変動ブロック(領域)として設定する。また、システム制御部24は、変動ブロックが設定される前の全ブロックの撮像条件とは異なる撮像条件によって変動ブロックの撮像を行うように撮像素子30を駆動制御する。この場合において、例えば第1画像処理部16Aは、全ブロックに含まれる画素からの信号の画像処理を実行し、第2画像処理部16Bは、変動ブロックに含まれる画素からの信号の画像処理を実行する。
画像処理部16は、種々の画像処理を実行する。例えば画像処理部16は、撮像素子30で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部16は、画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整等の画像処理を行う。また、画像処理部16は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部16は、生成した画像データを記録部22に出力する。
画像処理部16は、撮像部14から時系列的に得られる複数のフレームのうち所定タイミング毎のフレームを抽出する。また、画像処理部16は、撮像部14から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。
ワークメモリ18は、画像処理部16による画像処理が行われる際に画像データ等を一時的に記憶する。
操作部20は、使用者によって使用されるスイッチ等である。操作部20は、使用者による操作に応じた信号をシステム制御部24に出力する。なお、操作部20は、タッチパネルを含んでいてもよい。
記録部22は、メモリカード等の記録媒体を装着可能なカードスロットを有する。記録部22は、カードスロットに装着された記録媒体に画像処理部16において生成された画像データや各種データを記憶する。記録部22の第1記録部22Aは、第1画像処理部16Aにおいて生成された画像データ等を記憶し、第2記録部22Bは、第2画像処理部16Bにおいて生成された画像データ等を記憶する。なお、記録部22は、内部メモリを有する。記録部22は、画像処理部16において生成された画像データや各種データを内部メモリに記憶することも可能である。
システム制御部24は、監視カメラ10の全体の処理及び動作を統括的に制御する。システム制御部24は、CPU(Central Processing Unit)24Aを有する。本第1の実施形態において、システム制御部24は、撮像素子30の撮像面を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部24は、ブロックの位置、形状、範囲、及びブロック用の蓄積条件を駆動部32に対して指示する。また、システム制御部24は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部24は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部32に対して指示する。また、画像処理部16は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率等の制御パラメータ)で画像処理を実行する。このため、システム制御部24は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率等の制御パラメータ)を画像処理部16に対して指示する。
また、システム制御部24は、画像処理部16において生成された画像データを記録部22に記憶させる。また、システム制御部24は、通信部26に指示を出し、ネットワーク60(図1参照)を介して、管理装置50と通信する。システム制御部24は、管理装置50に対して、画像処理部16において生成された画像データ等を送信する。
照度計28は、監視カメラ10周辺の照度を検出する。照度計28の検出結果は、システム制御部24に入力される。
次に、撮像素子30について、図3〜図7に基づいて詳細に説明する。本第1の実施形態の撮像素子30は、積層型撮像素子である。
図3には、撮像素子30の断面図が示されている。撮像素子30は、図3に示すように、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112と、を備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、銅(Cu)等の導電性を有するバンプ109により互いに電気的に接続されている。
なお、図3に示すように、入射光は主に白抜き矢印で示す方向で入射する。本第1の実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。
撮像チップ113は、一例として、裏面照射型のMOSイメージセンサであり、PD層106、配線層108等を有する。
PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配列され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode:PD)104、及びPD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してフィルタ部102が設けられている。フィルタ部102は、カラーフィルタを有する。カラーフィルタは、可視光のうち特定の波長領域を通過させるフィルタであり、互いに異なる波長領域を透過する複数の種類を有している。カラーフィルタは、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタの配列については後述する。なお、フィルタ部102、PD104、及びトランジスタ105の組が1つの画素を形成する。フィルタ部102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられている。マイクロレンズ101は、対応するPD104に向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via:シリコン貫通電極)110を有する。なお、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図4は、撮像チップ113の画素配列と単位グループを説明する図である。図4は、撮像チップ113を裏面側から見た状態を示す図である。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図4に示す例では、隣接する4画素×4画素の16画素が1つの単位グループ131を形成する。なお、図4の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示している。なお、単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
単位グループ131は、画素領域113Aの部分拡大図(図4の右下図)に示すように、緑色画素Gb、Gr、青色画素B、及び赤色画素Rの4画素からなる、いわゆるベイヤー配列を上下左右に4つ内包する。緑色画素Gb、Grは、フィルタ部102(カラーフィルター)として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Bは、フィルタ部102として青色フィルタを有する画素であり、青色波長帯の光を受光する。赤色画素Rは、フィルタ部102として赤色フィルタを有する画素であり、赤色波長帯の光を受光する。
図5は、各画素の等価回路図を示す図である。なお、以下において、画素に符号150を付して説明する。各画素150は、上記PD104、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156、及び選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は、図3のトランジスタ105に対応する。更に、各画素には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、及び画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャネル型FETとして説明するが、トランジスタの種類はこれに限られない。
転送トランジスタ152のソース、ゲート、ドレインはそれぞれPD104の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続される。負荷電流源309は、出力配線308に電流を供給する。即ち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
図6は、単位グループ131における画素150の接続関係を示す回路図である。なお、図6では、転送配線及び出力配線を示しているが、各画素の他の構成は省略している。
本第1の実施形態では、単位グループ131内で同じ色のカラーフィルタを有する画素150が画素群を形成する。即ち、本第1の実施形態では、8つの画素G(Gr、Gb)がG画素群を形成し、4つの画素RがR画素群を形成し、4つの画素BがB画素群を形成する。
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。即ち、G画素群に含まれる画素の転送トランジスタのゲートは共通のG転送配線330に接続され、R画素群に含まれる画素の転送トランジスタのゲートは共通のR転送配線332に接続され、B画素群に含まれる画素の転送トランジスタのゲートは共通のB転送配線334に接続されている。これにより、駆動部32は、転送トランジスタのゲートを画素群内で一斉に、且つ、画素群間で独立して制御することができる。
また、各画素群に含まれる複数の画素間で選択トランジスタの出力側が共通に接続されている。即ち、G画素群の画素の選択トランジスタの出力側は共通のG出力配線340に接続され、R画素群の画素の選択トランジスタの出力側は共通のR出力配線342に接続され、B画素群の画素の選択トランジスタの出力側は共通のB出力配線344に接続されている。
なお、図6では図示していないが、リセット配線及び電源配線は、単位グループ131で共通である。また、選択配線は、各画素に1対1に16本配され、対応する選択トランジスタのゲートに接続されている。さらに、出力配線には、それぞれ負荷電流源が接続される。
以上により、駆動部32は、各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。また、駆動部32は、特定の画素群に対して他の画素群とは異なる蓄積時間で電荷を蓄積させることができる。
図7は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131のG画素群の8個の画素Gを順番に選択して、それぞれの画素信号をG出力配線320へ出力させる。マルチプレクサ411を介して出力された画素信号は、アンプ416により増幅され、増幅された画素信号は、G出力配線320を介して、相関二重サンプリング(CDS:Correlated Double Sampling)・アナログ/デジタル(Analog / Digital)変換を行う信号処理回路412により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。A/D変換された画素信号は、G出力配線321を介してデマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
同様に、マルチプレクサ421、431は、単位グループ131のR、B画素群の画素をそれぞれ順番に選択して、各画素の画素信号を出力配線322、324へ出力させる。出力配線322、324へ出力された画素信号は、アンプ426、436により増幅され、信号処理回路422、432は、増幅された画素信号に対してCDS及びA/D変換を行う。A/D変換された画素信号は、出力配線323、325を介してデマルチプレクサ423、433に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
なお、マルチプレクサ411、421、431はそれぞれ、撮像チップ113上で、図5の選択トランジスタ158と選択配線306により形成される。アンプ416、426、436、及び信号処理回路412、422、432は、信号処理チップ111に形成される。デマルチプレクサ413、423、433、及び画素メモリ414は、メモリチップ112に形成される。
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部16に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図6では、1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131毎に存在し、並列で動作する。但し、演算回路415は、単位グループ131毎に存在しなくてもよい。例えば、1つの演算回路415がそれぞれの単位グループ131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
次に、撮像素子30の画素領域113A(図4参照)に設定されるブロックについて説明する。本第1の実施形態において、撮像素子30の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数等が挙げられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。
また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートは、例えば駆動部32がリセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ154、転送トランジスタ152、及び選択トランジスタ158に印加するタイミング(又はタイミングの周期)を制御することによって制御される。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(即ち、撮像される対象物)の動きが滑らかになる。
また、ゲインとは、アンプ416、426、436の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子30の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子30が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号の読み出しが行われることを意味する。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路415において行われる。演算回路415が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路415が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路412、422、432がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本第1の実施形態では、図2の駆動部32は、一例として、ブロック毎にフレームレート、ゲイン、及び間引き率を制御する。また、駆動部32は、撮像素子30の画素領域113Aにおけるブロックの設定を行う。なお、システム制御部24は、駆動部32に対するブロックの位置、形状、範囲などの指示を行う。
図1に戻り、管理装置50は、PC(Personal Computer)等の端末を含み、監視カメラ10で撮像された画像をネットワーク60を介して収集し、表示する。また、管理装置50は、ユーザ(管理者)からの監視カメラ10の操作や設定に関する指示を受け付けると、ネットワーク60を介して、監視カメラ10に対して指示を送信する。
次に、本第1の実施形態の監視カメラ10の処理について、図8〜図11に基づいて詳細に説明する。図8及び図9には、第1の実施形態に係る監視カメラ10の処理がフローチャートにて示されている。なお、図8及び図9の処理は、監視カメラ10に電源が投入され、管理装置50との間の通信が成立した段階で開始される。
図8の処理では、ステップS10において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。
次いで、ステップS12では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS12では、システム制御部24は、画像処理部16に指示を出し、全ブロックで撮像される画像を用いた動体検知処理を実行させる。この場合、画像処理部16は、撮像した画像とその直前に撮像された画像との比較を行う等することで、移動被写体を検知する。また、システム制御部24は、ステップS12において、通信部26を介して、管理装置50に対して撮像データを送信する。管理装置50では、受信した撮像データをディスプレイ等に表示するため、管理者は、監視カメラ10で撮像された画像を見ることが可能となる。
次いで、ステップS14では、システム制御部24は、画像処理部16からブロックのいずれかで移動被写体が検知されたことが通知されるまで待機する。即ち、移動被写体が検知されるまでは、システム制御部24は、ステップS10で設定された撮像条件での撮像を継続する。そして、移動被写体が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS16に移行する。
ステップS16では、システム制御部24は、変動ブロックとその撮像条件の設定を行う。例えば、図10に示すように、システム制御部24は、移動被写体(図10では人)が含まれる範囲を変動ブロック70に設定する。なお、図10等では、図示の便宜上、単位グループ131の大きさ(正方形の1マスの大きさ)を大きく表現している。また、システム制御部24は、変動ブロック70の撮像条件(例えばフレームレート、ゲイン、間引き率)を、移動被写体の撮像に適した条件に設定する。例えば、システム制御部24は、移動被写体が逆光で暗い場合にはゲインを大きくし、移動被写体の移動速度が速い場合にはフレームレートを高くし、移動被写体の拡大表示要求を受け付けた場合には間引き率を低くしたりする。また、システム制御部24は、変動ブロック70以外のブロックの撮像条件については、ステップS10で設定した撮像条件を維持する。なお、変動ブロック70のフレームレートを変える場合(例えば高くする場合)、変動ブロック70のフレームレートを他のブロックのフレームレートの倍数とする。
次いで、ステップS18では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、第1画像処理部16Aからの画像データの記録は、ステップS12の直後から開始してもよいが、本実施形態では、移動被写体を検出した後から開始することとしている。これにより、移動被写体が撮像されている画像のみを記録することができる。
次いで、ステップS20では、システム制御部24は、変動ブロック70を移動被写体に追従させる。即ち、システム制御部24は、画像処理部16から得られる画像内の移動被写体の動きに合わせて、変動ブロック70に含まれる画素(単位グループ131)と、変動ブロック70以外のブロックに含まれる画素(単位グループ131)とを随時異ならせるようにする。ここで、変動ブロック70は移動被写体に追従しており、該変動ブロック70では移動被写体に適した撮像条件で撮像されることから、移動被写体の様子を適切な画質で撮像・記録することが可能となる。これにより、管理装置50を利用する管理者による、移動被写体の監視を行い易くすることができる。
次いで、ステップS22では、システム制御部24は、複数の移動被写体が存在し、その移動被写体同士が接近したか否かを判断する。例えば、システム制御部24は、移動被写体それぞれを含む変動ブロック70同士で重なりが生じた場合や、変動ブロック70同士が重なってはいないが所定の間隔よりも接近した場合に、移動被写体同士が接近したと判断する。このように、移動被写体同士が接近したか否かを判断するのは、移動被写体同士が接近した場合は、図11に示すように、移動被写体同士が衝突することが起こり得るためである。
移動被写体同士が接近した場合、ステップS22の判断は肯定されて、図9のステップS24に移行する。ステップS24では、システム制御部24は、変動ブロック70の撮像条件の再設定を行う。例えば、システム制御部24は、変動ブロック70のゲインをステップS16で設定した値よりも大きくしたり、変動ブロック70のフレームレートをステップS16で設定した値よりも高くしたり、変動ブロック70の間引き率をステップS16で設定した値よりも小さくしたりする。これにより、移動被写体の様子を高画質で撮像・記録することができるようになり、移動被写体同士が衝突した場合でも、その解析が行い易くなる。
一方、複数の移動被写体が存在し、その移動被写体同士が接近していない場合、ステップS22の判断は否定され、図9のステップS30に移行する。ステップS30に移行すると、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS30の判断は否定されて、ステップS22に戻る。
ステップS24の後は、ステップS26に移行し、システム制御部24は、移動被写体同士が離れるまで待機する。例えば、システム制御部24は、移動被写体それぞれを含む変動ブロック70同士の重なりが解消されたり、変動ブロック70同士が所定の間隔よりも離れたりするまで待機する。したがって、移動被写体同士が離れるまでは、システム制御部24は、変動ブロック70に関してはステップS24で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS10で設定された撮像条件での撮像を行う。移動被写体同士が離れた場合、ステップS28に移行し、システム制御部24は、ステップS24で再設定した変動ブロック70の撮像条件を、ステップS16で設定した撮像条件に戻す。
次いで、ステップS30では、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS30の判断は否定されて、ステップS22に戻る。
一方、移動被写体が撮像範囲から居なくなった場合には、ステップS30の判断は肯定されて、ステップS32に移行する。ステップS32では、システム制御部24は、終了か否かを判断する。なお、システム制御部24は、終了か否かを、管理者が管理装置50あるいは操作部20から終了指示を入力したか否かにより判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS34に移行し、システム制御部24は、全ブロックの撮像条件をステップS10で設定した状態に戻し、ステップS14に戻る。以降は、ステップS32の判断が肯定されるまで、ステップS14〜S34の処理・判断を繰り返す。
以上詳細に説明したように、本第1の実施形態によると、撮像部14は、少なくとも1つの画素を有するブロックを複数有し、ブロック毎に撮像条件が設定可能となっている。システム制御部24は、撮像部14で撮像された画像により変動ブロック70を設定し、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像条件を変更する(ステップS24)。これにより、その時々に適した撮像条件で移動被写体を撮像することができ、移動被写体の様子を状況に応じた適切な画質で撮像することが可能となる。例えば複数の移動被写体の間で生じる事象(例えば移動被写体同士の衝突等)を適切な撮像条件で撮像することができ、当該事象の解析等を行い易くすることができる。また、移動被写体を含む変動ブロック70の撮像条件を変え(例えば高ゲイン、高フレームレート、低間引き率等に変更)、その他のブロックの撮像条件は変えないため、データ量の増加や監視カメラ10の温度上昇を抑制することができる。このようにデータ量の増加を抑圧することにより、ネットワーク60を介して管理装置に画像データを送信する際の通信回線のデータ量に関する負荷を減らすことができる。
また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体の少なくとも一部が撮像されたら、変動ブロック70の撮像条件を第1撮像条件から第2撮像条件に変更している。これにより、複数の移動被写体の間で生じる事象(例えば移動被写体同士の衝突等)をより適切な撮像条件で撮像することができる。
また、本第1の実施形態のように、システム制御部24は、変動ブロック70で画像処理部16によって検出された他方の移動被写体が撮像されたら、変動ブロック70の撮像条件を変更するようにしてもよい。
また、本第1の実施形態のように、システム制御部24は、画像処理部16で検出された一方の移動被写体の位置と他方の移動被写体の位置とによって変動ブロック70を設定するようにしてもよい。
また、本第1の実施形態では、システム制御部24は、一方の移動被写体の位置と他方の移動被写体の位置との間隔が接近したときの一方の移動被写体と他方の移動被写体とを含むブロックを変動ブロック70に設定している。これにより、複数の移動被写体の間で生じる事象をより確実に撮像することができる。
また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像におけるゲインを異ならせるので、適切な明るさで移動被写体を撮像することができる。
また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像におけるフレームレートを異ならせている。これにより、適切な速さでのスロー再生が可能となる。
また、本第1の実施形態では、撮像部14が撮像する全ブロック(領域)の画像処理を行う第1画像処理部16Aと、撮像部14が撮像する移動被写体を含む変動ブロック70(領域)の画像処理を行う第2画像処理部16Bと、を備える。これにより、図12に示すように、全ブロックから変動ブロック70の画像を切り出して、変動ブロック70の画像を拡大してリアルタイム表示することができる。なお、図12においては、変動ブロック70は動体検知処理に加えて、顔認識処理も用いて設定している。また、第2画像処理部16Bが常時作動していて、拡大表示が常時行われるようにしてもよいし、管理装置50のディスプレイ等に対して管理者がタッチした場合に、第2画像処理部16Bが作動して、拡大表示が行われるようにしてもよい。
また、本第1の実施形態のように、システム制御部24は、移動被写体を含む変動ブロック70の撮像条件を、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで異ならせるようにしてもよい。これにより、その時々に適した撮像条件で移動被写体を撮像することができ、移動被写体の様子を状況に応じた適切な画質で撮像することが可能となる。
また、本第1の実施形態のように、移動被写体を含む変動ブロック70が画像内(被写界内)に複数存在し、システム制御部24は、複数の移動被写体を含む変動ブロック70の位置関係に応じて撮像条件を変更するようにしてもよい。これにより、複数の移動被写体の間で生じる事象を適切な撮像条件で撮像することができ、当該事象の解析等を行い易くすることができる。
また、本第1の実施形態のように、システム制御部24は、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで、移動被写体を含む変動ブロック70の撮像におけるゲインを異ならせてもよい。例えば、移動被写体が画像内に侵入してきた時点よりも移動被写体同士が接近した時点の撮像におけるゲインを大きくすることで、移動被写体同士の衝突現場の撮像を明るくして行うことができる。
また、本第1の実施形態のように、システム制御部24は、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで、移動被写体を含む変動ブロック70の撮像におけるフレームレートを異ならせてもよい。例えば、移動被写体が画像内に侵入してきた時点よりも移動被写体同士が接近した時点の撮像におけるフレームレートを高くすることで、移動被写体同士が衝突した際の動画をよりゆっくりとスロー再生することが可能となる。
なお、上記第1の実施形態において、システム制御部24は、変動ブロック70の撮像におけるゲイン、フレームレート、間引き率を異ならせる場合を例に説明したが、その他の撮像条件を異ならせることとしてもよい。例えば、システム制御部24は、撮像素子30を制御するための制御パラメータ(例えば電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)や撮像素子30からの信号の読み出しを制御するための制御パラメータ(例えば間引き率)、撮像素子30からの信号を処理するための制御パラメータ(例えば画素信号を加算する加算行数又は加算列数、デジタル化のビット数)等を異ならせる場合でもよい。
《第2の実施形態》
次に、第2の実施形態について、図13〜図16に基づいて詳細に説明する。
第2の実施形態に係る監視カメラシステムの構成は、図1の第1の実施形態に係る監視カメラシステム500と同一又は同等である。また、監視カメラの構成は、図2〜図7の第1の実施形態に係る監視カメラと同一又は同等である。なお、画像処理部16の第1画像処理部16Aは、全ブロックに含まれる画素からの信号の画像処理を実行し、第2画像処理部16Bは、注目ブロックに含まれる画素からの信号の画像処理を実行する。
次に、本第2の実施形態の監視カメラの処理について、図13〜図16に基づいて詳細に説明する。図13及び図14には、第2の実施形態に係る監視カメラ10の処理がフローチャートにて示されている、なお、図13及び図14の処理は、監視カメラ10の電源が投入され、管理装置50との間の通信が成立した段階で開始される。
図13の処理では、ステップS40において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。
次いで、ステップS42では、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを注目ブロック72に設定する。例えば、図15に示すように、監視カメラ10の撮像範囲内において通路の曲がり角が撮像されている場合に、曲がり角の範囲を注目ブロック72に設定する。これは、曲がり角で移動被写体同士が衝突することが起こり易いためである。
次いで、ステップS44では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS44では、システム制御部24は、画像処理部16に指示を出し、全ブロックで撮像される画像を用いた動体検知処理を実行させる。また、システム制御部24は、ステップS44において、通信部26を介して、管理装置50に対して撮像データを送信する。
次いで、ステップS46では、システム制御部24は、画像処理部16からブロックのいずれかで移動被写体が検知されたことが通知されるまで待機する。即ち、移動被写体が検知されるまでは、システム制御部24は、ステップS40で設定された撮像条件での撮像を継続する。そして、移動被写体が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS48に移行する。
ステップS48では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、画像データの記録は、ステップS44の直後から開始してもよい。
次いで、ステップS50では、システム制御部24は、画像処理部16から得られる画像内の移動被写体の位置が注目ブロック72に入ったか否かを判断する。例えば、システム制御部24は、図16(a)のように、撮像範囲内に入ってきた移動被写体(人)が、図16(b)のように、注目ブロック72に入ったか否かを判断する。なお、移動被写体が注目ブロック72に入ったか否かの判断は、移動被写体の全体が注目ブロック72内に完全に入った場合を注目ブロック72に入ったと判断するようにしてもよいし、移動被写体の一部が注目ブロック72内に入った場合を注目ブロック72に入ったと判断するようにしてもよい。
移動被写体が注目ブロック72に入った場合、ステップS50の判断は肯定されて、図14のステップS52に移行する。ステップS52では、システム制御部24は、注目ブロック72の撮像条件の設定を行う。例えば、システム制御部24は、注目ブロック72のゲインをステップS40で設定した値よりも大きくしたり、注目ブロック72のフレームレートをステップS40で設定した値よりも高くしたり、注目ブロック72の間引き率をステップS40で設定した値よりも小さくしたりする。これにより、移動被写体が注目ブロック72に入った状況下において、移動被写体の様子を高画質で撮像・記録することが可能となる。
一方、移動被写体が注目ブロック72に入っていない場合、ステップS50の判断は否定されて、図14のステップS58に移行する。ステップS58に移行すると、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS58の判断は否定されて、ステップS50に戻る。
ステップS52の後は、ステップS54に移行し、システム制御部24は、移動被写体が注目ブロック72から出て行くまで待機する。なお、移動被写体が注目ブロック72から出て行ったか否かの判断は、移動被写体の全体が注目ブロック72から完全に出て行った場合を注目ブロック72から出て行ったと判断するようにしてもよいし、移動被写体の一部が注目ブロック72から出て行った場合に注目ブロック72から出て行ったと判断するようにしてもよい。したがって、移動被写体が注目ブロック72から出て行くまでは、システム制御部24は、注目ブロック72に関してはステップS52で設定された撮像条件での撮像を行い、注目ブロック72以外のブロックに関してはステップS40で設定された撮像条件での撮像を行う。
移動被写体が注目ブロック72から出て行った場合、ステップS56に移行し、システム制御部24は、ステップS52で設定した注目ブロック72の撮像条件を、ステップS40で設定した撮像条件に戻す。
次いで、ステップS58では、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS58の判断は否定されて、ステップS50に戻る。
一方、移動被写体が撮像範囲から居なくなった場合には、ステップS58の判断は肯定されて、ステップS60に移行する。ステップS60では、システム制御部24は、終了か否かを判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS46に戻る。以降は、ステップS60の判断が肯定されるまで、ステップS46〜S60の処理・判断を繰り返す。
以上詳細に説明したように、本第2の実施形態では、システム制御部24は、撮像部14で撮像された画像により注目ブロック72を設定し、注目ブロック72で移動被写体が撮像されたら注目ブロック72の撮像条件を変更する(ステップS52)。これにより、移動被写体を注目して監視することが望まれる場所(例えば移動被写体に危険が生じる恐れのある場所等)において、移動被写体を適切な撮像条件によって撮像することができる。
また、本第2の実施形態では、システム制御部24は、移動被写体の少なくとも一部が注目ブロック72で撮像されたら、注目ブロック72の撮像条件を第1撮像条件から第2撮像条件に変更している。これにより、注目ブロック72で生じる事象(例えば移動被写体同士の衝突等)をより適切な撮像条件で撮像することができる。
また、本第2の実施形態のように、システム制御部24は、画像処理部16で検出された移動被写体が注目ブロック72で撮像されたら、注目ブロック72の撮像条件を変更するようにしてもよい。
なお、上記第2の実施形態においては、通路の曲がり角を注目ブロック72に設定する場合を例に示したが、ビルや工場、家等の建物の出入口や銀行のATMの前等、移動被写体を注目して見たい場所を注目ブロック72に設定してもよい。
《第3の実施形態》
次に、第3の実施形態について、図17〜図21(b)に基づいて詳細に説明する。第3の実施形態は、移動被写体が人ではなく、工場に備わる搬送システムで搬送される物品の場合の例である。
図17は、第3の実施形態に係る搬送システム80を備える工場90を示す図である。図17に示すように、搬送システム80は、工場90内に備わっている。搬送システム80は、物品(例えば半製品)82を搬送する搬送装置(例えばベルトコンベア)84と、搬送装置84によって搬送される物品82を撮像する監視カメラ10と、監視カメラ10で撮像された画像を表示する表示装置86と、を備える。監視カメラ10の構成は、図2〜図7の第1の実施形態に係る監視カメラと同一又は同等である。表示装置86は、例えばLCD(Liquid Crystal Display)である。作業員は、搬送装置84で搬送されて来る物品82に対して、搬送装置84上の作業場88で作業を行う。作業が終了した物品82は、次の工程を行うために作業場88から搬送されて行く。
なお、工場90内に複数の搬送システム80が設けられていて、それぞれの搬送システム80に含まれる監視カメラ10がネットワーク等によって管理装置50と接続されていてもよい。
次に、本第3の実施形態の搬送システム80に備わる監視カメラの処理について、図18〜図21(b)に基づいて詳細に説明する。図18及び図19には、第3の実施形態に係る搬送システム80に備わる監視カメラ10の処理がフローチャートにて示されている。なお、図18及び図19の処理は、監視カメラ10の電源が投入された段階で開始される。
図18の処理では、ステップS70において、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを動体検知ブロック74に設定する。例えば、図20(a)に示すように、搬送装置84上の作業場88よりも上流部分を含む範囲が動体検知ブロック74に設定される。
次いで、ステップS72において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。
次いで、ステップS74では、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを注目ブロック72に設定する。例えば、図20(b)に示すように、搬送装置84上の作業場88を含む範囲が注目ブロック72に設定される。これは、作業場88で物品82に対して作業を行うので、その作業を監視するためである。
次いで、ステップS76では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS76では、システム制御部24は、画像処理部16に指示を出し、動体検知ブロック74で撮像される画像を用いた動体検知処理を実行させる。また、システム制御部24は、ステップS76において、通信部26を介して、表示装置86に対して撮像データを送信して、表示装置86に撮像画像を表示させる。
次いで、ステップS78では、システム制御部24は、画像処理部16から動体検知ブロック74で移動被写体(物品82)が検知されたことが通知されるまで待機する。即ち、物品82が検知されるまでは、システム制御部24は、ステップS72で設定された撮像条件での撮像を継続する。そして、物品82が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS80に移行する。
ステップS80では、システム制御部24は、変動ブロックとその撮像条件の設定を行う。例えば、図21(a)に示すように、システム制御部24は、物品82が含まれる範囲を変動ブロック70に設定する。そして、システム制御部24は、変動ブロック70の撮像条件(例えばフレームレート、ゲイン、間引き率)を、物品82の撮像に適した条件に設定する。例えば、システム制御部24は、物品82が逆光で暗い場合にはゲインを大きくし、物品82の移動速度が速い場合にはフレームレートを高くし、物品82の拡大表示要求を受け付けた場合には間引き率を低くする。また、システム制御部24は、変動ブロック70以外のブロックの撮像条件については、ステップS72で設定した撮像条件を維持する。
次いで、ステップS82では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、第1画像処理部16Aからの画像データの記録は、ステップS76の直後から開始してもよい。
次いで、ステップS84では、システム制御部24は、変動ブロック70を物品82に追従させる。即ち、システム制御部24は、画像処理部16から得られる画像内の物品82の動きに合わせて、変動ブロック70に含まれる画素(単位グループ131)と、変動ブロック70以外のブロックに含まれる画素(単位グループ131)とを随時異ならせるようにする。
次いで、図19のステップS86では、システム制御部24は、物品82が注目ブロック72に入るまで待機する。例えば、システム制御部24は、図21(b)のように、搬送装置84で搬送される物品82が、作業場88を含む注目ブロック72に入るまで待機する。なお、物品82が注目ブロック72に入ったか否かの判断は、変動ブロック70の一部が注目ブロック72に重なった場合に物品82が注目ブロック72に入ったと判断してもよいし、変動ブロック70の全てが注目ブロック72に重なった場合に物品82が注目ブロック72に入ったと判断してもよい。したがって、物品82が注目ブロック72に入るまでは、システム制御部24は、変動ブロック70に関してはステップS80で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。そして、物品82が注目ブロック72に入ると、システム制御部24は、ステップS88に移行する。
ステップS88では、システム制御部24は、変動ブロック70の撮像条件の再設定を行う。例えば、システム制御部24は、変動ブロック70のゲインをステップS80で設定した値よりも大きくしたり、変動ブロック70のフレームレートをステップS80で設定した値よりも高くしたり、変動ブロック70の間引き率をステップS80で設定した値よりも小さくしたりする。これにより、物品82に不具合を生じさせる恐れがある作業場88での物品82の様子を高画質で撮像・記録することが可能となる。
ステップS88の後は、ステップS90に移行し、システム制御部24は、物品82が注目ブロック72から出て行くまで待機する。なお、物品82が注目ブロック72から出て行ったか否かの判断は、変動ブロック70の一部が注目ブロック72と重ならなくなった場合に物品82が注目ブロック72から出て行ったと判断してもよいし、変動ブロック70の全てが注目ブロック72と重ならなくなった場合に物品82が注目ブロック72から出て行ったと判断してもよい。したがって、物品82が注目ブロック72から出て行くまでは、システム制御部24は、変動ブロック70に関してはステップS88で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。
物品82が注目ブロック72から出て行った場合、ステップS92に移行し、システム制御部24は、変動ブロック70の撮像条件を再設定する。この場合において、変動ブロック70の撮像条件をステップS80で設定した撮像条件に戻してもよいし、ステップS80とは異なる撮像条件に変更してもよい。
次いで、ステップS94では、システム制御部24は、物品82が画像内(被写界内)から居なくなるまで待機する。即ち、物品82が画像内から居なくなるまでは、システム制御部24は、変動ブロック70に関してはステップS92で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。物品82が画像内から居なくなった後、システム制御部24は、ステップS96に移行する。
ステップS96では、システム制御部24は、終了か否かを判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS78に戻る。以降は、ステップS96の判断が肯定されるまで、ステップS78〜S96の処理・判断を繰り返す。
以上詳細に説明したように、本第3の実施形態では、移動被写体が搬送装置84で搬送される物品82であり、システム制御部24は、物品82を含む変動ブロック70が注目ブロック72に入ったら、物品82を含む変動ブロック70の撮像条件を変更している(ステップS88)。例えば、本第3の実施形態では、システム制御部24は、物品82を含む変動ブロック70の撮像条件を、物品82が作業場88外にある時点(第1の時点)と作業場88内にある時点(第2の時点)とで異ならせている。この場合でも、物品82の様子をその時々の状況に応じた適切な画質で撮像することができる。例えば、物品82に不具合が生じた場合の原因解析を、適切な画像(例えば高解像度や高フレームレート等の画像)を用いて行うことができる。
また、第3の実施形態では、搬送システム80は監視カメラ10によって撮像された画像を表示する表示装置86を備えるので、物品82を撮像した画像を搬送装置84近傍で作業員やその上長等が見ることができる。このため、物品82に生じた不具合の原因解析を、作業現場で行うことができる。
なお、上記第3の実施形態において、物品82を含む変動ブロック70が注目ブロック72に入った場合に変動ブロック70の撮像条件を変更するのではなく、上記第1の実施形態と同様に、物品82を含む変動ブロック70に、作業員の工具を含むブロックが接近した場合に変動ブロック70の撮像条件を変更するようにしてもよい。
なお、上記第3の実施形態において、注目ブロック72は、1つの場合に限らず、複数ある場合でもよい。
なお、上記第1の実施形態〜第3の実施形態において、システム制御部24は、移動被写体の速度が異なる第1の時点と第2の時点とにおいて、移動被写体を含むブロックの撮像条件が異なるように撮像部14を制御する等、移動被写体の状態に応じて、撮像部14を制御してもよい。
なお、上記第1の実施形態〜第3の実施形態において、撮像素子は撮像領域毎に撮像条件が変えられるが、すべての撮像領域を同一の撮像条件にしかできない撮像素子であってもよい。この場合は、撮像条件を変更するときはすべての撮像領域の撮像条件を同じように変更する。
なお、上記第1、第2の実施形態では、移動被写体が人であり、上記第3の実施形態では、移動被写体が物品(半製品)である場合について説明したがこれに限られるものではない。移動被写体は、例えば人以外の動物、車、災害時に撮像される可能性のあるもの(水や火等)など、その他の場合でもよい。
なお、上記第1〜第3の実施形態において、監視カメラ10は、ビル内や工場内、路上に配置されている場合に限られず、例えば車内や競技場等、その他の場所に配置されていてもよい。監視カメラ10が車内に配置されている場合は、車の前方に現れる対向車や歩行者等を移動被写体として撮像してもよい。また、監視カメラ10が競技場に配置されている場合は、競技中の選手を移動被写体として撮像してもよい。また、管理装置50が監視カメラ10と一体となっていてもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。