JP4981571B2 - 画像センシング装置および画像センシングシステム - Google Patents

Description

本発明は、防犯用の監視装置に用いられ、複数の画像センサの動作を制御する画像センシング装置および該画像センシング装置を有する画像センシングシステムに関する。

従来、画像センサがセンシングするセンシング領域の状況やセンシングデータ利用機器の制約に応じて画像センサのセンシング方法を変化させる画像センシングシステムがある。この画像センシングシステムには、複数の画像センサ各々のアナログ映像信号について、映像の輝度変化を検出した際にＶＴＲ（Video Tape Recorder）への記録モード（記録時間割合）を変更するものがある（例えば、特許文献１参照）。特許文献１で開示された技術によれば、例えば異常を検出したセンサの映像を自動的に長時間録画に切り替えることができる。

また、別の従来技術として、異常時の情報量を確保しながら記録容量をセーブすることを目的として、侵入者の有無の検出結果によりデジタル映像データＭＰＥＧ（Moving Picture Experts Group）のピクチャ構成を変更するものがある（例えば、特許文献２参照）。具体的には、通常はＩフレームやＰフレームを残してそれ以外のフレームを間引き、侵入者検出など異常時は間引かないようにする。

また、別の従来技術として、１台のカメラ映像を複数の画像フレームメモリに記憶しておき、１つのモニタには１つの画像フレームメモリに記憶されているセンシング対象領域全体の情報を表示し、他の複数のモニタには、他の複数のフレームメモリから、指定領域部分のみを切り出して表示するものもある（例えば、特許文献３参照）。この特許文献３には、メモリに記憶した画像に対して、複数の監視端末それぞれからの領域指定により、切り出した画像をそれぞれの監視端末に配信することが開示されている。

特開平８−２０５１３３号公報 特開２００２−２０３０２２号公報 特開２００２−２６２２７６号公報

しかしながら、特許文献１では、アラーム信号を検出した場合に、各カメラの記録時間モードを切り替えることは開示されているが、カメラの視野内の部分領域ごとに蓄積スケジュールを可変にすることは考慮されていない。

また、特許文献２では、各カメラについて、異常を検出していないときにフレームを間引くことは開示されているが、複数カメラが連携して、カメラの視野内の部分領域ごとに、データの間引き方を変更することは考慮されていない。

また、特許文献３では、１つの監視カメラ画像に対して、監視対象領域の全体画像と部分領域の画像を同時に提供すること、さらに、１つのカメラ画像について複数端末による任意の指定部分を配信することは開示されているが、複数の画像センサにより、センシング対象領域全体を監視する際の画像データ読み出しについては考慮されていない。

本発明は、かかる事情に鑑みてなされたものであり、複数の画像センサによりセンシング対象領域全体の情報および複数の対象物の情報を確保しながらも、画像センサ側での消費電力や転送画像データ量の削減、画像データ記録装置側での長時間データ蓄積を可能とする画像センシング装置および画像センシングシステムを提供することを目的とする。

前記目的を達成するため、本発明の画像センシング装置は、複数の画像センサの動作を制御する画像センシング装置であって、複数の画像センサにより重複してセンシングされる重複センシング領域において前記重複センシング領域内に対象物を検知した場合は、前記重複センシング領域をセンシングする前記複数の画像センサの全てについて前記重複センシング領域に対する画像データを読み出し、前記重複センシング領域内に対象物が存在しない場合は、前記複数の画像センサのうち少なくとも１つの画像センサを選択して前記重複センシング領域に対して前記選択した画像センサの画像データを読み出し、また、前記複数の画像センサが各々単独でセンシングしている単独センシング領域の画像データは常時読み出すように複数の画像センサを制御する画像センシング手段を備える。

この構成により、複数の画像センサにより重複してセンシングされている領域のデータを、センシング領域内での対象物の有無や位置に応じて取捨選択することにより、対象物の情報を優先してセンシング対象領域全体の情報を確保しながら、読み出しデータ量を削減することができるので、画像センサの消費電力を削減しながら、監視領域全体の情報を確保した上で、対象物の情報をより優先した映像のモニタリングができる。

また、上記構成において、前記画像センシング手段は、前記重複センシング領域内に対象物が存在しない場合における少なくとも１つの画像センサの選択を所定の時間間隔ごとに行う。

この構成により、重複センシング領域内に対象物が存在しない場合には、少なくとも１つの画像センサでモニタリングすることにより、読み出しデータ量を削減することができるとともに、画像センサの消費電力を削減することができる。

また、上記構成において、前記画像センシング手段は、前記重複センシング領域または前記単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように前記第１および第２の詳細度を制御する。

この構成により、複数の画像センサにより重複してセンシングされている領域のデータの読み出し調整だけでなくセンシングする詳細度も制御することにより、読み出しデータ量を目標値に近づけるよう削減しながら、対象物自身およびそのごく近傍全体の情報量を最優先に確保すると同時に、複数の画像センサによる対象物周辺領域全体の情報をも対象物を含まない画像センサに比べて優先的に確保することにより、複数の画像センサの映像を効率的に蓄積できる。

本発明の画像センシングシステムは、複数の画像センサと、前記画像センサのセンシングデータを蓄積するためのセンシングデータ蓄積手段と、上記いずれかの画像センシング装置とを備え、前記画像センシング装置の前記画像センシング手段は、前記複数の画像センサそれぞれのセンシングデータを前記センシングデータ蓄積手段に蓄積する。

この構成により、複数の画像センサにより重複してセンシングされている領域のデータの読み出し調整および／またはセンシングする詳細度を制御することにより、対象物の情報を優先してセンシング対象領域全体の情報を確保しながら、読み出しデータ量を削減することができるので、画像センサの消費電力を削減しながら、監視領域全体の情報を確保した上で、対象物の情報をより優先した映像のモニタリングができる。

また、上記構成において、前記画像センシング手段は、前記重複センシング領域または前記単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように前記第１および第２の詳細度を算出し、算出した前記詳細度に基づき、センシングデータを前記センシングデータ蓄積手段に蓄積する。

この構成により、複数の画像センサにより重複してセンシングされている領域のデータの読み出し調整だけでなくセンシングする詳細度も制御することにより、読み出しデータ量を目標値に近づけるよう削減しながら、対象物自身およびそのごく近傍全体の情報量を最優先に確保すると同時に、複数の画像センサによる対象物周辺領域全体の情報をも対象物を含まない画像センサに比べて優先的に確保することにより、複数の画像センサの映像を効率的に蓄積できる。

本発明の画像センシング方法は、複数の画像センサの動作を制御する画像センシング方法であって、前記複数の画像センサにより重複してセンシングされる重複センシング領域において前記重複センシング領域内に対象物を検知した場合は、前記重複センシング領域をセンシングする前記複数の画像センサ全てについて前記重複センシング領域に対する画像データを読み出し、前記重複センシング領域内に対象物が存在しない場合は、前記複数の画像センサのうち少なくとも１つの画像センサを選択して、前記重複センシング領域に対して前記選択した画像センサの画像データを読み出し、前記複数の画像センサが各々単独でセンシングしている単独センシング領域の画像データは常時読み出すように複数の画像センサを制御する。

この方法により、複数の画像センサにより重複してセンシングされている領域のデータを、センシング領域内での対象物の有無や位置に応じて取捨選択することにより、対象物の情報を優先してセンシング対象領域全体の情報を確保しながら、読み出しデータ量を削減することができるので、画像センサの消費電力を削減しながら、監視領域全体の情報を確保した上で、対象物の情報をより優先した映像のモニタリングができる。

また、上記方法において、前記重複センシング領域または単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように、前記第１および第２の詳細度を制御する。

この方法により、複数の画像センサにより重複してセンシングされている領域のデータの読み出し調整だけでなくセンシングする詳細度も制御することにより、読み出しデータ量を目標値に近づけるよう削減しながら、対象物自身およびそのごく近傍全体の情報量を最優先に確保すると同時に、複数の画像センサによる対象物周辺領域全体の情報をも対象物を含まない画像センサに比べて優先的に確保することにより、複数の画像センサの映像を効率的に蓄積できる。

本発明の画像センシング制御プログラムは、複数の画像センサの動作を制御する画像センシング制御プログラムであって、複数の画像センサにより重複してセンシングされる重複センシング領域において前記重複センシング領域内に対象物を検知した場合は、前記重複センシング領域をセンシングする前記複数の画像センサの全てについて前記重複センシング領域に対する画像データを読み出し、前記重複センシング領域内に対象物が存在しない場合は、前記複数の画像センサのうち少なくとも１つの画像センサを選択して、前記重複センシング領域に対して前記選択した画像センサの画像データを読み出し、前記複数の画像センサが各々単独でセンシングしている単独センシング領域の画像データは常時読み出すように複数の画像センサを制御するステップを備え、コンピュータに前記画像センシングステップを実行させる。

このプログラムにより、複数の画像センサにより重複してセンシングされている領域のデータを、センシング領域内での対象物の有無や位置に応じて取捨選択することにより、対象物の情報を優先してセンシング対象領域全体の情報を確保しながら、読み出しデータ量を削減することができるので、画像センサの消費電力を削減しながら、監視領域全体の情報を確保した上で、対象物の情報をより優先した映像のモニタリングができる。

また、上記プログラムにおいて、前記複数の画像センサによりセンシングされる前記重複センシング領域または単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように、前記第１および第２の詳細度を制御するステップを備える。

このプログラムにより、複数の画像センサにより重複してセンシングされている領域のデータの読み出し調整だけでなくセンシングする詳細度も制御することにより、読み出しデータ量を目標値に近づけるよう削減しながら、対象物自身およびそのごく近傍全体の情報量を最優先に確保すると同時に、複数の画像センサによる対象物周辺領域全体の情報をも対象物を含まない画像センサに比べて優先的に確保することにより、複数の画像センサの映像を効率的に蓄積できる。

本発明によれば、複数の画像センサにより重複してセンシングされている領域のデータを、センシング領域内での対象物の有無や位置に応じて取捨選択および／またはセンシングする詳細度を制御することにより、対象物の情報を優先してセンシング対象領域全体の情報を確保しながら、読み出しあるいは蓄積データ量を削減することができるので、センシング領域全体の情報を確保した上で、対象物の情報をより優先した映像のモニタリングや長時間のデータを記録することができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１に係る画像センシングシステムは、複数の画像センサにより重複してセンシングされている領域のデータを読み出すスケジュールを、センシング領域内での対象物の有無や位置に応じて変更することにより、センシング対象領域全体の情報および対象物の情報を確保しながら、蓄積データ量を削減するものである。

図１は、本実施の形態に係る画像センシングシステムの概略構成を示すブロック図である。図１において、本実施の形態の画像センシングシステムは、画像センシング装置１００と、複数の画像センサ１０１と、センシングデータ蓄積部１０７とを備える。画像センサ１０１は、センシング対象領域に対して複数設置される。図２は、監視領域であるセンシング対象領域２００（矩形ＡＤＰＭ）全体を死角なく監視するように、固定画角の画像センサ１０１を４台（Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４）設置した例である。ここで、画像センサＣ_１、Ｃ_２、Ｃ_３、Ｃ_４がセンシングする領域は、それぞれ、矩形ＡＣＫＩ、矩形ＢＤＬＪ、矩形ＥＧＯＭ、矩形ＦＨＰＮである。

画像センシング装置１００は、フレームメモリ１０２と、部分センシング領域記憶部１０３と、部分センシング領域別イベント検出部１０４と、部分センシング領域データ蓄積スケジュール記憶部１０５と、蓄積データ選択部１０６とを備える。画像センサ１０１により得られる画像データ（以下、センシングデータと呼ぶ）は、画像センサ１０１ごとにフレームメモリ１０２に記憶される。図２において、画像センサ１０１のセンシング領域により分割された領域Ｒ^１〜Ｒ^９を部分センシング領域２０１と呼び、部分センシング領域記憶部１０３に記憶される。部分センシング領域２０１には、Ｒ^１、Ｒ^３、Ｒ^７、Ｒ^９のように１つの画像センサ１０１のみでセンシングされる単独センシング領域２０３と、Ｒ^２、Ｒ^４、Ｒ^５、Ｒ^６、Ｒ^８のように複数の画像センサ１０１によりセンシングされる重複センシング領域２０４が存在する。

部分センシング領域別イベント検出部１０４は、部分センシング領域２０１ごとに動きや対象物２０２の有無を検出する。部分センシング領域データ蓄積スケジュール記憶部１０５は、各画像センサ１０１が各部分センシング領域２０１をセンシングするスケジュールを記憶する。蓄積データ選択部１０６は、部分センシング領域別イベント検出部１０４により検出された対象物２０２の情報と、部分センシング領域データ蓄積スケジュール記憶部１０５が記憶している部分センシング領域２０１のセンシングスケジュールに基づいて、センシングデータ蓄積部１０７に蓄積する部分センシング領域２０１のセンシングデータを決定する。

以上のように構成された本実施の形態の画像センシングシステムの動作を説明する。図３は、複数の画像センサ１０１により重複してセンシングされているセンシング領域のセンシングデータを、対象物２０２の検出状況に応じて取捨選することにより、センシング対象領域２００全体の情報および対象物２０２の情報を確保しながら蓄積する手順を示すフローチャートである。ここでは、図２に示すようなセンシング対象領域２００を、複数の画像センサＣ_ｉ（ｉ＝１，２，…，ｎ；ｎは画像センサ１０１の数であり、ここでは４台）により、センシング対象領域２００全体を離散的な時刻ｔ（ｔ＝０，１，２，…）ごとに同時にセンシングする場合について説明する。

（ステップＳ１０１：画像センサＣ_ｉによるセンシングデータの記憶）
各画像センサ１０１が、担当するセンシング領域を所定のフレームレートでセンシングする。各画像センサ１０１がセンシングして得られたセンシングデータをフレームメモリ１０２に記憶する。図２の場合、画像センサＣ_１、Ｃ_２、Ｃ_３、Ｃ_４がセンシングする領域は、それぞれ矩形ＡＣＫＩ、矩形ＢＤＬＪ、矩形ＥＧＯＭ、矩形ＦＨＰＮである。また、図２のＧ_Ｃｉ ^Ｒｋは、部分センシング領域Ｒ^ｋ（ｋ＝１，２，…，ｎ^Ｒ；ｎ^Ｒは部分センシング領域の数）を重複してセンシングしているノード集合であり、ノード番号ｉの昇順に記憶している（例えば、Ｇ_Ｃｉ ^Ｒ１＝{Ｃ_１}，Ｇ_Ｃｉ ^Ｒ４＝{Ｃ_１,Ｃ_３}，Ｇ_Ｃｉ ^Ｒ５＝{Ｃ_１,Ｃ_２,Ｃ_３,Ｃ_４}）。

（ステップＳ１０２：対象物の有無を検知）
部分センシング領域別イベント検出部１０４が、部分センシング領域記憶部１０３に記憶されている部分センシング領域２０１ごとに対象物２０２の有無を検知し、その結果を一時的に記憶する。対象物２０２の検知は、フレームメモリ１０２に時系列に記憶されているセンシングデータを用いて、フレーム間差分やその他の公知の画像処理方法により検出すればよい。なお、フレームメモリ２０１のセンシングデータを利用せずに、赤外線センサなどの検知センサを画像センサのセンシング領域に対応させて設置することにより、人物などの熱源を感知してもよい。

（ステップＳ１０３:蓄積スケジュール選択）
蓄積データ選択部１０６が、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュールおよび部分センシング領域別イベント検出部１０４による対象物２０２の検知結果に基づき、部分センシング領域記憶部１０３に記憶されている部分センシング領域２０１ごとに、センシングデータをフレームメモリ１０２から読み出して、センシングデータ蓄積部１０７に蓄積する。このとき、対象物無し、または単独センシング領域２０３で対象物２０２が検出されている場合はステップＳ１０４へ進み、重複センシング領域２０４で対象物２０２が検出されている場合はステップＳ１０５へ進む。

（ステップＳ１０４:データ削減スケジュールによる蓄積）
蓄積データ選択部１０６は、後述するデータ削減スケジュールにより、部分センシング領域ごとにフレームメモリ１０２からセンシングデータを読み出して、センシングデータ蓄積部１０７に蓄積する。データ削減スケジュールは、重複センシング領域をセンシングしている複数の画像センサ１０１のセンシングデータを時間軸上で交互にフレームメモリ１０２から読み出すものである。データ削減スケジュールは、次のようにして決定する。時間ｔに領域Ｒ^ｋのセンシングを担当する画像センサＣ_ｉをＧ_Ｃｉ ^Ｒｋ(ｍ),（ｍ＝０,１,…）とする。Ｇ_Ｃｉ ^Ｒｋ(ｍ)は、画像センサの集合Ｇ_Ｃｉ ^Ｒｋの左からｍ＋１番目の要素を表し、ｍはｍ＝(ｔ)ｍｏｄ（｜Ｇ_Ｃｉ ^Ｒｋ｜）により決定する。但し、ｍｏｄは剰余演算を表し、｜Ｇ_Ｃｉ ^Ｒｋ｜は集合Ｇ_Ｃｉ ^Ｒｋの要素数、すなわち、部分センシング領域Ｒ^ｋのセンシングを担当する画像センサＣ_ｉの個数を表す。ｍは０から（｜Ｇ_Ｃｉ ^Ｒｋ｜−１）の間の整数値をとる。例えば、領域Ｒ^５については、センシング可能な画像センサ１０１の集合は、Ｇ_Ｃｉ ^Ｒ５＝{Ｃ_１,Ｃ_２,Ｃ_３,Ｃ_４}であり、時刻ｔ＝０のときｍ＝０でＣ_１、時刻ｔ＝１のときｍ＝１でＣ_２、時刻ｔ＝２のときｍ＝２でＣ_３、時刻ｔ＝３のときｍ＝３でＣ_４が選択される。以降、時刻ｔ＝４ｓのときｍ＝０でＣ₁、時刻ｔ＝４ｓ＋１のときｍ＝１でＣ_２、時刻ｔ＝４ｓ＋２のときｍ＝２でＣ_３、時刻ｔ＝４ｓ＋３のときｍ＝３でＣ_４がセンシングを担当する。但し、ｓ＝０，１，２，…である。

データ削減スケジュールの一例を図４に示す。ここで、全ての画像センサ１０１が時刻ｔまでに読み出す合計データ量Ｄ^TOTAL(ｔ)は（式１）により求められる。但し、上付き添字であるＲ_Ｃｉ ^ｋを有するＤは、部分センシング領域Ｒ_ci ^kに対して時刻ｔまでにノードＣ_ｉが読み出した全データ量を表し、ｑｕｏは商を表す。また、上付き添字であるＲ_Ｃｉ ^ｋを有するαは、部分センシング領域Ｒ^ｋをセンシングするノードＣ_ｉの撮像素子（例えば、ＣＣＤ（Charge Coupled Device））上の領域の撮像素子全体面積に対する割合である。

図２に示すように、４つの画像センサ１０１が互いにセンシング領域の１／４（２５％）または１／２（５０％）を共有している配置の場合に、図４に示すデータ削減スケジュールで（式１）により読み出して合計データ量を算出した場合、常時全フレームのセンシングデータを読み出した場合と比較して、読み出した合計データ量を４３．７５％削減できる。これは、各時刻において常時全フレームのセンシングデータを読み出した場合、そのデータ量は部分センシング領域２０１の１６個分となる。一方で、センシング対象領域２００をくまなくセンシングするために必要な部分センシング領域２０１の数は９個であり、重複センシング領域のセンシングデータの読み出しを、図４に示すデータ削減スケジュールにより、少なくとも１つの画像センサ１０１のみが行うことにより、各時刻とも１６−９＝７個分のデータ量を削減することができ、その削減率は７／１６＝０．４３７５となる。

（ステップＳ１０５:対象物優先スケジュールによる蓄積）
図３において、蓄積データ選択部１０６は、後述する対象物優先スケジュールにより、部分センシング領域ごとにフレームメモリ１０２からセンシングデータを読み出して、センシングデータ蓄積部１０７に蓄積する。対象物優先スケジュールは、重複センシング領域内に対象物２０２が存在する場合に、重複センシング領域をセンシングしている複数の画像センサ１０１のうち、少なくとも２つ以上の画像センサ１０１のセンシングデータを同時にフレームメモリ１０２から読み出すものである。例えば、重複センシング領域をセンシングしている全ての画像センサ１０１のセンシングデータを読み出すものとすれば、図５に示すように、ｔ＝４からｔ＝１０の間に対象物２０２が部分センシング領域Ｒ^１、Ｒ^２、Ｒ^５、Ｒ^８、Ｒ^９を移動した場合、対象物優先スケジュールは図６に示すものとなる（太線枠で囲まれた部分が、図４に示したデータ削減スケジュールに比べて対象物２０２の情報確保のためにさらにデータを読み出す部分を示している）。このときのデータ削減率の推移は、４３．７５％（ｔ＝４）⇒４３．７５％（t＝５）⇒３７．５％（ｔ＝６）⇒２５．００％（ｔ＝７）⇒３７．５％（ｔ＝８）⇒４３．７５％（ｔ＝９）⇒４３．７５％（ｔ＝１０）となる。これにより、全画像センサ１０１の全フレームのセンシングデータを常時読み出す場合と比較して、読み出しデータ量を削減しながら、複数の視点から対象物のデータを確保するようにセンシングデータを蓄積することができる。

以上説明したように、本実施の形態の画像センシングシステムによれば、複数の画像センサ１０１により重複してセンシングされている領域のセンシングデータを、センシング領域内での対象物２０２の有無や位置に応じて取捨選択することにより、センシング対象領域全体の情報および対象物２０２の情報を確保しながら、蓄積するデータ量を削減することができる。

なお、本実施の形態では、重複センシング領域に対象物２０２が存在する場合、重複センシング領域をセンシングしている全ての画像センサ１０１のセンシングデータを読み出す例で説明したが、これに限らず、例えば対象物２０２が人物で、顔の特定を対象としている場合には、顔の写っていないセンシングデータは蓄積しないなどとしてもよい。また、単独センシング領域に人物がいる場合でも、その移動方向が重複センシング領域に近づいているような場合には、あらかじめ、重複センシング領域のセンシングデータを、該当する重複センシング領域をセンシングしている全画像センサ１０１のセンシングデータの蓄積を開始するなどしてもよい。

また、本実施の形態では、各画像センサ１０１から得られるセンシングデータを全てデータ蓄積側のフレームメモリ１０２に一時的に記憶し、対象物２０２の有無に応じて、蓄積するセンシングデータを部分センシング領域ごとにフレームメモリ１０２から切り出す例で説明したが、画像センサ１０１側に部分センシング領域記憶部１０３、部分センシング領域別イベント検出部１０４、部分センシング領域データ蓄積スケジュール記憶部１０５、蓄積データ選択部１０６を搭載し、部分センシング領域別イベント検出部１０４による対象物のセンシング領域内での有無や位置情報を画像センサ１０１間で通信することによって、画像センサ１０１の撮像素子からのデータ読み出し量を削減し、画像センサ１０１の消費電力の削減や、転送するセンシングデータ量の削減ができることはいうまでもない。

また、本実施の形態では、対象物２０２の有無や位置情報に基づいて、重複センシング領域のセンシングデータを取捨選択する例で説明したが、本発明はこれに限定されない。対象物２０２の検出以外にも、ＧＵＩ（Graphical User Interface）などにより、ユーザがより詳細に情報を得たいセンサやセンシング領域を指定し、その指定に追従して、重複センシング領域の情報を自動的に取捨選択するようにしてもよい。

また、本実施の形態では、さらに、複数の画像センサ１０１が音声の録音および送信機能つき、または別マイクなどでセンシング領域の音声を録音・送信できるような場合には、画像データのみならず、音声データを組み合わせて制御することにより、よりきめ細かいマルチセンサ制御が可能となる。例えば対象物２０２が検出されている場所で映像データを蓄積するとともに音声の録音を開始するような制御を行うことも可能である。また、重複センシング領域について、対象物２０２が検知されているが映像データを蓄積することがデータ容量的に困難な場合には、音声データのみを蓄積するなどしてもよい。

（実施の形態２）
上述した実施の形態１の画像センシングシステムでは、複数の画像センサ１０１により重複してセンシングされている領域のセンシングデータを読み出すスケジュールを、センシング領域内での対象物２０２の有無や位置に応じて変更することにより、センシング対象領域全体の情報および対象物２０２の情報を確保しながら、蓄積データ量を削減する画像センシング装置について説明した。実施の形態２の画像センシングシステムは、部分センシング領域ごとのデータ読み出しスケジュールを変更するだけでなく、さらに読み出しデータ量の合計が所定の目標値となるように、部分センシング領域ごとに、読み出すデータの詳細度も制御するように考慮したものである。具体的には、各部分センシング領域を複数の詳細度でセンシングし、かつ複数の部分センシング領域から読み出す合計データ量が所定の目標値となるように、前記複数の詳細度を複数の目標詳細度に近づけるよう制御するものである。

まず、図７を用いて実施の形態２の画像センシングシステムにおける複数の詳細度を説明する。図７に示すように、部分センシング領域２０１（例えば図２におけるＲ^１〜Ｒ^９）の全体を所定の詳細度でセンシングする領域を部分センシング領域全体フレームと呼ぶ（部分センシング領域全体フレーム７０１）。前記所定の詳細度を部分センシング領域全体フレーム詳細度と呼び、より具体的には、部分センシング領域全体フレーム画素７０３の水平方向の画素数である部分センシング領域全体フレーム水平解像度および垂直方向の画素数である部分センシング領域全体フレーム垂直解像度である。

また、部分センシング領域２０１内の一部領域を所定の詳細度でセンシングする領域を部分センシング領域局所フレームと呼ぶ（部分センシング領域局所フレーム７０２）。また、前記所定の詳細度を部分センシング領域局所フレーム詳細度と呼び、より具体的には、部分センシング領域局所フレーム画素７０４の水平方向の画素数である部分センシング領域局所フレーム水平解像度および垂直方向の画素数である部分センシング領域局所フレーム垂直解像度である。部分センシング領域局所フレーム７０２は対象物２０２などを詳細にセンシングするために用いられる。

次に、図８および図２を用いて、実施の形態２の画像センシング装置の概要を説明する。実施の形態２の画像センシング装置では、前記部分センシング領域全体フレーム詳細度および前記部分センシング領域局所フレーム詳細度を調整することにより、各部分センシング領域における、部分センシング領域全体フレーム７０１および部分センシング領域局所フレーム７０２による読み出しデータ量を、各部分センシング領域ごとに設定されたそれぞれの目標データ量（部分センシング領域全体フレーム目標データ量８０１および部分センシング領域局所フレーム目標データ量８０２）に近づけ、かつ、図２に示すような部分センシング領域の隣接関係を参照し、各部分センシング領域の部分センシング領域全体フレーム７０１による読み出しデータ量と、前記部分センシング領域と隣接する部分センシング領域の部分センシング領域全体フレーム７０１による読み出しデータ量との差分を少なくしながら、これと同時に、全部分センシング領域において読み出す合計データ量を所定の目標となる合計データ量（目標合計データ量８０３）に近づけるよう制御する。このとき、対象物２０２を含む部分センシング領域の部分センシング領域全体フレーム目標データ量８０１および部分センシング領域局所フレーム目標データ量８０２の値を、対象物２０２を含まない部分センシング領域全体フレーム目標データ量８０１の値より大きく設定しておくなどにより、図８に示すように、対象物自身および対象物２０２の周辺情報（Ｒ^１、Ｒ^２）を対象物２０２がいない領域（Ｒ^８、Ｒ^９など）より優先的に確保することができる。

すなわち、実施の形態２の画像センシング装置は、各部分センシング領域のデータ読み出しスケジュールだけでなく、センシングする詳細度も制御することにより、読み出しデータ量を目標値に近づけるよう削減しながら、対象物自身およびそのごく近傍全体の情報量を最優先に確保すると同時に、複数の画像センサ１０１による対象物周辺領域全体の情報をも対象物２０２を含まない画像センサ１０１に比べて優先的に確保して、複数の画像センサ１０１の映像を蓄積できるよう考慮したものである。

図９は、実施の形態２の画像センシングシステムの概略構成を示すブロック図である。図９において、図１と共通の構成要素には図１と同一の符号を付している。図９の画像センシング装置９００では、図１の蓄積データ選択部１０６に代えて、詳細度可変蓄積データ選択部９０１を備え、さらに目標データ量設定記憶部９０２、部分センシング領域多重詳細度記憶部９０３および部分センシング領域多重詳細度算出部９０４を備える。

詳細度可変蓄積データ選択部９０１は、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュールおよび部分センシング領域別イベント検出部１０４による対象物２０２の検知結果に基づき、部分センシング領域記憶部１０３に記憶されている部分センシング領域２０１ごとに、部分センシング領域多重詳細度記憶部９０３に記憶されている詳細度に基づき、センシングデータをフレームメモリ１０２から読み出してセンシングデータ蓄積部１０７に蓄積する。この際、フレームメモリ１０２からセンシングデータを読み出す前に、読み出すセンシングデータの詳細度を算出するため、部分センシング領域多重詳細度算出部９０４を起動する。

目標データ量設定記憶部９０２は、部分センシング領域全体フレーム目標データ量８０１、部分センシング領域局所フレーム目標データ量８０２および目標合計データ量８０３を、全ての部分センシング領域全体フレームおよび部分センシング領域局所フレームについて設定および記憶する。例えばユーザが設定する場合には、目標データ量設定記憶部９０２の図示しないキーボードなどから入力され記憶される。また、メーカーがあらかじめ設定した所定の部分センシング領域全体フレーム目標データ量８０１および部分センシング局所フレーム目標データ量８０２を記憶しているとしてもよい。

さらには、センシングデータ蓄積部１０７の蓄積容量、フレームメモリ１０２からのデータ読み出し速度、画像センサ１０１の数、部分センシング領域２０１の数、対象物２０２の数などに比例／あるいは反比例して、部分センシング領域全体フレーム目標データ量７０１および部分センシング領域局所フレーム目標データ量７０２を動的に変更してもよい。例えば、前記蓄積容量や前記データ読み出し速度に比例して部分センシング領域全体フレーム目標データ量８０１および部分センシング領域局所フレーム目標データ量８０２を与える、あるいは処理する対象物の数に反比例して部分センシング領域全体フレーム目標データ量８０１および部分センシング領域局所フレーム目標データ量８０２を与えるなどしてもよい。

部分センシング領域多重詳細度記憶部９０３は、部分センシング領域局所フレーム７０２および部分センシング領域局所フレーム詳細度を、対象物２０２が検出された部分センシング領域２０１の撮影を担当する画像センサ１０１全てに対して対象物２０２の数だけ設定し記憶する。また、部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度については、対象物２０２が検出された部分センシング領域２０１については、部分センシング領域２０１の撮影を担当する画像センサ１０１全てに対して設定し、対象物２０２が検出されていない部分センシング領域２０１については、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュールに従って設定する。これらの設定について図８を例に説明する。

部分センシング領域Ｒ^１については、画像センサＣ_１の単独センシング領域であるため、部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度を画像センサＣ_１に対して常に設定し、部分センシング領域局所フレーム７０２および部分センシング領域局所フレーム詳細度については、対象物２０２の数である２つ設定する。また、部分センシング領域Ｒ^２については、画像センサＣ_１およびＣ_２による重複センシング領域であるため、画像センサＣ_１およびＣ_２それぞれに対して、部分センシング領域局所フレーム７０２および部分センシング領域局所フレーム詳細度、部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度を設定する。

さらに、部分センシング領域Ｒ^８については、画像センサＣ_３およびＣ_４による重複センシング領域であるが、対象物２０２が存在しないため、部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度を、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュールに従って、画像センサＣ_３またはＣ_４のいずれかに交互に設定する。

部分センシング領域多重詳細度算出部９０４は、目標データ量設定記憶部９０２で設定された部分センシング領域全体フレーム目標データ量８０１、部分センシング領域局所フレーム目標データ量８０２および目標合計データ量８０３、ならびに、部分センシング領域記憶部１０３に記憶された部分センシング領域の隣接関係に基づいて、部分センシング領域２０１ごとに部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度を算出し、部分センシング領域多重詳細度記憶部９０３に記憶する。

ここで、部分センシング領域記憶部１０３に記憶された部分センシング領域２０１の空間的な隣接関係の例を示す。例えば、図２の例では、部分センシング領域Ｒ^１は部分センシング領域Ｒ^２、Ｒ^４、Ｒ^５と隣接しており、部分センシング領域Ｒ^５は部分センシング領域Ｒ^１〜Ｒ^９と隣接している。

部分センシング領域多重詳細度算出部９０４は、部分センシング領域局所フレーム詳細度により決まる部分センシング領域局所フレームデータ読み出し量と局所フレーム目標データ量８０２との差分、および部分センシング領域全体フレーム詳細度により決まる部分センシング領域全体フレームデータ読み出し量と部分センシング領域全体フレーム目標データ量８０１との差分を少なくし、かつ、部分センシング領域記憶部１０３に記憶されている部分センシング領域２０１の隣接関係を参照し、各部分センシング領域２０１の部分センシング領域全体フレームデータ読み出し量と前記部分センシング領域の周辺部分センシング領域の部分センシング領域全体フレームデータ読み出し量との差分を少なくしながら、同時に全部分センシング領域の部分センシング領域全体フレームデータ読み出し量および部分センシング領域局所フレームデータ読み出し量の総和である全部分センシング領域での合計データ読み出し量と目標合計データ量８０３との差分を少なくするような部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度を算出する。

以上のように構成された実施の形態２の画像センシングシステムの動作を、図１０のフローチャートを用いて説明する。図１０は、図２に示した部分センシング領域２０１の部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度を図８に示した考え方に基づき算出する手順を示すフローチャートである。ここでは図２に示すようなセンシング対象領域２００を、複数の画像センサＣ_ｉ（ｉ＝１,２,・・・,ｎ；ｎは画像センサ１０１の数、ここでは４台）で詳細度を考慮してセンシングする例について説明する。

（ステップＳ１００１:画像 センサＣ_ｉによるセンシングデータの記憶）
各画像センサ１０１は、担当するセンシング領域を所定のフレームレートでセンシングし、センシングデータをフレームメモリ１０２に記憶させる。図２の場合、画像センサＣ_１、Ｃ_２、Ｃ_３、Ｃ_４がセンシングする領域は、それぞれ矩形ＡＣＫＩ、矩形ＢＤＬＪ、矩形ＥＧＯＭ、矩形ＦＨＰＮである。また、図２にＧ_Ｃｉ ^Ｒｋは、部分センシング領域Ｒ^ｋ（ｋ＝１，２，…，ｎ^Ｒ、ｎ^Ｒは部分センシング領域の数）を重複してセンシングしているのノード集合であり、ノード番号ｉの昇順に記憶している（例えば、Ｇ_Ｃｉ ^Ｒ１＝{Ｃ₁}，Ｇ_Ｃｉ ^Ｒ４＝{Ｃ₁,Ｃ₃}，Ｇ_Ｃｉ ^Ｒ５＝{Ｃ₁,Ｃ₂,Ｃ₃,Ｃ₄}）。

（ステップＳ１００２：対象物の有無を検知）
部分センシング領域記憶部１０３に記憶されている部分センシング領域２０１ごとに部分センシング領域別イベント検出部１０４により対象物２０２の有無を検知し、その結果を部分センシング領域別イベント検出部１０４が一時的に記憶する。対象物２０２の検知は、フレームメモリ１０２に時系列に記憶されているセンシングデータを用いて、フレーム間差分やその他の公知の画像処理方法により検出すればよい。なお、フレームメモリ２０１のセンシングデータを利用せずに、赤外線センサなどの検知センサを画像センサ１０１のセンシング領域に対応させて設置することにより、人物などの熱源を感知してもよい。

（ステップＳ１００３：蓄積スケジュールに基づく算出対象とする部分センシング領域全体フレーム詳細度および局所フレーム詳細度の設定）
詳細度可変蓄積データ選択部９０１は、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュール、および部分センシング領域別イベント検出部１０４による対象物２０２の検知結果に基づき、部分センシング領域記憶部１０３に記憶されている部分センシング領域２０１ごとに、算出対象とする部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度、および部分センシング領域局所フレーム７０２および部分センシング領域局所フレーム詳細度を、部分センシング領域多重詳細度記憶部９０３に記憶する。

ここでは、部分センシング領域局所フレーム詳細度および部分センシング領域全体フレーム詳細度を表すパラメータである部分センシング領域全体フレーム水平解像度および部分センシング領域全体フレーム垂直解像度、また部分センシング領域局所フレーム水平解像度および部分センシング領域局所フレーム垂直解像度を、部分センシング領域多重詳細度記憶部９０３に記憶する。但し、部分センシング領域全体フレームや部分センシング領域局所フレームの水平解像度対垂直解像度のアスペクト比が分かれば、どちらか一方のパラメータのみを記憶するだけでよい。ここでは、部分センシング領域Ｒ^ｋの部分センシング領域全体フレーム水平解像度をｗ_k,i ^Ｆとし、部分センシング領域局所フレーム水平解像度をｗ_k,h,i ^Ｈとする。但し、（ｈ＝１,２,・・・,ｍ）、ｍは部分センシング領域局所フレームの数である。また以後、部分センシング領域Ｒ^ｋのアスペクト比をa_k,i：b_k,iとして説明する。

部分センシング領域局所フレーム７０２の詳細度は、対象物２０２が検出された部分センシング領域２０１の撮影を担当する画像センサ１０１の全てに対して対象物２０２の数だけ設定し記憶する。また、部分センシング領域全体フレーム７０１の詳細度については、対象物２０２が検出された部分センシング領域２０１については、部分センシング領域２０１の撮影を担当する画像センサ１０１の全てに対して設定し、対象物２０２が検出されていない部分センシング領域２０１については、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュールに従って設定する。この設定について図８を例に説明する。部分センシング領域Ｒ^１については、画像センサＣ_１の単独センシング領域であるため、部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度を画像センサＣ_１に対して常に設定し、部分センシング領域局所フレーム７０２および部分センシング領域局所フレーム詳細度については、対象物２０２の数である２つ設定する。

また、部分センシング領域Ｒ^２については、画像センサＣ_１およびＣ_２による重複センシング領域であるため、画像センサＣ_１およびＣ_２それぞれに対して、部分センシング領域局所フレーム７０２および部分センシング領域局所フレーム詳細度、部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度を設定する。

さらに、部分センシング領域Ｒ^８については、画像センサＣ_３およびＣ_４による重複センシング領域であるが、対象物２０２が存在しないため、部分センシング領域全体フレーム７０１および部分センシング領域全体フレーム詳細度を、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュールに従って、画像センサＣ_３或いはＣ_４のいずれかに交互に設定する。

（ステップＳ１００４:目標データ量の設定）
目標データ量設定記憶部９０２により、部分センシング領域全体フレーム目標データ量８０１、部分センシング領域局所フレーム目標データ量８０２および目標合計データ量８０３を、全ての部分センシング領域全体フレームおよび部分センシング領域局所フレームについて設定および記憶する。

図１１に部分センシング領域全体フレーム目標データ量８０１および部分センシング領域局所フレーム目標データ量８０２の具体的な設定例を示す。図１１において、各部分センシング領域２０１全体のデータ量を１とすると、部分センシング領域全体フレーム目標データ量８０１は、例えば１／４などと表すことができる。実際には、画像センサ１０１のデータが１６００×１２００（水平解像度×垂直解像度）画素のデータ量であるとすると、部分センシング領域１つのデータ量は８００×６００画素であり、例えばその１／２の４００×６００画素や１／４の４００×３００画素のデータ量を部分センシング領域全体フレーム目標データ量として与える。

図１１の例では、対象物２０２が存在する周辺の情報量をより確保するため、対象物２０２が存在する部分センシング領域の部分センシング領域全体フレーム目標データ量８０１を対象物２０２が存在しない部分センシング領域の部分センシング領域全体フレーム目標データ量８０１より高く設定している。また部分センシング領域局所フレーム目標データ量８０２については、対象物２０２の領域を包含するように部分センシング領域局所フレーム７０２を与えるが、想定する大きさの対象物２０２の領域の８０％（０．８倍）のデータ量などと設定すればよい。

あるいは、例えば１２０％（１．２倍）のデータ量を指定し、対象物２０２の近傍領域の詳細情報をさらに確保するようにしてもよい。具体的な値としては、部分センシング領域全体フレーム目標データ量８０１については、移動する対象物２０２などを検出するのに最低限必要なデータ量を、例えば３２０×２４０画素や１６０×１２０画素などと与えればよい。

また、部分センシング領域局所フレーム目標データ量８０２については、その画像データを人間が見たときに誰かを識別できるようなデータ量、または、顔認証装置などで必要となるデータ量等などアプリケーションに応じて、例えば２５６×２５６画素や１２８×１２８画素を与えればよい。このようにして設定する部分センシング領域全体フレーム目標データ量８０１および部分センシング領域局所フレーム目標データ量８０２はあくまで目標値であって、実際にフレームメモリ１０２から読み出すデータ量は、部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度によって決まる。

部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度は、以下で説明するステップＳ１００５によって、全部分センシング領域からの読み出しデータ量の合計の目標値である目標合計データ量８０３の値に近い値になるように、対象物２０２の数の増減にも対応して部分センシング領域多重詳細度算出部９０４によって算出される。目標合計データ量８０３については、センシングデータ蓄積部１０７の蓄積容量や蓄積可能データ転送レート、フレームメモリ１０２からの読み出し速度、本発明を監視装置として利用する際に、イメージデータをモニタで監視するために最低限必要なデータ量、先に述べた移動する対象物の検出や顔の認識などに最低限必要なデータ量などを考慮して設定する。

例えば、図１１では、部分センシング領域が全体フレーム目標データ量８０１、部分センシング領域局所フレーム目標データ量８０２を達成したときの全部分センシング領域から読み出される合計データ量は、部分センシング領域２０１の全体データの約３.５個分になるが（部分センシング領域Ｒ^４は画像センサＣ_１およびＣ_２の重複センシング領域であって対象物２０２が存在するため、画像センサＣ_１およびＣ_２それぞれに部分センシング領域全体フレームおよび部分センシング領域局所フレームが割り当てられるため）、目標合計データ量８０３を部分センシング領域２０１の１つ分とすれば、その制約を満たすように、以下で説明するステップＳ１００５により、部分センシング領域多重詳細度算出部９０４が、各部分センシング領域における部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度を算出する。

（ステップＳ１００５:部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度の算出）
詳細度可変蓄積データ選択部９０１は、ステップＳ１００３およびＳ１００４の完了後、部分センシング領域多重詳細度算出部９０４を起動する。部分センシング領域多重詳細度算出部９０４は、目標データ量設定記憶部９０２で設定された部分センシング領域全体フレーム目標データ量８０１、部分センシング領域局所フレーム目標データ量８０２および目標合計データ量８０３、ならびに、部分センシング領域記憶部１０３に記憶された部分センシング領域の隣接関係に基づいて、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュールに基づいて部分センシング領域２０１ごとに設定された、部分センシング領域全体フレーム詳細度および部分センシング領域局所フレーム詳細度を、以下の（式２）を極小にする部分センシング領域全体フレーム水平解像度ｗ_k,i ^Ｆおよび部分センシング領域局所フレーム水平解像度ｗ_k,h,i ^Ｈとして算出する。但し、部分センシング領域Ｒ^ｋでの各画像センサＣ_ｉのアスペクト比はa_k,i：b_k,iとする。（式２）においてα₁、α₂、β、γ、εはそれぞれの第１項から第５項の重み係数であり、５つの項のトレードオフを制御する。

（式２）の第１項および第２項は、それぞれ部分センシング領域Ｒ^ｋ内に対象物２０２が検出され部分センシング領域局所フレームが設定されている画像センサＣ_ｉの全体フレーム目標データ量Ｆ_k,i ^Ｍと部分センシング領域全体フレーム水平解像度がｗ_k,i ^Ｆのときの部分センシング領域全体フレームデータ量の差分を少なくすること、および部分センシング領域局所フレームが設定されていない画像センサＣ_ｊの部分センシング領域全体フレーム目標データ量Ｆ_k,j ^ＮＭと部分センシング領域全体フレーム水平解像度がｗ_k,j ^Ｆのときの部分センシング領域全体フレームデータ量の差分を少なくすることを表している。このとき、Ｆ_k,i ^Ｍの値をＦ_k,j ^ＮＭより大きくする、またα₁の値をα₂より大きくすることにより、対象物２０２が含まれているセンシング領域の部分センシング領域全体フレームの詳細度をより上げて、より多くの情報量を確保することができる。Ｆ_k,i ^Ｍは、部分センシング領域全体のデータ量にすることが望ましいが、目標合計データ量８０３の制限が大きく、部分センシング領域局所フレームデータ量、すなわち対象物領域の詳細データ確保を重視する場合には、実際のフレームの大きさの１／４、１／１６それ以下など、よりデータ量を削減した目標値を設定する。

（式２）の第３項は、互いに隣接する部分センシング領域で発生する部分センシング領域全体フレームのデータ量の差分を少なくすることを表している。すなわち近隣のセンシング領域における全体フレームの解像度を均一にすることを表している。これにより、対象物２０２が存在している周辺をセンシングしている画像センサ１０１からの読み出しデータ量を相対的に高くし、対象物２０２が存在しない領域周辺をセンシングしている画像センサ１０１の読み出しデータ量を相対的に低くすることになり、対象物２０２が存在しているより広い周辺領域の情報をより確保することができる。ここで、（式２）においてＳ_ｐは部分センシング領域Ｒ^pと隣接する部分センシング領域の集合を表す。また、撮影領域の隣接関係は、センサの撮影領域の空間的な隣接を表すもので、例えば一定の距離範囲にあるものを隣接領域としてもよいし、あるいは距離としては離れているが、廊下の両端などのようにトポロジー的に隣接するものを指定してもよいし、ユーザが任意に設定してもよい。

（式２）の第４項は、部分センシング領域局所フレーム目標データ量Ｈ_ｈと部分センシング領域局所フレーム水平解像度がｗ_k,h,i ^Ｈのときの部分センシング領域局所フレームのデータ量との差分を少なくすることを表している。γの値を他の重み係数に比べて大きくすることで、対象物自身の情報を最も確保することができ、例えば局所フレームの面積に等しい解像度を確保する、さらには対象物の面積以上のデータ量を部分センシング領域局所フレーム目標データ量に設定することで、対象物２０２の近傍詳細情報まで高い解像度で情報を確保することができる。

部分センシング領域局所フレームは、対象物２０２の情報量確保だけでなく、静的に重要なセンシング領域内の特定の領域などにも手動で設定できる。対象物２０２の情報確保の場合、対象物２０２の大きさなどを基準に設定する。基準の大きさに対して、例えば２．０倍など１．０倍以上の目標値を設定する場合は、対象物２０２の領域のデータを全て確保した上で、その周辺領域の情報も取得することになる（図１１の部分センシング領域局所フレーム目標データ量８０２参照）。データ量の抑制が大きい場合には、０．５など、１．０未満の目標値を設定する場合は、検出されている対象物２０２の大きさに対して間引いた情報になる。

（式２）の第５項は、目標合計データ量Ｄ^TOTALと全部分センシング領域での読み出しデータ量の合計との差分を少なくすることを表している。目標合計データ量Ｄ^TOTALは、複数の画像センサ１０１の画像データを蓄積するレコーダの容量やデータ転送レートなどを考慮して与える。

（式２）を極小化する部分センシング領域全体フレーム水平解像度ｗ_k,i ^Ｆ、部分センシング領域局所フレーム水平解像度ｗ_k,h,i ^Ｈの算出は、単純には、部分センシング領域の水平画素数が８００であるとすれば、部分センシング領域全体フレーム水平解像度ｗ_k,i ^Ｆについては０から８００の整数値、部分センシング領域局所フレーム水平解像度ｗ_k,h,i ^Ｒについては０から２５６などの整数値をとるとして、ｎ個の部分センシング領域全体フレームおよびｍ個の局所フレームについて全ての部分センシング領域全体フレーム水平解像度および部分センシング領域局所フレーム水平解像度の組み合わせに対して（式２）を計算し、その値が最小となるｗ_k.i ^Ｆおよびｗ_k,h,i ^Ｒの組み合わせを選択すればよい。

ここで、これがフレームレートの最適化など、とりうる整数値が０から３０など少ない範囲であれば、このように全ての組み合わせに対して最小値を求めるという算出法でもよく、また、監視システムの設計時などでその最適化計算に十分な時間が取れる場合は特に問題はない。しかし、多数の画像センサ１０１の広い範囲の画像データを短時間で読み出すような場合には、各部分センシング領域全体フレーム水平解像度ｗ_k.i ^Ｆの算出を、自身の全体フレーム目標データ量Ｆ_k,i ^Ｍ、自身のセンシング領域内にある部分センシング領域局所フレーム水平解像度ｗ_k,h,i ^Ｈ、自身の部分センシング領域に隣接した部分センシング領域全体フレーム水平解像度および部分センシング領域局所フレーム水平解像度、目標合計データ量Ｄ^TOTALのみを考慮して、（式２）の部分センシング領域全体フレーム水平解像度ｗ_k.i ^Ｆを連続値とみなし、（式３）に示す（式２）をｗ_k.i ^Ｆで偏微分した勾配に基づいて、乱数などにより設定した適当なｗ_k.i ^Ｆの初期値を、適当なステップ幅（例えば０．００１など）で逐次更新することによって、（式２）を満たすｗ_k.i ^Ｆの近似解を高速に得ることができる。

部分センシング領域局所フレームが設定されていない部分センシング領域全体フレーム水平解像度ｗ_k,j ^Ｆ、および部分センシング領域局所フレーム水平解像度ｗ_k,h,i ^Ｈもそれぞれ、（式４）および（式５）に示す勾配に基づいて算出することができる。

図１２に目標合計データ量Ｄ^TOTALを２とした場合（部分センシング領域１つ分のデータ量を１とした場合）の部分センシング領域全体フレーム、部分センシング領域局所フレームのデータ量の一例を示す。

（ステップＳ１００６:詳細度に基づくデータ蓄積）
詳細度可変蓄積データ選択部９０１は、部分センシング領域データ蓄積スケジュール記憶部１０５に記憶されている蓄積スケジュール、部分センシング領域記憶部１０３に記憶されている部分センシング領域２０１ごとに、部分センシング領域多重詳細度記憶部９０３に記憶されている詳細度に基づき、センシングデータをフレームメモリ１０２から読み出して、センシングデータ蓄積部１０７に蓄積する。

以上説明したように、実施の形態２の画像センシングシステムによれば、各部分センシング領域のデータ読み出しスケジュールだけでなくセンシングする詳細度も制御することにより、読み出しデータ量を目標値に近づけるよう削減しながら、対象物自身およびそのごく近傍全体の情報量を最優先に確保すると同時に、複数の画像センサ１０１による対象物２０２周辺領域全体の情報をも対象物２０２を含まない画像センサ１０１に比べて優先的に確保することにより、複数の画像センサ１０１の映像を効率的に蓄積できる。

なお、実施の形態２では、対象物２０２を検出して対象物自身の領域およびその周辺領域の詳細度を高く、その領域から離れた領域の詳細度を低くする例で説明したが、本発明はこれに限定されない。対象物２０２の検出以外にも、ユーザがより詳細な情報を得たいセンサや領域を指定したり、ユーザが直接任意の部分センシング領域の詳細度を操作したりした内容に追従して、隣接領域の詳細度を自動的に調整するとしてもよい。このようにすれば、ユーザが複数の部分センシング領域の詳細度を直接操作する必要がなく、興味のある領域周辺の情報量を簡単に確保できる、使い勝手の良い監視システムを実現できることはいうまでもない。ユーザによるセンサや領域、詳細度を指定する操作はＧＵＩなどを通してユーザが直接入力してもよい。

また、実施の形態２では、画像センシング装置９００が複数の画像センサ１０１を集中的に制御する例で説明したが、各画像センサ１０１に画像センシング装置９００を内蔵し、直接ネットワークを介して画像センサ１０１同士が直接センシング領域の情報を送受信して隣接撮影領域を特定し、対象物や異常の検出状態に応じて、各自の部分センシング領域の詳細度を算出および制御できることはいうまでもなく、画像センサ１０１の駆動消費電力の削減効果や転送データ量の削減効果があり、さらに集中管理方式に比べて、より多数の画像センサ１０１を自律的に制御することができ、また対象物追従などの時間遅れが減少するなど即応性が高まるという効果が得られる。

本発明は、複数の画像センサを用いた遠隔監視システムに適用が可能であり、特に画像データの転送レートや蓄積データ容量が限られた環境で、対象物が検出された撮影領域を優先しながら監視対象領域全体を同時に監視する装置や監視映像を蓄積する装置への適用が可能である。

本発明の実施の形態１に係る画像センシングシステムの概略構成を示すブロック図 本発明の実施の形態１に係る画像センシングシステムにおけるセンシング領域の一例を示す図 本発明の実施の形態１に係る画像センシングシステムの動作を表すフローチャート 本発明の実施の形態１に係る画像センシングシステムにおけるデータ削減スケジュールの一例を示す図 本発明の実施の形態１に係る画像センシングシステムにおけるセンシング領域内の対象物の移動経路の一例を示す図 本発明の実施の形態１に係る画像センシングシステムにおける対象物優先スケジュールの一例を示す図 本発明の実施の形態２に係る画像センシングシステムにおける複数の詳細度を説明する図 本発明の実施の形態２に係る画像センシングシステムの処理の概念を示す図 本発明の実施の形態２に係る画像センシングシステムの概略構成を示すブロック図 本発明の実施の形態２に係る画像センシングシステムの動作を表すフローチャート 本発明の実施の形態２に係る画像センシングシステムにおける目標データ量の設定の一例を示す図 本発明の実施の形態２に係る画像センシングシステムにおける部分センシング領域全体フレーム詳細度および局所フレーム詳細度の算出結果の一例を示す図

符号の説明

１００ 画像センシング装置
１０１ 画像センサ
１０２ フレームメモリ
１０３ 部分センシング領域記憶部
１０４ 部分センシング領域別イベント検出部
１０５ 部分センシング領域データ蓄積スケジュール記憶部
１０６ 蓄積データ選択部
１０７ センシングデータ蓄積部
２０２ 対象物
９００ 画像センシング装置
９０１ 詳細度可変蓄積データ選択部
９０２ 目標データ量設定記憶部
９０３ 部分センシング領域多重詳細度記憶部
９０４ 部分センシング領域多重詳細度算出部

Claims (9)

1. 複数の画像センサの動作を制御する画像センシング装置であって、
   複数の画像センサにより重複してセンシングされる重複センシング領域において前記重複センシング領域内に対象物を検知した場合は、前記重複センシング領域をセンシングする前記複数の画像センサの全てについて前記重複センシング領域に対する画像データを読み出し、前記重複センシング領域内に対象物が存在しない場合は、前記複数の画像センサのうち少なくとも１つの画像センサを選択して前記重複センシング領域に対して前記選択した画像センサの画像データを読み出し、また、前記複数の画像センサが各々単独でセンシングしている単独センシング領域の画像データは常時読み出すように複数の画像センサを制御する画像センシング手段を備える画像センシング装置。
2. 前記画像センシング手段は、前記重複センシング領域内に対象物が存在しない場合における少なくとも１つの画像センサの選択を所定の時間間隔ごとに行う請求項１に記載の画像センシング装置。
3. 前記画像センシング手段は、前記重複センシング領域または前記単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように前記第１および第２の詳細度を制御する請求項１または請求項２に記載の画像センシング装置。
4. 複数の画像センサと、
   前記画像センサのセンシングデータを蓄積するためのセンシングデータ蓄積手段と、
   請求項１乃至請求項３のいずれかに記載の画像センシング装置とを備え、
   前記画像センシング装置の前記画像センシング手段は、前記複数の画像センサそれぞれのセンシングデータを前記センシングデータ蓄積手段に蓄積する画像センシングシステム。
5. 前記画像センシング手段は、前記重複センシング領域または前記単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように前記第１および第２の詳細度を算出し、算出した前記詳細度に基づき、センシングデータを前記センシングデータ蓄積手段に蓄積する請求項４に記載の画像センシングシステム。
6. 複数の画像センサの動作を制御する画像センシング方法であって、
   前記複数の画像センサにより重複してセンシングされる重複センシング領域において前記重複センシング領域内に対象物を検知した場合は、前記重複センシング領域をセンシングする前記複数の画像センサ全てについて前記重複センシング領域に対する画像データを読み出し、前記重複センシング領域内に対象物が存在しない場合は、前記複数の画像センサのうち少なくとも１つの画像センサを選択して、前記重複センシング領域に対して前記選択した画像センサの画像データを読み出し、前記複数の画像センサが各々単独でセンシングしている単独センシング領域の画像データは常時読み出すように複数の画像センサを制御する画像センシング方法。
7. 前記重複センシング領域または単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように、前記第１および第２の詳細度を制御する請求項６に記載の画像センシング方法。
8. 複数の画像センサの動作を制御する画像センシング制御プログラムであって、
   複数の画像センサにより重複してセンシングされる重複センシング領域において前記重複センシング領域内に対象物を検知した場合は、前記重複センシング領域をセンシングする前記複数の画像センサの全てについて前記重複センシング領域に対する画像データを読み出し、前記重複センシング領域内に対象物が存在しない場合は、前記複数の画像センサのうち少なくとも１つの画像センサを選択して、前記重複センシング領域に対して前記選択した画像センサの画像データを読み出し、前記複数の画像センサが各々単独でセンシングしている単独センシング領域の画像データは常時読み出すように複数の画像センサを制御するステップを備え、コンピュータに前記画像センシングステップを実行させる画像センシング制御プログラム。
9. 前記複数の画像センサによりセンシングされる前記重複センシング領域または単独センシング領域の全体をセンシングする際の第１の詳細度および前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部をセンシングする際の第２の詳細度をそれぞれ第１の目標詳細度および第２の目標詳細度に近づけ、前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域の周辺領域をセンシングするセンサの前記第１の詳細度を前記重複センシング領域および前記単独センシング領域のうち少なくとも１つのセンシング領域内の一部が前記第２の詳細度によりセンシングされているセンシング領域をセンシングするセンサの前記第１の詳細度に近づけ、前記複数のセンシング領域からの単位時間当たりの読み出しデータ量の合計が所定の目標値となるように、前記第１および第２の詳細度を制御するステップを備える請求項８に記載の画像センシング制御プログラム。

Images