以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
まず、本発明の実施の形態1について説明する。
本実施の形態は、各カメラ端末のカメラの検出領域を和した領域が所定の検出対象領域をくまなく覆うように各カメラ端末のカメラの検出領域が自動調整される検出領域調整装置に関し、図8から図14を用いて説明する。
図8は、本発明の実施の形態1における検出領域調整装置の構成ブロック図である。この検出領域調整装置は、ネットワーク112で接続された複数のカメラ端末P110A〜Cと、2台の操作端末111Lおよび111Rとから構成されている。
複数のカメラ端末P110A〜Cは、相互に通信し合いながら自律協調的に動作するカメラ端末であり、同一の構成要素(カメラP101、調整部102および通信部103)を備える。カメラP101は同カメラの検出領域の位置である検出領域位置が可変なカメラ、調整部102はカメラP101の検出領域位置を調整する処理部、通信部103はカメラP101の検出領域位置情報を通信する処理部である。
調整部102は、自カメラ端末の検出領域位置情報と通信部103で受信された他のカメラ端末の検出領域位置情報とに基づいて、複数のカメラ端末P110A〜Cの検出領域を和した領域が検出対象領域をくまなく覆うように、自カメラ端末のカメラP101を制御して検出領域の位置を調整する。より、詳しくは、調整部102は、自カメラ端末の検出領域と接する周辺の領域において、複数のカメラ端末P110A〜Cの検出領域のいずれにも属さない非検出領域が発生しないように、自カメラ端末の検出領域の位置を調整する。
操作端末111Lおよび操作端末111Rは、ユーザからの指示を取得し、その指示をカメラ端末PR1110A〜Cに通知する端末であり、検出対象位置情報を通信する通信部103を備える。ネットワーク112は、各カメラ端末P110A〜110Cおよび操作端末111Lおよび操作端末111R内の通信部103を介した通信時に利用されるネットワーク回線である。各カメラ端末P110A〜110Cは同ネットワーク112を通じて各カメラ端末P内のカメラP101の検出領域位置情報を通信し、操作端末111Lおよび操作端末111Rは同ネットワーク112を通じて各カメラ端末P110A〜110Cに検出対象領域を通信する。
ここで、領域や同領域の位置を表現するためにお互い直交するXW軸120およびZW軸122を定める。実空間面125は、各カメラ端末P110A〜110Cが存在する実空間上の面、例えば、各カメラ端末P110A〜110Cが天井から下向きに設定させている場合は、床などの面であり、本実施の形態1においては、XW軸120と一致し、各種領域および同領域の位置はこの面を用いて表現する。同実空間面125上において、検出対象領域130は、本発明における検出を対象とする全体の領域であり、その領域の位置をXTLおよびXTRで表現する。検出対象外領域131は、本発明における検出を対象としない領域である。
各カメラP101から放射された破線は、各カメラP101の検出領域の端を示す。検出領域140Aはカメラ端末P110Aの検出領域であり、その領域の位置をXALおよびXARで表現する。検出領域140Bは、カメラ端末P110Bの検出領域であり、その領域の位置をXBLおよびXBRで表現する。検出領域140Cは、カメラ端末P110Cの検出領域であり、その領域の位置をXCLおよびXCRで表現する。重複領域141TAは、カメラ端末P110Aの検出領域である検出領域140Aと検出対象外領域131が重複する領域であり、その領域の大きさを示す量はXTL−XALで表現される。重複領域141ABは、カメラ端末P110Aの検出領域である検出領域140Aとカメラ端末P110Bの検出領域である検出領域140Bが重複する領域であり、その領域の大きさを示す量はXAR−XBLで表現される。重複領域141BCは、カメラ端末P110Bの検出領域である検出領域140Bとカメラ端末P110Cの検出領域である検出領域140Cが重複する領域であり、その領域の大きさを示す量はXBR−XCLで表現される。重複領域141CTは、カメラ端末P110Cの検出領域である検出領域140Cと検出対象外領域131が重複する領域であり、その領域の大きさを示す量はXCR−XTRで表現される。
なお、本図では、説明の便宜上、検出領域および重複領域は、1次元のXW軸120上だけで示されたが、実際には、平面上に検出領域および重複領域が存在する。図9(a)は、本実施の形態の検出領域を2次元で示した図であり、図9(b)は、検出領域が矩形である場合の検出領域(四角形)と重複領域(斜線部)の例を示し、図9(c)は、検出領域が円形である場合の検出領域(円形)と重複領域(斜線部)の例を示す図である。本実施の形態の検出領域調整装置は、後述するように、検出領域が面だけでなく立体である場合にも適用できる装置であるが、処理としては、1次元上の処理を2次元、3次元へと拡張することによって可能となるため、以下では、X軸だけに絞って説明する。
図10(a)は、カメラP101の内部構成を示す図である。カメラP101は、レンズ201、撮像面202、画像処理部203および姿勢制御部204を備える。レンズ201は、像を結像させるためのレンズ、撮像面202は、レンズ201で結像した像を撮影するCCDなどの素子、画像処理部203は、撮像面202で撮影した画像を処理する処理部、姿勢制御部204は、レンズ201および撮像面202の姿勢、または、レンズ201と撮像面202の間隔を制御する処理部である。姿勢制御部204が行う、レンズ201および撮像面202の姿勢の制御とは、一般的にパンやチルトと呼ばれる制御であり、図10(b)に示されるように、レンズ201および撮像面202は連動して、ある点または軸を中心に回転される。また、姿勢制御部204が行う、レンズ201および撮像面202の間隔の制御とは、一般的にズームと呼ばれる制御であり、図10(c)に示されるように、レンズ201および撮像面202の間隔が増減する。
図8を用いて、本発明の実施の形態1における検出領域調整装置の動作を説明する。各カメラ端末P110A〜110Cにおいて、カメラP101は図10(a)に示される内部構成をもつ。カメラP101では、図10(a)に示されるレンズ201により結像した像を撮像面202で画像信号に変換し、画像処理部203において一般的な画像処理技術や画像認識技術などにより、同画像信号から検出対象の検出や情報抽出を行う。このように、カメラP101は実空間に対して、レンズ201および撮像面202の姿勢およびそれぞれの間隔により決定する自身の撮影範囲を検出領域とした、検出対象の検出や情報抽出などの検出動作を行う。検出した検出対象の情報は、図8における調整部102に送られる。なお、上記した一般的な画像処理技術や画像認識技術としては広く知られている背景差分法や動差分法などが挙げられる。
更に、カメラP101では、図10(a)に示される姿勢制御部204が、レンズ201および撮像面202の姿勢、または、レンズ201および撮像面202の間隔を制御することにより、カメラP101の検出領域の位置を、図8における調整部102が指示する検出領域の位置に合わせる。また、姿勢制御部204は、現在のレンズ201および撮像面202の姿勢または間隔から決定する現在のカメラP101の検出領域の位置情報を調整部102に送る。このように、カメラP101の検出領域の位置は、調整部102により制御されると共に、現在のカメラP101の検出領域の位置情報は、調整部102に送られる。なお、現在のレンズ201および撮像面202の姿勢または間隔から決定する現在のカメラP101の検出領域の位置を算出する方法については後述する補足説明1において詳細に説明する。また、レンズ201および撮像面202の姿勢および間隔は、例えばステッピングモータなどを用いれば変化させることが可能であり、また、その現在の姿勢および間隔も読み取り可能である。
調整部102は、カメラP101から送られたカメラP101の検出領域の位置情報を通信部103およびネットワーク112を介して、周期的に他カメラ端末Pの調整部102に送信する。また、調整部102は、他カメラ端末Pの調整部102から周期的に送信される他カメラ端末PのカメラP101の検出領域の位置情報を受信する。さらに、操作端末111Lおよび操作端末111Rにおいて、通信部103は検出対象領域130の位置情報を、ネットワーク112を介して、各カメラ端末P110A〜110Cの調整部102に周期的に送信する。
このため、各カメラ端末P110A〜110Cにおいて、調整部102は自カメラ端末Pおよび他カメラ端末PのカメラP101の検出領域の位置情報および検出対象領域の位置情報を周期的に取得することになり、本実施の形態1においては、各調整部102は、カメラ端末P110Aの検出領域140Aの位置であるXALおよびXAR、カメラ端末P110Bの検出領域140Bの位置であるXBLおよびXBR、カメラ端末P110Cの検出領域140Cの位置であるXCLおよびXCR、検出対象領域130の位置であるXTLおよびXTRを通信部103およびネットワーク112を介して周期的に取得する。
更に、調整部102は、自カメラ端末の検出領域と接する周辺の領域において複数のカメラ端末P110A〜Cの検出領域のいずれにも属さない非検出領域が発生しないようにするために、取得した上記検出領域の位置情報および検出対象領域の位置情報をもとに、図11に示される以下のステップの処理を行う。
まず、自カメラ端末Pおよび他カメラ端末PのカメラP101の検出領域位置を示す情報より、自カメラ端末Pの検出領域に隣接する他カメラ端末Pの検出領域または検出対象外領域を選択する(ステップ301)。この選択方法の一例を、図12を用いて以下に説明する。
図12(a)は、図12(b)に示されるような検出領域が矩形である場合におけるXW軸上での検出領域と重複領域を示す図である。まず、自カメラ端末Pの検出領域の中心位置、および他カメラ端末Pの検出領域の中心位置、および検出対象外領域の中心位置を算出する。そして、自カメラ端末Pの検出領域の中心位置より数値的に小さい中心位置をもつ他カメラの検出領域または検出対象外領域を左隣に隣接する検出領域として選択する。また、自カメラ端末Pの検出領域の中心位置より数値的に大きい中心位置をもつ他カメラの検出領域または検出対象外領域を右隣に隣接する検出領域として選択する。なお、数値的に小さいまたは大きい中心位置をもつ他カメラの検出領域または検出対象外領域が複数存在する場合には、そのうち、自カメラ端末Pの検出領域の中心位置から最も距離的に近い位置に中心位置をもつ領域のほうを選択する。このため、カメラ端末P110Aにおいては、左隣として検出対象外領域131、右隣として検出領域140B、カメラ端末P110Bにおいては、左隣として検出領域140A、右隣として検出領域140C、カメラ端末P110Cにおいては、左隣として検出領域140B、右隣として検出対象外領域131が選択される。なお、上記隣接する領域の選択方法以外にも幾つかの方法が存在する。他方法については後述する補足説明2において説明する。
つぎに、ステップ301で選択した検出領域と自カメラ端末Pの検出領域が重複した領域である重複領域の大きさを示す量を算出する(ステップ302)。この算出方法は、図12に示されるとおり、選択した検出領域位置および自カメラ端末Pの検出領域位置の大小関係により簡単に算出可能である。このため、カメラ端末P110Aにおいては、左隣の重複領域である重複領域141TAの大きさを示す量XTL−XAL、右隣の重複領域である重複領域141ABの大きさを示す量XAR−XBL、カメラ端末P110Bにおいては、左隣の重複領域である重複領域141ABの大きさを示す量XAR−XBL、右隣の重複領域である重複領域141BCの大きさを示す量XBR−XCL、カメラ端末P110Cにおいては、左隣の重複領域である重複領域141BCの大きさを示す量XBR−XCL、右隣の重複領域である重複領域141CTの大きさを示す量XCR−XTRが算出される。
つぎに、ステップ302で算出した重複領域の大きさを示す量を、一定の量Cに近づくように自カメラ端末Pの検出領域位置を調整する(ステップ303)。この調整方法を以下に説明する。まず、重複領域の大きさを示す量と0または0以上の一定量Cとの差を示す量として関数UP()を定める。本実施の形態1では、以下の式1から式3に示されるように、各カメラ端末P110A〜110Cについて、同関数とする。
上記式1から式3は、それぞれ、カメラ端末P110A〜110Cに対するものであり、重複領域の大きさを示す量と一定量Cとの差の2乗値を、それぞれの差を示す量としている。つぎに、以下の式4から式6に示されるように、一般に知られている最急降下法の式を用いて、自カメラ端末Pの次回の検出領域位置を算出する。
上記式4から式6において、X'AL、X'AR、X'BL、X'BR、X'CL、X'CRは、それぞれ、各カメラ端末P110A〜110Cの次回の検出領域位置を示し、αは定数である。最後に同次回の検出領域位置にカメラP101の検出領域位置を調整する。
なお、上記手法では、自カメラ端末Pの検出領域位置であるXALおよびXARがそれぞれ独立に調整可能である必要がある。XBLおよびXBR、XCLおよびXCRについても同様である。一般的なカメラは、図10(a)や後述する補足説明1に記載するように、これらを独立に調整することは難しい。このように、それぞれ独立に調整することが不可能である場合は、関数UP()を以下の式7から式9に示されるものとし、以下の式10から式12に示される最急降下法の式を用いれば上記調整と同様な調整が行えることができる。
調整部102は、ステップ301、ステップ302、ステップ303の処理を順次行い、ステップ303の処理終了後にステップ301の処理に戻る。そして、調整部102は、絶えずステップ301からステップ303の処理を繰り返しながら、カメラP101の検出範囲を調整する。
本発明の実施の形態1における検出領域調整装置の動作は以上のとおりであり、ステップ303において重複領域の大きさを示す量を0または0以上の一定量Cに近づくよう最急降下法の式を用いて自カメラ端末Pの次回の検出領域位置を算出し、同次回の検出領域位置にカメラP101の検出領域位置を調整するため、各カメラ端末P110A〜110Cの検出領域である検出領域140Aおよび検出領域140Bおよび検出領域140Cおよび検出対象外領域はお互い、ステップ301からステップ303の処理を繰り返すことにより、0または0以上の一定量Cの大きさで重複することになる。図8に示されるように、検出対象外領域を含め、各カメラ端末P110A〜110C検出領域がそれぞれ0または0以上の一定量Cの大きさで重複することとなり、検出対象領域130が各カメラ端末P110A〜110C検出領域の和した領域に包括されるので、本発明の検出領域調整装置は、各カメラ端末P110A〜110Cを用いて検出対象領域130を死角なく検出することができる。
また、調整部102が、ステップ301からステップ303の処理を繰り返すことにより、検出対象領域130を死角なく検出するという効果が奏される。この繰り返し行われる処理のステップ302およびステップ303の処理は、ステップ301において選択した自カメラ端末Pの検出領域に隣接する他カメラPの検出領域に対して行われる。
このため、各時刻において自カメラ端末Pの検出領域に隣接する他カメラPの検出領域の位置または検出対象領域の位置に変化が生じたとしても、その変化に対応して、検出対象領域130を死角なく検出するという効果を得ることができる。上記検出領域位置または検出対象領域位置に変化が生ずる場合としては、
(1)カメラ端末Pの検出領域位置が変更される、
(2)カメラ端末Pが新設される、
(3)各カメラ端末Pのうち幾つかのカメラ端末Pが取り除かれる、または故障する、
(4)操作端末から送信する検出対象領域位置が変更される、
が挙げられる。これらの変化状況に対する本発明の動作は、後述する補足説明3および補足説明4に記載するが、これら変化により、各カメラ端末Pが送信する検出領域位置や操作端末が送信する検出対象領域位置が変化する、または、送信されない、新たな検出領域位置が送信されたとしても、本発明の検出領域調整装置は、検出領域位置または検出対象領域位置の変化に応じ、各カメラ端末Pを用いて検出対象領域130を死角なく検出することができる。
なお、本実施の形態1では、重複領域の大きさを示す量と0または0以上の一定量Cとの差を示す関数UP()を、上記式1から式3や上記式7から式9に示されるように、重複領域の大きさを示す量と一定量Cとの差の2乗値としたが、図13に示されるように、関数UP()を重複領域の大きさを示す量と一定量Cとの差の4乗値、6乗値、10乗値などのような差の偶数乗値や、関数UP()を重複領域の大きさを示す量と一定量Cとの差の絶対値としても、これら関数UP()はXAL−XTLがCの時において最小値をもつために、ステップ303で行う最急降下法の効果により重複領域の大きさを示す量が一定量Cに近づくので、同様の効果を得られることは言うまでもない。
また、重複領域の大きさを示す量と0または0以上の一定量Cとの差を示す関数UP()が、図14で示すような、XAL−XTLがCの時において最小値ではなく、極小値もつ関数UP()であったとしても、XAL−XTLの変化が可能な範囲においてXAL−XTLがCの時に最小値となる関数UP()であれば、同様の効果を得られることは言うまでもない。
また、本実施の形態1では、図8に示されるように、調整部102が各カメラ端末P110A〜110Cに分散して存在しているが、図15に示される検出領域調整装置のように、調整部102が1つしか存在せず、一つしか存在しない調整部102が、各カメラ端末P110A〜110CのカメラP101の検出領域位置を全て調整するのであれば、同様の効果を得られることは言うまでもない。
また、本実施の形態1では、カメラP101を、一般的なカメラとして取り扱っているが、同カメラP101は可視光または赤外や紫外などの非可視光を検知するカメラであっても、同様の効果を得られることは言うまでもなく、更に、微動センサ、圧力センサ、温度センサ、気圧センサなど、各種物理量を検出する検出領域をもち、かつ、検出領域位置が可変な一般的にセンサであっても、同様の効果を得られることは言うまでもない。たとえば、図16(a)に示されるような指向特性をもったマイクについて、図16(b)に示されるように、一定以上の感度で音を検知できる方向(領域)をセンス領域(検出領域)と定義できるので、本実施の形態におけるカメラのパンおよびチルトと同様にマイクの姿勢を制御することで、本実施の形態におけるカメラに代えて、あるいは、カメラに加えて、複数のマイクから構成される検出領域調整装置を構築することができる。つまり、本発明は、カメラだけでなく、上記の各種センサにも適用することもできる。
また、本実施の形態1では、ネットワーク112を、一般的な通信時に利用されるネットワーク回線として取り扱っているが、同ネットワーク112は有線または無線のネットワークであっても、同様の効果を得られることは言うまでもない。
なお、本実施の形態において、主にX軸上での処理を説明したが、同様の処理をY軸上にも適用することで、平面的に死角領域が発生することを回避している。図17に示されるように、本実施の形態におけるXW軸上の処理(重複領域を0以上にする処理)を、XW軸を一定間隔でY軸方向に移動させながら、繰り返し、いずれのY軸上の位置であっても重複領域が0以上となるように各カメラ端末の検出領域を設定(各カメラ端末ごとに、Y軸方向へのスキャンにおける最大の検出領域に調整)する。これによって、各カメラ端末がいかなる分布で配置されていても、あるいは、検出領域の形状に拘わらず、平面上における死角領域の発生が回避される。このような次元の拡張は、Z軸についても適用することができるのは言うまでもない。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
本実施の形態は、自カメラ端末の検出領域に隣接する他カメラの検出領域の空間分解能に変化が生じたとしても、その変化に対応して、空間解像度が一致した各カメラの撮影画像を取得することが可能になる検出領域調整装置に関する。
図18は、本発明の実施の形態2における検出領域調整装置の構成ブロック図である。この検出領域調整装置は、ネットワーク112で接続された複数のカメラ端末PR1110A〜Cと、2台の操作端末1111Lおよび1111Rとから構成されている。
複数のカメラ端末PR1110A〜Cは、相互に通信し合いながら自律協調的に動作するカメラ端末であり、同一の構成要素(カメラPR1101、調整部1102および通信部1103)を備える。カメラPR1101は、同カメラの検出領域の位置である検出領域位置が可変、かつ、同カメラの検出領域の空間分解能である検出領域空間分解能が可変(例えば、ズーム制御が可能)なカメラ、調整部1102は、カメラPR1101の検出領域位置および検出領域分解能を調整する処理部、通信部1103は、カメラPR1101の検出領域位置情報および検出領域分解能情報を通信する処理部である。
調整部1102は、自カメラ端末の検出領域位置情報および検出領域分解能情報と通信部1103で受信された他のカメラ端末の検出領域位置情報および検出領域分解能情報とに基づいて、複数のカメラ端末PR1110A〜Cの検出領域を和した領域が検出対象領域をくまなく覆い、かつ、複数のカメラ端末PR1110A〜Cの検出領域の空間分解能がほぼ同一となるように、自カメラ端末のカメラを制御して検出領域の位置および空間分解能を調整する。より詳しくは、調整部1102は、自カメラ端末の検出領域と接する周辺の領域において複数のカメラ端末PR1110A〜Cの検出領域のいずれにも属さない非検出領域が発生することなく、かつ、自カメラ端末の検出領域の空間分解能とその検出領域に隣接する他のカメラ端末の検出領域の空間分解能とがほぼ同一となるように、自カメラ端末の検出領域の位置および空間分解能を調整する。
操作端末1111Lおよび操作端末1111Rは、ユーザからの指示を取得し、その指示をカメラ端末PR1110A〜Cに通知する端末であり、検出対象位置情報を通信する通信部1103を備える。ネットワーク1112は各カメラ端末PR1110A〜1110Cおよび操作端末1111Lおよび操作端末1111R内の通信部1103を介した通信時に利用されるネットワーク回線である。各カメラ端末PR1110A〜1110Cは、同ネットワーク1112を通じて各カメラ端末PR内のカメラPR1101の検出領域位置情報および検出領域空間分解能情報を通信し、操作端末1111Lおよび操作端末1111Rは、同ネットワーク1112を通じて各カメラ端末PR1110A〜1110Cに検出対象領域を通信する。
操作端末1111L、操作端末1111R、ネットワーク1112は、それぞれ、本発明の実施の形態1における図8の操作端末111L、操作端末111R、ネットワーク112と同様である。実施の形態1との相違点は、本実施の形態2では、カメラPR1101が検出領域位置のみならず検出領域空間分解能が可変となり、それに伴い、調整部1102および通信部1103が検出領域位置情報のみならず検出領域空間分解能情報も取り扱う点である。なお、空間分解能とは、カメラが撮像した画像における空間的な分解能であり、検出領域の面積を撮像素子の数で除した値に相当する。この空間分解能は、主にカメラのズーム制御によって変化し、検出領域の面積が小さいほど高い値(詳細な画像を取得できる状態)となる。
XW軸1120、ZW軸1122、実空間面1125、検出対象領域1130およびその領域の位置であるXTLおよびXTR、検出対象外領域1131、検出領域1140Aおよびその領域の位置であるXALおよびXAR、検出領域1140Bおよびその領域の位置であるXBLおよびXBR、検出領域1140Cおよびその領域の位置であるXCLおよびXCR、重複領域1141TAおよびその領域の大きさを示す量であるXTL−XAL、重複領域1141ABおよびその領域の大きさを示す量であるXAR−XBL、重複領域1141BCおよびその領域の大きさを示す量であるXBR−XCL、重複領域1141CTおよびその領域の大きさを示す量であるXCR−XTRは図8に示される本発明の実施の形態1と変わりはない。RAはカメラ端末PR1110Aの検出領域空間分解能、RBはカメラ端末PR1110Bの検出領域空間分解能、RCはカメラ端末PR1110Cの検出領域空間分解能を示す。
図19(a)は、カメラPR1101の内部構成を示す図である。カメラPR1101は、レンズ1201、撮像面1202、画像処理部1203および姿勢制御部1204を備える。レンズ1201は、像を結像させるためのレンズ、撮像面1202は、レンズ1201で結像した像を撮影するCCDなどの素子、画像処理部1203は、撮像面1202で撮影した画像を処理する処理部、姿勢制御部1204は、レンズ1201および撮像面1202の姿勢、および、レンズ1201と撮像面1202の間隔を制御する処理部である。
レンズ1201、撮像面1202、画像処理部1203は、それぞれ、本発明の実施の形態1における図10(a)のレンズ201、撮像面202、画像処理部203と同様である。本発明の実施の形態1と形態2の相違点は、図19(a)に示される本実施の形態2では、姿勢制御部1204が、レンズ1201および撮像面1202の姿勢または間隔のどちらかではなく、レンズ1201および撮像面1202の姿勢および間隔を同時に制御する点である。姿勢制御部1204は、図19(b)に示されるように、一般的にパンやチルトと呼ばれる制御であるレンズ1201および撮像面1202の姿勢と、一般的にズームと呼ばれる制御であるレンズ1201および撮像面1202の間隔を同時に制御する。
図18を用いて、本発明の実施の形態2における検出領域調整装置の動作を説明する。各カメラ端末PR1110A〜1110Cにおいて、カメラPR1101は実空間に対しレンズ1201および撮像面1202の姿勢およびそれぞれの間隔により決定する自身の撮影範囲を検出領域とした、検出対象の検出や情報抽出などの検出動作を行う。検出した検出対象の情報は図18における調整部1102に送られる。更に、カメラPR1101では、図19(a)に示される姿勢制御部1204が、レンズ1201および撮像面1202の姿勢、および、レンズ1201および撮像面1202の間隔を制御することにより、カメラPR1101の検出領域の位置を、図18における調整部1102が指示する検出領域の位置に合わせる。また、姿勢制御部1204は、現在のレンズ1201および撮像面1202の姿勢および間隔から決定する現在のカメラPR1101の検出領域の位置情報を調整部1102に送る。
以上の動作は、本発明の実施の形態1におけるカメラ端末P110A〜110Cと同様である。本発明の実施の形態2では、更に、姿勢制御部1204が、レンズ1201および撮像面の間隔を制御することにより、カメラPR1101の検出領域空間分解能を、図18における調整部1102が指示する検出領域空間分解能に合わせる。また、姿勢制御部1204は、現在のレンズ1201および撮像面1202の間隔から決定する現在のカメラPR1101の検出領域の空間分解能を調整部1102に送る。
このように、本発明の実施の形態2では、本発明の実施の形態1と同様に、カメラPR1101の検出領域の位置が調整部1102により制御され、現在のカメラPR1101の検出領域の位置情報が調整部1102に送られる共に、本発明の実施の形態2では更に、カメラPR1101の検出領域の空間分解能が調整部1102により制御され、現在のカメラPR1101の検出領域の空間分解能情報が調整部1102に送られる。
調整部1102は、カメラPR1101から送られたカメラPR1101の検出領域の位置情報および空間分解能情報を通信部1103およびネットワーク1112を介して、周期的に他カメラ端末PRの調整部1102に送信する。また、調整部1102は、他カメラ端末PRの調整部1102から周期的に送信される他カメラ端末PRのカメラPR1101の検出領域の位置情報および空間分解能情報を受信する。さらに、操作端末1111Lおよび操作端末1111Rにおいて、通信部1103は検出対象領域1130の位置情報を、ネットワーク1112を介して、各カメラ端末PR1110A〜1110Cの調整部1102に周期的に送信する。
以上の動作、つまり、各カメラ端末PR1110A〜1110Cおよび操作端末1111Lおよび操作端末1111R間で調整部1102や通信部1103が検出領域の位置情報を送受信する点は、本発明の実施の形態1である。本発明の実施の形態2では更に、各カメラ端末PR1110A〜1110C間で調整部1102や通信部1103が検出領域の空間分解能を送受信している。
このため、各カメラ端末PR1110A〜1110Cにおいて、調整部1102は自カメラ端末Pおよび他カメラ端末PのカメラPR1101の検出領域の位置情報および空間分解能情報、検出対象領域の位置情報を周期的に取得することになり、本発明の実施の形態1と同様に、各調整部1102は、カメラ端末PR1110Aの検出領域1140Aの位置であるXALおよびXAR、カメラ端末PR1110Bの検出領域1140Bの位置であるXBLおよびXBR、カメラ端末PR1110Cの検出領域1140Cの位置であるXCLおよびXCR、検出対象領域1130の位置であるXTLおよびXTRを通信部1103およびネットワーク1112を介して周期的に取得すると共に、本発明の実施の形態2では更に、カメラ端末PR1110Aの検出領域1140Aの空間分解能であるRA、カメラ端末PR1110Bの検出領域1140Bの空間分解能であるRB、カメラ端末PR1110Cの検出領域1140Cの空間分解能であるRCを通信部1103およびネットワーク1112を介して周期的に取得する。
更に、調整部1102は、取得した上記検出領域の位置情報および空間分解能情報、検出対象領域の位置情報をもとに、図20に示される以下のステップの処理を行う。
まず、調整部1102は、自カメラ端末PRおよび他カメラ端末PRのカメラPR1101の検出領域位置を示す情報より、自カメラ端末PRの検出領域に隣接する他カメラ端末PRの検出領域または検出対象外領域を選択する(ステップ1301)。この処理は本発明の実施の形態1と同様である。
つぎに、調整部1102は、ステップ1301で選択した検出領域と自カメラ端末Pの検出領域が重複した領域である重複領域の大きさを示す量を算出する(ステップ1302)。この処理も本発明の実施の形態1と同様である。
つぎに、調整部1102は、ステップ1301で選択した検出領域の空間分解能と自カメラ端末Pの検出領域の空間分解能との差を示す量を算出する(ステップ1303)。これにより、カメラ端末PR1110Aにおいては、自身の検出領域1140Aおよびそれに隣接する検出領域1140Bそれぞれにおける検出領域分解能の差を示す量RA−RB、カメラ端末PR1110Bにおいては、自身の検出領域1140Bおよびそれに隣接する検出領域1140Aそれぞれにおける検出領域分解能の差を示す量RB−RA、自身の検出領域1140Bおよびそれに隣接する検出領域1140Cそれぞれにおける検出領域分解能の差を示す量RB−RC、カメラ端末PR1110Cにおいては、自身の検出領域1140Cおよびそれに隣接する検出領域1140Bそれぞれにおける検出領域分解能の差を示す量RC−RBが算出される。
つぎに、調整部1102は、ステップ1303で算出した重複領域の大きさを示す量が一定量Cに近づくように自カメラ端末PRの検出領域位置を調整する(ステップ1304)。この処理は本発明の実施の形態1と同様である。本発明の実施の形態2では更に、ステップ1303で算出した検出領域空間分解能の差を示す量が0に近づくように自カメラ端末PRの検出領域空間分解能を調整する。この調整方法を以下に説明する。
まず、検出領域空間分解能の差を示す量として関数UR()を定める。本実施の形態2では、以下の式13から式15に示されるものを同関数UR()と定める。
上記式13から式15は、それぞれ、カメラ端末PR1110A〜1110Cに対するものであり、検出領域空間分解能の差を示す量の2乗値を、それぞれの差を示す量としている。つぎに、以下の式16から式18に示されるように、一般に知られている最急降下法の式を用いて、自カメラ端末PRの次回の検出領域空間分解能を算出する。
上記式16から式18において、R'A、R'B、R'Cは、それぞれ、各カメラ端末PR1110A〜1110Cの次回の検出領域空間分解能を示し、αは定数である。最後に同次回の検出領域空間分解能にカメラPR1101の検出領域空間分解能を調整する。
調整部1102は、ステップ1301、ステップ1302、ステップ1303、ステップ1304の処理を順次行い、ステップ1304の処理終了後にステップ1301の処理に戻る。そして、調整部1102では、絶えずステップ1301からステップ1304の処理を繰り返しながら、カメラPR1101の検出領域を調整する。
本発明の実施の形態2における検出領域調整装置の動作は、以上のとおりであり、本発明の実施の形態2での動作は、本発明の実施の形態1での動作を完全に包括しているため、本発明の実施の形態1に示した効果を有することは自明である。本発明の実施の形態2では更に、ステップ1303において検出領域空間分解能の差を示す量が0に近づくよう最急降下法の式を用いて自カメラ端末PRの次回の検出領域空間分解能を算出し、同次回の検出領域空間分解能にカメラPR1101の検出領域空間分解能を調整するため、各カメラ端末PR1110A〜1110Cの検出領域空間分解能はお互いステップ1301からステップ1304の処理を繰り返すことにより、一致することになる。このため、本発明の検出領域調整装置を用いれば、空間解像度が一致した、カメラ端末PR1110A〜1110C内のカメラPR1101で撮影した各画像を取得することが可能になる。また、各カメラ端末PR1110A〜1110Cの検出領域空間分解能が一致するということは、本実施の形態ではカメラ端末PR1110A〜1110Cの各撮像面1202の素子数が同じであることから、各カメラ端末PR1110A〜1110Cが検出を担当している検出領域の面積が同じになることを意味する。
また、調整部1102が、ステップ1301からステップ1304の処理を繰り返すことにより、空間解像度一致した各カメラの撮影画像を取得することが可能になるという効果が奏される。この繰り返し行われる処理のステップ1302およびステップ1304の処理は、ステップ1301において選択した自カメラ端末PRの検出領域に隣接する他カメラPRの検出領域に対して行われる。
このため、各時刻において自カメラ端末PRの検出領域に隣接する他カメラPRの検出領域の空間分解能に変化が生じたとしても、その変化に対応して、空間解像度一致した各カメラの撮影画像を取得することが可能になるという効果が奏される。上記検出領域空間分解能に変化が生ずる場合としては、
(1)カメラ端末PRの検出領域空間分解能が変更される、
(2)カメラ端末PRが新設される、
(3)各カメラ端末PRのうち幾つかのカメラ端末PRが取り除かれる、または故障する、
が挙げられる。これらの変化状況に対する本発明の動作は、後述する補足説明3および補足説明4に記載するが、これら変化により、各カメラ端末PRが送信する検出領域空間分解能情報が変化する、または、送信されない、新たな検出領域空間分解能情報が送信されたとしても、本発明の検出領域調整装置は、検出領域空間分解能に変化に応じ、空間解像度一致した各カメラの撮影画像を取得することが可能となる。
なお、本実施の形態2では、検出領域空間分解能の差を示す関数UR()を、上記式13から式15に示されるように、検出領域空間分解能の差の2乗値としたが、本発明の実施の形態1同様に、関数UR()を検出領域空間分解能の差の4乗値、6乗値、10乗値などのような差の偶数乗値や、関数UR()を検出領域空間分解能の差の絶対値としても、これら関数UR()はRA−RBが0の時において最小値をもつために、ステップ1304で行う最急降下法の効果により検出領域空間分解能の差を示す量が0に近づくので、同様の効果を得られることは言うまでもない。
また、本発明の実施の形態1と同様に、検出領域空間分解能の差を示す関数UR()が、RA−RBが0の時において最小値ではなく、極小値もつ関数UR()であったとしても、RA−RBの変化が可能な範囲においてRA−RBが0の時に最小値となる関数UR()であれば、同様の効果を得られることは言うまでもない。
また、本実施の形態2では、図18に示されるように、調整部1102が各カメラ端末PR1110A〜1110Cに分散して存在しているが、図15に示される構成図のように、調整部1102が1つしか存在せず、同一つしか存在しない調整部1102が、各カメラ端末PR1110A〜1110CのカメラPR1101の検出領域空間分解能を全て調整するのであれば、同様の効果を得られることは言うまでもない。
また、本実施の形態2では、カメラPR1101を、一般的なカメラとして取り扱っているが、同カメラPR1101は可視光または赤外や紫外などの非可視光を検知するカメラであっても、同様の効果を得られることは言うまでもなく、更に、検出領域をもちかつ検出領域空間分解能が可変な一般的なセンサであっても、同様の効果を得られることは言うまでもない。
また、本実施の形態2では、ネットワーク1112を、一般的な通信時に利用されるネットワーク回線として取り扱っているが、同ネットワーク1112は有線または無線のネットワークであっても、同様の効果を得られることは言うまでもない。
また、本実施の形態2では、各カメラ端末は、検出領域が隣接する他のカメラ端末と通信し合うことで、自己の検出領域の空間分解能と他のカメラ端末の検出領域の空間分解能とを一致させるように調整したが、本発明は、この方法だけに限られず、各カメラ端末は、他のカメラ端末と通信し合うことなく、最も高い空間分解能となるように自己の検出領域の空間分解能を固定していてもよい。これによって、結果として、隣接する検出領域が重複領域をもち、かつ、全ての検出領域が最高の空間分解能となるので、本実施の形態の検出領域調整装置によって、最も高い空間分解能(最も詳細な画像を取得できる状態)で、検出対象領域全体がくまなく撮影される。
次に、実施の形態1および実施の形態2で説明した内容を補足すると共に、本発明の具体例について説明する。
(補足説明1)
本補足説明において、実施の形態1および実施の形態2で説明したカメラP101およびカメラPR1101の検出領域の算出方法について詳細に説明する。
図21は、カメラP101およびカメラPR1101の可変な検出領域を説明する図である。図21において、レンズ2101は図10(a)に示されるレンズ201および図19(a)に示されるレンズ1201、撮像面2102は図10(a)に示される撮像面202および図19(a)に示される撮像面1202、カメラ2103は図10(a)に示されるカメラP101および図19(a)に示されるカメラPR1201にあたる。XC軸2104およびYC軸2105およびZC軸2106は、お互い直交し、レンズ2101を原点としたカメラ座標軸系を構成する。カメラ2103は各軸回りに、パン(YC軸2105回り回転)、チルト(XC軸2104回り回転)、ロール(ZC軸2106回り回転)回転する。それぞれの回転角度をΘPC、ΘTC、ΘRCと示す。撮像面2102はレンズ2101よりZC軸2106方向にf離れた距離に存在し、2W×2Hの大きさをもつ。XW軸2107およびYW軸2108およびZW軸2109は、お互い直行し、世界座標軸系を構成する。XW軸2107は図8に示されるXW軸120および図18に示されるXW軸1120、ZW軸2109は図8に示されるZW軸122および図18に示されるZW軸1122にあたる。カメラ2103は世界座標軸系において、(XT,YT,ZT)で示される位置に存在し、同位置を基点として(ΔXTW,ΔYTW,ΔZTW)だけ移動する。
XC軸2104およびYC軸2105およびZC軸2106で構成されるカメラ座標軸系上のある点(XC,YC,ZC)は、以下の式19により、XW軸2107およびYW軸2108およびZW軸2109で構成される世界座標軸上の点(XW,YW,ZW)に変換できる。
上記式19において、M00からM22を要素とする3×3行列値は、カメラ2103の姿勢基準点(カメラ2103の姿勢の回転角度(ΘPC,ΘTC,ΘRC)=(0,0,0))の行列値、R00からR22を要素とする3×3行列値は、カメラ2103の姿勢基準点からの姿勢変位をあらわす行列値、(XTW,YTW,ZTW)は、カメラ2103の位置基準点(カメラ2103の位置の変位(ΔXTW,ΔYTW,ΔZTW)=(0,0,0))の位置、(ΔXTW,ΔYTW,ΔZTW)は、カメラ2103の位置基準点からの位置変位をあらわす。
M00からM22を要素とする3×3行列値や(XTW,YTW,ZTW)は、カメラ2103を姿勢基準点および位置基準点に合わせる、または、現在のカメラ2103の姿勢および位置をそれぞれ姿勢基準点および位置基準点とし、以下の文献1に示されるキャリブレーション方法などを用いることにより算出可能であり、本発明の検出領域調整装置の動作開始前に事前に算出しておく。
R.Tsai. A Versatile Camera Calibration Technique for High−Accuracy 3D Machine Vision Metrology Using Off−the−Shelf TV Cameras and Lenses. IEEE journal of Robotics and Automation, Vol. RA−3, No.4, pp.323−344, 1987
R00からR22を要素とする3×3行列値は、以下の式20に示されるように、カメラ2103の姿勢である回転角度(ΘPC,ΘTC,ΘRC)より算出可能である。
なお、回転角度(ΘPC,ΘTC,ΘRC)は、本発明の実施の形態1および実施の形態2においては、それぞれ、図10(a)に示される姿勢制御部204、図19(a)に示される姿勢制御部1204が読み取る。
カメラ2103の位置基準点からの位置変位である(ΔXTW,ΔYTW,ΔZTW)は、同カメラ2103の位置をステッピングモータなどで変化させる仕組みであれば、同ステッピングモータよりその変位を読み取れる。
撮像面2102上の各点(XPC,YPC,f)は、以下の式21により、ZW=Cである実空間面2110上に投影される。
このため、撮像面4隅の各点(−W,−H,f)、(W,−H,f)、(−W,H,f)、(W,H,f)は、以下の式22によりZW=Cである実空間面2110上に投影される。
このZW=Cである実空間面2110上に投影された撮像面4隅の各点から構成される面がカメラ2103の検出領域である。本発明の実施の形態1および形態2では特に、実空間面2110をZW=0としたため、以下の式23によりカメラ2103の検出領域が算出できる。
なお、図22は、図8および図18と同様の実空間面2210をZW=Cとした場合における本発明の検出領域調整装置の構成ブロック図である。本発明の実施の形態1および形態2においては、実空間面2110をZW=0とした。実空間面2110をZW=Cとした場合であっても上記式22により、カメラ2103の検出領域位置は算出できる。この図22に示されるように、実空間面2210をZW=Cとすれば、ZW=0からZW=Cまで幅をもつ検出対象領域2230においても、各カメラ端末Pを用いて死角なく検出することができる。
以上、カメラP101およびカメラPR1101の検出領域の算出方法について説明したが、上記以外に、レーザーポインタなど、カメラP101およびカメラPR1101が検出可能な信号を送出するデバイスを用いる方法もある。以下にその例を示す。
図23は、レーザーポインタを備えるカメラP2301の内部構成を示す図である。このカメラP2301は、レンズ2301、撮像面2302、画像処理部2303、姿勢制御部2304およびレーザーポインタ2305を備える。レンズ2301は、像を結像されるためのレンズ、撮像面2302は、レンズ2301で結像した像を撮影するCCDなどの素子、画像処理部2303は、撮像面2302で撮影した画像を処理する処理部、姿勢制御部2304は、レンズ2301および撮像面2302およびレーザーポインタ2305の姿勢、および、レンズ2301と撮像面2302の間隔を制御する処理部、レーザーポインタ2305は、レンズ2301および撮像面2302と連動して姿勢制御部2304により姿勢を変化させ、カメラP2301の検出領域の端にレーザーを投射するものである。
レンズ2301、撮像面2302、画像処理部2303は、それぞれ、本発明の実施の形態1における図10(a)のレンズ201、撮像面202、画像処理部203と同様である。本発明の実施の形態1との相違点は、姿勢制御部2304が、レンズ2301および撮像面2302のみならずレーザーポインタ2305の姿勢を制御し、これにより、同レーザーポインタ2305がカメラP2301の検出領域の端にレーザーを投射する点である。
図23に示されるカメラP2301において、レーザーポインタ2305は、同カメラの検出領域の端にレーザーを投射する。投射されたレーザーは、図8に示される実空間面125に当たり、同面に光点が現れる。同光点はカメラP2301の検出領域端を示すものであり、同カメラに隣接する他カメラは同光点を撮影し、画像処理部2303において、一般的な画像処理方法を用いて同光点の位置を抽出する。画像処理部2303において抽出した光点の位置は、カメラ座標系での位置であるが、補足説明1で説明したように、上記式19を用いれば、世界座標軸系での位置を算出することができる。以上のように、図23に示されるカメラP2301を用いれば、検出領域位置を算出することができ、かつ、図8に示されるネットワーク112を用いずとも、自カメラP2301の検出領域位置情報が必要となる、自カメラに隣接する他カメラに検出領域位置情報を伝達することができる。
(補足説明2)
本補足説明において、自カメラ端末Pおよび他カメラ端末PのカメラP101の検出領域位置を示す情報より、自カメラ端末Pの検出領域に隣接する他カメラ端末Pの検出領域または検出対象外領域を選択する方法に関して補足する。
本発明の実施の形態1では検出領域を線である場合を例に挙げて説明した。以下は、検出領域が面や立体である場合を例に挙げて説明する。
図24は、点(X1,Y1)および点(X2,Y2)を通る直線に対し、同直線のどちら側の領域に点(XA,YA)が存在するかを示す図である。点(X1,Y1)および点(X2,Y2)を通る直線は以下の式24であらわすことができる。
そして、同直線に対し領域A側に点(XA,YA)が存在する場合は、以下の式25に示される関係に、同直線に対し領域B側に点(XA,YA)が存在する場合は、以下の式26に示される関係となる。
この関係を用いれば、既知である2点を通る直線のどちら側に判定対象となる点が存在するかが判定できる。既知である2点は自カメラ端末PのカメラP101の検出領域の各頂点とし、判定対象となる点は、他カメラ端末PのカメラP101の検出領域の重心位置などとすれば、他カメラ端末PのカメラP101の検出領域が、自カメラ端末PのカメラP101の検出領域に対し、どちら側に隣接するかを判定できる。
図25(a)および図25(b)は、検出領域が面である場合の例である。図25(c)は、検出領域が立体である場合の例である。
図25(a)において、自カメラ端末PのカメラP101の検出領域の頂点(X1,Y1)および頂点(X3,Y3)を通る直線は、以下の式27、頂点(X2,Y2)および頂点(X4,Y4)を通る直線は、以下の式28で示される。
なお、検出領域の各頂点の位置は、上記式19を用いれば算出できる。また、他カメラ端末PのカメラP101の重心位置は、他カメラ端末PのカメラP101の検出領域の頂点位置がわかれば簡単に算出でき、同重心位置を(XC,YC)とする。上記関係を用いれば、領域A側に重心位置(XC,YC)があれば、つまり、自カメラ端末PのカメラP101に検出領域の領域A側に他カメラ端末PのカメラP101の検出領域が隣接していれば、以下の式29および式31の関係を満たす。
領域B側に重心位置(XC,YC)があれば、つまり、自カメラ端末PのカメラP101に検出領域の領域B側に他カメラ端末PのカメラP101の検出領域が隣接していれば、以下の式29および式32の関係を満たす。
領域C側に重心位置(XC,YC)があれば、つまり、自カメラ端末PのカメラP101に検出領域の領域C側に他カメラ端末PのカメラP101の検出領域が隣接していれば、以下の式30および式32の関係を満たす。
領域D側に重心位置(XC,YC)があれば、つまり、自カメラ端末PのカメラP101に検出領域の領域D側に他カメラ端末PのカメラP101の検出領域が隣接していれば、上記式30および式31の関係を満たす。以上により、検出領域が面においても、自カメラ端末Pおよび他カメラ端末PのカメラP101の検出領域位置を示す情報より、自カメラ端末Pの検出領域に隣接する他カメラ端末Pの検出領域または検出対象外領域を選択することができる。
図25(b)は、図25(a)に対し各頂点の通る直線の引き方を変えたものであり、以上に説明した同様の方法で、自カメラ端末Pおよび他カメラ端末PのカメラP101の検出領域位置を示す情報より、自カメラ端末Pの検出領域に隣接する他カメラ端末Pの検出領域または検出対象外領域を選択することができることは言うまでもない。
また、図25(c)は、検出領域が立体である場合の例であるが、これに関しても、以上に説明した同様の方法で、自カメラ端末Pおよび他カメラ端末PのカメラP101の検出領域位置を示す情報より、自カメラ端末Pの検出領域に隣接する他カメラ端末Pの検出領域または検出対象外領域を選択することができることは言うまでもない。
(補足説明3)
本補足説明において、本発明の実施の形態1および形態2で説明した本発明の検出領域調整装置の操作端末に関していくつか補足する。
本発明の実施の形態1および実施の形態2において、図8における操作端末111Lおよび操作端末111R、図18における操作端末1111Lおよび操作端末1111Rは、通信部103または通信部1103より検出対象領域の位置情報を図8における各カメラ端末P110A〜110C、図18における各カメラ端末P111R0A〜1110Cに送信する機能をもつ。
なお、本発明の実施の形態1および実施の形態2で説明した各カメラ端末の動作および構成であれば、操作端末は必要となるが、各カメラ端末に予め検出対象領域情報が設定するのであれば、操作端末は特に必要ではない。
また、操作端末は、通信部103または通信部1103から構成されているが、同通信部は、各カメラ端末Pまたは各カメラ端末PRにも存在する。各カメラ端末Pまたは各カメラ端末PRに存在する通信部103または通信部1103が、検出対象領域の位置情報を送信すれば、各カメラ端末Pまたは各カメラ端末PRは操作端末の機能を兼ねることになる。この場合、操作端末は特に必要とされない。
また、本発明の実施の形態1および実施の形態2では、各操作端末が検出対象領域の各端位置情報を送信し、各端位置で構成される閉領域を検出対象領域としているが、1台の操作端末が検出対象領域の全ての端位置情報を送信し、各端位置で構成される閉領域を検出対象領域としても本発明の検出領域調整装置の効果が得られることは言うまでもない。さらに、本発明の実施の形態1および実施の形態2では、検出対象領域の2つの端位置情報を2つの操作端末がそれぞれ送信しているが、検出対象領域の端がN個あれば、N個の操作端末がそれぞれの端位置情報を送信してもよい。
また、操作端末が送信する検出対象領域の位置の情報は、本発明の実施の形態1および形態2では、予め定めた一定の値であった。本発明の実施の形態1および形態2で説明したように、本発明の検出領域調整装置は、操作端末から送信する検出対象領域位置が変更される場合であっても、その変更に対応して、検出対象領域を死角なく検出するという効果を得ることができる。このため、操作端末が送信する検出対象領域の位置の情報は、本発明の検出領域調整装置が動作中であっても、時間的に変化する値であってもかまわない。
以上のような補足内容を加味した本発明の検出領域調整装置の動作例を、図26を用いて説明する。図26において、カメラ端末4101は、本発明の実施の形態1および形態2におけるカメラ端末Pまたはカメラ端末PRであり、無線ネットワーク4102を介して他カメラ端末4101および操作端末4105と情報を通信する。車4103は、道路4104を走行する車であり、同車には操作端末4105が備え付けられている。検出領域4106Aおよび検出領域4106Bは、道路4104を走行する車4103の各時刻における検出領域であり、同検出領域は、GPSやジャイロコンパスなどを用いて取得した同車の位置を中心とした一定の大きさをもつ領域であり、操作端末4105から送信される。
このような検出領域調整装置の動作は以下の通りである。道路4104上に複数台設置された本発明の検出領域調整装置のカメラ端末4101は、無線ネットワーク4102を用いて他カメラ端末と通信する。道路4104上を走行する車4103に設置された操作端末4105は、車4103の現在の存在位置を中心とした検出領域位置情報を各カメラ端末4101に無線ネットワーク4102を用いて送信する。これによって、この検出領域調整装置は、時間的に刻々と変化する車4103の位置を中心とした検出領域内を常時死角なく撮影することが可能となる。これら常時死角なく撮影された画像情報は、無線ネットワーク4102を用いて車4103の運転者に提供されることにより、車4103の運転者は車の周囲情報を死角なく取得ことができ、車の安全走行や駐車が支援される。
(補足説明4)
本補足説明において、本発明の実施の形態1および形態2で説明した本発明の検出領域調整装置のカメラ端末Pおよびカメラ端末PRの検出領域の指定方法に関していくつか補足する。
本発明の実施の形態1および形態2において、図8における各カメラ端末P110A〜110C、図18における各カメラ端末P111R0A〜1110Cは、図11および図20に示されるフローチャートの手順をもとに動作を行う。本補足説明では、各カメラ端末Pに関しては図27、各カメラ端末PRに関しては図28に示されるフローチャートの手順をもとに動作を行うものとする。
図27に示されるフローチャートは、本発明の実施の形態1において説明した図11に示されるフローチャートに対しステップ5104およびステップ5105が加えられたものであり、ステップ5104における判断がNo、つまり検出領域の指定がなければ、本発明の実施の形態1と同様のステップ5101からステップ5103の処理が繰り返されるために、本発明の検出領域調整装置の効果が得られることは言うまでもない。図28に示されるフローチャートは、本発明の実施の形態2において説明した図20に示されるフローチャートに対しステップ5205およびステップ5206が加えられたものであり、ステップ5205における判断がNo、つまり検出領域または空間解像度の指定がなければ、本発明の実施の形態2と同様のステップ5201からステップ5204の処理が繰り返されるために、本発明の検出領域調整装置の効果が得られることは言うまでもない。
図27および図28に示されるフローチャートにおいて、ステップ5104またはステップ5205における判断がYes、つまり検出範囲の指定があった場合は、ステップ5105またはステップ5206において、カメラ端末PまたはカメラPRの検出領域位置または検出領域空間分解能を、ステップ5104またはステップ5205で指定された検出領域位置または検出領域空間分解能に調整する。
ステップ5104およびステップ5205における、指定される検出領域の位置および検出領域空間分解能は、人間が指定する。または、図10(a)における画像処理部203、図19(a)における画像処理部1203において、カメラ端末Pおよびカメラ端末PRが撮影した画像から検出対象物の位置および大きさをパターンマッチングなどの一般的な画像処理手法により検出する。そして、同検出した検出対象物の位置を中心とし、同検出対象物が検出領域内に収まる、検出領域位置および検出領域空間分解能を指定する。
以上のように、図27および図28に示されるフローチャートをもとにカメラ端末Pおよびカメラ端末PRが動作を行えば、検出領域位置または検出領域空間分解能の指定がある場合、または、同指定があるカメラ端末Pおよびカメラ端末PRに対しては、同検出領域位置または同検出領域空間分解能にカメラ端末Pおよびカメラ端末PRは調整され、検出領域位置または検出領域空間分解能の指定がない場合、または、同指定がないカメラ端末Pおよびカメラ端末PRに対しては、本発明の実施の形態1および形態2同様に、カメラ端末Pおよびカメラ端末PRが検出対象領域を死角なく検出する動作を行う。
以上、カメラ端末Pおよびカメラ端末PRの検出領域の指定方法に関して幾つかの補足説明をした。以下、同補足内容を加味した本発明の検出領域調整装置の動作例を、図29〜図31を用いて説明する。
図29において、カメラ端末5301Aからカメラ端末5301Eは本発明の実施の形態1および形態2におけるカメラ端末Pまたはカメラ端末PRであり図27および図28に示されるフローチャートをもとに動作する。ネットワーク5302は各カメラ端末5301A〜5301E間の情報を伝達するネットワーク、検出対象物5303は各カメラ端末5301A〜5301Eが検出する対象物であり、検出対象領域5304内に存在する。
動作は以下の通りである。各カメラ端末5301A〜5301Eは図27または図28に示されるフローチャートをもとに動作する。つまり、カメラ端末5301Bは、他のカメラ端末と異なり、検出対象物5303を検出しているため、ステップ5104およびステップ5205において、検出領域位置または検出領域空間分解能が指定される。指定される検出領域位置および検出領域空間分解能は、検出対象物5303の位置を中心とし、同検出対象物5303が検出領域内に収まる検出領域位置および検出領域空間分解能である。この結果、カメラ端末5301Bは検出対象物5303の位置を中心とし、同検出対象物5303が検出領域内に収まる検出領域位置および検出領域空間分解能に調整される。
一方、他のカメラ端末5301A、カメラ端末5301C、カメラ端末5301D、カメラ端末5301Eは、検出対象物5303を検出していないため、本発明の実施の形態1および形態2同様に隣接する検出領域と一定の重複領域をもつように検出領域位置が調整される。
以上のようなカメラ端末5301Aからカメラ端末5301Eの動作によれば、検出対象物5303が検出対象領域5304に存在する場合においても、自動的に、検出対象物5303の位置を中心とし同検出対象物5303が検出領域内に収まる詳細な画像を取得すると共に、検出対象領域5304を常時死角なく検出する。以上の動作は、検出対象物5303が移動したとしても、検出対象物5303を検出するカメラ端末が切り替わるだけであるので、同様の動作をすることは言うまでもない。
図30において、カメラ端末5401Aからカメラ端末5401Eは本発明の実施の形態1および形態2におけるカメラ端末Pまたはカメラ端末PRであり、図27および図28に示されるフローチャートをもとに動作する。ネットワーク5402は、各カメラ端末5401A〜5401C間の情報を伝達するネットワーク、検出対象物5403は、各カメラ端末5401A〜5401Cが検出する対象物であり、検出対象領域5404内に存在する。以上のことは、図29と同様であり、このことから、カメラ端末5401Aからカメラ端末5401Cは、検出対象物5403が検出対象領域5404に存在する場合においても、自動的に、検出対象物5403の位置を中心とし同検出対象物5403が検出領域内に収まる詳細な画像を取得すると共に、検出対象領域5404を常時死角なく検出する。
図30に示される検出領域調整装置は、図29に示される本発明の検出領域調整装置に対し、新たな処理部(画像合成部5405、表示部5406および指示部5407)が付加されている。画像合成部5405は、各カメラ端末5401A〜5401Cが取得した各画像を1枚の画像などに合成する処理部、表示部5406は、画像合成部5405が合成した画像を表示する処理部、指示部5407は、各カメラ端末5401A〜5401Cに対し検出領域または検出領域空間分解能を指定する処理部である。
このような検出領域調整装置の動作は以下の通りである。つまり、画像合成部5405は、各カメラ端末5401A〜5401Cが撮影した画像および、各カメラ端末5401A〜5401Cが送信する検出領域位置情報を、ネットワーク5402を介して受け取る。画像合成部5405は、各カメラ端末の検出領域位置情報を用いて、各カメラ端末が撮影した画像を図31に示されるような、各画像の空間位置が連続する画像を合成する。合成した画像は、表示部5406に表示され、同画像情報は人間に提示される。なお、画像合成部5405で合成に利用される各カメラ端末5401A〜5401Cが取得した画像および同画像を構成する画素の世界座標軸系の位置は上記式19により算出可能であるため、一般的な投影変換手法を用いれば、さまざまな視点の空間位置が連続する画像を合成することが画像合成部5405において可能である。
表示部5406に表示された合成画像を見た人間は、自分が希望する合成画像上の領域の位置または空間分解能を指示部5407に入力する。入力においてはポインティングデバイスなどを用いて領域の位置または空間分解能を指示する。人間が指定した領域の位置または空間分解能を受けた指示部5407は、現在同領域を検出領域内にもつカメラ端末を判定する。同判定は、各カメラ端末5401A〜5401Cが送信する検出領域情報を用いれば簡単に判断することができる。そして指示部5407は、上記判定により決定した人間が指定した領域を検出領域内にもつカメラ端末に対し、人間が指定した領域の位置または空間分解能を同カメラ端末の検出領域位置または検出領域空間分解能としてネットワーク5402を介して指示する。検出領域位置または検出領域空間分解能が指定されたカメラ端末は、同カメラ端末の検出領域位置または検出領域空間分解能を、指定した検出領域位置または検出領域空間分解能に調整する。
以上の動作によれば、人間は、検出対象領域5404の領域を常時死角なく、かつ、さまざまな視点で、かつ、空間位置が連続する画像情報として受け取ることができる。更に、同画像情報をもとに指定した領域の位置または空間分解能を指定することにより、特定の領域位置または空間分解能の画像も取得可能となる。例えば、ある領域の空間分解能を高くするように人間が指示部5407に入力すれば、同領域に対し空間分解能つまり解像度が高い画像が表示部5406に表示されることになる。これらの効果は、広範囲な検出対象領域をもつビルなどの監視において有益である。
なお、以上の図29〜図31に示された例では、検出対象物を撮影する1台のカメラ端末について、検出領域の位置と面積(最も高い空間分解能となる状態)を固定し、その1台を含む全てのカメラ端末について、隣接する検出領域が重複するように制御したが、同じような結果を得る別の方法として、検出対象物を撮影する1台のカメラ端末については、検出領域の位置と面積(最も高い空間分解能となる状態)を固定し、その1台を除く全てのカメラ端末について、隣接する検出領域が重複するように制御してもよい。つまり、検出領域を重複させる制御の対象となるカメラ端末として、検出対象物を撮影している1台のカメラ端末を除外してもよい。言い換えると、検出対象物を撮影している1台のカメラ端末が故障しているものとみなして、そのカメラ端末を除く他のカメラ端末だけで検出領域を重複させる制御をしてもよい。これによって、検出対象物に対しては、最高の空間分解能で画像が得られるとともに、検出対象領域全体がくまなく撮影される。
以上、本発明に係る検出領域調整装置について、実施の形態および補足説明に基づいて説明したが、本発明は、これらの例だけに限られない。各実施の形態では、発明の趣旨を逸脱しない範囲で、当業者が思いつく各種変形や機能追加をしてもよいし、機能的に併存し得る限り、各実施の形態における各構成要素を任意に組み合わせてもよい。
たとえば、上記実施の形態では、検出領域調整装置を構成する複数のカメラ端末は、いずれも、パン、チルトおよびズームの制御が可能であったが、本発明は、必ずしもこのような構成に限られず、一部のカメラ端末がパン、チルトおよびズームのいずれか又は全てが固定されていてもよい。本発明によれば、検出領域調整装置を構成する複数のカメラ端末が通信し合うことで、自律協調的に、隣接する検出領域が重なるように調整したり、空間分解能を一致させたりするので、検出領域が隣接する一方のカメラ端末がパン、チルトおよびズームを調整できる機能を有していればよい。その場合でも、結果として、検出対象領域全体として、隣接する検出領域が重なるように調整されたり、空間分解能が一致するように調整される。
また、上記実施の形態では、カメラ端末は特定の場所に固定された固定式カメラ端末であったが、移動式カメラ端末であってもよい。図32は、本発明に係る検出領域調整装置を移動式カメラ端末から構成される監視システムに適用した場合の監視システムの構成を示すブロック図である。この監視システムは、通信ネットワーク6103で接続された複数の移動式カメラ端末6101等から構成され、監視領域6111をくまなく監視できるように、それら複数の移動式カメラ端末6101がパンおよびチルトを調整するだけでなく、自律協調的に移動する点に特徴を有する。移動式カメラ端末6101は、移動部6102に支持されて移動するカメラ端末である。移動部6102は、移動式カメラ端末6101の撮影位置を変更させる機構部等である。通信ネットワーク6103は、複数の移動式カメラ端末6101を結ぶ伝送路である。通信部6104は、移動式カメラ端末6101が通信ネットワーク6103を介して他の移動式カメラ端末と情報のやりとりを行うための通信インターフェースである。隣接撮影領域特定部6105は、通信部6104に通知された他の移動式カメラ端末からの情報に対して、撮影領域が隣り合う移動式カメラ端末を推定する処理部である。撮影素子6106は、監視領域内の映像を取り込むCCDカメラ等である。撮影領域推定部6107は、撮影素子6106の特性と、移動部6102の位置から移動式カメラ端末6101の撮影領域を推定する処理部である。監視範囲記憶部6108は、移動式カメラ端末6101が監視すべき領域の範囲を記憶しているメモリ等である。撮影位置評価部6109は、移動式カメラ端末6101の撮影領域と互いに隣り合う撮影領域の重なり領域、または監視領域の境界との距離を評価する処理部である。撮影位置変更部6110は、移動部6102を制御し、移動式カメラ端末6101の撮影位置を変更させる制御部である。監視領域6111は、移動式カメラ端末6101が監視すべき領域である。撮影領域6112は、移動式カメラ端末6101によって撮影されている領域である。
このような監視システムによれば、移動式カメラ端末6101は、自身の撮影位置と撮影素子6106の特性により推定される撮影領域に関する情報を周囲の移動式カメラ端末と通知し合い、隣り合う撮影領域との重なり領域の大きさと、監視領域の境界との距離が所定の状態に近づくように周囲の移動式カメラ端末と協調しながらパン、チルトおよび撮影位置を変更することにより、複数の移動式カメラ端末6101による同時撮影において監視領域内の死角が少なくなる撮影位置に移動することができる。
図33は、そのような監視システムにおける移動式カメラ端末6101の動作の様子を示す。本図では、説明を簡単にするために横方向(1次元)に移動できる移動式カメラ端末6101を高さが一定な部屋の天井に設置し、床面を監視させる場合が示されている。本図の上図に示されるように、移動式カメラ端末6101を天井の適当な位置に設置しても、移動式カメラ端末は互いの撮影領域の重なり領域の幅Cまたは監視領域の境界との距離Dが所定の値に近づくように撮影位置を変更することにより、本図の下図に示されるように、監視領域全体を複数の移動式カメラ端末で端末同時に撮影できる位置に自動的に移動することが可能となる。さらに、例えば高い天井などのように設置作業が難しい場所において、一ヶ所にまとめて移動式カメラ端末6101を設置しても、移動式カメラ端末の方が複数の移動式カメラ端末による同時撮影において死角が少なくなる位置に自動的に移動するため、移動式カメラ端末の設置位置の決定や設置作業といった負担を減らすことが可能となる。この実現方法の一例としては、図34に示されるように、監視領域内にレールを設置し、そのレールの軌道上を移動式カメラ端末が移動するようにシステムを構成すればよい。