JPWO2007013231A1 - 撮影領域調整装置 - Google Patents

撮影領域調整装置 Download PDF

Info

Publication number
JPWO2007013231A1
JPWO2007013231A1 JP2006535681A JP2006535681A JPWO2007013231A1 JP WO2007013231 A1 JPWO2007013231 A1 JP WO2007013231A1 JP 2006535681 A JP2006535681 A JP 2006535681A JP 2006535681 A JP2006535681 A JP 2006535681A JP WO2007013231 A1 JPWO2007013231 A1 JP WO2007013231A1
Authority
JP
Japan
Prior art keywords
area
camera
cycle
imaging
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006535681A
Other languages
English (en)
Other versions
JP3968376B2 (ja
Inventor
勝司 青木
勝司 青木
篤 吉田
篤 吉田
荒木 昭一
昭一 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3968376B2 publication Critical patent/JP3968376B2/ja
Publication of JPWO2007013231A1 publication Critical patent/JPWO2007013231A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

死角なく、撮影対象をくまなく撮影することが可能な撮影領域調整装置を提供する。複数のカメラ端末を備え、複数のカメラ端末は、それぞれ、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラ(201)と、カメラ(201)を制御することにより、仮想撮影領域の位置を調整する調整部B(204)とを備え、調整部B(204)は、自カメラ端末の仮想撮影領域と他カメラ端末の仮想撮影領域とに基づき、複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置およびアスペクト比を調整するとともに、当該カメラ端末の仮想撮影領域内にN個の他カメラ端末の仮想撮影領域Aが内包されている場合、当該カメラ端末の仮想撮影領域をN+1に分割する。

Description

本発明は、複数のカメラを用いて実空間の画像情報を取得する装置に関し、特にカメラの撮影領域を調整する自動調整装置および方法に関するものである。
近年、主に監視用途に利用される複数のカメラを用いた装置に対する研究開発が盛んに行われている。同装置はその利用目的のために、監視を行う対象領域である撮影対象領域に対し、撮影対象領域内を死角なく常時監視し、同領域内の検出対象を検出するという第1の要求と、撮影対象領域内に存在する検出対象の詳細な情報を取得するという第2の要求の2つの要求を達成する必要がある。
従来の複数のカメラを用いた装置では、各カメラの撮影領域を自動調整することにより、この2つの要求を達成させている。そのような代表的な従来の複数のカメラを用いた装置としては、特許文献1および特許文献2に示すものがある。
まず、特許文献1に示す従来の装置について説明する。図1は上記特許文献1に記載されたカメラの撮影領域を自動調整する装置を示すものである。図1において、検出カメラ装置10010では、カメラ10011および反射鏡10012により、広い撮影領域にわたって検出対象を撮影し、移動物体抽出部10013が撮影した同画像より検出対象を抽出し、位置情報抽出部10014が同検出対象の位置情報を抽出するため、検出カメラ装置10010は、広い撮影領域にわたって検出対象の位置情報を取得する。判定カメラ装置10020では、カメラ制御部10022が検出対象の位置情報をもとにカメラ10021の旋回角および俯角およびズーム比率を制御し、判定カメラ装置10020は検出対象の拡大画像を撮影するため、判定カメラ装置10020は、検出対象の詳細な情報を取得する。
図2は検出カメラ装置10010および判定カメラ装置10020の撮影領域を示す図である。同図において、黒丸は検出カメラ装置10110の設置位置を示し、同検出カメラ装置10110は固定されたカメラである。円または六角形は各検出カメラ装置10110の撮影領域を示す。同図に示すように、各検出カメラ装置10110を人為的に規則正しく設置すれば、監視する対象領域である撮影対象領域内を死角なく常時検出することが可能になる。
つぎに、特許文献2に示す従来の装置について説明する。図3は上記特許文献2に記載されたカメラの撮影領域を自動調整する装置を示すものである。図3において、広い撮影領域にわたって検出対象を撮影する目的を負う移動物体検出用カメラ10211は、姿勢制御手段10212により自身の撮影領域を変更し、検出対象の拡大画像を撮影する目的を負う監視用カメラ10221は、姿勢制御手段10222により自身の撮影領域を変更する。各カメラの撮影領域は画像処理装置10240において、移動物体検出用カメラ10211が撮影した画像から抽出した検出対象の位置および各カメラの撮影領域から、カメラ画角記憶手段10231およびカメラ画角記憶手段10232に予め記憶させた情報をもとに決定する。
更に、各カメラの撮影領域決定方法を説明する。図4および図5および図6は各カメラの撮影領域決定方法の説明に用いる図であり、数個のブロック画像に分割した移動物体検出用カメラ10211が撮影した画像である。まず、移動物体検出用カメラ10211の撮影領域は以下のように決定される。図4の斜線で示すブロックに検出対象が存在する場合には、それぞれのブロック位置が図4に示すブロック位置と対応している図5の各ブロックに記載した矢印の方向が示す方向に移動物体検出用カメラ10211の姿勢を変化させ、同カメラの撮影領域を変更する。各ブロック位置に対応した移動物体検出用カメラ10211の撮影領域は予め人間が決定しており、同情報はカメラ画角記憶手段10231に予め設定されている。次に、監視用カメラ10221の撮影領域は以下のように決定される。図6に示すブロック位置に検出対象が存在する場合には、破線で示した撮影領域になるよう監視用カメラ10221の姿勢を変化させ、同カメラの撮影領域を変更する。各ブロック位置に対応した監視用カメラ10221の撮影領域は予め人間が決定しており、同情報はカメラ画角記憶手段10232に予め設定されている。
上記従来の複数のカメラを用いた装置の撮影領域自動調整の特徴についてここにまとめる。まず、特許文献1に示す従来の装置では検出カメラ装置10010が、特許文献2に示す従来の装置では移動物体検出用カメラ10211が、広い撮影領域にわたって検出対象を検出する役割を負い、特許文献1に示す従来の装置では判定カメラ装置10020が、特許文献2に示す従来の装置では監視用カメラ10221が、検出対象の拡大画像のような、検出対象の詳細な情報を取得する役割を負う、というように、各カメラはそれぞれの固定した予め決められた役割を分担し、一方の役割を負うカメラが上記第1の要求を達成し、もう一方の役割を負うカメラが上記第2の要求を達成している(従来技術の第1の特徴)。
また、特許文献2に示す従来の装置では、例えば、移動物体検出用カメラ10211の撮影領域は、図4の左上ブロックに検出対象があるという状況変化に対し、図5の左上ブロックに示すような左上方向に移動した検出領域に変更するというように、予め人間が想定し作成した状況変化内容と1対1に対応した撮影領域が記載されたテーブル形式の情報をもとに各カメラの撮影領域を決定し調整する(従来技術の第2の特徴)。
また、特許文献1に示す従来の装置は、図2に示すように、予め人間が規則的な位置に固定カメラを設置することにより、上記第1の要求を達成している(従来技術の第3の特徴)。
以上、複数のカメラを用いた従来の装置の撮影領域の自動調整について説明したが、ここで、1のカメラを用いた従来の装置の撮影領域の自動調整についても説明する。1のカメラを用い、同カメラの撮影領域を自動調整するものとして、特許文献3に示すものがある。特許文献3では、カメラの撮影領域を自動調整する手法として、「オートスキャン」および「オートパン」と呼ばれる2つの手法を開示している。
まず、「オートスキャン」手法について説明する。図8は「オートスキャン」手法の説明に用いる図であり、「オートスキャン」手法は、同図に示す第1撮影領域10711から第N撮影領域1071Nの複数の撮影領域を、順次、カメラ10701が自動的に撮影していく手法である。記録手段10703には、第1撮影領域10711から第N撮影領域1071Nの撮影領域情報が予め記録されており、姿勢制御手段10702が記録部10703に記録された同情報にもとづいてカメラ10701の姿勢を制御し、カメラ10701の撮影領域を第1撮影領域10711から第N撮影領域1071Nの各撮影領域に順次変更させることにより、同手法は実現されている。
つぎに、「オートパン」手法について説明する。図9は「オートパン」手法の説明に用いる図であり、「オートパン」手法は、同図に示す第1パン角度10811から第2パン角度10812の間を、カメラ10801が自動的に左右パン動作を繰り返すことにより、同カメラ10801の撮影領域を自動調整する手法である。図9に示していないが、第1パン角度10811および第2パン角度10812に設けられた機械式スイッチにより、各パン角度にカメラ10801が向いたことを判定し、姿勢制御手段10802がカメラ10801の姿勢を制御することにより、同手法は実現されている。
上記従来の単体のカメラを用いた装置の撮影領域自動調整の特徴についてここにまとめる。特許文献3に示す従来の装置では、例えば、カメラ10701の撮影領域は、記録手段10703に記録された第1撮影領域10711から第N撮影領域1071Nの撮影領域情報をもとに変更されるように、複数のカメラを用いた装置の撮影領域自動調整とほぼ同様に、状況変化内容と1対1に対応したものではないが、予め人間が想定し作成した撮影領域が記載されたテーブル形式の情報をもとにカメラの撮影領域を決定し調整する(従来技術の第2の特徴)。
特許第3043925号公報(図1、図6) 特許第3180730号公報(図1、図7〜図9) 特開平1−288696号公報
しかしながら、このような従来の装置では、まず、予め人間が想定し設定した状況変化内容と1対1に対応した撮影領域が記載されたテーブル形式の情報をもとに各カメラの撮影領域を決定し調整しているために(上記従来技術の第2の特徴)、カメラ毎に、状況変化内容と1対1に対応した撮影領域が記載されたテーブル形式の情報を人間が逐一想定し作成する必要がある。
同情報は、撮影対象領域の位置や広さ、人間が想定した状況変化内容、各カメラを設置する位置や台数などに依存しており、これらに変更などがあった場合には、その度に同情報を人間が逐一作成し直す必要がある。この作業は、カメラ台数が増えれば増えるほど煩雑であり、それに対するコストや負荷は膨大なものとなる。ビル内のカメラを用いた監視システムなどでは、10数台のカメラを用いることはごく一般的である。
また、従来の装置では、予め人間が規則的な位置に固定カメラを設置することにより上記第1の要求は達成されているが(上記従来技術の第3の特徴)、カメラが1つでも故障した場合には、もはや上記第1の要求を達成することはできない。
仮に、図7に示すように、検出カメラ装置10010の数を増やすことにより、うち1つが故障した場合でも死角なく検出対象領域を覆うことはできるが、非効率と言わざるを得ない。
そこで、本発明は、上記従来の課題を解決するものであり、人間が予め状況変化を予測してテーブルを作成しておく必要がなく、かつ、カメラが故障した場合であっても、死角なく、撮影対象とする領域をくまなく撮影することが可能な撮影領域調整装置を提供することを目的とする。
上記目的を達成するために、本発明に係る撮影領域調整装置は、複数のカメラ端末を備える撮影領域調整装置であって、前記複数のカメラ端末は、それぞれ、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラと、前記仮想撮影領域を示す仮想撮影領域情報を送受信する通信手段と、自カメラ端末の仮想撮影領域と前記通信手段によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、前記複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整手段とを備えることを特徴とする。これによって、複数のカメラ端末の協調動作により、複数の仮想撮影領域によって撮影対象領域が死角なく覆われる。そして、実際の撮影領域によって撮影対象領域を覆う方法に比べ、仮想撮影領域が使用されるので、1台のカメラ端末が撮影する担当領域を任意に設定することができ、様々な大きさや形状の撮影対象領域に対応した撮影領域調整装置が実現される。
なお、請求の範囲における「仮想撮影領域」は、例えば、実施の形態における周期TCYCLE撮影領域に相当し、1台のカメラ端末が一定時間TCYCLEをかけてパンやチルト等のスキャン動作をしながら連続撮影することによって得られる撮影領域の和である。同様に、「仮想検出領域」は、例えば、実施の形態における周期TCYCLE検出領域に相当し、1台のセンサ端末が一定時間TCYCLEをかけて検出方向の姿勢を変化させるスキャン動作をしながら連続検出することによって得られる検出領域(検出空間)の和である。
ここで、前記撮影領域調整装置は、さらに、前記複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを前記N個のカメラ端末に割り当てる領域分割手段を備え、前記調整手段は、前記領域分割手段によって自カメラ端末に割り当てられた領域を新たな仮想撮影領域として、前記調整を行う構成としてもよい。このとき、前記領域分割手段は、前記N個のカメラ端末の仮想撮影領域が包含関係にある場合に、前記分割と前記割り当てとを行ったり、前記N個のカメラ端末の仮想撮影領域が隣接している場合に、前記分割と前記割り当てとを行ったりするのが好ましい。これによって、複数のカメラ端末の仮想撮影領域によって撮影対象領域が効率良く死角なく覆われる。つまり、複数のカメラ端末の仮想撮影領域によって撮影対象領域がくまなく覆われているが、最適な覆い方とはいえない、局所的な最適解(仮想撮影領域が包含関係にある場合や、他の仮想撮影領域に比べて極めて大きな撮影時間を要する仮想撮影領域が存在する場合など)に陥っている場合に、その解から脱出して大局的な最適解が求められ得る。
このとき、前記領域分割手段は、割り当ての対象となる少なくとも1個のカメラ端末について、前記カメラが仮想撮影領域を撮影するのに要する時間が小さくなる、又は、前記カメラによって現実に撮影される領域のうち仮想撮影領域を除く部分が小さくなるように、前記分割と前記割り当てとを行うのが好ましい。具体的には、前記領域分割手段は、前記カメラ端末の仮想撮影領域のアスペクト比が前記カメラの撮影領域のアスペクト比に近づくように、前記分割と前記割り当てとを行うのが好ましい。具体的には、前記領域分割手段は、予め定められた複数の分割パターンの中から1つの分割パターン選択することによって、前記分割を行うように構成してもよい。これによって、局所的な最適解から脱出して大局的な最適解が探索される可能性が高くなり、同一領域に対して複数のカメラ端末が重複して撮影したり、仮想撮影領域を撮影するのに大きな時間を要したりする等の不具合が解消される。
また、前記カメラは、一定周期で、前記仮想撮影領域内で撮影領域の位置を変化させることを繰り返してもよい。さらに、前記領域分割手段は、前記複数のカメラ端末の少なくとも1個のカメラ端末内に置かれてもよい。
なお、本発明は、各カメラ端末に調整手段を設けた分散制御型の構成だけでなく、全てのカメラ端末の検出領域を調整する共通の調整手段を設けた集中制御型の構成で実現したり、撮影領域調整方法、および、その方法をコンピュータに実行させるプログラムとして実現したりすることもできる。また、複数のカメラ端末からなる撮影領域調整装置(あるいは、システム)として実現したり、個々のカメラ端末単体としても実現できる。さらに、本発明は、カメラによる撮影可能な領域である撮影領域に代えて、微動センサ等の物理量の検出が可能なセンサの検出領域を調整する装置として実現することもできる。なお、本発明に係るプログラムをCD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明の撮影領域調整装置よれば、各カメラ端末のカメラの周期TCYCLE撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように各カメラ端末のカメラの周期TCYCLE撮影領域が自動調整されるので、従来のようにカメラ毎に状況変化に対応した周期TCYCLE撮影領域情報を人間が逐一想定して作成しておく必要がなく、かつ、カメラが幾つか故障した場合においても、死角なく所定の撮影対象領域を効率的に覆うことができる。
よって、本発明により、任意の空間が死角なく撮影されることが保証され、特に、学校やビル等における不審者の監視用システム等としてその実用的価値が高い。
図1は、第1の従来技術における構成ブロック図である。 図2は、第1の従来技術におけるカメラ視野範囲を示す説明図である。 図3は、第2の従来技術における構成ブロック図である。 図4は、第2の従来技術における動作説明図である。 図5は、第2の従来技術における動作説明図である。 図6は、第2の従来技術における動作説明図である。 図7は、第2の従来技術における動作説明図である。 図8は、第3の従来技術における動作説明図である。 図9は、第3の従来技術における動作説明図である。 図10は、本発明に係るカメラの撮影領域を説明する図である。 図11は、カメラの周期TCYCLE撮影領域の大きさと各種パラメータの関係を説明する図である。 図12は、カメラの周期TCYCLE撮影領域の大きさと各種パラメータの関係を説明する図である。 図13は、カメラの撮影領域の位置を説明する図である。 図14は、周期TCYCLE撮影領域の撮影方法を説明する図である。 図15は、周期TCYCLE撮影領域の撮影方法を説明する図である。 図16は、周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。 図17は、周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。 図18は、周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。 図19は、撮影領域の形状を説明する図である。 図20は、撮影領域の形状を説明する図である。 図21は、領域判定方法を説明する図である。 図22は、当該撮影領域に対し他撮影領域がどの方向に存在するかを判定する方法を説明する図である。 図23は、当該撮影領域に対する隣接する撮影領域を判定する方法を説明する図である。 図24は、本発明の実施の形態1における撮影領域調整装置の構成ブロック図である。 図25は、本発明の実施の形態1におけるカメラ端末の構成ブロック図である。 図26は、本発明の実施の形態1における操作端末の構成ブロック図である。 図27は、本発明の実施の形態1における調整部Aが行う処理を示すフローチャートである。 図28は、本発明の実施の形態1における関数FA()を示す説明図である。 図29は、本発明の実施の形態1における関数FA()を示す説明図である。 図30は、本発明の実施の形態2における撮影効率を説明する図である。 図31は、本発明の実施の形態2における撮影効率を説明する図である。 図32は、本発明の実施の形態2におけるカメラ端末の構成ブロック図である。 図33は、本発明の実施の形態2における調整部Bが行う処理を示すフローチャートである。 図34は、本発明の実施の形態2における調整部Bが行う処理を示すフローチャートである。 図35は、本発明の実施の形態2における撮影領域の再割り当てを説明する図である。 図36は、本発明の実施の形態2における撮影領域の再割り当てを説明する図である。 図37は、本発明の実施の形態2における撮影領域の分割パターンを説明する図である。 図38は、本発明の実施の形態3における撮影領域調整装置の構成ブロック図である。 図39は、本発明をマイクに適用した例を説明する図である。 図40は、移動カメラから構成される監視システムの構成を示すブロック図である。 図41は、監視システムにおける移動カメラの動作の様子を示す図である。 図42は、監視領域内に設置されたレールの軌道上を移動カメラが移動する様子を示す図である。
符号の説明
101A〜C カメラ端末A〜C
102 操作端末
103 ネットワーク
201 カメラ
202 調整部A
203 通信部
204 調整部B
211 レンズ
212 撮像面
213 画像処理部
214 姿勢制御部
215 周期撮影制御部
301 入力部
302 記憶部
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
まず、具体的な実施の形態を説明する前に、いくつかの用語及び基本事項を説明する。
(カメラの撮影領域)
まず、カメラの撮影領域について説明する。ここで説明するカメラとは、スチル写真の撮影などに用いられる、ある一瞬の静止画像を撮影するカメラではなく、例えば1秒間に30枚連続撮影するなど、時間的に連続した動画像を撮影するカメラを示す。
図10はカメラの撮影領域を説明する図である。図10(a)及び(b)において、5001はカメラ、5002はカメラ5001が時刻T=0,2,4,‥,2Nに撮影する領域である第1の撮影領域、5003はカメラ5001が時刻T=1,3,5,‥,2N+1に撮影する領域である第2の撮影領域である(Nは自然数)。図10(c)は、図10(a)及び(b)に示すカメラ5001の各時刻Tにおける撮影領域位置を示したグラフである。
一般的に、「カメラの撮影領域」と単に表現した場合、ある時刻瞬間にカメラが撮影している領域ととらえることが通常である。カメラが各瞬間に同カメラの姿勢を変更していないのであれば、このとらえ方は特に問題はない。しかしカメラが各瞬間に同カメラの姿勢を変更しているのであれば、「カメラの撮影領域」は、以下に示すように、それぞれ区別してとらえることが必要である。
<時刻T撮影領域>
これは、時刻Tの瞬間にカメラが撮影した領域を意味する。本明細書では、同撮影領域を時刻T撮影領域と表記する。図10(a)及び(b)におけて、第1撮影領域5002は時刻0撮影領域、第2撮影領域5003は時刻1撮影領域である。
<期間T〜T撮影領域または期間T撮影領域、および、周期TCYCLE撮影領域>
これらは、「仮想撮影領域」の一例であり、時刻Tから時刻Tの期間にカメラが撮影した領域を意味する。本明細書では、同領域を期間T〜T撮影領域と表記する。または、時刻Tから時刻Tの期間Tにカメラが撮影した領域として、期間T撮影領域と表記する。更に、特に、同撮影領域内の各領域の撮影に周期性がある場合、同周期性をもつ時間TCYCLEに撮影した領域といい、周期TCYCLE撮影領域と表記する。図10(a)及び(b)において、第1撮影領域5002および第2撮影領域5003を和した領域は、期間0〜1撮影領域または期間2撮影領域である。また、図10(c)に示すように、同撮影領域内の第1撮影領域5002および第2撮影領域5003の撮影には周期性があり、その周期は2であるので、同撮影領域は周期2撮影領域でもある。
(カメラの周期TCYCLE撮影領域の大きさ)
つぎに、カメラの周期TCYCLE撮影領域の大きさについて説明する。図11(a)及び(b)は、カメラの周期TCYCLE撮影領域の大きさと各種パラメータの関係を説明する図である。図11(a)において、5201はカメラ、カメラ5201の姿勢はパンおよびチルト動作により可変であり、また、カメラ5201の画角も可変である。5202はカメラ5201が時刻Tに撮影する領域である時刻T撮影領域、5203はカメラ5201が周期TCYCLEに撮影する領域である周期TCYCLE撮影領域、5204はカメラ5201の水平方向の画角である水平画角Θa、C205はカメラ5201の垂直方向の画角である垂直画角Θa、5206は時刻T撮影領域5202の移動経路である。カメラ5201は、時間経過とともに、パンおよびチルト動作により自身の姿勢を変更させ、時刻T撮影領域5202の位置を時刻T撮影領域移動経路5206に示す経路で移動することにより、周期TCYCLE撮影領域5203を撮影している。このため、周期TCYCLE撮影領域5203の大きさは、カメラ5201の姿勢を変更するパンおよびチルト動作の速度、時刻T撮影領域5202の大きさを決定するカメラ5201の水平画角Θa5204および垂直画角Θa5205、周期TCYCLEの時間的長さに依存することは明白であり、カメラ5201のパンおよびチルト速度が早いほど、また、カメラ5201の画角が大きいほど、また、周期TCYCLEの時間的長さが長いほど、周期TCYCLE撮影領域5203の大きさは大きくなる。
(周期TCYCLE撮影領域を撮影するカメラの画角およびパンおよびチルト)
つぎに、周期TCYCLE撮影領域を撮影するカメラの画角およびパンおよびチルトについて説明する。図11(b)は、図11(a)に示すカメラ5201と周期TCYCLEにおいて等価な周期TCYCLEカメラ5211を示す図である。図11(b)において、時刻T撮影領域5202、周期TCYCLE撮影領域5203および時刻T撮影領域移動経路5205は図11(a)と同様である。5211は周期TCYCLE撮影領域5203を撮影するカメラ、カメラ5211の姿勢はパンおよびチルト動作により可変であり、また、カメラ5211の画角も可変である。ただし、周期TCYCLEカメラ5211は、カメラ5201と姿勢は異なるが、空間上同じ位置に存在する。5212は周期TCYCLEカメラ5211の水平方向の画角である水平画角Θb、5213は周期TCYCLEカメラ5211の垂直方向の画角であるである垂直画角Θbである。図11(a)におけるカメラ5201は、周期TCYCLEにおいて周期TCYCLE撮影領域5203を撮影する。このため、周期TCYCLEにおいては、カメラ5201は、同周期TCYCLE撮影領域5203を撮影する図11(b)に示す周期TCYCLEカメラ5211とみなせる。また、この周期TCYCLEカメラ5211において、水平方向の画角は水平画角Θb5212、垂直方向の画角は垂直画角Θb5212とみなせる。
カメラ5201などのような一般的なカメラにおいては、画角はCCDなどの撮像面のアスペクト比に依存しているために水平画角Θa5204および垂直画角Θa5205は独立した制御ができない。しかし、周期TCYCLEカメラ5211においては、カメラ5201のパンおよびチルト動作により周期TCYCLE撮影領域5203が決定しているため、一般的なカメラのようにCCDなどの撮像面のアスペクト比に依存せず、水平画角Θb5212および垂直画角Θb5212は独立に制御することが可能である。
図12(a)及び(b)は、図11(a)におけるカメラ5201および図11(b)における周期TCYCLEカメラ5211の画角、パンまたはチルト角を示す図である。図12(a)において、カメラ5201および周期TCYCLEカメラ5211はそれぞれ、図11(a)におけるカメラ5201および図11(b)における周期TCYCLEカメラ5211と同じものである。ただし、カメラ5201および周期TCYCLEカメラ5211は空間上同じ位置に存在するが、図12(a)では見易くするために、意図的にこれらカメラを並べて記載している。5220は補助線、5221はカメラ5201の水平方向の最大画角である最大水平画角ΘaH_MAX、5222は最大画角ΘaH_MAX/2、5223はカメラ5201のパンの最大変位角である最大パン角ΘaP_MAXであり、カメラ5201は補助線5220を中心に、それぞれ上下に最大パン角ΘaP_MAX5223までパン動作する。5224は周期TCYCLEカメラ5211の水平方向の最大画角である周期TCYCLEカメラ最大水平画角ΘbH_MAX、5225は周期TCYCLEカメラ5211の水平方向の画角である周期TCYCLEカメラ水平画角Θb、5226は周期TCYCLEカメラ水平画角Θb/2、5227は周期TCYCLEカメラ5211のパン角である周期TCYCLEカメラパン角Θbである。
図12(b)において、カメラ5201および周期TCYCLEカメラ5211はそれぞれ、図11(a)におけるカメラ5201および図11(b)における周期TCYCLEカメラ5211と同じものである。ただし、カメラ5201および周期TCYCLEカメラ5211は空間上同じ位置に存在するが、図12(a)では見易くするために、意図的にこれらカメラを並べて記載している。5220は補助線、5231はカメラ5201の垂直方向の最大画角である最大垂直画角ΘaV_MAX、5232は最大画角ΘaV_MAX/2、5233はカメラ5201のチルトの最大変位角である最大チルト角ΘaT_MAXであり、カメラ5201は補助線5220を中心に、それぞれ上下に最大チルト角ΘaT_MAX5233までチルト動作する。5234は周期TCYCLEカメラ5211の垂直方向の最大画角である周期TCYCLEカメラ最大垂直画角ΘbV_MAX、5235は周期TCYCLEカメラ5211の垂直方向の画角である周期TCYCLEカメラ垂直画角Θb、5236は周期TCYCLEカメラ垂直画角Θb/2、5237は周期TCYCLEカメラ5211のチルト角である周期TCYCLEカメラチルト角Θbである。
図12(a)及び(b)に示すように、周期TCYCLEカメラ5211の最大水平画角ΘbH_MAX5224および最大垂直画角ΘbV_MAX5234は(式1)で示され、周期TCYCLEカメラ5211の水平方向の最小水平画角ΘbH_MINは、カメラ5201の水平方向の最小水平画角ΘaH_MINに等しく、周期TCYCLEカメラ5211の垂直方向の最小垂直画角ΘbV_MINは、カメラ5201の垂直方向の最小垂直画角ΘaV_MINに等しい。ただし、周期TCYCLEカメラ5211がパン角Θb5227またはチルト角Θb5237だけパンまたはチルトしている場合、周期TCYCLEカメラ5221の最大垂直画角ΘbH_MAX5224および最大垂直画角ΘbV_MAX5234は、(式2)に示す制限をうける。このため、周期TCYCLEカメラ5211の水平画角Θb5225および水平画角Θb5235は、(式3)に示す範囲の可変値である。また、図12(a)及び(b)に示すように、周期TCYCLEカメラ5211の最大パン角ΘbP_MAXおよび最大パン角ΘbT_MAXはそれぞれ、カメラ5201の最大パン角ΘaP_MAX5223および最大パン角ΘaT_MAX5233と等しい。このため、周期TCYCLEカメラ5211のパン角Θb5227およびチルト角Θb5237は、(式4)に示す範囲の可変値である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
(カメラの撮影領域位置および視点)
つぎに、カメラの撮影領域の位置および視点を算出する方法について説明する。図13はカメラの撮影領域の位置を説明する図である。図13において、5301は像を結像させるためのレンズ、5302はレンズ5301で結像した像を撮影するCCDなどの撮像面、5303はレンズ5301および撮像面5302から構成されるカメラである。5311はX軸、5312はY軸、5313はZ軸であり、これらの各軸はお互い直交し、レンズ5301を原点としたカメラ座標軸系を構成し、特にZ軸5313はカメラ5303の視線(撮影方向)と一致する。5314はカメラ5303のY軸5312回りの回転角であるパン角Θ、5315はカメラ5303のX軸5311回りの回転角であるチルト角Θ、5316はカメラ5303のZ軸5313回りの回転角であるロール角Θである。カメラ5303は自身の姿勢をこれらの回転角だけ回転させる。5317はレンズ5301から撮像面5302までの距離である焦点距離f、5318は撮像面5302の水平方向のサイズである撮像面水平サイズW、5319は撮像面5302の垂直方向のサイズである撮像面垂直サイズHである。5321はX軸、5322はY軸、5323はZ軸であり、これらの各軸はお互い直交し、世界座標軸系を構成する。5324はカメラ5303のX軸5321方向の変位である変位ΔXTW、5325はカメラ5303のY軸5322方向の変位である変位ΔYTW、5326はカメラ5303のZ軸5323方向の変位である変位ΔZTWである。カメラ5303は世界座標軸系において、(XTW,YTW,ZTW)で示される位置に存在し、同位置を基点として(ΔXTW,ΔYTW,ΔZTW)だけ移動する。5327は5303カメラの水平方向の画角である水平画角Θ、5328は5303カメラの垂直方向の画角である垂直画角Θである。5331はZ=ZCONSTである実空間面、5332はカメラ5303が撮影している実空間面5331上の撮影領域、5333は、Z軸5313と撮影領域5332が存在する実空間面5331の交点である視点であり、Z軸5313が示すカメラ5303の視線の実空間面5331上の位置を示す。
軸5321およびY軸5322およびZ軸5323で構成されるカメラ座標軸系上のある点(XPC,YPC,ZPC)は、(式5)に示す式により、X軸5321およびY軸5322およびZ軸5323で構成される世界座標軸上の点(XPC,YPC,ZPW)に変換できる。同式において、M00からM22を要素とする3×3行列値は、カメラ5303の姿勢基準点(カメラ5303の姿勢の回転角度(Θ,Θ,Θ)=(0,0,0))の行列値、R00からR22を要素とする3×3行列値は、カメラ5303の姿勢基準点からの姿勢変位をあらわす行列値、(XTW,YTW,ZTW)はカメラ5303の位置基準点(カメラ5303の位置の変位(ΔXTW,ΔYTW,ΔZTW)=(0,0,0))の位置、(ΔXTW,ΔYTW,ΔZTW)はカメラ5303の位置基準点からの位置変位をあらわす。
Figure 2007013231
00からM22を要素とする3×3行列値や(XTW,YTW,ZTW)は、カメラ5303を姿勢基準点および位置基準点に合わせる、または、現在のカメラ5303の姿勢および位置をそれぞれ姿勢基準点および位置基準点とし、公知のキャリブレーション方法(R.Tsai.A Versatile Camera Calibration Technique for High−Accuracy 3D Machine Vision Metrology Using Off−the−Shelf TV Cameras and Lenses.IEEE journal of Robotics and Automation,Vol.RA−3,No.4,pp.323−344,1987)などを用いることにより算出可能であり、本発明の撮影領域調整装置の動作開始前に事前に算出しておく。
カメラ5303の姿勢基準点からの姿勢変位をあらわすR00からR22を要素とする3×3行列値は、(式6)に示すように、カメラ5303の姿勢である回転角度(Θ,Θ,Θ)より算出可能である。カメラ5303の姿勢である回転角度(Θ,Θ,Θ)、および、カメラ5303の位置基準点からの位置変位である(ΔXTW,ΔYTW,ΔZTW)は、同カメラ5303の位置をステッピングモーターなどで変化させる仕組みであれば、同ステッピングモーターよりその変位を読み取れる。
Figure 2007013231
撮像面5302上の各点(XPC,YPC,f)は、(式7)により、Z=ZCONSTである実空間面5331上に投影できる。撮像面4隅の各点(−W/2,−H/2,f)、(W/2,−H/2,f)、(−W/2,H/2,f)、(W/2,H/2,f)をZ=ZCONSTである実空間面5331上に投影した位置は、カメラ5303の撮影領域5332の4隅の位置である。また、Z軸5313は撮像面5302上の点(0,0,f)をとおり、同点(0,0,f)をZ=ZCONSTである実空間面5331上に投影した位置は、カメラ5303の視点5333である。このため、(式8)〜(式12)により、Z=ZCONSTである実空間面5331上のカメラ5303の撮影領域5332位置(点(XPW0,YPW0,ZPW0)〜点(XPW3,YPW3PW3))および視点5333(点(XPW4,YPW4,ZPW4))が算出可能である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
また、水平画角Θ5327および垂直画角Θ5328は、焦点距離f5317および撮像面水平サイズW5318および撮像面垂直サイズH5319と(式13)に示すような関係にある。このため、(式14)〜(式17)を用いても、Z=ZCONSTである実空間面5331上のカメラ5303の撮影領域5332位置が算出可能である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
なお、上記カメラの撮影領域の位置を算出する方法は、時刻T撮影領域の位置および視点の算出のみならず、周期TCYCLE撮影領域の位置および視点の算出に適用できる。周期TCYCLE撮影領域の位置および視点の算出をするのであれば、(式6)および(式13)〜(式17)における、パン角Θ5314、チルト角Θ5315、ロール角Θ5316、水平画角Θ5327および垂直画角Θ5328はそれぞれ、図12(a)及び(d)に示す、パン角Θb5227、チルト角Θb5228、ロール角Θb、水平画角Θb5225および垂直画角Θb5235とすればよい(ロール角Θbは図12(a)及び(d)に示していないが、カメラ5201のロール角Θaと同値である)。カメラ5303の姿勢基準点の行列値であるM00からM22を要素とする3×3行列値、カメラ5303の位置基準点の位置(XTW,YTW,ZTW)、および、同位置基準点からの位置変位(ΔXTW,ΔYTW,ΔZTW)は、周期TCYCLE撮影領域を撮影する周期TCYCLEカメラの位置および姿勢基準点は時刻T撮影領域を撮影するカメラと同じとしたので、時刻T撮影領域を撮影するカメラのそれを用いればよい。
(周期TCYCLE撮影領域の撮影方法)
つぎに、周期TCYCLE撮影領域の撮影方法について説明する。図14及び図15は周期TCYCLE撮影領域の撮影方法を説明する図である。図14(a)、(b)及び図15において、5401は周期TCYCLE撮影領域、5402は周期TCYCLE撮影領域5401の水平方向のサイズLb、5403は周期TCYCLE撮影領域5401の垂直方向のサイズLb、5404は現時刻の時刻TNOWにおける撮影領域である現時刻TNOW撮影領域、5405は現時刻TNOW撮影領域5404の水平方向のサイズLa、5406は現時刻TNOW撮影領域5404の垂直方向のサイズLa、5407は現時刻の時刻TNOWの次の撮影時刻TNEXTにおける撮影領域である現時刻TNEXT撮影領域、5408は現時刻TNOW撮影領域5404から次時刻TNEXT撮影領域5407までの移動距離L、5409は時刻T撮影領域の移動経路、5421から5423はそれぞれ水平方向の位置である位置Hから位置H、5431から5434はそれぞれ垂直方向の位置である位置Vから位置Vである。
また、図16、図17及び図18は周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。図16(a)、(b)、図17(a)、(b)に示すフローチャートはそれぞれ、時刻T撮影領域を左右上下に水平および垂直終端位置まで移動させるサブルーチンを示すフローチャートであり、まず、図16(a)に示す水平左方向へ移動させるサブルーチンを以下に説明する。まず同サブルーチンは、ステップ5501において、図14及び図15における移動距離L5408を算出する。移動距離L5408は、(式18)に示す式によって算出される。同式において、VP_CONSTは、あらかじめ定めたパン速度であり、Tは、あらかじめ定めたカメラの撮影間隔である。つぎに、ステップ5502において、現時刻TNOW撮影領域5404の左端位置から水平端位置までの距離である水平余剰距離Lを算出する。つぎに、ステップ5503において、ステップ5502で算出した水平余剰距離Lがステップ5501で算出した移動距離L5408以下であるかどうかを判断する。そして、水平余剰距離Lが移動距離L5408以下でない場合、ステップ5504に進み、パン速度Vを(式19)に示す値とし、同パン速度Vで撮影期間T期間だけカメラを左パン動作させ(パン速度が正の値の場合を右パン動作、負の値の場合を左パン動作としている)、ステップ5503に戻る。また、水平余剰距離Lが移動距離L5408以下である場合、パン速度Vを(式20)に示す値とし、同パン速度Vで撮影期間T期間だけカメラを左パン動作させる。この結果、ステップ5504により、カメラは水平余剰距離Lが移動距離L5408以下になるまで(式19)に示すパン速度Vで左パン動作し続け、さらに、ステップ5505により、(式20)に示すパン速度Vで撮影期間T期間だけカメラを左パン動作させるために、水平余剰距離Lだけ左パンし、カメラの時刻T撮影領域は水平端位置に達する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
つぎに、図16(b)に示す水平左方向へ移動させるサブルーチンを以下に説明する。同サブルーチンの動作は図16(a)に示す水平右方向へ移動させるサブルーチンとほぼ同等である。まず同サブルーチンは、ステップ5511において、図14及び図15における移動距離L5408を算出する。移動距離L5408は(式18)に示す式によって算出される。つぎに、ステップ5512において、現時刻TNOW撮影領域5404の右端位置から水平端位置までの距離である水平余剰距離Lを算出する。つぎに、ステップ5513において、ステップ5512で算出した水平余剰距離Lがステップ5511で算出した移動距離L5408以下であるかどうかを判断する。そして、水平余剰距離Lが移動距離L5408以下でない場合、ステップ5514に進み、パン速度Vを(式21)に示す値とし、同パン速度Vで撮影期間T期間だけカメラを右パン動作させ、ステップ5513に戻る。また、水平余剰距離Lが移動距離L5408以下である場合、パン速度Vを(式22)に示す値とし、同パン速度Vで撮影期間T期間だけカメラを右パン動作させる。この結果、ステップ5514により、カメラは水平余剰距離Lが移動距離L5408以下になるまで(式21)に示すパン速度Vで右パン動作し続け、さらに、ステップ5515により、(式22)に示すパン速度Vで撮影期間T期間だけカメラを右パン動作させるために、水平余剰距離Lだけ右パンし、カメラの時刻T撮影領域は水平端位置に達する。
Figure 2007013231
Figure 2007013231
つぎに、図17(a)に示す垂直上方向へ移動させるサブルーチンを以下に説明する。同サブルーチンの動作は図16(a)に示す水平右方向へ移動させるサブルーチンとほぼ同等である。まず同サブルーチンは、ステップ5521において、図14及び図15における移動距離L5408を算出する。移動距離L5408は(式23)に示す式によって算出される。つぎに、ステップ5522において、現時刻TNOW撮影領域5404の上端位置から垂直端位置までの距離である垂直余剰距離Lを算出する。つぎに、ステップ5523において、ステップ5522で算出した垂直余剰距離Lがステップ5521で算出した移動距離L5408以下であるかどうかを判断する。そして、垂直余剰距離Lが移動距離L5408以下でない場合、ステップ5524に進み、チルト速度Vを(式24)に示す値とし、同チルト速度Vで撮影期間T期間だけカメラを上パン動作させ(チルト速度が正の値の場合を上チルト動作、負の値の場合を下チルト動作としている)、ステップ5523に戻る。また、垂直余剰距離Lが移動距離L5408以下である場合、チルト速度Vを(式25)に示す値とし、同チルト速度Vで撮影期間T期間だけカメラを上チルト動作させる。この結果、ステップ5524により、カメラは垂直余剰距離Lが移動距離L5408以下になるまで(式24)に示すチルト速度Vで上チルト動作し続け、さらに、ステップ5525により、(式25)に示すチルト速度Vで撮影期間T期間だけカメラを上チルト動作させるために、垂直余剰距離Lだけ上チルトし、カメラの時刻T撮影領域は垂直端位置に達する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
最後に、図17(b)に示す垂直下方向へ移動させるサブルーチンを以下に説明する。同サブルーチンの動作は図16(a)に示す水平右方向へ移動させるサブルーチンとほぼ同等である。まず同サブルーチンは、ステップ5531において、図14及び図15における移動距離L5408を算出する。移動距離L5408は(式23)に示す式によって算出される。つぎに、ステップ5532において、現時刻TNOW撮影領域5404の下端位置から垂直端位置までの距離である垂直余剰距離Lを算出する。つぎに、ステップ5533において、ステップ5532で算出した垂直余剰距離Lがステップ5531で算出した移動距離L5408以下であるかどうかを判断する。そして、垂直余剰距離Lが移動距離L5408以下でない場合、ステップ5534に進み、チルト速度Vを(式26)に示す値とし、同チルト速度Vで撮影期間T期間だけカメラを下パン動作させ、ステップ5533に戻る。また、垂直余剰距離Lが移動距離L5408以下である場合、チルト速度Vを(式27)に示す値とし、同チルト速度Vで撮影期間T期間だけカメラを下チルト動作させる。この結果、ステップ5534により、カメラは垂直余剰距離Lが移動距離L5408以下になるまで(式26)に示すチルト速度Vで下チルト動作し続け、さらに、ステップ5535により、(式27)に示すチルト速度Vで撮影期間T期間だけカメラを下チルト動作させるために、垂直余剰距離Lだけ下チルトし、カメラの時刻T撮影領域は垂直端位置に達する。
Figure 2007013231
Figure 2007013231
以上のように、図16(a)、(b)、図17(a)、(b)に示すサブルーチンのフローに従えば、時刻T撮影領域を左右上下に水平および垂直終端位置まで移動させることが可能となる。なお、あらかじめ定めるパン速度VP_CONSTおよびチルト速度VT_CONSTおよび撮影間隔Tは、時刻T撮影領域水平サイズLa5405および時刻T撮影領域垂直サイズLa5406に対し、(式28)に示す関係にあるものとする。
Figure 2007013231
図18に示すフローチャートは、上記図16(a)、(b)、図17(a)、(b)に示すサブルーチンを用いて時刻T撮影領域を図14(a)の時刻T撮影領域移動経路5409に沿って移動させ、周期TCYCLE撮影領域5401内を撮影するメインルーチンを示すフローチャートである。まず、ステップ5541において、図14(a)の現時刻TNOW撮影領域5404のように、カメラの時刻T撮影範囲を周期TCYCLE撮影領域5401の右下位置に移動させる。つぎにステップ5542およびステップ5543において、水平終端位置を位置H5421として、図16(b)に示すサブルーチンを用いて位置H5421までカメラを右パン動作させる。つぎにステップ5544およびステップ5545において、垂直終端位置を位置V5431として、図17(a)に示すサブルーチンを用いて位置V5431までカメラを上チルト動作させる。つぎにステップ5546およびステップ5547において、水平終端位置を位置H5422として、図16(a)に示すサブルーチンを用いて位置H5422までカメラを左パン動作させる。つぎにステップ5548およびステップ5549において、垂直終端位置を位置V5432として、図17(a)に示すサブルーチンを用いて位置V5432までカメラを上チルト動作させる。つぎにステップ5550およびステップ5551において、水平終端位置を位置H5423として、図16(b)に示すサブルーチンを用いて位置H5423までカメラを右パン動作させ、ステップ541に戻る。このフローによれば、時刻T撮影領域を図14(a)の時刻T撮影領域移動経路5409に沿って移動させ、周期TCYCLE撮影領域5401内を撮影することができる。
なお、図18には、時刻T撮影領域を図14(a)の時刻T撮影領域移動経路5409に沿って移動させ、周期TCYCLE撮影領域5401内を撮影するフローを示したが、時刻T撮影領域を図14(b)の時刻T撮影領域移動経路5409に沿って移動させ、または、時刻T撮影領域を図15の時刻T撮影領域移動経路5409に沿って移動させ周期TCYCLE撮影領域5401内を撮影する場合には、水平および垂直終端位置の設定および図16(a)、(b)、図17(a)、(b)に示すサブルーチンの呼び出し順番を入れ変えることで撮影可能であることは自明であるので、説明を省略する。
また、水平終端位置に設定する位置H5421から位置H5423、および、垂直終端位置に設定する位置V5431から位置V5434はそれぞれ、周期TCYCLE撮影領域水平サイズLb5402、周期TCYCLE撮影領域垂直サイズLb5403、時刻T撮影領域水平サイズLa5405、時刻T撮影領域垂直サイズLa5406の関係より算出可能である。たとえば、周期TCYCLE撮影領域垂直サイズLb5403が時刻T撮影領域垂直サイズLa5406の2.8倍である場合、図14(a)の位置V5431は撮影領域垂直サイズLa5406の2倍の大きさ、図14(a)の位置V5432は撮影領域垂直サイズLa5406の2.8倍の大きさとすればよく、図14(a)の位置V5432は撮影領域垂直サイズLa5406の3倍の大きさであってもよい。図14(a)の位置V5432を撮影領域垂直サイズLa5406の3倍の大きさとした場合、時刻T撮影領域は周期TCYCLE撮影領域5401をはみ出すことになるが、周期TCYCLE撮影領域5401内はすべて撮影されるので、特に問題はない。
また、周期TCYCLE撮影領域水平サイズLb5402、周期TCYCLE撮影領域垂直サイズLb5403、時刻T撮影領域水平サイズLa5405、時刻T撮影領域垂直サイズLa5406は、前記したカメラの撮影領域位置の算出方法を用い、パン角Θ、チルト角Θ、ロール角Θ、水平画角Θおよび垂直画角Θなどから算出した周期TCYCLE撮影領域および時刻T撮影領域の4隅の位置をもとに算出することが可能である。
また、図14(a)、(b)及び図15に、3例の時刻T撮影領域移動経路5409を示したが、時刻T撮影領域移動経路5409はこれのみ限るものではない。できることなら一筆書きで、周期TCYCLE撮影領域5401内をまんべんなく撮影する経路ならよい。
また、時刻T撮影領域移動経路5409は、周期TCYCLE撮影領域水平サイズLb5402、周期TCYCLE撮影領域垂直サイズLb5403、時刻T撮影領域水平サイズLa5405、時刻T撮影領域垂直サイズLa5406の大きさにより、図14(a)、(b)及び図15などに示す時刻T撮影領域移動経路5409を選択してもよい。
また、以上の説明は全て、時刻T撮影領域よりも周期TCYCLE撮影領域が大きい場合を想定して説明している。図11(a)〜(b)によれば、時刻Tカメラ水平画角Θa≧周期TCYCLEカメラ水平画角Θb、時刻Tカメラ垂直画角Θa≧周期TCYCLEカメラ垂直画角Θbと、水平垂直方向共、周期TCYCLE撮影領域5203の画角が時刻T撮影領域5302の画角以下など、時刻T撮影領域よりも周期TCYCLE撮影領域が等しいまたは小さい場合は、時刻T撮影領域をもって周期TCYCLE撮影領域全域を一度に撮影できる。この場合、以上説明した手法により時刻T撮影領域の位置を逐次移動して撮影せず、周期TCYCLE撮影領域全域を撮影するように時刻T撮影領域の位置(パン/チルト/ロール角)および大きさ(ズーム比)を調整してやればよい。この場合、周期TCYCLE撮影領域の周期は0であり、常時周期TCYCLE撮影領域全域を撮影されている。なお、時刻T撮影領域の位置および大きさは、時刻T撮影領域をもって周期TCYCLE撮影領域全域を撮影でき、かつ、周期TCYCLE撮影領域を撮影していない時刻T撮影領域内の領域が最も少ない時刻T撮影領域の位置および大きさに調整されるべきである。
(撮影領域の形状)
つぎに、時刻T撮影領域および周期TCYCLE撮影領域の形状について説明する。図19は、時刻T撮影領域の形状を説明する図である。図19において、5301はレンズ、5302は撮像面、5303はカメラ、5313はZ軸、5321はX軸、5322はY軸、5323はZ軸、5332は時刻T撮影領域であり、これらは図13と同様である。5601は時刻T撮影領域5332に内接し、X軸5321およびY軸5322に平行な辺からなる四角形、5610から5613はそれぞれ、X軸5321における時刻T撮影領域5332の4隅の位置である、位置Xから位置X、5620から5623はそれぞれ、Y軸5322における時刻T撮影領域5332の4隅の位置である、位置Yから位置Yである。
本実施の形態では、説明を簡単にするために、時刻T撮影領域および周期TCYCLE撮影領域はX軸5321およびY軸5322に平行な辺からなる四角形としている。しかし図19に示すように、カメラ5303の時刻T撮影領域5332は、カメラ5303の撮影方向を示すZ軸5313とZ軸5323が平行でない場合、X軸5321およびY軸5322に平行でない辺からなる矩形の領域となる。このような場合、時刻T撮影領域内接四角形5601に示すような、時刻T撮影領域5332に内接し、X軸5321およびY軸5322に平行な辺からなる四角形を時刻T撮影領域とする。時刻T撮影領域内接四角形5601の4隅の位置は、図19に示すように、X軸5321における時刻T撮影領域5332の4隅の位置である位置X5620から位置X5623、Y軸5322における時刻T撮影領域5332の4隅の位置である位置Y5630から位置Y5633それぞれの大小関係によって求めることができる。位置X5620から位置X5623の内の2番目および3番目に大きな位置、位置Y5630から位置Y5633の内の2番目および3番目に大きな位置が、時刻T撮影領域内接四角形5601の4隅の位置である。なお、時刻T撮影領域内接四角形5601は、上記のような求め方の四角形でなくても、時刻T撮影領域5332に内接し、X軸5321およびY軸5322に平行な辺からなる四角形であればよい。また、位置X5620から位置X5623、および、位置Y5630から位置Y5633は、前記したカメラの撮影領域位置の算出方法を用い、パン角Θ、チルト角Θ、ロール角Θ、水平画角Θおよび垂直画角Θなどから算出することが可能である。
図20は、周期TCYCLE撮影領域の形状を説明する図である。図20において、5321はX軸、5322はY軸、5332は時刻T撮影領域であり、これらは図13と同様である。5630は周期TCYCLE撮影領域、5631は周期TCYCLE撮影領域5630に内接し、X軸5321およびY軸5322に平行な辺からなる四角形、5640から5643はそれぞれ、X軸5321における周期TCYCLE撮影領域5630の4隅の位置である、位置Xから位置X、5650から5653はそれぞれ、Y軸5322における周期TCYCLE撮影領域5630の4隅の位置である、位置Yから位置Yである。図20に示すように、時刻T撮影領域5332と同様に、周期TCYCLE撮影領域5630も、X軸5321およびY軸5322に平行でない辺からなる矩形の領域となることがある。このような場合、周期TCYCLE撮影領域内接四角形5631に示すような、周期TCYCLE撮影領域5630に内接し、X軸5321およびY軸5322に平行な辺からなる四角形を周期TCYCLE撮影領域とする。
周期TCYCLE撮影領域内接四角形5631の4隅の位置は、図20に示すように、X軸5321における周期TCYCLE撮影領域5630の4隅の位置である位置X5640から位置X5643、Y軸5322における周期TCYCLE撮影領域5630の4隅の位置である位置Y5650から位置Y5653それぞれの大小関係によって求めることができる。位置X5640から位置X5643の内の2番目および3番目に大きな位置、位置Y5650から位置Y5653の内の2番目および3番目に大きな位置が、周期TCYCLE撮影領域内接四角形5631の4隅の位置である。なお、周期TCYCLE撮影領域内接四角形5631は、上記のような求め方の四角形でなくても、周期TCYCLE撮影領域5630に内接し、X軸5321およびY軸5322に平行な辺からなる四角形であればよい。また、位置X5640から位置X5643、および、置Y5650から位置Y5653は、前記したカメラの撮影領域位置の算出方法を用い、パン角Θ、チルト角Θ、ロール角Θ、水平画角Θおよび垂直画角Θなどから算出することが可能である。
(隣接する撮影領域)
つぎに、隣接する撮影領域について説明する。隣接する撮影領域とは、当該撮影領域に対し上下左右などの各方向に最も近い他撮影領域のことである。当該撮影領域に対し隣接する撮影領域を求めるため手順を以下に説明する。
まず、当該撮影領域に対し他撮影領域がどの方向に存在するかを判定する。この判定のために、図21に示す判定方法を利用する。図21は領域判定方法を説明する図である。図21において、5701は座標(X,Y)に存在する点A、5702は座標(X,Y)に存在する点B、5703は点A5701および点B5702を通る直線AB、5704は直線AB5703により分割される図面右上の領域A、5705は直線AB5703により分割される図面右上の領域Bである。図21において、座標(X,Y)に存在するある点Zが領域A5704に存在するのであれば、(式29)が成り立つ。また、点Zが領域B5705存在するのであれば、(式30)が成り立つ(なお、点Zが直線AB5703上に存在する場合は領域B5705存在するとしている)。両式を評価すれば点Zが領域A5704または領域B5705のどちらに存在するか判定できる。
そこで上記方法を利用し、他撮影領域の重心点(撮影領域の各頂点位置の平均値)を上記点Zとし、当該撮影領域に対しどの方向にあるかを判定する。図22(a)、(b)、(c)及び(d)は、当該撮影領域に対し他撮影領域がどの方向に存在するかを判定する方法を説明する図である。図22において、5801は周期TCYCLE撮影領域であり、当該撮影領域に該当する。5802は座標(X,Y)に存在する周期TCYCLE撮影領域5801の1つ目の頂点A、5803は座標(X,Y)に存在する周期TCYCLE撮影領域5801の2つ目の頂点B、5804は座標(X,Y)に存在する周期TCYCLE撮影領域5801の3つ目の頂点C、5805は座標(X,Y)に存在する周期TCYCLE撮影領域5801の4つ目の頂点D、5806は当該撮影領域に該当する周期TCYCLE撮影領域5801の上方向の領域A、5807は当該撮影領域に該当する周期TCYCLE撮影領域5801の右方向の領域B、5808は当該撮影領域に該当する周期TCYCLE撮影領域5801の下方向の領域C、5809は当該撮影領域に該当する周期TCYCLE撮影領域5801の左方向の領域Dである。
Figure 2007013231
Figure 2007013231
図21に示す判定方法を用いれば、図22(a)において、(式29)および(式31)が成り立てば、他撮影領域の重心点である点Zは領域A5806に存在し、同他撮影領域は当該撮影領域の上方向に存在すると判定する。また、(式29)および(式32)が成り立てば、他撮影領域の重心点である点Zは領域B5807に存在し、同他撮影領域は当該撮影領域の右方向に存在すると判定する。また、(式30)および(式32)が成り立てば、他撮影領域の重心点である点Zは領域C5808に存在し、同他撮影領域は当該撮影領域の下方向に存在すると判定する。最後に、(式30)および(式31)が成り立てば、他撮影領域の重心点である点Zは領域D5809に存在し、同他撮影領域は当該撮影領域の左方向に存在すると判定する。
Figure 2007013231
Figure 2007013231
つぎに、方向毎に最も距離が近い他撮影領域を同方向に対する隣接撮影領域とする。上記手順で判定し存在するある方向の他撮影領域が1つであれば、それを同方向に対する隣接撮影領域とし、複数であれば、他撮影領域の重心点から当該撮影領域の重心点までの距離が最も小さい他撮影領域を隣接撮影領域とする。
以上で、当該撮影領域に対し隣接する撮影領域を求める手順の説明を終える。以上の手順では、判定に用いる点Zを他撮影領域の重心点として説明したが、点Zは他撮影領域の視点であってもよい。同様に、他撮影領域の重心点から当該撮影領域の重心点までの距離は、他撮影領域の視点から当該撮影領域の視点までの距離であってもよい。
また、上記手順の説明は、図22(a)に示すように領域を上下左右に分け、それぞれの隣接撮影領域を求める手順を示したが、図22(b)に示すように、周期TCYCLE撮影領域5801の各頂点を通る直線(図22においは破線で図示)により領域を上下左右、左上、右上、右下、左下に分けても、それぞれの隣接撮影領域を求めることは可能であることは言うまでもない。さらに、上記手順の説明は、図22(a)に示すように周期TCYCLE撮影領域5801を平面としたが、図22(c)及び(d)に示すように、周期TCYCLE撮影領域5801を立体としても、同様に、隣接撮影領域を求めることは可能であることは言うまでもない。
なお、上記手順では、隣接する撮影領域とは、当該撮影領域に対し上下左右などの各方向に最も近い他撮影領域のことであると説明したが、これらは、当該撮影領域の各辺の部分領域毎に行うべきである。そして、辺の各部分領域で選択された隣接する他撮影領域の内、最も距離の遠い他撮影領域を最終的な隣接する撮影領域とすべきである。このことを図23に示す周期TACYCLE撮影領域5901の上辺と右辺の例をもって以下に説明する。周期TACYCLE撮影領域5901の上辺(上方向)において、上記手順によれば、部分領域U1では周期TBCYCLE撮影領域5902が、部分領域U2では周期TBCYCLE撮影領域5902が(周期TBCYCLE撮影領域5902は周期TCCYCLE撮影領域5903より距離が近い)、部分領域U3では周期TCCYCLE撮影領域5903が隣接する撮影領域と判定される。ここで、各部分領域U1〜U3において最も距離の遠い他撮影領域は周期TCCYCLE撮影領域5903であるので、最終的な隣接する撮影領域として周期TCCYCLE撮影領域5903を選択する。これは、周期TACYCLE撮影領域5901の上辺と周期TCCYCLE撮影領域5903の下辺が重複するように調整されれば、周期TACYCLE撮影領域5901の上辺に対しては死角なく撮影対象領域121を撮影できるためである。また、周期TACYCLE撮影領域5901の右辺(右方向)においては、上記手順によれば、部分領域R1では周期TDCYCLE撮影領域5904が、部分領域R2では撮影対象外領域122が(後述する実施の形態1において詳しく説明するが、本発明においては、隣接する撮影領域がない場合には撮影対象外領域を選択する)、部分領域R3では周期TECYCLE撮影領域5905が隣接する撮影領域と判定される。ここで、各部分領域R1〜R3において最も距離の遠い他撮影領域は撮影対象外領域122であるので、最終的な隣接する撮影領域として撮影対象外領域122を選択する。これは、周期TACYCLE撮影領域5901の右辺と撮影対象領域境界5910が重複するように調整されれば、周期TACYCLE撮影領域5901の右辺に対しては死角なく撮影対象領域121を撮影できるためである。
以上、カメラの撮影領域、検出対象と周期TCYCLE撮影領域の関係、カメラの周期TCYCLE撮影領域の大きさ、周期TCYCLE撮影領域を撮影するカメラの画角およびパンおよびチルト、カメラの撮影領域位置、周期TCYCLE撮影領域の撮影方法、撮影領域の形状、隣接する撮影領域、領域分割について説明した。これを前提とし、以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
まず、本発明の実施の形態1について説明する。本実施の形態では、各カメラ端末のカメラの周期TCYCLE撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように各カメラ端末のカメラの周期TCYCLE撮影領域の位置が自動調整される撮影領域調整装置に関し、図24から図29を用いて説明する。
まず、本実施の形態における撮影領域調整装置の構成要素について説明する。図24(a)は、本実施の形態における撮影領域調整装置の構成ブロック図である。この撮影領域調整装置は、カメラ端末A101A〜カメラ端末C101C、操作端末102、及び、各カメラ端末101A〜101Cおよび操作端末102間の通信時に利用されるネットワーク103から構成される。なお、図24において、領域や同領域の位置を表現するために、お互い直交するX軸110、Y軸111、およびZ軸112を定める。113は各カメラ端末101A〜101Cが存在する実空間上の面、例えば各カメラ端末101A〜101Cが天井から下向きに設定させている場合は、床などの面であり、本実施の形態においては、Z軸112=0の面とし、各種領域および同領域の位置はこの面を用いて表現する。実空間面113上において、周期TACYCLE撮影領域120Aはカメラ端末A101Aが周期TACYCLEに周期的に撮影する領域、周期TBCYCLE撮影領域120Bはカメラ端末B101Bが周期TBCYCLEに周期的に撮影する領域、周期TCCYCLE撮影領域120Cはカメラ端末C101Cが周期TCCYCLEに周期的に撮影する領域、撮影対象領域121は本発明における撮影を対象とする領域、撮影対象外領域122は撮影対象領域121以外の領域である。
図24(b)は、図24(a)に示した本実施の形態における撮影領域調整装置の実空間面113上における、各撮影領域位置を詳細に示す図である。図24(b)において、X軸110、Y軸111、周期TACYCLE撮影領域120A、周期TBCYCLE撮影領域120B、周期TCCYCLE撮影領域120C、撮影対象領域121および撮影対象外領域122は、図24(a)と同様である。
130AL、130AR、130AUおよび130ABはそれぞれ、周期TACYCLE撮影領域120Aの左端XAL、右端XAR、上端YAUおよび下端YAB位置である。つまり、周期TACYCLE撮影領域120Aは、XAL130AL、XAR130AR、YAU130AUおよびYAB130ABに囲まれた領域であり、これらを用いて周期TACYCLE撮影領域120Aの位置を表現する。130BL、130BR、130BUおよび130BBはそれぞれ、周期TBCYCLE撮影領域120Bの左端XBL、右端XBR、上端YBUおよび下端YBB位置である。つまり、周期TBCYCLE撮影領域120Aは、XBL130BL、XBR130BR、YBU130BUおよびYBB130BBに囲まれた領域であり、これらを用いて周期TBCYCLE撮影領域120Bの位置を表現する。130CL、130CR、130CUおよび130CBはそれぞれ、周期TCCYCLE撮影領域120Cの左端XCL、右端XCR、上端YCUおよび下端YCB位置である。つまり、周期TCCYCLE撮影領域120Aは、XCL130CL、XCR130CR、YCU130CUおよびYCB130CBに囲まれた領域であり、これらを用いて周期TCCYCLE撮影領域120Cの位置を表現する。131TL、131TR、131TUおよび131TBはそれぞれ、撮影対象領域121の左端XTL、右端XTR、上端YTUおよび下端YTB位置である。つまり、撮影対象領域121は、XTL131TL、XTR131TR、YTU131TUおよびYTB131TBに囲まれた領域であり、撮影対象外領域122は、XTL131TL、XTR131TR、YTU131TUおよびYTB131TBに囲まれた領域以外の領域であり、これらを用いて撮影対象領域121および撮影対象外領域122の位置を表現する。
また、周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bが重複する、XBL130BL、XAR130AR、YBU130BUおよびYAB130ABに囲まれる領域は、カメラ端末A101Aおよびカメラ端末B101Bがそれぞれ重複して撮影する領域であり、同領域を撮影重複領域ABとする。同領域のX軸110方向の大きさはXAR−XBLである。周期TBCYCLE撮影領域120Bおよび周期TCCYCLE撮影領域120Cが重複する、XCL130CL、XBR130BR、YCU130CUおよびYBB130BBに囲まれる領域は、カメラ端末B101Bおよびカメラ端末C101Cがそれぞれ重複して撮影する領域であり、同領域を撮影重複領域BCとする。同領域のX軸110方向の大きさはXBR−XCLである。撮影対象外領域122と周期TACYCLE撮影領域120Aが重複する領域において、XAL130AL、XTL131TL、YAU130AUおよびYAR130ABに囲まれる領域を、撮影対象外重複領域ALとする。同領域のX軸110方向の大きさはXTL−XALである。撮影対象外領域122と周期TCCYCLE撮影領域120Cが重複する領域において、XTR131TR、XCR130CR、YCU130CUおよびYCB130CBに囲まれる領域を、撮影対象外重複領域CRとする。同領域のX軸110方向の大きさはXCR−XTRである。撮影対象外領域122と周期TACYCLE撮影領域120Aが重複する領域において、XAL130AL、XAR130AR、YAU130AUおよびYTU131TUに囲まれる領域を、撮影対象外重複領域AUとする。同領域のY軸111方向の大きさはYTU−YAUである。撮影対象外領域122と周期TACYCLE撮影領域120Aが重複する領域において、XAL130AL、XAR130AR、YTB131TBおよびYAB130ABに囲まれる領域を、撮影対象外重複領域ABとする。同領域のY軸111方向の大きさはYAB−YTBである。撮影対象外領域122と周期TBCYCLE撮影領域120Bが重複する領域において、XBL130BL、XBR130BR、YBU130BUおよびYTU131TUに囲まれる領域を、撮影対象外重複領域BUとする。同領域のY軸111方向の大きさはYTU−YBUである。撮影対象外領域122と周期TBCYCLE撮影領域120Bが重複する領域において、XBL130BL、XBR130BR、YTB131TBおよびYBB130BBに囲まれる領域を、撮影対象外重複領域BBとする。同領域のY軸111方向の大きさはYBB−YTBである。撮影対象外領域122と周期TCCYCLE撮影領域120Cが重複する領域において、XCL130CL、XCR130CR、YCU130CUおよびYTU131TUに囲まれる領域を、撮影対象外重複領域CUとする。同領域のY軸111方向の大きさはYTU−YCUである。撮影対象外領域122と周期TCCYCLE撮影領域120Cが重複する領域において、XCL130CL、XCR130CR、YTB131TBおよびYCB130CBに囲まれる領域を、撮影対象外重複領域CBとする。同領域のY軸111方向の大きさはXCB−XTBである。
図25は、図24(a)における各カメラ端末101A〜101Cの構成ブロック図である。カメラ端末101A〜101Cは、カメラ201、カメラ201の撮影領域位置を調整する処理部である調整部A202、ネットワーク103を介してカメラ201の撮影領域位置を通信する通信部203を備える。レンズ211は、像を結像させるレンズであり、撮像面212はレンズ211で結像した像を撮影するCCDなどの撮像面、画像処理部213は撮像面212で撮影した画像を処理する処理部、姿勢制御部214はレンズ211および撮像面212の姿勢、および、レンズ211と撮像面212の間隔を制御する処理部、周期撮影制御部215は姿勢制御部214に周期的な姿勢制御信号を送ることにより、カメラ201が周期TCYCLEに周期TCYCLE撮影領域を撮影するように制御する処理部である。カメラ201はこれらレンズ211、撮像面212、画像処理部、213、姿勢制御部214、周期撮影制御部215から構成されている。なお、姿勢制御部214が行う、レンズ211および撮像面212の姿勢の制御とは、一般的にパンやチルトと呼ばれる制御であり、レンズ211および撮像面212は連動して、ある点または軸を中心に回転される。また、姿勢制御部214が行う、レンズ211および撮像面212の間隔の制御とは、一般的にズームと呼ばれる制御であり、レンズ211および撮像面212の間隔が増減することにより、カメラ201の画角が調整される。
より詳しくは、カメラ201は、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラである。
通信部203は、仮想撮影領域を示す仮想撮影領域情報を送受信する通信インターフェースである。
調整部A202は、自カメラ端末の仮想撮影領域と通信部203によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、複数のカメラ端末A〜Cの仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する処理部である。
図26は、図24(a)における操作端末102の構成ブロック図である。操作端末102は、撮影対象領域121の位置であるXTL131TL、XTR131TR、YTU131TUおよびYTB131TBを入力する入力部301、入力部301から入力した撮影対象領域121の位置を記憶する記憶部302、図24における通信部203と同様の通信部であって、ネットワーク103を介して記憶部302に記録された撮影対象領域121の位置を通信する通信部203を備える。なお、予め記憶部302に撮影対象領域121の位置が記録されているのであれば、入力部301は必要としない。
つぎに、本実施の形態における撮影領域調整装置の動作を説明する。各カメラ端末101A〜101Cの構成要素であるカメラ201は、図25に示す内部構成をもつ。カメラ201では、レンズ211により結像した像を撮像面212で画像信号に変換し、画像処理部213において一般的な画像処理技術や画像認識技術などにより、同画像信号から検出対象の検出や情報抽出が行う。このようにカメラ201は実空間に対しレンズ211および撮像面212の姿勢およびそれぞれの間隔により決定する自身の時刻T撮影領域を検出領域とした、検出対象の検出や情報抽出などの検出動作を行う。なお、上記した一般的な画像処理技術や画像認識技術としては広く知られている背景差分法や動差分法などが挙げられる。また、後述するが、カメラ201は周期撮影制御部215により、周期TCYCLEに周期TCYCLE撮影領域を撮影する。このため、カメラ201は実空間に対し周期撮影制御部215により決定する自身の周期TCYCLE撮影領域を検出領域とした、検出対象の検出や情報抽出などの検出動作を行うことになる。検出した検出対象の情報は通信部203に送られる。
更に、カメラ201では、姿勢制御部214が、レンズ211および撮像面212の姿勢、または、レンズ211および撮像面212の間隔を制御することにより、カメラ201の時刻T撮影領域の位置を、周期撮影制御部215が指示する姿勢制御信号により時刻T撮影領域の位置に移動させる。また、姿勢制御部214は、時刻Tのレンズ211および撮像面212の姿勢または間隔から決定するカメラ201の時刻T撮影領域の位置情報を取得するとともに、それを周期撮影制御部215に送る。このように、カメラ201の時刻T撮影領域の位置は周期撮影制御部215により制御されると共に、時刻Tにおけるカメラ201の時刻T撮影領域の位置情報は周期撮影制御部215に送られる。なお、時刻Tにおけるレンズ211および撮像面212の姿勢または間隔から決定するカメラ201の時刻T撮影領域の位置を算出する方法については、前記、カメラの撮影領域位置において説明した。また、レンズ211および撮像面212の姿勢および間隔は、例えばステッピングモーターなどを用いれば変化させることが可能であり、また、その時刻Tにおける姿勢および間隔も読み取り可能である。
周期撮影制御部215は、前記、周期TCYCLE撮影領域の撮影方法に説明した方法にもとづき、姿勢制御部214から送られる時刻T撮影領域の位置情報、および、調整部A202から指示される周期TCYCLEカメラパン角Θbおよび周期TCYCLEカメラチルト角Θbおよび周期TCYCLEカメラ水平画角Θbおよび周期TCYCLEカメラ垂直画角Θbをもとに、姿勢制御部214にパン速度Vおよびチルト速度Vなどの姿勢制御信号を送ることにより、カメラ201の時刻T撮影領域の位置を制御し、カメラ201を、周期TCYCLE撮影領域を撮影する周期TCYCLEカメラとして動作させる。なお、周期TCYCLE撮影領域の撮影方法に説明したように、周期TCYCLE撮影領域を撮影するには、調整部A202から指示される周期TCYCLEカメラパン角Θbおよび周期TCYCLEカメラチルト角Θbおよび周期TCYCLEカメラ水平画角Θbおよび周期TCYCLEカメラ垂直画角Θbのほかに、周期TCYCLE撮影領域を撮影するには、時刻T撮影領域位置の算出に必要な時刻Tカメラ水平画角Θaおよび時刻Tカメラ垂直画角Θa、パン速度VP_CONST、チルト速度VT_CONST、撮影間隔Tが必要である。本実施の形態では、これら値はあらかじめ決定された固定値とし、たとえば、これらの値は記憶手段などに記録されているものとして、それらの値は周期撮影制御部215に送られているものとする。なお、これらの値は、操作端末102から指示されてもよい。また、周期撮影制御部215は、カメラ201の周期TCYCLE撮影領域の位置情報を調整部A202に送る。なお、周期TCYCLE撮影領域の位置を算出する方法については、前記、カメラの撮影領域位置において説明した。
調整部A202は、周期撮影制御部215から送られたカメラ201の周期TCYCLE撮影領域の位置情報を通信部203およびネットワーク103を介して、周期的に他カメラ端末の調整部A202に送信する。また、調整部A202は、他カメラ端末の調整部A202から周期的に送信される他カメラ端末におけるカメラ201の周期TCYCLE撮影領域の位置情報を受信する。更に、操作端末102の通信部203は撮影対象領域121の位置情報を、ネットワーク103を介して、各カメラ端末101A〜101Cの調整部A202に周期的に送信する。
このため、各カメラ端末101A〜101Cにおいて、調整部A202は、自カメラ端末および他カメラ端末のカメラ201における周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報を周期的に取得することになり、本実施の形態においては、各調整部A202は、カメラ端末101Aの周期TACYCLE撮影領域120Aの位置であるXAL130AL、XAR130AR、YAU130AUおよびYAB130AB、カメラ端末101Bの周期TBCYCLE撮影領域120Bの位置であるXBL130BL、XBR130BR、YBU130BUおよびYBB130BB、カメラ端末101Cの周期TCCYCLE撮影領域120Cの位置であるXCL130CL、XCR130CR、YCU130CUおよびYCB130CB、撮影対象領域121の位置であるXTL131TL、XTR131TR、YTU131TUおよびYTB131TBを通信部203およびネットワーク103を介して周期的に取得する。
更に、調整部A202は取得した上記周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報(撮影対象外領域122の位置情報でもある)をもとに、図27に示す以下のステップの処理を行う。
まずステップ401において、自カメラ端末および他カメラ端末のカメラ201の周期TCYCLE撮影領域位置を示す情報より、自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域または撮影対象外領域122を選択する。自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域の選択方法は隣接する撮影領域において説明した。もし、隣接する撮影領域において説明した選択方法において、隣接する撮影領域が存在しない場合は、隣接する撮影対象領域を撮影対象外領域122とする。このため、カメラ端末A101Aにおいては、左隣および上隣および下隣として撮影対象外領域122、右隣として周期TBCYCLE撮影領域120B、カメラ端末B101Bにおいては、左隣として周期TACYCLE撮影領域120A、上隣および下隣として撮影対象外領域122、右隣として周期TCCYCLE撮影領域120C、カメラ端末C101Cにおいては、左隣として周期TBCYCLE撮影領域120B、上隣および下隣および右隣として撮影対象外領域122が選択される。
つぎにステップ402において、ステップ401で選択した撮影領域と自カメラ端末の撮影領域が重複した領域である重複領域の大きさを示す量を算出する。この算出方法は、図24(b)に示すとおり、選択した撮影領域位置および自カメラ端末の撮影領域位置の大小関係により簡単に算出可能である。このため、カメラ端末A101Aにおいては、左隣の重複領域である撮影対象外重複領域ALの大きさを示す量XTL−XAL、右隣の重複領域である撮影重複領域ABの大きさを示す量XAR−XBL、上隣の重複領域である撮影対象外重複領域AUの大きさを示す量YTU−YAU、下隣の重複領域である撮影対象外重複領域ABの大きさを示す量YAB−YTB、カメラ端末B101Bにおいては、左隣の重複領域である撮影重複領域ABの大きさを示す量XAR−XBL、右隣の重複領域である撮影重複領域BCの大きさを示す量XBR−XCL、上隣の重複領域である撮影対象外重複領域BUの大きさを示す量YTU−YBU、下隣の重複領域である撮影対象外重複領域BBの大きさを示す量YBB−YTB、カメラ端末C101Cにおいては、左隣の重複領域である撮影重複領域BCの大きさを示す量XBR−XCL、右隣の重複領域である撮影対象外重複領域CRの大きさを示す量XCR−XTR、上隣の重複領域である撮影対象外重複領域CRの大きさを示す量YTU−YCU、下隣の重複領域である撮影対象外重複領域CBの大きさを示す量YCB−YTBが算出される。
つぎにステップ403において、ステップ402で算出した重複領域の大きさを示す量を、一定の量COVERLAPに近づくように自カメラ端末の撮影領域位置を調整する。この調整方法を以下に説明する。まず、重複領域の大きさを示す量と0以上の一定量COVERLAPとの差を示す量として関数FA()を定める。本実施の形態では、(式33)〜(式35)に示すものを同関数とする。
Figure 2007013231
Figure 2007013231
Figure 2007013231
(式33)〜(式35)はそれぞれ、カメラ端末A101Aからカメラ端末C101Cに対するものであり、重複領域の大きさを示す量と一定量Cとの差の2乗値を、それぞれの差を示す量としている。つぎに、(式36)〜(式38)に示すように一般に知られている最急降下法の式を用いて、自カメラ端末の次回の撮影領域位置を算出する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
(式36)〜(式38)において、X’AL、X’AR、Y’AU、Y’AB、X’BL、X’BR、Y’BU、Y’BB、X’CL、X’CR、Y’CU、Y’CBはそれぞれ、次回の各カメラ端末の周期TCYCLE撮影領域の位置を示し、αは定数である。
最後に同周期TCYCLE撮影領域位置にそれぞれ、カメラ端末A101Aからカメラ端末C101Cの周期TCYCLE撮影領域位置を調整する。なお、上記手法では、カメラ端末A101Aにおいては、周期TACYCLE撮影領域120Aの位置であるXAL130ALおよびXAR130ARおよびXAU130AUおよびXAB130ABがそれぞれ独立に調整可能である必要がある。カメラ端末B101Bおよびカメラ端末C101Cついても同様である。独立に調整することができない場合には、それぞれ独立に調整できない項目の関数FA()を線形に加算した関数を定義し、同関数に対し最急降下法を用いればよい。たとえば、本実施の形態におけるカメラ201では、関数G()を(式39)〜(式41)に示すものとし、(式42)〜(式44)に示す最急降下法の式を用いれば上記調整と同様な調整が行えることができる。上記式において、ΘbPAおよびΘbTA,ΘbPBおよびΘbTB、ΘbPCおよびΘbTCはそれぞれ、各カメラ端末A101Aからカメラ端末C101Cの周期TCYCLEカメラパン角および周期TCYCLEカメラチルト角、ΘbHAおよびΘbVA,ΘbHBおよびΘbVB、ΘbHCおよびΘbVCはそれぞれ、各カメラ端末A101Aからカメラ端末C101Cの周期TCYCLEカメラ水平画角および周期TCYCLEカメラ垂直画角である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
調整部A202はステップ401、ステップ402、ステップ403の処理を順次行い、ステップ403の処理終了後にステップ401の処理に戻る。そして、調整部A202では、絶えずステップ401からステップ403の処理を繰り返しながら、上記式により算出した周期TCYCLEカメラパン角Θb’PA(またはΘb’PBまたはΘb’PC)、および、周期TCYCLEカメラチルト角Θb’TA(またはΘb’TBまたはΘb’TC)、および、周期TCYCLEカメラ水平画角Θb’HA(またはΘb’HBまたはΘb’HC)、および、周期TCYCLEカメラ垂直画角Θb’VA(またはΘb’VBまたはΘb’VC)の更新値を周期撮影制御部215に送り、カメラ201の周期TCYCLE撮影領域の位置を調整する。
本実施の形態における撮影領域調整装置の動作は以上のとおりであり、ステップ403において重複領域の大きさを示す量を0以上の一定量COVERLAPに近づくよう最急降下法の式を用いて自カメラ端末の次回の周期TCYCLE撮影領域位置を算出し、同次回の周期TCYCLE撮影領域位置にカメラ201の周期TCYCLE撮影領域位置を調整するため、各カメラ端末101A〜101Cの周期TCYCLE撮影領域である周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bおよび周期TCCYCLE撮影領域120Cおよび撮影対象外領域122はお互い、ステップ401からステップ403の処理を繰り返すことにより、0以上の一定量COVERLAPの大きさで重複することになる。図24に示すように、撮影対象外領域122を含め、各カメラ端末の周期TCYCLE撮影領域がそれぞれ0以上の一定量COVERLAPの大きさで重複すれば、撮影対象領域121は各カメラ端末の周期TCYCLE撮影領域の和した領域に包括されるので、本発明の撮影領域調整装置は、各カメラ端末101A〜101Cを用いて撮影対象領域121を死角なく撮影することができる。
また、調整部A202が、ステップ401からステップ403の処理を繰り返すことにより、撮影対象領域121を死角なく撮影するという効果を得ている。この繰り返し行われる処理のステップ402およびステップ403の処理は、ステップ401において選択した自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラの周期TCYCLE撮影領域および撮影対象外領域122に対して行われる。
このため、各時刻において自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラの周期TCYCLE撮影領域の位置または撮影対象外領域122の位置(撮影対象領域121の位置でもある)に変化が生じたとしても、その変化に対応して、撮影対象領域121を死角なく撮影するという効果を得ることができる。上記周期TCYCLE撮影領域または撮影対象領域121の位置に変化が生ずる場合としては、
(1)カメラ端末の周期TCYCLE撮影領域が意図的に変更される、
(2)カメラ端末が新設される、
(3)各カメラ端末のうち幾つかのカメラ端末が取り除かれる、または故障する、
(4)操作端末から送信する撮影対象領域の位置が変更される、
が挙げられる。これら変化により、各カメラ端末が送信する周期TCYCLE撮影領域位置や操作端末が送信する撮影対象領域位置が変化する、または、送信されない、新たな周期TCYCLE撮影領域位置が送信されたとしても、本発明の撮影領域調整装置は、周期TCYCLE撮影領域位置または撮影対象領域位置の変化に応じ、各カメラ端末を用いて撮影対象領域を死角なく撮影することができる。
なお、本実施の形態では、重複領域の大きさを示す量と0以上の一定量COVERLAPとの差を示す関数FA()を、(式33)〜(式35)に示すように、重複領域の大きさを示す量と一定量COVERLAPとの差の2乗値としたが、図28に示すように、関数FA()を重複領域の大きさを示す量と一定量COVERLAPとの差の4乗値、6乗値、10乗値などのような差の偶数乗値や、関数FA()を重複領域の大きさを示す量と一定量COVERLAPとの差の絶対値としても、これら関数FA()はXAL−XTLがCOVERLAPの時において最小値をもつために、ステップ403で行う最急降下法の効果により重複領域の大きさを示す量が一定量COVERLAPに近づくので、同様の効果を得られることは言うまでもない。
また、重複領域の大きさを示す量と0以上の一定量COVERLAPとの差を示す関数FA()が図29で示すような、XAL−XTLがCOVERLAPの時において最小値ではなく極小値もつ関数FA()であったとしても、XAL−XTLの変化が可能な範囲においてXAL−XTLがCOVERLAPの時に最小値となる関数FA()であれば、同様の効果を得られることは言うまでもない。
また、本実施の形態では、図25に示すように、調整部A202が各カメラ端末A101Aからカメラ端末C101Cに分散して存在しているが、調整部A202が1つしか存在せず、一つしか存在しない調整部A202が、各カメラ端末A101Aからカメラ端末C101Cのカメラ201の周期TCYCLE撮影領域位置を全て調整するのであれば、同様の効果を得られることは言うまでもない。
また、本実施の形態では、ネットワーク103を、一般的な通信時に利用されるネットワーク回線として取り扱っているが、同ネットワーク103は有線または無線のネットワークであっても、同様の効果を得られることは言うまでもない。
また、本実施の形態では、左右上下隣の重複領域の大きさを共通の一定量COVERLAPに調整したが、左右上下隣別々の一定量COVERLAPに調整しても、さらに言えば、各カメラ端末A101Aからカメラ端末C101C別々の一定量COVERLAPに調整したとしても、各一定量COVERLAPが0以上であれば、同様の効果を得られることは言うまでもない。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。本実施の形態では、各カメラ端末のカメラの周期TCYCLE撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように各カメラ端末のカメラの周期TCYCLE撮影領域の位置が自動調整され、さらに、各カメラ端末のカメラの周期TCYCLE撮影領域を再割り当てすることにより、所定の撮影対象領域を効率良く撮影する撮影領域調整装置に関し、図30から図37を用いて説明する。つまり、本実施の形態では、撮影領域調整装置を構成する複数のカメラ端末のそれぞれが、複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整機能と、複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれをN個のカメラ端末に割り当てる領域分割機能とを備えることを特徴とする撮影領域調整装置について説明する。
本実施の形態ではアスペクト比と呼ばれるものを説明に用いる。そこでまず始めに、このアスペクト比について説明する。本実施の形態における撮影領域のアスペクト比とは、時刻T撮影領域または周期TCYCLE撮影領域の縦横比であり、これは一般的に言われるアスペクト比と同じである。そして、図11(a)および図11(b)によれば、このアスペクト比はカメラの水平画角と垂直画角の比としても表現できる。そこで、本実施の形態1では、周期TCYCLE撮影領域のアスペクト比を周期TCYCLEカメラ水平画角Θb/周期TCYCLEカメラ垂直画角Θb、時刻T撮影領域のアスペクト比を時刻Tカメラ水平画角Θa/時刻Tカメラ垂直画角Θaと表現する。
つぎに、各カメラ端末のカメラの周期TCYCLE撮影領域を再割り当てすることにより、所定の撮影対象領域が効率良く撮影できることについて、図30および図31を用い、いくつかの例を挙げて説明する。
図30(a)および図30(b)に示す例は、各カメラ端末が撮影する周期TACYCLE撮影領域2101および周期TBCYCLE撮影領域2102および周期TCCYCLE撮影領域2103により撮影対象領域121は既にくまなく撮影されている状態となっており、この状態で、周期TDCYCLE撮影領域2104を撮影するカメラ端末が実施の形態1で説明した動作により自身が撮影する周期TCYCLE撮影領域の位置を調整する例を示している。
図30(a)に示す例においては、前記隣接する撮影領域おいて説明した隣接する撮影領域の選択方法によれば、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、上方向に隣接する周期TCYCLE撮影領域として周期TACYCLE撮影領域2101を、下方向に隣接する周期TCYCLE撮影領域として周期TBCYCLE撮影領域2102を選択する。そして、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、同図の矢印が示すように、周期TDCYCLE撮影領域2104の上辺が周期TACYCLE撮影領域2101の下辺方向に、周期TDCYCLE撮影領域2104の下辺が周期TBCYCLE撮影領域2101の上辺方向にと、隣接するとして選択された周期TCYCLE撮影領域と重複するように周期TDCYCLE撮影領域2104の位置を調整する。その結果、図30(a)に示す例では、周期TDCYCLE撮影領域2104が消滅してしまう結果となる。
また、図30(b)に示す例においては、前記隣接する撮影領域おいて説明した隣接する撮影領域の選択方法によれば、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、上および右方向に隣接する周期TCYCLE撮影領域として撮影対象外領域122、下方向に隣接する周期TCYCLE撮影領域として周期TBCYCLE撮影領域2102、左方向に隣接する周期TCYCLE撮影領域として周期TCCYCLE撮影領域2103と、周期TACYCLE撮影領域2101を撮影するカメラ端末が選択する隣接する周期TCYCLE撮影領域と全く同じくものを選択する。そして、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、この隣接するとして選択された周期TCYCLE撮影領域と重複するように、周期TDCYCLE撮影領域2104の位置を調整する。この結果、図30(b)に示す例では、周期TDCYC LE撮影領域2104は周期TACYCLE撮影領域2101と全く同じ位置に調整され、同じ周期TCYCLE撮影領域全域を重複して撮影してしまう結果となる。
そこで、図30(a)および図30(b)に示すような周期TACYCLE撮影領域2101内に周期TDCYCLE撮影領域2104が内包されている場合、周期TACYCLE撮影領域2101を2分割し、分割したそれぞれの領域を周期TACYCLE撮影領域2101または周期TDCYCLE撮影領域2104とすることにより、図30(a)および図30(b)に示すような結果となることを防ぐことができる。これにより、周期TDCYCLE撮影領域2104も含めた各周期TCYCLE撮影領域をもって撮影対象領域121をくまなく撮影することができ、その結果、各周期TCYCLE撮影領域の大きさが小さく、つまり、各周期TCYCLE撮影領域の撮影周期が短くなり、短時間で撮影対象領域121を撮影することができる。より短時間で撮影対象領域を撮影できることは監視用途などに用いられる本発明の撮影領域調整装置において理想的であり、撮影対象領域121を効率良く撮影できる言える。
また、図31(a)および図31(b)に示す例は、各カメラ端末が撮影する周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bにより撮影対象領域121は既にくまなく撮影されている状態となっており、このうち周期TACYCLE撮影領域120Aを時刻T撮影領域2001で撮影する例を示している。そして、図31(a)に示す例においては図31(b)に示す例に対し、時刻Tカメラ水平画角Θa/時刻Tカメラ垂直画角Θa≒周期TCYCLEカメラ水平画角Θb/周期TCYCLEカメラ垂直画角Θb、つまり、時刻T撮影領域アスペクト比≒周期TCYCLE撮影領域アスペクト比である例を、また、図31(b)に示す例においては図31(a)に示す例に対し、時刻Tカメラ水平画角Θa/時刻Tカメラ垂直画角Θa≠周期TCYCLEカメラ水平画角Θb/周期TCYCLEカメラ垂直画角Θb、つまり、時刻T撮影領域アスペクト比≠周期TCYCLE撮影領域アスペクト比である例を示している。
図31(a)に示す例においては、前記周期TCYCLE撮影領域の撮影方法おいて説明した撮影方法によれば、カメラ端末A101Aの時刻T撮影領域は、自身の周期TCYCLE撮影領域である周期TACYCLE撮影領域120A全域を撮影することになる。このため、周期TACYCLE撮影領域120Aの撮影周期は0となり周期TACYCLE撮影領域120Aは常時撮影されることになる。
また、図31(a)に示す例においては、前記周期TCYCLE撮影領域の撮影方法おいて説明した撮影方法によれば、カメラ端末A101Aの時刻T撮影領域は、自身の周期TCYCLE撮影領域である周期TACYCLE撮影領域120A全域を撮影することはできない。このため、ある撮影周期をもって周期TACYCLE撮影領域120を撮影することになる。しかも、カメラ端末A101Aの時刻T撮影領域は、自身の周期TCYCLE撮影領域ではない周期TBCYCLE撮影領域120Bまでも撮影することになる。
これら図31(a)および図31(b)に示す例によれば、図31(a)に示す例のような、時刻T撮影領域とそれが撮影する周期TCYCLE撮影領域の関係が時刻T撮影領域アスペクト比≒周期TCYCLE撮影領域アスペクト比である方が、撮影効率が良いと言える。しかしながら、実施の形態1に説明した動作により、図31(b)に示す例のような位置に各周期TCYCLE撮影領域が調整された場合、各周期TCYCLE撮影領域が隣接する周期TCYCLE撮影領域と既に重複し、それにより、各周期TCYCLE撮影領域により撮影対象領域121を既にくまなく撮影してしまっていることから、図24に示す調整部A202が行う(式42)〜(式44)に示す式よる周期TCYCLE撮影領域の位置の調整作用は働かなくなる。このため、図31(b)に示す例のような位置に各周期TCYCLE撮影領域が一度調整された場合、それから、調整部A202の動作により、図31(a)に示すような位置に各周期TCYCLE撮影領域が調整されることはない。
そこで、図31(b)に示す例において、周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bを内包する領域を2分割し、分割したそれぞれの領域を周期TACYCLE撮影領域120Aまたは周期TBCYCLE撮影領域120Bとする。さらに、同分割および分割した領域への周期TACYCLE撮影領域120Aまたは周期TBCYCLE撮影領域120Bの割り当ては、各周期TCYCLE撮影領域において時刻T撮影領域アスペクト比≒周期TCYCLE撮影領域アスペクト比の関係になるものを選択する。これにより、図31(b)に示す例ような位置に各周期TCYCLE撮影領域が一度調整された場合においても、図31(a)に示すような位置に各周期TCYCLE撮影領域が調整されることになり、撮影対象領域121を効率良く撮影することができる。
つぎに、本実施の形態における撮影領域調整装置の構成要素について説明する。図32は、図24(a)における各カメラ端末101A〜101Cに相当する本実施の形態におけるカメラ201の構成ブロック図である。各カメラ端末101A〜101Cはそれぞれ、少なくとも、カメラ201、調整部B204、通信部203から構成されている。カメラ201はレンズ211、撮像面212、画像処理部213、姿勢制御部214、周期撮影制御部215から構成されている。図32において、カメラ201、通信部203、レンズ211、撮像面212、画像処理部213、姿勢制御部214、周期撮影制御部215は、図24に示す実施の形態1における各カメラ端末101A〜101Cの構成ブロック図と同様である。構成要素における実施の形態1と本実施の形態の差異は、実施の形態1では調整部A202であったものが本実施の形態では調整部B204に変更されている点である。
より詳しくは、カメラ201は、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラである。
通信部203は、仮想撮影領域を示す仮想撮影領域情報を送受信する通信インターフェースである。
調整部B204は、自カメラ端末の仮想撮影領域と通信部203によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、複数のカメラ端末A〜Cの仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する。本実施の形態では、この調整部B204はさらに、複数のカメラ端末A〜CのうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを、それらN個のカメラ端末に割り当てるとともに、自カメラ端末に割り当てた領域を新たな仮想撮影領域として、上記調整を行う。
つぎに、本実施の形態における撮影領域調整装置の動作を説明する。本実施の形態は実施の形態1では調整部A202であったものが調整部B204に変更されただけであるので、この調整部B204の動作のみ以下に説明する。
調整部B204は調整部A202と同様に、周期撮影制御部215から送られたカメラ201の周期TCYCLE撮影領域の位置情報を通信部203およびネットワーク103を介して、周期的に他カメラ端末の調整部B204に送信する。また、調整部B204はこれもは調整部A202と同様に、他カメラ端末の調整部B204から周期的に送信される他カメラ端末におけるカメラ201の周期TCYCLE撮影領域の位置情報を受信する。このため、各カメラ端末101A〜101Cにおいて、調整部B204は実施の形態1と同様、自カメラ端末および他カメラ端末のカメラ201における周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報を周期的に取得する。
更に、調整部B204は取得した上記周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報(撮影対象外領域122の位置情報でもある)をもとに、実施の形態1と同様に図33に示すステップの処理を行う。
ステップ404を除くステップ401〜ステップ403の処理は実施の形態1(図27のステップ401〜ステップ403)と同様である。自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域または撮影対象外領域122を選択し、そして、選択した撮影領域と自カメラ端末の撮影領域が重複した領域である重複領域の大きさを示す量を算出し、そして、算出した重複領域の大きさを示す量を、一定の量COVERLAPに近づくように自カメラ端末の撮影領域の位置を調整する。そして、調整部B204はステップ401〜ステップ403の処理を順次行い、ステップ403の処理終了後にステップ401の処理に戻る。そして、調整部B204では、絶えずステップ401〜ステップ403の処理を繰り返しながら、(式42)〜(式44)により算出した周期TCYCLEカメラパン角Θb’PA(またはΘb’PBまたはΘb’PC)、および、周期TCYCLEカメラチルト角Θb’TA(またはΘb’TBまたはΘb’TC)、および、周期TCYCLEカメラ水平画角Θb’HA(またはΘb’HBまたはΘb’HC)、および、周期TCYCLEカメラ垂直画角Θb’VA(またはΘb’VBまたはΘb’VC)の更新値を周期撮影制御部215に送り、カメラ201の周期TCYCLE撮影領域の位置を調整する。このため、本実施の形態の撮影領域調整装置も実施の形態1の撮影領域調整装置と同様に、各カメラ端末101A〜101Cを用いて撮影対象領域121を死角なく撮影することができることは自明である。
また、ステップ404では、より詳しくは、調整部B204により、図34に示すステップの処理により、自カメラ端末の周期TCYCLE撮影領域に対する再割り当てが行われる。この図34に示すステップ(つまり、図33のステップ404の詳細なステップ)の処理を以下に説明する。
まず、ステップ411において、調整部B204は、自カメラ端末の周期TCYCLE撮影領域が他カメラ端末の周期TCYCLE撮影領域を内包するかどうかを判定する。
そして、自カメラ端末の周期TCYCLE撮影領域が他カメラ端末の周期TCYCLE撮影領域を内包しているのであれば、ステップ412において、調整部B204は、自カメラ端末の周期TCYCLE撮影領域がN個の他カメラ端末の周期TCYCLE撮影領域を内包する、自カメラ端末の周期TCYCLE撮影領域をN+1個に分割し、分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域およびN個の内包する他カメラ端末の周期TCYCLE撮影領域とする。つまり、調整部B204は、分割後の領域を自カメラ端末の周期TCYCLE撮影領域として設定するとともに、分割後の領域を特定する情報を、通信部203を介して、上記N個の他カメラ端末に通知する。その結果、自カメラ端末及びN個のカメラ端末の調整部B204において、いま再割当された周期TCYCLE撮影領域を出発点とする再調整(複数のカメラ端末A〜Cの周期TCYCLE撮影領域を和した領域が撮影対象領域をくまなく覆うように、自カメラ端末の周期TCYCLE撮影領域の位置を調整すること)が開始される。
図35(a)および図35(b)にステップ412の動作例を示す。図35(a)に示す例において、周期TACYCLE撮影領域2601を自カメラ端末の周期TCYCLE撮影領域とすると、自カメラ端末の周期TCYCLE撮影領域は、周期TBCYCLE撮影領域2602および周期TCCYCLE撮影領域2603と、2つの他カメラ端末の周期TCYCLE撮影領域を内包する。ステップ412の処理では、調整部B204は、図35(a)に示す例のものを図35(b)に示す例のようにする。つまり、図35(a)に示す例における自カメラ端末の周期TCYCLE撮影領域である周期TACYCLE撮影領域2603を2+1分割し、図35(b)に示す例のように、同分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域である周期TACYCLE撮影領域2603、または、内包する他カメラ端末の周期TCYCLE撮影領域である周期TBCYCLE撮影領域2602および周期TCCYCLE撮影領域2603とする。
また、自カメラ端末の周期TCYCLE撮影領域が他カメラ端末の周期TCYCLE撮影領域を内包していないのであれば、ステップ413において、調整部B204は、自カメラ端末の周期TCYCLE撮影領域と自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域を内包する領域をN+1個に分割し、分割した領域をそれぞれ、自カメラ端末の周期TCYCLE撮影領域、および、自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域とする。つまり、調整部B204は、分割後の領域を自カメラ端末の周期TCYCLE撮影領域として設定するとともに、分割後の領域を特定する情報を、通信部203を介して、上記N個の他カメラ端末に通知する。その結果、自カメラ端末及びN個のカメラ端末の調整部B204において、いま再割当された周期TCYCLE撮影領域を出発点とする再調整(複数のカメラ端末A〜Cの周期TCYCLE撮影領域を和した領域が撮影対象領域をくまなく覆うように、自カメラ端末の周期TCYCLE撮影領域の位置を調整すること)が開始される。
図36(a)および図36(b)にステップ413の動作例を示す。図36(a)に示す例において、周期TACYCLE撮影領域2701を自カメラ端末の周期TCYCLE撮影領域とし、周期TBCYCLE撮影領域2702および周期TCCYCLE撮影領域2703を自カメラ端末の周期TCYCLE撮影領域に隣接する2個の他カメラ端末の周期TCYCLE撮影領域とする。ステップ413の処理では、調整部B204は、図36(a)に示す例のものを図36(b)に示す例のようにする。つまり、図36(a)に示す例における自カメラ端末の周期TCYCLE撮影領域および自カメラ端末の周期TCYCLE撮影領域に隣接する2個のカメラ端末の周期TCYCLE撮影領域を内包する領域である、周期TACYCLE撮影領域2701および周期TBCYCLE撮影領域2702および周期TCCYCLE撮影領域2703を囲う領域を2+1分割し、図36(b)に示す例のように、同分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域である周期TACYCLE撮影領域2603、および、自カメラ端末の周期TCYCLE撮影領域に隣接する2個の他カメラ端末の周期TCYCLE撮影領域である周期TBCYCLE撮影領域2602および周期TCCYCLE撮影領域2603とする。
なお、図37(a)に2分割パターン、図37(b)に3分割パターン、図37(c)に4分割パターンの例を示すが、ステップ412およびステップ413で行われる分割は、図37(a)〜図37(c)に示す例のような、予め用意した分割パターンにより分割すればよい。具体的には、調整部B204は、図37(a)〜(c)に示されるような複数のn分割パターンを特定する情報を予め格納した記憶部を有し、領域分割をするときには、記憶部に格納された複数の分割パターンの中から、分割数nに対応する分割パターンを選択し、その分割パターンの情報を参照することで、領域分割を行う。
また、図37(a)〜図37(c)に示す分割パターンの選択、および、分割した領域への周期TCYCLE撮影領域の割り当て、および、ステップ413における自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域の選択は、各カメラ端末の周期TCYCLE撮影領域において、最も周期TCYCLE撮影領域の撮影周期が短くなる、または、最も各カメラ端末においてカメラ端末の撮影領域が仮想撮影領域以外の領域を撮影することが少なくなるような選択または割り当てとする。つまり、調整部B204は、割り当ての対象となる少なくとも1個のカメラ端末について、周期TCYCLE撮影領域を撮影するのに要する時間が小さくなる、又は、現実に撮影される領域のうち周期TCYCLE撮影領域を除く部分が小さくなるように、領域分割と割り当てとを行う。
これら選択または割り当ての評価については、これら評価に必要な調整部B204が各カメラ端末101A〜101Cの周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報を周期的に取得していることから、ステップ404を処理する調整部B204において十分実現可能であることは自明である。たとえば、「周期TCYCLE撮影領域を撮影するのに要する時間」については、周期TCYCLEで評価し、「現実に撮影される領域のうち周期TCYCLE撮影領域を除く部分」については、周期TCYCLEにおいて時刻T撮影領域の移動によって覆われる全体の領域(輪郭領域)から、割り当てられている周期TCYCLE撮影領域を差し引いた面積で評価できる。
また、ステップ412およびステップ413において分割した領域を他カメラ端末の周期TCYCLE撮影領域として割り付けた場合、自カメラ端末の調整部B204からネットワーク103を介して、同他カメラ端末に分割した領域を自身の周期TCYCLE撮影領域とする事を他カメラ端末の調整部B204に通知する。そして、図33および図34に示すフローチャートには図示されていないが、割り込みやポーリングなどにより調整部B204は同通知を受け、同通知された分割した領域を自身の周期TCYCLE撮影領域とする。なお、以上の他カメラ端末に対する通知は、ハンドシェーク通信などの要求およびその応答(許可/拒否)を確認する通知であることが望まれる。これは、一度に同じカメラ端末の調整部B204に対し複数の上記通知があった場合には、いずれか1つの通知に対する周期TCYCLE撮影領域の変更しかできないため、また、カメラ端末の調整部B204に対し通知したが、既に他の通知により周期TCYCLE撮影領域が変更されていることがあるためである。
また、複数のカメラ端末が同時に領域分割を行うことによる不具合(競合)を回避(調停)する方法としては、各カメラ端末に対して予め優先順位を与えておく方法でもよい。このときには、領域分割の対象となるN+1個のカメラ端末の中で最も優先順位の高いカメラ端末だけが領域分割を行い、他のカメラ端末に分割後の領域を通知することになる。
本実施の形態における撮影領域調整装置の動作は以上のとおりである。以上によれば、ステップ412では、自カメラ端末の周期TCYCLE撮影領域がN個の他カメラ端末の周期TCYCLE撮影領域を内包する、自カメラ端末の周期TCYCLE撮影領域をN+1個に分割し、分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域またはN個の内包する他カメラ端末の周期TCYCLE撮影領域とする。また、ステップ413では、自カメラ端末の周期TCYCLE撮影領域と自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域を内包する領域をN+1個に分割し、分割した領域をそれぞれ、自カメラ端末の周期TCYCLE撮影領域、または、自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域とする。そして、これら分割の分割パターンの選択、および、分割した領域への周期TCYCLE撮影領域の割り当て、および、ステップ413における自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域の選択は、各カメラ端末の周期TCYCLE撮影領域において、最も周期TCYCLE撮影領域の撮影周期が短くなる、または、最も各カメラ端末においてカメラ端末の撮影領域が仮想撮影領域以外の領域を撮影することが少なくなるような選択または割り当てとする。このため、図30および図31の例をもって説明したことによれば、本発明の撮影領域調整装置は実施の形態1の撮影領域調整装置と同様に、各カメラ端末101A〜101Cを用いて撮影対象領域121を死角なく撮影することができと共に、さらに、撮影対象領域121を効率良く撮影できる。
つまり、複数のカメラ端末の仮想撮影領域によって撮影対象領域をくまなく、かつ、効率よく覆うために、各カメラ端末に仮想撮影領域をいかに割り当てればよいかという問題の最適解を探索する処理において、局所的な最適解から脱出して大局的な最適解が探索される可能性が高くなる。よって、同一領域に対して複数のカメラ端末が重複して撮影したり、仮想撮影領域を撮影するのに大きな時間を要したりする等の不具合が解消される。
なお、ステップ413における処理では、自カメラ端末の周期TCYCLE撮影領域と自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域を内包する領域を分割するとした。しかし、特に他カメラ端末の周期TCYCLE撮影領域は自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域と限定する必要はない。隣接しない他カメラ端末の周期TCYCLE撮影領域を合わせて用いても良い。ただし、自カメラ端末および他カメラ端末の周期TCYCLE撮影領域によりこれら周期TCYCLE撮影領域を内包する1つの分割可能な領域を形成できることが必要とされる。例えば図36(a)に示す例において、周期TACYCLE撮影領域2701および周期TBCYCLE撮影領域2702および周期TCCYCLE撮影領域2703および周期TACYCLE撮影領域2701に隣接していない周期TGCYCLE撮影領域2707を内包する領域を分割して、分割した領域をこれらに割り当ても良い。このような場合においても、本発明の撮影領域調整装置は同様の効果を得られることは言うまでもない。
また、ステップ413の処理はある決まった時にのみ行ってもよい。例えば、図30および図31の例をもって説明したことによれば、ステップ413の処理が必要となるのは、撮影対象領域121がくまなく撮影された時、各カメラ端末において言えば、自身の周期TCYCLE撮影領域の各辺全てが隣接する周期TCYCLE撮影領域または撮影対象外領域と重複した時である。このため、以上のような時にのみステップ413の処理を行うしても、同様の効果を得られることは言うまでもない。
また、分割の分割パターンの選択、および、分割した領域への周期TCYCLE撮影領域の割り当て、および、ステップ413における自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域の選択は、全ての選択または割り当てを評価して決定しなくとも良い。例えば、予め限定した選択または割り当てのみを評価して決定したとしても、限定した選択または割り当ての中で同選択および割り当てが、各カメラ端末の周期TCYCLE撮影領域において、最も周期TCYCLE撮影領域の撮影周期が短くなる、または、最も各カメラ端末においてカメラ端末の撮影領域が仮想撮影領域以外の領域を撮影することが少なくなるような選択または割り当てであれば、同様の効果を得られることは言うまでもない。
また、ステップ403で行われる処理において、(式45)に示す関数を定義し、(式39)〜(式44)に示す実施の形態1で用いた式を(式46)〜(式49)に示す式とすれば、各カメラ端末は、自身の周期TCYCLE撮影領域を隣接する周期TCYCLE撮影領域または撮影対象外領域と重複するように調整すると共に、自身の周期TCYCLE撮影領域のアスペクト比を時刻T撮影領域のアスペクト比に近づくように調整する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
このため、以上の変更により、本発明の撮影領域調整装置は、カメラ端末の周期TCYCLE撮影領域の再割り当てにより撮影対象領域121の撮影効率を良くすると共に、更に、撮影対象領域121の撮影効率が良くなるように各カメラ端末の周期TCYCLE撮影領域を調整することができる。
また、本実施の形態では、図32に示すように、調整部B204が各カメラ端末A101Aからカメラ端末C101Cに分散して存在しているが、調整部B204が1つしか存在せず、一つしか存在しない調整部B204が、各カメラ端末A101Aからカメラ端末C101Cのカメラ201の周期TCYCLE撮影領域の位置およびアスペクト比を全て調整するのであれば、同様の効果を得られることは言うまでもない。
また、本実施の形態では、ネットワーク103を、一般的な通信時に利用されるネットワーク回線として取り扱っているが、同ネットワーク103は有線または無線のネットワークであっても、同様の効果を得られることは言うまでもない。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態では、実施の形態1から実施の形態2に記した本発明の撮影領域調整装置に関して、更にいくつかの点を補足する。
上記実施の形態1〜2に記した本発明の撮影領域調整装置においては、図24に示すように、実空間面113をZ=0としていた。しかし、図38に示すように(図38の構成要素は図24と同じである)、実空間面113をZ=Cとした場合であっても、上記実施の形態1〜2に記した同様の効果を得られることはいうまでもない。更に、各カメラ端末が撮影する周期TCYCLE撮影領域は、Z軸112の0方向近くなるほど、その周期TCYCLE撮影領域は広がる。このため、図38の撮影対象立体領域213のように、撮影対象領域が立体であっても、死角なく撮影することが可能である。
また、上記実施の形態1〜2では、カメラ201を、一般的なカメラとして取り扱っているが、同カメラ201は可視光または赤外や紫外などの非可視光を検知するカメラであっても、同様の効果を得られることは言うまでもなく、更に、微動センサ、圧力センサ、温度センサ、気圧センサ、音センサ(マイク)など、撮影領域(あるいは、検出領域)をもち、かつ、撮影領域位置(あるいは、検出領域位置)が可変な一般的にセンサであっても、同様の効果を得られることは言うまでもない。更に、一般的なカメラとこれらセンサの組み合わせであっても、同様の効果を得られることは言うまでもない。
たとえば、図39(a)に示されるような指向特性をもったマイクについて、図39(b)に示されるように、一定以上の感度で音を検知できる方向(領域)をセンス領域(検出領域)と定義できるので、上記実施の形態におけるカメラのパンおよびチルトと同様にマイクの姿勢を制御して一定周期でスキャンさせることで、図39(c)に示されるように、カメラ端末における周期TCYCLE撮影領域に対応する周期TCYCLE検出領域(つまり、「仮想検出領域」)を定義することができる。つまり、本発明は、カメラだけでなく、上記の各種センサにも適用することができる。なお、図39(b)および図39(c)に示されるように、時刻T撮影領域に対応するセンス領域(検出領域)、および、周期TCYCLE撮影領域に対応する周期TCYCLE検出領域が円などの矩形でない場合、円の短径と長径の比率(真円は1)や図形のX軸やY軸方向の大きさの比率をアスペクト比とすればよい。
また、上記実施の形態では、カメラは固定カメラであったが、移動カメラであってもよい。図40は、本発明に係る撮影領域調整装置を移動カメラから構成される監視システムに適用した場合の監視システムの構成を示すブロック図である。この監視システムは、通信ネットワーク1103で接続された複数の移動カメラ1101等から構成され、監視領域1111をくまなく監視できるように、それら複数の移動カメラ1101がパンおよびチルトだけでなく、自律協調的に移動する点に特徴を有する。移動カメラ1101は、移動部1102に支持されて移動するカメラ装置である。移動部1102は、移動カメラ1101の撮影位置を変更させる機構部等である。通信ネットワーク1103は、複数の移動カメラ1101を結ぶ伝送路である。通信部1104は、移動カメラ1101が通信ネットワーク1103を介して他の移動カメラと情報のやりとりを行うための通信インターフェースである。隣接撮影領域特定部1105は、通信部1104に通知された他の移動カメラからの情報に対して、撮影領域が隣り合う移動カメラを推定する処理部である。撮影素子1106は、監視領域内の映像を取り込むCCDカメラ等である。撮影領域推定部1107は、撮影素子1106の特性と、移動部1102の位置から移動カメラ1101の撮影領域を推定する処理部である。監視範囲記憶部1108は、移動カメラ1101が監視すべき領域の範囲を記憶しているメモリ等である。撮影位置評価部1109は、移動カメラ1101の撮影領域と互いに隣り合う撮影領域の重なり領域、または監視領域の境界との距離を評価する処理部である。撮影位置変更部1110は、移動部1102を制御し、移動カメラ1101の撮影位置を変更させる制御部である。監視領域1111は、移動カメラ1101が監視すべき領域である。撮影領域1112は、移動カメラ1101によって撮影されている領域である。このような監視システムによれば、移動カメラ1101は、自身の撮影位置と撮影素子1106の特性により推定される撮影領域に関する情報を周囲の移動カメラと通知し合い、隣り合う撮影領域との重なり領域の大きさと、監視領域の境界との距離が所定の状態に近づくように周囲の移動カメラと協調しながらパン、チルトおよび撮影位置を変更することにより、複数の移動カメラ1101による同時撮影において監視領域内の死角が少なくなる撮影位置に移動することができる。
図41は、その監視システムにおける移動カメラ1101の動作の様子を示す。本図では、説明を簡単にするために横方向(1次元)に移動できる移動カメラ1101を高さが一定な部屋の天井に設置し、床面を監視させる場合が示されている。上図に示されるように、移動カメラ1101を天井の適当な位置に設置しても、移動カメラは互いの撮影領域の重なり領域の幅Cまたは監視領域の境界との距離Dが所定の値に近づくように撮影位置を変更することにより、下図に示されるように、監視領域全体を複数の移動カメラで端末同時に撮影できる位置に自動的に移動することが可能となる。さらに、例えば高い天井などのように設置作業が難しい場所において、一ヶ所にまとめて移動カメラ1101を設置しても、移動カメラの方が複数の移動カメラによる同時撮影において死角が少なくなる位置に自動的に移動するため、移動カメラの設置位置の決定や設置作業といった負担を減らすことが可能となる。この実現方法の一例としては、図42に示すように、監視領域内にレールを設置し、そのレールの軌道上を移動カメラが移動するようにシステムを構成すればよい。
また、上記実施の形態では、撮影領域調整装置は、各カメラ端末に調整部が設けられた分散制御型の構成を備えたが、本発明は、このような分散制御型に限定されるものではなく、全てのカメラ端末の検出領域を統合して調整する共通の1個の調整部を設けた集中制御型の構成で実現してもよい。たとえば、複数のカメラ端末と、それらカメラ端末と通信ネットワークで接続された1台の調整装置とを備える撮影領域調整装置であって、複数のカメラ端末が、それぞれ、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラと、仮想撮影領域を示す仮想撮影領域情報を送受信する通信部と、自カメラ端末の仮想撮影領域と通信部によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整部とを備え、上記調整装置が、複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれをN個のカメラ端末に割り当てる領域分割部を備え、各カメラ端末の調整部が、調整装置によって自カメラ端末に割り当てられた領域を新たな仮想撮影領域として、上記調整を行う構成であってもよい。つまり、領域分割の処理が、各カメラ端末に備えられるのではなく、通信ネットワークを介して接続された1台の装置内に置かれてもよい。
また、本発明は、上記各実施の形態および変形例に限られず、それら実施の形態および変形例の各構成要素を任意に組み合わせて実現される撮影領域調整装置も本発明に含まれる。
本発明にかかる撮影領域調整装置は、カメラ等の撮像装置の撮影領域を調整する装置として、例えば、複数のカメラからなる監視装置や撮影システム等として、特に、死角なく所定の撮影対象領域を効率的に覆う必要がある撮影システム等として、有用である。
本発明は、複数のカメラを用いて実空間の画像情報を取得する装置に関し、特にカメラの撮影領域を調整する自動調整装置および方法に関するものである。
近年、主に監視用途に利用される複数のカメラを用いた装置に対する研究開発が盛んに行われている。同装置はその利用目的のために、監視を行う対象領域である撮影対象領域に対し、撮影対象領域内を死角なく常時監視し、同領域内の検出対象を検出するという第1の要求と、撮影対象領域内に存在する検出対象の詳細な情報を取得するという第2の要求の2つの要求を達成する必要がある。
従来の複数のカメラを用いた装置では、各カメラの撮影領域を自動調整することにより、この2つの要求を達成させている。そのような代表的な従来の複数のカメラを用いた装置としては、特許文献1および特許文献2に示すものがある。
まず、特許文献1に示す従来の装置について説明する。図1は上記特許文献1に記載されたカメラの撮影領域を自動調整する装置を示すものである。図1において、検出カメラ装置10010では、カメラ10011および反射鏡10012により、広い撮影領域にわたって検出対象を撮影し、移動物体抽出部10013が撮影した同画像より検出対象を抽出し、位置情報抽出部10014が同検出対象の位置情報を抽出するため、検出カメラ装置10010は、広い撮影領域にわたって検出対象の位置情報を取得する。判定カメラ装置10020では、カメラ制御部10022が検出対象の位置情報をもとにカメラ10021の旋回角および俯角およびズーム比率を制御し、判定カメラ装置10020は検出対象の拡大画像を撮影するため、判定カメラ装置10020は、検出対象の詳細な情報を取得する。
図2は検出カメラ装置10010および判定カメラ装置10020の撮影領域を示す図である。同図において、黒丸は検出カメラ装置10110の設置位置を示し、同検出カメラ装置10110は固定されたカメラである。円または六角形は各検出カメラ装置10110の撮影領域を示す。同図に示すように、各検出カメラ装置10110を人為的に規則正しく設置すれば、監視する対象領域である撮影対象領域内を死角なく常時検出することが可能になる。
つぎに、特許文献2に示す従来の装置について説明する。図3は上記特許文献2に記載されたカメラの撮影領域を自動調整する装置を示すものである。図3において、広い撮影領域にわたって検出対象を撮影する目的を負う移動物体検出用カメラ10211は、姿勢制御手段10212により自身の撮影領域を変更し、検出対象の拡大画像を撮影する目的を負う監視用カメラ10221は、姿勢制御手段10222により自身の撮影領域を変更する。各カメラの撮影領域は画像処理装置10240において、移動物体検出用カメラ10211が撮影した画像から抽出した検出対象の位置および各カメラの撮影領域から、カメラ画角記憶手段10231およびカメラ画角記憶手段10232に予め記憶させた情報をもとに決定する。
更に、各カメラの撮影領域決定方法を説明する。図4および図5および図6は各カメラの撮影領域決定方法の説明に用いる図であり、数個のブロック画像に分割した移動物体検出用カメラ10211が撮影した画像である。まず、移動物体検出用カメラ10211の撮影領域は以下のように決定される。図4の斜線で示すブロックに検出対象が存在する場合には、それぞれのブロック位置が図4に示すブロック位置と対応している図5の各ブロックに記載した矢印の方向が示す方向に移動物体検出用カメラ10211の姿勢を変化させ、同カメラの撮影領域を変更する。各ブロック位置に対応した移動物体検出用カメラ10211の撮影領域は予め人間が決定しており、同情報はカメラ画角記憶手段10231に予め設定されている。次に、監視用カメラ10221の撮影領域は以下のように決定される。図6に示すブロック位置に検出対象が存在する場合には、破線で示した撮影領域になるよう監視用カメラ10221の姿勢を変化させ、同カメラの撮影領域を変更する。各ブロック位置に対応した監視用カメラ10221の撮影領域は予め人間が決定しており、同情報はカメラ画角記憶手段10232に予め設定されている。
上記従来の複数のカメラを用いた装置の撮影領域自動調整の特徴についてここにまとめる。まず、特許文献1に示す従来の装置では検出カメラ装置10010が、特許文献2に示す従来の装置では移動物体検出用カメラ10211が、広い撮影領域にわたって検出対象を検出する役割を負い、特許文献1に示す従来の装置では判定カメラ装置10020が、特許文献2に示す従来の装置では監視用カメラ10221が、検出対象の拡大画像のような、検出対象の詳細な情報を取得する役割を負う、というように、各カメラはそれぞれの固定した予め決められた役割を分担し、一方の役割を負うカメラが上記第1の要求を達成し、もう一方の役割を負うカメラが上記第2の要求を達成している(従来技術の第1の特徴)。
また、特許文献2に示す従来の装置では、例えば、移動物体検出用カメラ10211の撮影領域は、図4の左上ブロックに検出対象があるという状況変化に対し、図5の左上ブロックに示すような左上方向に移動した検出領域に変更するというように、予め人間が想定し作成した状況変化内容と1対1に対応した撮影領域が記載されたテーブル形式の情報をもとに各カメラの撮影領域を決定し調整する(従来技術の第2の特徴)。
また、特許文献1に示す従来の装置は、図2に示すように、予め人間が規則的な位置に固定カメラを設置することにより、上記第1の要求を達成している(従来技術の第3の特徴)。
以上、複数のカメラを用いた従来の装置の撮影領域の自動調整について説明したが、ここで、1のカメラを用いた従来の装置の撮影領域の自動調整についても説明する。1のカメラを用い、同カメラの撮影領域を自動調整するものとして、特許文献3に示すものがある。特許文献3では、カメラの撮影領域を自動調整する手法として、「オートスキャン」および「オートパン」と呼ばれる2つの手法を開示している。
まず、「オートスキャン」手法について説明する。図8は「オートスキャン」手法の説明に用いる図であり、「オートスキャン」手法は、同図に示す第1撮影領域10711から第N撮影領域1071Nの複数の撮影領域を、順次、カメラ10701が自動的に撮影していく手法である。記録手段10703には、第1撮影領域10711から第N撮影領域1071Nの撮影領域情報が予め記録されており、姿勢制御手段10702が記録部10703に記録された同情報にもとづいてカメラ10701の姿勢を制御し、カメラ10701の撮影領域を第1撮影領域10711から第N撮影領域1071Nの各撮影領域に順次変更させることにより、同手法は実現されている。
つぎに、「オートパン」手法について説明する。図9は「オートパン」手法の説明に用いる図であり、「オートパン」手法は、同図に示す第1パン角度10811から第2パン角度10812の間を、カメラ10801が自動的に左右パン動作を繰り返すことにより、同カメラ10801の撮影領域を自動調整する手法である。図9に示していないが、第1パン角度10811および第2パン角度10812に設けられた機械式スイッチにより、各パン角度にカメラ10801が向いたことを判定し、姿勢制御手段10802がカメラ10801の姿勢を制御することにより、同手法は実現されている。
上記従来の単体のカメラを用いた装置の撮影領域自動調整の特徴についてここにまとめる。特許文献3に示す従来の装置では、例えば、カメラ10701の撮影領域は、記録手段10703に記録された第1撮影領域10711から第N撮影領域1071Nの撮影領域情報をもとに変更されるように、複数のカメラを用いた装置の撮影領域自動調整とほぼ同様に、状況変化内容と1対1に対応したものではないが、予め人間が想定し作成した撮影領域が記載されたテーブル形式の情報をもとにカメラの撮影領域を決定し調整する(従来技術の第2の特徴)。
特許第3043925号公報(図1、図6) 特許第3180730号公報(図1、図7〜図9) 特開平1−288696号公報
しかしながら、このような従来の装置では、まず、予め人間が想定し設定した状況変化内容と1対1に対応した撮影領域が記載されたテーブル形式の情報をもとに各カメラの撮影領域を決定し調整しているために(上記従来技術の第2の特徴)、カメラ毎に、状況変化内容と1対1に対応した撮影領域が記載されたテーブル形式の情報を人間が逐一想定し作成する必要がある。
同情報は、撮影対象領域の位置や広さ、人間が想定した状況変化内容、各カメラを設置する位置や台数などに依存しており、これらに変更などがあった場合には、その度に同情報を人間が逐一作成し直す必要がある。この作業は、カメラ台数が増えれば増えるほど煩雑であり、それに対するコストや負荷は膨大なものとなる。ビル内のカメラを用いた監視システムなどでは、10数台のカメラを用いることはごく一般的である。
また、従来の装置では、予め人間が規則的な位置に固定カメラを設置することにより上記第1の要求は達成されているが(上記従来技術の第3の特徴)、カメラが1つでも故障した場合には、もはや上記第1の要求を達成することはできない。
仮に、図7に示すように、検出カメラ装置10010の数を増やすことにより、うち1つが故障した場合でも死角なく検出対象領域を覆うことはできるが、非効率と言わざるを得ない。
そこで、本発明は、上記従来の課題を解決するものであり、人間が予め状況変化を予測してテーブルを作成しておく必要がなく、かつ、カメラが故障した場合であっても、死角なく、撮影対象とする領域をくまなく撮影することが可能な撮影領域調整装置を提供することを目的とする。
上記目的を達成するために、本発明に係る撮影領域調整装置は、複数のカメラ端末を備える撮影領域調整装置であって、前記複数のカメラ端末は、それぞれ、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラと、前記仮想撮影領域を示す仮想撮影領域情報を送受信する通信手段と、自カメラ端末の仮想撮影領域と前記通信手段によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、前記複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整手段とを備えることを特徴とする。これによって、複数のカメラ端末の協調動作により、複数の仮想撮影領域によって撮影対象領域が死角なく覆われる。そして、実際の撮影領域によって撮影対象領域を覆う方法に比べ、仮想撮影領域が使用されるので、1台のカメラ端末が撮影する担当領域を任意に設定することができ、様々な大きさや形状の撮影対象領域に対応した撮影領域調整装置が実現される。
なお、請求の範囲における「仮想撮影領域」は、例えば、実施の形態における周期TCYCLE撮影領域に相当し、1台のカメラ端末が一定時間TCYCLEをかけてパンやチルト等のスキャン動作をしながら連続撮影することによって得られる撮影領域の和である。同様に、「仮想検出領域」は、例えば、実施の形態における周期TCYCLE検出領域に相当し、1台のセンサ端末が一定時間TCYCLEをかけて検出方向の姿勢を変化させるスキャン動作をしながら連続検出することによって得られる検出領域(検出空間)の和である。
ここで、前記撮影領域調整装置は、さらに、前記複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを前記N個のカメラ端末に割り当てる領域分割手段を備え、前記調整手段は、前記領域分割手段によって自カメラ端末に割り当てられた領域を新たな仮想撮影領域として、前記調整を行う構成としてもよい。このとき、前記領域分割手段は、前記N個のカメラ端末の仮想撮影領域が包含関係にある場合に、前記分割と前記割り当てとを行ったり、前記N個のカメラ端末の仮想撮影領域が隣接している場合に、前記分割と前記割り当てとを行ったりするのが好ましい。これによって、複数のカメラ端末の仮想撮影領域によって撮影対象領域が効率良く死角なく覆われる。つまり、複数のカメラ端末の仮想撮影領域によって撮影対象領域がくまなく覆われているが、最適な覆い方とはいえない、局所的な最適解(仮想撮影領域が包含関係にある場合や、他の仮想撮影領域に比べて極めて大きな撮影時間を要する仮想撮影領域が存在する場合など)に陥っている場合に、その解から脱出して大局的な最適解が求められ得る。
このとき、前記領域分割手段は、割り当ての対象となる少なくとも1個のカメラ端末について、前記カメラが仮想撮影領域を撮影するのに要する時間が小さくなる、又は、前記カメラによって現実に撮影される領域のうち仮想撮影領域を除く部分が小さくなるように、前記分割と前記割り当てとを行うのが好ましい。具体的には、前記領域分割手段は、前記カメラ端末の仮想撮影領域のアスペクト比が前記カメラの撮影領域のアスペクト比に近づくように、前記分割と前記割り当てとを行うのが好ましい。具体的には、前記領域分割手段は、予め定められた複数の分割パターンの中から1つの分割パターン選択することによって、前記分割を行うように構成してもよい。これによって、局所的な最適解から脱出して大局的な最適解が探索される可能性が高くなり、同一領域に対して複数のカメラ端末が重複して撮影したり、仮想撮影領域を撮影するのに大きな時間を要したりする等の不具合が解消される。
また、前記カメラは、一定周期で、前記仮想撮影領域内で撮影領域の位置を変化させることを繰り返してもよい。さらに、前記領域分割手段は、前記複数のカメラ端末の少なくとも1個のカメラ端末内に置かれてもよい。
なお、本発明は、各カメラ端末に調整手段を設けた分散制御型の構成だけでなく、全てのカメラ端末の検出領域を調整する共通の調整手段を設けた集中制御型の構成で実現したり、撮影領域調整方法、および、その方法をコンピュータに実行させるプログラムとして実現したりすることもできる。また、複数のカメラ端末からなる撮影領域調整装置(あるいは、システム)として実現したり、個々のカメラ端末単体としても実現できる。さらに、本発明は、カメラによる撮影可能な領域である撮影領域に代えて、微動センサ等の物理量の検出が可能なセンサの検出領域を調整する装置として実現することもできる。なお、本発明に係るプログラムをCD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明の撮影領域調整装置よれば、各カメラ端末のカメラの周期TCYCLE撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように各カメラ端末のカメラの周期TCYCLE撮影領域が自動調整されるので、従来のようにカメラ毎に状況変化に対応した周期TCYCLE撮影領域情報を人間が逐一想定して作成しておく必要がなく、かつ、カメラが幾つか故障した場合においても、死角なく所定の撮影対象領域を効率的に覆うことができる。
よって、本発明により、任意の空間が死角なく撮影されることが保証され、特に、学校やビル等における不審者の監視用システム等としてその実用的価値が高い。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
まず、具体的な実施の形態を説明する前に、いくつかの用語及び基本事項を説明する。
(カメラの撮影領域)
まず、カメラの撮影領域について説明する。ここで説明するカメラとは、スチル写真の撮影などに用いられる、ある一瞬の静止画像を撮影するカメラではなく、例えば1秒間に30枚連続撮影するなど、時間的に連続した動画像を撮影するカメラを示す。
図10はカメラの撮影領域を説明する図である。図10(a)及び(b)において、5001はカメラ、5002はカメラ5001が時刻T=0,2,4,・・,2Nに撮影する領域である第1の撮影領域、5003はカメラ5001が時刻T=1,3,5,・・,2N+1に撮影する領域である第2の撮影領域である(Nは自然数)。図10(c)は、図10(a)及び(b)に示すカメラ5001の各時刻Tにおける撮影領域位置を示したグラフである。
一般的に、「カメラの撮影領域」と単に表現した場合、ある時刻瞬間にカメラが撮影している領域ととらえることが通常である。カメラが各瞬間に同カメラの姿勢を変更していないのであれば、このとらえ方は特に問題はない。しかしカメラが各瞬間に同カメラの姿勢を変更しているのであれば、「カメラの撮影領域」は、以下に示すように、それぞれ区別してとらえることが必要である。
<時刻T撮影領域>
これは、時刻Tの瞬間にカメラが撮影した領域を意味する。本明細書では、同撮影領域を時刻T撮影領域と表記する。図10(a)及び(b)におけて、第1撮影領域5002は時刻0撮影領域、第2撮影領域5003は時刻1撮影領域である。
<期間TA〜TB撮影領域または期間T撮影領域、および、周期TCYCLE撮影領域>
これらは、「仮想撮影領域」の一例であり、時刻TAから時刻TBの期間にカメラが撮影した領域を意味する。本明細書では、同領域を期間TA〜TB撮影領域と表記する。または、時刻TAから時刻TBの期間Tにカメラが撮影した領域として、期間T撮影領域と表記する。更に、特に、同撮影領域内の各領域の撮影に周期性がある場合、同周期性をもつ時間TCYCLEに撮影した領域といい、周期TCYCLE撮影領域と表記する。図10(a)及び(b)において、第1撮影領域5002および第2撮影領域5003を和した領域は、期間0〜1撮影領域または期間2撮影領域である。また、図10(c)に示すように、同撮影領域内の第1撮影領域5002および第2撮影領域5003の撮影には周期性があり、その周期は2であるので、同撮影領域は周期2撮影領域でもある。
(カメラの周期TCYCLE撮影領域の大きさ)
つぎに、カメラの周期TCYCLE撮影領域の大きさについて説明する。図11(a)及び(b)は、カメラの周期TCYCLE撮影領域の大きさと各種パラメータの関係を説明する図である。図11(a)において、5201はカメラ、カメラ5201の姿勢はパンおよびチルト動作により可変であり、また、カメラ5201の画角も可変である。5202はカメラ5201が時刻Tに撮影する領域である時刻T撮影領域、5203はカメラ5201が周期TCYCLEに撮影する領域である周期TCYCLE撮影領域、5204はカメラ5201の水平方向の画角である水平画角ΘaH、C205はカメラ5201の垂直方向の画角である垂直画角ΘaV、5206は時刻T撮影領域5202の移動経路である。カメラ5201は、時間経過とともに、パンおよびチルト動作により自身の姿勢を変更させ、時刻T撮影領域5202の位置を時刻T撮影領域移動経路5206に示す経路で移動することにより、周期TCYCLE撮影領域5203を撮影している。このため、周期TCYCLE撮影領域5203の大きさは、カメラ5201の姿勢を変更するパンおよびチルト動作の速度、時刻T撮影領域5202の大きさを決定するカメラ5201の水平画角ΘaH5204および垂直画角ΘaV5205、周期TCYCLEの時間的長さに依存することは明白であり、カメラ5201のパンおよびチルト速度が早いほど、また、カメラ5201の画角が大きいほど、また、周期TCYCLEの時間的長さが長いほど、周期TCYCLE撮影領域5203の大きさは大きくなる。
(周期TCYCLE撮影領域を撮影するカメラの画角およびパンおよびチルト)
つぎに、周期TCYCLE撮影領域を撮影するカメラの画角およびパンおよびチルトについて説明する。図11(b)は、図11(a)に示すカメラ5201と周期TCYCLEにおいて等価な周期TCYCLEカメラ5211を示す図である。図11(b)において、時刻T撮影領域5202、周期TCYCLE撮影領域5203および時刻T撮影領域移動経路5205は図11(a)と同様である。5211は周期TCYCLE撮影領域5203を撮影するカメラ、カメラ5211の姿勢はパンおよびチルト動作により可変であり、また、カメラ5211の画角も可変である。ただし、周期TCYCLEカメラ5211は、カメラ5201と姿勢は異なるが、空間上同じ位置に存在する。5212は周期TCYCLEカメラ5211の水平方向の画角である水平画角ΘbH、5213は周期TCYCLEカメラ5211の垂直方向の画角であるである垂直画角ΘbVである。図11(a)におけるカメラ5201は、周期TCYCLEにおいて周期TCYCLE撮影領域5203を撮影する。このため、周期TCYCLEにおいては、カメラ5201は、同周期TCYCLE撮影領域5203を撮影する図11(b)に示す周期TCYCLEカメラ5211とみなせる。また、この周期TCYCLEカメラ5211において、水平方向の画角は水平画角ΘbH5212、垂直方向の画角は垂直画角ΘbV5212とみなせる。
カメラ5201などのような一般的なカメラにおいては、画角はCCDなどの撮像面のアスペクト比に依存しているために水平画角ΘaH5204および垂直画角ΘaV5205は独立した制御ができない。しかし、周期TCYCLEカメラ5211においては、カメラ5201のパンおよびチルト動作により周期TCYCLE撮影領域5203が決定しているため、一般的なカメラのようにCCDなどの撮像面のアスペクト比に依存せず、水平画角ΘbH5212および垂直画角ΘbV5212は独立に制御することが可能である。
図12(a)及び(b)は、図11(a)におけるカメラ5201および図11(b)における周期TCYCLEカメラ5211の画角、パンまたはチルト角を示す図である。図12(a)において、カメラ5201および周期TCYCLEカメラ5211はそれぞれ、図11(a)におけるカメラ5201および図11(b)における周期TCYCLEカメラ5211と同じものである。ただし、カメラ5201および周期TCYCLEカメラ5211は空間上同じ位置に存在するが、図12(a)では見易くするために、意図的にこれらカメラを並べて記載している。5220は補助線、5221はカメラ5201の水平方向の最大画角である最大水平画角ΘaH_MAX、5222は最大画角ΘaH_MAX/2、5223はカメラ5201のパンの最大変位角である最大パン角ΘaP_MAXであり、カメラ5201は補助線5220を中心に、それぞれ上下に最大パン角ΘaP_MAX5223までパン動作する。5224は周期TCYCLEカメラ5211の水平方向の最大画角である周期TCYCLEカメラ最大水平画角ΘbH_MAX、5225は周期TCYCLEカメラ5211の水平方向の画角である周期TCYCLEカメラ水平画角ΘbH、5226は周期TCYCLEカメラ水平画角ΘbH/2、5227は周期TCYCLEカメラ5211のパン角である周期TCYCLEカメラパン角ΘbPである。
図12(b)において、カメラ5201および周期TCYCLEカメラ5211はそれぞれ、図11(a)におけるカメラ5201および図11(b)における周期TCYCLEカメラ5211と同じものである。ただし、カメラ5201および周期TCYCLEカメラ5211は空間上同じ位置に存在するが、図12(a)では見易くするために、意図的にこれらカメラを並べて記載している。5220は補助線、5231はカメラ5201の垂直方向の最大画角である最大垂直画角ΘaV_MAX、5232は最大画角ΘaV_MAX/2、5233はカメラ5201のチルトの最大変位角である最大チルト角ΘaT_MAXであり、カメラ5201は補助線5220を中心に、それぞれ上下に最大チルト角ΘaT_MAX5233までチルト動作する。5234は周期TCYCLEカメラ5211の垂直方向の最大画角である周期TCYCLEカメラ最大垂直画角ΘbV_MAX、5235は周期TCYCLEカメラ5211の垂直方向の画角である周期TCYCLEカメラ垂直画角ΘbV、5236は周期TCYCLEカメラ垂直画角ΘbV/2、5237は周期TCYCLEカメラ5211のチルト角である周期TCYCLEカメラチルト角ΘbTである。
図12(a)及び(b)に示すように、周期TCYCLEカメラ5211の最大水平画角ΘbH_MAX5224および最大垂直画角ΘbV_MAX5234は(式1)で示され、周期TCYCLEカメラ5211の水平方向の最小水平画角ΘbH_MINは、カメラ5201の水平方向の最小水平画角ΘaH_MINに等しく、周期TCYCLEカメラ5211の垂直方向の最小垂直画角ΘbV_MINは、カメラ5201の垂直方向の最小垂直画角ΘaV_MINに等しい。ただし、周期TCYCLEカメラ5211がパン角ΘbP5227またはチルト角ΘbP5237だけパンまたはチルトしている場合、周期TCYCLEカメラ5221の最大垂直画角ΘbH_MAX5224および最大垂直画角ΘbV_MAX5234は、(式2)に示す制限をうける。このため、周期TCYCLEカメラ5211の水平画角ΘbH5225および水平画角ΘbV5235は、(式3)に示す範囲の可変値である。また、図12(a)及び(b)に示すように、周期TCYCLEカメラ5211の最大パン角ΘbP_MAXおよび最大パン角ΘbT_MAXはそれぞれ、カメラ5201の最大パン角ΘaP_MAX5223および最大パン角ΘaT_MAX5233と等しい。このため、周期TCYCLEカメラ5211のパン角ΘbP5227およびチルト角ΘbT5237は、(式4)に示す範囲の可変値である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
(カメラの撮影領域位置および視点)
つぎに、カメラの撮影領域の位置および視点を算出する方法について説明する。図13はカメラの撮影領域の位置を説明する図である。図13において、5301は像を結像させるためのレンズ、5302はレンズ5301で結像した像を撮影するCCDなどの撮像面、5303はレンズ5301および撮像面5302から構成されるカメラである。5311はXC軸、5312はYC軸、5313はZC軸であり、これらの各軸はお互い直交し、レンズ5301を原点としたカメラ座標軸系を構成し、特にZC軸5313はカメラ5303の視線(撮影方向)と一致する。5314はカメラ5303のYC軸5312回りの回転角であるパン角ΘP、5315はカメラ5303のXC軸5311回りの回転角であるチルト角ΘT、5316はカメラ5303のZC軸5313回りの回転角であるロール角ΘRである。カメラ5303は自身の姿勢をこれらの回転角だけ回転させる。5317はレンズ5301から撮像面5302までの距離である焦点距離f、5318は撮像面5302の水平方向のサイズである撮像面水平サイズW、5319は撮像面5302の垂直方向のサイズである撮像面垂直サイズHである。5321はXW軸、5322はYW軸、5323はZW軸であり、これらの各軸はお互い直交し、世界座標軸系を構成する。5324はカメラ5303のXW軸5321方向の変位である変位ΔXTW、5325はカメラ5303のYW軸5322方向の変位である変位ΔYTW、5326はカメラ5303のZW軸5323方向の変位である変位ΔZTWである。カメラ5303は世界座標軸系において、(XTW,YTW,ZTW)で示される位置に存在し、同位置を基点として(ΔXTW,ΔYTW,ΔZTW)だけ移動する。5327は5303カメラの水平方向の画角である水平画角ΘH、5328は5303カメラの垂直方向の画角である垂直画角ΘVである。5331はZW=ZCONSTである実空間面、5332はカメラ5303が撮影している実空間面5331上の撮影領域、5333は、ZC軸5313と撮影領域5332が存在する実空間面5331の交点である視点であり、ZC軸5313が示すカメラ5303の視線の実空間面5331上の位置を示す。
C軸5321およびYC軸5322およびZC軸5323で構成されるカメラ座標軸系上のある点(XPC,YPC,ZPC)は、(式5)に示す式により、XW軸5321およびYW軸5322およびZW軸5323で構成される世界座標軸上の点(XPC,YPC,ZPW)に変換できる。同式において、M00からM22を要素とする3×3行列値は、カメラ5303の姿勢基準点(カメラ5303の姿勢の回転角度(ΘP,ΘT,ΘR)=(0,0,0))の行列値、R00からR22を要素とする3×3行列値は、カメラ5303の姿勢基準点からの姿勢変位をあらわす行列値、(XTW,YTW,ZTW)はカメラ5303の位置基準点(カメラ5303の位置の変位(ΔXTW,ΔYTW,ΔZTW)=(0,0,0))の位置、(ΔXTW,ΔYTW,ΔZTW)はカメラ5303の位置基準点からの位置変位をあらわす。
Figure 2007013231
00からM22を要素とする3×3行列値や(XTW,YTW,ZTW)は、カメラ5303を姿勢基準点および位置基準点に合わせる、または、現在のカメラ5303の姿勢および位置をそれぞれ姿勢基準点および位置基準点とし、公知のキャリブレーション方法(R.Tsai. A Versatile Camera Calibration Technique for High−Accuracy 3D Machine Vision Metrology Using Off−the−Shelf TV Cameras and Lenses. IEEE journal of Robotics and Automation,Vol.RA−3,No.4,pp.323−344,1987)などを用いることにより算出可能であり、本発明の撮影領域調整装置の動作開始前に事前に算出しておく。
カメラ5303の姿勢基準点からの姿勢変位をあらわすR00からR22を要素とする3×3行列値は、(式6)に示すように、カメラ5303の姿勢である回転角度(ΘP,ΘT,ΘR)より算出可能である。カメラ5303の姿勢である回転角度(ΘP,ΘT,ΘR)、および、カメラ5303の位置基準点からの位置変位である(ΔXTW,ΔYTW,ΔZTW)は、同カメラ5303の位置をステッピングモーターなどで変化させる仕組みであれば、同ステッピングモーターよりその変位を読み取れる。
Figure 2007013231
撮像面5302上の各点(XPC,YPC,f)は、(式7)により、ZW=ZCONSTである実空間面5331上に投影できる。撮像面4隅の各点(−W/2,−H/2,f)、(W/2 ,−H/2,f)、(−W/2,H/2,f)、(W/2,H/2,f)をZW=ZCONSTである実空間面5331上に投影した位置は、カメラ5303の撮影領域5332の4隅の位置である。また、ZC軸5313は撮像面5302上の点(0,0,f)をとおり、同点(0,0,f)をZW=ZCONSTである実空間面5331上に投影した位置は、カメラ5303の視点5333である。このため、(式8)〜(式12)により、ZW=ZCONSTである実空間面5331上のカメラ5303の撮影領域5332位置(点(XPW0,YPW0,ZPW0)〜点(XPW3,YPW3,ZPW3))および視点5333(点(XPW4,YPW4,ZPW4))が算出可能である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
また、水平画角ΘH5327および垂直画角ΘV5328は、焦点距離f5317および撮像面水平サイズW5318および撮像面垂直サイズH5319と(式13)に示すような関係にある。このため、(式14)〜(式17)を用いても、ZW=ZCONSTである実空間面5331上のカメラ5303の撮影領域5332位置が算出可能である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
なお、上記カメラの撮影領域の位置を算出する方法は、時刻T撮影領域の位置および視点の算出のみならず、周期TCYCLE撮影領域の位置および視点の算出に適用できる。周期TCYCLE撮影領域の位置および視点の算出をするのであれば、(式6)および(式13)〜(式17)における、パン角ΘP5314、チルト角ΘT5315、ロール角ΘR5316、水平画角ΘH5327および垂直画角ΘV5328はそれぞれ、図12(a)及び(d)に示す、パン角ΘbP5227、チルト角ΘbT5228、ロール角ΘbR、水平画角ΘbH5225および垂直画角ΘbV5235とすればよい(ロール角ΘbRは図12(a)及び(d)に示していないが、カメラ5201のロール角ΘaRと同値である)。カメラ5303の姿勢基準点の行列値であるM00からM22を要素とする3×3行列値、カメラ5303の位置基準点の位置(XTW,YTW,ZTW)、および、同位置基準点からの位置変位(ΔXTW,ΔYTW,ΔZTW)は、周期TCYCLE撮影領域を撮影する周期TCYCLEカメラの位置および姿勢基準点は時刻T撮影領域を撮影するカメラと同じとしたので、時刻T撮影領域を撮影するカメラのそれを用いればよい。
(周期TCYCLE撮影領域の撮影方法)
つぎに、周期TCYCLE撮影領域の撮影方法について説明する。図14及び図15は周期TCYCLE撮影領域の撮影方法を説明する図である。図14(a)、(b)及び図15において、5401は周期TCYCLE撮影領域、5402は周期TCYCLE撮影領域5401の水平方向のサイズLbH、5403は周期TCYCLE撮影領域5401の垂直方向のサイズLbV、5404は現時刻の時刻TNOWにおける撮影領域である現時刻TNOW撮影領域、5405は現時刻TNOW撮影領域5404の水平方向のサイズLaH、5406は現時刻TNOW撮影領域5404の垂直方向のサイズLaV、5407は現時刻の時刻TNOWの次の撮影時刻TNEXTにおける撮影領域である現時刻TNEXT撮影領域、5408は現時刻TNOW撮影領域5404から次時刻TNEXT撮影領域5407までの移動距離L、5409は時刻T撮影領域の移動経路、5421から5423はそれぞれ水平方向の位置である位置H1から位置H3、5431から5434はそれぞれ垂直方向の位置である位置V1から位置V4である。
また、図16、図17及び図18は周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。図16(a)、(b)、図17(a)、(b)に示すフローチャートはそれぞれ、時刻T撮影領域を左右上下に水平および垂直終端位置まで移動させるサブルーチンを示すフローチャートであり、まず、図16(a)に示す水平左方向へ移動させるサブルーチンを以下に説明する。まず同サブルーチンは、ステップ5501において、図14及び図15における移動距離L5408を算出する。移動距離L5408は、(式18)に示す式によって算出される。同式において、VP_CONSTは、あらかじめ定めたパン速度であり、TSは、あらかじめ定めたカメラの撮影間隔である。つぎに、ステップ5502において、現時刻TNOW撮影領域5404の左端位置から水平端位置までの距離である水平余剰距離LHを算出する。つぎに、ステップ5503において、ステップ5502で算出した水平余剰距離LHがステップ5501で算出した移動距離L5408以下であるかどうかを判断する。そして、水平余剰距離LHが移動距離L5408以下でない場合、ステップ5504に進み、パン速度VPを(式19)に示す値とし、同パン速度VPで撮影期間TS期間だけカメラを左パン動作させ(パン速度が正の値の場合を右パン動作、負の値の場合を左パン動作としている)、ステップ5503に戻る。また、水平余剰距離LHが移動距離L5408以下である場合、パン速度VPを(式20)に示す値とし、同パン速度VPで撮影期間TS期間だけカメラを左パン動作させる。この結果、ステップ5504により、カメラは水平余剰距離LHが移動距離L5408以下になるまで(式19)に示すパン速度VPで左パン動作し続け、さらに、ステップ5505により、(式20)に示すパン速度VPで撮影期間TS期間だけカメラを左パン動作させるために、水平余剰距離LHだけ左パンし、カメラの時刻T撮影領域は水平端位置に達する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
つぎに、図16(b)に示す水平左方向へ移動させるサブルーチンを以下に説明する。同サブルーチンの動作は図16(a)に示す水平右方向へ移動させるサブルーチンとほぼ同等である。まず同サブルーチンは、ステップ5511において、図14及び図15における移動距離L5408を算出する。移動距離L5408は(式18)に示す式によって算出される。つぎに、ステップ5512において、現時刻TNOW撮影領域5404の右端位置から水平端位置までの距離である水平余剰距離LHを算出する。つぎに、ステップ5513において、ステップ5512で算出した水平余剰距離LHがステップ5511で算出した移動距離L5408以下であるかどうかを判断する。そして、水平余剰距離LHが移動距離L5408以下でない場合、ステップ5514に進み、パン速度VPを(式21)に示す値とし、同パン速度VPで撮影期間TS期間だけカメラを右パン動作させ、ステップ5513に戻る。また、水平余剰距離LHが移動距離L5408以下である場合、パン速度VPを(式22)に示す値とし、同パン速度VPで撮影期間TS期間だけカメラを右パン動作させる。この結果、ステップ5514により、カメラは水平余剰距離LHが移動距離L5408以下になるまで(式21)に示すパン速度VPで右パン動作し続け、さらに、ステップ5515により、(式22)に示すパン速度VPで撮影期間TS期間だけカメラを右パン動作させるために、水平余剰距離LHだけ右パンし、カメラの時刻T撮影領域は水平端位置に達する。
Figure 2007013231
Figure 2007013231
つぎに、図17(a)に示す垂直上方向へ移動させるサブルーチンを以下に説明する。同サブルーチンの動作は図16(a)に示す水平右方向へ移動させるサブルーチンとほぼ同等である。まず同サブルーチンは、ステップ5521において、図14及び図15における移動距離L5408を算出する。移動距離L5408は(式23)に示す式によって算出される。つぎに、ステップ5522において、現時刻TNOW撮影領域5404の上端位置から垂直端位置までの距離である垂直余剰距離LVを算出する。つぎに、ステップ5523において、ステップ5522で算出した垂直余剰距離LVがステップ5521で算出した移動距離L5408以下であるかどうかを判断する。そして、垂直余剰距離LVが移動距離L5408以下でない場合、ステップ5524に進み、チルト速度VTを(式24)に示す値とし、同チルト速度VTで撮影期間TS期間だけカメラを上パン動作させ(チルト速度が正の値の場合を上チルト動作、負の値の場合を下チルト動作としている)、ステップ5523に戻る。また、垂直余剰距離LVが移動距離L5408以下である場合、チルト速度VTを(式25)に示す値とし、同チルト速度VTで撮影期間TS期間だけカメラを上チルト動作させる。この結果、ステップ5524により、カメラは垂直余剰距離LVが移動距離L5408以下になるまで(式24)に示すチルト速度VTで上チルト動作し続け、さらに、ステップ5525により、(式25)に示すチルト速度VTで撮影期間TS期間だけカメラを上チルト動作させるために、垂直余剰距離LVだけ上チルトし、カメラの時刻T撮影領域は垂直端位置に達する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
最後に、図17(b)に示す垂直下方向へ移動させるサブルーチンを以下に説明する。同サブルーチンの動作は図16(a)に示す水平右方向へ移動させるサブルーチンとほぼ同等である。まず同サブルーチンは、ステップ5531において、図14及び図15における移動距離L5408を算出する。移動距離L5408は(式23)に示す式によって算出される。つぎに、ステップ5532において、現時刻TNOW撮影領域5404の下端位置から垂直端位置までの距離である垂直余剰距離LVを算出する。つぎに、ステップ5533において、ステップ5532で算出した垂直余剰距離LVがステップ5531で算出した移動距離L5408以下であるかどうかを判断する。そして、垂直余剰距離LVが移動距離L5408以下でない場合、ステップ5534に進み、チルト速度VTを(式26)に示す値とし、同チルト速度VTで撮影期間TS期間だけカメラを下パン動作させ、ステップ5533に戻る。また、垂直余剰距離LVが移動距離L5408以下である場合、チルト速度VTを(式27)に示す値とし、同チルト速度VTで撮影期間TS期間だけカメラを下チルト動作させる。この結果、ステップ5534により、カメラは垂直余剰距離LVが移動距離L5408以下になるまで(式26)に示すチルト速度VTで下チルト動作し続け、さらに、ステップ5535により、(式27)に示すチルト速度VTで撮影期間TS期間だけカメラを下チルト動作させるために、垂直余剰距離LVだけ下チルトし、カメラの時刻T撮影領域は垂直端位置に達する。
Figure 2007013231
Figure 2007013231
以上のように、図16(a)、(b)、図17(a)、(b)に示すサブルーチンのフローに従えば、時刻T撮影領域を左右上下に水平および垂直終端位置まで移動させることが可能となる。なお、あらかじめ定めるパン速度VP_CONSTおよびチルト速度VT_CONSTおよび撮影間隔TSは、時刻T撮影領域水平サイズLaH5405および時刻T撮影領域垂直サイズLaV5406に対し、(式28)に示す関係にあるものとする。
Figure 2007013231
図18に示すフローチャートは、上記図16(a)、(b)、図17(a)、(b)に示すサブルーチンを用いて時刻T撮影領域を図14(a)の時刻T撮影領域移動経路5409に沿って移動させ、周期TCYCLE撮影領域5401内を撮影するメインルーチンを示すフローチャートである。まず、ステップ5541において、図14(a)の現時刻TNOW撮影領域5404のように、カメラの時刻T撮影範囲を周期TCYCLE撮影領域5401の右下位置に移動させる。つぎにステップ5542およびステップ5543において、水平終端位置を位置H15421として、図16(b)に示すサブルーチンを用いて位置H15421までカメラを右パン動作させる。つぎにステップ5544およびステップ5545において、垂直終端位置を位置V15431として、図17(a)に示すサブルーチンを用いて位置V15431までカメラを上チルト動作させる。つぎにステップ5546およびステップ5547において、水平終端位置を位置H25422として、図16(a)に示すサブルーチンを用いて位置H25422までカメラを左パン動作させる。つぎにステップ5548およびステップ5549において、垂直終端位置を位置V25432として、図17(a)に示すサブルーチンを用いて位置V25432までカメラを上チルト動作させる。つぎにステップ5550およびステップ5551において、水平終端位置を位置H35423として、図16(b)に示すサブルーチンを用いて位置H35423までカメラを右パン動作させ、ステップ541に戻る。このフローによれば、時刻T撮影領域を図14(a)の時刻T撮影領域移動経路5409に沿って移動させ、周期TCYCLE撮影領域5401内を撮影することができる。
なお、図18には、時刻T撮影領域を図14(a)の時刻T撮影領域移動経路5409に沿って移動させ、周期TCYCLE撮影領域5401内を撮影するフローを示したが、時刻T撮影領域を図14(b)の時刻T撮影領域移動経路5409に沿って移動させ、または、時刻T撮影領域を図15の時刻T撮影領域移動経路5409に沿って移動させ周期TCYCLE撮影領域5401内を撮影する場合には、水平および垂直終端位置の設定および図16(a)、(b)、図17(a)、(b)に示すサブルーチンの呼び出し順番を入れ変えることで撮影可能であることは自明であるので、説明を省略する。
また、水平終端位置に設定する位置H15421から位置H35423、および、垂直終端位置に設定する位置V15431から位置V45434はそれぞれ、周期TCYCLE撮影領域水平サイズLbH5402、周期TCYCLE撮影領域垂直サイズLbV5403、時刻T撮影領域水平サイズLaH5405、時刻T撮影領域垂直サイズLaV5406の関係より算出可能である。たとえば、周期TCYCLE撮影領域垂直サイズLbV5403が時刻T 撮影領域垂直サイズLaV5406の2.8倍である場合、図14(a)の位置V15431は撮影領域垂直サイズLaV5406の2倍の大きさ、図14(a)の位置V25432は撮影領域垂直サイズLaV5406の2.8倍の大きさとすればよく、図14(a)の位置V25432は撮影領域垂直サイズLaV5406の3倍の大きさであってもよい。図14(a)の位置V25432を撮影領域垂直サイズLaV5406の3倍の大きさとした場合、時刻T撮影領域は周期TCYCLE撮影領域5401をはみ出すことになるが、周期TCYCLE撮影領域5401内はすべて撮影されるので、特に問題はない。
また、周期TCYCLE撮影領域水平サイズLbH5402、周期TCYCLE撮影領域垂直サイズLbV5403、時刻T撮影領域水平サイズLaH5405、時刻T撮影領域垂直サイズLaV5406は、前記したカメラの撮影領域位置の算出方法を用い、パン角ΘP、チルト角ΘT、ロール角ΘR、水平画角ΘHおよび垂直画角ΘVなどから算出した周期TCYCLE撮影領域および時刻T撮影領域の4隅の位置をもとに算出することが可能である。
また、図14(a)、(b)及び図15に、3例の時刻T撮影領域移動経路5409を示したが、時刻T撮影領域移動経路5409はこれのみ限るものではない。できることなら一筆書きで、周期TCYCLE撮影領域5401内をまんべんなく撮影する経路ならよい。
また、時刻T撮影領域移動経路5409は、周期TCYCLE撮影領域水平サイズLbH5402、周期TCYCLE撮影領域垂直サイズLbV5403、時刻T撮影領域水平サイズLaH5405、時刻T撮影領域垂直サイズLaV5406の大きさにより、図14(a)、(b)及び図15などに示す時刻T撮影領域移動経路5409を選択してもよい。
また、以上の説明は全て、時刻T撮影領域よりも周期TCYCLE撮影領域が大きい場合を想定して説明している。図11(a)〜(b)によれば、時刻Tカメラ水平画角ΘaH≧周期TCYCLEカメラ水平画角ΘbH、時刻Tカメラ垂直画角ΘaV≧周期TCYCLEカメラ垂直画角ΘbVと、水平垂直方向共、周期TCYCLE撮影領域5203の画角が時刻T撮影領域5302の画角以下など、時刻T撮影領域よりも周期TCYCLE撮影領域が等しいまたは小さい場合は、時刻T撮影領域をもって周期TCYCLE撮影領域全域を一度に撮影できる。この場合、以上説明した手法により時刻T撮影領域の位置を逐次移動して撮影せず、周期TCYCLE撮影領域全域を撮影するように時刻T撮影領域の位置(パン/チルト/ロール角)および大きさ(ズーム比)を調整してやればよい。この場合、周期TCYCLE撮影領域の周期は0であり、常時周期TCYCLE撮影領域全域を撮影されている。なお、時刻T撮影領域の位置および大きさは、時刻T撮影領域をもって周期TCYCLE撮影領域全域を撮影でき、かつ、周期TCYCLE撮影領域を撮影していない時刻T撮影領域内の領域が最も少ない時刻T撮影領域の位置および大きさに調整されるべきである。
(撮影領域の形状)
つぎに、時刻T撮影領域および周期TCYCLE撮影領域の形状について説明する。図19は、時刻T撮影領域の形状を説明する図である。図19において、5301はレンズ、5302は撮像面、5303はカメラ、5313はZC軸、5321はXW軸、5322はYW軸、5323はZW軸、5332は時刻T撮影領域であり、これらは図13と同様である。5601は時刻T撮影領域5332に内接し、XW軸5321およびYW軸5322に平行な辺からなる四角形、5610から5613はそれぞれ、XW軸5321における時刻T撮影領域5332の4隅の位置である、位置X1から位置X4、5620から5623はそれぞれ、YW軸5322における時刻T撮影領域5332の4隅の位置である、位置Y1から位置Y4である。
本実施の形態では、説明を簡単にするために、時刻T撮影領域および周期TCYCLE撮影領域はXW軸5321およびYW軸5322に平行な辺からなる四角形としている。しかし図19に示すように、カメラ5303の時刻T撮影領域5332は、カメラ5303の撮影方向を示すZC軸5313とZW軸5323が平行でない場合、XW軸5321およびYW軸5322に平行でない辺からなる矩形の領域となる。このような場合、時刻T撮影領域内接四角形5601に示すような、時刻T撮影領域5332に内接し、XW軸5321およびYW軸5322に平行な辺からなる四角形を時刻T撮影領域とする。時刻T撮影領域内接四角形5601の4隅の位置は、図19に示すように、XW軸5321における時刻T撮影領域5332の4隅の位置である位置X15620から位置X45623、YW軸5322における時刻T撮影領域5332の4隅の位置である位置Y15630から位置Y45633それぞれの大小関係によって求めることができる。位置X15620から位置X45623の内の2番目および3番目に大きな位置、位置Y15630から位置Y45633の内の2番目および3番目に大きな位置が、時刻T撮影領域内接四角形5601の4隅の位置である。なお、時刻T撮影領域内接四角形5601は、上記のような求め方の四角形でなくても、時刻T撮影領域5332に内接し、XW軸5321およびYW軸5322に平行な辺からなる四角形であればよい。また、位置X15620から位置X45623、および、位置Y15630から位置Y45633は、前記したカメラの撮影領域位置の算出方法を用い、パン角ΘP、チルト角ΘT、ロール角ΘR、水平画角ΘHおよび垂直画角ΘVなどから算出することが可能である。
図20は、周期TCYCLE撮影領域の形状を説明する図である。図20において、5321はXW軸、5322はYW軸、5332は時刻T撮影領域であり、これらは図13と同様である。5630は周期TCYCLE撮影領域、5631は周期TCYCLE撮影領域5630に内接し、XW軸5321およびYW軸5322に平行な辺からなる四角形、5640から5643はそれぞれ、XW軸5321における周期TCYCLE撮影領域5630の4隅の位置である、位置X5から位置X8、5650から5653はそれぞれ、YW軸5322における周期TCYCLE撮影領域5630の4隅の位置である、位置Y5から位置Y8である。図20に示すように、時刻T撮影領域5332と同様に、周期TCYCLE撮影領域5630も、XW軸5321およびYW軸5322に平行でない辺からなる矩形の領域となることがある。このような場合、周期TCYCLE撮影領域内接四角形5631に示すような、周期TCYCLE撮影領域5630に内接し、XW軸5321およびYW軸5322に平行な辺からなる四角形を周期TCYCLE撮影領域とする。
周期TCYCLE撮影領域内接四角形5631の4隅の位置は、図20に示すように、XW軸5321における周期TCYCLE撮影領域5630の4隅の位置である位置X55640から位置X85643、YW軸5322における周期TCYCLE撮影領域5630の4隅の位置である位置Y55650から位置Y85653それぞれの大小関係によって求めることができる。位置X55640から位置X85643の内の2番目および3番目に大きな位置、位置Y55650から位置Y85653の内の2番目および3番目に大きな位置が、周期TCYCLE撮影領域内接四角形5631の4隅の位置である。なお、周期TCYCLE撮影領域内接四角形5631は、上記のような求め方の四角形でなくても、周期TCYCLE撮影領域5630に内接し、XW軸5321およびYW軸5322に平行な辺からなる四角形であればよい。また、位置X55640から位置X85643、および、置Y55650から位置Y85653は、前記したカメラの撮影領域位置の算出方法を用い、パン角ΘP、チルト角ΘT、ロール角ΘR、水平画角ΘHおよび垂直画角ΘVなどから算出することが可能である。
(隣接する撮影領域)
つぎに、隣接する撮影領域について説明する。隣接する撮影領域とは、当該撮影領域に対し上下左右などの各方向に最も近い他撮影領域のことである。当該撮影領域に対し隣接する撮影領域を求めるため手順を以下に説明する。
まず、当該撮影領域に対し他撮影領域がどの方向に存在するかを判定する。この判定のために、図21に示す判定方法を利用する。図21は領域判定方法を説明する図である。図21において、5701は座標(XA,YA)に存在する点A、5702は座標(XB,YB)に存在する点B、5703は点A5701および点B5702を通る直線AB、5704は直線AB5703により分割される図面右上の領域A、5705は直線AB5703により分割される図面右上の領域Bである。図21において、座標(XZ,YZ)に存在するある点Zが領域A5704に存在するのであれば、(式29)が成り立つ。また、点Zが領域B5705存在するのであれば、(式30)が成り立つ(なお、点Zが直線AB5703上に存在する場合は領域B5705存在するとしている)。両式を評価すれば点Zが領域A5704または領域B5705のどちらに存在するか判定できる。
そこで上記方法を利用し、他撮影領域の重心点(撮影領域の各頂点位置の平均値)を上記点Zとし、当該撮影領域に対しどの方向にあるかを判定する。図22(a)、(b)、(c)及び(d)は、当該撮影領域に対し他撮影領域がどの方向に存在するかを判定する方法を説明する図である。図22において、5801は周期TCYCLE撮影領域であり、当該撮影領域に該当する。5802は座標(XA,YA)に存在する周期TCYCLE撮影領域5801の1つ目の頂点A、5803は座標(XB,YB)に存在する周期TCYCLE撮影領域5801の2つ目の頂点B、5804は座標(XC,YC)に存在する周期TCYCLE撮影領域5801の3つ目の頂点C、5805は座標(XD,YD)に存在する周期TCYCLE撮影領域5801の4つ目の頂点D、5806は当該撮影領域に該当する周期TCYCLE撮影領域5801の上方向の領域A、5807は当該撮影領域に該当する周期TCYCLE撮影領域5801の右方向の領域B、5808は当該撮影領域に該当する周期TCYCLE撮影領域5801の下方向の領域C、5809は当該撮影領域に該当する周期TCYCLE撮影領域5801の左方向の領域Dである。
Figure 2007013231
Figure 2007013231
図21に示す判定方法を用いれば、図22(a)において、(式29)および(式31)が成り立てば、他撮影領域の重心点である点Zは領域A5806に存在し、同他撮影領域は当該撮影領域の上方向に存在すると判定する。また、(式29)および(式32)が成り立てば、他撮影領域の重心点である点Zは領域B5807に存在し、同他撮影領域は当該撮影領域の右方向に存在すると判定する。また、(式30)および(式32)が成り立てば、他撮影領域の重心点である点Zは領域C5808に存在し、同他撮影領域は当該撮影領域の下方向に存在すると判定する。最後に、(式30)および(式31)が成り立てば、他撮影領域の重心点である点Zは領域D5809に存在し、同他撮影領域は当該撮影領域の左方向に存在すると判定する。
Figure 2007013231
Figure 2007013231
つぎに、方向毎に最も距離が近い他撮影領域を同方向に対する隣接撮影領域とする。上記手順で判定し存在するある方向の他撮影領域が1つであれば、それを同方向に対する隣接撮影領域とし、複数であれば、他撮影領域の重心点から当該撮影領域の重心点までの距離が最も小さい他撮影領域を隣接撮影領域とする。
以上で、当該撮影領域に対し隣接する撮影領域を求める手順の説明を終える。以上の手順では、判定に用いる点Zを他撮影領域の重心点として説明したが、点Zは他撮影領域の視点であってもよい。同様に、他撮影領域の重心点から当該撮影領域の重心点までの距離は、他撮影領域の視点から当該撮影領域の視点までの距離であってもよい。
また、上記手順の説明は、図22(a)に示すように領域を上下左右に分け、それぞれの隣接撮影領域を求める手順を示したが、図22(b)に示すように、周期TCYCLE撮影領域5801の各頂点を通る直線(図22においは破線で図示)により領域を上下左右、左上、右上、右下、左下に分けても、それぞれの隣接撮影領域を求めることは可能であることは言うまでもない。さらに、上記手順の説明は、図22(a)に示すように周期TCYCLE撮影領域5801を平面としたが、図22(c)及び(d)に示すように、周期TCYCLE撮影領域5801を立体としても、同様に、隣接撮影領域を求めることは可能であることは言うまでもない。
なお、上記手順では、隣接する撮影領域とは、当該撮影領域に対し上下左右などの各方向に最も近い他撮影領域のことであると説明したが、これらは、当該撮影領域の各辺の部分領域毎に行うべきである。そして、辺の各部分領域で選択された隣接する他撮影領域の内、最も距離の遠い他撮影領域を最終的な隣接する撮影領域とすべきである。このことを図23に示す周期TACYCLE撮影領域5901の上辺と右辺の例をもって以下に説明する。周期TACYCLE撮影領域5901の上辺(上方向)において、上記手順によれば、部分領域U1では周期TBCYCLE撮影領域5902が、部分領域U2では周期TBCYCLE撮影領域5902が(周期TBCYCLE撮影領域5902は周期TCCYCLE撮影領域5903より距離が近い)、部分領域U3では周期TCCYCLE撮影領域5903が隣接する撮影領域と判定される。ここで、各部分領域U1〜U3において最も距離の遠い他撮影領域は周期TCCYCLE撮影領域5903であるので、最終的な隣接する撮影領域として周期TCCYCLE撮影領域5903を選択する。これは、周期TACYCLE撮影領域5901の上辺と周期TCCYCLE撮影領域5903の下辺が重複するように調整されれば、周期TACYCLE撮影領域5901の上辺に対しては死角なく撮影対象領域121を撮影できるためである。また、周期TACYCLE撮影領域5901の右辺(右方向)においては、上記手順によれば、部分領域R1では周期TDCYCLE撮影領域5904が、部分領域R2では撮影対象外領域122が(後述する実施の形態1において詳しく説明するが、本発明においては、隣接する撮影領域がない場合には撮影対象外領域を選択する)、部分領域R3では周期TECYCLE撮影領域5905が隣接する撮影領域と判定される。ここで、各部分領域R1〜R3において最も距離の遠い他撮影領域は撮影対象外領域122であるので、最終的な隣接する撮影領域として撮影対象外領域122を選択する。これは、周期TACYCLE撮影領域5901の右辺と撮影対象領域境界5910が重複するように調整されれば、周期TACYCLE撮影領域5901の右辺に対しては死角なく撮影対象領域121を撮影できるためである。
以上、カメラの撮影領域、検出対象と周期TCYCLE撮影領域の関係、カメラの周期TCYCLE撮影領域の大きさ、周期TCYCLE撮影領域を撮影するカメラの画角およびパンおよびチルト、カメラの撮影領域位置、周期TCYCLE撮影領域の撮影方法、撮影領域の形状、隣接する撮影領域、領域分割について説明した。これを前提とし、以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
まず、本発明の実施の形態1について説明する。本実施の形態では、各カメラ端末のカメラの周期TCYCLE撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように各カメラ端末のカメラの周期TCYCLE撮影領域の位置が自動調整される撮影領域調整装置に関し、図24から図29を用いて説明する。
まず、本実施の形態における撮影領域調整装置の構成要素について説明する。図24(a)は、本実施の形態における撮影領域調整装置の構成ブロック図である。この撮影領域調整装置は、カメラ端末A101A〜カメラ端末C101C、操作端末102、及び、各カメラ端末101A〜101Cおよび操作端末102間の通信時に利用されるネットワーク103から構成される。なお、図24において、領域や同領域の位置を表現するために、お互い直交するXW軸110、YW軸111、およびZW軸112を定める。113は各カメラ端末101A〜101Cが存在する実空間上の面、例えば各カメラ端末101A〜101Cが天井から下向きに設定させている場合は、床などの面であり、本実施の形態においては、ZW軸112=0の面とし、各種領域および同領域の位置はこの面を用いて表現する。実空間面113上において、周期TACYCLE撮影領域120Aはカメラ端末A101Aが周期TACYCLEに周期的に撮影する領域、周期TBCYCLE撮影領域120Bはカメラ端末B101Bが周期TBCYCLEに周期的に撮影する領域、周期TCCYCLE撮影領域120Cはカメラ端末C101Cが周期TCCYCLEに周期的に撮影する領域、撮影対象領域121は本発明における撮影を対象とする領域、撮影対象外領域122は撮影対象領域121以外の領域である。
図24(b)は、図24(a)に示した本実施の形態における撮影領域調整装置の実空間面113上における、各撮影領域位置を詳細に示す図である。図24(b)において、XW軸110、YW軸111、周期TACYCLE撮影領域120A、周期TBCYCLE撮影領域120B、周期TCCYCLE撮影領域120C、撮影対象領域121および撮影対象外領域122は、図24(a)と同様である。
130AL、130AR、130AUおよび130ABはそれぞれ、周期TACYCLE撮影領域120Aの左端XAL、右端XAR、上端YAUおよび下端YAB位置である。つまり、周期TACYCLE撮影領域120Aは、XAL130AL、XAR130AR、YAU130AUおよびYAB130ABに囲まれた領域であり、これらを用いて周期TACYCLE撮影領域120Aの位置を表現する。130BL、130BR、130BUおよび130BBはそれぞれ、周期TBCYCLE撮影領域120Bの左端XBL、右端XBR、上端YBUおよび下端YBB位置である。つまり、周期TBCYCLE撮影領域120Aは、XBL130BL、XBR130BR、YBU130BUおよびYBB130BBに囲まれた領域であり、これらを用いて周期TBCYCLE撮影領域120Bの位置を表現する。130CL、130CR、130CUおよび130CBはそれぞれ、周期TCCYCLE撮影領域120Cの左端XCL、右端XCR、上端YCUおよび下端YCB位置である。つまり、周期TCCYCLE撮影領域120Aは、XCL130CL、XCR130CR、YCU130CUおよびYCB130CBに囲まれた領域であり、これらを用いて周期TCCYCLE撮影領域120Cの位置を表現する。131TL、131TR、131TUおよび131TBはそれぞれ、撮影対象領域121の左端XTL、右端XTR、上端YTUおよび下端YTB位置である。つまり、撮影対象領域121は、XTL131TL、XTR131TR、YTU131TUおよびYTB131TBに囲まれた領域であり、撮影対象外領域122は、XTL131TL、XTR131TR、YTU131TUおよびYTB131TBに囲まれた領域以外の領域であり、これらを用いて撮影対象領域121および撮影対象外領域122の位置を表現する。
また、周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bが重複する、XBL130BL、XAR130AR、YBU130BUおよびYAB130ABに囲まれる領域は、カメラ端末A101Aおよびカメラ端末B101Bがそれぞれ重複して撮影する領域であり、同領域を撮影重複領域ABとする。同領域のXW軸110方向の大きさはXAR−XBLである。周期TBCYCLE撮影領域120Bおよび周期TCCYCLE撮影領域120Cが重複する、XCL130CL、XBR130BR、YCU130CUおよびYBB130BBに囲まれる領域は、カメラ端末B101Bおよびカメラ端末C101Cがそれぞれ重複して撮影する領域であり、同領域を撮影重複領域BCとする。同領域のXW軸110方向の大きさはXBR−XCLである。撮影対象外領域122と周期TACYCLE撮影領域120Aが重複する領域において、XAL130AL、XTL131TL、YAU130AUおよびYAB130ABに囲まれる領域を、撮影対象外重複領域ALとする。同領域のXW軸110方向の大きさはXTL−XALである。撮影対象外領域122と周期TCCYCLE撮影領域120Cが重複する領域において、XTR131TR、XCR130CR、YCU130CUおよびYCB130CBに囲まれる領域を、撮影対象外重複領域CRとする。同領域のXW軸110方向の大きさはXCR−XTRである。撮影対象外領域122と周期TACYCLE撮影領域120Aが重複する領域において、XAL130AL、XAR130AR、YAU130AUおよびYTU131TUに囲まれる領域を、撮影対象外重複領域AUとする。同領域のYW軸111方向の大きさはYTU−YAUである。撮影対象外領域122と周期TACYCLE撮影領域120Aが重複する領域において、XAL130AL、XAR130AR、YTB131TBおよびYAB130ABに囲まれる領域を、撮影対象外重複領域ABとする。同領域のYW軸111方向の大きさはYAB−YTBである。撮影対象外領域122と周期TBCYCLE撮影領域120Bが重複する領域において、XBL130BL、XBR130BR、YBU130BUおよびYTU131TUに囲まれる領域を、撮影対象外重複領域BUとする。同領域のYW軸111方向の大きさはYTU−YBUである。撮影対象外領域122と周期TBCYCLE撮影領域120Bが重複する領域において、XBL130BL、XBR130BR、YTB131TBおよびYBB130BBに囲まれる領域を、撮影対象外重複領域BBとする。同領域のYW軸111方向の大きさはYBB−YTBである。撮影対象外領域122と周期TCCYCLE撮影領域120Cが重複する領域において、XCL130CL、XCR130CR、YCU130CUおよびYTU131TUに囲まれる領域を、撮影対象外重複領域CUとする。同領域のYW軸111方向の大きさはYTU−YCUである。撮影対象外領域122と周期TCCYCLE撮影領域120Cが重複する領域において、XCL130CL、XCR130CR、YTB131TBおよびYCB130CBに囲まれる領域を、撮影対象外重複領域CBとする。同領域のYW軸111方向の大きさはXCB−XTBである。
図25は、図24(a)における各カメラ端末101A〜101Cの構成ブロック図である。カメラ端末101A〜101Cは、カメラ201、カメラ201の撮影領域位置を調整する処理部である調整部A202、ネットワーク103を介してカメラ201の撮影領域位置を通信する通信部203を備える。レンズ211は、像を結像させるレンズであり、撮像面212はレンズ211で結像した像を撮影するCCDなどの撮像面、画像処理部213は撮像面212で撮影した画像を処理する処理部、姿勢制御部214はレンズ211および撮像面212の姿勢、および、レンズ211と撮像面212の間隔を制御する処理部、周期撮影制御部215は姿勢制御部214に周期的な姿勢制御信号を送ることにより、カメラ201が周期TCYCLEに周期TCYCLE撮影領域を撮影するように制御する処理部である。カメラ201はこれらレンズ211、撮像面212、画像処理部、213、姿勢制御部214、周期撮影制御部215から構成されている。なお、姿勢制御部214が行う、レンズ211および撮像面212の姿勢の制御とは、一般的にパンやチルトと呼ばれる制御であり、レンズ211および撮像面212は連動して、ある点または軸を中心に回転される。また、姿勢制御部214が行う、レンズ211および撮像面212の間隔の制御とは、一般的にズームと呼ばれる制御であり、レンズ211および撮像面212の間隔が増減することにより、カメラ201の画角が調整される。
より詳しくは、カメラ201は、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラである。
通信部203は、仮想撮影領域を示す仮想撮影領域情報を送受信する通信インターフェースである。
調整部A202は、自カメラ端末の仮想撮影領域と通信部203によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、複数のカメラ端末A〜Cの仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する処理部である。
図26は、図24(a)における操作端末102の構成ブロック図である。操作端末102は、撮影対象領域121の位置であるXTL131TL、XTR131TR、YTU131TUおよびYTB131TBを入力する入力部301、入力部301から入力した撮影対象領域121の位置を記憶する記憶部302、図24における通信部203と同様の通信部であって、ネットワーク103を介して記憶部302に記録された撮影対象領域121の位置を通信する通信部203を備える。なお、予め記憶部302に撮影対象領域121の位置が記録されているのであれば、入力部301は必要としない。
つぎに、本実施の形態における撮影領域調整装置の動作を説明する。各カメラ端末101A〜101Cの構成要素であるカメラ201は、図25に示す内部構成をもつ。カメラ201では、レンズ211により結像した像を撮像面212で画像信号に変換し、画像処理部213において一般的な画像処理技術や画像認識技術などにより、同画像信号から検出対象の検出や情報抽出が行う。このようにカメラ201は実空間に対しレンズ211および撮像面212の姿勢およびそれぞれの間隔により決定する自身の時刻T撮影領域を検出領域とした、検出対象の検出や情報抽出などの検出動作を行う。なお、上記した一般的な画像処理技術や画像認識技術としては広く知られている背景差分法や動差分法などが挙げられる。また、後述するが、カメラ201は周期撮影制御部215により、周期TCYCLEに周期TCYCLE撮影領域を撮影する。このため、カメラ201は実空間に対し周期撮影制御部215により決定する自身の周期TCYCLE撮影領域を検出領域とした、検出対象の検出や情報抽出などの検出動作を行うことになる。検出した検出対象の情報は通信部203に送られる。
更に、カメラ201では、姿勢制御部214が、レンズ211および撮像面212の姿勢、または、レンズ211および撮像面212の間隔を制御することにより、カメラ201の時刻T撮影領域の位置を、周期撮影制御部215が指示する姿勢制御信号により時刻T撮影領域の位置に移動させる。また、姿勢制御部214は、時刻Tのレンズ211および撮像面212の姿勢または間隔から決定するカメラ201の時刻T撮影領域の位置情報を取得するとともに、それを周期撮影制御部215に送る。このように、カメラ201の時刻T撮影領域の位置は周期撮影制御部215により制御されると共に、時刻Tにおけるカメラ201の時刻T撮影領域の位置情報は周期撮影制御部215に送られる。なお、時刻Tにおけるレンズ211および撮像面212の姿勢または間隔から決定するカメラ201の時刻T撮影領域の位置を算出する方法については、前記、カメラの撮影領域位置において説明した。また、レンズ211および撮像面212の姿勢および間隔は、例えばステッピングモーターなどを用いれば変化させることが可能であり、また、その時刻Tにおける姿勢および間隔も読み取り可能である。
周期撮影制御部215は、前記、周期TCYCLE撮影領域の撮影方法に説明した方法にもとづき、姿勢制御部214から送られる時刻T撮影領域の位置情報、および、調整部A202から指示される周期TCYCLEカメラパン角ΘbPおよび周期TCYCLEカメラチルト角ΘbTおよび周期TCYCLEカメラ水平画角ΘbHおよび周期TCYCLEカメラ垂直画角ΘbVをもとに、姿勢制御部214にパン速度VPおよびチルト速度VTなどの姿勢制御信号を送ることにより、カメラ201の時刻T撮影領域の位置を制御し、カメラ201を、周期TCYCLE撮影領域を撮影する周期TCYCLEカメラとして動作させる。なお、周期TCYCLE撮影領域の撮影方法に説明したように、周期TCYCLE撮影領域を撮影するには、調整部A202から指示される周期TCYCLEカメラパン角ΘbPおよび周期TCYCLEカメラチルト角ΘbTおよび周期TCYCLEカメラ水平画角ΘbHおよび周期TCYCLEカメラ垂直画角ΘbVのほかに、周期TCYCLE撮影領域を撮影するには、時刻T撮影領域位置の算出に必要な時刻Tカメラ水平画角ΘaHおよび時刻Tカメラ垂直画角ΘaV、パン速度VP_CONST、チルト速度VT_CONST、撮影間隔TSが必要である。本実施の形態では、これら値はあらかじめ決定された固定値とし、たとえば、これらの値は記憶手段などに記録されているものとして、それらの値は周期撮影制御部215に送られているものとする。なお、これらの値は、操作端末102から指示されてもよい。また、周期撮影制御部215は、カメラ201の周期TCYCLE撮影領域の位置情報を調整部A202に送る。なお、周期TCYCLE撮影領域の位置を算出する方法については、前記、カメラの撮影領域位置において説明した。
調整部A202は、周期撮影制御部215から送られたカメラ201の周期TCYCLE撮影領域の位置情報を通信部203およびネットワーク103を介して、周期的に他カメラ端末の調整部A202に送信する。また、調整部A202は、他カメラ端末の調整部A202から周期的に送信される他カメラ端末におけるカメラ201の周期TCYCLE撮影領域の位置情報を受信する。更に、操作端末102の通信部203は撮影対象領域121の位置情報を、ネットワーク103を介して、各カメラ端末101A〜101Cの調整部A202に周期的に送信する。
このため、各カメラ端末101A〜101Cにおいて、調整部A202は、自カメラ端末および他カメラ端末のカメラ201における周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報を周期的に取得することになり、本実施の形態においては、各調整部A202は、カメラ端末101Aの周期TACYCLE撮影領域120Aの位置であるXAL130AL、XAR130AR、YAU130AUおよびYAB130AB、カメラ端末101Bの周期TBCYCLE撮影領域120Bの位置であるXBL130BL、XBR130BR、YBU130BUおよびYBB130BB、カメラ端末101Cの周期TCCYCLE撮影領域120Cの位置であるXCL130CL、XCR130CR、YCU130CUおよびYCB130CB、撮影対象領域121の位置であるXTL131TL、XTR131TR、YTU131TUおよびYTB131TBを通信部203およびネットワーク103を介して周期的に取得する。
更に、調整部A202は取得した上記周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報(撮影対象外領域122の位置情報でもある)をもとに、図27に示す以下のステップの処理を行う。
まずステップ401において、自カメラ端末および他カメラ端末のカメラ201の周期TCYCLE撮影領域位置を示す情報より、自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域または撮影対象外領域122を選択する。自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域の選択方法は隣接する撮影領域において説明した。もし、隣接する撮影領域において説明した選択方法において、隣接する撮影領域が存在しない場合は、隣接する撮影対象領域を撮影対象外領域122とする。このため、カメラ端末A101Aにおいては、左隣および上隣および下隣として撮影対象外領域122、右隣として周期TBCYCLE撮影領域120B、カメラ端末B101Bにおいては、左隣として周期TACYCLE撮影領域120A、上隣および下隣として撮影対象外領域122、右隣として周期TCCYCLE撮影領域120C、カメラ端末C101Cにおいては、左隣として周期TBCYCLE撮影領域120B、上隣および下隣および右隣として撮影対象外領域122が選択される。
つぎにステップ402において、ステップ401で選択した撮影領域と自カメラ端末の撮影領域が重複した領域である重複領域の大きさを示す量を算出する。この算出方法は、図24(b)に示すとおり、選択した撮影領域位置および自カメラ端末の撮影領域位置の大小関係により簡単に算出可能である。このため、カメラ端末A101Aにおいては、左隣の重複領域である撮影対象外重複領域ALの大きさを示す量XTL−XAL、右隣の重複領域である撮影重複領域ABの大きさを示す量XAR−XBL、上隣の重複領域である撮影対象外重複領域AUの大きさを示す量YTU−YAU、下隣の重複領域である撮影対象外重複領域ABの大きさを示す量YAB−YTB、カメラ端末B101Bにおいては、左隣の重複領域である撮影重複領域ABの大きさを示す量XAR−XBL、右隣の重複領域である撮影重複領域BCの大きさを示す量XBR−XCL、上隣の重複領域である撮影対象外重複領域BUの大きさを示す量YTU−YBU、下隣の重複領域である撮影対象外重複領域BBの大きさを示す量YBB−YTB、カメラ端末C101Cにおいては、左隣の重複領域である撮影重複領域BCの大きさを示す量XBR−XCL、右隣の重複領域である撮影対象外重複領域CRの大きさを示す量XCR−XTR、上隣の重複領域である撮影対象外重複領域CRの大きさを示す量YTU−YCU、下隣の重複領域である撮影対象外重複領域CBの大きさを示す量YCB−YTBが算出される。
つぎにステップ403において、ステップ402で算出した重複領域の大きさを示す量を、一定の量COVERLAPに近づくように自カメラ端末の撮影領域位置を調整する。この調整方法を以下に説明する。まず、重複領域の大きさを示す量と0以上の一定量COVERLAPとの差を示す量として関数FA()を定める。本実施の形態では、(式33)〜(式35)に示すものを同関数とする。
Figure 2007013231
Figure 2007013231
Figure 2007013231
(式33)〜(式35)はそれぞれ、カメラ端末A101Aからカメラ端末C101Cに対するものであり、重複領域の大きさを示す量と一定量Cとの差の2乗値を、それぞれの差を示す量としている。つぎに、(式36)〜(式38)に示すように一般に知られている最急降下法の式を用いて、自カメラ端末の次回の撮影領域位置を算出する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
(式36)〜(式38)において、X’AL、X’AR、Y’AU、Y’AB、X’BL、X’BR、Y’BU、Y’BB、X’CL、X’CR、Y’CU、Y’CBはそれぞれ、次回の各カメラ端末の周期TCYCLE撮影領域の位置を示し、αは定数である。
最後に同周期TCYCLE撮影領域位置にそれぞれ、カメラ端末A101Aからカメラ端末C101Cの周期TCYCLE撮影領域位置を調整する。なお、上記手法では、カメラ端末A101Aにおいては、周期TACYCLE撮影領域120Aの位置であるXAL130ALおよびXAR130ARおよびXAU130AUおよびXAB130ABがそれぞれ独立に調整可能である必要がある。カメラ端末B101Bおよびカメラ端末C101Cついても同様である。独立に調整することができない場合には、それぞれ独立に調整できない項目の関数FA()を線形に加算した関数を定義し、同関数に対し最急降下法を用いればよい。たとえば、本実施の形態におけるカメラ201では、関数G()を(式39)〜(式41)に示すものとし、(式42)〜(式44)に示す最急降下法の式を用いれば上記調整と同様な調整が行えることができる。上記式において、ΘbPAおよびΘbTA,ΘbPBおよびΘbTB、ΘbPCおよびΘbTCはそれぞれ、各カメラ端末A101Aからカメラ端末C101Cの周期TCYCLEカメラパン角および周期TCYCLEカメラチルト角、ΘbHAおよびΘbVA,ΘbHBおよびΘbVB、ΘbHCおよびΘbVCはそれぞれ、各カメラ端末A101Aからカメラ端末C101Cの周期TCYCLEカメラ水平画角および周期TCYCLEカメラ垂直画角である。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
調整部A202はステップ401、ステップ402、ステップ403の処理を順次行い、ステップ403の処理終了後にステップ401の処理に戻る。そして、調整部A202では、絶えずステップ401からステップ403の処理を繰り返しながら、上記式により算出した周期TCYCLEカメラパン角Θb’PA(またはΘb’PBまたはΘb’PC)、および、周期TCYCLEカメラチルト角Θb’TA(またはΘb’TBまたはΘb’TC)、および、周期TCYCLEカメラ水平画角Θb’HA(またはΘb’HBまたはΘb’HC)、および、周期TCYCLEカメラ垂直画角Θb’VA(またはΘb’VBまたはΘb’VC)の更新値を周期撮影制御部215に送り、カメラ201の周期TCYCLE撮影領域の位置を調整する。
本実施の形態における撮影領域調整装置の動作は以上のとおりであり、ステップ403において重複領域の大きさを示す量を0以上の一定量COVERLAPに近づくよう最急降下法の式を用いて自カメラ端末の次回の周期TCYCLE撮影領域位置を算出し、同次回の周期TCYCLE撮影領域位置にカメラ201の周期TCYCLE撮影領域位置を調整するため、各カメラ端末101A〜101Cの周期TCYCLE撮影領域である周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bおよび周期TCCYCLE撮影領域120Cおよび撮影対象外領域122はお互い、ステップ401からステップ403の処理を繰り返すことにより、0以上の一定量COVERLAPの大きさで重複することになる。図24に示すように、撮影対象外領域122を含め、各カメラ端末の周期TCYCLE撮影領域がそれぞれ0以上の一定量COVERLAPの大きさで重複すれば、撮影対象領域121は各カメラ端末の周期TCYCLE撮影領域の和した領域に包括されるので、本発明の撮影領域調整装置は、各カメラ端末101A〜101Cを用いて撮影対象領域121を死角なく撮影することができる。
また、調整部A202が、ステップ401からステップ403の処理を繰り返すことにより、撮影対象領域121を死角なく撮影するという効果を得ている。この繰り返し行われる処理のステップ402およびステップ403の処理は、ステップ401において選択した自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラの周期TCYCLE撮影領域および撮影対象外領域122に対して行われる。
このため、各時刻において自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラの周期TCYCLE撮影領域の位置または撮影対象外領域122の位置(撮影対象領域121の位置でもある)に変化が生じたとしても、その変化に対応して、撮影対象領域121を死角なく撮影するという効果を得ることができる。上記周期TCYCLE撮影領域または撮影対象領域121の位置に変化が生ずる場合としては、
(1)カメラ端末の周期TCYCLE撮影領域が意図的に変更される、
(2)カメラ端末が新設される、
(3)各カメラ端末のうち幾つかのカメラ端末が取り除かれる、または故障する、
(4)操作端末から送信する撮影対象領域の位置が変更される、
が挙げられる。これら変化により、各カメラ端末が送信する周期TCYCLE撮影領域位置や操作端末が送信する撮影対象領域位置が変化する、または、送信されない、新たな周期TCYCLE撮影領域位置が送信されたとしても、本発明の撮影領域調整装置は、周期TCYCLE撮影領域位置または撮影対象領域位置の変化に応じ、各カメラ端末を用いて撮影対象領域を死角なく撮影することができる。
なお、本実施の形態では、重複領域の大きさを示す量と0以上の一定量COVERLAPとの差を示す関数FA()を、(式33)〜(式35)に示すように、重複領域の大きさを示す量と一定量COVERLAPとの差の2乗値としたが、図28に示すように、関数FA()を重複領域の大きさを示す量と一定量COVERLAPとの差の4乗値、6乗値、10乗値などのような差の偶数乗値や、関数FA()を重複領域の大きさを示す量と一定量COVERLAPとの差の絶対値としても、これら関数FA()はXAL−XTLがCOVERLAPの時において最小値をもつために、ステップ403で行う最急降下法の効果により重複領域の大きさを示す量が一定量COVERLAPに近づくので、同様の効果を得られることは言うまでもない。
また、重複領域の大きさを示す量と0以上の一定量COVERLAPとの差を示す関数FA()が図29で示すような、XAL−XTLがCOVERLAPの時において最小値ではなく極小値もつ関数FA()であったとしても、XAL−XTLの変化が可能な範囲においてXAL−XTLがCOVERLAPの時に最小値となる関数FA()であれば、同様の効果を得られることは言うまでもない。
また、本実施の形態では、図25に示すように、調整部A202が各カメラ端末A101Aからカメラ端末C101Cに分散して存在しているが、調整部A202が1つしか存在せず、一つしか存在しない調整部A202が、各カメラ端末A101Aからカメラ端末C101Cのカメラ201の周期TCYCLE撮影領域位置を全て調整するのであれば、同様の効果を得られることは言うまでもない。
また、本実施の形態では、ネットワーク103を、一般的な通信時に利用されるネットワーク回線として取り扱っているが、同ネットワーク103は有線または無線のネットワークであっても、同様の効果を得られることは言うまでもない。
また、本実施の形態では、左右上下隣の重複領域の大きさを共通の一定量COVERLAPに調整したが、左右上下隣別々の一定量COVERLAPに調整しても、さらに言えば、各カメラ端末A101Aからカメラ端末C101C別々の一定量COVERLAPに調整したとしても、各一定量COVERLAPが0以上であれば、同様の効果を得られることは言うまでもない。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。本実施の形態では、各カメラ端末のカメラの周期TCYCLE撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように各カメラ端末のカメラの周期TCYCLE撮影領域の位置が自動調整され、さらに、各カメラ端末のカメラの周期TCYCLE撮影領域を再割り当てすることにより、所定の撮影対象領域を効率良く撮影する撮影領域調整装置に関し、図30から図37を用いて説明する。つまり、本実施の形態では、撮影領域調整装置を構成する複数のカメラ端末のそれぞれが、複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整機能と、複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれをN個のカメラ端末に割り当てる領域分割機能とを備えることを特徴とする撮影領域調整装置について説明する。
本実施の形態ではアスペクト比と呼ばれるものを説明に用いる。そこでまず始めに、このアスペクト比について説明する。本実施の形態における撮影領域のアスペクト比とは、時刻T撮影領域または周期TCYCLE撮影領域の縦横比であり、これは一般的に言われるアスペクト比と同じである。そして、図11(a)および図11(b)によれば、このアスペクト比はカメラの水平画角と垂直画角の比としても表現できる。そこで、本実施の形態1では、周期TCYCLE撮影領域のアスペクト比を周期TCYCLEカメラ水平画角ΘbH/周期TCYCLEカメラ垂直画角ΘbV、時刻T撮影領域のアスペクト比を時刻Tカメラ水平画角ΘaH/時刻Tカメラ垂直画角ΘaVと表現する。
つぎに、各カメラ端末のカメラの周期TCYCLE撮影領域を再割り当てすることにより、所定の撮影対象領域が効率良く撮影できることについて、図30および図31を用い、いくつかの例を挙げて説明する。
図30(a)および図30(b)に示す例は、各カメラ端末が撮影する周期TACYCLE撮影領域2101および周期TBCYCLE撮影領域2102および周期TCCYCLE撮影領域2103により撮影対象領域121は既にくまなく撮影されている状態となっており、この状態で、周期TDCYCLE撮影領域2104を撮影するカメラ端末が実施の形態1で説明した動作により自身が撮影する周期TCYCLE撮影領域の位置を調整する例を示している。
図30(a)に示す例においては、前記隣接する撮影領域おいて説明した隣接する撮影領域の選択方法によれば、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、上方向に隣接する周期TCYCLE撮影領域として周期TACYCLE撮影領域2101を、下方向に隣接する周期TCYCLE撮影領域として周期TBCYCLE撮影領域2102を選択する。そして、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、同図の矢印が示すように、周期TDCYCLE撮影領域2104の上辺が周期TACYCLE撮影領域2101の下辺方向に、周期TDCYCLE撮影領域2104の下辺が周期TBCYCLE撮影領域2101の上辺方向にと、隣接するとして選択された周期TCYCLE撮影領域と重複するように周期TDCYCLE撮影領域2104の位置を調整する。その結果、図30(a)に示す例では、周期TDCYCLE撮影領域2104が消滅してしまう結果となる。
また、図30(b)に示す例においては、前記隣接する撮影領域おいて説明した隣接する撮影領域の選択方法によれば、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、上および右方向に隣接する周期TCYCLE撮影領域として撮影対象外領域122、下方向に隣接する周期TCYCLE撮影領域として周期TBCYCLE撮影領域2102、左方向に隣接する周期TCYCLE撮影領域として周期TCCYCLE撮影領域2103と、周期TACYCLE撮影領域2101を撮影するカメラ端末が選択する隣接する周期TCYCLE撮影領域と全く同じくものを選択する。そして、周期TDCYCLE撮影領域2104を撮影するカメラ端末は、この隣接するとして選択された周期TCYCLE撮影領域と重複するように、周期TDCYCLE撮影領域2104の位置を調整する。この結果、図30(b)に示す例では、周期TDCYCLE撮影領域2104は周期TACYCLE撮影領域2101と全く同じ位置に調整され、同じ周期TCYCLE撮影領域全域を重複して撮影してしまう結果となる。
そこで、図30(a)および図30(b)に示すような周期TACYCLE撮影領域2101内に周期TDCYCLE撮影領域2104が内包されている場合、周期TACYCLE撮影領域2101を2分割し、分割したそれぞれの領域を周期TACYCLE撮影領域2101または周期TDCYCLE撮影領域2104とすることにより、図30(a)および図30(b)に示すような結果となることを防ぐことができる。これにより、周期TDCYCLE撮影領域2104も含めた各周期TCYCLE撮影領域をもって撮影対象領域121をくまなく撮影することができ、その結果、各周期TCYCLE撮影領域の大きさが小さく、つまり、各周期TCYCLE撮影領域の撮影周期が短くなり、短時間で撮影対象領域121を撮影することができる。より短時間で撮影対象領域を撮影できることは監視用途などに用いられる本発明の撮影領域調整装置において理想的であり、撮影対象領域121を効率良く撮影できる言える。
また、図31(a)および図31(b)に示す例は、各カメラ端末が撮影する周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bにより撮影対象領域121は既にくまなく撮影されている状態となっており、このうち周期TACYCLE撮影領域120Aを時刻T撮影領域2001で撮影する例を示している。そして、図31(a)に示す例においては図31(b)に示す例に対し、時刻Tカメラ水平画角ΘaH/時刻Tカメラ垂直画角ΘaV≒周期TCYCLEカメラ水平画角ΘbH/周期TCYCLEカメラ垂直画角ΘbV、つまり、時刻T撮影領域アスペクト比≒周期TCYCLE撮影領域アスペクト比である例を、また、図31(b)に示す例においては図31(a)に示す例に対し、時刻Tカメラ水平画角ΘaH/時刻Tカメラ垂直画角ΘaV≠周期TCYCLEカメラ水平画角ΘbH/周期TCYCLEカメラ垂直画角ΘbV、つまり、時刻T撮影領域アスペクト比≠周期TCYCLE撮影領域アスペクト比である例を示している。
図31(a)に示す例においては、前記周期TCYCLE撮影領域の撮影方法おいて説明した撮影方法によれば、カメラ端末A101Aの時刻T撮影領域は、自身の周期TCYCLE撮影領域である周期TACYCLE撮影領域120A全域を撮影することになる。このため、周期TACYCLE撮影領域120Aの撮影周期は0となり周期TACYCLE撮影領域120Aは常時撮影されることになる。
また、図31(a)に示す例においては、前記周期TCYCLE撮影領域の撮影方法おいて説明した撮影方法によれば、カメラ端末A101Aの時刻T撮影領域は、自身の周期TCYCLE撮影領域である周期TACYCLE撮影領域120A全域を撮影することはできない。このため、ある撮影周期をもって周期TACYCLE撮影領域120を撮影することになる。しかも、カメラ端末A101Aの時刻T撮影領域は、自身の周期TCYCLE撮影領域ではない周期TBCYCLE撮影領域120Bまでも撮影することになる。
これら図31(a)および図31(b)に示す例によれば、図31(a)に示す例のような、時刻T撮影領域とそれが撮影する周期TCYCLE撮影領域の関係が時刻T撮影領域アスペクト比≒周期TCYCLE撮影領域アスペクト比である方が、撮影効率が良いと言える。しかしながら、実施の形態1に説明した動作により、図31(b)に示す例のような位置に各周期TCYCLE撮影領域が調整された場合、各周期TCYCLE撮影領域が隣接する周期TCYCLE撮影領域と既に重複し、それにより、各周期TCYCLE撮影領域により撮影対象領域121を既にくまなく撮影してしまっていることから、図24に示す調整部A202が行う(式42)〜(式44)に示す式よる周期TCYCLE撮影領域の位置の調整作用は働かなくなる。このため、図31(b)に示す例のような位置に各周期TCYCLE撮影領域が一度調整された場合、それから、調整部A202の動作により、図31(a)に示すような位置に各周期TCYCLE撮影領域が調整されることはない。
そこで、図31(b)に示す例において、周期TACYCLE撮影領域120Aおよび周期TBCYCLE撮影領域120Bを内包する領域を2分割し、分割したそれぞれの領域を周期TACYCLE撮影領域120Aまたは周期TBCYCLE撮影領域120Bとする。さらに、同分割および分割した領域への周期TACYCLE撮影領域120Aまたは周期TBCYCLE撮影領域120Bの割り当ては、各周期TCYCLE撮影領域において時刻T撮影領域アスペクト比≒周期TCYCLE撮影領域アスペクト比の関係になるものを選択する。これにより、図31(b)に示す例ような位置に各周期TCYCLE撮影領域が一度調整された場合においても、図31(a)に示すような位置に各周期TCYCLE撮影領域が調整されることになり、撮影対象領域121を効率良く撮影することができる。
つぎに、本実施の形態における撮影領域調整装置の構成要素について説明する。図32は、図24(a)における各カメラ端末101A〜101Cに相当する本実施の形態におけるカメラ201の構成ブロック図である。各カメラ端末101A〜101Cはそれぞれ、少なくとも、カメラ201、調整部B204、通信部203から構成されている。カメラ201はレンズ211、撮像面212、画像処理部213、姿勢制御部214、周期撮影制御部215から構成されている。図32において、カメラ201、通信部203、レンズ211、撮像面212、画像処理部213、姿勢制御部214、周期撮影制御部215は、図24に示す実施の形態1における各カメラ端末101A〜101Cの構成ブロック図と同様である。構成要素における実施の形態1と本実施の形態の差異は、実施の形態1では調整部A202であったものが本実施の形態では調整部B204に変更されている点である。
より詳しくは、カメラ201は、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラである。
通信部203は、仮想撮影領域を示す仮想撮影領域情報を送受信する通信インターフェースである。
調整部B204は、自カメラ端末の仮想撮影領域と通信部203によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、複数のカメラ端末A〜Cの仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する。本実施の形態では、この調整部B204はさらに、複数のカメラ端末A〜CのうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを、それらN個のカメラ端末に割り当てるとともに、自カメラ端末に割り当てた領域を新たな仮想撮影領域として、上記調整を行う。
つぎに、本実施の形態における撮影領域調整装置の動作を説明する。本実施の形態は実施の形態1では調整部A202であったものが調整部B204に変更されただけであるので、この調整部B204の動作のみ以下に説明する。
調整部B204は調整部A202と同様に、周期撮影制御部215から送られたカメラ201の周期TCYCLE撮影領域の位置情報を通信部203およびネットワーク103を介して、周期的に他カメラ端末の調整部B204に送信する。また、調整部B204はこれもは調整部A202と同様に、他カメラ端末の調整部B204から周期的に送信される他カメラ端末におけるカメラ201の周期TCYCLE撮影領域の位置情報を受信する。このため、各カメラ端末101A〜101Cにおいて、調整部B204は実施の形態1と同様、自カメラ端末および他カメラ端末のカメラ201における周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報を周期的に取得する。
更に、調整部B204は取得した上記周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報(撮影対象外領域122の位置情報でもある)をもとに、実施の形態1と同様に図33に示すステップの処理を行う。
ステップ404を除くステップ401〜ステップ403の処理は実施の形態1(図27のステップ401〜ステップ403)と同様である。自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域または撮影対象外領域122を選択し、そして、選択した撮影領域と自カメラ端末の撮影領域が重複した領域である重複領域の大きさを示す量を算出し、そして、算出した重複領域の大きさを示す量を、一定の量COVERLAPに近づくように自カメラ端末の撮影領域の位置を調整する。そして、調整部B204はステップ401〜ステップ403の処理を順次行い、ステップ403の処理終了後にステップ401の処理に戻る。そして、調整部B204では、絶えずステップ401〜ステップ403の処理を繰り返しながら、(式42)〜(式44)により算出した周期TCYCLEカメラパン角Θb’PA(またはΘb’PBまたはΘb’PC)、および、周期TCYCLEカメラチルト角Θb’TA(またはΘb’TBまたはΘb’TC)、および、周期TCYCLEカメラ水平画角Θb’HA(またはΘb’HBまたはΘb’HC)、および、周期TCYCLEカメラ垂直画角Θb’VA(またはΘb’VBまたはΘb’VC)の更新値を周期撮影制御部215に送り、カメラ201の周期TCYCLE撮影領域の位置を調整する。このため、本実施の形態の撮影領域調整装置も実施の形態1の撮影領域調整装置と同様に、各カメラ端末101A〜101Cを用いて撮影対象領域121を死角なく撮影することができることは自明である。
また、ステップ404では、より詳しくは、調整部B204により、図34に示すステップの処理により、自カメラ端末の周期TCYCLE撮影領域に対する再割り当てが行われる。この図34に示すステップ(つまり、図33のステップ404の詳細なステップ)の処理を以下に説明する。
まず、ステップ411において、調整部B204は、自カメラ端末の周期TCYCLE撮影領域が他カメラ端末の周期TCYCLE撮影領域を内包するかどうかを判定する。
そして、自カメラ端末の周期TCYCLE撮影領域が他カメラ端末の周期TCYCLE撮影領域を内包しているのであれば、ステップ412において、調整部B204は、自カメラ端末の周期TCYCLE撮影領域がN個の他カメラ端末の周期TCYCLE撮影領域を内包する、自カメラ端末の周期TCYCLE撮影領域をN+1個に分割し、分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域およびN個の内包する他カメラ端末の周期TCYCLE撮影領域とする。つまり、調整部B204は、分割後の領域を自カメラ端末の周期TCYCLE撮影領域として設定するとともに、分割後の領域を特定する情報を、通信部203を介して、上記N個の他カメラ端末に通知する。その結果、自カメラ端末及びN個のカメラ端末の調整部B204において、いま再割当された周期TCYCLE撮影領域を出発点とする再調整(複数のカメラ端末A〜Cの周期TCYCLE撮影領域を和した領域が撮影対象領域をくまなく覆うように、自カメラ端末の周期TCYCLE撮影領域の位置を調整すること)が開始される。
図35(a)および図35(b)にステップ412の動作例を示す。図35(a)に示す例において、周期TACYCLE撮影領域2601を自カメラ端末の周期TCYCLE撮影領域とすると、自カメラ端末の周期TCYCLE撮影領域は、周期TBCYCLE撮影領域2602および周期TCCYCLE撮影領域2603と、2つの他カメラ端末の周期TCYCLE撮影領域を内包する。ステップ412の処理では、調整部B204は、図35(a)に示す例のものを図35(b)に示す例のようにする。つまり、図35(a)に示す例における自カメラ端末の周期TCYCLE撮影領域である周期TACYCLE撮影領域2603を2+1分割し、図35(b)に示す例のように、同分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域である周期TACYCLE撮影領域2603、または、内包する他カメラ端末の周期TCYCLE撮影領域である周期TBCYCLE撮影領域2602および周期TCCYCLE撮影領域2603とする。
また、自カメラ端末の周期TCYCLE撮影領域が他カメラ端末の周期TCYCLE撮影領域を内包していないのであれば、ステップ413において、調整部B204は、自カメラ端末の周期TCYCLE撮影領域と自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域を内包する領域をN+1個に分割し、分割した領域をそれぞれ、自カメラ端末の周期TCYCLE撮影領域、および、自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域とする。つまり、調整部B204は、分割後の領域を自カメラ端末の周期TCYCLE撮影領域として設定するとともに、分割後の領域を特定する情報を、通信部203を介して、上記N個の他カメラ端末に通知する。その結果、自カメラ端末及びN個のカメラ端末の調整部B204において、いま再割当された周期TCYCLE撮影領域を出発点とする再調整(複数のカメラ端末A〜Cの周期TCYCLE撮影領域を和した領域が撮影対象領域をくまなく覆うように、自カメラ端末の周期TCYCLE撮影領域の位置を調整すること)が開始される。
図36(a)および図36(b)にステップ413の動作例を示す。図36(a)に示す例において、周期TACYCLE撮影領域2701を自カメラ端末の周期TCYCLE撮影領域とし、周期TBCYCLE撮影領域2702および周期TCCYCLE撮影領域2703を自カメラ端末の周期TCYCLE撮影領域に隣接する2個の他カメラ端末の周期TCYCLE撮影領域とする。ステップ413の処理では、調整部B204は、図36(a)に示す例のものを図36(b)に示す例のようにする。つまり、図36(a)に示す例における自カメラ端末の周期TCYCLE撮影領域および自カメラ端末の周期TCYCLE撮影領域に隣接する2個のカメラ端末の周期TCYCLE撮影領域を内包する領域である、周期TACYCLE撮影領域2701および周期TBCYCLE撮影領域2702および周期TCCYCLE撮影領域2703を囲う領域を2+1分割し、図36(b)に示す例のように、同分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域である周期TACYCLE撮影領域2603、および、自カメラ端末の周期TCYCLE撮影領域に隣接する2個の他カメラ端末の周期TCYCLE撮影領域である周期TBCYCLE撮影領域2602および周期TCCYCLE撮影領域2603とする。
なお、図37(a)に2分割パターン、図37(b)に3分割パターン、図37(c)に4分割パターンの例を示すが、ステップ412およびステップ413で行われる分割は、図37(a)〜図37(c)に示す例のような、予め用意した分割パターンにより分割すればよい。具体的には、調整部B204は、図37(a)〜(c)に示されるような複数のn分割パターンを特定する情報を予め格納した記憶部を有し、領域分割をするときには、記憶部に格納された複数の分割パターンの中から、分割数nに対応する分割パターンを選択し、その分割パターンの情報を参照することで、領域分割を行う。
また、図37(a)〜図37(c)に示す分割パターンの選択、および、分割した領域への周期TCYCLE撮影領域の割り当て、および、ステップ413における自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域の選択は、各カメラ端末の周期TCYCLE撮影領域において、最も周期TCYCLE撮影領域の撮影周期が短くなる、または、最も各カメラ端末においてカメラ端末の撮影領域が仮想撮影領域以外の領域を撮影することが少なくなるような選択または割り当てとする。つまり、調整部B204は、割り当ての対象となる少なくとも1個のカメラ端末について、周期TCYCLE撮影領域を撮影するのに要する時間が小さくなる、又は、現実に撮影される領域のうち周期TCYCLE撮影領域を除く部分が小さくなるように、領域分割と割り当てとを行う。
これら選択または割り当ての評価については、これら評価に必要な調整部B204が各カメラ端末101A〜101Cの周期TCYCLE撮影領域の位置情報および撮影対象領域121の位置情報を周期的に取得していることから、ステップ404を処理する調整部B204において十分実現可能であることは自明である。たとえば、「周期TCYCLE撮影領域を撮影するのに要する時間」については、周期TCYCLEで評価し、「現実に撮影される領域のうち周期TCYCLE撮影領域を除く部分」については、周期TCYCLEにおいて時刻T撮影領域の移動によって覆われる全体の領域(輪郭領域)から、割り当てられている周期TCYCLE撮影領域を差し引いた面積で評価できる。
また、ステップ412およびステップ413において分割した領域を他カメラ端末の周期TCYCLE撮影領域として割り付けた場合、自カメラ端末の調整部B204からネットワーク103を介して、同他カメラ端末に分割した領域を自身の周期TCYCLE撮影領域とする事を他カメラ端末の調整部B204に通知する。そして、図33および図34に示すフローチャートには図示されていないが、割り込みやポーリングなどにより調整部B204は同通知を受け、同通知された分割した領域を自身の周期TCYCLE撮影領域とする。なお、以上の他カメラ端末に対する通知は、ハンドシェーク通信などの要求およびその応答(許可/拒否)を確認する通知であることが望まれる。これは、一度に同じカメラ端末の調整部B204に対し複数の上記通知があった場合には、いずれか1つの通知に対する周期TCYCLE撮影領域の変更しかできないため、また、カメラ端末の調整部B204に対し通知したが、既に他の通知により周期TCYCLE撮影領域が変更されていることがあるためである。
また、複数のカメラ端末が同時に領域分割を行うことによる不具合(競合)を回避(調停)する方法としては、各カメラ端末に対して予め優先順位を与えておく方法でもよい。このときには、領域分割の対象となるN+1個のカメラ端末の中で最も優先順位の高いカメラ端末だけが領域分割を行い、他のカメラ端末に分割後の領域を通知することになる。
本実施の形態における撮影領域調整装置の動作は以上のとおりである。以上によれば、ステップ412では、自カメラ端末の周期TCYCLE撮影領域がN個の他カメラ端末の周期TCYCLE撮影領域を内包する、自カメラ端末の周期TCYCLE撮影領域をN+1個に分割し、分割した領域をそれぞれ自カメラ端末の周期TCYCLE撮影領域またはN個の内包する他カメラ端末の周期TCYCLE撮影領域とする。また、ステップ413では、自カメラ端末の周期TCYCLE撮影領域と自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域を内包する領域をN+1個に分割し、分割した領域をそれぞれ、自カメラ端末の周期TCYCLE撮影領域、または、自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域とする。そして、これら分割の分割パターンの選択、および、分割した領域への周期TCYCLE撮影領域の割り当て、および、ステップ413における自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域の選択は、各カメラ端末の周期TCYCLE撮影領域において、最も周期TCYCLE撮影領域の撮影周期が短くなる、または、最も各カメラ端末においてカメラ端末の撮影領域が仮想撮影領域以外の領域を撮影することが少なくなるような選択または割り当てとする。このため、図30および図31の例をもって説明したことによれば、本発明の撮影領域調整装置は実施の形態1の撮影領域調整装置と同様に、各カメラ端末101A〜101Cを用いて撮影対象領域121を死角なく撮影することができと共に、さらに、撮影対象領域121を効率良く撮影できる。
つまり、複数のカメラ端末の仮想撮影領域によって撮影対象領域をくまなく、かつ、効率よく覆うために、各カメラ端末に仮想撮影領域をいかに割り当てればよいかという問題の最適解を探索する処理において、局所的な最適解から脱出して大局的な最適解が探索される可能性が高くなる。よって、同一領域に対して複数のカメラ端末が重複して撮影したり、仮想撮影領域を撮影するのに大きな時間を要したりする等の不具合が解消される。
なお、ステップ413における処理では、自カメラ端末の周期TCYCLE撮影領域と自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域を内包する領域を分割するとした。しかし、特に他カメラ端末の周期TCYCLE撮影領域は自カメラ端末の周期TCYCLE撮影領域に隣接する他カメラ端末の周期TCYCLE撮影領域と限定する必要はない。隣接しない他カメラ端末の周期TCYCLE撮影領域を合わせて用いても良い。ただし、自カメラ端末および他カメラ端末の周期TCYCLE撮影領域によりこれら周期TCYCLE撮影領域を内包する1つの分割可能な領域を形成できることが必要とされる。例えば図36(a)に示す例において、周期TACYCLE撮影領域2701および周期TBCYCLE撮影領域2702および周期TCCYCLE撮影領域2703および周期TACYCLE撮影領域2701に隣接していない周期TGCYCLE撮影領域2707を内包する領域を分割して、分割した領域をこれらに割り当ても良い。このような場合においても、本発明の撮影領域調整装置は同様の効果を得られることは言うまでもない。
また、ステップ413の処理はある決まった時にのみ行ってもよい。例えば、図30および図31の例をもって説明したことによれば、ステップ413の処理が必要となるのは、撮影対象領域121がくまなく撮影された時、各カメラ端末において言えば、自身の周期TCYCLE撮影領域の各辺全てが隣接する周期TCYCLE撮影領域または撮影対象外領域と重複した時である。このため、以上のような時にのみステップ413の処理を行うしても、同様の効果を得られることは言うまでもない。
また、分割の分割パターンの選択、および、分割した領域への周期TCYCLE撮影領域の割り当て、および、ステップ413における自カメラ端末の周期TCYCLE撮影領域に隣接するN個の他カメラ端末の周期TCYCLE撮影領域の選択は、全ての選択または割り当てを評価して決定しなくとも良い。例えば、予め限定した選択または割り当てのみを評価して決定したとしても、限定した選択または割り当ての中で同選択および割り当てが、各カメラ端末の周期TCYCLE撮影領域において、最も周期TCYCLE撮影領域の撮影周期が短くなる、または、最も各カメラ端末においてカメラ端末の撮影領域が仮想撮影領域以外の領域を撮影することが少なくなるような選択または割り当てであれば、同様の効果を得られることは言うまでもない。
また、ステップ403で行われる処理において、(式45)に示す関数を定義し、(式39)〜(式44)に示す実施の形態1で用いた式を(式46)〜(式49)に示す式とすれば、各カメラ端末は、自身の周期TCYCLE撮影領域を隣接する周期TCYCLE撮影領域または撮影対象外領域と重複するように調整すると共に、自身の周期TCYCLE撮影領域のアスペクト比を時刻T撮影領域のアスペクト比に近づくように調整する。
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
Figure 2007013231
このため、以上の変更により、本発明の撮影領域調整装置は、カメラ端末の周期TCYCLE撮影領域の再割り当てにより撮影対象領域121の撮影効率を良くすると共に、更に、撮影対象領域121の撮影効率が良くなるように各カメラ端末の周期TCYCLE撮影領域を調整することができる。
また、本実施の形態では、図32に示すように、調整部B204が各カメラ端末A101Aからカメラ端末C101Cに分散して存在しているが、調整部B204が1つしか存在せず、一つしか存在しない調整部B204が、各カメラ端末A101Aからカメラ端末C101Cのカメラ201の周期TCYCLE撮影領域の位置およびアスペクト比を全て調整するのであれば、同様の効果を得られることは言うまでもない。
また、本実施の形態では、ネットワーク103を、一般的な通信時に利用されるネットワーク回線として取り扱っているが、同ネットワーク103は有線または無線のネットワークであっても、同様の効果を得られることは言うまでもない。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態では、実施の形態1から実施の形態2に記した本発明の撮影領域調整装置に関して、更にいくつかの点を補足する。
上記実施の形態1〜2に記した本発明の撮影領域調整装置においては、図24に示すように、実空間面113をZW=0としていた。しかし、図38に示すように(図38の構成要素は図24と同じである)、実空間面113をZW=C とした場合であっても、上記実施の形態1〜2に記した同様の効果を得られることはいうまでもない。更に、各カメラ端末が撮影する周期TCYCLE撮影領域は、ZW軸112の0方向近くなるほど、その周期TCYCLE撮影領域は広がる。このため、図38の撮影対象立体領域213のように、撮影対象領域が立体であっても、死角なく撮影することが可能である。
また、上記実施の形態1〜2では、カメラ201を、一般的なカメラとして取り扱っているが、同カメラ201は可視光または赤外や紫外などの非可視光を検知するカメラであっても、同様の効果を得られることは言うまでもなく、更に、微動センサ、圧力センサ、温度センサ、気圧センサ、音センサ(マイク)など、撮影領域(あるいは、検出領域)をもち、かつ、撮影領域位置(あるいは、検出領域位置)が可変な一般的にセンサであっても、同様の効果を得られることは言うまでもない。更に、一般的なカメラとこれらセンサの組み合わせであっても、同様の効果を得られることは言うまでもない。
たとえば、図39(a)に示されるような指向特性をもったマイクについて、図39(b)に示されるように、一定以上の感度で音を検知できる方向(領域)をセンス領域(検出領域)と定義できるので、上記実施の形態におけるカメラのパンおよびチルトと同様にマイクの姿勢を制御して一定周期でスキャンさせることで、図39(c)に示されるように、カメラ端末における周期TCYCLE撮影領域に対応する周期TCYCLE検出領域(つまり、「仮想検出領域」)を定義することができる。つまり、本発明は、カメラだけでなく、上記の各種センサにも適用することができる。なお、図39(b)および図39(c)に示されるように、時刻T撮影領域に対応するセンス領域(検出領域)、および、周期TCYCLE撮影領域に対応する周期TCYCLE検出領域が円などの矩形でない場合、円の短径と長径の比率(真円は1)や図形のXW軸やYW軸方向の大きさの比率をアスペクト比とすればよい。
また、上記実施の形態では、カメラは固定カメラであったが、移動カメラであってもよい。図40は、本発明に係る撮影領域調整装置を移動カメラから構成される監視システムに適用した場合の監視システムの構成を示すブロック図である。この監視システムは、通信ネットワーク1103で接続された複数の移動カメラ1101等から構成され、監視領域1111をくまなく監視できるように、それら複数の移動カメラ1101がパンおよびチルトだけでなく、自律協調的に移動する点に特徴を有する。移動カメラ1101は、移動部1102に支持されて移動するカメラ装置である。移動部1102は、移動カメラ1101の撮影位置を変更させる機構部等である。通信ネットワーク1103は、複数の移動カメラ1101を結ぶ伝送路である。通信部1104は、移動カメラ1101が通信ネットワーク1103を介して他の移動カメラと情報のやりとりを行うための通信インターフェースである。隣接撮影領域特定部1105は、通信部1104に通知された他の移動カメラからの情報に対して、撮影領域が隣り合う移動カメラを推定する処理部である。撮影素子1106は、監視領域内の映像を取り込むCCDカメラ等である。撮影領域推定部1107は、撮影素子1106の特性と、移動部1102の位置から移動カメラ1101の撮影領域を推定する処理部である。監視範囲記憶部1108は、移動カメラ1101が監視すべき領域の範囲を記憶しているメモリ等である。撮影位置評価部1109は、移動カメラ1101の撮影領域と互いに隣り合う撮影領域の重なり領域、または監視領域の境界との距離を評価する処理部である。撮影位置変更部1110は、移動部1102を制御し、移動カメラ1101の撮影位置を変更させる制御部である。監視領域1111は、移動カメラ1101が監視すべき領域である。撮影領域1112は、移動カメラ1101によって撮影されている領域である。このような監視システムによれば、移動カメラ1101は、自身の撮影位置と撮影素子1106の特性により推定される撮影領域に関する情報を周囲の移動カメラと通知し合い、隣り合う撮影領域との重なり領域の大きさと、監視領域の境界との距離が所定の状態に近づくように周囲の移動カメラと協調しながらパン、チルトおよび撮影位置を変更することにより、複数の移動カメラ1101による同時撮影において監視領域内の死角が少なくなる撮影位置に移動することができる。
図41は、その監視システムにおける移動カメラ1101の動作の様子を示す。本図では、説明を簡単にするために横方向(1次元)に移動できる移動カメラ1101を高さが一定な部屋の天井に設置し、床面を監視させる場合が示されている。上図に示されるように、移動カメラ1101を天井の適当な位置に設置しても、移動カメラは互いの撮影領域の重なり領域の幅Cまたは監視領域の境界との距離Dが所定の値に近づくように撮影位置を変更することにより、下図に示されるように、監視領域全体を複数の移動カメラで端末同時に撮影できる位置に自動的に移動することが可能となる。さらに、例えば高い天井などのように設置作業が難しい場所において、一ヶ所にまとめて移動カメラ1101を設置しても、移動カメラの方が複数の移動カメラによる同時撮影において死角が少なくなる位置に自動的に移動するため、移動カメラの設置位置の決定や設置作業といった負担を減らすことが可能となる。この実現方法の一例としては、図42に示すように、監視領域内にレールを設置し、そのレールの軌道上を移動カメラが移動するようにシステムを構成すればよい。
また、上記実施の形態では、撮影領域調整装置は、各カメラ端末に調整部が設けられた分散制御型の構成を備えたが、本発明は、このような分散制御型に限定されるものではなく、全てのカメラ端末の検出領域を統合して調整する共通の1個の調整部を設けた集中制御型の構成で実現してもよい。たとえば、複数のカメラ端末と、それらカメラ端末と通信ネットワークで接続された1台の調整装置とを備える撮影領域調整装置であって、複数のカメラ端末が、それぞれ、一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラと、仮想撮影領域を示す仮想撮影領域情報を送受信する通信部と、自カメラ端末の仮想撮影領域と通信部によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整部とを備え、上記調整装置が、複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれをN個のカメラ端末に割り当てる領域分割部を備え、各カメラ端末の調整部が、調整装置によって自カメラ端末に割り当てられた領域を新たな仮想撮影領域として、上記調整を行う構成であってもよい。つまり、領域分割の処理が、各カメラ端末に備えられるのではなく、通信ネットワークを介して接続された1台の装置内に置かれてもよい。
また、本発明は、上記各実施の形態および変形例に限られず、それら実施の形態および変形例の各構成要素を任意に組み合わせて実現される撮影領域調整装置も本発明に含まれる。
本発明にかかる撮影領域調整装置は、カメラ等の撮像装置の撮影領域を調整する装置として、例えば、複数のカメラからなる監視装置や撮影システム等として、特に、死角なく所定の撮影対象領域を効率的に覆う必要がある撮影システム等として、有用である。
図1は、第1の従来技術における構成ブロック図である。 図2は、第1の従来技術におけるカメラ視野範囲を示す説明図である。 図3は、第2の従来技術における構成ブロック図である。 図4は、第2の従来技術における動作説明図である。 図5は、第2の従来技術における動作説明図である。 図6は、第2の従来技術における動作説明図である。 図7は、第2の従来技術における動作説明図である。 図8は、第3の従来技術における動作説明図である。 図9は、第3の従来技術における動作説明図である。 図10は、本発明に係るカメラの撮影領域を説明する図である。 図11は、カメラの周期TCYCLE撮影領域の大きさと各種パラメータの関係を説明する図である。 図12は、カメラの周期TCYCLE撮影領域の大きさと各種パラメータの関係を説明する図である。 図13は、カメラの撮影領域の位置を説明する図である。 図14は、周期TCYCLE撮影領域の撮影方法を説明する図である。 図15は、周期TCYCLE撮影領域の撮影方法を説明する図である。 図16は、周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。 図17は、周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。 図18は、周期TCYCLE撮影領域の撮影方法の手順を示すフローチャートである。 図19は、撮影領域の形状を説明する図である。 図20は、撮影領域の形状を説明する図である。 図21は、領域判定方法を説明する図である。 図22は、当該撮影領域に対し他撮影領域がどの方向に存在するかを判定する方法を説明する図である。 図23は、当該撮影領域に対する隣接する撮影領域を判定する方法を説明する図である。 図24は、本発明の実施の形態1における撮影領域調整装置の構成ブロック図である。 図25は、本発明の実施の形態1におけるカメラ端末の構成ブロック図である。 図26は、本発明の実施の形態1における操作端末の構成ブロック図である。 図27は、本発明の実施の形態1における調整部Aが行う処理を示すフローチャートである。 図28は、本発明の実施の形態1における関数FA()を示す説明図である。 図29は、本発明の実施の形態1における関数FA()を示す説明図である。 図30は、本発明の実施の形態2における撮影効率を説明する図である。 図31は、本発明の実施の形態2における撮影効率を説明する図である。 図32は、本発明の実施の形態2におけるカメラ端末の構成ブロック図である。 図33は、本発明の実施の形態2における調整部Bが行う処理を示すフローチャートである。 図34は、本発明の実施の形態2における調整部Bが行う処理を示すフローチャートである。 図35は、本発明の実施の形態2における撮影領域の再割り当てを説明する図である。 図36は、本発明の実施の形態2における撮影領域の再割り当てを説明する図である。 図37は、本発明の実施の形態2における撮影領域の分割パターンを説明する図である。 図38は、本発明の実施の形態3における撮影領域調整装置の構成ブロック図である。 図39は、本発明をマイクに適用した例を説明する図である。 図40は、移動カメラから構成される監視システムの構成を示すブロック図である。 図41は、監視システムにおける移動カメラの動作の様子を示す図である。 図42は、監視領域内に設置されたレールの軌道上を移動カメラが移動する様子を示す図である。
符号の説明
101A〜C カメラ端末A〜C
102 操作端末
103 ネットワーク
201 カメラ
202 調整部A
203 通信部
204 調整部B
211 レンズ
212 撮像面
213 画像処理部
214 姿勢制御部
215 周期撮影制御部
301 入力部
302 記憶部

Claims (13)

  1. 複数のカメラ端末を備える撮影領域調整装置であって、
    前記複数のカメラ端末は、それぞれ、
    一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラと、
    前記仮想撮影領域を示す仮想撮影領域情報を送受信する通信手段と、
    自カメラ端末の仮想撮影領域と前記通信手段によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、前記複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整手段とを備え、
    前記撮影領域調整装置は、さらに、前記複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを前記N個のカメラ端末に割り当てる領域分割手段を備え、
    前記調整手段は、前記領域分割手段によって自カメラ端末に割り当てられた領域を新たな仮想撮影領域として、前記調整を行う
    ことを特徴とする撮影領域調整装置。
  2. 前記領域分割手段は、前記N個のカメラ端末の仮想撮影領域が包含関係にある場合に、前記分割と前記割り当てとを行う
    ことを特徴とする請求項1記載の撮影領域調整装置。
  3. 前記領域分割手段は、前記N個のカメラ端末の仮想撮影領域が隣接している場合に、前記分割と前記割り当てとを行う
    ことを特徴とする請求項1記載の撮影領域調整装置。
  4. 前記領域分割手段は、割り当ての対象となる少なくとも1個のカメラ端末について、前記カメラが仮想撮影領域を撮影するのに要する時間が小さくなる、又は、前記カメラによって現実に撮影される領域のうち仮想撮影領域を除く部分が小さくなるように、前記分割と前記割り当てとを行う
    ことを特徴とする請求項1記載の撮影領域調整装置。
  5. 前記領域分割手段は、前記カメラ端末の仮想撮影領域のアスペクト比が前記カメラの撮影領域のアスペクト比に近づくように、前記分割と前記割り当てとを行う
    ことを特徴とする請求項4記載の撮影領域調整装置。
  6. 前記領域分割手段は、予め定められた複数の分割パターンの中から1つの分割パターン選択することによって、前記分割を行う
    ことを特徴とする請求項1記載の撮影領域調整装置。
  7. 前記カメラは、一定周期で、前記仮想撮影領域内で撮影領域の位置を変化させることを繰り返す
    ことを特徴とする請求項1記載の撮影領域調整装置。
  8. 前記領域分割手段は、前記複数のカメラ端末の少なくとも1個のカメラ端末内に置かれている
    ことを特徴とする請求項1記載の撮影領域調整装置。
  9. 一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影する複数のカメラ端末を用いて撮影領域を調整する撮影領域調整方法であって、
    前記複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、各カメラ端末の仮想撮影領域の位置を調整する調整ステップと、
    前記複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを前記N個のカメラ端末に割り当てる領域分割ステップとを含み、
    前記調整ステップでは、前記領域分割ステップによって割り当てられた領域を新たな仮想撮影領域として、前記調整を行う
    ことを特徴とする撮影領域調整方法。
  10. 複数のカメラ端末を用いて撮影領域を調整する撮影領域調整装置を構成する1台のカメラ端末であって、
    一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するカメラと、
    前記仮想撮影領域を示す仮想撮影領域情報を送受信する通信手段と、
    自カメラ端末の仮想撮影領域と前記通信手段によって受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、前記複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整手段とを備え、
    前記調整手段は、さらに、前記複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを前記N個のカメラ端末に割り当てるとともに、自カメラ端末に割り当てた領域を新たな仮想撮影領域として、前記調整を行う
    ことを特徴とするカメラ端末。
  11. 複数のカメラ端末を用いて撮影領域を調整する撮影領域調整装置を構成する1台のカメラ端末による撮影領域調整方法であって、
    一定時間内に一定領域内で撮影領域の位置を変化させることによって得られる仮想的な撮影領域である仮想撮影領域を撮影するステップと、
    前記仮想撮影領域を示す仮想撮影領域情報を送受信する通信ステップと、
    自カメラ端末の仮想撮影領域と前記通信ステップで受信される仮想撮影領域情報が示す他カメラ端末の仮想撮影領域とに基づき、前記複数のカメラ端末の仮想撮影領域を和した領域が所定の撮影対象領域をくまなく覆うように、自カメラ端末の仮想撮影領域の位置を調整する調整ステップとを含み、
    前記調整ステップでは、さらに、前記複数のカメラ端末のうちのN(≧2)個のカメラ端末の仮想撮影領域を内包する領域をN個に分割し、分割したN個の領域それぞれを前記N個のカメラ端末に割り当てるとともに、自カメラ端末に割り当てた領域を新たな仮想撮影領域として、前記調整を行う
    ことを特徴とする撮影領域調整方法。
  12. 複数のカメラ端末を用いて撮影領域を調整する撮影領域調整装置を構成する1台のカメラ端末のためのプログラムであって、
    請求項11記載の撮影領域調整方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
  13. 複数のセンサ端末を備える検出領域調整装置であって、
    前記複数のセンサ端末は、それぞれ、
    一定時間内に一定領域内で検出領域の位置を変化させることによって得られる仮想的な検出領域である仮想検出領域を検出するセンサと、
    前記仮想検出領域を示す仮想検出領域情報を送受信する通信手段と、
    自センサ端末の仮想検出領域と前記通信手段によって受信される仮想検出領域情報が示す他センサ端末の仮想検出領域とに基づき、前記複数のセンサ端末の仮想検出領域を和した領域が所定の検出対象領域をくまなく覆うように、自センサ端末の仮想検出領域の位置を調整する調整手段とを備え、
    前記検出領域調整装置は、さらに、前記複数のセンサ端末のうちのN(≧2)個のセンサ端末の仮想検出領域を内包する領域をN個に分割し、分割したN個の領域それぞれを前記N個のセンサ端末に割り当てる領域分割手段を備え、
    前記調整手段は、前記領域分割手段によって自センサ端末に割り当てられた領域を新たな仮想検出領域として、前記調整を行う
    ことを特徴とする検出領域調整装置。
JP2006535681A 2005-07-29 2006-06-13 撮影領域調整装置 Active JP3968376B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005219953 2005-07-29
JP2005219953 2005-07-29
PCT/JP2006/311863 WO2007013231A1 (ja) 2005-07-29 2006-06-13 撮影領域調整装置

Publications (2)

Publication Number Publication Date
JP3968376B2 JP3968376B2 (ja) 2007-08-29
JPWO2007013231A1 true JPWO2007013231A1 (ja) 2009-02-05

Family

ID=37683135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006535681A Active JP3968376B2 (ja) 2005-07-29 2006-06-13 撮影領域調整装置

Country Status (3)

Country Link
US (1) US8154599B2 (ja)
JP (1) JP3968376B2 (ja)
WO (1) WO2007013231A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
US20080126533A1 (en) * 2006-11-06 2008-05-29 Microsoft Corporation Feedback based access and control of federated sensors
US8855856B2 (en) * 2007-05-08 2014-10-07 GM Global Technology Operations LLC Vehicle roll control method using controllable friction force of MR dampers
JP5141137B2 (ja) * 2007-08-21 2013-02-13 ソニー株式会社 カメラ制御方法、カメラ制御装置、カメラ制御プログラムおよびカメラシステム
US9030564B2 (en) * 2008-10-10 2015-05-12 Qualcomm Incorporated Single camera tracker
KR101259559B1 (ko) * 2009-12-18 2013-04-30 한국전자통신연구원 멀티 카메라 연동 장치 및 방법
DE102012107153A1 (de) * 2012-08-03 2014-02-27 Hendrik Fehlis Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera
US9791557B1 (en) * 2016-09-15 2017-10-17 Qualcomm Incorporated System and method for multi-area LIDAR ranging
US10970915B2 (en) * 2017-01-06 2021-04-06 Canon Kabushiki Kaisha Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
WO2018212008A1 (ja) * 2017-05-16 2018-11-22 富士フイルム株式会社 撮像装置及び画像合成装置
US10609342B1 (en) * 2017-06-22 2020-03-31 Insight, Inc. Multi-channel sensing system with embedded processing
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
JP6660622B2 (ja) * 2019-03-15 2020-03-11 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
KR102629225B1 (ko) 2019-05-16 2024-01-29 캐논 가부시끼가이샤 배치 결정 장치, 시스템, 배치 결정 방법 및 기록 매체
US11368991B2 (en) 2020-06-16 2022-06-21 At&T Intellectual Property I, L.P. Facilitation of prioritization of accessibility of media
US11184517B1 (en) * 2020-06-26 2021-11-23 At&T Intellectual Property I, L.P. Facilitation of collaborative camera field of view mapping
US11411757B2 (en) 2020-06-26 2022-08-09 At&T Intellectual Property I, L.P. Facilitation of predictive assisted access to content
US11356349B2 (en) 2020-07-17 2022-06-07 At&T Intellectual Property I, L.P. Adaptive resource allocation to facilitate device mobility and management of uncertainty in communications
US11768082B2 (en) 2020-07-20 2023-09-26 At&T Intellectual Property I, L.P. Facilitation of predictive simulation of planned environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法
JP2004304602A (ja) * 2003-03-31 2004-10-28 Toshiba Corp ネットワーク接続カメラ及び画像表示方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01288696A (ja) 1988-05-13 1989-11-20 Asahi Optical Co Ltd 雲台制御装置
JP3043925B2 (ja) 1993-07-15 2000-05-22 東京電力株式会社 移動物体検出判定装置
JPH07303207A (ja) 1994-05-09 1995-11-14 Canon Inc 撮像装置
JPH08223561A (ja) * 1995-02-17 1996-08-30 Nippon Denki Syst Kensetsu Kk モニタエリア図によるカメラの制御方法および装置
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6631240B1 (en) * 1997-07-23 2003-10-07 University Of Washington Multiresolution video
JP3180730B2 (ja) 1997-09-29 2001-06-25 日本電気株式会社 監視カメラシステム
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6985178B1 (en) * 1998-09-30 2006-01-10 Canon Kabushiki Kaisha Camera control system, image pick-up server, client, control method and storage medium therefor
US6738059B1 (en) * 1998-12-18 2004-05-18 Kabushiki Kaisha Sega Enterprises Apparatus and methods for image processing using mixed display objects
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3621003B2 (ja) * 1999-08-31 2005-02-16 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
JP3643513B2 (ja) 2000-03-01 2005-04-27 株式会社日立国際電気 侵入物体監視方法および侵入物体監視装置
JP3740011B2 (ja) * 2000-11-29 2006-01-25 コナミ株式会社 画像表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに、画像表示制御装置及び方法
US20030038814A1 (en) * 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7110021B2 (en) * 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
US7386855B2 (en) * 2002-08-12 2008-06-10 Ntt Docomo, Inc. Application mobility service
JP2004234455A (ja) * 2003-01-31 2004-08-19 Canon Inc 情報処理方法および画像再生装置
JP3862688B2 (ja) * 2003-02-21 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
KR20050000276A (ko) * 2003-06-24 2005-01-03 주식회사 성진씨앤씨 감시 카메라 제어용 가상 조이스틱 시스템 및 제어 방법
JP4614653B2 (ja) * 2003-12-12 2011-01-19 ソニー株式会社 監視装置
US20050225635A1 (en) * 2004-04-09 2005-10-13 The United States Of America As Represented By The Secretary Of The Army Video based security system
JP2006013923A (ja) * 2004-06-25 2006-01-12 Sony Corp 監視装置
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
JP5645450B2 (ja) * 2010-04-16 2014-12-24 キヤノン株式会社 画像処理装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法
JP2004304602A (ja) * 2003-03-31 2004-10-28 Toshiba Corp ネットワーク接続カメラ及び画像表示方法

Also Published As

Publication number Publication date
JP3968376B2 (ja) 2007-08-29
US20080259162A1 (en) 2008-10-23
WO2007013231A1 (ja) 2007-02-01
US8154599B2 (en) 2012-04-10

Similar Documents

Publication Publication Date Title
JP3968376B2 (ja) 撮影領域調整装置
JP3887403B2 (ja) カメラ端末および撮影領域調整装置
JP3905116B2 (ja) 検出領域調整装置
JP3886524B2 (ja) カメラ端末および監視システム
JP4418805B2 (ja) 検出領域調整装置
JP3903062B2 (ja) 監視システムおよびカメラ端末
JP4568009B2 (ja) カメラ連携による監視装置
JP2002522980A (ja) 複数カメラシステム中の画像追跡
US20060017812A1 (en) Camera link system, camera device and camera link control method
US20060055792A1 (en) Imaging system with tracking function
JP4574509B2 (ja) システム用カメラ、監視システム及び監視方法
JP2023100805A (ja) 撮像装置、撮像方法及び撮像プログラム
KR20180060335A (ko) 고정카메라와 다중 ptz 카메라를 이용한 원거리 얼굴인식 방법
US10999495B1 (en) Internet of things-based indoor selfie-supporting camera system
JP3875199B2 (ja) 撮影装置
KR101341632B1 (ko) 줌 카메라의 광축 오차 보상 시스템, 그 보상 방법
JP6443760B2 (ja) 管理装置、撮像装置、撮像システムおよび判定方法
JP2006033188A (ja) 監視装置および監視方法
KR20220164197A (ko) 초고품질의 디지털 데이터 생성 방법 및 장치
KR20120125037A (ko) 감시 시스템 제어 방법
CN100428781C (zh) 摄像机终端及摄影区域调整装置
WO2017094241A1 (en) Display processing apparatus, display processing method, and computer-readable medium for executing display processing method
WO2021020358A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2023121531A (ja) 情報処理装置および移動経路の作成方法、プログラム
JP2005277640A (ja) 画像領域設定装置及び画像領域設定方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070604

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3968376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100608

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130608

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250