JP7335753B2

JP7335753B2 - 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム

Info

Publication number: JP7335753B2
Application number: JP2019147890A
Authority: JP
Inventors: 大佐藤; 史也勝倉
Original assignee: サンリツオートメイシヨン株式会社
Priority date: 2019-08-09
Filing date: 2019-08-09
Publication date: 2023-08-30
Anticipated expiration: 2039-08-09
Also published as: JP2021029028A

Description

本発明は、撮像された画像を用いて物体を追尾するための物体追尾システム、物体追尾装置、物体追尾方法及びプログラムに関する。

従来、複数のカメラを用いて物体を追尾するシステムが知られている（例えば、特許文献１を参照）。

特開２０１７－１６８８８５号公報

従来のシステムにおいては、複数のカメラのうち１台目のカメラに物体を追尾させ、メインカメラに物体が写っていない状態になると、２台目のカメラに物体を追尾させるように切り替えていた。この場合、物体を追尾するカメラを１台目のカメラから２台目のカメラに切り替えるタイミングで、物体を追尾できていない時間帯が生じてしまう場合があるという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、物体を常に追尾することを可能にするための物体追尾システム、物体追尾装置、物体追尾方法及びプログラムを提供することを目的とする。

本発明の第１の態様の物体追尾システムは、第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置と、前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と、前記第１撮像画像及び前記第２撮像画像を解析することにより監視対象物体を追尾する追尾制御装置と、を備え、前記追尾制御装置は、前記第１撮像画像及び前記第２撮像画像において前記監視対象物体を検出する物体検出部と、前記監視対象物体の画像を含む前記第１撮像画像を表示装置に表示させている状態で前記物体検出部が前記第２撮像画像において前記監視対象物体を検出した後に、表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替える切替制御部と、を有する。

前記追尾制御装置は、前記第１撮像装置の標準方向と、前記第１撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第１方向差、及び前記第２撮像装置の標準方向と、前記第２撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第２方向差を特定する方向差特定部をさらに有し、前記切替制御部は、前記第２方向差が前記第１方向差よりも小さくなった後に、前記表示画像を前記第１撮像画像から前記第２撮像画像に切り替えてもよい。

前記第１撮像装置は、撮影方向を前記第２撮像装置の向きに移動可能であり、前記第２撮像装置は、撮影方向を前記第１撮像装置の向きに移動可能であり、前記方向差特定部は、前記第１撮像装置の標準方向と撮影方向との関係、及び前記第１撮影範囲における前記監視対象物体の位置に基づいて前記第１方向差を特定し、前記第２撮像装置の標準方向と撮影方向との関係、及び前記第２撮影範囲における前記監視対象物体の位置に基づいて前記第２方向差を特定してもよい。

前記切替制御部が前記表示画像を前記第１撮像画像から前記第２撮像画像に切り替えた後に、前記第１撮像装置の撮影方向を前記第２撮像装置から離れる向きに変化させる第１方向制御部をさらに有してもよい。

前記切替制御部が前記表示画像を前記第１撮像画像から前記第２撮像画像に切り替えてから前記第１撮像画像に前記監視対象物体が含まれなくなるまでの間、前記第１撮像装置の撮影方向を前記第１撮像装置の標準方向よりも前記第２撮像装置側に維持するように前記第１撮像装置の方向を制御する第１方向制御部をさらに有してもよい。

前記第１方向制御部は、前記第１撮像画像に前記監視対象物体が含まれなくなった後に、前記第１撮像装置の撮影方向を前記第１撮像装置の標準方向に戻すように前記第１撮像装置の方向を制御してもよい。

前記物体検出部が前記第１撮像画像において前記監視対象物体を検出している間に、前記物体検出部が前記第２撮像画像において前記監視対象物体を検出する向きに前記第２撮像装置の方向を制御する第２方向制御部をさらに有してもよい。

前記第２方向制御部は、前記第２撮像装置の向きを前記第１撮像装置の向きと同じ向きにした後に、前記第２撮像装置の向きを前記第１撮像装置側に変化させてもよい。

前記物体追尾システムは、前記表示装置が前記表示画像として表示している前記第１撮像画像に含まれる前記監視対象物体を指定する指示を取得する指示取得部と、前記指示取得部が取得した前記指示により指定された前記監視対象物体の特徴を検出する特徴検出部と、をさらに有し、前記物体検出部は、前記第２撮像画像において、前記特徴検出部が検出した特徴を有する前記監視対象物体を検出してもよい。

本発明の第２の態様の物体追尾装置は、第１撮影範囲を撮影する第１撮像装置により作成された第１撮像画像、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影する第２撮像装置により作成された第２撮像画像において監視対象物体を検出する物体検出部と、前記監視対象物体の画像を含む前記第１撮像画像を表示装置に表示させている状態で前記物体検出部が前記第２撮像画像において前記監視対象物体を検出した後に、表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替える切替制御部と、を有する。

本発明の第３の態様の物体追尾方法は、第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と通信可能なコンピュータが実行する物体追尾方法であって、前記第１撮像画像及び前記第２撮像画像を取得するステップと、所定の監視対象物体の画像が含まれている前記第１撮像画像を表示装置に表示させている状態で、前記第２撮像画像において前記監視対象物体を検出するステップと、前記第２撮像画像において前記監視対象物体を検出した後に、前記表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替えるステップと、を有する。

本発明の第４の態様のプログラムは、第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と通信可能なコンピュータに、所定の監視対象物体の画像が含まれている前記第１撮像画像を表示装置に表示させている状態で、前記第２撮像画像において前記監視対象物体を検出するステップと、前記第２撮像画像において前記監視対象物体を検出した後に、前記表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替えるステップと、を実行させる。

本発明によれば、物体を常に追尾することが可能になるという効果を奏する。

物体追尾システムの概要を説明するための図である。カメラが撮影可能な範囲について説明するための図である。物体追尾システムの構成図である。追尾制御装置の構成を示す図である。第１方向差及び第２方向差について説明するための図である。第２方向制御部の動作について説明するための図である。物体追尾システムの動作の例を示す図である。物体追尾システムの動作の例を示す図である。物体追尾システムの動作の例を示す図である。物体追尾システムの動作の例を示す図である。物体追尾システムの動作の例を示す図である。物体追尾システムにおける動作シーケンスを示す図である。物体追尾システムにおける動作シーケンスを示す図である。

［物体追尾システムＳの概要］
図１は、物体追尾システムＳの概要を説明するための図である。物体追尾システムＳは、監視する対象の物体（以下、「監視対象物体Ｍ」という。）の位置を監視するために監視対象物体Ｍを追尾するシステムである。物体追尾システムＳは、例えば空港に設置されており、監視対象物体Ｍとして、滑走路又は誘導路を走行する飛行機を追尾する。

物体追尾システムＳは、複数の撮像装置である複数のカメラ１（黒丸で示すカメラ１－１～カメラ１―ｎ、ｎは自然数）と、追尾制御装置２と、表示装置３と、を備える。追尾制御装置２は、複数のカメラ１及び表示装置３とネットワークＮを介して接続されており、複数のカメラ１及び表示装置３との間で各種のデータを送受信する装置であり、例えばコンピュータである。複数のカメラ１は、それぞれ異なる位置に設置されており、異なる範囲を撮影することにより撮像画像を作成する。カメラ１は、作成した撮像画像を追尾制御装置２に送信する。

図２は、カメラ１が撮影可能な範囲について説明するための図である。図２に示すように、複数のカメラ１のそれぞれの撮影範囲は、少なくとも隣の位置に設置された他のカメラ１の撮影範囲と一部の領域が重なっている。例えば、カメラ１－１が第１撮影範囲Ｒ１を撮影することにより第１撮像画像を作成し、カメラ１－２が第１撮影範囲Ｒ１と異なる第２撮影範囲Ｒ２を撮影することにより第２撮像画像を作成する場合、第１撮像画像と第２撮像画像には共通する領域Ｒｃの画像が含まれている。

カメラ１は、デフォルト状態においては、例えば、水平方向の撮影可能範囲の中央位置の方向を撮像する。カメラ１は、追尾制御装置２から受信する制御情報に基づいて、撮影する範囲及び撮影する方向を変更することができる。カメラ１－１は、撮影方向をカメラ１－２の向きに移動可能である。また、カメラ１－２は、撮影方向をカメラ１－１の向きに移動可能である。

図３は、物体追尾システムＳの構成図である。
追尾制御装置２は、複数のカメラ１から受信した複数の撮像画像を用いて、監視対象物体Ｍを追尾するコンピュータである。追尾制御装置２は、複数の撮像画像のうち監視対象物体Ｍの画像が含まれている撮像画像を選択し、選択した撮像画像を表示装置３に表示させる。追尾制御装置２は、表示装置３に表示させる撮像画像を切り替えることで、監視対象物体Ｍを表示装置３に表示させることができる。

なお、本明細書において、表示装置３に撮像画像が表示されているカメラ１をメインカメラと称することがある。また、監視対象物体Ｍの画像が撮像画像に含まれており、かつ表示装置３に撮像画像が表示されていないカメラ１をサブカメラと称することがある。

表示装置３は、追尾制御装置２から取得した撮像画像を表示させる装置であり、例えばディスプレイを有するコンピュータである。物体追尾システムＳが空港で使用される場合、表示装置３は例えば管制塔において用いられる。表示装置３のユーザは、表示装置３に表示された撮像画像において監視対象物体Ｍを指定することにより、その後、指定した監視対象物体Ｍの画像を継続的に表示装置３に表示させることができる。

物体追尾システムＳにおいては、少なくとも２台のカメラ１（例えば隣り合う２台のカメラ１）の撮影範囲が重複している。そして、追尾制御装置２が、表示装置３に表示させている撮像画像を作成したカメラ１が作成した撮像画像に監視対象物体Ｍの画像が含まれている間に、表示装置３に表示させる撮像画像を、監視対象物体Ｍの画像が含まれている他のカメラ１が作成した撮像画像に切り替える。物体追尾システムＳがこのように動作することで、表示装置３に表示されている撮像画像を作成したカメラ１の撮影範囲に監視対象物体Ｍが含まれていない状態になっても、表示装置３が監視対象物体Ｍの画像を継続的に表示することができる。

［追尾制御装置２の構成及び動作］
図４は、追尾制御装置２の構成を示す図である。追尾制御装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。制御部２３は、指示取得部２３１と、特徴検出部２３２と、物体検出部２３３と、方向差特定部２３４と、切替制御部２３５と、第１方向制御部２３６と、第２方向制御部２３７とを有する。

通信部２１は、ネットワークＮを介してカメラ１及び表示装置３と各種のデータを送受信するための通信コントローラを有する。通信部２１は、制御部２３から入力された制御情報をカメラ１に送信し、ネットワークＮを介してカメラ１から受信した撮像画像を制御部２３に入力する。また、通信部２１は、制御部２３が選択した撮像画像を表示装置３に送信する。

記憶部２２は、例えばＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体を有する。記憶部２２は、制御部２３が実行するプログラムを記憶している。また、記憶部２２は、カメラ１から取得された撮像画像を少なくとも一時的に記憶する。また、記憶部２２は、制御部２３が監視対象物体Ｍを追尾するために必要な各種のデータを記憶している。記憶部２２は、例えば複数のカメラ１の位置関係を記憶している。さらに、記憶部２２は、カメラ１が作成する撮像画像における位置と、当該位置に写っている物体の方向とが関連付けられたテーブルを記憶している。

制御部２３は、例えばＣＰＵ（Central Processing Unit）であり、記憶部２２に記憶されたプログラムを実行することにより、指示取得部２３１、特徴検出部２３２、物体検出部２３３、方向差特定部２３４、切替制御部２３５、第１方向制御部２３６、及び第２方向制御部２３７として機能する。

指示取得部２３１は、物体追尾システムＳの利用者からの指示を取得する。物体追尾システムＳの利用者は、例えば表示装置３により監視対象物体Ｍを監視する監視者である。指示取得部２３１は、例えば物体追尾システムＳから送信された指示を取得する。具体的には、指示取得部２３１は、表示装置３が表示画像として表示している第１撮像画像に含まれる監視対象物体Ｍを指定する指示を取得する。指示取得部２３１は、取得した指示を特徴検出部２３２に通知する。

指示取得部２３１は、例えば、第１撮像画像に含まれる所定の形状の領域（例えば飛行機の形状の領域）を特定し、特定した領域に枠を付す。指示取得部２３１は、表示装置３に表示された第１撮像画像において枠が付された領域を監視者が選択する操作を示す情報を、枠が付された物体を監視対象物体Ｍとして指定する指示として取得する。監視者が、第１撮像画像において監視対象物体Ｍを囲む操作を行い、指示取得部２３１は、監視者により囲まれた領域に含まれる物体を監視対象物体Ｍとして認識してもよい。

特徴検出部２３２は、指示取得部２３１が取得した指示により指定された監視対象物体Ｍの特徴を検出する。特徴検出部２３２は、例えば、指示取得部２３１から取得した監視対象物体Ｍを示す画像を解析することにより、監視対象物体Ｍの形状、色、模様等を特徴として検出する。特徴検出部２３２は、検出した特徴を物体検出部２３３に通知する。

物体検出部２３３は、第１撮像画像及び第２撮像画像において監視対象物体Ｍを検出する。具体的には、物体検出部２３３は、第１撮像画像及び第２撮像画像において、特徴検出部２３２から通知された特徴と類似する領域を特定した場合、当該領域に監視対象物体Ｍの画像が含まれていると判定する。

物体検出部２３３は、第１撮像画像又は第２撮像画像に監視対象物体Ｍの画像が含まれていると判定した場合、第１撮像画像又は第２撮像画像における監視対象物体Ｍの画像の位置（例えば座標）を特定する。物体検出部２３３は、特定した位置を方向差特定部２３４及び切替制御部２３５に通知する。

方向差特定部２３４は、カメラ１－１の標準方向と、カメラ１－１と監視対象物体Ｍの位置とを結ぶ方向との差である第１方向差、及びカメラ１－２の標準方向と、カメラ１－２と監視対象物体Ｍの位置とを結ぶ方向との差である第２方向差を特定する。方向差特定部２３４は、特定した第１方向差及び第２方向差を切替制御部２３５に通知する。

図５は、第１方向差及び第２方向差について説明するための図である。図５における矢印は各カメラ１の標準方向を示している。図５においては、カメラ１－１及びカメラ１－２が監視対象物体Ｍを撮像できる状態を示している。この場合、第１方向差はθ_１であり、第２方向差はθ_２である。

カメラ１－１の光軸の方向が標準方向と一致している場合、第１撮像画像の中心位置から監視対象物体Ｍの位置までの距離と第１方向差の大きさとが相関関係を有する。そこで、方向差特定部２３４は、第１撮像画像において監視対象物体Ｍの画像が検出された位置に基づいて第１方向差θ_１を特定する。方向差特定部２３４は、例えば、予め記憶部２２に記憶された、第１撮像画像内の位置と第１方向差θ_１との関係を示すテーブルを参照することにより、第１方向差θ_１を特定する。

同様に、方向差特定部２３４は、第２撮像画像において監視対象物体Ｍの画像が検出された位置に基づいて第２方向差θ_２を特定する。方向差特定部２３４は、例えば、予め記憶部２２に記憶された、第２撮像画像内の位置と第２方向差θ_２との関係を示すテーブルを参照することにより、第２方向差θ_２を特定する。

ところで、カメラ１－１は、撮影方向を変化させることができる。カメラ１－１の光軸の方向がカメラ１－１の標準方向からずれている場合、方向差特定部２３４は、単に撮像画像の中心位置と監視対象物体Ｍの位置との関係だけでは第１方向差θ_１を特定することができない。同様に、カメラ１－２の光軸の方向がカメラ１－２の標準方向からずれている場合、方向差特定部２３４は、単に撮像画像の中心位置と監視対象物体Ｍの位置との関係だけでは第２方向差θ_２を特定することができない。

さらに、カメラ１－１及びカメラ１－２がズーム機能を有する場合には、撮像画像の中心位置からの距離と方向差との関係が変化する。したがって、この場合にも方向差特定部２３４は、単に撮像画像の中心位置と監視対象物体Ｍの位置との関係だけでは第１方向差θ_１及び第２方向差θ_２を特定することができない。

そこで、方向差特定部２３４は、カメラ１－１の標準方向と撮影方向との関係、及び第１撮影範囲における物体の位置に基づいて第１方向差θ_１を特定する。また、方向差特定部２３４は、カメラ１－２の標準方向と撮影方向との関係、及び第２撮影範囲における物体の位置に基づいて第２方向差θ_２を特定する。

具体的には、方向差特定部２３４は、第１撮像画像の中心位置から監視対象物体Ｍまでの距離により特定される方向差に、カメラ１－１の標準方向と撮影方向（すなわち、カメラ１－１の光軸の方向）との差を加算することにより、第１方向差θ_１を算出する。カメラ１－１がズーム機能を有する場合、第１撮像画像の中心位置から監視対象物体Ｍまでの距離により特定される方向差をズーム量に基づいて補正してもよい。方向差特定部２３４は、同様の手順で第２方向差θ_２を算出する。方向差特定部２３４は、このようにして特定した第１方向差θ_１及び第２方向差θ_２を切替制御部２３５に通知する。

切替制御部２３５は、表示装置３に表示させる撮像画像を切り替える。切替制御部２３５は、監視対象物体Ｍの画像を含む第１撮像画像を表示装置３に表示させている状態で物体検出部２３３が第２撮像画像において監視対象物体Ｍを検出した後に、表示装置３に表示させる撮像画像である表示画像を第１撮像画像から第２撮像画像に切り替える。すなわち、切替制御部２３５は、カメラ１－１がメインカメラとして動作している間に、メインカメラをカメラ１－１からカメラ１－２に切り替える。切替制御部２３５がこのように動作することで、第１撮像画像及び第２撮像画像の両方に監視対象物体Ｍの画像が含まれている間に、表示装置３に表示させる撮像画像が切り替わるので、物体を追尾できていない時間帯が生じず、監視者が常に監視対象物体Ｍを監視することができる。

切替制御部２３５は、例えば、第２方向差が第１方向差よりも小さくなった後に、表示装置３に表示する表示画像を第１撮像画像から第２撮像画像に切り替える。言い換えると、切替制御部２３５は、監視対象物体Ｍがカメラ１－１の第１撮影範囲よりもカメラ１－２の第２撮影範囲の方に近い位置まで移動した後に、表示画像を第１撮像画像から第２撮像画像に切り替える。切替制御部２３５がこのように動作することで、表示画像が第２撮像画像に切り替わった直後に監視対象物体Ｍが移動する方向を変更した場合であっても、監視対象物体Ｍが第２撮影範囲の外に出るまでに時間を要するので、表示画像に監視対象物体Ｍの画像が含まれなくなってしまうことを防げる。

なお、切替制御部２３５は、第１撮像画像及び第２撮像画像に監視対象物体Ｍの画像が含まれている状態で第２方向差が第１方向差よりも小さくなり、かつ第１方向差と第２方向差との差分が閾値以上になったことを条件として、表示画像を第１撮像画像から第２撮像画像に切り替えてもよい。同様に、第１撮像画像及び第２撮像画像に監視対象物体Ｍの画像が含まれている状態で第１方向差が第２方向差よりも小さくなり、かつ第１方向差と第２方向差との差分が閾値以上になったことを条件として、表示画像を第２撮像画像から第１撮像画像に切り替えてもよい。すなわち、切替制御部２３５は、表示する撮像画像を切り替える動作にヒステリシスを設けてもよい。切替制御部２３５がこのように動作することで、監視対象物体Ｍが第１撮影範囲と第２撮影範囲の中間位置付近で移動する向きを頻繁に変える場合に、表示画像として用いられる撮像画像が頻繁に切り替わることを防げる。

第１方向制御部２３６は、切替制御部２３５の指示に基づいてカメラ１－１を制御する。具体的には、第１方向制御部２３６は、カメラ１－１のＰＴＺ（パン・チルト・ズーム）制御を行うことで、カメラ１－１の撮影方向及びズーム量を変更する。同様に、第２方向制御部２３７は、切替制御部２３５の指示に基づいてカメラ１－２を制御する。具体的には、第２方向制御部２３７は、カメラ１－２のＰＴＺ制御を行うことで、カメラ１－２の撮影方向及びズーム量を変更する。

第１方向制御部２３６は、例えば、切替制御部２３５が表示画像を第１撮像画像から第２撮像画像に切り替えた後に、第１撮像装置の撮影方向を第２撮像装置から離れる向きに変化させる。第１方向制御部２３６がこのように動作することで、カメラ１－１が他の監視対象物体Ｍを撮像することが可能になる。

ただし、第１方向制御部２３６は、切替制御部２３５が表示画像を第１撮像画像から第２撮像画像に切り替えてから第１撮像画像に監視対象物体Ｍが含まれなくなるまでの間、カメラ１－１の撮影方向をカメラ１－１の標準方向よりも第２撮像装置側に維持するようにカメラ１－１の方向を制御してもよい。第１方向制御部２３６がこのように動作することで、表示画像が第２撮像画像に切り替わった後にも、監視対象物体Ｍが第１撮像画像及び第２撮像画像の両方に含まれる状態が維持される。したがって、表示画像が第２撮像画像に切り替わった後に、監視対象物体Ｍがカメラ１－１の向きに移動した場合であっても、第１方向制御部２３６が表示画像を第１撮像画像に戻すことで、表示画像に監視対象物体Ｍの画像が含まれる状態を維持することができる。

第１方向制御部２３６は、第１撮像画像に監視対象物体Ｍが含まれなくなった後に、カメラ１－１の撮影方向をカメラ１－１の標準方向に戻すようにカメラ１－１の方向を制御する。第１撮像画像に監視対象物体Ｍの画像が含まれていない場合、切替制御部２３５が表示画像を第２撮像画像から第１撮像画像に切り替える必要がない。したがって、このような場合に第１方向制御部２３６がカメラ１－１の撮影方向を標準方向に戻すことで、カメラ１－１が他の監視対象物体Ｍを早く撮像することが可能になる。

なお、第１方向制御部２３６は、カメラ１－１の撮影方向を、標準方向に対してカメラ１－２から遠い側まで移動させてもよい。第１方向制御部２３６は、例えば、物体検出部２３３が第１撮像画像内に他の監視対象物体Ｍを検出する位置まで撮影方向を移動させる。第１方向制御部２３６がこのように動作することで、カメラ１－１が他の監視対象物体Ｍの撮像の開始をさらに早めることが可能になる。

第２方向制御部２３７は、物体検出部２３３が第１撮像画像において監視対象物体Ｍを検出している間に、物体検出部２３３が第２撮像画像において監視対象物体Ｍを検出する向きにカメラ１－２の方向を制御する。第２方向制御部２３７は、例えば、カメラ１－２の光軸の方向がカメラ１－２とカメラ１－１とを結ぶ線の方向に近づくようにカメラ１－２を回転させる。第２方向制御部２３７は、カメラ１－２の向きをカメラ１－１の向きと同じ向きにした後に、カメラ１－２の向きをカメラ１－１の側に変化させてもよい。

図６は、第２方向制御部２３７の動作について説明するための図である。図６（ａ）は、カメラ１－２の光軸の方向がカメラ１－１の光軸の方向と同じになっており、カメラ１－１の光軸とカメラ１－２の光軸とが平行な状態を示している。第２方向制御部２３７は、図６（ａ）の状態から、カメラ１－１の光軸の方向とカメラ１－２の光軸の方向とが成す角度Φが大きくなるように、カメラ１－１の側に向けてカメラ１－２を回転させる。図６（ｂ）は、第２方向制御部２３７がカメラ１－２を回転させたことにより、カメラ１－２の光軸が監視対象物体Ｍに近づいた状態を示している。第２方向制御部２３７がこのように動作することで、カメラ１－２の撮影範囲に監視対象物体Ｍが含まれるようになるまでの時間を短縮することができる。

［物体追尾システムＳの動作の例］
図７から図１１は、物体追尾システムＳの動作の例を示す図である。図７から図１１において、カメラ１から監視対象物体Ｍに向けて延びている破線（太線）は、メインカメラとして監視対象物体Ｍを撮影していることを示しており、カメラ１から監視対象物体Ｍに向けて延びている一点鎖線は、サブカメラとして監視対象物体Ｍを撮影していることを示している。

図７は、第１撮像画像において監視対象物体Ｍが指定され、カメラ１－１がメインカメラとして監視対象物体Ｍの追尾を開始した状態を示している。この時点では、カメラ１－２の撮影範囲内に監視対象物体Ｍが入っていないものとする。

図８は、図７の状態から監視対象物体Ｍがカメラ１－２に近づくように移動し、カメラ１－２の撮影範囲内に監視対象物体Ｍが入った状態を示している。この状態では、第１方向差θ_１が第２方向差θ_２よりも小さいので、切替制御部２３５は、カメラ１－１をメインカメラとして選択しており、カメラ１－２はサブカメラとして機能している。

図９は、図８の状態から監視対象物体Ｍがさらにカメラ１－２に近づくように移動し、第２方向差θ_２が第１方向差θ_１よりも小さくなった状態を示している。第２方向差θ_２が第１方向差θ_１よりも小さくなった時点で、切替制御部２３５はカメラ１－２をメインカメラに切り替えている。

図１０は、図９の状態から監視対象物体Ｍがさらに移動し、カメラ１－３の撮影範囲内に監視対象物体Ｍが入った状態を示している。この状態では、カメラ１－２がメインカメラとして機能し、カメラ１－１及びカメラ１－３がサブカメラとして機能している。

図１１は、図１０の状態から監視対象物体Ｍがさらに移動し、カメラ１－１の撮影範囲から監視対象物体Ｍが出た状態を示している。この状態では、カメラ１－２がメインカメラとして機能し、カメラ１－３がサブカメラとして機能している。この状態で、カメラ１－１は、標準方向、又は標準方向よりもカメラ１－６に近い方向に光軸の方向を変化させている。

［動作シーケンス］
図１２及び図１３は、物体追尾システムＳにおける動作シーケンスを示す図である。図１２のシーケンス図は、監視対象物体Ｍが監視エリアに入ってくる領域を撮影可能なカメラ１－１の第１撮像画像が表示装置３に表示されている状態から開始している（Ｓ１）。表示装置３は、第１撮像画像が表示されている状態で、監視対象物体Ｍを指定する操作、及び追尾の開始を指示する操作を受け付ける（Ｓ２）。表示装置３は、受け付けた操作に基づいて、追尾を開始する指示及び監視対象物体Ｍの画像を追尾制御装置２に送信する。

追尾制御装置２においては、物体検出部２３３が第１撮像画像において監視対象物体Ｍを検出する（Ｓ３）。物体検出部２３３は、監視対象物体Ｍを検出した位置を方向差特定部２３４及び切替制御部２３５に通知する。物体検出部２３３は、切替制御部２３５を介して、監視対象物体Ｍを検出した位置を第１方向制御部２３６に通知する。第１方向制御部２３６は、第１撮像画像に監視対象物体Ｍが含まれる状態を維持するようにカメラ１－１を制御する。カメラ１－１は、第１方向制御部２３６から受信した追尾制御指示に基づいて、例えば監視対象物体Ｍが移動する向きに撮影範囲が移動するように回転する（Ｓ４）。

切替制御部２３５は、物体検出部２３３から通知された監視対象物体Ｍの位置が、カメラ１－２が撮影可能な範囲に含まれているか否かを判定する（Ｓ５）。切替制御部２３５は、監視対象物体Ｍの位置が撮影可能な範囲に含まれていると判定した場合、カメラ１－２に対して、監視対象物体Ｍの探索を開始するように第２方向制御部２３７に指示する。また、第２方向制御部２３７は、例えば図６を参照して説明した方法で探索を行うようにカメラ１－２を制御する。

続いて、図１３に基づいて説明する。物体検出部２３３は、カメラ１－２から送られてきた第２撮像画像において監視対象物体Ｍを検出すると、第２撮像画像において検出した監視対象物体Ｍの位置を方向差特定部２３４に通知する。方向差特定部２３４は、物体検出部２３３から通知された第１撮像画像における監視対象物体Ｍの位置に基づいて第１方向差を特定し、第２撮像画像における監視対象物体Ｍの位置に基づいて第２方向差を特定する（Ｓ６）。方向差特定部２３４は、特定した第１方向差及び第２方向差を切替制御部２３５に通知する。

続いて、切替制御部２３５は、第１方向差と第２方向差とを比較する。切替制御部２３５は、第２方向差が第１方向差よりも小さいと判定した場合（Ｓ７）、カメラ１－２をメインカメラに切り替える（Ｓ８）。その後、第１方向制御部２３６は、第１撮像画像に監視対象物体Ｍが含まれなくなったと判定した場合（Ｓ９）、カメラ１－１の撮影範囲を初期状態に戻す（Ｓ１０）。物体追尾システムＳは、以上の手順により、カメラ１－１により監視対象物体Ｍを追尾した後に、途切れることなくカメラ１－２により監視対象物体Ｍを追尾することができる。

［第１変形例］
以上の説明においては、表示装置３を使用する監視者が第１画像において指定した物体を監視対象物体Ｍとする場合を例示したが、監視対象物体Ｍを指定する方法はこれに限らない。監視者は、監視対象物体Ｍの種別（例えば機種名）ごとに付された識別情報を指定することにより、監視対象物体Ｍを指定してもよい。この場合、指示取得部２３１は、監視対象物体Ｍの種別ごとに付された識別情報を、監視対象物体Ｍを指定する指示として取得する。

［第２変形例］
以上の説明においては、物体追尾システムＳが１台の表示装置３を有する場合を例示したが、物体追尾システムＳが複数の物体追尾システムＳを有していてもよい。この場合、物体追尾システムＳは、例えば、複数のカメラ１それぞれが作成した撮像画像を表示する表示装置３と、監視対象物体Ｍを表示する表示装置３とを有する。

監視者は、複数の表示装置３に表示された複数のカメラ１が作成した複数の撮像画像のうち、監視対象物体Ｍが含まれている撮像画像が表示されている表示装置３において監視対象物体Ｍを指定する。そして、切替制御部２３５は、監視対象物体Ｍが指定された表示装置３に表示されている撮像画像を作成したカメラ１をメインカメラとして選択して監視対象物体Ｍの追尾を開始する。このように物体追尾システムＳが複数の表示装置３を有することで、物体追尾システムＳは、複数のカメラ１のいずれかに写っている任意の物体を監視対象物体Ｍとして追尾することができる。

［第３変形例］
以上の説明においては、カメラ１が水平方向に回転可能である場合を例示したが、カメラ１が広角レンズを搭載しており、回転することなく広い範囲の撮像画像を作成できてもよい。

［物体追尾システムＳによる効果］
以上説明したように、物体追尾システムＳにおいては、監視対象物体Ｍの画像を含む第１撮像画像を表示装置３に表示させている状態で物体検出部２３３が第２撮像画像において監視対象物体Ｍを検出した後に、表示装置３に表示させる表示画像を第１撮像画像から第２撮像画像に切り替える切替制御部２３５を有する。切替制御部２３５がこのように動作することで、表示装置３に常に監視対象物体Ｍが表示されるので、監視者が監視対象物体を常に追尾することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

例えば、以上の説明においては、物体追尾システムＳが空港で使用される場合を例示したが、物体追尾システムＳが使用される場所は任意であり、物体追尾システムＳは、空港以外の場所で使用される場合にも適用可能である。

１カメラ
２追尾制御装置
３表示装置
２１通信部
２２記憶部
２３制御部
２３１指示取得部
２３２特徴検出部
２３３物体検出部
２３４方向差特定部
２３５切替制御部
２３６第１方向制御部
２３７第２方向制御部

Claims

第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置と、
前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と、
前記第１撮像画像及び前記第２撮像画像を解析することにより監視対象物体を追尾する追尾制御装置と、
を備え、
前記追尾制御装置は、
前記第１撮像画像及び前記第２撮像画像において前記監視対象物体を検出する物体検出部と、
前記第１撮像装置の標準方向と、前記第１撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第１方向差、及び前記第２撮像装置の標準方向と、前記第２撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第２方向差を特定する方向差特定部と、
前記監視対象物体の画像を含む前記第１撮像画像を表示装置に表示させている状態で前記物体検出部が前記第２撮像画像において前記監視対象物体を検出した後であり、かつ前記第２方向差が前記第１方向差よりも小さくなった後に、表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替える切替制御部と、
を有する物体追尾システム。
第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置と、
前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と、
前記第１撮像画像及び前記第２撮像画像を解析することにより監視対象物体を追尾する追尾制御装置と、
を備え、
前記追尾制御装置は、
前記第１撮像画像及び前記第２撮像画像において前記監視対象物体を検出する物体検出部と、
前記監視対象物体の画像を含む前記第１撮像画像を表示装置に表示させている状態で前記物体検出部が前記第２撮像画像において前記監視対象物体を検出した後に、表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替える切替制御部と、
前記物体検出部が前記第１撮像画像において前記監視対象物体を検出している間に、前記物体検出部が前記第２撮像画像において前記監視対象物体を検出する向きに前記第２撮像装置の方向を制御する第２方向制御部と、
を有し、
前記第２方向制御部は、前記第２撮像装置の向きを前記第１撮像装置の向きと同じ向きにした後に、前記第２撮像装置の向きを前記第１撮像装置側に変化させる、
物体追尾システム。
前記第１撮像装置は、撮影方向を前記第２撮像装置の向きに移動可能であり、
前記第２撮像装置は、撮影方向を前記第１撮像装置の向きに移動可能であり、
前記方向差特定部は、前記第１撮像装置の標準方向と撮影方向との関係、及び前記第１撮影範囲における前記監視対象物体の位置に基づいて前記第１方向差を特定し、前記第２撮像装置の標準方向と撮影方向との関係、及び前記第２撮影範囲における前記監視対象物体の位置に基づいて前記第２方向差を特定する、
請求項１に記載の物体追尾システム。
前記切替制御部が前記表示画像を前記第１撮像画像から前記第２撮像画像に切り替えた後に、前記第１撮像装置の撮影方向を前記第２撮像装置から離れる向きに変化させる第１方向制御部をさらに有する、
請求項１から３のいずれか一項に記載の物体追尾システム。
前記切替制御部が前記表示画像を前記第１撮像画像から前記第２撮像画像に切り替えてから前記第１撮像画像に前記監視対象物体が含まれなくなるまでの間、前記第１撮像装置の撮影方向を前記第１撮像装置の標準方向よりも前記第２撮像装置側に維持するように前記第１撮像装置の方向を制御する第１方向制御部をさらに有する、
請求項１から３のいずれか一項に記載の物体追尾システム。
前記表示装置が前記表示画像として表示している前記第１撮像画像に含まれる前記監視対象物体を指定する指示を取得する指示取得部と、
前記指示取得部が取得した前記指示により指定された前記監視対象物体の特徴を検出する特徴検出部と、
をさらに有し、
前記物体検出部は、前記第２撮像画像において、前記特徴検出部が検出した特徴を有する前記監視対象物体を検出する、
請求項１から５のいずれか一項に記載の物体追尾システム。
第１撮影範囲を撮影する第１撮像装置により作成された第１撮像画像、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影する第２撮像装置により作成された第２撮像画像において監視対象物体を検出する物体検出部と、
前記第１撮像装置の標準方向と、前記第１撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第１方向差、及び前記第２撮像装置の標準方向と、前記第２撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第２方向差を特定する方向差特定部と、
前記監視対象物体の画像を含む前記第１撮像画像を表示装置に表示させている状態で前記物体検出部が前記第２撮像画像において前記監視対象物体を検出した後であり、かつ前記第２方向差が前記第１方向差よりも小さくなった後に、表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替える切替制御部と、
を有する物体追尾装置。
第１撮影範囲を撮影する第１撮像装置により作成された第１撮像画像、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影する第２撮像装置により作成された第２撮像画像において監視対象物体を検出する物体検出部と、
前記監視対象物体の画像を含む前記第１撮像画像を表示装置に表示させている状態で前記物体検出部が前記第２撮像画像において前記監視対象物体を検出した後に、表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替える切替制御部と、
前記物体検出部が前記第１撮像画像において前記監視対象物体を検出している間に、前記物体検出部が前記第２撮像画像において前記監視対象物体を検出する向きに前記第２撮像装置の方向を制御する第２方向制御部と、
を有し、
前記第２方向制御部は、前記第２撮像装置の向きを前記第１撮像装置の向きと同じ向きにした後に、前記第２撮像装置の向きを前記第１撮像装置側に変化させる、
物体追尾装置。
第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と通信可能なコンピュータが実行する物体追尾方法であって、
前記第１撮像画像及び前記第２撮像画像を取得するステップと、
所定の監視対象物体の画像が含まれている前記第１撮像画像を表示装置に表示させている状態で、前記第２撮像画像において前記監視対象物体を検出するステップと、
前記第１撮像装置の標準方向と、前記第１撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第１方向差、及び前記第２撮像装置の標準方向と、前記第２撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第２方向差を特定するステップと、
前記第２撮像画像において前記監視対象物体を検出した後であり、かつ前記第２方向差が前記第１方向差よりも小さくなった後に、前記表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替えるステップと、
を有する物体追尾方法。
第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と通信可能なコンピュータが実行する物体追尾方法であって、
前記第１撮像画像及び前記第２撮像画像を取得するステップと、
所定の監視対象物体の画像が含まれている前記第１撮像画像を表示装置に表示させている状態で、前記第２撮像画像において前記監視対象物体を検出するステップと、
前記第２撮像画像において前記監視対象物体を検出した後に、前記表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替えるステップと、
前記第１撮像画像において前記監視対象物体を検出している間に、前記第２撮像画像において前記監視対象物体を検出する向きに前記第２撮像装置の方向を制御するステップと、
を有し、
前記第２撮像装置の方向を制御するステップにおいて、前記第２撮像装置の向きを前記第１撮像装置の向きと同じ向きにした後に、前記第２撮像装置の向きを前記第１撮像装置側に変化させる、
物体追尾方法。
第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と通信可能なコンピュータに、
所定の監視対象物体の画像が含まれている前記第１撮像画像を表示装置に表示させている状態で、前記第２撮像画像において前記監視対象物体を検出するステップと、
前記第１撮像装置の標準方向と、前記第１撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第１方向差、及び前記第２撮像装置の標準方向と、前記第２撮像装置と前記監視対象物体の位置とを結ぶ方向との差である第２方向差を特定するステップと、
前記第２撮像画像において前記監視対象物体を検出した後であり、かつ前記第２方向差が前記第１方向差よりも小さくなった後に、前記表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替えるステップと、
を実行させるためのプログラム。
第１撮影範囲を撮影することにより第１撮像画像を作成する第１撮像装置、及び前記第１撮影範囲と少なくとも一部が重複する第２撮影範囲を撮影することにより第２撮像画像を作成する第２撮像装置と通信可能なコンピュータに、
所定の監視対象物体の画像が含まれている前記第１撮像画像を表示装置に表示させている状態で、前記第２撮像画像において前記監視対象物体を検出するステップと、
前記第２撮像画像において前記監視対象物体を検出した後に、前記表示装置に表示させる撮像画像である表示画像を前記第１撮像画像から前記第２撮像画像に切り替えるステップと、
前記第１撮像画像において前記監視対象物体を検出している間に、前記第２撮像画像において前記監視対象物体を検出する向きに前記第２撮像装置の方向を制御するステップと、
を実行させ、
前記第２撮像装置の方向を制御するステップにおいて、前記第２撮像装置の向きを前記第１撮像装置の向きと同じ向きにした後に、前記第２撮像装置の向きを前記第１撮像装置側に変化させる、
プログラム。