JP6462528B2 - 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム - Google Patents
移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム Download PDFInfo
- Publication number
- JP6462528B2 JP6462528B2 JP2015164437A JP2015164437A JP6462528B2 JP 6462528 B2 JP6462528 B2 JP 6462528B2 JP 2015164437 A JP2015164437 A JP 2015164437A JP 2015164437 A JP2015164437 A JP 2015164437A JP 6462528 B2 JP6462528 B2 JP 6462528B2
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- radio
- mobile terminal
- imaging
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 title 3
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000003384 imaging method Methods 0.000 claims description 151
- 238000004891 communication Methods 0.000 claims description 137
- 230000033001 locomotion Effects 0.000 claims description 133
- 238000004091 panning Methods 0.000 claims 1
- 238000010191 image analysis Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013075 data extraction Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、移動体を追跡する技術に関する。
複数の撮像装置が連携して移動体を追跡する技術が知られている。
従来の追跡装置は、画像解析装置を有しており、撮影画像内から追跡対象の画像を検出し、撮像装置の位置情報と画像内の追跡対象の動きに関する情報をネットワーク経由で共有し、次に対象物体が撮影範囲に入ると予想される撮像装置に追跡制御命令を行うことで追跡対象を追跡する（例えば、特許文献１）。
また、モバイル端末装置から送信される移動体の位置情報を画像解析情報と組み合わせて撮像装置の映像内にて移動体を追跡する技術もある（例えば、特許文献２）。
従来の追跡装置は、画像解析装置を有しており、撮影画像内から追跡対象の画像を検出し、撮像装置の位置情報と画像内の追跡対象の動きに関する情報をネットワーク経由で共有し、次に対象物体が撮影範囲に入ると予想される撮像装置に追跡制御命令を行うことで追跡対象を追跡する（例えば、特許文献１）。
また、モバイル端末装置から送信される移動体の位置情報を画像解析情報と組み合わせて撮像装置の映像内にて移動体を追跡する技術もある（例えば、特許文献２）。
しかしながら、従来の画像解析による移動体の追跡は、遮蔽物や移動体の向きにより、移動体の検出ができず、追跡が困難になるという課題があった。
特に、商用施設や駅構内等の混雑状況において、子供のように身長の低い人物は、周囲の身長の高い人物に遮蔽されてしまうことがあり、撮影画像内に姿が映り込まない可能性がある。
また、特許文献２で利用される位置情報は屋外での利用を想定したものであり、屋内である駅構内や商用施設等に設置された撮像装置には適用できないという課題がある。
特に、商用施設や駅構内等の混雑状況において、子供のように身長の低い人物は、周囲の身長の高い人物に遮蔽されてしまうことがあり、撮影画像内に姿が映り込まない可能性がある。
また、特許文献２で利用される位置情報は屋外での利用を想定したものであり、屋内である駅構内や商用施設等に設置された撮像装置には適用できないという課題がある。
本発明は上記のような課題を解決することを主な目的としており、屋内において、撮影画像内に追跡対象の移動体が検出できない場合でも、追跡対象の移動体を追跡することができる構成を得ることを主な目的とする。
本発明に係る移動体追跡装置は、
対象エリア内に離間して配置されている複数の無線通信機の各々で計測された、移動体とともに移動する無線端末装置からの電波の電波強度又は前記無線端末装置で計測された前記複数の無線通信機の各々からの電波の電波強度の少なくともいずれかに基づき、前記移動体の現在位置を推定し、前記移動体の移動経路を予測する移動経路予測部と、
前記対象エリア内に離間して配置されている複数の撮像装置の各々の撮影可能範囲と、前記移動経路予測部により予測された前記移動経路とに基づき、前記複数の撮像装置の中から、前記移動経路を移動する前記移動体を撮影させる撮像装置を選択する撮像装置制御部とを有する。
対象エリア内に離間して配置されている複数の無線通信機の各々で計測された、移動体とともに移動する無線端末装置からの電波の電波強度又は前記無線端末装置で計測された前記複数の無線通信機の各々からの電波の電波強度の少なくともいずれかに基づき、前記移動体の現在位置を推定し、前記移動体の移動経路を予測する移動経路予測部と、
前記対象エリア内に離間して配置されている複数の撮像装置の各々の撮影可能範囲と、前記移動経路予測部により予測された前記移動経路とに基づき、前記複数の撮像装置の中から、前記移動経路を移動する前記移動体を撮影させる撮像装置を選択する撮像装置制御部とを有する。
本発明では、電波強度に基づき移動体の現在位置を推定し、当該移動体の移動経路を予測し、予測した移動経路に基づき、当該移動体を撮影させる撮像装置を選択する。
このため、本発明によれば、屋内において、撮影画像内に追跡対象の移動体が検出できない場合でも、追跡対象の移動体を追跡することができる。
このため、本発明によれば、屋内において、撮影画像内に追跡対象の移動体が検出できない場合でも、追跡対象の移動体を追跡することができる。
実施の形態１．
本実施の形態では、無線通信端末装置であるモバイル端末装置と複数の撮像装置と複数の無線通信機を含み、移動体を追跡するモバイル端末連携移動体追跡システムを説明する。
本実施の形態では、移動体を、モバイル端末装置を携行する人物とする。
以下では、モバイル端末装置を携行する、追跡対象の人物を追跡対象人物という。
本実施の形態に係るモバイル端末連携移動体追跡システムは、無線通信機の電波強度を利用して、モバイル端末装置を持つ追跡対象人物の移動経路予測を行い、追跡対象人物の予測移動経路を撮影可能な撮像装置に制御命令を行う。
本実施の形態では、無線通信端末装置であるモバイル端末装置と複数の撮像装置と複数の無線通信機を含み、移動体を追跡するモバイル端末連携移動体追跡システムを説明する。
本実施の形態では、移動体を、モバイル端末装置を携行する人物とする。
以下では、モバイル端末装置を携行する、追跡対象の人物を追跡対象人物という。
本実施の形態に係るモバイル端末連携移動体追跡システムは、無線通信機の電波強度を利用して、モバイル端末装置を持つ追跡対象人物の移動経路予測を行い、追跡対象人物の予測移動経路を撮影可能な撮像装置に制御命令を行う。
＊＊＊構成の説明＊＊＊
本実施の形態に係るモバイル端末連携移動体追跡システムは少なくとも、無線通信機能を持つモバイル端末装置、視野の異なる複数台の撮像装置、異なる位置に設置された複数の無線通信機、移動経路予測及び撮像装置の制御を行うモバイル端末連携装置がネットワークを介して接続された構成からなる。
モバイル端末装置と無線通信機の通信には、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ等の無線規格が用いられる。
なお、本実施の形態に係るモバイル端末連携移動体追跡システムは、インターネットを通じて監視制御装置と接続されていてもよい。
また、本実施の形態に係るモバイル端末連携移動体追跡システムは、インターネットを通じて他の装置（録画装置、表示装置、モバイル端末装置）と接続されていてもよい。
以下、図１〜図５を用いて、本実施の形態のモバイル端末連携移動体追跡システムの構成について説明する。
本実施の形態に係るモバイル端末連携移動体追跡システムは少なくとも、無線通信機能を持つモバイル端末装置、視野の異なる複数台の撮像装置、異なる位置に設置された複数の無線通信機、移動経路予測及び撮像装置の制御を行うモバイル端末連携装置がネットワークを介して接続された構成からなる。
モバイル端末装置と無線通信機の通信には、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ等の無線規格が用いられる。
なお、本実施の形態に係るモバイル端末連携移動体追跡システムは、インターネットを通じて監視制御装置と接続されていてもよい。
また、本実施の形態に係るモバイル端末連携移動体追跡システムは、インターネットを通じて他の装置（録画装置、表示装置、モバイル端末装置）と接続されていてもよい。
以下、図１〜図５を用いて、本実施の形態のモバイル端末連携移動体追跡システムの構成について説明する。
図１は、本実施の形態に係るモバイル端末連携移動体追跡システム１のシステム構成図である。
本実施の形態に係るモバイル端末連携移動体追跡システム１は、モバイル端末装置２と無線通信機３１〜３ｎ（以下、無線通信機３と総称する場合がある）、モバイル端末連携装置４、撮像装置５１〜５ｎ（以下、撮像装置５と総称する場合がある）を備える。
なお、無線通信機３と撮像装置５の数は図１に示す例に限られない。
なお、無線通信機３と撮像装置５の数は図１に示す例に限られない。
モバイル端末装置２は、追跡対象人物とともに移動する。
モバイル端末装置２は、無線通信機能を有する。
また、モバイル端末装置２は、無線通信機３１〜３ｎからの電波の電波強度を計測する機能も有する。
モバイル端末装置２は、無線端末装置の例に相当する。
また、モバイル端末装置２の詳細は、図２を参照して後述する。
モバイル端末装置２は、無線通信機能を有する。
また、モバイル端末装置２は、無線通信機３１〜３ｎからの電波の電波強度を計測する機能も有する。
モバイル端末装置２は、無線端末装置の例に相当する。
また、モバイル端末装置２の詳細は、図２を参照して後述する。
無線通信機３１〜３ｎは、モバイル端末連携移動体追跡システム１が追跡の対象としている対象エリアに、相互に離間されて配置されている。
無線通信機３１〜３ｎは、無線通信機能を有する。
また、無線通信機３１〜３ｎは、モバイル端末装置２からの電波の電波強度を計測する機能も有する。
無線通信機３１〜３ｎの詳細は、図３を参照して後述する。
無線通信機３１〜３ｎは、無線通信機能を有する。
また、無線通信機３１〜３ｎは、モバイル端末装置２からの電波の電波強度を計測する機能も有する。
無線通信機３１〜３ｎの詳細は、図３を参照して後述する。
モバイル端末連携装置４は、モバイル端末装置２を所持する追跡対象人物の現在位置を推定し、当該追跡対象人物の移動経路を予測し、予測した移動経路を移動する当該追跡対象人物を撮影できる撮像装置５を選択し、選択した撮像装置５を制御する。
モバイル端末連携装置４は、移動体追跡装置の例に相当する。
モバイル端末連携装置４の詳細は、図４を参照して後述する。
モバイル端末連携装置４は、移動体追跡装置の例に相当する。
モバイル端末連携装置４の詳細は、図４を参照して後述する。
撮像装置５１〜５ｎは、モバイル端末連携装置４からの制御に基づき、人物を撮影する。
撮像装置５１〜５ｎの詳細は、図５を参照して後述する。
撮像装置５１〜５ｎは、カメラとも表記する。
撮像装置５１〜５ｎの詳細は、図５を参照して後述する。
撮像装置５１〜５ｎは、カメラとも表記する。
以下、モバイル端末装置２、無線通信機３、モバイル端末連携装置４、撮像装置５の機能構成を、図２〜図５を用いて説明する。
＜モバイル端末装置＞
モバイル端末装置２はユーザＩＤ取得部２１、センサ情報取得部２２及び無線通信部２３を備える（図２）。
モバイル端末装置２は、端末ごとに固有のユーザＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）を持ち、これをユーザＩＤ取得部２１より取得する。
ユーザＩＤはモバイル端末連携装置４にて、追跡対象人物の個人情報、移動履歴等を参照するのに利用してもよい。
モバイル端末装置２は加速度センサ、地磁気センサ、ジャイロセンサ等を搭載し、センサ情報取得部２２が、それぞれのセンサ値を取得する。
モバイル端末装置２は、無線通信部２３を通して、無線通信機３と通信を行う。
無線通信部２３は、無線の送受信、電波強度を測定する機能を備える。
モバイル端末装置２はユーザＩＤ取得部２１、センサ情報取得部２２及び無線通信部２３を備える（図２）。
モバイル端末装置２は、端末ごとに固有のユーザＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）を持ち、これをユーザＩＤ取得部２１より取得する。
ユーザＩＤはモバイル端末連携装置４にて、追跡対象人物の個人情報、移動履歴等を参照するのに利用してもよい。
モバイル端末装置２は加速度センサ、地磁気センサ、ジャイロセンサ等を搭載し、センサ情報取得部２２が、それぞれのセンサ値を取得する。
モバイル端末装置２は、無線通信部２３を通して、無線通信機３と通信を行う。
無線通信部２３は、無線の送受信、電波強度を測定する機能を備える。
＜無線通信機＞
無線通信機３は、無線通信部３１、データ取得部３２及び内部通信部３３を備える（図３）。
無線通信部３１が、モバイル端末装置２と通信を行う。
データ取得部３２は、モバイル端末装置２から送信されたデータを取得する。
内部通信部３３は、モバイル端末連携装置４と通信を行う。
無線通信機３は、無線通信部３１、データ取得部３２及び内部通信部３３を備える（図３）。
無線通信部３１が、モバイル端末装置２と通信を行う。
データ取得部３２は、モバイル端末装置２から送信されたデータを取得する。
内部通信部３３は、モバイル端末連携装置４と通信を行う。
＜モバイル端末連携装置＞
モバイル端末連携装置４は、内部通信部４１、移動経路予測部４２及び撮像装置制御部４３を備える（図４）。
内部通信部４１は、無線通信機３と通信を行う。
移動経路予測部４２は、モバイル端末装置２から取得したデータを基に追跡対象人物の移動経路の予測を行う。
より具体的には、移動経路予測部４２は、無線通信機３１〜３ｎの各々で計測された、モバイル端末装置２からの電波の電波強度又はモバイル端末装置２で計測された無線通信機３１〜３ｎの各々からの電波の電波強度の少なくともいずれかに基づき、追跡対象人物の現在位置を推定する。
更に、移動経路予測部４２は、推定した追跡対象人物の現在位置から、当該追跡対象人物の移動経路を予測する。
移動経路予測部４２により行われる処理は、移動経路予測ステップに相当する。
撮像装置制御部４３は、予測した移動経路を基に、撮像装置５の制御を行う。
より具体的には、撮像装置制御部４３は、撮像装置５１〜５ｎの各々の撮影可能範囲と、移動経路予測部４２により予測された移動経路とに基づき、撮像装置５１〜５ｎの中から、移動経路を移動する追跡対象人物を撮影させる撮像装置５を選択する。
更に、撮像装置制御部４３は、追跡対象人物を撮影させるための制御を、選択した撮像装置５に対して行う。
撮像装置制御部４３により行われる処理は、撮像装置制御ステップに相当する。
なお、撮像装置５はネットワークケーブルもしくは同軸ケーブルを用いてモバイル端末連携装置４と接続される。
モバイル端末連携装置４は、内部通信部４１、移動経路予測部４２及び撮像装置制御部４３を備える（図４）。
内部通信部４１は、無線通信機３と通信を行う。
移動経路予測部４２は、モバイル端末装置２から取得したデータを基に追跡対象人物の移動経路の予測を行う。
より具体的には、移動経路予測部４２は、無線通信機３１〜３ｎの各々で計測された、モバイル端末装置２からの電波の電波強度又はモバイル端末装置２で計測された無線通信機３１〜３ｎの各々からの電波の電波強度の少なくともいずれかに基づき、追跡対象人物の現在位置を推定する。
更に、移動経路予測部４２は、推定した追跡対象人物の現在位置から、当該追跡対象人物の移動経路を予測する。
移動経路予測部４２により行われる処理は、移動経路予測ステップに相当する。
撮像装置制御部４３は、予測した移動経路を基に、撮像装置５の制御を行う。
より具体的には、撮像装置制御部４３は、撮像装置５１〜５ｎの各々の撮影可能範囲と、移動経路予測部４２により予測された移動経路とに基づき、撮像装置５１〜５ｎの中から、移動経路を移動する追跡対象人物を撮影させる撮像装置５を選択する。
更に、撮像装置制御部４３は、追跡対象人物を撮影させるための制御を、選択した撮像装置５に対して行う。
撮像装置制御部４３により行われる処理は、撮像装置制御ステップに相当する。
なお、撮像装置５はネットワークケーブルもしくは同軸ケーブルを用いてモバイル端末連携装置４と接続される。
＜撮像装置＞
撮像装置５は、内部通信部５１、ＰＴＺ（パン・チルト・ズーム）制御部５２及び画像取得部５３を有する（図５）。
内部通信部５１は、通信ネットワークＢを介してモバイル端末連携装置４と通信を行う。
ＰＴＺ制御部５２では、モバイル端末連携装置４の指示に基づいて、撮像装置５のパン・チルト・ズームの制御を行う。
撮像装置５は、内部通信部５１、ＰＴＺ（パン・チルト・ズーム）制御部５２及び画像取得部５３を有する（図５）。
内部通信部５１は、通信ネットワークＢを介してモバイル端末連携装置４と通信を行う。
ＰＴＺ制御部５２では、モバイル端末連携装置４の指示に基づいて、撮像装置５のパン・チルト・ズームの制御を行う。
＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るモバイル端末連携移動体追跡システム１の動作を説明する。
次に、本実施の形態に係るモバイル端末連携移動体追跡システム１の動作を説明する。
＜モバイル端末装置２と無線通信機３の通信＞
まず、モバイル端末装置２の無線通信部２３から送信された無線の電波強度を無線通信機３の無線通信部３１にて取得する。
本通信を行う際に、モバイル端末装置２のセンサ情報取得部２２やユーザＩＤ取得部２１からユーザのセンサ情報やユーザＩＤを取得し送信することも可能である。
その場合には、ユーザＩＤ、センサ情報を無線通信機３のデータ取得部３２にて取得する。
上記の無線通信では、モバイル端末装置２が発した電波の電波強度を無線通信機３で測定しているが、無線通信機３が発した電波の電波強度をモバイル端末装置２で測定し、測定結果を無線通信機３に送信してもよい。
これらの方法により、モバイル端末装置２から接続可能範囲にある無線通信機３の設置個数分の電波強度を取得できる。
まず、モバイル端末装置２の無線通信部２３から送信された無線の電波強度を無線通信機３の無線通信部３１にて取得する。
本通信を行う際に、モバイル端末装置２のセンサ情報取得部２２やユーザＩＤ取得部２１からユーザのセンサ情報やユーザＩＤを取得し送信することも可能である。
その場合には、ユーザＩＤ、センサ情報を無線通信機３のデータ取得部３２にて取得する。
上記の無線通信では、モバイル端末装置２が発した電波の電波強度を無線通信機３で測定しているが、無線通信機３が発した電波の電波強度をモバイル端末装置２で測定し、測定結果を無線通信機３に送信してもよい。
これらの方法により、モバイル端末装置２から接続可能範囲にある無線通信機３の設置個数分の電波強度を取得できる。
＜無線通信機３とモバイル端末連携装置４の通信＞
無線通信機３は、通信ネットワーク１を介してモバイル端末連携装置４にモバイル端末装置２から取得したデータ（電波強度、ユーザＩＤ、各種センサ情報）を内部通信部３３より送信する。
モバイル端末連携装置４は、内部通信部４１より上記のデータを取得する。
無線通信機３は、通信ネットワーク１を介してモバイル端末連携装置４にモバイル端末装置２から取得したデータ（電波強度、ユーザＩＤ、各種センサ情報）を内部通信部３３より送信する。
モバイル端末連携装置４は、内部通信部４１より上記のデータを取得する。
＜モバイル端末連携装置４の動作＞
次に、モバイル端末連携装置４の動作例を図６〜図８を参照して説明する。
図６は、移動経路予測部４２の内部構成例を示す。
図７は、撮像装置制御部４３の内部構成例を示す。
図８は、モバイル端末連携装置４の動作フローを示す。
なお、図８の動作フローは実施の形態１を実現する処理の一例を示すものであり、実現方法を限定するものではない。
また、以下で説明するモバイル端末連携装置４の動作手順は、移動体追跡方法及び移動体追跡プログラムの例に相当する。
次に、モバイル端末連携装置４の動作例を図６〜図８を参照して説明する。
図６は、移動経路予測部４２の内部構成例を示す。
図７は、撮像装置制御部４３の内部構成例を示す。
図８は、モバイル端末連携装置４の動作フローを示す。
なお、図８の動作フローは実施の形態１を実現する処理の一例を示すものであり、実現方法を限定するものではない。
また、以下で説明するモバイル端末連携装置４の動作手順は、移動体追跡方法及び移動体追跡プログラムの例に相当する。
内部通信部４１が無線通信機３からユーザＩＤ、電波強度が含まれるデータを受信すると（Ｓ１１）、追跡するモバイル端末装置が存在する場合（Ｓ１２でＹＥＳ）に、内部通信部４１は無線通信機３からのデータを移動経路予測部４２に転送する。
移動経路予測部４２では、まずデータ取得部４２１が内部通信部４１が取得したデータを受け取る（Ｓ１３）。
移動経路予測部４２では、まずデータ取得部４２１が内部通信部４１が取得したデータを受け取る（Ｓ１３）。
次に、位置推定部４２２が、電波強度ＤＢ４２５を参照し、電波強度ＤＢ４２５から、電波強度についての学習データを取得する。
学習データには、学習により得られた、モバイル端末連携移動体追跡システム１の対象エリア内の複数地点における地点ごとの電波強度の値が示される。
上記で取得した学習データとデータ取得部４２１で取得した現在の電波強度の値を基に位置推定部４２２がモバイル端末装置２を所持する追跡対象人物の現在位置を推定する（Ｓ１５）。
現在位置はモバイル端末連携移動体追跡システム１の対象エリアのマップ上における座標で表す。
電波強度の学習データは、対象エリア内の複数の地点の座標と、無線通信機３１〜３ｎの各々からの電波の計測値（電波強度の値）とが対応付けられたデータである。
つまり、対象エリア内の地点Ａで計測した無線通信機３１〜３ｎの各々からの電波の電波強度の値、対象エリア内の地点Ｂで計測した無線通信機３１〜３ｎの各々からの電波の電波強度の値というように、地点ごとに、その地点で計測した電波強度の値が示される。
また、学習データは、対象エリア内の複数の地点における各々の地点から送信された電波の無線通信機３１〜３ｎの各々での計測値（電波強度の値）としてもよい。
つまり、対象エリア内の地点Ａから送信した電波を無線通信機３１〜３ｎの各々で計測した電波強度の値、対象エリア内の地点Ｂから送信した電波を無線通信機３１〜３ｎの各々で計測した電波強度の値というように、地点ごとに、その地点から送信された電波の無線通信機３１〜３ｎの各々で計測した電波強度の値が示されていてもよい。
学習データは、このように、予め計測した電波強度の値が示されるが、位置推定部４２２により推定された追跡対象人物の位置（座標）とデータ取得部４２１により取得された電波強度を新たに学習データに追加してもよい。
位置推定部４２２は、データ取得部４２１により取得された無線通信機３１〜３ｎの電波強度の値と、学習データの地点ごとの無線通信機３１〜３ｎの電波強度の値とを比較し、データ取得部４２１により取得された電波強度の値と最も近似する値の地点を追跡対象人物の現在位置と推定する。
学習データには、学習により得られた、モバイル端末連携移動体追跡システム１の対象エリア内の複数地点における地点ごとの電波強度の値が示される。
上記で取得した学習データとデータ取得部４２１で取得した現在の電波強度の値を基に位置推定部４２２がモバイル端末装置２を所持する追跡対象人物の現在位置を推定する（Ｓ１５）。
現在位置はモバイル端末連携移動体追跡システム１の対象エリアのマップ上における座標で表す。
電波強度の学習データは、対象エリア内の複数の地点の座標と、無線通信機３１〜３ｎの各々からの電波の計測値（電波強度の値）とが対応付けられたデータである。
つまり、対象エリア内の地点Ａで計測した無線通信機３１〜３ｎの各々からの電波の電波強度の値、対象エリア内の地点Ｂで計測した無線通信機３１〜３ｎの各々からの電波の電波強度の値というように、地点ごとに、その地点で計測した電波強度の値が示される。
また、学習データは、対象エリア内の複数の地点における各々の地点から送信された電波の無線通信機３１〜３ｎの各々での計測値（電波強度の値）としてもよい。
つまり、対象エリア内の地点Ａから送信した電波を無線通信機３１〜３ｎの各々で計測した電波強度の値、対象エリア内の地点Ｂから送信した電波を無線通信機３１〜３ｎの各々で計測した電波強度の値というように、地点ごとに、その地点から送信された電波の無線通信機３１〜３ｎの各々で計測した電波強度の値が示されていてもよい。
学習データは、このように、予め計測した電波強度の値が示されるが、位置推定部４２２により推定された追跡対象人物の位置（座標）とデータ取得部４２１により取得された電波強度を新たに学習データに追加してもよい。
位置推定部４２２は、データ取得部４２１により取得された無線通信機３１〜３ｎの電波強度の値と、学習データの地点ごとの無線通信機３１〜３ｎの電波強度の値とを比較し、データ取得部４２１により取得された電波強度の値と最も近似する値の地点を追跡対象人物の現在位置と推定する。
位置推定部４２２にて現在の位置座標を推定した後は、データ抽出部４２３が、移動経路履歴ＤＢ４２６を参照し、位置推定部４２２により推定された位置に関する移動経路履歴データを取得する（Ｓ１６）。
データ抽出部４２３は、移動経路履歴データとして、追跡対象人物の現在位置までの移動軌跡の情報を取得してもよい。
移動経路履歴データは、図１８に示すように、追跡対象人物の地図上における座標（ｘ，ｙ）の時刻変化を記録したデータである。
移動経路履歴データ上の座標はモバイル端末装置２と無線通信機３が通信を行った際の電波強度を用いて推定した追跡対象人物の座標である。
図１８の移動経路履歴データは、図１９に示す、追跡対象人物の移動経路履歴を表している。
また、データ抽出部４２３は、追跡対象人物のユーザＩＤを基にして、当該追跡対象人物の過去の現在位置からの移動先の情報を取得してもよい。
更に、データ抽出部４２３は、当該追跡対象人物と同じ属性（年齢、性別、勤務地、目的地、センサ情報を基にした移動速度、移動方向）を有する他の人物の現在位置からの移動先の情報を取得してもよい。
次に、経路予測部４２４が、データ抽出部４２３にて抽出された移動経路履歴データを基に、追跡対象人物の移動経路を予測する（Ｓ１７）。
つまり、経路予測部４２４は、追跡対象人物の現在位置までの移動軌跡、過去における追跡対象人物の現在位置からの移動先、追跡対象人物と同じ属性を有する他の人物の現在位置からの移動先の少なくともいずれかに基づいて、追跡対象人物の現在位置からの移動経路を予測する。
また、経路予測部４２４は、モバイル端末装置２の加速度センサ、地磁気センサ、ジャイロセンサ等で計測した追跡対象人物の移動方向、移動速度等を用いて、追跡対象人物の現在位置からの移動経路を予測するようにしてもよい。
なお、経路予測部４２４の移動経路の予測方法の一例は後述する。
また、移動経路履歴データは、追跡対象人物の属性によって重みづけ（本人の移動経路履歴であれば重みを大きくする）することで、より精度よく移動経路を予測することが可能になる。
移動経路予測部４２では上記の予測処理を細かい時間単位で繰り返し行い、予測移動経路を常に更新する。
次に、移動経路予測部４２は、予測した移動経路を移動経路履歴ＤＢ４２６に登録する（Ｓ１８）。
次に、移動経路予測部４２は、予測した移動経路データを撮像装置制御部４３に送信する。
データ抽出部４２３は、移動経路履歴データとして、追跡対象人物の現在位置までの移動軌跡の情報を取得してもよい。
移動経路履歴データは、図１８に示すように、追跡対象人物の地図上における座標（ｘ，ｙ）の時刻変化を記録したデータである。
移動経路履歴データ上の座標はモバイル端末装置２と無線通信機３が通信を行った際の電波強度を用いて推定した追跡対象人物の座標である。
図１８の移動経路履歴データは、図１９に示す、追跡対象人物の移動経路履歴を表している。
また、データ抽出部４２３は、追跡対象人物のユーザＩＤを基にして、当該追跡対象人物の過去の現在位置からの移動先の情報を取得してもよい。
更に、データ抽出部４２３は、当該追跡対象人物と同じ属性（年齢、性別、勤務地、目的地、センサ情報を基にした移動速度、移動方向）を有する他の人物の現在位置からの移動先の情報を取得してもよい。
次に、経路予測部４２４が、データ抽出部４２３にて抽出された移動経路履歴データを基に、追跡対象人物の移動経路を予測する（Ｓ１７）。
つまり、経路予測部４２４は、追跡対象人物の現在位置までの移動軌跡、過去における追跡対象人物の現在位置からの移動先、追跡対象人物と同じ属性を有する他の人物の現在位置からの移動先の少なくともいずれかに基づいて、追跡対象人物の現在位置からの移動経路を予測する。
また、経路予測部４２４は、モバイル端末装置２の加速度センサ、地磁気センサ、ジャイロセンサ等で計測した追跡対象人物の移動方向、移動速度等を用いて、追跡対象人物の現在位置からの移動経路を予測するようにしてもよい。
なお、経路予測部４２４の移動経路の予測方法の一例は後述する。
また、移動経路履歴データは、追跡対象人物の属性によって重みづけ（本人の移動経路履歴であれば重みを大きくする）することで、より精度よく移動経路を予測することが可能になる。
移動経路予測部４２では上記の予測処理を細かい時間単位で繰り返し行い、予測移動経路を常に更新する。
次に、移動経路予測部４２は、予測した移動経路を移動経路履歴ＤＢ４２６に登録する（Ｓ１８）。
次に、移動経路予測部４２は、予測した移動経路データを撮像装置制御部４３に送信する。
撮像装置制御部４３では、移動経路予測データ取得部４３１が移動経路予測部４２から、移動経路予測データを取得する。
次に、撮像装置制御情報生成部４３２が、撮像装置制御情報を生成する（Ｓ１９）。
具体的には、撮像装置制御情報生成部４３２が、周辺地図ＤＢ４３４と撮像装置制御情報ＤＢ４３５を参照して、各撮像装置５の撮影可能範囲と現在の撮影範囲を取得する。
次に、撮像装置制御情報生成部４３２は、各撮像装置５の撮影可能範囲と、移動経路予測データ取得部４３１が取得した追跡対象人物の移動経路とを照合し、移動経路が撮影可能範囲にある撮像装置５を、追跡対象人物を撮影させる撮像装置５として選択する。
そして、撮像装置制御情報生成部４３２は、選択した撮像装置５のＰＴＺを制御するための撮像装置制御情報を生成する。
撮像装置制御情報ＤＢ４３５には、各撮像装置５の設置位置、設置方向と現在のＰＴＺ情報、撮像可能範囲等がデータとして保存されている。
撮像装置制御情報生成部４３２は、これを周辺地図の情報と合わせることにより、追跡対象人物の地図上での移動経路が求まったときに追跡対象人物を撮影する撮像装置５及びそのＰＴＺを決定することができる。
制御命令部４３３は、撮像装置制御情報生成部４３２より制御する撮像装置５の番号を指定し（複数も可）、内部通信部４３６を介して指定した撮像装置５に撮像装置制御情報を送信する（Ｓ２０）。
また、制御命令部４３３は、このとき撮像装置制御情報を撮像装置制御情報ＤＢ４３５にも登録しておく。
次に、撮像装置制御情報生成部４３２が、撮像装置制御情報を生成する（Ｓ１９）。
具体的には、撮像装置制御情報生成部４３２が、周辺地図ＤＢ４３４と撮像装置制御情報ＤＢ４３５を参照して、各撮像装置５の撮影可能範囲と現在の撮影範囲を取得する。
次に、撮像装置制御情報生成部４３２は、各撮像装置５の撮影可能範囲と、移動経路予測データ取得部４３１が取得した追跡対象人物の移動経路とを照合し、移動経路が撮影可能範囲にある撮像装置５を、追跡対象人物を撮影させる撮像装置５として選択する。
そして、撮像装置制御情報生成部４３２は、選択した撮像装置５のＰＴＺを制御するための撮像装置制御情報を生成する。
撮像装置制御情報ＤＢ４３５には、各撮像装置５の設置位置、設置方向と現在のＰＴＺ情報、撮像可能範囲等がデータとして保存されている。
撮像装置制御情報生成部４３２は、これを周辺地図の情報と合わせることにより、追跡対象人物の地図上での移動経路が求まったときに追跡対象人物を撮影する撮像装置５及びそのＰＴＺを決定することができる。
制御命令部４３３は、撮像装置制御情報生成部４３２より制御する撮像装置５の番号を指定し（複数も可）、内部通信部４３６を介して指定した撮像装置５に撮像装置制御情報を送信する（Ｓ２０）。
また、制御命令部４３３は、このとき撮像装置制御情報を撮像装置制御情報ＤＢ４３５にも登録しておく。
＜撮像装置５の動作＞
撮像装置５では、内部通信部５１が、撮像装置制御情報を取得する。
内部通信部５１は、撮像装置制御情報をＰＴＺ制御部５２に転送する。
ＰＴＺ制御部５２は、撮像装制御情報を基に、撮像装置５のＰＴＺの値を変更する。
また、画像取得部５３が、撮影した画像を取得し、取得した画像を符号化し、符号化により得られたデータを内部通信部５１を介して、モバイル端末連携装置４あるいは監視制御装置等に送信する。
撮像装置５では、内部通信部５１が、撮像装置制御情報を取得する。
内部通信部５１は、撮像装置制御情報をＰＴＺ制御部５２に転送する。
ＰＴＺ制御部５２は、撮像装制御情報を基に、撮像装置５のＰＴＺの値を変更する。
また、画像取得部５３が、撮影した画像を取得し、取得した画像を符号化し、符号化により得られたデータを内部通信部５１を介して、モバイル端末連携装置４あるいは監視制御装置等に送信する。
＜システム全体の動作＞
図９に、システム全体のシーケンス図を示す。
図９は、実施の形態１の動作の一例を示すものであり、実現方法を限定するものではない。
まず、モバイル端末装置２から各無線通信機３１〜３ｎに無線信号を送信する。
無線通信機３は受信後、取得情報をモバイル端末連携装置４に送信する。
モバイル端末連携装置４は取得情報の受信後、追跡対象人物の現在位置の推定、これを基にした移動経路の予測、移動経路の予測結果の移動経路履歴ＤＢ４２６への記録、撮像装置５の選択、撮像装置制御情報の生成を行う。
更に、モバイル端末連携装置４は、選択した撮像装置５へ撮像装置制御情報を送信する。
撮像装置５は、撮像装置制御情報を受信した場合は、撮像装置制御情報に基づいてＰＴＺの制御を行う。
その後、撮像装置５は撮影した画像情報をモバイル端末連携装置４や監視制御装置に送信する。
図９に、システム全体のシーケンス図を示す。
図９は、実施の形態１の動作の一例を示すものであり、実現方法を限定するものではない。
まず、モバイル端末装置２から各無線通信機３１〜３ｎに無線信号を送信する。
無線通信機３は受信後、取得情報をモバイル端末連携装置４に送信する。
モバイル端末連携装置４は取得情報の受信後、追跡対象人物の現在位置の推定、これを基にした移動経路の予測、移動経路の予測結果の移動経路履歴ＤＢ４２６への記録、撮像装置５の選択、撮像装置制御情報の生成を行う。
更に、モバイル端末連携装置４は、選択した撮像装置５へ撮像装置制御情報を送信する。
撮像装置５は、撮像装置制御情報を受信した場合は、撮像装置制御情報に基づいてＰＴＺの制御を行う。
その後、撮像装置５は撮影した画像情報をモバイル端末連携装置４や監視制御装置に送信する。
＜システムの配置例＞
図１０に、本実施の形態１に係る無線通信機３と撮像装置５の配置例を示す。
図１０は、実施の形態１の配置の一例を示すものであり、配置方法を限定するものではない。
追跡対象人物はモバイル端末装置２を保持している。
無線通信機３は天井等に設置する。
無線通信機３と撮像装置５はネットワークを介してモバイル端末連携装置４と接続されている。
図１０に、本実施の形態１に係る無線通信機３と撮像装置５の配置例を示す。
図１０は、実施の形態１の配置の一例を示すものであり、配置方法を限定するものではない。
追跡対象人物はモバイル端末装置２を保持している。
無線通信機３は天井等に設置する。
無線通信機３と撮像装置５はネットワークを介してモバイル端末連携装置４と接続されている。
＜経路予測部４２４による移動経路の予測方法＞
以下では、図８のＳ１７において行われる追跡対象人物の現在位置からの移動経路の予測方法の一例を説明する。
以下では、図８のＳ１７において行われる追跡対象人物の現在位置からの移動経路の予測方法の一例を説明する。
１）追跡対象人物が過去に対象エリアを通ったことがある場合
経路予測部４２４は追跡対象人物の現在位置の座標を取得すると、追跡対象人物が対象エリアを通った過去の移動経路履歴データを探索する。
次に、経路予測部４２４は、探索により得られた過去の移動経路履歴データのそれぞれから現在位置に最も近い座標を取得する。
次に、経路予測部４２４は、以下の２つのうちのいずれかの方法にて、移動経路を予測する。
経路予測部４２４は追跡対象人物の現在位置の座標を取得すると、追跡対象人物が対象エリアを通った過去の移動経路履歴データを探索する。
次に、経路予測部４２４は、探索により得られた過去の移動経路履歴データのそれぞれから現在位置に最も近い座標を取得する。
次に、経路予測部４２４は、以下の２つのうちのいずれかの方法にて、移動経路を予測する。
１−１）過去の移動経路との類似度を算出し、類似度が最も近い移動経路を参照する方法
経路予測部４２４は、追跡対象人物の現在の移動経路履歴データから、現在位置までの追跡対象人物の移動経路（Ｍフレーム前まで）を取得する。
また、経路予測部４２４は、追跡対象人物の過去の移動経路履歴データのそれぞれから、現在位置に最も近い座標までの追跡対象人物の移動経路（Ｍフレーム前まで）を取得する。
そして、経路予測部４２４は、取得した移動経路の類似度を算出する。
経路予測部４２４は、例えば、現在の移動経路と過去の移動経路との同一フレームの座標間の距離を足し合わせて、現在の移動経路と過去の移動経路との類似度を算出することが考えられる。
この方法では、座標間の距離の総和が小さいほど、現在の移動経路と過去の移動経路との類似度が高い。
なお、現在の移動経路と過去の移動経路との間で同一のフレームが無い場合は、経路予測部４２４は、前後のフレームを用いて補完する。
経路予測部４２４は、過去の移動経路ごとに、現在の移動経路との類似度を算出し、類似度が最も高い過去の移動経路を選出する。
そして、経路予測部４２４は、追跡対象人物の次のフレームでの予測移動位置は現在の移動速度をもって、この選出した移動経路を進んだ位置とする。
次フレーム以降の予測移動位置は、次フレームで辿り着く予測移動位置に対し、同じ処理を繰り返すことで求めることができる。
経路予測部４２４は、追跡対象人物の現在の移動経路履歴データから、現在位置までの追跡対象人物の移動経路（Ｍフレーム前まで）を取得する。
また、経路予測部４２４は、追跡対象人物の過去の移動経路履歴データのそれぞれから、現在位置に最も近い座標までの追跡対象人物の移動経路（Ｍフレーム前まで）を取得する。
そして、経路予測部４２４は、取得した移動経路の類似度を算出する。
経路予測部４２４は、例えば、現在の移動経路と過去の移動経路との同一フレームの座標間の距離を足し合わせて、現在の移動経路と過去の移動経路との類似度を算出することが考えられる。
この方法では、座標間の距離の総和が小さいほど、現在の移動経路と過去の移動経路との類似度が高い。
なお、現在の移動経路と過去の移動経路との間で同一のフレームが無い場合は、経路予測部４２４は、前後のフレームを用いて補完する。
経路予測部４２４は、過去の移動経路ごとに、現在の移動経路との類似度を算出し、類似度が最も高い過去の移動経路を選出する。
そして、経路予測部４２４は、追跡対象人物の次のフレームでの予測移動位置は現在の移動速度をもって、この選出した移動経路を進んだ位置とする。
次フレーム以降の予測移動位置は、次フレームで辿り着く予測移動位置に対し、同じ処理を繰り返すことで求めることができる。
１−２）過去の移動経路との類似度を算出し、類似度によって重み付けを行う方法
経路予測部４２４は、上記の１−１）の類似度の計算を行い、ある閾値以上の類似度（座標間の距離の総和が特定の値以下）をもつ過去の移動経路をいくつか選出する。
更に、経路予測部４２４は、類似度によって、選出した過去の移動経路に重み付けを行う。
そして、経路予測部４２４は、追跡対象人物の次のフレームでの予測移動位置は、選出された過去の移動経路での移動先の位置の重み付き平均とする。
経路予測部４２４は、上記の１−１）の類似度の計算を行い、ある閾値以上の類似度（座標間の距離の総和が特定の値以下）をもつ過去の移動経路をいくつか選出する。
更に、経路予測部４２４は、類似度によって、選出した過去の移動経路に重み付けを行う。
そして、経路予測部４２４は、追跡対象人物の次のフレームでの予測移動位置は、選出された過去の移動経路での移動先の位置の重み付き平均とする。
２）追跡対象人物が初めて対象エリアを通る場合
経路予測部４２４は、追跡対象人物の現在位置の座標、現在の移動速度、現在の進行方位を用いて、次のフレームの時刻に辿りつくであろう予測移動位置を計算する。
予測移動位置の計算は、既存の予測計算方法を用いることができる。
なお、追跡対象人物のデータで参照するものが無い場合は、経路予測部４２４は、追跡対象人物に類似する類似ユーザのデータを利用する。
経路予測方法については、上記の「１）追跡対象人物が過去に対象エリアを通ったことがある場合」と同じ方法を用いることができる。
つまり、経路予測部４２４は、類似ユーザの移動履歴データを利用して同様の処理を行う。
次に、類似ユーザの選出方法を説明する。
［類似ユーザの選出］
追跡対象人物が目的地を登録している場合に、経路予測部４２４は、追跡対象人物の目的地と同じ又は近隣の目的地が登録されている他のユーザを類似ユーザとして選出する。
目的地は、図１８に示すように、例えば移動経路履歴データに登録されている。
類似ユーザが多数いる場合は、経路予測部４２４は、追跡対象人物の移動速度や個人データ（性別、年齢等）に近いユーザを優先して選出する。
このようにすることにより、予測移動位置の推定精度が向上する。
経路予測部４２４は、追跡対象人物の現在位置の座標、現在の移動速度、現在の進行方位を用いて、次のフレームの時刻に辿りつくであろう予測移動位置を計算する。
予測移動位置の計算は、既存の予測計算方法を用いることができる。
なお、追跡対象人物のデータで参照するものが無い場合は、経路予測部４２４は、追跡対象人物に類似する類似ユーザのデータを利用する。
経路予測方法については、上記の「１）追跡対象人物が過去に対象エリアを通ったことがある場合」と同じ方法を用いることができる。
つまり、経路予測部４２４は、類似ユーザの移動履歴データを利用して同様の処理を行う。
次に、類似ユーザの選出方法を説明する。
［類似ユーザの選出］
追跡対象人物が目的地を登録している場合に、経路予測部４２４は、追跡対象人物の目的地と同じ又は近隣の目的地が登録されている他のユーザを類似ユーザとして選出する。
目的地は、図１８に示すように、例えば移動経路履歴データに登録されている。
類似ユーザが多数いる場合は、経路予測部４２４は、追跡対象人物の移動速度や個人データ（性別、年齢等）に近いユーザを優先して選出する。
このようにすることにより、予測移動位置の推定精度が向上する。
＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態では、画像解析ベースでなく、地図上での追跡対象人物の移動経路を把握するようにしているため、画像上で遮蔽物により追跡対象人物が隠れており追跡ができない場合にも追跡対象人物の追跡を継続することができる。
このように、本実施の形態によれば、継続的に追跡対象人物を追跡することができるため、次に追跡対象人物が画像上に出現したときにもスムーズに画像に収めることができる。
また、移動経路の予測においては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用せず、無線通信の電波強度を用いているため、駅構内や商用施設等の屋内でも追跡対象人物の移動経路を予測できる。
また、本実施の形態では、地図上での追跡対象人物の所在位置を取得でき、各撮像装置の設置情報、ＰＴＺ制御情報から地図上での撮像範囲を推定できることから、画像内に映っている追跡対象人物の画像内でのおおよその位置が特定できる。
以上のように、本実施の形態では、画像解析ベースでなく、地図上での追跡対象人物の移動経路を把握するようにしているため、画像上で遮蔽物により追跡対象人物が隠れており追跡ができない場合にも追跡対象人物の追跡を継続することができる。
このように、本実施の形態によれば、継続的に追跡対象人物を追跡することができるため、次に追跡対象人物が画像上に出現したときにもスムーズに画像に収めることができる。
また、移動経路の予測においては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用せず、無線通信の電波強度を用いているため、駅構内や商用施設等の屋内でも追跡対象人物の移動経路を予測できる。
また、本実施の形態では、地図上での追跡対象人物の所在位置を取得でき、各撮像装置の設置情報、ＰＴＺ制御情報から地図上での撮像範囲を推定できることから、画像内に映っている追跡対象人物の画像内でのおおよその位置が特定できる。
実施の形態２．
以上の実施の形態１では、無線電波の電波強度のみで追跡対象人物の移動経路予測および、撮像装置の制御を行ったものであるが、次にカメラで取得した画像を画像解析装置によって解析した結果も統合して、移動経路を予測する実施の形態を示す。
本実施の形態に係るモバイル端末連携移動体追跡システムでは、撮像装置で取得した画像を解析する画像解析装置を撮像装置内、あるいは撮像装置とネットワークで接続された場所に設置しておく。
そして、電波強度による移動経路の推定だけでなく、画像上に映る追跡対象人物の動きも用いて、推定現在位置の補正、撮像装置のＰＴＺ制御の補正を行う。
以上の実施の形態１では、無線電波の電波強度のみで追跡対象人物の移動経路予測および、撮像装置の制御を行ったものであるが、次にカメラで取得した画像を画像解析装置によって解析した結果も統合して、移動経路を予測する実施の形態を示す。
本実施の形態に係るモバイル端末連携移動体追跡システムでは、撮像装置で取得した画像を解析する画像解析装置を撮像装置内、あるいは撮像装置とネットワークで接続された場所に設置しておく。
そして、電波強度による移動経路の推定だけでなく、画像上に映る追跡対象人物の動きも用いて、推定現在位置の補正、撮像装置のＰＴＺ制御の補正を行う。
以下、図１１〜図１４を用いて本実施の形態のモバイル端末連携移動体追跡システムの構成について説明する。
＊＊＊構成の説明＊＊＊
図１１に、本実施の形態に係るモバイル端末連携移動体追跡システム６のシステム構成図を示す。
本実施の形態に係るモバイル端末連携移動体追跡システム６においても、モバイル端末装置２、無線通信機３および通信ネットワークＡ、無線通信回線は同様のため詳細は省略する。
また、その他の装置についても実施の形態１との差分のみ記載する。
なお、撮像装置９１〜９ｎは、以下、撮像装置９と総称する場合がある。
図１１に、本実施の形態に係るモバイル端末連携移動体追跡システム６のシステム構成図を示す。
本実施の形態に係るモバイル端末連携移動体追跡システム６においても、モバイル端末装置２、無線通信機３および通信ネットワークＡ、無線通信回線は同様のため詳細は省略する。
また、その他の装置についても実施の形態１との差分のみ記載する。
なお、撮像装置９１〜９ｎは、以下、撮像装置９と総称する場合がある。
＜モバイル端末連携装置７＞
図１２に示すように、モバイル端末連携装置７は、内部通信部７１、追跡対象データ取得部７２、移動経路予測部７３及び撮像装置制御部７４を備える。
本実施の形態のモバイル端末連携装置７は、画像解析装置８と通信ネットワークＣを介して接続される。
内部通信部７１は、通信ネットワークＣを介して、撮像装置９とのデータの送受信に加え、画像解析装置８とのデータの送受信を行う。
本実施の形態においても、モバイル端末連携装置７は、移動体追跡装置の例に相当する。
図１２に示すように、モバイル端末連携装置７は、内部通信部７１、追跡対象データ取得部７２、移動経路予測部７３及び撮像装置制御部７４を備える。
本実施の形態のモバイル端末連携装置７は、画像解析装置８と通信ネットワークＣを介して接続される。
内部通信部７１は、通信ネットワークＣを介して、撮像装置９とのデータの送受信に加え、画像解析装置８とのデータの送受信を行う。
本実施の形態においても、モバイル端末連携装置７は、移動体追跡装置の例に相当する。
＜画像解析装置８＞
図１３に示すように、画像解析装置８は、内部通信部８１、画像データ取得部８２及び画像解析部８３を備える。
画像データ取得部８２は、内部通信部８１より通信ネットワークＣを経由して撮像装置９１〜９ｎが撮影した画像データを取得する。
画像解析部８３は、画像データ取得部８２の取得した画像データの解析を行う。
図１３に示すように、画像解析装置８は、内部通信部８１、画像データ取得部８２及び画像解析部８３を備える。
画像データ取得部８２は、内部通信部８１より通信ネットワークＣを経由して撮像装置９１〜９ｎが撮影した画像データを取得する。
画像解析部８３は、画像データ取得部８２の取得した画像データの解析を行う。
＜撮像装置９＞
図１４に示すように、撮像装置９は、内部通信部９１、ＰＴＺ（パン・チルト・ズーム）制御部９２及び画像取得部９３を有する。
内部通信部９１は、通信ネットワークＣを介して、モバイル端末連携装置７と通信を行う他、画像解析装置８と通信を行う。
ＰＴＺ制御部９２は、モバイル端末連携装置７の指示を基に、撮像装置９のパン・チルト・ズームの制御を行う。
画像取得部９３は、撮像装置９で撮影した画像を取得し、内部通信部９１から通信ネットワークＣを介して画像解析装置８に送信する。
図１４に示すように、撮像装置９は、内部通信部９１、ＰＴＺ（パン・チルト・ズーム）制御部９２及び画像取得部９３を有する。
内部通信部９１は、通信ネットワークＣを介して、モバイル端末連携装置７と通信を行う他、画像解析装置８と通信を行う。
ＰＴＺ制御部９２は、モバイル端末連携装置７の指示を基に、撮像装置９のパン・チルト・ズームの制御を行う。
画像取得部９３は、撮像装置９で撮影した画像を取得し、内部通信部９１から通信ネットワークＣを介して画像解析装置８に送信する。
＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るモバイル端末連携移動体追跡システム６の動作を説明する。
なお、下記の２項目の動作ついては、実施の形態１と同様であるため説明を省略する。１）モバイル端末装置２と無線通信機３との間の通信
２）無線通信機３とモバイル端末連携装置４との間の通信
次に、本実施の形態に係るモバイル端末連携移動体追跡システム６の動作を説明する。
なお、下記の２項目の動作ついては、実施の形態１と同様であるため説明を省略する。１）モバイル端末装置２と無線通信機３との間の通信
２）無線通信機３とモバイル端末連携装置４との間の通信
＜撮像装置９の動作＞
撮像装置９は内部通信部９１より、撮像装置制御情報を取得する。
ＰＴＺ制御部９２では、取得した撮像装置制御情報を基に、撮像装置９のＰＴＺの値を変更する。
また、画像取得部９３は、撮影した撮影画像を取得し、これを符号化し、符号化により得られたデータを内部通信部５１を介して、画像解析装置８およびモバイル端末連携装置４あるいは監視制御装置等に送信する。
撮像装置９は内部通信部９１より、撮像装置制御情報を取得する。
ＰＴＺ制御部９２では、取得した撮像装置制御情報を基に、撮像装置９のＰＴＺの値を変更する。
また、画像取得部９３は、撮影した撮影画像を取得し、これを符号化し、符号化により得られたデータを内部通信部５１を介して、画像解析装置８およびモバイル端末連携装置４あるいは監視制御装置等に送信する。
＜画像解析装置８の動作＞
画像解析装置８では、内部通信部８１を介して、画像データ取得部８２が、撮像装置９から送信されたデータを取得する。
そして、画像データ取得部８２は、当該データを復号し、撮像装置９で撮影された撮影画像を画像解析部８３に送信する。
画像解析部８３は、モバイル端末連携装置７から送信された、追跡対象のデータ（画像、性別、年齢等）を取得する。
更に、画像解析部８３は、画像データ取得部８２から撮像装置９で撮影された撮影画像を取得し、撮影画像内から追跡対象人物の画像を検出する。
そして、画像解析部８３は、画像上での追跡対象人物の位置、追跡対象人物の動き情報を解析し、これを基にした地図上での追跡対象人物の現在位置を推定し、更に、追跡対象人物の移動方向を推定する。
そして、画像解析部８３は、画像上での追跡対象人物の位置、追跡対象人物の動き情報、追跡対象人物の推定現在位置、推定移動方向、撮影画像を取得した撮像装置９の情報、検出した追跡対象の画像等をモバイル端末連携装置７に送信する。
画像解析装置８では、内部通信部８１を介して、画像データ取得部８２が、撮像装置９から送信されたデータを取得する。
そして、画像データ取得部８２は、当該データを復号し、撮像装置９で撮影された撮影画像を画像解析部８３に送信する。
画像解析部８３は、モバイル端末連携装置７から送信された、追跡対象のデータ（画像、性別、年齢等）を取得する。
更に、画像解析部８３は、画像データ取得部８２から撮像装置９で撮影された撮影画像を取得し、撮影画像内から追跡対象人物の画像を検出する。
そして、画像解析部８３は、画像上での追跡対象人物の位置、追跡対象人物の動き情報を解析し、これを基にした地図上での追跡対象人物の現在位置を推定し、更に、追跡対象人物の移動方向を推定する。
そして、画像解析部８３は、画像上での追跡対象人物の位置、追跡対象人物の動き情報、追跡対象人物の推定現在位置、推定移動方向、撮影画像を取得した撮像装置９の情報、検出した追跡対象の画像等をモバイル端末連携装置７に送信する。
＜モバイル端末連携装置７の動作＞
モバイル端末連携装置７の移動経路予測部７３の内部構成は、図６に示す移動経路予測部４２と同様である。
ただし、データ取得部４２１は、モバイル端末装置２から送信された情報に加え、画像解析装置８から送信されたデータも取得する。
取得するデータは上記の画像解析装置８の動作に記載の通りである。
位置推定部４２２は、実施の形態１で記載した電波強度による方法で追跡対象人物の現在位置を推定するとともに、例えば、電波強度により推定した追跡対象人物の現在位置を、画像解析部８３で推定された追跡対象人物の現在位置により補正する。
現在位置の補正方法の一例は後述する。
また、移動履歴情報ＤＢ４２６には、実施の形態１のデータに加え、画像解析装置８から取得したデータ（上記記載済）も保存する。
データ抽出部４２３では、実施の形態１で利用した情報以外に、画像解析装置８から取得した情報も含めて、必要となる学習データを抽出する。
また、経路予測部４２４は、モバイル端末装置２の加速度センサ、地磁気センサ、ジャイロセンサ等で計測した追跡対象人物の移動方向の代わりに、画像解析部８３で推定された追跡対象物の移動方向を用いて、追跡対象人物の移動経路を予測することができる。
その他の経路予測部４２４の動作は実施の形態１と同様である。
撮像装置制御部４３の動作は実施の形態１と同様のため省略する。
モバイル端末連携装置７の移動経路予測部７３の内部構成は、図６に示す移動経路予測部４２と同様である。
ただし、データ取得部４２１は、モバイル端末装置２から送信された情報に加え、画像解析装置８から送信されたデータも取得する。
取得するデータは上記の画像解析装置８の動作に記載の通りである。
位置推定部４２２は、実施の形態１で記載した電波強度による方法で追跡対象人物の現在位置を推定するとともに、例えば、電波強度により推定した追跡対象人物の現在位置を、画像解析部８３で推定された追跡対象人物の現在位置により補正する。
現在位置の補正方法の一例は後述する。
また、移動履歴情報ＤＢ４２６には、実施の形態１のデータに加え、画像解析装置８から取得したデータ（上記記載済）も保存する。
データ抽出部４２３では、実施の形態１で利用した情報以外に、画像解析装置８から取得した情報も含めて、必要となる学習データを抽出する。
また、経路予測部４２４は、モバイル端末装置２の加速度センサ、地磁気センサ、ジャイロセンサ等で計測した追跡対象人物の移動方向の代わりに、画像解析部８３で推定された追跡対象物の移動方向を用いて、追跡対象人物の移動経路を予測することができる。
その他の経路予測部４２４の動作は実施の形態１と同様である。
撮像装置制御部４３の動作は実施の形態１と同様のため省略する。
図１５にモバイル端末連携装置７の動作フローを示す。
図１５の動作フローは実施の形態２を実現する処理の一例を示すものであり、実現方法を限定するものではない。
図１５においてＳ３１〜Ｓ３４は図１０のＳ１１〜Ｓ１４と同じであるため、説明を省略する。
Ｓ３５では、移動経路予測部７３は、内部通信部７１を介して、画像解析装置８からの画像解析データ（撮像装置ＩＤ、画像内での追跡対象人物の位置、追跡対象人物の推定現在位置、追跡対象人物の推定移動方向（動きベクトル等））を取得する。
そして、Ｓ３６では、これらと現在の電波強度を基にモバイル端末装置２の現在位置を推定する。
Ｓ３７は、図１０のＳ１６と同じであるため、説明を省略する。
Ｓ３８は、図１０のＳ１７と基本的に同じであるが、前述のように、画像解析装置８による追跡対象人物の推定移動方向を用いて移動経路を予測してもよい。
Ｓ３９〜Ｓ４１は、図１０のＳ１８〜Ｓ２０と同じであるため、説明を省略する。
図１５の動作フローは実施の形態２を実現する処理の一例を示すものであり、実現方法を限定するものではない。
図１５においてＳ３１〜Ｓ３４は図１０のＳ１１〜Ｓ１４と同じであるため、説明を省略する。
Ｓ３５では、移動経路予測部７３は、内部通信部７１を介して、画像解析装置８からの画像解析データ（撮像装置ＩＤ、画像内での追跡対象人物の位置、追跡対象人物の推定現在位置、追跡対象人物の推定移動方向（動きベクトル等））を取得する。
そして、Ｓ３６では、これらと現在の電波強度を基にモバイル端末装置２の現在位置を推定する。
Ｓ３７は、図１０のＳ１６と同じであるため、説明を省略する。
Ｓ３８は、図１０のＳ１７と基本的に同じであるが、前述のように、画像解析装置８による追跡対象人物の推定移動方向を用いて移動経路を予測してもよい。
Ｓ３９〜Ｓ４１は、図１０のＳ１８〜Ｓ２０と同じであるため、説明を省略する。
＜システム全体の動作＞
図１６にシステム全体のシーケンス図を示す。
図１６は実施の形態２の動作の一例を示すものであり、実現方法を限定するものではない。
まず、モバイル端末装置２から各無線通信機３１〜３ｎに無線信号を送信する。
無線通信機３は受信後、取得情報をモバイル端末連携装置７に送信する。
上記動作と並行して、撮像装置９は撮影画像を画像解析装置８へ送信する。
画像解析装置８は、撮像装置９から撮影画像の受信後、画像解析を行い、追跡対象人物の画像が撮影画像内に存在する撮像装置のＩＤ、撮影画像内での追跡対象人物の位置（ｘ，ｙ）、追跡対象人物の撮影画像内での位置に基づく、対象のマップ上での推定現在位置、追跡対象人物の撮影画像内での動きベクトル情報を算出する。
なお、画像解析装置８は、時系列で撮影画像を解析して動きベクトル情報を算出する。
そして、画像解析装置８は、モバイル端末連携装置７へ画像解析情報を送信する。
モバイル端末連携装置７は、画像解析情報の受信後、現在位置の推定、これを基にした移動経路推定、移動経路推定結果の移動経路履歴ＤＢ４２６への記録、撮像装置の制御情報の生成を行う。
更に、モバイル端末連携装置４は、選択した撮像装置５へ撮像装置制御情報を送信する。
撮像装置５は、撮像装置制御情報を受信した場合は、撮像装置制御情報に基づいてＰＴＺの制御を行う。
その後、撮像装置９は撮影した撮影画像を画像解析装置８へ送信する。
撮像装置９は撮影画像を画像解析装置８だけでなく、モバイル端末連携装置７や監視制御装置へ送信してもよい。
また、画像解析装置８やモバイル端末連携装置７を経由して監視制御装置へ送信してもよい。
図１６にシステム全体のシーケンス図を示す。
図１６は実施の形態２の動作の一例を示すものであり、実現方法を限定するものではない。
まず、モバイル端末装置２から各無線通信機３１〜３ｎに無線信号を送信する。
無線通信機３は受信後、取得情報をモバイル端末連携装置７に送信する。
上記動作と並行して、撮像装置９は撮影画像を画像解析装置８へ送信する。
画像解析装置８は、撮像装置９から撮影画像の受信後、画像解析を行い、追跡対象人物の画像が撮影画像内に存在する撮像装置のＩＤ、撮影画像内での追跡対象人物の位置（ｘ，ｙ）、追跡対象人物の撮影画像内での位置に基づく、対象のマップ上での推定現在位置、追跡対象人物の撮影画像内での動きベクトル情報を算出する。
なお、画像解析装置８は、時系列で撮影画像を解析して動きベクトル情報を算出する。
そして、画像解析装置８は、モバイル端末連携装置７へ画像解析情報を送信する。
モバイル端末連携装置７は、画像解析情報の受信後、現在位置の推定、これを基にした移動経路推定、移動経路推定結果の移動経路履歴ＤＢ４２６への記録、撮像装置の制御情報の生成を行う。
更に、モバイル端末連携装置４は、選択した撮像装置５へ撮像装置制御情報を送信する。
撮像装置５は、撮像装置制御情報を受信した場合は、撮像装置制御情報に基づいてＰＴＺの制御を行う。
その後、撮像装置９は撮影した撮影画像を画像解析装置８へ送信する。
撮像装置９は撮影画像を画像解析装置８だけでなく、モバイル端末連携装置７や監視制御装置へ送信してもよい。
また、画像解析装置８やモバイル端末連携装置７を経由して監視制御装置へ送信してもよい。
＜位置推定部４２２による現在位置の補正方法＞
カメラのキャリブレーション（内部パラメータ、歪み係数、外部パラメータ）が厳密に行われており、地図上の座標とカメラの画像座標の対応が取れている場合は、幾何変換により、画像内での追跡対象人物の検出位置（ｕ，ｖ）から追跡対象人物の地図座標上での位置（ｘ，ｙ）を推定でき、また、追跡対象人物の地図座標上での位置（ｘ，ｙ）から画像内での追跡対象人物の検出位置（ｕ，ｖ）を推定することができる。
カメラの幾何変換については公知であるため、説明を省略する。
本実施の形態では、追跡対象人物の顔画像が撮像装置５に登録されており、撮像装置５は登録されている追跡対象人物の顔画像を用いて、人物認識が可能であるとする。
位置推定部４２２は、基本的に電波強度によって推定された位置を追跡対象人物の現在位置とするが、移動中の追跡対象人物をカメラで認識（人物認識）できた場合には、その追跡対象人物の画像上での位置を地図上での座標に変換したものを現在位置とし、電波強度による推定位置は利用しない。
カメラが厳密にキャリブレーションされている場合は、推定される位置の精度は電波強度を用いた方法よりも、カメラを用いた方法の方が高いことが予想される。
ただし、画像上で追跡対象人物を正しく認識できるとは限らない。
そこで、位置推定部４２２は、電波強度によって推定された位置（座標）を当該カメラで捕捉した場合に、画像上のどの位置に追跡対象人物が表示されるかを計算する（カメラがキャリブレーションできていれば幾何変換により算出可能）。
このとき、計算により得られた追跡対象人物の予想表示位置と、カメラで認識した人物の表示位置が大幅にずれていた場合は、カメラが正しく追跡対象人物を認識できていない可能性がある。
このため、位置推定部４２２は、カメラの人物認識により求めた推定位置は利用せず、電波強度による推定位置を利用する。
あるいは、電波強度によって推定された位置（座標）を再探索し、人物認識を再度行うことも可能である。
再度、人物が認識され、上記の計算を行った結果、正しく追跡対象人物を捕捉していると判断された場合（電波強度からの推定位置に基づく予想表示位置とカメラの人物認識による人物の表示位置の誤差が一定以下になった場合）に、位置推定部４２２は、カメラの人物認識で推定された位置座標を利用する。
カメラのキャリブレーション（内部パラメータ、歪み係数、外部パラメータ）が厳密に行われており、地図上の座標とカメラの画像座標の対応が取れている場合は、幾何変換により、画像内での追跡対象人物の検出位置（ｕ，ｖ）から追跡対象人物の地図座標上での位置（ｘ，ｙ）を推定でき、また、追跡対象人物の地図座標上での位置（ｘ，ｙ）から画像内での追跡対象人物の検出位置（ｕ，ｖ）を推定することができる。
カメラの幾何変換については公知であるため、説明を省略する。
本実施の形態では、追跡対象人物の顔画像が撮像装置５に登録されており、撮像装置５は登録されている追跡対象人物の顔画像を用いて、人物認識が可能であるとする。
位置推定部４２２は、基本的に電波強度によって推定された位置を追跡対象人物の現在位置とするが、移動中の追跡対象人物をカメラで認識（人物認識）できた場合には、その追跡対象人物の画像上での位置を地図上での座標に変換したものを現在位置とし、電波強度による推定位置は利用しない。
カメラが厳密にキャリブレーションされている場合は、推定される位置の精度は電波強度を用いた方法よりも、カメラを用いた方法の方が高いことが予想される。
ただし、画像上で追跡対象人物を正しく認識できるとは限らない。
そこで、位置推定部４２２は、電波強度によって推定された位置（座標）を当該カメラで捕捉した場合に、画像上のどの位置に追跡対象人物が表示されるかを計算する（カメラがキャリブレーションできていれば幾何変換により算出可能）。
このとき、計算により得られた追跡対象人物の予想表示位置と、カメラで認識した人物の表示位置が大幅にずれていた場合は、カメラが正しく追跡対象人物を認識できていない可能性がある。
このため、位置推定部４２２は、カメラの人物認識により求めた推定位置は利用せず、電波強度による推定位置を利用する。
あるいは、電波強度によって推定された位置（座標）を再探索し、人物認識を再度行うことも可能である。
再度、人物が認識され、上記の計算を行った結果、正しく追跡対象人物を捕捉していると判断された場合（電波強度からの推定位置に基づく予想表示位置とカメラの人物認識による人物の表示位置の誤差が一定以下になった場合）に、位置推定部４２２は、カメラの人物認識で推定された位置座標を利用する。
＊＊＊実施の形態の効果＊＊＊
実施の形態２では、上記の実施の形態１の効果に加え、撮像装置での撮影画像を解析し、追跡対象人物の動き情報を検出し、これを移動経路予測に利用することで、より精度のよい移動経路の予測、それに伴う追跡精度向上が実現できる。
また、撮影画像の追跡対象人物の位置と電波強度で推定した追跡対象の位置の整合を取ることにより、追跡対象人物の誤検出を防ぐことができる他、検出した追跡対象人物の画像を次の検出の際の参照画像として使用することができる。
また、モバイル端末装置の所有者と画像上で検出した追跡対象人物を一致させることにより、特定対象の見守り、監視サービスが実現できる。
特定対象としては、例えば、小柄なために周囲の人や構造物などで遮蔽されてカメラ画像に映らなくなる可能性の高い子ども、老人、小動物などが考えられる。
実施の形態２では、上記の実施の形態１の効果に加え、撮像装置での撮影画像を解析し、追跡対象人物の動き情報を検出し、これを移動経路予測に利用することで、より精度のよい移動経路の予測、それに伴う追跡精度向上が実現できる。
また、撮影画像の追跡対象人物の位置と電波強度で推定した追跡対象の位置の整合を取ることにより、追跡対象人物の誤検出を防ぐことができる他、検出した追跡対象人物の画像を次の検出の際の参照画像として使用することができる。
また、モバイル端末装置の所有者と画像上で検出した追跡対象人物を一致させることにより、特定対象の見守り、監視サービスが実現できる。
特定対象としては、例えば、小柄なために周囲の人や構造物などで遮蔽されてカメラ画像に映らなくなる可能性の高い子ども、老人、小動物などが考えられる。
＊＊＊付記＊＊＊
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
また、上記では、追跡対象を人物として説明してきたが、追跡対象は移動体であれば人物でなくてもよい。
例えば、無線通信端末装置が装着された動物であってもよいし、自動車等の車両等であってもよい。
例えば、無線通信端末装置が装着された動物であってもよいし、自動車等の車両等であってもよい。
＊＊＊ハードウェア構成の説明＊＊＊
モバイル端末連携装置４、７のハードウェア構成例を図１７を参照して説明する。
モバイル端末連携装置４、７はコンピュータである。
モバイル端末連携装置４、７は、プロセッサ９０１、補助記憶装置９０２、メモリ９０３、通信装置９０４、入力インタフェース９０５、ディスプレイインタフェース９０６といったハードウェアを備える。
プロセッサ９０１は、信号線９１０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
入力インタフェース９０５は、入力装置９０７に接続されている。
ディスプレイインタフェース９０６は、ディスプレイ９０８に接続されている。
モバイル端末連携装置４、７のハードウェア構成例を図１７を参照して説明する。
モバイル端末連携装置４、７はコンピュータである。
モバイル端末連携装置４、７は、プロセッサ９０１、補助記憶装置９０２、メモリ９０３、通信装置９０４、入力インタフェース９０５、ディスプレイインタフェース９０６といったハードウェアを備える。
プロセッサ９０１は、信号線９１０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
入力インタフェース９０５は、入力装置９０７に接続されている。
ディスプレイインタフェース９０６は、ディスプレイ９０８に接続されている。
プロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
メモリ９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図６、図７に示す記憶部は、補助記憶装置９０２又はメモリ９０３により実現される。
通信装置９０４は、データを受信するレシーバー９０４１及びデータを送信するトランスミッター９０４２を含む。
通信装置９０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入力インタフェース９０５は、入力装置９０７のケーブル９１１が接続されるポートである。
入力インタフェース９０５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。
ディスプレイインタフェース９０６は、ディスプレイ９０８のケーブル９１２が接続されるポートである。
ディスプレイインタフェース９０６は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子である。
入力装置９０７は、例えば、マウス、キーボード又はタッチパネルである。
ディスプレイ９０８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。
プロセッサ９０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
メモリ９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図６、図７に示す記憶部は、補助記憶装置９０２又はメモリ９０３により実現される。
通信装置９０４は、データを受信するレシーバー９０４１及びデータを送信するトランスミッター９０４２を含む。
通信装置９０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入力インタフェース９０５は、入力装置９０７のケーブル９１１が接続されるポートである。
入力インタフェース９０５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。
ディスプレイインタフェース９０６は、ディスプレイ９０８のケーブル９１２が接続されるポートである。
ディスプレイインタフェース９０６は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子である。
入力装置９０７は、例えば、マウス、キーボード又はタッチパネルである。
ディスプレイ９０８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。
補助記憶装置９０２には、図４に示す内部通信部４１、移動経路予測部４２、撮像装置制御部４３、図７に示す内部通信部７１、追跡対象データ取得部７２、移動経路予測部７３、撮像装置制御部７４のうち、記憶部を除く構成要素の機能を実現するプログラムが記憶されている。
つまり、補助記憶装置９０２には、データ取得部４２１、位置推定部４２２、データ抽出部４２３、経路予測部４２４、移動経路予測データ取得部４３１、撮像装置制御情報生成部４３２、制御命令部４３３（以下、これらをまとめて「部」と表記する）の機能を実現するプログラムが記憶されている。
このプログラムは、メモリ９０３にロードされ、プロセッサ９０１に読み込まれ、プロセッサ９０１によって実行される。
更に、補助記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がメモリ９０３にロードされ、プロセッサ９０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
図１７では、１つのプロセッサ９０１が図示されているが、モバイル端末連携装置４、７が複数のプロセッサ９０１を備えていてもよい。
そして、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ９０３、補助記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリに記憶される。
つまり、補助記憶装置９０２には、データ取得部４２１、位置推定部４２２、データ抽出部４２３、経路予測部４２４、移動経路予測データ取得部４３１、撮像装置制御情報生成部４３２、制御命令部４３３（以下、これらをまとめて「部」と表記する）の機能を実現するプログラムが記憶されている。
このプログラムは、メモリ９０３にロードされ、プロセッサ９０１に読み込まれ、プロセッサ９０１によって実行される。
更に、補助記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がメモリ９０３にロードされ、プロセッサ９０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
図１７では、１つのプロセッサ９０１が図示されているが、モバイル端末連携装置４、７が複数のプロセッサ９０１を備えていてもよい。
そして、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ９０３、補助記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリに記憶される。
「部」を「サーキットリー」で提供してもよい。
また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」及び「サーキットリー」は、プロセッサ９０１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。
また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」及び「サーキットリー」は、プロセッサ９０１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。
１ モバイル端末連携移動体追跡システム、２ モバイル端末装置、３ 無線通信機、４ モバイル端末連携装置、５ 撮像装置、６ モバイル端末連携移動体追跡システム、７ モバイル端末連携装置、８ 画像解析装置、９ 撮像装置、２１ ユーザＩＤ取得部、２２ センサ情報取得部、２３ 無線通信部、３１ 無線通信部、３２ データ取得部、３３ 内部通信部、４１ 内部通信部、４２ 移動経路予測部、４３ 撮像装置制御部、５１ 内部通信部、５２ ＰＴＺ制御部、５３ 画像取得部、７１ 内部通信部、７２ 追跡対象データ取得部、７３ 移動経路予測部、７４ 撮像装置制御部、８１ 内部通信部、８２ 画像データ取得部、８３ 画像解析部、９１ 内部通信部、９２ ＰＴＺ制御部、９３ 画像取得部、４２１ データ取得部、４２２ 位置推定部、４２３ データ抽出部、４２４ 経路予測部、４２５ 電波強度ＤＢ、４２６ 移動経路履歴ＤＢ、４３１ 移動経路予測データ取得部、４３２ 撮像装置制御情報生成部、４３３ 制御命令部、４３４ 周辺地図ＤＢ、４３５ 撮像装置制御情報ＤＢ、４３６ 内部通信部。
Claims (8)
- 対象エリア内に離間して配置されている複数の無線通信機の各々で計測された、移動体とともに移動する無線端末装置からの電波の電波強度又は前記無線端末装置で計測された前記複数の無線通信機の各々からの電波の電波強度の少なくともいずれかと、学習により得られた、前記対象エリア内の複数地点における地点ごとに計測された前記複数の無線通信機の各々からの電波の電波強度の値及び前記複数の無線通信機の各々で計測された前記対象エリア内の複数地点における地点ごとに送信された電波の電波強度の値の少なくともいずれかが示される学習データとを用いて、前記移動体の現在位置を推定し、前記移動体の移動経路を予測する移動経路予測部と、
前記対象エリア内に離間して配置されている複数の撮像装置の各々の撮影可能範囲と、前記移動経路予測部により予測された前記移動経路とに基づき、前記複数の撮像装置の中から、前記移動経路を移動する前記移動体を撮影させる撮像装置を選択する撮像装置制御部とを有する移動体追跡装置。 - 前記撮像装置制御部は、
前記移動体を撮影させるための制御を、選択した撮像装置に対して行う請求項１に記載の移動体追跡装置。 - 前記撮像装置制御部は、
前記移動体を撮影させるための制御として、パン、チルト及びズームに関する制御を、選択した撮像装置に対して行う請求項１に記載の移動体追跡装置。 - 前記移動経路予測部は、
前記移動体が前記現在位置に到達するまでの移動軌跡、過去における前記移動体の前記現在位置からの移動先、前記移動体と共通の属性を有する他の移動体の前記現在位置からの移動先、前記移動体の移動方向、前記移動体の移動速度の少なくともいずれかに基づいて、前記移動体の移動経路を予測する請求項１に記載の移動体追跡装置。 - 前記移動経路予測部は、
前記複数の撮像装置のうちのいずれかの撮像装置により撮影され、前記移動体の画像が含まれる撮影画像を解析して推定された前記移動体の現在位置を用いて、電波強度に基づいて推定した前記移動体の現在位置を補正する請求項１に記載の移動体追跡装置。 - 前記移動経路予測部は、
前記複数の撮像装置のうちのいずれかの撮像装置により撮影され、前記移動体の画像撮影映像が含まれる撮影映像を解析して推定された前記移動体の移動方向に基づき、前記移動体の移動経路を予測する請求項１に記載の移動体追跡装置。 - コンピュータが、対象エリア内に離間して配置されている複数の無線通信機の各々で計測された、移動体とともに移動する無線端末装置からの電波の電波強度又は前記無線端末装置で計測された前記複数の無線通信機の各々からの電波の電波強度の少なくともいずれかと、学習により得られた、前記対象エリア内の複数地点における地点ごとに計測された前記複数の無線通信機の各々からの電波の電波強度の値及び前記複数の無線通信機の各々で計測された前記対象エリア内の複数地点における地点ごとに送信された電波の電波強度の値の少なくともいずれかが示される学習データとを用いて、前記移動体の現在位置を推定し、前記移動体の移動経路を予測する移動経路予測ステップと、
前記コンピュータが、前記対象エリア内に離間して配置されている複数の撮像装置の各々の撮影可能範囲と、前記移動経路予測ステップにより予測された前記移動経路とに基づき、前記複数の撮像装置の中から、前記移動経路を移動する前記移動体を撮影させる撮像装置を選択する撮像装置制御ステップとを有する移動体追跡方法。 - 対象エリア内に離間して配置されている複数の無線通信機の各々で計測された、移動体とともに移動する無線端末装置からの電波の電波強度又は前記無線端末装置で計測された前記複数の無線通信機の各々からの電波の電波強度の少なくともいずれかと、学習により得られた、前記対象エリア内の複数地点における地点ごとに計測された前記複数の無線通信機の各々からの電波の電波強度の値及び前記複数の無線通信機の各々で計測された前記対象エリア内の複数地点における地点ごとに送信された電波の電波強度の値の少なくともいずれかが示される学習データとを用いて、前記移動体の現在位置を推定し、前記移動体の移動経路を予測する移動経路予測ステップと、
前記対象エリア内に離間して配置されている複数の撮像装置の各々の撮影可能範囲と、前記移動経路予測ステップにより予測された前記移動経路とに基づき、前記複数の撮像装置の中から、前記移動経路を移動する前記移動体を撮影させる撮像装置を選択する撮像装置制御ステップとをコンピュータに実行させる移動体追跡プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015164437A JP6462528B2 (ja) | 2015-08-24 | 2015-08-24 | 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015164437A JP6462528B2 (ja) | 2015-08-24 | 2015-08-24 | 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017046023A JP2017046023A (ja) | 2017-03-02 |
| JP6462528B2 true JP6462528B2 (ja) | 2019-01-30 |
Family
ID=58210421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015164437A Active JP6462528B2 (ja) | 2015-08-24 | 2015-08-24 | 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6462528B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6865386B2 (ja) * | 2017-04-21 | 2021-04-28 | パナソニックＩｐマネジメント株式会社 | 識別システム、識別方法及びプログラム |
| JP7222519B2 (ja) * | 2018-09-10 | 2023-02-15 | 公立大学法人岩手県立大学 | オブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラム |
| JP7129920B2 (ja) * | 2019-01-15 | 2022-09-02 | 株式会社Ｎｔｔドコモ | 撮像装置 |
| WO2022130513A1 (ja) * | 2020-12-15 | 2022-06-23 | 三菱電機株式会社 | 識別装置、設備機器システム及び識別方法 |
| CN113660462B (zh) * | 2021-08-09 | 2023-12-29 | 园测信息科技股份有限公司 | 基于融合多源数据分析的包围圈式移动车辆视频追踪方法 |
| KR102482545B1 (ko) * | 2022-05-25 | 2022-12-29 | 주식회사 유투에스알 | 인공지능 기반 경로 예측 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4924607B2 (ja) * | 2006-05-31 | 2012-04-25 | 日本電気株式会社 | 不審行動検知装置および方法、プログラムおよび記録媒体 |
| JP2009004977A (ja) * | 2007-06-20 | 2009-01-08 | Chugoku Electric Power Co Inc:The | 監視カメラ選択装置、監視カメラ選択方法 |
| US8243136B2 (en) * | 2008-03-11 | 2012-08-14 | Panasonic Corporation | Tag sensor system and sensor device, and object position estimating device and object position estimating method |
| JP5634266B2 (ja) * | 2008-10-17 | 2014-12-03 | パナソニック株式会社 | 動線作成システム、動線作成装置及び動線作成方法 |
| EP2549752A4 (en) * | 2010-03-15 | 2014-12-03 | Omron Tateisi Electronics Co | TERMINAL FOR SURVEILLANCE CAMERA |
-
2015
- 2015-08-24 JP JP2015164437A patent/JP6462528B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017046023A (ja) | 2017-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6462528B2 (ja) | 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム | |
| TWI786313B (zh) | 目標跟蹤方法、裝置、介質以及設備 | |
| CN104103030B (zh) | 图像分析方法、照相机装置、控制装置及控制方法 | |
| EP2862146B1 (en) | Adaptive switching between a vision aided intertial camera pose estimation and a vision based only camera pose estimation. | |
| CN109785368B (zh) | 一种目标跟踪方法和装置 | |
| JP2020191646A (ja) | 情報処理システム、情報処理方法及びプログラム | |
| US8154616B2 (en) | Data processing apparatus and method, and recording medium | |
| US20170364755A1 (en) | Systems and Methods for Tracking Movements of a Target | |
| WO2014041912A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| CN107408303A (zh) | 用于对象跟踪的系统和方法 | |
| JP6551226B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP6210234B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| US11740321B2 (en) | Visual inertial odometry health fitting | |
| WO2014050432A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| CN112115894B (zh) | 手部关键点检测模型的训练方法、装置及电子设备 | |
| US20210174520A1 (en) | Control apparatus, control method, and program | |
| US20170085656A1 (en) | Automatic absolute orientation and position | |
| TW201926141A (zh) | 影像目標追蹤方法及裝置 | |
| KR20220066759A (ko) | 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템 | |
| CN111611836A (zh) | 基于背景消除法的船只检测模型训练及船只跟踪方法 | |
| CN113432620B (zh) | 误差估计方法、装置、车载终端及存储介质 | |
| KR102223313B1 (ko) | 전자장치 및 전자장치를 동작하는 방법 | |
| WO2020115945A1 (ja) | 測位システム | |
| KR101886856B1 (ko) | 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 | |
| JP7185786B2 (ja) | 測位システム及び端末 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6462528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |