JP2024032829A - 監視システム、監視方法および監視プログラム - Google Patents

監視システム、監視方法および監視プログラム Download PDF

Info

Publication number
JP2024032829A
JP2024032829A JP2024007812A JP2024007812A JP2024032829A JP 2024032829 A JP2024032829 A JP 2024032829A JP 2024007812 A JP2024007812 A JP 2024007812A JP 2024007812 A JP2024007812 A JP 2024007812A JP 2024032829 A JP2024032829 A JP 2024032829A
Authority
JP
Japan
Prior art keywords
mobile terminal
camera
management device
tracking
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024007812A
Other languages
English (en)
Inventor
智哉 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2024032829A publication Critical patent/JP2024032829A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

【課題】移動端末のユーザの位置が変わる場合や監視対象が移動端末のユーザとは異なる場合にも、カメラを適切に制御する。【解決手段】監視システム1000は、第1の移動端末と、第2の移動端末と、第1の移動端末および第2の移動端末と通信する管理装置1200とを備え、第1の移動端末は、第1の移動端末の位置情報を管理装置1200に送信する第1の送信部を有し、管理装置1200は、位置情報から第1の移動端末の将来位置を予測し、将来位置に基づいて第1の移動端末が撮像されるようにカメラの向きを制御し、カメラから取得された映像を抽出し、映像を第2の移動端末に送信する制御部を有する。【選択図】図1

Description

本発明は、監視システム、監視方法および監視プログラムに関する。
上記技術分野において、特許文献1には、移動通信端末を利用しているユーザの異常状態を検出すると、自身の位置情報を監視カメラに送信し、監視カメラによって取得されたユーザを含む画像を管理センターへ送信する技術が開示されている。
特開2004-328333号公報
ここで、前述の特許文献1においては、移動通信端末のユーザが監視対象となっており、ユーザの状況、状態を検知可能である。しかし、前述の特許文献1は、移動通信端末のユーザが移動しないことが前提となっている。そのため、移動通信端末のユーザが移動している場合には、移動通信端末から取得した位置へカメラを制御して撮影を行っても、撮影された画像にユーザが入らない可能性があるなどの不具合が生じていた。
本発明の目的は、上記課題を解決するための監視システム、監視方法および監視プログラムを提供することにある。
本発明に係る監視システムは、第1の移動端末と、第2の移動端末と、第1の移動端末および第2の移動端末と通信する管理装置とを備え、第1の移動端末は、第1の移動端末の位置情報を管理装置に送信する第1の送信部を有し、管理装置は、位置情報から第1の移動端末の将来位置を予測し、将来位置に基づいて第1の移動端末が撮像されるようにカメラの向きを制御し、カメラから取得された映像を抽出し、映像を第2の移動端末に送信する制御部を有することを特徴とする。
本発明に係る監視方法は、第1の移動端末が、第1の移動端末の位置情報を管理装置に送信し、管理装置が、位置情報から第1の移動端末の将来位置を予測し、将来位置に基づいて第1の移動端末が撮像されるようにカメラの向きを制御し、カメラから取得された映像を抽出し、映像を第2の移動端末に送信することを特徴とする。
また、本発明に係る監視プログラムは、第1の移動端末および第2の移動端末と通信する管理装置に備えられているコンピュータに、第1の移動端末が送信する第1の移動端末の位置情報から第1の移動端末の将来位置を予測し、将来位置に基づいて第1の移動端末が撮像されるようにカメラの向きを制御し、カメラから取得された映像を抽出し、映像を第2の移動端末に送信する処理
を実行させることを特徴とする。
本発明によれば、端末のユーザの位置が変わる場合や監視対象が端末のユーザとは異なる場合にも、カメラを適切に制御することができる。
実施形態1に係る監視システムの構成を例示するブロック図である。 実施形態1に係る移動端末の情報送信を示すフロー図である。 実施形態1に係る管理装置のカメラ制御を示すフロー図である。 実施形態1に係る管理装置が、追跡対象の追跡を行うフロー図である。 実施形態1における警備員が不審者を発見時の動作の具体例を示す俯瞰図である。 実施形態1に係る管理装置のカメラ制御の具体例を示す俯瞰図である。 図6におけるカメラ300-1の映像の具体例を示す図である。 図6におけるカメラ300-2の映像の具体例を示す図である。 図6におけるカメラ300-3の映像の具体例を示す図である。 実施形態1に係る管理装置の表示部の具体例を示す図である。 実施形態1に係る管理装置の表示部の変形例を示す図である。 実施形態2に係る監視システムの構成を例示するブロック図である。 実施形態2に係る移動端末の情報送信を示すフロー図である。 実施形態2に係る管理装置のカメラ制御を示すフロー図である。 実施形態2に係る管理装置が、追跡対象の追跡を行うフロー図である。 実施形態2に係る管理装置のカメラ制御の具体例を示す俯瞰図である。 実施形態2に係る管理装置の表示部の具体例を示す図である。 実施形態3に係る移動端末の情報送信を示すフロー図である。 実施形態3に係る管理装置が、追跡対象の追跡を行うフロー図である。 実施形態1に係る監視システムのハードウェア構成を示す図である。
[実施形態1]
(発明の特徴)
本実施形態は、監視システムにおいて、警備員が有する移動端末の位置情報に基づいて、移動端末が存在する位置を撮影するため、監視カメラを制御するとともに、監視カメラにより得られた映像から抽出された追跡候補を管理装置の操作者に対して表示する。表示した追跡候補の選択を管理装置の操作者に促すことを特徴とする。
(構成)
図1は、本実施形態に係る監視システム1000の構成を例示するブロック図である。本実施形態では、監視システム1000は、施設等(港、空港、プラットホーム、発電所、プラント及びダム等の重要施設、倉庫街、レジャー施設、スタジアム、商業施設、建物、又は都市・街頭など)を監視するためのシステムである。より具体的は、警備員による巡回監視とカメラによる監視を行っている施設を監視する実施形態について説明を行う。図1を参照すると、監視システム1000は、移動端末1100と、管理装置1200と、カメラ300-1から300-Nとから構成される。
移動端末1100は、位置取得部1110と、動作検出部1120と、通信部1130とを備える。移動端末1100の例としては、無線機、移動電話機、スマートフォン、及びタブレット端末などが考えられる。これらの装置を構成するコンピュータに、そのハードウェアを用いて各処理を実行させるコンピュータプログラムを実行させることにより、位置取得部1110、動作検出部1120等を、実現することもできる。すなわち、図20に示すように、移動端末1100に備えられたCPU(Central Processing Unit)100が、移動端末1100に備えられたメモリ120と接続され、メモリ120から読みだされる所定のプログラム又は各種データに基づいてCPU100が機能することにより、位置取得部1110、動作検出部1120等が実現されても良い。CPU100の、より具体的な例としては、プロセッサやマイクロプロセッサなどが挙げられる。また、前述の移動端末1100のCPU100は、通信部1130と、入力受付部110と、表示部130との間で入出力回路を介して接続されていてもよい。ここで、メモリ120は、RAM(Random Access Memory)やROM(Read Only Memory)として構成されていても良い。
位置取得部1110は、動作検出部1120と、通信部1130とに接続されている。また、位置取得部1110は、GPS(Global Positioning System)衛星から位置情報である実世界座標を取得する。位置取得部1110は、移動端末1100の位置情報を取得した場合に、移動端末1100の位置情報を通信部1130へ送る。本実施形態では、GPS衛星を使用して、位置情報を取得することとしているが、無線通信を利用してデータの送受信を行うシステムを使用し、アクセス場所の情報から位置情報を算出するような構成とすることも可能である。ここで、位置情報は、実世界上で統一の座標である実世界座標としたが、この情報だけに限定される必要はなく、現在時刻等の情報を追加されて構成されることも可能である。ここで、実世界座標は、経度と緯度を示す情報により構成されてもよい。
動作検出部1120は、位置取得部1110と、通信部1130とに接続されている。また、動作検出部1120は、警備員の所定動作を検出する。動作検出部1120は、警備員の所定動作が検出された場合に、各カメラ300-1から300-Nのカメラ制御のモード切り替えを要求する制御切替情報を通信部1130へ送る。ここで、所定動作とは、警備員が移動端末1100を操作することである。より具体的には、警備員による巡回が行われている場合に、警備員が不審者や不審物などを発見したとき、警備員が移動端末を操作し、各カメラ300-1から300-Nのカメラ制御のモード切り替えを要求する制御切替情報を通信部1130へ送る。このとき、警備員は、不審者や不審物などの画像を移動端末1100のカメラ(不図示)で撮影し、移動端末1100の位置情報と一緒に撮影画像が通信部1130へ送られるようにしても良い。ここで、カメラ制御のモードについては、後述する。
通信部1130は、第1通信部1131と第2通信部1132とを備える。通信部1130は、管理装置1200と通信ネットワークを介して通信を行う。
第1通信部1131は、位置取得部1110に接続されている。第1通信部1131は、位置取得部1110により取得された移動端末1100の位置情報を通信ネットワーク経由で、管理装置1200へ送信する。また、管理装置1200からの情報を受信することも可能である。また、第1通信部1131は、移動端末1100のカメラ(不図示)により撮影された不審者、不審物等の画像を移動端末1100の位置情報と一緒に、管理装置1200へ送信するような構成としても良い。
第2通信部1132は、動作検出部1120に接続されている。第2通信部1132は、動作検出部1120により、警備員の所定の動作が検出された場合に、制御切替情報を通信ネットワーク経由で、管理装置1200へ送信する。また、管理装置1200からの情報を受信することも可能である。ここで、第1通信部1131と第2通信部1132は、機能的に別となり、独立に送受信することができればよい。つまり、ハード構成として、別体となっている必要はなく、1つのハードウェアで実装することも可能である。また、第2通信部1132は、制御切替情報と、移動端末1100のカメラ(不図示)により撮影された不審者、不審物等の画像とを一緒に、送信するような構成としても良い。
管理装置1200は、通信部1210と、制御部1220と、表示部1230とを備える。管理装置1200は、施設全体を監視する警備会社のある建屋や監視される施設に設置されている警備室などに設けられる。また、管理装置1200は、管理サーバとして施設外に設置される場合であっても実現可能である。さらに、独立の装置として存在するだけでなく、後述するカメラ300-1の一つの構成要素として組み込まれることも可能である。ここで、これらの装置を構成するコンピュータに、そのハードウェアを用いて、各処理を実行させるコンピュータプログラムにより実現することもできる。すなわち、図20に示すように、管理装置1200に備えられたCPU200が、管理装置1200に備えられたメモリ220と接続され、メモリ220から読みだされる所定のプログラム又は各種データに基づいてCPU200が機能することにより、制御部1220が実現されても良い。CPU200の、より具体的な例としては、プロセッサやマイクロプロセッサなどが挙げられる。また、前述の管理装置1200のCPU200は、通信部1210と、入力受付部210と、表示部1230との間で入出力回路を介して接続されていてもよい。また、管理装置1200の接続部230は、各カメラ300-1から300-Nに接続されている。ここで、メモリ220は、RAMやROMとして構成されていても良い。
通信部1210は、第1通信部1211と第2通信部1212とを備える。通信部1210は、移動端末1100の通信部1130と情報の送受信を行うことができる。また、通信部1210は、受信した情報を制御部1220に送る。
第1通信部1211は、移動端末1100の第1通信部1131と通信を行い、前述の移動端末1100の位置情報を受信する。第1通信部1211は、受信した移動端末1100の位置情報を制御部1220へ送る。第1通信部1211は、第1通信部1131に対して、情報を送信することもできる。また、第1通信部1211は、移動端末1100の位置情報と、移動端末1100のカメラ(不図示)により撮影された不審者、不審物等の画像とを一緒に、取得するような構成としても良い。
第2通信部1212は、移動端末1100の第2通信部1132と通信ネットワークを介して通信を行い、前述の制御切替情報を受信する。第2通信部1212は、制御切替情報を制御部1220へ送る。第2通信部1212は、第2通信部1132に対して、情報を送信することもできる。ここで、第1通信部1211と第2通信部1212は、機能的に別となり、独立に送受信することができればよい。つまり、第1通信部1211と第2通信部1212は、ハード構成として別体となっている必要はなく、1つのハードウェアで実装することも可能である。また、第2通信部1212は、制御切替情報と、移動端末1100のカメラ(不図示)により撮影された不審者、不審物等の画像とを一緒に、取得するような構成としても良い。
制御部1220は、追跡部1221と記憶部1222とを備える。加えて、制御部1220は、通信部1210と、表示部1230と、各カメラ300-1から300-Nとに接続されている。制御部1220は、通信部1210から取得した制御切替情報に基づいて、カメラを制御する。より具体的には、制御部1220は、制御切替情報が来たことにより、通常モードのカメラ制御から追跡モードのカメラ制御への切り替えを実施する。ここで、通常モードでは、各カメラ300-1から300-Nに対し、それぞれの監視領域が設定されており、制御部1220は、各カメラ300-1から300-Nに設定されている監視領域を撮影するように制御を実施する。一方、追跡モードでは、制御部1220は、取得した移動端末1100の位置情報が示す位置へ各カメラ300-1から300-Nの撮影範囲を制御し、追跡対象を追跡する。つまり、制御部1220は、カメラ300-1から300-Nが、移動端末1100の位置情報が示す位置を撮影可能なように、カメラ300-1から300-NのPTZ(Pan-Tilt-Zoom)を制御する。さらに、制御部1220は、カメラ300-1から300-Nにより撮影された映像を受け取り、表示部1230へ送る。ここで、追跡とは、ある映像フレーム例えば前映像フレームであるn-1フレーム(nは自然数)で検出した物体と、現映像フレーム(nフレーム)で検出した物体とを同一物体として照合し得るか否かを判断して、同一とみなす物体の移動状況を計測するものである。より詳細には、カメラ300-1などで得られる映像内に追跡対象物が含まれるようにカメラのパン、チルト、ズームを制御することをいう。
追跡部1221は、前述の追跡モードになった場合に、カメラ300-1から300-Nにより撮影された映像に基づき、追跡候補を選定する。さらに、追跡部1221は、管理装置1200の操作者が追跡候補の中から指定した追跡対象に対し、追跡を開始する。詳細な追跡フローについては、後述する。
記憶部1222は、HDD(Hard Disc Drive)などの記憶媒体である。記憶部1222は、各カメラ300-1から300-Nで撮影された映像、各カメラ300-1から300-Nの設置されている位置情報、移動端末1100の進行方向、移動端末1100の加速度方向、制御切替情報、及び移動端末1100の位置情報、特定物体(人、動物、小型の飛行機、ヘリコプターなど)の特徴量、警備員の人物、服装などの特徴量などを蓄積している。
表示部1230は、液晶ディスプレイ装置を含む。表示部1230は、制御部1220により得られたカメラ映像を表示する。また、表示部1230は、追跡対象の候補である追跡候補の情報を表示し、操作者に対して、追跡対象とする追跡候補の選定を促す情報を表示する。
各カメラ300-1から300-Nは、CMOS(Complementary Metal Oxide Semiconductor)カメラである。また、各カメラ300-1から300-Nは、PTZ(Pan-Tilt-Zoom)制御により、撮影範囲を変更することができる。ここで、本実施形態ではCMOSカメラとしたが、CCD(Charge Coupled Devices)カメラや、赤外線カメラなどでもよく、特徴量を抽出可能な映像が取得できる映像取得手段であればどのようなカメラであっても良い。また、各カメラ300-1から300-Nは、同一のカメラである必要はなく、各種のカメラを採用することも可能である。また、本実施形態では、カメラ300-1と管理装置1200とが別の装置として構成される例を示したが、監視システム1000は、カメラ300-1と管理装置1200とが一体となったインテリジェントカメラを採用する構成としても良い。さらに、監視システム1000は、カメラ300-1から300-Nのそれぞれに、管理装置1200を埋め込んだ構成としても良いし、カメラ300-1だけに管理装置1200を内蔵させ、該管理装置1200がその他のカメラについても制御する構成としても良い。
(移動端末の制御)
次に、図2を用いて、移動端末1100における制御フローを説明する。図2は、移動端末1100が管理装置1200に対して、情報を送信するフロー図である。
ステップS110では、位置取得部1110は、GPS衛星から、自装置の位置情報を取得する。取得した位置情報を第1通信部1131へ送る。ここで、位置取得部1110は、所定間隔(例えば、10秒毎)で、位置情報を取得する構成としている。ここで、所定間隔として、可変な周期を採用しても良いし、ランダムな周期を採用しても良い。また、所定間隔の他の例として、位置取得部1110は、警備員から移動端末1100に対する要求があった場合に位置情報の取得を行う構成としても良い。この場合、所定間隔は、警備員から移動端末1100に対する要求があったときとされる。
ステップS120では、動作検出部1120は、警備員から監視制御(より具体的には、カメラ制御)を通常モードから追跡モードへと切り替える要求である制御切替情報を受け付ける。動作検出部1120は、取得した制御切替情報を第2通信部1132へ送信する。ここで、ステップS110とステップS120で、位置取得部1110と動作検出部1120は、移動端末1100の位置情報と制御切替情報を別途独立に、かつ順番に取得する構成としている。位置取得部1110と動作検出部1120は、一緒に、かつ同時に取得する構成とすることもできる。また、動作検出部1120は、制御切替情報と、移動端末1100のカメラ(不図示)により撮影された不審者、不審物等の画像とを一緒に、取得するような構成としても良い。
ステップS130では、第1通信部1131は、取得した移動端末1100の位置情報を、第1通信部1211を介して管理装置1200へ送信する。また、第2通信部1132は、取得した制御切替情報を、第2通信部1212を介して管理装置1200へ送信する。ここで、第1通信部1131は、位置取得部1110が移動端末1100の位置情報を所定間隔で(例えば、周期的に)取得するたびに、管理装置1200に対して、情報を送信する構成としている。つまり、第1通信部1131は、所定間隔で(例えば、周期的に)管理装置1200に対して、移動端末1100の位置情報を送信する。また、第1通信部1131または第2通信部1132は、移動端末1100のカメラ(不図示)により撮影された不審者、不審物等の画像を送信するような構成としても良い。ここで、位置取得部1110の位置情報を取得する所定間隔と、第1通信部1131の位置情報を送信する所定間隔とは、同期されていてもよく、非同期とされていても良い。
(管理装置によるカメラ制御)
次に、図3を用いて、管理装置1200がカメラ300-1から300-Nを制御するフローを説明する。図3は、管理装置1200が、カメラ300-1から300-Nの撮影範囲を制御する制御フロー図である。
ステップS210では、第1通信部1211は、移動端末1100から移動端末1100の位置情報を受信し、制御部1220に対して、取得した情報を送る。また、第2通信部1212は、移動端末1100から、制御切替情報を受信し、制御部1220に対して、取得した情報を送る。また、第1通信部1211または第2通信部1212は、移動端末1100のカメラ(不図示)により撮影された不審者、不審物等の画像も取得するような構成としても良い。
ステップS220では、制御部1220は、制御切替情報に基づき、カメラ制御のモードを通常モードから追跡モードへ切り替える。また、制御部1220は、取得した移動端末1100の位置情報に基づいて、カメラ300-1から300-Nのパン、チルト、ズームを制御する。より詳細なアルゴリズムについては、以下に示す。まず、記憶部1222は、予めカメラが撮影可能な位置を記憶しておく。制御部1220は、取得した位置情報である実世界座標が、記憶部1222に記憶されたパン、チルト、ズームの組合せの内、撮影可能範囲内に入っている組合せを抽出する。そして、制御部1220は、抽出されたパン、チルト、ズームの組合せの内、最も現在の組合せに近い組合せを目標値としてカメラ300-1のパン、チルト、ズームを制御する。ここで、最も現在の組合せに近い組合せを選択する構成としたが、制御部1220は、取得した位置情報である実世界座標がカメラの中心部に存在する組合せを選択するようにしても良い。
さらに、制御部1220は、警備員の進行方向を検知して、警備員の現在位置を予測したカメラ制御を実施することも可能である。具体的には、制御部1220は、移動端末1100の位置情報と送信時刻情報とを周期的に受信する。その後、制御部1220は、今回受信した移動端末1100の位置情報及び送信時刻と、前回受信した移動端末1100の位置情報及び送信時刻と、から警備員の進行方向及び移動速度を算出する。次に、制御部1220は、今回の位置情報を受信した時刻と現在時刻との差と、移動速度とに基づき、移動予想量を算出する。制御部1220は、算出した警備員の進行方向と移動予想量とに基づいて、移動端末1100が現在時刻に位置するであろう位置を予測する。最後に、制御部1220は、予測した位置情報を撮影範囲に含めるように上述の方法で各カメラ300-1から300-Nのパン、チルト、ズームを制御する。
さらに、制御部1220は、警備員の進行方向を検知して、警備員の将来位置を予測したカメラ制御を実施することも可能である。具体的には、制御部1220が、警備員の将来位置の予測として、上述した現在位置を予測する手段と同様の処理を、将来時刻に対して実施することにより、将来位置を予測する。
ステップS230では、制御部1220は、カメラ300-1から300-Nに対して、ステップS220で算出した制御量を送信する。その後、フローは終了する。ここで、制御部1220は、周期的に取得する移動端末の位置情報に基づき、カメラ300-1から300-Nのカメラ位置を逐次、更新していく構成としても良い。この構成とすることにより、移動端末1100を所持する警備員が以前取得した位置から離れてしまっている場合にも、カメラの撮影範囲を更新していくため、各カメラ300-1から300-Nが警備員を捕捉する可能性を向上させることができる。
(管理装置による追跡制御)
次に、図4を用いて、管理装置1200の追跡制御のフローを説明する。図4は、管理装置1200が、追跡を行う追跡制御のフロー図である。
ステップS310では、制御部1220は、モード変更要求を取得した場合に、カメラ制御を通常モードから追跡モードへ変更する。
ステップS320では、追跡部1221は、各カメラ300-1から300-Nにより撮影された映像を取得する。追跡部1221は、各カメラ300-1から300-Nから取得した映像を記憶部1222に格納する。
ステップS330では、追跡部1221は、各カメラ300-1から300-Nから取得した映像から特徴量を抽出する。追跡部1221は、抽出した特徴量と、予め記憶部1222に蓄積されている、人を特定する特徴量とを比較して、人の候補を抽出する。追跡部1221は、抽出された人の候補を追跡候補として選定する。ここで、追跡部1221は、移動体の移動量及び移動方向を示す動きベクトルを取得して、移動体のみを追跡候補として選定しても良い。より詳細には、追跡部1221は、複数のフレームを読み出し、クレーム間の画像データを比較することによって、動きベクトルを取得する。また、追跡部1221は、第1通信部1211または第2通信部1212が取得した移動端末1100のカメラ(不図示)により撮影された不審者の画像から特徴量を抽出し、抽出した特徴量と、各カメラ300-1から300-Nから取得した映像から抽出された特徴量とを比較することにより、追跡候補を抽出する構成とすることも可能である。加えて、管理装置1200の追跡制御は、追跡候補として人を抽出する構成としたが、特に人に限定されず、動物、移動体(車、バイク)、及び飛行体(飛行機、ヘリコプター)であっても良い。
ステップS340では、追跡部1221は、ステップS320により撮影された各カメラ300-1から300-Nの映像と、ステップS330で抽出した追跡候補とを表示部1230へ出力する。表示部1230は、各カメラ300-1から300-Nの映像を表示すると共に、ステップS330で抽出した追跡候補を映像内で、強調表示する。
ステップS350では、表示部1230は、操作者による1または複数の追跡対象の指定を受け付ける。ここで、表示部1230が操作者の指定の受け付けを行うこととしているが、特に限定される必要はなく、制御部1220が操作者の指定を受け付けるような構成としても良い。
ステップS360では、追跡部1221は、追跡対象の指定に基づいて追跡対象を追跡する。以下に具体的な追跡対象の検出アルゴリズムを示す。追跡部1221は、前フレームにおいて検出された追跡対象の位置に基づいて、現フレーム上の追跡対象の位置を予測する。この手法としては、カルマンフィルタ、または、パーティクルフィルタを用いる方法など、既存の様々な方法を用いることができる。そして、追跡部1221は、予測した追跡対象の現フレーム上の位置と現フレームの映像に基づいて、追跡を実行する。尚、追跡については、特に前述の形態に限定されず、追跡対象と、現フレーム内のオブジェクトとの間の特徴量の類似性や尤度との対応付けによっても追跡を行うことができる。加えて、制御部1220は、各カメラ300-1から300-Nの撮影されている映像を通信部1210を介して、移動端末1100へ送信するような構成としても良い。前述の構成とすることにより、仮に警備員が不審者を見失った場合にも、再度追跡を開始することが可能となる。また、警備員が複数人存在し、移動端末が複数存在する場合には、制御部1220は、位置情報を取得した移動端末以外の移動端末に対して、映像を送信する構成とすることも可能である。さらに、制御部1220は、追跡部1221で追跡対象を追跡しながら、各カメラ300-1から300-Nにより撮影された映像を解析し、追跡対象に関連するメタデータを生成する構成としたり、映像に対応づけて、記憶部1222に蓄積する構成とすることも可能である。ここで、メタデータとは、追跡対象の服の色データ、顔の特徴量などである。
(実施形態1の具体例)
次に、図5から図10を用いて、実施形態1の具体例を説明する。図5は、実施形態1における警備員が不審者を発見した場合の動作の具体例を示す俯瞰図である。
具体例として、ある施設には、建物A、建物B、建物Cが存在する。建物Aには、カメラ300-1とカメラ300-2が備えられている。建物Bには、カメラ300-3が備えられている。図5の中央に不審者が存在する。図5の右下に警備員が存在する。警備員が、不審者を発見した場合、警備員は、移動端末1100に対しモード変更を要求する入力操作を実行する。入力を受け付けた移動端末1100は、管理装置1200へ制御切替情報を移動端末1100の位置情報と共に送信する。その後、警備員は、不審者を確保するために、不審者の方向へ移動を開始する。不審者が移動している間も、移動端末1100は、取得した位置情報を逐次、管理装置1200へ送信している。
図6は、実施形態1に係る管理装置のカメラ制御の俯瞰図を示す。図6では、管理装置1200は、移動端末1100から制御切替情報を取得した場合に、カメラ300-1から300-3を制御するモードを追跡モードへと切り替える。また、管理装置1200は、取得した移動端末1100の位置情報に基づき、移動端末1100から取得した(警備員が存在するであろう)位置へカメラ300-1から300-3の視線方向を取得した移動端末1100の位置へ向ける。
図7は、カメラ300-1の映像例を示す図である。カメラ300-1には、警備員と不審者が遠距離で撮影されている。また、図8は、カメラ300-2の映像例を示す図である。カメラ300-2には、警備員と不審者が中距離で撮影されている。さらに、図9は、カメラ300-3の映像例を示す図である。カメラ300-3には、警備員が近距離で撮影されているが、不審者は、上半身しか撮影されていない。制御部1220は、カメラ300-3のフォーカス対象を移動端末1100の位置に制御しているため、カメラ300-3は前記の不審者を捉えられないこととなる。各カメラ300-1から300-3で得られた映像は、管理装置1200へ送られ、記憶部1222に蓄積される。
図10は、実施形態1に係る管理装置の表示部の具体例を示す図である。制御部1220は、各カメラ300-1から300-3により撮影された映像を表示部1230に表示する。また、制御部1220は、各カメラ映像に映る追跡候補1から追跡候補5までを抽出する。制御部1220は、カメラ300-1から300-3の映像に追跡候補1から追跡候補5を囲む表示を行うことで強調表示する。また、追跡候補1から追跡候補5の中から追跡対象を決定できるように、追跡候補を1つまたは複数選択可能としている。本具体例では、表示されている追跡候補1から追跡候補5について、管理装置操作者が、追跡候補1と追跡候補3を選択し、決定ボタンを押すことにより、追跡候補1と追跡候補3を追跡対象として決定する。追跡部1221は、決定された追跡対象を追跡対象に決定し、決定された追跡対象に対して追跡を実行する。より具体的には、制御部1220は、画面の中央付近に追跡対象1が撮影されるようにカメラ300-1を制御する。また、制御部1220は、画面の中央に追跡対象3が画面の中央付近に撮影されるようにカメラ300-2を制御する。
さらに、図11に変形例を示す。図10では、操作者は、選択するステップと決定するステップを実行する必要があり、2つの動作が必要であった。ここで、図11に示すように、カメラ300-1から300-3で取得された画像に強調表示された追跡候補を直接選択可能とする構成としても良い。より詳細に記述すると、図11内の「追跡対象1」は、グレーになっており、追跡対象として選択されている状態を示す。また、「追跡対象2」は、白になっており、対象として選択されていない状態を示す。操作者は、図11内の「追跡対象1」を押すと、図11に示すように、グレーになり、追跡が開始される。さらに、操作者は、図11内の「追跡対象1」をもう一度押すと、白くなり、追跡が停止する。前述の構成とすることにより、操作者の視覚性、操作性を向上することができる。
(作用効果)
移動端末の位置情報を逐次取得することができるため、警備員が移動している場合にも、カメラが警備員または不審者を補足できる可能性が向上する。また、移動端末の位置情報に基づいて、カメラ制御を実施するとともに、追跡候補を選択可能に表示させることにより、移動端末のユーザである警備員ではない追跡対象を選定することができる。さらに、移動端末が、位置情報の送信に合わせて、自身が撮影した不審者等の追跡対象の画像を管理装置に送ることにより、管理装置における追跡候補の抽出の確からしさを高められ、追跡候補を絞ることができる。
[実施形態2]
本実施形態は、監視システムにおいて、移動端末の加速度センサを使用して、警備員の追跡の有無を推定し、警備員が追跡を行っていると判定された場合に、移動端末から管理装置に制御切替情報を送信する構成とする。また、複数台ある監視カメラから制御する監視カメラを1つ選択する構成とする。さらに、追跡候補を抽出し、管理装置操作者に対して追跡対象を選択させる前に、警備員を仮追跡対象として追跡を開始する構成とする。
(構成)
図12は、本実施形態に係る監視システム2000の構成を例示するブロック図である。図12を参照すると、監視システム2000は、移動端末2100と、管理装置(管理サーバ)2200と、カメラ300-1から300-Nとから構成される。
移動端末2100は、位置取得部1110と、動作検出部2120と、通信部1130と、加速度センサ2140とを少なくとも備える。移動端末2100は、図20に示す実施形態1の移動端末1100のハードウェア構成をすべて備え、さらに加速度センサ2140を備える。
位置取得部1110及び通信部1130は、実施形態1と同様である。
動作検出部2120は、位置取得部1110と、通信部1130と、加速度センサ2140とに接続されている。また、動作検出部2120は、加速度センサ2140の出力値に基づき、警備員の所定動作を検出する。動作検出部2120は、警備員の所定動作が検出された場合に、カメラ制御のモードを追跡モードへと変更を要求する制御切替情報を通信部1130へ送る。また、動作検出部2120は、位置取得部1110に対して、制御切替情報を送る。ここで、所定動作とは、警備員が、不審者や不審物を発見し、追跡状態になったことを指す。また、動作検出部2120は、実施形態1と同様に警備員の操作により、制御切替情報を送信する処理が独立に実行される構成としても良い。加速度センサ2140は、移動端末2100における上下方向の加速度および水平方向の加速度を検知する動作検知装置と表現されても良い。
管理装置2200は、通信部1210と、制御部2220と、表示部1230とを備える。管理装置2200は、図20に示す実施形態1に係る管理装置1200のハードウェア構成と同様である。
通信部1210及び表示部1230は、実施形態1と同様である。
制御部2220は、追跡部2221と、記憶部1222と、選択部2223とを備える。制御部2220は、実施形態1の制御部1220と同様のカメラ制御を実施する。制御部2220は、通信部1210が取得した制御切替情報に基づいて、カメラを制御する。より具体的には、実施形態1と同様にカメラ制御のモードを通常モードから追跡モードへと変更を行い、カメラを制御する。
追跡部2221は、前述の追跡モードになった場合に、カメラ300-1から300-Nの映像から、暫定的な追跡対象である仮追跡対象を抽出する。加えて、追跡部2221は、前述の追跡モードになった場合に、カメラ300-1から300-Nの映像から、追跡候補を抽出する。さらに、追跡部2221は、抽出された追跡候補の中から、管理装置2200の操作者によって指定された追跡対象に対し、追跡を行う。
記憶部1222は、実施形態1と同様である。
選択部2223は、取得した移動端末2100の位置情報と、予め記憶部1222に記憶されている各カメラ300-1から300-Nの位置情報とに基づいて、移動端末2100の位置に最も近いカメラを選択する。ここで、もっとも近いカメラを選択する構成としたが、特に、もっとも近いカメラに限られない。具体的には、最も遠いカメラを選定する構成としても良い。また、選定するカメラは1つでなくても良く、移動端末1100からの距離が所定範囲に入っているカメラすべてを選択する構成でもよい。
各カメラ300-1から300-Nは、実施形態1と同様である。
(移動端末の制御)
次に、図13を用いて、移動端末2100における制御フローを説明する。図13は、移動端末1100が管理装置2200に対して、情報を送信するフロー図である。
ステップS410では、図2のステップS110と同様の処理が実施される。
ステップS420では、動作検出部2120は、加速度センサ2140から移動端末2100の加速度を受け付ける。
ステップS430では、動作検出部2120は、取得した加速度が所定値以上かを否かを判定する。動作検出部2120は、加速度が所定値以上である場合には、警備員が所定動作を行ったと判定する。動作検出部2120は、制御切替情報を第2通信部1132に送信し、ステップS440へ進む。動作検出部2120は、加速度が、所定値未満である場合には、警備員が所定動作を行っていないと判定し、ステップS420へ戻り、再度加速度を検出する。ここで、動作検出部2120は、単に加速度の所定値を確認することにより、警備員が所定動作を行ったと判定したが、加速度が所定値以上の期間がある一定期間を超えた場合に、警備員が所定動作を実行したと判断しても良い。
ステップS440では、図2のステップS130と同様の処理が実施され、フローは終了する。
(管理装置によるカメラ制御)
次に、図14と下記表1を用いて、管理装置2200がカメラ300-1から300-Nを制御する制御フローを説明する。図14は、管理装置2200が、各カメラ300-1から300-Nの撮影範囲を制御する制御フロー図である。また、表1は、記憶部1222に蓄積されている各カメラ300-1から300-Nの位置情報を示す表である。
ステップS510では、図3のステップS210と同様の処理が実施される。
ステップS520では、選択部2223は、取得した移動端末2100の位置情報と、下記表1に示すような各カメラ300-1から300-Nの位置情報とを比較して、移動端末2100の位置に最も近いカメラを選択する。より具体的には、選択部2223は、取得した移動端末2100の位置情報である実世界座標が北緯35度63分81.100秒と東経139度74分72.894秒である場合に、各カメラの北緯の度及び東経の度と、取得した移動端末2100の位置情報の北緯の度及び東経の度とを比較し、差分を算出する。選択部2223は、算出された差分が最小のカメラを各カメラ300-1から300-N中から選択する。選択されたカメラが複数ある場合には、北緯の分及び東経の分を用いて差分を算出して、差分が最小となるカメラを選択する。選択されたカメラが複数ある場合には、北緯の秒及び東経の秒について比較し、差分が最少となるカメラを選択する。この時点で、最小なカメラが複数存在する場合には、そのすべてを対象カメラとして選定する。この具体例では、カメラ300-Nが選定される。
Figure 2024032829000002
ステップS530では、図3のステップS220と同様の処理が実施される。ここで、本ステップでは、さらに、警備員の進行方向を検知して、警備員の現在位置を予測したカメラ制御を実施することも可能である。具体的には、制御部2220は、移動端末2100の位置情報と送信時刻情報とを周期的に受信する。加えて、制御部2220は、移動端末2100の加速度センサ2140により取得された移動端末2100の加速度及び加速度方向を受信する。その後、制御部2220は、今回受信した移動端末2100の位置情報、送信時刻情報及び加速度から、警備員の移動予想量を算出する。次に、制御部2220は、算出した移動予測量と取得した加速度方向とに基づいて、移動端末2100が現在時刻に位置するであろう位置を予測する。最後に、制御部2220は、予測した移動端末2100の位置を撮影範囲に含めるように、上述の方法で各カメラ300-1から300-Nのパン、チルト、ズームを制御する。
ステップS540では、図3のステップS230と同様が処理を実施され、フローは終了する。
(管理装置による追跡制御)
次に、図15を用いて、管理装置2200の追跡制御のフローを説明する。図15は、管理装置2200が、追跡を行う追跡制御のフロー図である。
ステップS610では、図4のステップS310と同様の処理が実施される。
ステップS620では、図4のステップS320と同様の処理が実施される。
ステップS630では、追跡部2221は、取得した映像から特徴量を抽出する。追跡部2221は、取得した特徴量と予め記憶部1222に蓄積されている警備員の人物の特徴量とを比較して、警備員を抽出する。そして、追跡部2221は、抽出された警備員を仮追跡対象として決定する。さらに、追跡部2221は、決定した仮追跡対象を追跡する。追跡手法については、実施形態1の追跡アルゴリズムと同様である。
ステップS640では、図4のステップS330と同様の処理が実施される。
ステップS650では、追跡部2221は、ステップS620で取得した各カメラ300-1から300-Nの映像と、ステップS630で設定した仮追跡対象と、ステップS640で抽出した追跡候補とを表示部1230に出力する。表示部1230は、ステップS620で取得した各カメラ300-1から300-Nの映像を表示すると共に、ステップS630で設定した仮追跡対象とステップS640で抽出した追跡候補とを画面に囲み強調表示する。強調表示については、線で囲む、検知対象をマーカ等で塗りつぶすなどの種々のやり方を採用できる。
ステップS660では、図4のステップS350と同様の処理が実施される。
ステップS670では、追跡部2221は、追跡対象の指定に基づいて、追跡対象を仮追跡対象から指定された追跡対象へ変更を行い、追跡を継続する。具体的な追跡対象の検出アルゴリズムは、実施形態1と同様である。
(実施形態2の具体例)
次に、図5、図16、図17に基づいて、実施形態2の具体例を示す。図5は、実施形態1で説明した構成と同様の構成である。図5で、警備員が不審者を発見した場合に、警備員は、移動端末1100を操作することなく、不審者を確保すべく、不審者の方向へ移動を実施する。移動端末1100の加速度センサ2140は、警備員の加速度を取得する。動作検出部2120は、取得された加速度が所定の加速度以上となっていることを検知した場合に、制御切替情報を、第2通信部1132を介して管理装置2200へ送信する。
図16は、実施形態2に係る管理装置のカメラ制御の俯瞰図を示す。図16で、制御部2220は、各カメラ300-1から300-3から映像を取得する。制御部2220は、各カメラ300-1から300-3の位置情報と、移動端末2100の位置情報とに基づき、移動端末2100の位置に最も近いカメラ300-2を選定する。さらに、制御部2220は、移動端末2100の位置までカメラ300-2の視線方向を取得した移動端末1100の位置へ向ける。
図17は、実施形態2に係る管理装置の表示部の具体例を示す図である。制御部2220は、各カメラ300-1から300-3により撮影された映像を表示部1230に表示する。また、制御部2220は、各カメラ映像に映る警備員を抽出し、仮追跡対象として決定する。また、制御部2220は、各カメラ映像に映る追跡候補1を抽出する。表示部1230は、カメラ300-1から300-3の映像を表示すると共に、仮追跡対象及び追跡候補1を囲み強調表示する。また、制御部2220は、表示部1230に追跡候補の中から追跡対象を決定できるように、追跡候補を1つまたは複数選択可能に表示を実行させる。つまり、今回、表示部1230に表示されている追跡候補1について、管理装置操作者が、追跡候補1を選択し、決定ボタンを押すことにより、追跡候補1を追跡対象として変更する。さらに、制御部2220は、決定された追跡対象を追跡するためのカメラ制御を実施する。
(作用効果)
移動端末の加速度センサを使用して、警備員の追跡の有無を推定し、警備員が追跡していると推定された場合に、移動端末から管理装置に制御切替情報を送信する構成としているため、警備員が、移動端末を直接操作して制御切替情報を送れないような状況、つまり、不審者や不審物を即座に追跡する必要がある場合にも、管理装置にモード変更が必要な情報を伝えることができる。さらに、複数台ある監視カメラの中から制御する監視カメラを選択する構成とすることにより、監視カメラを制限して、最小限のカメラで対象を捕捉することが可能となる。また、追跡候補を抽出し、管理装置の操作者に対して追跡対象を選択させる前に、警備員を仮追跡対象として追跡を開始する構成とすることにより、移動端末との通信量、通信時間を低減することができる。
[実施形態3]
(発明の特徴)
移動端末が周期的に管理装置へ位置情報を送信している構成において、制御切替情報が送信される場合に、移動端末の位置を取得する周期を早くする構成とする。また、移動端末は、管理装置の操作者が追跡対象を決定した場合に、周期を早くする制御を終了する。加えて、仮追跡対象から実際に追跡すべき対象である追跡対象へ自動で切り替える構成とする。
(構成)
実施形態3の機能ブロック及びハードウェア構成については、実施形態2と同様である。
(移動端末の制御)
次に、図18を用いて、移動端末2100における制御フローを説明する。図18は、移動端末2100が、管理装置2200に対して情報を送信するフロー図である。
ステップS710では、図2のステップS110と同様の処理が実施される。
ステップS720では、図2のステップS120と同様の処理が実施される。
ステップS730では、位置取得部1110は、動作検知部2120から、制御切替情報を取得する。位置取得部1110は、制御切替情報を取得した場合に、自身が取得する位置情報の取得周期を通常の取得周期である低速周期より早い高速周期に変更する。具体的には、位置取得部1110は、制御切替情報が無い場合に10秒周期(低速周期)で更新していた場合に、制御切替情報を受け付けると自身の位置取得周期を2秒周期(高速周期)による取得に切り替える。ここで、第1通信部1131は、位置取得部1110により取得された位置情報が取得される毎に管理装置2200へ位置情報を送信する構成としているが、第1通信部1131においても、周期を設定し、制御切替情報に応じて周期を変える構成でもよい。
ステップS740では、図2のステップS130と同様の処理が実行される。
ステップS750では、位置取得部1110は、制御部2220の追跡部2221が、追跡対象を設定したことを示す情報を取得したか否かを判定する。位置取得部1110は、追跡部2221が追跡対象を設定したことを示す情報を取得していない場合には、ステップS750に留まる。位置取得部1110は、追跡部2221が追跡対象を設定したことを示す情報を取得した場合には、ステップS760へ進む。
ステップS760では、位置取得部1110は、追跡部2221が追跡対象を設定したことを示す情報を取得した場合に、高速周期から低速周期に変更する。その後、フローは終了する。
(管理装置によるカメラ制御)
管理装置によるカメラ制御は、実施形態2の図14と同様の制御フローであるため、説明を割愛する。
(管理装置による追跡制御)
次に、図19を用いて、管理装置2200における追跡制御の制御フローを説明する。図19は、管理装置2200が、追跡を行う追跡制御のフロー図である。
ステップS810では、図4のステップS310と同様の処理が実施される。
ステップS820では、図4のステップS320と同様の処理が実施される。
ステップS830では、図15のステップS630と同様の処理が実施される。
ステップS840では、制御部2220は、通信部1210を介し、移動端末2100へ仮追跡対象を設定したことを示す情報を送信する。ここで、制御部2220は、仮追跡対象を設定したこと示す情報を移動端末2100に送信することとしたが、後述するステップS870で、追跡対象を決定した場合に、移動端末2100に追跡対象を設定したこと示す情報を送信するようにしても良い。
ステップS850では、追跡部2221は、各カメラ300-1から300-Nの映像から、仮追跡対象との比較結果が所定の条件を満たす移動体を検出する。そして、追跡部2221は、検出された移動体を新たな追跡対象とする。つまり、追跡部2221は、追跡対象を、警備員である仮追跡対象から検出された移動体に変更する。より具体的な判定アルゴリズムを以下に示す。まず、追跡部2221は、各カメラ300-1から300-Nの映像中の複数のフレームから、仮追跡対象と少なくとも1つの他の移動体とを検出する。さらに、追跡部2221は、読み出したフレーム間の画像データを比較することによって、画像内(画角内)における仮追跡対象の移動量及び移動方向を示す動きベクトルと、他の移動体の移動量及び移動方向を示す動きベクトルとを取得する。次いで、追跡部2221は、仮追跡対象の動きベクトルと他の移動体の動きベクトルが略同一方向であって、移動量の差分が所定値以下の他の移動体を新たな追跡対象として設定する。このとき、追跡部2221は、移動体は存在するが所定の条件を満たす他の移動体が無い場合や、所定の条件を満たす他の移動体が複数検知された場合には、抽出された移動体を追跡候補として、表示部1230に強調表示させる。制御部2220は、管理装置2200の操作者に対して、追跡対象の選択を要求する。
ステップS860では、追跡部2221は、ステップS850で設定された追跡対象を新たな追跡対象へと変更を行い、追跡を継続する。その後、フローは終了する。具体的な追跡対象の検出アルゴリズムは、実施形態1と同様である。
(作用効果)
追跡対象が決定されるまで、移動端末の位置を取得する周期を早くすることにより、管理装置へ送信できる位置情報のリアルタイム性が向上されるとともに、周期を早くする制御の終わりのトリガーを追跡対象の決定とすることにより、移動端末の位置を取得する周期を過度に長くすることを低減できる。加えて、仮追跡対象から実際に追跡すべき対象である追跡対象への切り替えを自動で行うことができるため、高速で追跡対象の補足が可能となる。
以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者は、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。
[付記1]
移動端末と、
前記移動端末と通信する管理装置とを備え、
前記移動端末は、
前記移動端末の位置情報を所定間隔で前記管理装置へ送信する第1の送信部を有し、
前記管理装置は、
前記位置情報を取得した場合に、前記位置情報に基づいて、カメラの向きを制御する制御部を有する
ことを特徴とする監視システム。
[付記2]
前記制御部は、前記位置情報が示す位置が撮影される撮影範囲へカメラの向きを制御する付記1に記載の監視システム。
[付記3]
前記移動端末は、
所定動作を検出した場合に、前記管理装置に前記カメラのカメラ制御を切り替える制御切替情報を送信する第2の送信部を有し、
前記制御部は、前記制御切替情報を受信した場合に、前記移動端末の前記位置情報に基づいて、前記カメラの向きを制御する
付記1に記載の監視システム。
[付記4]
前記管理装置は、所定範囲を監視する通常モードと前記位置情報に基づき監視する追跡モードとを備え、
前記制御部は、前記制御切替情報を受信した場合に、前記通常モードから前記追跡モードに切り替え、前記移動端末の前記位置情報に基づいて、前記カメラの向きを制御する
付記1または2に記載の監視システム。
[付記5]
前記制御部は、前記カメラの位置情報を取得し、
前記制御部は、取得した前記カメラの位置情報と取得した前記移動端末の位置情報に基づいて、前記カメラの中から制御するカメラを少なくとも1つ選定する
付記1から4のいずれかに記載の監視システム。
[付記6]
前記管理装置は、
前記カメラより取得した映像に基づいて、追跡対象の候補を抽出する追跡部と、
前記映像を表示すると共に、前記映像に含まれる前記追跡対象の候補を選択可能に強調表示する表示部とを有する
付記1から5のいずれかに記載の監視システム。
[付記7]
前記追跡部は、選択された追跡対象の候補を追跡対象とし、前記追跡対象を追跡する
付記6に記載の監視システム。
[付記8]
前記追跡部は、前記カメラより取得した映像に基づいて、前記移動端末の所持者を特定し、特定された前記所持者を仮追跡対象として前記仮追跡対象を追跡する
付記6または7に記載の監視装置。
[付記9]
前記追跡部は、さらに前記カメラより取得した映像に基づいて、前記移動端末の所持者とは異なる移動体を抽出し、
前記表示部は、抽出された前記移動体を前記追跡対象の候補として強調表示する
付記6から8のいずれかに記載の監視装置。
[付記10]
前記移動端末は、前記所定動作を検出した場合に、前記所定動作を検出していない場合に比べて、前記位置情報を取得する間隔を短くする
付記1から9のいずれかに記載の監視システム。
[付記11]
前記管理装置は、前記追跡部が前記追跡対象を決定した場合に、前記管理装置の前記位置情報を取得する間隔を、前記所定動作を検出していない場合の取得間隔に変更する
付記7に記載の監視システム。
[付記12]
前記第1の送信部は、前記移動端末に対する入力を受け付けた場合に、前記移動端末の位置情報を所定間隔で前記管理装置へ送信する
付記2から11のいずれかに記載の監視システム。
[付記13]
前記移動端末は、さらに、加速度センサを有し、
前記第1の送信部は、前記加速度センサにより取得された加速度が所定値以上となった場合に、前記移動端末の位置情報を所定間隔で前記管理装置へ送信する
付記2から11のいずれかに記載の監視システム。
[付記14]
特定施設を監視する警備員が所持する移動端末と、
前記移動端末と通信し、前記特定施設を監視する管理装置と、
前記特定施設の少なくとも一部を撮影可能な少なくとも一つのカメラとを備え、
前記移動端末は、
前記移動端末の位置情報を所定間隔で前記管理装置へ送信する第1の送信部を有し、
前記管理装置は、
前記位置情報を取得した場合に、前記位置情報に基づいて、カメラの向きを制御する制御部を有する
ことを特徴とする施設監視システム。
[付記15]
自装置の位置情報を所定間隔で管理装置へ送信する第1の送信部を有し、
前記第1の送信部は、所定動作を検出した場合に、前記管理装置に対して、前記位置情報の送信を開始する
ことを特徴とする移動端末。
[付記16]
前記第1の送信部は、前記移動端末に対する入力を受け付けた場合に、前記位置情報を所定間隔で前記管理装置へ送信する
付記15に記載の移動端末。
[付記17]
加速度センサをさらに有し、
前記第1の送信部は、前記加速度センサにより取得された加速度が所定値以上となった場合に、前記位置情報を所定間隔で前記管理装置へ送信する
付記15に記載の移動端末。
[付記18]
移動端末の位置情報を所定間隔で取得する取得部と、
前記移動端末の位置情報を取得した場合に、前記位置情報に基づいて、カメラの向きを制御する制御部とを備える
ことを特徴とする管理装置。
[付記19]
前記制御部は、前記移動端末からカメラ制御を切り替える制御切替情報を受信した場合に、前記移動端末の前記位置情報に基づいて、前記カメラの向きを制御する
付記18に記載の管理装置。
[付記20]
移動端末の位置情報を所定間隔で取得し、
前記位置情報を取得した場合に、前記位置情報に基づいて、カメラの向きを制御する
ことを特徴とする監視方法。
[付記21]
移動端末の位置情報を所定間隔で取得する処理、および
前記位置情報を取得した場合に、前記位置情報に基づいて、カメラの向きを制御する処理、
をコンピュータに実行させるための監視プログラム。
[付記22]
移動端末と、
前記移動端末と通信する管理装置とを備え、
前記移動端末は、
前記移動端末の位置情報を前記管理装置へ送信する第1の送信部を有し、
前記管理装置は、
前記位置情報を取得した場合に、前記位置情報に基づいて、カメラの向きを制御する制御部と、
前記カメラより取得した映像に基づいて、追跡対象の候補を抽出する追跡部と、
前記映像を表示すると共に、前記映像に含まれる前記追跡対象の候補を選択可能に強調表示する表示部とを有する
ことを特徴とする監視システム。
[付記23]
前記追跡部は、選択された追跡対象の候補を追跡対象とし、前記追跡対象を追跡する
付記22に記載の監視システム。
[付記24]
前記追跡部は、前記カメラより取得した映像に基づいて、前記移動端末の所持者を特定し、特定された前記所持者を仮追跡対象として追跡を実施する
付記22または23に記載の監視システム。
[付記25]
前記追跡部は、さらにカメラより取得した映像に基づいて、前記移動端末の所持者とは異なる移動体を抽出し、
前記表示部は、抽出された前記移動体を前記追跡対象の候補として強調表示する
付記22から24のいずれかに記載の監視システム。
この出願は、2015年3月17日に出願された日本特許出願2015-052795を基礎とする優先権を主張し、その開示の全てをここに取り込む。
監視を行う監視装置、監視方法、監視プログラム、監視システム及び施設監視システムに使用できる。
1000、2000 監視システム
1100、2100 移動端末
1110 位置取得部
1120、2120 動作検出部
1130 通信部
1131 第1通信部
1132 第2通信部
2140 加速度センサ
1200、2200 管理装置
1210 通信部
1211 第1通信部
1212 第2通信部
1220、2220 制御部
1221、2221 追跡部
1222 記憶部
2223 選択部
1230 表示部
300-1~300-N カメラ
100、200 CPU
130 表示部
110、210 入力受付部
120、220 メモリ
230 接続部

Claims (9)

  1. 第1の移動端末と、
    第2の移動端末と、
    前記第1の移動端末および前記第2の移動端末と通信する管理装置とを備え、
    前記第1の移動端末は、
    前記第1の移動端末の位置情報を前記管理装置に送信する第1の送信部を有し、
    前記管理装置は、
    前記位置情報から前記第1の移動端末の将来位置を予測し、前記将来位置に基づいて前記第1の移動端末が撮像されるようにカメラの向きを制御し、前記カメラから取得された映像を抽出し、該映像を前記第2の移動端末に送信する制御部を有する
    ことを特徴とする監視システム。
  2. 前記第1の移動端末は、前記第1の移動端末を所持する人物の所定の動作を検出した場合に前記第1の移動端末の位置情報を前記管理装置に送信する
    請求項1に記載の監視システム。
  3. 前記制御部は、前記将来位置が撮影される撮影範囲へカメラの向きを制御する
    請求項1に記載の監視システム。
  4. 前記制御部は、前記第1の移動端末の進行方向から前記将来位置を予測する
    請求項1に記載の監視システム。
  5. 前記第1の移動端末は、前記所定の動作を検出した場合に、前記管理装置に前記カメラのカメラ制御を切り替える制御切替情報を送信する第2の送信部を有し、
    前記制御部は、前記制御切替情報を受信した場合に、前記第1の移動端末の前記将来位置に基づいて、前記カメラの向きを制御する
    請求項2に記載の監視システム。
  6. 前記管理装置は、所定範囲を監視する通常モードと前記位置情報に基づき監視する追跡モードとを備え、
    前記制御部は、前記制御切替情報を受信した場合に、前記通常モードから前記追跡モードに切り替え、前記第1の移動端末の前記将来位置に基づいて、前記カメラの向きを制御する
    請求項5に記載の監視システム。
  7. 前記制御部は、
    前記カメラの位置情報を取得し、
    取得した前記カメラの位置情報と取得した前記第1の移動端末の前記将来位置とに基づいて、前記カメラの中から制御するカメラを少なくとも1つ選定する
    請求項1に記載の監視システム。
  8. 第1の移動端末が、該第1の移動端末の位置情報を管理装置に送信し、
    前記管理装置が、前記位置情報から前記第1の移動端末の将来位置を予測し、前記将来位置に基づいて前記第1の移動端末が撮像されるようにカメラの向きを制御し、前記カメラから取得された映像を抽出し、該映像を第2の移動端末に送信する
    ことを特徴とする監視方法。
  9. 第1の移動端末および第2の移動端末と通信する管理装置に備えられているコンピュータに、
    前記第1の移動端末が送信する前記第1の移動端末の位置情報から前記第1の移動端末の将来位置を予測し、前記将来位置に基づいて前記第1の移動端末が撮像されるようにカメラの向きを制御し、前記カメラから取得された映像を抽出し、該映像を前記第2の移動端末に送信する処理
    を実行させるための監視プログラム。
JP2024007812A 2015-03-17 2024-01-23 監視システム、監視方法および監視プログラム Pending JP2024032829A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015052795 2015-03-17
JP2015052795 2015-03-17
JP2021205683A JP7184148B2 (ja) 2015-03-17 2021-12-20 監視システム、管理装置および監視方法
JP2022183819A JP2023014141A (ja) 2015-03-17 2022-11-17 監視システム、監視方法および監視プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022183819A Division JP2023014141A (ja) 2015-03-17 2022-11-17 監視システム、監視方法および監視プログラム

Publications (1)

Publication Number Publication Date
JP2024032829A true JP2024032829A (ja) 2024-03-12

Family

ID=56919926

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2017506064A Active JP6551511B2 (ja) 2015-03-17 2016-03-01 監視装置、監視方法、監視プログラム、及び監視システム
JP2019123639A Active JP6696615B2 (ja) 2015-03-17 2019-07-02 監視システム、監視方法、及び監視プログラムを記憶する記録媒体
JP2020072855A Active JP7131843B2 (ja) 2015-03-17 2020-04-15 監視システム、管理装置および監視方法
JP2021205683A Active JP7184148B2 (ja) 2015-03-17 2021-12-20 監視システム、管理装置および監視方法
JP2022183819A Pending JP2023014141A (ja) 2015-03-17 2022-11-17 監視システム、監視方法および監視プログラム
JP2024007812A Pending JP2024032829A (ja) 2015-03-17 2024-01-23 監視システム、監視方法および監視プログラム

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2017506064A Active JP6551511B2 (ja) 2015-03-17 2016-03-01 監視装置、監視方法、監視プログラム、及び監視システム
JP2019123639A Active JP6696615B2 (ja) 2015-03-17 2019-07-02 監視システム、監視方法、及び監視プログラムを記憶する記録媒体
JP2020072855A Active JP7131843B2 (ja) 2015-03-17 2020-04-15 監視システム、管理装置および監視方法
JP2021205683A Active JP7184148B2 (ja) 2015-03-17 2021-12-20 監視システム、管理装置および監視方法
JP2022183819A Pending JP2023014141A (ja) 2015-03-17 2022-11-17 監視システム、監視方法および監視プログラム

Country Status (4)

Country Link
US (5) US20180077355A1 (ja)
EP (1) EP3273672B1 (ja)
JP (6) JP6551511B2 (ja)
WO (1) WO2016147581A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796611A (zh) * 2015-04-20 2015-07-22 零度智控(北京)智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
JP6631712B2 (ja) * 2015-08-28 2020-01-15 日本電気株式会社 解析装置、解析方法、及びプログラム
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
JP6881471B2 (ja) * 2016-12-22 2021-06-02 日本電気株式会社 配置サーバ、警備システム、警備員配置方法及びプログラム
CN106683408A (zh) * 2017-02-14 2017-05-17 北京小米移动软件有限公司 车辆监控方法和装置
CN108632567B (zh) * 2017-03-16 2020-07-28 杭州海康威视数字技术股份有限公司 云台控制方法、装置及系统
JP2019203770A (ja) * 2018-05-23 2019-11-28 株式会社リアルグローブ 測位装置及び方法、並びに、コンピュータプログラム
US11070729B2 (en) * 2018-07-27 2021-07-20 Canon Kabushiki Kaisha Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
CN111291585B (zh) * 2018-12-06 2023-12-08 杭州海康威视数字技术股份有限公司 一种基于gps的目标跟踪系统、方法、装置及球机
CN110245546A (zh) * 2018-12-06 2019-09-17 浙江大华技术股份有限公司 一种目标跟踪系统、方法及存储介质
CN111601233B (zh) * 2019-02-21 2022-06-28 昆山纬绩资通有限公司 定位装置的监控方法与系统
JP7298237B2 (ja) * 2019-03-28 2023-06-27 日本電気株式会社 通信方法、及び制御装置
CN112215037B (zh) * 2019-07-10 2024-04-09 浙江宇视科技有限公司 对象追踪方法及装置、电子设备及计算机可读存储介质
JP2021105790A (ja) * 2019-12-26 2021-07-26 株式会社コロプラ プログラム、方法および情報処理装置
US11593951B2 (en) * 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
WO2023112286A1 (ja) * 2021-12-16 2023-06-22 日本電気株式会社 監視システム、監視方法、情報処理装置、及びコンピュータ可読媒体
KR102657374B1 (ko) 2023-11-23 2024-04-16 주식회사 엠큐리티 인공지능 기반 경비원 관리 및 예측 시스템

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
JP2002010240A (ja) * 2000-06-21 2002-01-11 Matsushita Electric Ind Co Ltd 監視システム
JP2002074565A (ja) 2000-08-31 2002-03-15 Ntt Docomo Inc 移動体端末装置、緊急通報センタ装置、救助用移動体端末装置および緊急通報システム
JP2003264640A (ja) * 2002-03-08 2003-09-19 Matsushita Electric Ind Co Ltd パーソナルモニタリングシステム
US7151454B2 (en) * 2003-01-02 2006-12-19 Covi Technologies Systems and methods for location of objects
JP2004328333A (ja) 2003-04-24 2004-11-18 Hitachi Ltd 携帯通信端末及び異常事態報知システム
JP2006014206A (ja) * 2004-06-29 2006-01-12 Kyocera Corp 監視カメラシステムとその方法および監視カメラ制御装置、携帯無線端末
US20100220836A1 (en) * 2005-09-08 2010-09-02 Feke Gilbert D Apparatus and method for multi-modal imaging
JP2007243571A (ja) * 2006-03-08 2007-09-20 Nec Corp 携帯電話端末装置および防犯連絡方法
JP5101160B2 (ja) * 2006-05-10 2012-12-19 株式会社九電工 携帯端末装置
CN201112942Y (zh) * 2007-10-12 2008-09-10 富士康(昆山)电脑接插件有限公司 电连接器
JP2009098774A (ja) * 2007-10-15 2009-05-07 Mitsubishi Electric Corp 人物追跡システム及び人物追跡方法及び人物追跡プログラム
DE202008007520U1 (de) * 2008-06-05 2008-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Verfolgung eines beweglichen Objekts
JP2010277444A (ja) * 2009-05-29 2010-12-09 Fujitsu Ltd 監視システム、監視装置、及び監視方法
JP5003731B2 (ja) * 2009-07-07 2012-08-15 日本電気株式会社 巡回警備支援システム、方法及びプログラム
IL201129A (en) * 2009-09-23 2014-02-27 Verint Systems Ltd A system and method for automatically switching cameras according to location measurements
JP5674307B2 (ja) 2009-12-17 2015-02-25 グローリー株式会社 対象者検出システムおよび対象者検出方法
JP5115572B2 (ja) * 2010-03-01 2013-01-09 日本電気株式会社 カメラ管理サーバ、防犯サービス管理方法および防犯サービス管理プログラム
JP2012008742A (ja) * 2010-06-23 2012-01-12 Toshiba Corp 行動監視システム
JP2012156752A (ja) 2011-01-26 2012-08-16 Canon Inc 監視領域制御方法
KR20150031985A (ko) * 2013-09-17 2015-03-25 한국전자통신연구원 모바일 기기와 협력하여 위험 상황을 추적하기 위한 시스템 및 그 방법
US9451062B2 (en) * 2013-09-30 2016-09-20 Verizon Patent And Licensing Inc. Mobile device edge view display insert
US9454889B2 (en) * 2014-07-28 2016-09-27 Dan Kerning Security and public safety application for a mobile device
JP6689566B2 (ja) 2014-09-25 2020-04-28 綜合警備保障株式会社 警備システム及び警備方法
US9582975B2 (en) 2015-01-27 2017-02-28 Honeywell International Inc. Alarm routing in integrated security system based on security guards real-time location information in the premises for faster alarm response

Also Published As

Publication number Publication date
JP2020123973A (ja) 2020-08-13
EP3273672A4 (en) 2018-12-05
US20190260942A1 (en) 2019-08-22
US10728460B2 (en) 2020-07-28
JP7184148B2 (ja) 2022-12-06
EP3273672B1 (en) 2020-12-30
JP6696615B2 (ja) 2020-05-20
JP2022040141A (ja) 2022-03-10
US20210105409A1 (en) 2021-04-08
JPWO2016147581A1 (ja) 2017-12-28
WO2016147581A1 (ja) 2016-09-22
US20180077355A1 (en) 2018-03-15
US11533436B2 (en) 2022-12-20
JP2023014141A (ja) 2023-01-26
US20230083918A1 (en) 2023-03-16
US10887526B2 (en) 2021-01-05
JP2019201413A (ja) 2019-11-21
JP6551511B2 (ja) 2019-07-31
US20190260941A1 (en) 2019-08-22
JP7131843B2 (ja) 2022-09-06
EP3273672A1 (en) 2018-01-24

Similar Documents

Publication Publication Date Title
JP7184148B2 (ja) 監視システム、管理装置および監視方法
US20230300466A1 (en) Video surveillance system and video surveillance method
US9509900B2 (en) Camera control method, and camera control device for same
JP6128468B2 (ja) 人物追尾システム及び人物追尾方法
US20170013203A1 (en) System and method for automatic camera hand-off using location measurements
US20110063457A1 (en) Arrangement for controlling networked PTZ cameras
JP2005348157A (ja) カメラシステム、カメラ、及びカメラの制御方法
JP2016100696A (ja) 画像処理装置、画像処理方法、及び画像処理システム
KR20140052357A (ko) 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
JP2006523043A (ja) 監視を行なう方法及びシステム
WO2021068553A1 (zh) 一种监控方法、装置和设备
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
US11120838B2 (en) Information processing apparatus, control method, and program
CN110557603B (zh) 移动目标的监控方法、装置和可读存储介质
JP6032283B2 (ja) 監視カメラ管理装置、監視カメラ管理方法およびプログラム
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
JP6483326B2 (ja) 監視システムおよび端末装置
KR101634622B1 (ko) 위치정보 및 cctv를 이용한 통합관제시스템
KR101576772B1 (ko) Cctv 카메라 제어방법
KR20240051767A (ko) 원격 감시 제어가능한 cctv카메라

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240123