JP7286027B2 - 移動体追跡システム、移動体追跡装置、プログラム及び移動体追跡方法 - Google Patents

移動体追跡システム、移動体追跡装置、プログラム及び移動体追跡方法 Download PDF

Info

Publication number
JP7286027B2
JP7286027B2 JP2022541355A JP2022541355A JP7286027B2 JP 7286027 B2 JP7286027 B2 JP 7286027B2 JP 2022541355 A JP2022541355 A JP 2022541355A JP 2022541355 A JP2022541355 A JP 2022541355A JP 7286027 B2 JP7286027 B2 JP 7286027B2
Authority
JP
Japan
Prior art keywords
elevator
tracked
unit
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022541355A
Other languages
English (en)
Other versions
JPWO2022029860A1 (ja
JPWO2022029860A5 (ja
Inventor
絢子 永田
正英 小池
晋 飯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022029860A1 publication Critical patent/JPWO2022029860A1/ja
Publication of JPWO2022029860A5 publication Critical patent/JPWO2022029860A5/ja
Application granted granted Critical
Publication of JP7286027B2 publication Critical patent/JP7286027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Description

本開示は、移動体追跡システム、移動体追跡装置、プログラム及び移動体追跡方法に関する。
近年、建物内のセキュリティの向上又は監視員の負荷軽減を目的とし、画像認識技術を活用してカメラで撮られた映像から自動で不審者等を検出し追跡するシステムである移動体追跡システムが知られている。
従来の移動体追跡システムは、複数のカメラを用いて移動体を追跡するため、各カメラに映る移動体と、その特徴とを抽出し、その特徴を照合することでそれぞれの移動体が同一であるかを判定する。
ここで、建物内の全てのカメラで撮られた映像から抽出された全ての特徴を照合の対象として同定処理を行うと、照合対象数が増え同定精度が下がる場合がある。特に、建物内に特徴が似た移動体が複数存在する場合に、判別が難しくなり誤同定が発生することがある。
従来から、移動体の移動経路を算出し、移動経路上のカメラで撮られた映像から検出された移動体及びその特徴に対して同定処理を行うことで、追跡精度を向上するシステムが知られている(例えば、特許文献1参照)。このようなシステムでは、移動経路の算出にはカメラに映る移動体の移動方向及び速度情報が使用され、算出された移動経路上のカメラで撮られた映像に映る移動体に対して同定処理が行われる。また、移動速度から各カメラへの到達予想時間が算出され、探索時間を絞り込むことで同定精度の向上が図られる。
特許第4759988号公報
従来のシステムを利用する場合、各移動体の移動経路の推定精度を上げることが重要になる。移動経路の推定には、映像に映る移動体の移動方向及び速度情報が使用されるため、監視領域内に死角なくカメラが設置されていれば、移動経路の推定精度を十分に上げることができる。
しかしながら、移動体の階間移動を考えた場合、階間移動手段であるエレベータ内に監視システムと連動したカメラが設置されていないことも多い。このため、追跡対象がエレベータに乗車してしまうと、追跡対象が何階で降車したのかがわからなくなり、経路推定が困難になる。その結果、同一監視領域内に特徴の似た移動体がいる場合に誤同定が発生し、追跡対象の追跡がうまくできなくなるという課題がある。
そこで、本開示の一又複数の態様は、追跡対象がエレベータに乗った場合でも、その追跡対象を追跡できるようにすることを目的とする。
本開示の一態様に係る移動体追跡システムは、複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡システムであって、前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得するエレベータ情報取得部と、前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択する選択部と、前記対象カメラで撮られた映像から移動体を検出し、前記検出された移動体の特徴を抽出する検出抽出部と、前記抽出された特徴である対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定する照合部と、を備えることを特徴とする。
本開示の一態様に係る移動体追跡装置は、複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡装置であって、前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得するエレベータ情報取得部と、前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択する選択部と、前記対象カメラで撮られた映像から検出された移動体の特徴として抽出された対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定する照合部と、を備えることを特徴とする。
本開示の一態様に係るプログラムは、コンピュータを、複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡装置として機能させるプログラムであって、前記コンピュータを、前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得するエレベータ情報取得部、前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択する選択部、及び、前記対象カメラで撮られた映像から検出された移動体の特徴として抽出された対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定する照合部、として機能させることを特徴とする。
本開示の一態様に係る移動体追跡方法は、複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡方法であって、前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得し、前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択し、前記対象カメラで撮られた映像から移動体を検出し、前記検出された移動体の特徴を抽出し、前記抽出された特徴である対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定することを特徴とする。
本開示の一又は複数の態様によれば、追跡対象がエレベータに乗った場合でも、その追跡対象を追跡することができる。
実施の形態1及び2に係る移動体追跡システムの構成を概略的に示すブロック図である。 移動体検出装置の構成を概略的に示すブロック図である。 (A)及び(B)は、移動体検出装置のハードウェア構成例を示すブロック図である。 (A)及び(B)は、移動体追跡装置のハードウェア構成例を示すブロック図である。 実施の形態1に係る移動体追跡システムでの処理を示すフローチャートである。 実施の形態2に係る移動体追跡システムでの処理を示すフローチャートである。 実施の形態3に係る移動体追跡システムの構成を概略的に示すブロック図である。 実施の形態3に係る移動体追跡システムでの処理を示す第一のフローチャートである。 実施の形態3に係る移動体追跡システムでの処理を示す第二のフローチャートである。 実施の形態4に係る移動体追跡システムの構成を概略的に示すブロック図である。
実施の形態1.
図1は、実施の形態1に係る移動体追跡システム100の構成を概略的に示すブロック図である。
移動体追跡システム100は、複数のカメラ110と、移動体検出装置120と、移動体追跡装置130とを備える。
移動体追跡システム100は、複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する。
ここで、移動体検出装置120及び移動体追跡装置130は、ネットワーク101に接続されている。
また、移動体追跡装置130は、複数のカメラ110で移動体を監視する領域である監視領域内にあるエレベータを運行するシステムであるエレベータシステム102に接続されている。
さらに、移動体追跡装置130は、各種画面画像を表示するための表示装置103に接続されている。
図1に示されている移動体追跡システム100では、少なくとも一つの移動体検出装置120及び少なくとも一つの移動体追跡装置130が設けられていればよい。
但し、移動体追跡装置130は、移動体検出装置120が備える機能を備えることも可能である。この場合、移動体検出装置120は設けられていなくてもよく、複数のカメラ110で撮られた映像の映像データが移動体追跡装置130に送られればよい。
なお、各移動体検出装置120に接続されるカメラ110の数は2個に限定されない。
複数のカメラ110は、監視領域内に配置されている。複数のカメラ110の各々は、映像を撮る撮像装置である。複数のカメラ110の各々で撮られた映像の映像データは、移動体検出装置120に与えられる。
移動体検出装置120は、複数のカメラ110からの映像を解析して、移動体を検出するとともに、検出された移動体の特徴を抽出する。
図2は、移動体検出装置120の構成を概略的に示すブロック図である。
移動体検出装置120は、受信部121と、送受信部122と、検出抽出部123と、制御部124とを備える。
受信部121は、移動体検出装置120に接続されたカメラ110から、そのカメラで撮られた映像を示す映像データを受信する。受信された映像データは、検出抽出部123に与えられる。
送受信部122は、ネットワーク101における通信を行う。
検出抽出部123は、後述するように移動体追跡装置130で選択された対象カメラで撮られた映像から移動体を検出し、その検出された移動体の特徴を抽出する。例えば、検出抽出部123は、制御部124からの指示に従って、受信部121からの映像データで示される映像から、移動体を検出するとともに、検出された移動体の特徴を抽出する。そして、検出抽出部123は、検出された移動体と、その移動体から抽出された特徴と、その特徴を抽出した映像を撮ったカメラ110を識別するための識別情報であるカメラ識別情報とを示す移動体情報を生成する。移動体情報は、送受信部122を介して、移動体追跡装置130に送られる。なお、カメラ識別情報は、撮像装置識別情報ともいう。
制御部124は、送受信部122を介して、移動体追跡装置130からの指示を示す指示情報を取得する。制御部124は、取得された指示情報で示される指示に従って、検出抽出部123に移動体の検出及び特徴の抽出を行わせる有効状態と、検出抽出部123に移動体の検出及び特徴の抽出を行わせない無効状態とを切り替える。なお、有効情報及び無効状態の切り替えは、移動体検出装置120に接続されているカメラ110毎に行うことができるものとする。
以上に記載された移動体検出装置120は、例えば、図3(A)に示されているようなコンピュータ150により実現することができる。
コンピュータ150は、第一通信装置151と、第二通信装置152と、記憶装置153と、メモリ154と、プロセッサ155とを備える。
第一通信装置151は、カメラ110との通信を行う装置である。
第二通信装置152は、ネットワーク101との通信を行う装置である。
記憶装置153は、移動体検出装置120での処理に必要なデータ及びプログラムを記憶する装置である。
メモリ154は、データ及びプログラムを一時的に記憶して、プロセッサ155の作業領域を提供する。
プロセッサ155は、記憶装置153に記憶されているプログラムをメモリ154に読み出して実行することで、移動体検出装置120での処理を実行する。
例えば、受信部121は、第一通信装置151により実現することができる。
送受信部122は、第二通信装置152により実現することができる。
検出抽出部123及び制御部124は、プロセッサ155が、記憶装置153に記憶されているプログラムをメモリ154に読み出して実行することで実現することができる。
なお、図1に示されている移動体検出装置120内の各部は個別の装置として構成することも可能である。
このような場合、例えば、検出抽出部123及び制御部124の一部又は全部は、例えば、図3(B)に示されているように、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)等の処理回路156で構成することもできる。
言い換えると、検出抽出部123及び制御部124は、処理回路網により実現することができる。
図1に戻り、移動体追跡装置130は、移動体検出装置120で検出された移動体を追跡する。
移動体追跡装置130は、ネットワーク通信部131と、エレベータシステム通信部132と、接続インターフェース部(以下、接続I/F部という)133と、情報取得部134と、追跡対象指定部135と、監視空間データベース部(以下、監視空間DB部という)136と、エレベータ情報取得部137と、選択部138と、照合部139と、追跡管理部140とを備える。
なお、移動体追跡装置130内の各部は個別の装置として構成することも可能である。
ネットワーク通信部131は、ネットワーク101における通信を行う。
エレベータシステム通信部132は、エレベータシステム102との間の通信を行う。
接続I/F部133は、表示装置103を接続するためのインターフェースである。
情報取得部134は、ネットワーク通信部131を介して、各移動体検出装置120から移動体情報を取得する。取得された移動体情報は、追跡対象指定部135及び照合部339に与えられる。
追跡対象指定部135は、取得された移動体情報を参照することで、検出されたある移動体を、追跡を行う対象である追跡対象移動体として指定する。そして、追跡対象指定部135は、取得された移動体情報から、追跡対象移動体の特徴を示す追跡対象特徴情報を生成し、その追跡対象特徴情報を監視空間DB部136に記憶させる。
監視空間DB部136は、監視領域内の複数のカメラ110の各々の配置及び状態を示す監視空間情報及び追跡対象移動体の移動経路を示す移動体追跡情報を記憶する記憶部である。
また、監視空間DB部136は、複数のカメラ110がどの移動体検出装置120に接続されているかを示す接続情報を記憶する。
さらに、監視空間DB部136は、追跡対象指定部135から与えられる追跡対象特徴情報を記憶する。
エレベータ情報取得部137は、エレベータシステム通信部132を介して、エレベータの運行を制御しているエレベータシステム102から、監視領域内の各エレベータの運行状況を示すエレベータ運行情報を取得する。
選択部138は、監視領域内に配置された複数のカメラ110から少なくとも一つのカメラを対象カメラとして選択する。例えば、選択部138は、監視空間情報を参照して、複数のカメラ110から、移動体を検出し、その移動体の特徴を抽出する映像を撮るカメラ110である対象カメラを選択する。
また、選択部138は、追跡対象移動体がエレベータに乗車した場合には、監視空間情報及びエレベータ運行情報を参照して、複数のカメラ110から対象カメラを選択する。例えば、選択部138は、追跡対象移動体がエレベータに乗車した場合に、エレベータ運行情報を参照することで、複数のカメラの内、追跡対象移動体が降りる可能性のある階を対象階として特定し、対象階に配置されている少なくとも一つのカメラを対象カメラとして選択する。
例えば、選択部138は、エレベータの停車階を対象階として特定することができる。また、選択部138は、追跡対象移動体がエレベータに乗車してから特定の期間内に、停止階として呼び登録又は行き先階登録された階を対象階として特定することもできる。
そして、選択部138は、対象カメラとして選択されたカメラ110のカメラ識別情報と、移動体検出処理及び特徴抽出処理を有効にする指示である有効指示とを示す指示情報(有効指示情報ともいう)を、ネットワーク通信部131を介して、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120に送る。なお、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120については、監視空間DB部136に記憶されている接続情報を参照することで特定することができる。
また、選択部138は、対象カメラとして選択されていないカメラ110のカメラ識別情報と、移動体検出処理及び特徴抽出処理を無効にする指示である無効指示とを示す指示情報(無効指示情報ともいう)を、ネットワーク通信部131を介して、対象カメラとして選択されなかったカメラ110に接続されている移動体検出装置120に送る。
さらに、選択部138は、監視空間DB部136に記憶されている監視空間情報において、対象カメラとして選択されたカメラ110の状態を「有効」にし、対象カメラとして選択されなかったカメラ110の状態を「無効」にする。
照合部139は、選択カメラとして選択されたカメラ110で撮られた映像から抽出された特徴である対象特徴と、追跡対象移動体の特徴とを照合することで、複数の移動体の中から追跡対象移動体を同定する。具体的には、照合部139は、カメラ110で撮られた映像から移動体検出装置120で生成された移動体情報で示される特徴と、監視空間DB部136に記憶されている追跡対象特徴情報で示される追跡対象移動体の特徴とを照合することで、カメラ110で撮られた映像に含まれている移動体が追跡対象移動体と同一であるか否かを判断する。
ここで、照合部139は、選択部138で対象カメラとして選択されたカメラ110で撮られた映像から生成された移動体情報で示される特徴と、追跡対象移動体の特徴とを照合することで、処理負荷の軽減を図る。
追跡管理部140は、対象カメラの配置及び追跡対象移動体と同定された移動体を含む映像が撮られた時刻と、検出した移動体の映像上での位置とから、監視領域内における追跡対象移動体を追跡する。具体的には、追跡管理部140は、照合部139で、追跡対象移動体と同一であると判断された移動体の位置を、例えば、監視空間情報を参照することで、その移動体が写された映像を撮ったカメラ110の配置から特定し、その位置と、時刻とを移動体追跡情報に追加することで、追跡対象移動体の移動経路を求める。
また、追跡管理部140は、移動体追跡情報から追跡対象移動体の移動経路を表示するための移動体追跡表示情報を生成する。そして、追跡管理部140は、移動体追跡表示情報を接続I/F部133を介して、表示装置103に送ることで、表示装置103にその移動経路を表示させる。
以上に記載された移動体追跡装置130は、例えば、図4(A)に示されているようなコンピュータ160により実現することができる。
コンピュータ160は、ネットワーク通信装置161と、システム通信装置162と、接続インターフェース(以下、接続I/Fという)163と、記憶装置164と、メモリ165と、プロセッサ166とを備える。
ネットワーク通信装置161は、ネットワーク101との通信を行う装置である。
システム通信装置162は、エレベータシステム102との通信を行う装置である。
接続I/F163は、表示装置103を接続するためのインターフェースである。
記憶装置164は、移動体追跡装置130での処理に必要なデータ及びプログラムを記憶する装置である。
メモリ165は、データ及びプログラムを一時的に記憶して、プロセッサ166の作業領域を提供する。
プロセッサ166は、記憶装置164に記憶されているプログラムをメモリ165に読み出して実行することで、移動体追跡装置130での処理を実行する。
例えば、ネットワーク通信部131は、ネットワーク通信装置161により実現することができる。
エレベータシステム通信部132は、システム通信装置162により実現することができる。
接続I/F部133は、接続I/F163により実現することができる。
監視空間DB部136は、記憶装置164又はメモリ165により実現することができる。
情報取得部134、追跡対象指定部135、エレベータ情報取得部137、選択部138、照合部139及び追跡管理部140は、プロセッサ166が、記憶装置164に記憶されているプログラムをメモリ165に読み出して実行することで実現することができる。
なお、図1に示されている移動体追跡装置130内の各部は個別の装置として構成することも可能である。
このような場合、例えば、情報取得部134、追跡対象指定部135、エレベータ情報取得部137、選択部138、照合部139及び追跡管理部140の一部又は全部は、例えば、図4(B)に示されているように、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ASIC又はFPGA等の処理回路167で構成することもできる。
言い換えると、情報取得部134、追跡対象指定部135、エレベータ情報取得部137、選択部138、照合部139及び追跡管理部140は、処理回路網により実現することができる。
図5は、移動体追跡システム100での処理を示すフローチャートである。
まず、選択部138は、初期状態として、対象カメラとして選択するカメラ110が予め設定されており、対象カメラが接続されている移動体検出装置120の処理を有効に切り替える(S10)。そして、選択部138は、対象カメラとして選択されたカメラ110の有効又は無効の状態を、監視空間DB部136に記憶されている監視空間情報に登録する。
また、選択部138は、ネットワーク通信部131を介して、対象カメラとして選択されたカメラ110に接続された移動体検出装置120に、有効指示情報を送り、対象カメラとして選択されなかったカメラ110に接続された移動体検出装置120に、無効指示情報を送る。これにより、対象カメラとして選択されたカメラ110に接続された移動体検出装置120のみから、対象カメラで撮られた映像から検出された移動体に対応する移動体情報が送られてくる。
ここでの対象カメラは、例えば、建物の入退場ゲート等の特定の場所に設置されているカメラ110が選択されるように予め設定されていてもよい。また、監視領域に設置されている全てのカメラ110から得られる映像を表示装置103に表示して、その映像を監視員が確認して、その監視員がGUI(Graphical User Interface)を用いた操作等により、対象カメラを選択してもよい。ここでは、一又は複数のカメラ110が選択されるものとする。
対象カメラとして選択されたカメラ110が接続された移動体検出装置120は、対象カメラからの映像から移動体を検出して、検出された移動体の特徴を抽出する(S11)。移動体の検出及び特徴の抽出には、畳込みニューラルネットワーク等を使用した、公知の技術を使用することができる。そして、その移動体検出装置120は、検出された移動体及び抽出された特徴を示す移動体情報を生成して、移動体追跡装置130に送る。
次に、情報取得部134は、ネットワーク通信部131を介して、対象カメラが接続されている移動体検出装置120から移動体情報を取得して、取得された移動体情報を追跡対象指定部135に与える。追跡対象指定部135は、情報取得部134からの移動体情報で示される移動体の中から、追跡対象とする追跡対象移動体を指定する(S12)。そして、追跡対象指定部135は、追跡対象移動体の特徴を示す追跡対象特徴情報を生成して、その追跡対象特徴情報を監視空間DB部136に記録させる。
追跡対象移動体の指定は、対象カメラから得られる映像を表示装置103に表示して、その映像を監視員が確認して、その監視員がGUIを用いた操作等により行われてもよい。また、入場ゲート等の特定のエリアを通過する移動体が、全て追跡対象移動体として指定されてもよい。さらに、対象カメラから得られる映像を解析することで、不審者等の予め定められた移動体を検出して、不審者等の予め定められた移動体と判定された移動体が、自動的に追跡対象移動体として指定されてもよい。
追跡対象移動体が指定されると、各カメラ110からの映像に映る移動体の特徴を照合することによる追跡処理が開始されるが、追跡対象移動体が指定された直後では、対象カメラから離れた場所に設置されたカメラ110、例えば、別の階に設置されたカメラ110、の映像に追跡対象移動体が映ることはない。よって、そのようなカメラ110から映像から検出された特徴の近い移動体は、誤同定及び誤追跡の原因になるため、そのようなカメラ110は、対象カメラから除外したほうがよい。
そこで、選択部138は、監視空間DB部136に記憶されている監視空間情報を参照することで、現在、追跡対象移動体を映しているカメラ110と、その周辺のカメラ110を、対象カメラとして選択する(S13)。そして、選択部138は、ネットワーク通信部131を介して、対象カメラとして選択されたカメラ110に接続された移動体検出装置120に、有効指示情報を送り、対象カメラとして選択されなかったカメラ110に接続された移動体検出装置120に、無効指示情報を送る。また、選択部138は、監視空間DB部136に記憶されている監視空間情報を更新する。
対象カメラの選択方法としては、現在追跡対象移動体を映しているカメラ110と、現在追跡対象移動体を映しているカメラ110に対して撮影範囲が隣接しているカメラ110とが対象カメラとして選択されてもよい。また、現在追跡対象移動体を映しているカメラ110と同一フロアのカメラ110が、一括して対象カメラとして選択されてもよい。なお、ここで選択されるカメラ110は、追跡対象移動体が通常移動可能な範囲に設置されたカメラ110等とすることで、必ずしも監視領域内に撮影領域の死角がないようにカメラ110が設置されている必要はない。対象カメラの選択が完了すると、対象カメラからの映像における移動体検出処理及び特徴抽出処理が有効化され、監視空間DB部136に記憶されている監視空間情報において、対象カメラとして選択されたカメラ110の状態も「有効」に更新される。
対象カメラからの映像において抽出された特徴を、追跡対象移動体の特徴と照合した結果、追跡対象移動体の映っていなかった対象カメラの移動体検出処理及び特徴抽出処理は無効化され、監視空間DB部136に記憶されている監視空間情報が更新される。そして、新たに対象カメラの更新が行われる。このような処理が繰り返し行われることで、対象カメラは、追跡対象移動体の移動に従って切り替えられていく。
以下、説明する。
対象カメラに接続された移動体検出装置120から取得された移動体情報は、照合部139に与えられる。そして、照合部139は、移動体情報で示されている特徴と、追跡対象特徴情報で示される特徴とを照合することで、対象カメラの何れかで映されている移動体と、追跡対象移動体とを同定する。そして、照合部139は、その処理結果を追跡管理部140に与える。処理結果としては、例えば、追跡対象移動体として同定された移動体を映したカメラ110の位置、そのカメラ110で映像が撮られた日時及びそのカメラ110で撮られた映像における、追跡対象移動体として同定された移動体の位置を示す情報が照合結果情報として、追跡管理部140に与えられればよい。
そして、追跡管理部140は、照合部139での処理結果から、追跡対象移動体として同定された移動体の位置を特定し、監視空間DB部136に記憶されている移動体追跡情報に、特定された移動体の位置及びその移動体が検出された映像が撮られた日時を登録する(S14)。以上の処理を繰り返し実行することで、追跡対象移動体の追跡が可能になる。
ここで、追跡対象移動体がエレベータを使用して階間移動するケースを考える。通常、追跡対象移動体がエレベータに乗車すると、追跡対象移動体は、カメラ110の撮影範囲外となる。このため、追跡対象移動体が何階へ移動するのかを推測することが難しく、次にどのカメラ110を対象カメラとして選択すべきかの判断ができない。
そこで、選択部138は、追跡対象移動体がエレベータに乗車したか否かを判断する(S15)。追跡対象移動体がエレベータに乗車した場合(S15でYes)には、処理はステップS16に進み、追跡対象移動体がエレベータに乗車していない場合(S15でNo)には、処理はステップS13に戻る。
また、追跡対象移動体がエレベータに乗車したか否かの判断に関しては、例えば、エレベータホール等のようにエレベータがある場所に設置されたカメラ110で撮られた映像を解析することで、追跡対象移動体の移動方向がエレベータかごであれば乗車したと判断することができる。また、エレベータがある場所に設置されたカメラ110で検出されていた追跡対象移動体が、その周辺又は同一階に設置されたどのカメラ110でも検出されない場合にも、追跡対象移動体がエレベータに乗車したと判断することができる。さらに、追跡対象移動体が、エレベータがある場所に設置されたカメラ110で検出されなくなった時点で、乗車可能なエレベータがその階に停車していたか否かを判定条件に加えることもできる。
ステップS16では、エレベータ情報取得部137は、エレベータシステム通信部132を介して、エレベータシステム102からエレベータ運行情報を取得する。取得されたエレベータ運行情報は、選択部138に与えられる。
選択部138は、与えられたエレベータ運行情報及び監視空間DB部136に記憶されている監視空間情報に基づいて、対象カメラを選択する(S17)。そして、選択部138は、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、有効指示情報を送り、対象カメラとして選択されなかったカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、無効指示情報を送る。さらに、選択部138は、監視空間DB部136に記憶されている監視空間情報において、対象カメラとして選択されたカメラ110の状態を「有効」にし、対象カメラとして選択されなかったカメラ110の状態を「無効」にする。
ここで使用されるエレベータ運行情報は、例えば、エレベータにおいて操作された呼び登録又は行き先階登録により指定された停車階と、呼び登録又は行き先階登録が行われた日時とを示す。
このような場合、選択部138は、エレベータが停車した階のカメラ110を対象カメラとして選択することができる。なお、エレベータが停車した階の全てのカメラ110が対象カメラとして選択されてもよく、エレベータの周辺(例えば、エレベータから予め定められた範囲)に設置されているカメラ110が対象カメラとして選択されもよい。さらに、選択部138は、追跡対象移動体がエレベータに乗車してから一定期間の間に新たに呼び登録又は行き先階登録された階のカメラ110を対象カメラとして選択してもよい。
以上により、追跡対象移動体が降車した可能性のない階(例えば、通過した階)のカメラ110は、対象カメラから除外できるため、通過階に特徴の似た移動体が存在しても誤って追跡対象移動体と同定されるケースを抑止することができる。また、通過階のカメラ110の映像を移動体検出装置120により処理しなくてすむため、移動体検出装置120の処理負荷を軽減し、消費電力を削減する効果がある。
次に、照合部139は、ステップS14での処理と同様に、対象カメラで撮られた映像から抽出された特徴と、追跡対象移動体の特徴とを照合して、対象カメラに追跡対象移動体が写っているか否かを判定する(S18)。その判定のために、対象カメラに写っている移動体が、追跡対象移動体と同じかどうか判定することを同定という。対象カメラに追跡対象移動体が写っていると判定した場合(S18でYes)には、追跡管理部140は、ステップS14と同様に、監視空間DB部136に記憶されている移動体追跡情報に、検出した追跡対象移動体の位置及び映像が撮られた日時を登録して、処理をステップS13に進める。対象カメラに追跡対象移動体が写っていないと判定した場合(S18でNo)には、処理はステップS16に進み、エレベータ情報取得部137は、エレベータシステム通信部132を介して、エレベータシステム102からエレベータ運行情報を取得して、選択部138は、エレベータが停車した別の階のカメラ110を、対象カメラとして選択する(S17)。
これにより、エレベータが複数の階に停車する場合において、対象カメラで撮られた映像で追跡対象を検出できなくても、停車した別の階のカメラ110を、順次、対象カメラとして選択することで、追跡対象移動体を確実に検出することができる。
この場合、追跡対象移動体が検出された時点(S18でYes)で、追跡対象移動体を撮像したカメラ110の周辺のカメラ110のみを対象カメラとして選択することで(S13)、不要な階のカメラ110を対象カメラから除外することができる。
以上のように、実施の形態1によれば、追跡対象移動体の移動先候補を効果的に絞り込むことができ、移動体の同定及び追跡精度が向上するとともに、不要なカメラ110での移動体の検出及び特徴の抽出を行わなくてよくなるため、システム全体の演算処理負荷が軽減する。
実施の形態2.
図1に示されているように、実施の形態2に係る移動体追跡システム200は、複数のカメラ110と、移動体検出装置120と、移動体追跡装置230とを備える。
実施の形態2に係る移動体追跡システム200の複数のカメラ110及び移動体検出装置120は、実施の形態1に係る移動体追跡システム100の複数のカメラ110及び移動体検出装置120と同様である。
図1に示されているように、移動体追跡装置230は、ネットワーク通信部131と、エレベータシステム通信部132と、接続I/F部133と、情報取得部134と、追跡対象指定部135と、監視空間DB部136と、エレベータ情報取得部137と、選択部238と、照合部139と、追跡管理部140とを備える。
なお、移動体追跡装置230内の各部は個別の装置として構成することも可能である。
実施の形態2における移動体追跡装置230のネットワーク通信部131、エレベータシステム通信部132、接続I/F部133、情報取得部134、追跡対象指定部135、監視空間DB部136、エレベータ情報取得部137、照合部139及び追跡管理部140は、実施の形態1における移動体追跡装置130のネットワーク通信部131、エレベータシステム通信部132、接続I/F部133、情報取得部134、追跡対象指定部135、監視空間DB部136、エレベータ情報取得部137、照合部139及び追跡管理部140と同様である。
選択部238は、監視空間情報を参照して、複数のカメラ110から、移動体を検出し、その移動体の特徴を抽出する映像を撮るカメラ110である対象カメラを選択する。
また、選択部238は、追跡対象移動体がエレベータに乗車した場合には、監視空間情報及びエレベータ運行情報を参照して、複数のカメラ110から対象カメラを選択する。
ここで、選択部238は、エレベータ運行情報も参照して対象カメラを選択した場合、言い換えると、追跡対象移動体がエレベータに乗車した場合には、対象カメラ毎に、対象カメラとしての選択に有効期間を設定する。
ここで、有効期間の設定には、エレベータの各停止階への到着時間を使用することができる。例えば、対象カメラとして、呼び登録又は行き先階登録によって停車する階のエレベータホール等のエレベータが設けられている場所に設置されたカメラ110が選択された場合、エレベータの到着から予め定められた期間を、有効期間と設定することができる。そして、有効期間内に検出された移動体の特徴のいずれもが、追跡対象移動体の特徴と同一であると判定されなかった場合には、追跡対象移動体は、その階で降車しなかったとみされて、対象カメラとして選択されたカメラの移動体検出処理及び特徴抽出処理が無効にされる。これにより追跡対象移動体がいない階での無駄な移動体検出処理及び特徴抽出処理を抑止することができる。
なお、前述の有効期間の設定は一例であり、エレベータの停止階における戸開閉時間情報が使用されてもよい。この場合、有効期間は、エレベータがその階に到着して戸開を開始してから戸閉を完了するまでの期間が有効期間に設定される。なお、有効期間には一定の裕度が設定され、戸閉完了後の一定期間が有効期間に含められてもよい。有効期間の設定に戸開閉情報を使用することで、エレベータかご又は各階エレベータホール等の混雑又は乗降車人数が多いことにより、追跡対象移動体の降車時間がエレベータ到着から遅くなった場合にも、検出漏れを防止して、追跡対象移動体を追跡することができる。また、一定期間の裕度を設定することで、降車時にたまたま別の乗客の陰に隠れて検出できなかった場合等における検出漏れも抑止しながら、対象カメラを適切に選択することができるようになる。
そして、選択部238は、対象カメラとして選択されたカメラ110のカメラ識別情報と、移動体検出処理及び特徴抽出処理を有効にする指示である有効指示とを示す有効指示情報を、ネットワーク通信部131を介して、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120に送る。
また、選択部238は、対象カメラとして選択されていないカメラ110のカメラ識別情報と、移動体検出処理及び特徴抽出処理を無効にする指示である無効指示とを示す無効指示情報を、ネットワーク通信部131を介して、対象カメラとして選択されなかったカメラ110に接続されている移動体検出装置120に送る。
さらに、選択部238は、監視空間DB部136に記憶されている監視空間情報において、対象カメラとして選択されたカメラ110の状態を「有効」にし、対象カメラとして選択されなかったカメラ110の状態を「無効」にする。
以上のように、実施の形態2における選択部238は、対象カメラの選択に有効期間を設定し、有効期間内に追跡対象移動体が同定されない場合には、対象カメラの選択を解除して、複数のカメラ110から、対象カメラとして選択されていない一又は複数のカメラを新たな対象カメラとして選択する。
ここで、選択部238は、エレベータが停車してから予め定められた期間を、エレベータが停車した階に配置されている対象カメラの有効期間とすることができる。また、選択部238は、エレベータが停車して、そのエレベータの戸が開いてから予め定められた期間を、そのエレベータが停車した階に配置されている対象カメラの有効期間とすることもできる。なお、予め定められた期間は、その戸が閉まるまでの期間であってもよく、戸が閉まった後に予め定められた追加期間が経過するまでの期間であってもよい。
図6は、実施の形態2に係る移動体追跡システム200での処理を示すフローチャートである。
図6に示されているステップの内、図5に示されているステップと同様の処理を行うステップについては、図5と同じ符号を付す。
図6のステップS10~ステップS16の処理については、図5のステップS10~S16の処理と同様である。但し、図6においては、ステップS16の処理の後は、処理はステップS30に進む。
ステップS30では、選択部238は、実施の形態1と同様に、与えられたエレベータ運行情報及び監視空間DB部136に記憶されている監視空間情報に基づいて、対象カメラを選択する。そして、選択部238は、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、有効指示情報を送り、対象カメラとして選択されなかったカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、無効指示情報を送る。さらに、選択部238は、監視空間DB部136に記憶されている監視空間情報において、対象カメラとして選択されたカメラ110の状態を「有効」にし、対象カメラとして選択されなかったカメラ110の状態を「無効」にする。
次に、選択部238は、ステップS30で選択された対象カメラに有効期間を設定する(S31)。これにより、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120での移動体検出処理及び特徴抽出処理にも有効期間が設定されることとなる。
そして、選択部238は、ステップS31で設定された有効期間が満了したか否かを判断する(S32)。有効期間が満了した場合(S32でYes)には、処理はステップS30に進み、選択部238は、対象カメラとして選択されていたカメラ110とは別のカメラ110を対象カメラとして選択する。例えば、エレベータが停車した別の階のカメラ110等が対象カメラとして選択される。一方、有効期間が満了していない場合(S32でNo)には、処理はステップS18に進む。
図6のステップS18での処理は、図3のステップS18での処理と同様である。
実施の形態1では、追跡対象移動体が検出できるまで各停止階での移動体検出処理及び特徴抽出処理が行われていたが、エレベータの停止回数が多く、かつ、特に追跡対象移動体が長時間降車しなかった場合には、対象カメラ数が増え一時的にシステム全体の演算処理負荷が高くなることが懸念される。しかしながら、実施の形態2によれば、対象カメラの選択に有効期間を設定し、移動体検出処理及び特徴抽出処理の対象カメラを、エレベータが到着する階に合わせて、順次切り替えていくことで、追跡対象移動体の降車していない階での無駄な移動体検出処理及び特徴抽出処理を抑止し、誤同定による追跡精度悪化又は無駄に演算処理負荷が高くなることを防止することができる。
実施の形態3.
図7は、実施の形態3に係る移動体追跡システム300の構成を概略的に示すブロック図である。
図7に示されているように、実施の形態3に係る移動体追跡システム300は、複数のカメラ110と、移動体検出装置120と、移動体追跡装置330とを備える。
実施の形態3に係る移動体追跡システム300の複数のカメラ110及び移動体検出装置120は、実施の形態1に係る移動体追跡システム100の複数のカメラ110及び移動体検出装置120と同様である。
図7に示されているように、移動体追跡装置330は、ネットワーク通信部131と、エレベータシステム通信部132と、接続I/F部133と、情報取得部334と、追跡対象指定部135と、監視空間DB部336と、エレベータ情報取得部137と、選択部338と、照合部339と、追跡管理部140と、既存移動体管理部341とを備える。
なお、移動体追跡装置330内の各部は個別の装置として構成することも可能である。
実施の形態3における移動体追跡装置330のネットワーク通信部131、エレベータシステム通信部132、接続I/F部133、追跡対象指定部135、エレベータ情報取得部137及び追跡管理部140は、実施の形態1における移動体追跡装置130のネットワーク通信部131、エレベータシステム通信部132、接続I/F部133、追跡対象指定部135、エレベータ情報取得部137及び追跡管理部140と同様である。
情報取得部334は、ネットワーク通信部131を介して、各移動体検出装置120から移動体情報を取得する。
実施の形態3においては、情報取得部334は、選択部338からの指示に応じて、取得された移動体情報の提供先を、追跡対象指定部135及び照合部339と、既存移動体管理部341との間で切り替える。
既存移動体管理部341は、情報取得部334から移動体情報を取得すると、取得された移動体情報を既存移動体情報として、監視空間DB部336に記憶させる。
監視空間DB部336は、監視空間情報及び移動体追跡情報に加えて、既存移動体情報を記憶する。
選択部338は、監視空間情報を参照して、複数のカメラ110から、移動体を検出し、その移動体の特徴を抽出する映像を撮るカメラ110である対象カメラを選択する。
また、選択部338は、追跡対象移動体がエレベータに乗車した場合には、監視空間情報及びエレベータ運行情報を参照して、複数のカメラ110から対象カメラを選択する。そして、選択部338は、情報取得部334に指示することで、移動体情報の提供先を既存移動体管理部341に切り替えさせる。さらに、選択部338は、対象カメラの選択が有効とされる期間である予備期間を設定する。
そして、予備期間が満了すると、選択部338は、監視空間情報及びエレベータ運行情報を参照して、複数のカメラ110から対象カメラを選択する。そして、情報取得部334に指示することで、移動体情報の提供先を追跡対象指定部135及び照合部339に切り替えさせる。さらに、対象カメラの選択の有効期間を設定する。有効期間の設定については、実施の形態2と同様である。
具体的には、選択部338は、追跡対象移動体がエレベータに乗車して、そのエレベータが走行開始してから、エレベータの呼び登録又は行き先階登録により停車する階のカメラ110一部又は全部を対象カメラとして選択する。そして、その選択に対する予備期間は、エレベータが走行開始してからその階に到着するまでする。これにより、追跡対象移動体がその階に到着する以前の移動体情報を取得しておくことができる。
そして、選択部338は、その階のカメラ110の一部又は全部を対象カメラに選択し、その有効期間をその階におけるエレベータの戸開の開始から戸開の完了までとする。
そして、選択部338は、対象カメラとして選択されたカメラ110のカメラ識別情報と、移動体検出処理及び特徴抽出処理を有効にする指示である有効指示とを示す有効指示情報を、ネットワーク通信部131を介して、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120に送る。
また、選択部338は、対象カメラとして選択されていないカメラ110のカメラ識別情報と、移動体検出処理及び特徴抽出処理を無効にする指示である無効指示とを示す無効指示情報を、ネットワーク通信部131を介して、対象カメラとして選択されなかったカメラ110に接続されている移動体検出装置120に送る。
さらに、選択部338は、監視空間DB部136に記憶されている監視空間情報において、対象カメラの何れか一方として選択されたカメラ110の状態を「有効」にし、対象カメラとして選択されなかったカメラ110の状態を「無効」にする。
照合部339は、対象カメラで撮られた映像から移動体検出装置120で生成された特徴情報で示される特徴と、追跡対象移動体の特徴とを照合することで、カメラ110で撮られた映像に含まれている移動体が追跡対象移動体と同一であるか否かを判断する。
ここで、実施の形態3においては、照合部339は、追跡対象移動体がエレベータに乗車後、追跡対象移動体が検出されるまでは、対象カメラで撮られた映像から生成された移動体情報で示される特徴が、既存移動体情報で示される特徴と一致しない場合に、追跡対象移動体の特徴とを照合する。これにより、既存移動体を除外した照合処理が可能になり、処理負荷の軽減を図る。
以上のように、実施の形態3では、検出抽出部123は、追跡対象移動体がエレベータに乗車してから予め定められた期間である予備期間内に、対象カメラで撮られた映像である予備映像から検出された移動体である既存移動体を検出するとともに、その予備映像から既存移動体の特徴である予備特徴を抽出する。そして、照合部339は、追跡対象移動体がエレベータに乗車した後に、対象カメラで撮られた映像から抽出された特徴である対象特徴が予備特徴と一致すると判断できない場合に、対象特徴と、追跡対象移動体の特徴とを照合することで、複数の移動体の中から、追跡対象移動体を同定する。
予備期間は、エレベータが対象階に停車するまでの期間であってもよく、停車したエレベータの戸が開くまでの期間であってもよい。ここでは、エレベータの戸が開ききるまでの期間であることが望ましい。
以上に記載された移動体追跡装置330も、例えば、図4(A)に示されているようなコンピュータ160により実現することができる。
例えば、情報取得部334、選択部338、照合部339及び既存移動体管理部341も、プロセッサ166が、記憶装置164に記憶されているプログラムをメモリ165に読み出して実行することで実現することができる。
また、監視空間DB部336は、記憶装置164により実現することができる。
なお、図7に示されている移動体追跡装置330内の各部は個別の装置として構成することも可能である。
このような場合、例えば、情報取得部334、選択部338、照合部339及び既存移動体管理部341の一部又は全部も、例えば、図4(B)に示されているように、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ASIC又はFPGA等の処理回路167で構成することもできる。
言い換えると、情報取得部334、追跡対象指定部135、エレベータ情報取得部137、選択部338、照合部339、追跡管理部140及び既存移動体管理部341は、処理回路網により実現することができる。
図8及び図9は、実施の形態3に係る移動体追跡システム100での処理を示すフローチャートである。
図8又は図9に示されているステップの内、図5に示されているステップと同様の処理を行うステップについては、図5と同じ符号を付す。
なお、情報取得部334からの移動体情報の提供先は、追跡対象指定部135、照合部339及び既存移動体管理部341になっているものとする。
図8のステップS10~ステップS16の処理については、図5のステップS10~S16の処理と同様である。但し、図8においては、ステップS16の処理の後は、処理は、図9のステップS40に進む。
図9のステップS40では、選択部338は、監視空間情報及びエレベータ運行情報を参照して、複数のカメラ110から対象カメラを選択する。そして、選択部338は、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、有効指示情報を送り、対象カメラとして選択されなかったカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、無効指示情報を送る。さらに、選択部338は、監視空間DB部336に記憶されている監視空間情報において、対象カメラとして選択されたカメラ110の状態を「有効」にし、対象カメラとして選択されなかったカメラ110の状態を「無効」にする。
さらに、選択部338は、情報取得部334に指示することで、移動体情報の提供先を追跡対象指定部135及び照合部339から既存移動体管理部341に切り替えさせる。これにより、後述するように対象カメラとして選択されたカメラ110に接続されている移動体検出装置120から送られてくる移動体情報が、既存移動体情報として監視空間DB部136に蓄積されることとなる。
また、選択部338は、対象カメラの選択が有効とされる期間である予備期間を設定する(S41)。これにより、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120における移動体検出処理及び特徴抽出処理を、エレベータがその階に到着するまでの間実施する予備期間が設定される。
次に、選択部338は、予備期間が満了したか否かを判断する(S42)。予備期間が満了した場合(S42でYes)には、処理はステップS45に進み、予備期間が満了していない場合(S42でNo)には、処理はステップS43に進む。
ステップS43では、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120の検出抽出部123は、対象カメラとして選択されたカメラ110で撮られた映像で移動体を検出したか否かを判断する。移動体が検出された場合(S43でYes)には、処理はステップS44に進み、移動体が検出されなかった場合(S43でNo)には、処理はステップS42に戻る。
ステップS44では、検出抽出部123は、対応する映像から、検出された移動体の特徴を抽出するとともに、検出された移動体、抽出された特徴及び対応するカメラ110のカメラ識別情報を示す移動体情報を生成して、送受信部122を介して、移動体追跡装置330に送る。このような移動体情報を、ネットワーク通信部131を介して取得した情報取得部334は、既存移動体管理部341にその移動体情報を与える。既存移動体管理部341は、受け取った移動体情報を既存移動体情報として監視空間DB部336に記憶させる。そして、処理はステップS42に戻る。
ステップS42において予備期間が満了すると(S42でYes)、処理はステップS45に進む。
ステップS45では、選択部338は、監視空間情報及びエレベータ運行情報を参照して、複数のカメラ110から対象カメラを選択する。そして、選択部338は、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、有効指示情報を送り、対象カメラとして選択されなかったカメラ110に接続されている移動体検出装置120に、ネットワーク通信部131を介して、無効指示情報を送る。さらに、選択部338は、監視空間DB部336に記憶されている監視空間情報において、対象カメラとして選択されたカメラ110の状態を「有効」にし、対象カメラとして選択されなかったカメラ110の状態を「無効」にする。
さらに、情報取得部334に指示することで、移動体情報の提供先を追跡対象指定部135及び照合部339に切り替えさせる。
また、選択部338は、対象カメラの選択が有効とされる期間である有効期間を設定する(S46)。これにより、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120における移動体検出処理及び特徴抽出処理にも有効とされる期間である有効期間が設定される。
次に、選択部338は、有効期間が満了したか否かを判断する(S47)。有効期間が満了した場合(S47でYes)には、処理はステップS45に戻り、選択部338は、対象カメラとして選択されているカメラ110の選択を解除して、別のカメラ110を対象カメラとして選択する。一方、有効期間が満了していない場合(S47でNo)には、処理はステップS48に進む。
ステップS48では、対象カメラとして選択されたカメラ110に接続されている移動体検出装置120の検出抽出部123は、対象カメラとして選択されたカメラ110で撮られた映像で移動体を検出したか否かを判断する。移動体が検出された場合(S48でYes)には、処理はステップS49に進み、移動体が検出されなかった場合(S48でNo)には、処理はステップS47に戻る。
ステップS49では、検出抽出部123は、対応する映像から、検出された移動体の特徴を抽出するとともに、検出された移動体、抽出された特徴及び対応するカメラ110のカメラ識別情報を示す移動体情報を生成して、送受信部122を介して、移動体追跡装置330に送る。このような移動体情報を、ネットワーク通信部131を介して取得した情報取得部334は、追跡対象指定部135及び照合部339にその移動体情報を与える。
照合部339は、受け取った移動体情報で示される特徴と、監視空間DB部336に記憶されている既存移動体情報で示されている特徴とを照合することで、移動体情報で示される移動体と、既存移動体情報で示される移動体である既存移動体とが同一であるか否かを判断する(S50)。これらが同一と判断した場合(S50でYes)には、処理はステップS47に進み、これらは同一ではないと判断した場合(S50でNo)には、処理はステップS51に進む。
ステップS51では、照合部339は、受け取った移動体情報で示される特徴と、追跡対象移動体の特徴とを照合することで、移動体情報で示される移動体と、追跡対象移動体とが同一であるか否かを判断する。
これらが同一と判断した場合(S51でYes)には、追跡管理部140は、監視空間DB部136に記憶されている移動体追跡情報に、同定された移動体の位置及び映像が撮られた日時を登録して、処理を図8のステップS13に進める。
一方、これらは同一ではないと判断した場合(S51でNo)には、処理はステップS47に戻る。
以上のように、実施の形態2ではエレベータ停止階情報及び到着時間から各移動先候補階における移動体検出処理及び特徴抽出処理の有効期間を設定し、追跡対象移動体の追跡処理を行ったが、実施の形態3では各移動先候補階に既にいる移動体の情報を事前に取得して管理することで、追跡対象移動体の同定及び追跡精度を向上する。
これにより、エレベータの停止階に到着する前から存在していた移動体を、追跡対象移動体との同定対象から除外し、誤同定及び誤追跡を抑止することができる。
なお、ここで既存移動体の中に追跡対象移動体と特徴の近い移動体がいる場合には、予め同定に使用する特徴を通常時と変える、例えば、より細かい特徴を見て判定するように変える、又は、同定の閾値設定を変更するといった制御も可能である。
実施の形態4.
図10は、実施の形態4に係る移動体追跡システム400の構成を概略的に示すブロック図である。
図10に示されているように、実施の形態4に係る移動体追跡システム400は、複数のカメラ110と、移動体検出装置120と、移動体追跡装置430とを備える。
実施の形態4に係る移動体追跡システム400の複数のカメラ110及び移動体検出装置120は、実施の形態1に係る移動体追跡システム100の複数のカメラ110及び移動体検出装置120と同様である。
図10に示されているように、移動体追跡装置430は、ネットワーク通信部131と、エレベータシステム通信部132と、接続I/F部133と、情報取得部134と、追跡対象指定部135と、監視空間DB部136と、エレベータ情報取得部137と、選択部438と、照合部139と、追跡管理部140と、乗車号機判断部442とを備える。
なお、移動体追跡装置430内の各部は個別の装置として構成することも可能である。
実施の形態4における移動体追跡装置430のネットワーク通信部131、エレベータシステム通信部132、接続I/F部133、情報取得部134、追跡対象指定部135、監視空間DB部136、エレベータ情報取得部137、照合部139及び追跡管理部140は、実施の形態1における移動体追跡装置130のネットワーク通信部131、エレベータシステム通信部132、接続I/F部133、情報取得部134、追跡対象指定部135、監視空間DB部136、エレベータ情報取得部137、照合部139及び追跡管理部140と同様である。
乗車号機判断部442は、監視空間DB部136に記憶されている移動体追跡情報と、エレベータ情報取得部137で取得されたエレベータ運行情報とに基づいて、追跡対象移動体が乗車したエレベータを判断する。
実施の形態1では、選択部138が、エレベータホール等のエレベータが設けられている場所で撮られた画像を解析すること、又は、追跡対象移動体が予め定められた条件を満たして検出されなくなったことにより、追跡対象移動体がエレベータに乗車したと判断している。そして、選択部138は、例えば、エレベータの停止階情報等をもとに移動先候補となる階を絞り込むことで、移動体の同定及び追跡精度向上を図っている。
ここで、エレベータが複数台設けられている場合、特に、複数のエレベータが並んで設けられている場合、実施の形態1のような判断では、複数号機の停止階が移動先候補となるため、移動先候補が膨大になることが懸念される。
そこで、実施の形態4では、乗車号機判断部442は、エレベータの乗車判定時に追跡対象移動体がどの号機に乗車したかを判定する。そして、選択部438は、追跡対象移動体が乗車したと判定された号機の運行状況のみを用いて、対象カメラの選択を行う。これにより、追跡対象移動体が乗車していない号機の停止階のカメラ110が、移動体を検出し、その特徴を抽出する映像を撮る対象カメラとして選択されることを防止し、同定及び追跡精度の向上と無駄な演算処理の抑止を図ることができる。
例えば、乗車号機判断部442は、エレベータホール等のエレベータが設けられた場所に設置されたカメラ110で撮られた映像から、追跡対象移動体の移動方向にある号機を乗車号機と判断してもよい。このような場合、カメラ110の設置角度又は撮影範囲等によりどの号機に乗車したかの判定が困難な場合がある。
そこで、乗車号機判断部442は、エレベータ運行情報を使用し、追跡対象移動体がエレベータに乗車したと判断された時点で、乗車した階において戸開していた号機を乗車号機と判定することができる。これにより乗車した可能性のない号機を対象から除外することができる。
また、ここでは階間移動した場合の移動先候補の選定を目的としているため、乗車号機判断部442は、判定条件に戸閉後に走行開始した号機、言い換えると、別の階に移動した号機のみを対象号機と判断してもよい。これにより、追跡対象移動体が一定時間エレベータの中に留まっていた場合にも、適切に対象カメラを選択できるようになる。
以上のように、実施の形態4では、監視領域内に、複数のエレベータが設けられている場合に、乗車エレベータ特定部として機能する乗車号機判断部442が、複数のエレベータの内、追跡対象移動体が乗車したエレベータを乗車エレベータとして特定する。そして、選択部438は、エレベータ運行情報を参照することで、乗車エレベータの運行状況から対象カメラを選択する。
ここで、乗車号機判断部442は、エレベータ運行情報を参照することで、複数のエレベータの内、追跡対象移動体が乗車した時点において戸が開いているエレベータを乗車エレベータとして特定してもよく、エレベータ運行情報を参照することで、複数のエレベータの内、追跡対象移動体が乗車した時点において戸が開いており、追跡対象移動体の乗車後に走行を開始したエレベータを乗車エレベータとして特定してもよい。
以上に記載された移動体追跡装置430も、例えば、図4(A)に示されているようなコンピュータ160により実現することができる。
例えば、選択部438及び乗車号機判断部442も、プロセッサ166が、記憶装置164に記憶されているプログラムをメモリ165に読み出して実行することで実現することができる。
なお、図10に示されている移動体追跡装置330内の各部は個別の装置として構成することも可能である。
このような場合、例えば、選択部438及び乗車号機判断部442の一部又は全部も、例えば、図4(B)に示されているように、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ASIC又はFPGA等の処理回路167で構成することもできる。
言い換えると、情報取得部134、追跡対象指定部135、エレベータ情報取得部137、選択部438、照合部139、追跡管理部140及び乗車号機判断部442は、処理回路網により実現することができる。
以上のように構成することで、エレベータが複数台ある場合にも余計な移動先候補のカメラ110の移動体検出処理及び特徴抽出処理を有効にすることによる誤検出の発生、及び無駄な演算処理を抑止することができる。
100,200,300,400 移動体追跡システム、 110 カメラ、 120 移動体検出装置、 121 受信部、 122 送受信部、 123 検出抽出部、 124 制御部、 130,230,330,430 移動体追跡装置、 131 ネットワーク通信部、 132 エレベータシステム通信部、 133 接続I/F部、 134,334 情報取得部、 135 追跡対象指定部、 136,336 監視空間DB部、 137 エレベータ情報取得部、 138,238,338,438 選択部、 139,339 照合部、 140 追跡管理部、 341 既存移動体管理部、 442 乗車号機判断部。

Claims (18)

  1. 複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡システムであって、
    前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得するエレベータ情報取得部と、
    前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択する選択部と、
    前記対象カメラで撮られた映像から移動体を検出し、前記検出された移動体の特徴を抽出する検出抽出部と、
    前記抽出された特徴である対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定する照合部と、を備えること
    を特徴とする移動体追跡システム。
  2. 前記対象カメラの配置及び前記追跡対象移動体と同定された移動体を含む前記映像が撮られた時刻から、前記監視領域内における前記追跡対象移動体の移動を追跡する追跡管理部をさらに備えること
    を特徴とする請求項1に記載の移動体追跡システム。
  3. 前記選択部は、前記エレベータの停車階を前記対象階として特定すること
    を特徴とする請求項1又は2に記載の移動体追跡システム。
  4. 前記選択部は、前記追跡対象移動体が前記エレベータに乗車してから特定の期間内に、停止階として呼び登録又は行き先階登録された階を前記対象階として特定すること
    を特徴とする請求項1又は2に記載の移動体追跡システム。
  5. 前記選択部は、前記対象カメラの選択に有効期間を設定し、前記有効期間内に前記追跡対象移動体が同定されない場合には、前記対象カメラの選択を解除して、前記複数のカメラから、前記対象カメラとして選択されていない一又は複数のカメラを新たな対象カメラとして選択すること
    を特徴とする請求項1からの何れか一項に記載の移動体追跡システム。
  6. 前記選択部は、前記エレベータが停車してから予め定められた期間を、前記エレベータが停車した階に配置されている前記対象カメラの前記有効期間とすること
    を特徴とする請求項に記載の移動体追跡システム。
  7. 前記選択部は、前記エレベータが停車して、前記エレベータの戸が開いてから予め定められた期間を、前記エレベータが停車した階に配置されている前記対象カメラの前記有効期間とすること
    を特徴とする請求項に記載の移動体追跡システム。
  8. 前記予め定められた期間は、前記戸が閉まるまでの期間であること
    を特徴とする請求項に記載の移動体追跡システム。
  9. 前記予め定められた期間は、前記戸が閉まった後に予め定められた追加期間が経過するまでの期間であること
    を特徴とする請求項に記載の移動体追跡システム。
  10. 前記選択部は、前記追跡対象移動体が前記エレベータに乗車してから予め定められた期間である予備期間を設定し、
    前記検出抽出部は、前記予備期間内に、前記対象カメラで撮られた映像である予備映像から検出された移動体である既存移動体を検出するとともに、前記予備映像から前記既存移動体の特徴である予備特徴を抽出し、
    前記照合部は、前記追跡対象移動体が前記エレベータに乗車した後に、前記対象特徴が前記予備特徴と一致しないと判断した場合に、前記対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定すること
    を特徴とする請求項1からの何れか一項に記載の移動体追跡システム。
  11. 前記予備期間は、前記エレベータが前記対象階に停車するまでの期間であること
    を特徴とする請求項10に記載の移動体追跡システム。
  12. 前記予備期間は、前記エレベータが前記対象階に停車し戸が開くまでの期間であること
    を特徴とする請求項10に記載の移動体追跡システム。
  13. 前記監視領域内には、複数の前記エレベータが設けられており、
    前記複数のエレベータの内、前記追跡対象移動体が乗車したエレベータを乗車エレベータとして特定する乗車エレベータ特定部をさらに備え、
    前記選択部は、前記エレベータ運行情報を参照することで、前記乗車エレベータの運行状況から前記対象カメラを選択すること
    を特徴とする請求項1から12の何れか一項に記載の移動体追跡システム。
  14. 前記乗車エレベータ特定部は、前記エレベータ運行情報を参照することで、前記複数のエレベータの内、前記追跡対象移動体が乗車した時点において戸が開いているエレベータを前記乗車エレベータとして特定すること
    を特徴とする請求項13に記載の移動体追跡システム。
  15. 前記乗車エレベータ特定部は、前記エレベータ運行情報を参照することで、前記複数のエレベータの内、前記追跡対象移動体が乗車した時点において戸が開いており、前記追跡対象移動体の乗車後に走行を開始したエレベータを前記乗車エレベータとして特定すること
    を特徴とする請求項13に記載の移動体追跡システム。
  16. 複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡装置であって、
    前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得するエレベータ情報取得部と、
    前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択する選択部と、
    前記対象カメラで撮られた映像から検出された移動体の特徴として抽出された対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定する照合部と、を備えること
    を特徴とする移動体追跡装置。
  17. コンピュータを、複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡装置として機能させるプログラムであって、
    前記コンピュータを、
    前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得するエレベータ情報取得部、
    前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択する選択部、及び、
    前記対象カメラで撮られた映像から検出された移動体の特徴として抽出された対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定する照合部、として機能させること
    を特徴とするプログラム。
  18. 複数の移動体が移動する監視領域内において、追跡を行う対象である追跡対象移動体の移動を追跡する移動体追跡方法であって、
    前記監視領域内に設けられているエレベータの運行を制御しているエレベータシステムから、前記エレベータの運行状況を示すエレベータ運行情報を取得し、
    前記エレベータ運行情報を参照することで、前記追跡対象移動体が降りる可能性のある階を対象階として特定し、
    前記監視領域内に配置された複数のカメラの内、前記対象階に配置されている少なくとも一つのカメラを対象カメラとして選択し、
    前記対象カメラで撮られた映像から移動体を検出し、
    前記検出された移動体の特徴を抽出し、
    前記抽出された特徴である対象特徴と、前記追跡対象移動体の特徴とを照合することで、前記複数の移動体の中から、前記追跡対象移動体を同定すること
    を特徴とする移動体追跡方法。
JP2022541355A 2020-08-04 2020-08-04 移動体追跡システム、移動体追跡装置、プログラム及び移動体追跡方法 Active JP7286027B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029739 WO2022029860A1 (ja) 2020-08-04 2020-08-04 移動体追跡システム、移動体追跡装置、プログラム及び移動体追跡方法

Publications (3)

Publication Number Publication Date
JPWO2022029860A1 JPWO2022029860A1 (ja) 2022-02-10
JPWO2022029860A5 JPWO2022029860A5 (ja) 2022-11-07
JP7286027B2 true JP7286027B2 (ja) 2023-06-02

Family

ID=80117864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022541355A Active JP7286027B2 (ja) 2020-08-04 2020-08-04 移動体追跡システム、移動体追跡装置、プログラム及び移動体追跡方法

Country Status (4)

Country Link
US (1) US20230260139A1 (ja)
JP (1) JP7286027B2 (ja)
CN (1) CN116034579A (ja)
WO (1) WO2022029860A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146378A (ja) 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2007331925A (ja) 2006-06-19 2007-12-27 Mitsubishi Electric Building Techno Service Co Ltd エレベータの防犯カメラシステム
WO2010098024A1 (ja) 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146378A (ja) 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2007331925A (ja) 2006-06-19 2007-12-27 Mitsubishi Electric Building Techno Service Co Ltd エレベータの防犯カメラシステム
WO2010098024A1 (ja) 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム

Also Published As

Publication number Publication date
WO2022029860A1 (ja) 2022-02-10
JPWO2022029860A1 (ja) 2022-02-10
CN116034579A (zh) 2023-04-28
US20230260139A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
US11210527B2 (en) Target object identifying device, target object identifying method and target object identifying program
EP2801956B1 (en) Passenger counter
JP5448817B2 (ja) 目的階登録配車運転においてセキュリティ保護の追跡を匿名で行う乗客指標付けシステム
US8660700B2 (en) Video-based system and method of elevator door detection
JP4759988B2 (ja) 複数カメラを用いた監視システム
US20070242860A1 (en) Face image read apparatus and method, and entrance/exit management system
CN106966278A (zh) 电梯的乘坐检测系统
JPWO2021176642A5 (ja)
JP7286027B2 (ja) 移動体追跡システム、移動体追跡装置、プログラム及び移動体追跡方法
JP5334008B2 (ja) 異常動作検出装置
CN110892412B (zh) 脸部辨识系统、脸部辨识方法及脸部辨识程序
JP6558178B2 (ja) 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
CN113860104B (zh) 一种基于计算机视觉的电梯群控性能指标计算系统和方法
US20220136316A1 (en) Information processing device
JP2022550846A (ja) 情報処理装置、情報処理方法および記憶媒体
KR20210060275A (ko) 영상분석 기반의 차량객체 인식 및 추적을 이용한 주차관리 시스템 및 방법
JP7455284B2 (ja) 汚れ判定装置
JP2020063659A (ja) 情報処理システム
JP2021012558A (ja) 照合方法、照合装置、及びプログラム
JP6879336B2 (ja) 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
US20230062785A1 (en) Estimation apparatus, estimation method, and computer program product
RU2447008C2 (ru) Способ и система управления лифтами, способ анонимного наблюдения за пассажирами
JPWO2022029860A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230523

R150 Certificate of patent or registration of utility model

Ref document number: 7286027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150