JP7211453B2 - 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム - Google Patents

追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム Download PDF

Info

Publication number
JP7211453B2
JP7211453B2 JP2021096083A JP2021096083A JP7211453B2 JP 7211453 B2 JP7211453 B2 JP 7211453B2 JP 2021096083 A JP2021096083 A JP 2021096083A JP 2021096083 A JP2021096083 A JP 2021096083A JP 7211453 B2 JP7211453 B2 JP 7211453B2
Authority
JP
Japan
Prior art keywords
tracking
terminal
tracked
person
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021096083A
Other languages
English (en)
Other versions
JP2021158673A (ja
Inventor
太一 大辻
一志 村岡
洋明 網中
大 金友
則夫 山垣
孝司 吉永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021158673A publication Critical patent/JP2021158673A/ja
Priority to JP2023001498A priority Critical patent/JP7414163B2/ja
Application granted granted Critical
Publication of JP7211453B2 publication Critical patent/JP7211453B2/ja
Priority to JP2023212230A priority patent/JP2024022678A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/009Signalling of the alarm condition to a substation whose identity is signalled to a central station, e.g. relaying alarm signals in order to extend communication range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19684Portable terminal, e.g. mobile phone, used for viewing video remotely

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

(関連出願についての記載)
本発明は、米国仮出願:62/437742号(2016年12月22日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラムに関し、特に、追跡対象の追跡を行う担当者への支援を行うための追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラムに関する。
特許文献1に、巡回警備業務において、異常が発生した現場に向かう警備員が不審者を容易に特定することができるという巡回警備支援システムが開示されている。具体的には、この巡回警備支援システムは、所定の警備領域に配置された撮影手段が撮影した映像データから、映像中に含まれる人物を検出し、検出した人物を監視する人物監視手段100と、人物監視手段100が監視する人物のうち、予め定められている検知条件を満たした人物を不審者として検知する不審者検知手段101と、不審者検知手段101が検知した不審者と巡回警備員との相対位置情報を算出する位置情報算出手段102と、位置情報算出手段102が算出した相対位置情報に基づいて、巡回警備員が保持する携帯端末に所定の情報を送信する不審者情報送信手段103とを含むと記載されている。
特許文献2には、不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示を迅速、且つ適正に行うことができるという監視システムが開示されている。具体的には、特許文献3には、この監視システムの監視サーバ2は、携帯端末3毎に、その携帯端末3の位置を管理する携帯端末位置管理テーブルを記憶している。また、監視サーバ2は、オブジェクトの異常状態の種類を分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末3を決定する条件を登録した異常状態分類テーブルを記憶している。監視サーバ2は、監視カメラ端末1から異常状態であるオブジェクトの検出にかかる通報があると、携帯端末位置管理テーブル、および異常状態分類テーブルを用いて、そのオブジェクトに対する対応を指示する携帯端末3を判断する。監視サーバ2は、ここで判断した携帯端末3に対して、異常状態であることが通報されてきたオブジェクトに対する対応指示を送信する、と記載されている。
特許文献3には、中央監視装置(20)が、監視端末装置(10)から出力された位置情報を少なくとも含む監視情報を取得し、監視者が追跡する追跡対象が存在すると予測される監視地点を設定し、設定された監視地点を基準とする所定の監視エリアに接近及び/又は離隔する移動体の監視端末装置(10)を選択し、選択された監視端末装置(10)に対して、画像情報を含む監視情報を送信する画像送信指令を出力する構成が開示されている。
特許文献4には、特定の対象の位置情報を検出すると共に、特定の対象の近傍にいる第三者に、その特定の対象の確保を依頼することができるという検出装置および検出方法が開示されている。
特許文献5には、中央管理室や警備室にてモニタ監視を行う監視員の負担を軽減できるという追跡支援装置が開示されている。
特許文献6には、警備員G1は、ウエアラブルカメラにより自身の視界近傍を撮像し、撮像した画像データに含まれる人物について管理装置10に照合を依頼する。画像データに含まれる人物が人物H1であるならば、管理装置10は、対応する警備情報を通知するという構成が開示されている。
特開2011-18094号公報 特開2012-104022号公報 国際公開第2013/125301号 特開2009-3852号公報 特開2015-19248号公報 特開2016-194759号公報
特許文献1~3の構成によれば、巡回警備員等が現場に駆け付け、不審者や異常に即応することが可能となるが、しばしば不審者が巡回警備員に気付き、逃げられてしまうことがある。この点、特許文献4は迷子の探索を目的としており、子が逃げるという事態は想定されていない。また、特許文献5、6における追跡は、固定カメラの映像に映った人物等を目で追いかけることであり、実際に巡回警備員が追跡するものではない。
本発明は、上記不審者等の追跡対象から気付かれにくい態様で追跡を実施できるように巡回警備員等の追跡担当者を支援する手段の豊富化に貢献できる追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラムを提供することを目的とする。
第1の視点によれば、所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラと接続され、前記複数のカメラから受信した映像に基づいて、追跡対象の位置を計算する位置計算部を備える追跡支援装置が提供される。この追跡支援装置は、さらに、端末から受信した該端末の位置情報と、前記計算した前記追跡対象の位置とに基づいて、前記追跡対象の追尾を指示する追跡担当者を選択する担当者選択部を備える。さらに、この追跡支援装置は、前記選択した追跡担当者の端末に対し、前記追跡対象を追跡中における前記端末と前記追跡対象との距離に関する情報を送信する情報送信部と、を備える。
第2の視点によれば、所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラから受信した情報に基づいて、端末を携行する追跡担当者に指示を送信する追跡支援装置から追跡対象の指示を受信する指示受信部と、前記追跡支援装置から受信した追跡対象の位置と、自機の位置に基づいて、前記自機と前記追跡対象との距離に関する情報を出力する出力部と、を備える端末が提供される。
第3の視点によれば、所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラと、複数の追跡担当者がそれぞれ携行する端末と前記カメラから受信した情報に基づいて、前記端末を携行する追跡担当者に指示を送信する追跡支援装置と、を含む追跡支援システムの前記追跡支援装置が、前記複数のカメラから受信した映像に基づいて、追跡対象の位置を計算し、前記端末から受信した該端末の位置情報と、前記計算した前記追跡対象の位置とに基づいて、前記追跡対象の追尾を指示する追跡担当者を選択し、前記選択した追跡担当者の端末に対し、前記追跡対象を追跡中における前記端末と前記追跡対象との距離に関する情報を送信する追跡支援方法が提供される。本方法は、追跡担当者が携行する端末に対し追跡対象の追跡を指示するコンピュータという、特定の機械に結びつけられている。
第4の視点によれば、所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラと、複数の追跡担当者がそれぞれ携行する端末と前記カメラから受信した情報に基づいて、前記端末を携行する追跡担当者に指示を送信する追跡支援装置と、を含む追跡支援システムの前記追跡支援装置に搭載されたコンピュータに、前記複数のカメラから受信した映像に基づいて、追跡対象の位置を計算する処理と、前記端末から受信した該端末の位置情報と、前記計算した前記追跡対象の位置とに基づいて、前記追跡対象の追尾を指示する追跡担当者を選択する処理と、前記選択した追跡担当者の端末に対し、前記追跡対象の追跡中における前記端末と前記追跡対象との距離に関する情報を送信する処理と、を実行させるプログラムが提供される。
第5の視点によれば、所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラから受信した情報に基づいて、前記端末を携行する追跡担当者に指示を送信する追跡支援装置から追跡対象の指示を受信する端末に搭載されたコンピュータに、前記追跡支援装置から受信した追跡対象の位置と、自機の位置に基づいて、前記自機と前記追跡対象との距離を計算する処理と、前記計算した距離に関する情報を出力する処理と、を実行させるプログラムが提供される。なお、上記したプログラムは、コンピュータが読み取り可能な(非トランジエントな)記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
第6の視点によれば、所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラと、上記した追跡支援装置と含む追跡支援システムが提供される。
本発明によれば、不審者等の追跡対象から気付かれにくい態様で追跡を実施できるように巡回警備員等の追跡担当者を支援することが可能となる。
本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第1の実施形態の追跡支援システムの構成を示す図である。 本発明の第1の実施形態の追跡支援端末の構成を示す図である。 本発明の第1の実施形態の支援サーバの構成を示す図である。 本発明の第1の実施形態の支援サーバに保持される追跡担当者情報の一例を示す図である。 本発明の第1の実施形態の支援サーバに保持される監視対象情報の一例を示す図である。 本発明の第1の実施形態のカメラの動作(支援サーバへの撮影画像の送信処理)を示す流れ図である。 本発明の第1の実施形態の追跡支援端末の動作(支援サーバへの位置通知処理)を示す流れ図である。 本発明の第1の実施形態の支援サーバの動作(追跡担当者の変更処理)を示す流れ図である。 本発明の第1の実施形態の追跡支援端末の動作(支援サーバからの指示受信処理)を示す流れ図である。 本発明の第1の実施形態の支援サーバの動作(追跡対象との距離判定処理)を示す流れ図である。 本発明の第1の実施形態における追跡担当者に引継ぎ動作を示すシーケンス図である。 本発明の第1の実施形態の追跡支援端末に表示される接近警報の一例を示す図である。 本発明の第1の実施形態の追跡支援端末に表示される接近警報の別の一例を示す図である。 本発明の第2の実施形態の追跡支援端末の構成を示す図である。 本発明の第2の実施形態の追跡支援端末の動作(追跡対象との距離判定処理)を示す流れ図である。 本発明の第3の実施形態の追跡支援端末に設けられるボタンの一例を示す図である。 本発明の第3の実施形態における追跡担当者に引継ぎ動作を示すシーケンス図である。 本発明の第4の実施形態における追跡担当者に引継ぎ動作を示すシーケンス図である。 一実施形態に係る固定カメラと支援サーバの動作を示すシーケンス図である。 一実施形態に係る追跡支援端末と支援サーバの動作を示すシーケンス図である。 一実施形態に係る支援サーバの動作フローチャートである。 一実施形態に係る支援サーバの機能ブロック図である。 一実施形態に係る追跡支援端末の機能ブロック図である。 一実施形態に係る追跡支援端末の別の動作フローチャートである。 一実施形態に係る追跡支援端末の別の動作フローチャートである。 一実施形態に係る固定カメラと支援サーバの動作を示すシーケンス図である。 一実施形態に係る追跡支援端末の別の動作フローチャートである。 一実施形態に係る固定カメラと支援サーバの動作を示すシーケンス図である。 一実施形態に係る情報処理装置の構成を例示するブロック図である。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。
本発明は、その一実施形態において、図1に示すように、所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラ10Aと、複数の追跡担当者がそれぞれ携行する端末(以下、追跡支援端末とも言う。)と、前記端末と前記カメラ10Aから受信した情報に基づいて、前記端末を携行する追跡担当者に指示を送信する追跡支援装置20Aと、を含む追跡支援システムにて実現できる。
より具体的には、この追跡支援システムの追跡支援装置20Aは、前記複数のカメラから受信した映像に基づいて、追跡対象の位置を計算する位置計算部21Aと、前記端末から受信した該端末の位置情報と、前記計算した前記追跡対象の位置とに基づいて、前記追跡対象の追尾を指示する追跡担当者を選択する担当者選択部22Aと、前記選択した追跡担当者の端末に対し、前記追跡対象を追跡中における前記端末と前記追跡対象との距離に関する情報を送信する情報送信部23Aと、を備える。端末と前記追跡対象との距離に関する情報としては、単純に距離を数値で表したものを表示してもよいし、あるいは、1単位を3mなどとした要素の数で距離を示すレベル表示を行ってもよい。端末と前記追跡対象との距離に関する情報として、後述するような追跡対象と接近し過ぎた場合に、画像や振動などで警告を行う接近警告を出力する形態を採ることもできる。
上記した構成を採ることにより、この追跡支援システムの追跡支援装置20Aは、図2に示すように、選択した追跡担当者の端末に、追跡対象との距離を送信する。追跡担当者は、その携行する端末に表示された距離に関する情報を参照して、適切な距離を保持して、追跡を実施する。
以上のように、本発明によれば、追跡対象を注視しなくとも、追跡対象との距離(間合い)を確認することが可能となるため、追跡対象に気付かれにくい形態で、追跡対象の追跡を実施することが可能となる。
なお、担当者選択部22Aが追跡担当者を選択する際に、追跡対象の動きと、追跡担当者の動きを予測し、各時点において最寄りの追跡担当者を選択する方法も採用できる。もちろん、その際に、各追跡担当者の外見(服装、体格、髪や肌の色、性別など)、スキル(足の速さ、言語、特技等)、所持している機材、経験、疲労度、これまでの追跡時間の長さ等を考慮に入れて総合的に判定することも可能である。
[第1の実施形態]
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図3は、本発明の第1の実施形態の追跡支援システムの構成を示す図である。図3を参照すると、通信ネットワークを介して、複数のカメラ200から撮影画像を受信する支援サーバ100と、複数の追跡担当者が携行する追跡支援端末500とが接続された構成が示されている。本実施形態では、上記構成にて、支援サーバ100からの指示に基づいて複数の追跡担当者が引継ぎながら追跡対象を追跡する。
図4は、本発明の第1の実施形態の追跡支援端末500の構成を示す図である。図4を参照すると、時間管理部501と、自端末位置情報取得部503と、表示部504と、データ送受信部505と、無線インタフェース(以下、「無線IF」)506と、操作部507とを備えた構成が示されている。
時間管理部501は、計時装置(タイマ)を保持し、時刻を管理する。この時刻情報は、支援サーバ100に位置情報を送信する際に、併せて送信される。
自端末位置情報取得部503は、GPS(Global Positioning System)等の衛星測位システムを用いて測位することで、自機の位置を示す位置情報を取得する。
表示部504は、支援サーバ100から受信した追跡支援情報や、接近警報などの警告を表示する。なお、接近警報は、文字や画像として表示する形態には限られない。例えば、接近警報を音声や振動により伝えることもできる。その場合、表示部504の代わりに、スピーカーやバイブレーターによって接近警報は出力されることになる。また、文字や画像と音声や振動とを併用しても良い。
データ送受信部505は、無線IF506を介して、支援サーバ100と通信する。具体的には、データ送受信部505は、支援サーバ100に対して、自機の位置情報や、追跡を開始したことや追跡を終了したことを伝えるメッセージを送信する。また、データ送受信部505は、支援サーバ100から指示や接近警報を受け取ると、表示部504に、これらの指示内容や接近警報を送信する。この無線IF506とデータ送受信部505が、前述の指示受信部に相当し、データ送受信部505と表示部504が前述の出力部に相当する。
操作部507は、操作担当者から各種の指示を受け付けるタッチパネルやボタン類によって構成される。
以上のような追跡支援端末500としては、位置測定機能の搭載したスマートフォンや各種のウェアラブル端末を好ましく用いることができる(図14、図15参照)。
続いて、上記した追跡支援端末500の位置を把握し、追跡指示や接近警報を出力することにより追跡を支援する上記した追跡支援装置に相当する支援サーバ100の構成について説明する。図5は、本発明の第1の実施形態の支援サーバ100の構成を示す図である。図5を参照すると、追跡担当者情報管理部101と、追跡対象情報管理部102と、時間管理部103と、引継ぎ先決定部104と、追跡対象位置推定部105と、ネットワークインタフェース(以下、「NW IF」)106と、データ送受信部107と、距離判定部108と、を備えた構成が示されている。
追跡担当者情報管理部101は、追跡対象の追跡を行う追跡担当者の情報を管理する。図6は、追跡担当者情報管理部101が保持する追跡担当者情報の一例を示す図である。図6の例では、追跡担当者IDで特定される各追跡担当者の現在位置、外見情報、スキル情報、所持している追跡支援端末のアドレス等を対応付けた追跡担当者情報が示されている。現在位置データフィールド及び現在時刻データフィールドには、追跡担当者の現在位置を示す情報(例えば、緯度経度情報)とその位置にいた時刻が格納される。また、外見情報としては、追跡担当者の服装、体格、髪や肌の色、性別などの情報が格納される。また、スキル情報としては、足の速さ、言語、特技等が格納される。追跡支援端末のアドレスは、追跡支援端末にメッセージや情報を送信する際に使用する端末アドレス等が格納される。また、図6の例では省略しているが、ステータス情報として、追跡担当者が所持している機材、経験、疲労度、これまでの追跡時間の長さ等を記録可能としておいてもよい。これらの情報は、引継ぎ先決定部104が追跡を担当する追跡担当者を選択する際に参照される。なお、上記追跡担当者情報管理部101の内容は、追跡担当者を統括する運用者が設定すればよい。もちろん、リアルタイムに変更したほうが好ましい項目については、各追跡担当者がそれぞれ更新することとしてもよい。
追跡対象情報管理部102には、追跡対象となる人物等の情報が格納される。図7は、追跡対象情報管理部102が保持される追跡対象情報の一例を示す図である。図7の例では、追跡対象IDで特定される各追跡対象の位置情報(現在位置)と、その位置にいた時刻と、追跡対象の特徴情報が少なくとも1つ以上設定される。特徴情報としては、例えば、追跡対象となる人物等の服装、髪や肌の色、身長、性別等の特徴が好ましく採用される。また、特徴情報として使用可能な情報は上記のような追跡対象の外見的な特徴に限られない。例えば、追跡対象が保持する端末等が無線で送信する端末IDや、音声(声の特徴)、使用している言語等が判明していればこれらを補助的に用いることもできる。
また、時間管理部103は、計時装置(タイマ)を保持し、各追跡対象者の追跡開始時刻や追跡継続時間等を記録し、管理する。
引継ぎ先決定部104は、所定の契機で、追跡対象を追跡中の追跡担当者に代わり、新たに追跡を開始する追跡担当者を決定する。より具体的には、引継ぎ先決定部104は、追跡対象情報管理部102に保持された追跡対象の情報と、追跡担当者情報管理部101に保持された追跡担当者の情報とに基づいて、新たに追跡を開始する追跡担当者を選択する。なお、追跡担当者の選択基準としては、現在位置が、追跡対象者の追跡を開始できる位置にあることに加え、追跡担当者の外見、スキルやステータス情報が利用される。例えば、現在追跡を行っている追跡担当者と異なる服装、性別の者を敢えて選択したり、追跡対象者の移動速度が早ければ、足が速く、疲労度の少ない追跡担当者を選択したりすることができる。また例えば、追跡対象が警戒心が強いということが分かっていれば、追跡が行われるエリアにおいて目立たない属性を持つ追跡担当者を選択することもできる。また、追跡対象の属性に基づいて、予め追跡担当者の属性を決めておいてもよい。
追跡対象位置推定部105は、カメラ200から受信した撮影画像に基づいて、追跡対象の位置を取得し、距離判定部108に出力する。例えば、追跡対象の位置は、例えば、カメラ200の位置と、その撮影画像に写った追跡対象の位置や大きさにより計算することができる。また、追跡対象が撮影画像から消えてしまった場合においても、例えば、過去の撮影画像から追跡対象がある方向に等速で進んでいることがわかれば、追跡対象位置推定部105が、追跡対象の位置を推定して出力するようにしてもよい。追跡対象の検出や位置の推定方法としては、その他種々の方法を用いることができるが、例えば、上記した各特許文献に挙げられている方法(例えば、特許文献6)を用いることもできる。
データ送受信部107は、ネットワークIF(NW I/F)106を介して、新たに追跡を開始する追跡担当者の追跡支援端末500に対して追跡指示を送信し、追跡を終了する追跡担当者の追跡支援端末500に対して、追跡終了を指示する。また、データ送受信部107は、無線IF106を介して、追跡担当者の追跡支援端末500から送信された、追跡開始報告、追跡終了報告、追跡支援端末の位置情報、追跡開始時間等を受信する。
距離判定部108は、追跡対象位置推定部105にて推定した追跡対象の位置と追跡担当者の位置から両者の距離が所定の閾値未満である場合に、データ送受信部107を介して追跡支援端末500に接近警報を送信する。
なお、図4、図5に示した追跡支援端末500や支援サーバ100の各部(処理手段)は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。
続いて、本実施形態の動作について図面を参照して詳細に説明する。はじめに、支援サーバ500が追跡対象の位置を特定する仕組みについて説明する。図8は、本発明の第1の実施形態のカメラの動作(支援サーバへの撮影画像の送信処理)を示すシーケンス図である。図8を参照すると、カメラ200は、所定の時間間隔で支援サーバ100に撮影画像を送信する(ステップS001)。
支援サーバ100は、カメラ200から受信した撮影画像から位置情報を取得する(ステップS002)。前述のとおり、追跡対象の位置は、カメラ200の位置と、その撮影画像に写った追跡対象の位置や大きさにより計算することができる。また、カメラの撮影画像から追跡対象が消えてしまった場合には、追跡対象の過去の動きから追跡対象の位置を推定するようにしてもよい。
続いて、追跡支援端末500から支援サーバ100への位置情報の送信処理について説明する。図9は、本発明の第1の実施形態の追跡支援端末500の動作を示す流れ図である。図9を参照すると、追跡支援端末500は、支援サーバ100に対し、自機(自端末)の位置情報を送信する(ステップS201)。
次に、追跡支援端末500は、前記支援サーバ100に対する最後の送信を行ってから規定時間が経過したか否かを確認する(ステップS202)。規定時間が経過していない場合、追跡支援端末500は、待機する(ステップS202のNO)。一方、規定時間が経過している場合、追跡支援端末500は、支援サーバ100に新しい情報を送信すべくステップS201に戻ることになる。
以上のように、追跡支援端末500は、所定の時間間隔で、支援サーバ100に、自機の位置情報を送信する。
続いて、上記支援サーバ100が、上記した追跡対象の位置と、追跡支援端末の位置とを利用して、追跡支援端末500に対し追跡指示を送信する動作について説明する。図10は、本発明の第1の実施形態の支援サーバの動作を示す流れ図である。図10を参照すると、まず、支援サーバ100は、上記図8にて説明したとおり、カメラ200の撮影映像から追跡対象の位置を特定する。支援サーバ100は、上記図9にて説明したとおり、追跡支援端末500から各追跡支援端末500の位置情報を受信する(ステップS101)。
次に、支援サーバ100は、最後に引継ぎを行ってから規定時間が経過したか否か、即ち、現在追跡を行っている追跡担当者による追跡が規定時間を経過しているかを確認する(ステップS102)。
前記確認の結果、現在追跡を行っている追跡担当者による追跡が規定時間を経過している場合(ステップS102のYES)、支援サーバ100は、引継ぎ先の追跡担当者を決定し、その追跡担当者が保持する追跡支援端末500に対して、引継ぎ開始指示と、追跡対象の位置情報や特徴情報を送信する(ステップS103)。
引継ぎ先の追跡支援端末500から監視開始通知(後述)を受信すると、支援サーバ100は、引継ぎ元の追跡支援端末500に対し、引継ぎ終了指示を送信する(ステップS104)。
なお、ステップS102において、ある追跡担当者による追跡が規定時間を経過していない場合(ステップS102のNO)、支援サーバ100は、ステップS101に戻って、カメラ200及び追跡支援端末500から新しい情報の受信を継続する。
以上のように、支援サーバ100は、ある規定時間毎に、追跡対象の追跡を行う追跡担当者を切り替える動作を行う。なお、上記したステップS102における「規定時間」は、固定した時間でなくてもよい。例えば、ある時間に、乱数によって決定した時間を加算し、その値を規定時間として用いてもよい。即ち、その都度ランダムに決定した時間を用いて、監視を行う追跡担当者の切り替えを行うことができる。これにより、追跡対象が監視に気付く可能性を低減することが可能になる。また、ランダムに変えるのではなくて、例えば、追跡対象の属性(典型的には、テロリストや犯罪者(注意深い)であるか否か等)、時間帯、追跡対象エリアの気候条件、周囲の混雑度等、追跡対象から気付かれやすい状況にあるか否かを考慮して決定するようにしてもよい。
続いて、上記支援サーバ100から指示を受信した際の追跡支援端末の動作について説明する。図11は、本発明の第1の実施形態の追跡支援端末500の動作(支援サーバ100からの指示受信処理)を示す流れ図である。図11を参照すると、追跡支援端末500が追跡待機中、即ち、追跡対象の監視を行っていない場合において(ステップS301のYES)、支援サーバ100から、追跡対象の追跡引継ぎ指示を受信すると(ステップS302のYES)、追跡支援端末500は、追跡開始指示を表示部504に表示する(ステップS303)。追跡担当者はこの表示を見て、追跡対象の追跡を開始する。そして、追跡支援端末500は、支援サーバ100に対して、監視を開始したことを通知する(ステップS304)。
一方、追跡支援端末500が追跡中、即ち、追跡対象の監視を行っている場合において(ステップS301のNO)、支援サーバ100から、追跡対象の追跡終了指示を受信すると(ステップS305のYES)、追跡支援端末500は、追跡終了指示を表示部504に表示する(ステップS306)。追跡担当者はこの表示を見て、追跡対象の追跡を終了し、追跡支援端末の操作部507に所定の操作を行う。そして、追跡支援端末500は、支援サーバ100に対して、追跡を終了したことを通知する(ステップS307)。
以上のように、追跡担当者は、支援サーバ100からの指示に従って、監視対象の監視を開始又は終了し、その旨を支援サーバ100に通知する。
続いて、上記追跡対象の引継ぎとは独立して行われる支援サーバ100による追跡担当者への警告処理について説明する。図12は、本発明の第1の実施形態の支援サーバの動作(追跡対象との距離判定処理)を示す流れ図である。図12を参照すると、まず、支援サーバ100は、追跡対象の位置情報を計算し、また、追跡担当者情報管理部101から、当該追跡対象を追跡中の追跡支援端末500の位置情報を取得する(ステップS401)。
次に、支援サーバ100は、追跡対象とその追跡対象を追跡中の追跡支援端末500との距離を計算する(ステップS402)。
次に、支援サーバ100は、前記計算した距離が所定の閾値未満であるか否かを確認する(ステップS403)。
前記計算した距離が所定の閾値未満であった場合(ステップS403のYES)、支援サーバ100は、当該追跡対象を追跡中の追跡支援端末500に対して、追跡対象との距離が詰まっている(短すぎる)旨の接近警告を送信する(ステップS404)。なお、ステップS403において計算した距離が所定の閾値以上であった場合(ステップS403のNO)、支援サーバ100は、ステップS401に戻って、次の計算タイミングまで待機する。
続いて、上記のように動作する追跡支援端末500及び支援サーバ100による追跡対象の追跡引継ぎ動作について説明する。図13は、本発明の第1の実施形態における追跡担当者に引継ぎ動作を示すシーケンス図である。また、図13では、初期状態として、追跡支援端末#1に対する指示が行われ、追跡対象の監視が行われているものとする(ステップS501)。
追跡対象を追跡中の追跡担当者によって保持されている追跡支援端末#1は、図9のステップS201で説明したように、支援サーバ100に対して、所定の時間間隔で、位置情報を送信する(ステップS502)。
また、図9のステップS201で説明したように、追跡待機中の追跡支援端末#2は、支援サーバ100に対して、所定の時間間隔で、自機の位置情報を送信する(ステップS502)。
支援サーバ100は、図10のステップS101~S102で説明したように、ある追跡担当者の追跡継続時間が規定時間を経過すると、追跡対象の追跡を引き継ぐ追跡担当者を決定する(ステップS503)。ここでは、支援サーバ100は、引継ぎ先として、別の追跡担当者の追跡支援端末#2を選択したものとする。
そして、支援サーバ100は、追跡支援端末#2に対し、以下の引継ぎ情報を送信し、支援対象の支援開始を指示する(ステップS504)。
・追跡開始指示
・監視対象の位置情報
・監視対象の特徴情報
前記指示を受信した追跡支援端末#2は、支援サーバ100から受信した追跡対象の位置情報及び特徴情報を表示部に表示して、追跡担当者に追跡の開始を促す。追跡担当者により追跡支援端末#2の操作部507に所定の追跡開始操作が行われると、追跡支援端末#2は、支援サーバ100に対して、追跡対象の追跡を開始したことを通知する(ステップS506)。
追跡支援端末#2から監視開始の通知を受け取った支援サーバ100は、追跡支援端末#1に対し、追跡対象の追跡終了(追跡待機状態への移行)を指示する(ステップS507)。前記指示を受信した追跡担当端末#1は、支援サーバ100から受信した指示に基づいて、追跡対象の監視を終了し、支援サーバ100に対して、監視対象の監視を終了したことを通知する(ステップS508)。
以上のように、本発明の第1の実施形態によれば、追跡対象から気づかれにくい態様で、順次交代して追跡対象を追跡することが可能となる。なお、上記した実施形態では、追跡対象に対して同時に追跡を行う追跡担当者の数が1人であるものとして説明したが、複数の追跡支援端末の追跡担当者に追跡を指示し、引継ぎも原則複数の追跡担当者に追跡を行わせるようにしてもよい。
また、上記した追跡担当者の一部又は追跡担当者の任務を補完する役割を無人航空機(「ドローン」とも呼ばれる)に担わせてもよい。この場合、支援サーバ100は、追跡支援端末に代えて無人航空機に対し、監視対象の位置情報や監視対象の特徴情報を追跡指示を送信することになる。このようにすることで、追跡担当者が追跡困難な状況に置かれた場合でも追跡を続行することが可能となる。
また、本実施形態では、図12を用いて説明したように、追跡対象を追跡中の追跡担当者に対し、追跡対象との距離が近くなったことの接近警告が行われる。この接近警告は、追跡支援端末500がウェアラブル端末である場合に、より好適な形態で実施される。
例えば、図14に示すように、追跡支援端末500が眼鏡型のウェアラブル端末である場合、そのレンズ面の情報表示エリアに接近警告901を表示することができる。また、図14の例では、追跡担当者の視野内に追跡対象が写っている場合に、追跡対象を示すマーカー902を重畳表示している。したがって、追跡担当者は、視線を動かさずに移動し、追跡対象を追跡することが可能となる。その上で、接近警告901が表示された場合には、歩く速度を落としたり、進行方向を変えるなどして、追跡対象との距離を広げることが可能となる。
また、図15に示すように、追跡支援端末500が腕時計型のウェアラブル端末である場合、その本体910の情報表示エリアに接近警告911を表示することができる。また、腕時計型のウェアラブル端末の場合、情報表示エリアへの接近警告911の表示に代えて、バイブレーターの振動によって接近警告を行う形態を採ることもできる。追跡支援端末500の形態は、これらのウェアラブル端末に限られず、指輪型のもの、リストバンド型のものを用いることができる。もちろん、追跡支援端末500としてスマートフォンなども用いることもできる。
[第2の実施形態]
続いて、上記した第1の実施形態の支援サーバ100側に配置されていた接近警告の出力判定機能を追跡支援端末側に配置した第2の実施形態について説明する。第2の実施形態の基本的な構成及び動作は、第1の実施形態と同様であるので、以下、その相違点を中心に説明する。本実施形態の支援サーバ100は、追跡支援端末500に対して、追跡対象位置推定部105で推定した追跡対象の位置情報を送信する機能を有している。それ以外は、第1の実施形態と同様であるので、説明を省略する。
図16は、本発明の第2の実施形態の追跡支援端末500aの構成を示す図である。図4に示した第1の実施形態の追跡支援端末500との相違点は、追跡支援端末500aに、追跡対象位置情報保持部502と、距離判定部508とが追加されている点である。
追跡対象位置情報保持部502は、支援サーバ100から受信した追跡対象の位置情報を所定期間保持する。
距離判定部508は、支援サーバ100から受信した追跡対象の位置情報と、自端末の位置情報とに基づいて、両者の距離を計算する。前記計算の結果、両者の距離が所定の閾値未満である場合、距離判定部508は、表示部504に接近警報を出力する。
続いて、本実施形態の追跡支援端末500aにおける上記接近警告の出力処理について説明する。図17は、本発明の第2の実施形態の追跡支援端末500aの動作(追跡対象との距離判定処理)を示す流れ図である。まず、追跡支援端末500aは、追跡対象位置情報保持部502から追跡対象の位置情報を読み出す。次に、追跡支援端末500aは、追跡担当者情報管理部101から、当該追跡対象を追跡中の追跡支援端末500aの位置情報を取得する(ステップS601)。
次に、追跡支援端末500aは、追跡対象とその追跡対象を追跡中の追跡支援端末500aとの距離を計算する(ステップS602)。
次に、追跡支援端末500aは、前記計算した距離が所定の閾値未満であるか否かを確認する(ステップS603)。
前記計算した距離が所定の閾値未満であった場合(ステップS603のYES)、追跡支援端末500aは、表示部504に、追跡対象との距離が詰まっている(短すぎる)旨の接近警告を表示する(ステップS604)。なお、ステップS603において計算した距離が所定の閾値以上であった場合(ステップS603のNO)、追跡支援端末500aは、ステップS601に戻って、次の計算タイミングまで待機する。
以上のように、本発明は、追跡支援端末500a側で追跡担当者と追跡対象との距離を計算し、必要に応じて接近警告を出力する構成に変形することができる。
[第3の実施形態]
続いて、追跡担当者が追跡対象を見失った場合(以下、追跡担当者が追跡対象から振り切られてしまった場合、追跡担当者が間違った追跡対象を追跡していたことに気づいた場合を含めて「失探」と言う。)の探索機能を追加した第3の実施形態について説明する。第3の実施形態の基本的な構成及び動作は、第1、第2の実施形態と同様であるので、以下、その相違点を中心に説明する。
本実施形態の追跡支援端末は、追跡担当者が追跡対象を失探してしまったことを、支援サーバ100側に知らせる機能を有している。図18は、本発明の第3の実施形態の腕時計型の追跡支援端末に設けられる操作部507の一例を示す図である。図18の例では、対象を見失ったことを示す「対象見失」ボタン912と、何らかの事由で他の追跡担当者への引継ぎを求める「要引継」ボタン913とが独立して設けられている。例えば、追跡担当者が「対象見失」ボタン912をクリックすると、支援サーバ側に、当該追跡担当者が対象を見失しなったことを示すメッセージが送信される。同様に、追跡担当者が「要引継」ボタン913をクリックすると、支援サーバ側に、当該追跡担当者が他の追跡担当者への任務引継ぎを求めている旨を示すメッセージが送信される。なお、図18の例では、腕時計型の追跡支援端末のタッチパネル上に、「対象見失」ボタン912と、「要引継」ボタン913とを別個に(独立して)表示させた例を挙げて説明したが、両者を統合し、支援サーバに支援を求めるボタンを設けてもよい。また、ウェアラブル端末に設けられた機械式のボタンに、これらのボタン相当に対応する機能を割り当てても良い。
図19は、本発明の第3の実施形態に追加された機能を説明するためのシーケンス図である。図19のシーケンスは、追跡担当者から失探報告を受けた支援サーバ100が、カメラ200の映像データから追跡対象を見つけられない場合に、開始される追跡対象の捜索動作を示している。図19を参照すると、まず、追跡担当者は、追跡対象を見失ったことに気づくと、例えば図18の「対象見失」ボタン912をクリックして(ステップS701)、支援サーバ100に対して、失探したことを報告する(ステップS702)。この報告(失探報告)には、最後に追跡対象を確認した位置情報(失探位置)や時刻(失探時刻)、あるいは特徴情報を含めてもよい。
前記失探報告を受信した支援サーバ100は、前記追跡担当者が最後に追跡対象を確認した位置情報に基づいて、追跡担当者を選択し、これらの追跡担当者の追跡支援端末#2に対して、追跡対象の捜索依頼を送信する(ステップS703)。この追跡対象の捜索依頼には、追跡対象の特徴情報のほか、前述の追跡対象の最後に追跡対象を確認した位置情報や変装歴等を示す過去の特徴情報を含めてもよい。なお、ステップS702の失探報告を受信した際に、支援サーバ100が、カメラ200の映像データから追跡対象を見つけられた場合には、ステップS703~S705を省略することができる。この場合、支援サーバ100は、追跡支援端末#1に、カメラ200にて特定された追跡対象位置情報等を送信し、追跡対象の再監視を依頼する(ステップS706)。
前記追跡対象の捜索依頼を受信した追跡担当者は、追跡対象の捜索依頼に含まれる追跡対象の特徴情報に基づいて追跡対象の探索を行う(ステップS704)、なお、図19の例では、追跡対象の探索の結果、追跡担当端末#2を保持する追跡担当者が追跡対象を発見したものとしている。
追跡対象を発見した追跡担当者は、追跡支援端末#2を操作して、支援サーバ100に対して、追跡対象を発見したことを通知する(ステップS705)。この通知には、発見した追跡対象の位置を示す位置情報や必要に応じて特徴情報が含まれる。
追跡対象の位置情報等を受信した支援サーバ100は、追跡支援端末#1に対して、追跡対象の位置情報等を送信し、追跡対象の再監視を依頼する(ステップS706)。追跡担当者は、追跡対象を再発見すると(ステップS707)、追跡支援端末#1を操作して、支援サーバ100に対して、追跡対象を発見し、追跡を再開したことを通知する(ステップS708)。
以上のように、本実施形態によれば、追跡対象が着衣を着替えたり、変装したり、無人航空機の視野から意図的に消える等して、追跡担当者が追跡対象を見失った場合に対応することが可能となる。特に、図18に示すように、「対象見失」ボタン912を独立して設けることで、追跡対象を見失った後速やかに支援サーバ100にそのことを報告することが可能となる。
なお、上記した実施形態では、支援サーバ100が、追跡支援端末#1の追跡担当者が最後に追跡対象を確認した位置情報に基づいて、周辺の追跡支援端末を選択するものとして説明したが、支援サーバ100が、配下のすべての追跡支援端末に対して、追跡対象の捜索依頼をブロードキャストする形態に変更することもできる。この場合においても、追跡対象の捜索依頼に、追跡担当者#1が最後に追跡対象を確認した位置情報等を含めてもよい。このようにすることで、それぞれの追跡担当者が、追跡担当者#1が最後に追跡対象を確認した位置や特徴を参考にして再探索を行うことが可能となる。
なお、上記した実施形態では、支援サーバ100が、追跡支援端末#1を保持する追跡担当者に追跡の再開を指示しているが、追跡対象が大きく移動してしまっている状態など、追跡担当者#1と追跡対象との位置関係が適切でない場合は、図10のフローチャートのステップS103に移り、引継ぎを行う追跡担当者の選択を行うようにしてもよい。
[第4の実施形態]
続いて、追跡支援端末に、追跡の中止を要請する機能を追加した第4の実施形態について説明する。第4の実施形態の基本的な構成及び動作は、第1、第2の実施形態と同様であるので、以下、その相違点を中心に説明する。
図20は、本発明の第4の実施形態に追加された機能を説明するためのシーケンス図である。図20を参照すると、まず、追跡支援端末#1を保持する追跡担当者は、追跡をしていた追跡対象の追跡を中止すべき事由が発生すると(ステップS1001)、支援サーバ100に対して、追跡中止要請(追跡終了依頼)を送信する(ステップS1002)。この追跡中止要請(追跡終了依頼)には、最後に追跡対象を確認した位置情報や追跡対象の追跡を中止すべき事由を含めてもよい。
なお、追跡対象の追跡を中止すべき事由としては、以下のような事由が考えられる。
・追跡対象に追跡をしていることを気づかれた場合
・追跡対象が、当該追跡担当者では追跡困難なエリアに入った場合
・別の命令の受領
・追跡担当者の疲労、怪我を含めた安全性の確保
前記追跡中止要請(追跡終了依頼)を受信した支援サーバ100は、追跡対象の追跡を引き継ぐ追跡担当者を決定する(ステップS1003)。ここでは、支援サーバ100は、引継ぎ先として、追跡支援端末#2を保持する追跡担当者を選択したものとする。
そして、支援サーバ100は、追跡支援端末#2に対し、以下の情報を送信し、追跡対象の追跡開始を指示する(ステップS1004)。
・引継ぎ開始指示
・追跡対象の位置情報
・追跡対象の特徴情報
前記指示を受信した追跡支援端末#2を保持する追跡担当者は、支援サーバ100から受信した追跡対象の位置情報及び特徴情報に基づいて、追跡対象の追跡を開始する(ステップS1005)。そして、追跡支援端末#2は、支援サーバ100に対して、追跡対象の監視を開始したことを通知する(ステップS1006)。なお、追跡対象の監視を開始したことの通知は、追跡支援端末#2を保持する追跡担当者からの明示的な操作によって送信されることとしてもよいし、追跡支援端末#2が追跡対象を追う動きを開始したことに基づいて自動的に送信するようにしてもよい。
追跡支援端末#2から監視開始の通知を受け取った支援サーバ100は、追跡支援端末#1に対し、追跡対象の追跡終了(追跡待機状態への移行)を指示する(ステップS1007)。前記指示を受信した追跡支援端末#1を保持する追跡担当者は、支援サーバ100から受信した指示に基づいて、追跡対象の追跡を終了し、支援サーバ100に対して、追跡対象の追跡を終了したことを通知する(ステップS1008)。
以上のように、本実施形態によれば、ある追跡担当者側に、追跡を中止すべき事情が発生した場合に、速やかに別の追跡担当者に監視を引き継ぐことが可能となる。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、情報要素の表現形態などは、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
最後に、本発明の好ましい形態を要約する。
[第1の形態]
(上記第1の視点による追跡支援装置参照)
[第2の形態]
上記した追跡支援装置において、
前記端末と前記追跡対象との距離に関する情報は、前記端末と前記追跡対象との距離が、所定の閾値より短くなった場合に送信する接近警報であることが好ましい。
[第3の形態]
上記した追跡支援装置において、
前記担当者選択部は、一の追跡担当者による前記追跡対象の追跡時間が所定の時間を超えた場合に、前記複数の追跡担当者の中から他の追跡担当者を選択し、
前記選択された他の追跡担当者の端末に対し、前記追跡対象の追跡を指示するとともに、前記一の追跡担当者に対し前記追跡対象の追跡の終了を指示する構成を採ることができる。
[第4の形態]
上記した追跡支援装置において、
前記所定の時間として、その都度ランダムに決定した時間を用いることができる。
[第5の形態]
上記した追跡支援装置の前記担当者選択部は、前記一の担当者からの追跡終了依頼を受信した場合、前記複数の追跡担当者の中から他の追跡担当者を選択し、
前記情報送信部は、前記他の前記追跡担当者の端末に対し、追跡対象の追跡を指示するとともに、前記一の追跡担当者の端末に対し、前記追跡対象の追跡の終了を指示する構成を採ることができる。
[第6の形態]
上記した追跡支援装置において、前記一の担当者からの追跡終了依頼が、失探によるものである場合、前記複数の追跡担当者に対し、前記追跡対象の情報を送信し、追跡対象の捜索を指示することが好ましい。
[第7の形態]
(上記第2の視点による端末参照)
[第8の形態]
上記した端末は、前記追跡支援装置に対し、前記追跡終了依頼を送信するためのボタンを備えていることが好ましい。
[第9の形態]
上記した端末において、
前記ボタンとして、少なくとも、前記追跡支援装置に対し失探したことを知らせるボタンと、前記追跡支援装置に対し前記追跡対象に気づかれたことを知らせるためのボタンとが独立して設けられていることが好ましい。
[第10の形態]
(上記第3の視点による追跡支援方法参照)
[第11の形態]
所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラと、
複数の追跡担当者がそれぞれ携行する端末と前記カメラから受信した情報に基づいて、前記端末を携行する追跡担当者に指示を送信する追跡支援装置と、を含む追跡支援システムの前記支援装置に搭載されたコンピュータに、
前記複数のカメラから受信した映像に基づいて、追跡対象の位置を計算する処理と、
前記端末から受信した該端末の位置情報と、前記計算した前記追跡対象の位置とに基づいて、前記追跡対象の追尾を指示する追跡担当者を選択する処理と、
前記選択した追跡担当者の端末に対し、前記追跡対象を追跡中における前記端末と前記追跡対象との距離に関する情報を送信する処理と、
を実行させるプログラム。
[第12の形態]
所定の監視区域内に配置され、それぞれが撮影した映像を送信する複数のカメラから受信した情報に基づいて、前記端末を携行する追跡担当者に指示を送信する支援装置から追跡対象の指示を受信する端末に搭載されたコンピュータに、
前記支援装置から受信した追跡対象の位置と、自機の位置に基づいて、前記自機と前記追跡対象との距離を計算する処理と、
前記計算した距離に関する情報を出力する処理と、
を実行させるプログラム。
なお、上記第7、10~第12の形態は、第1の形態と同様に、第2~第6の形態に展開することが可能である。
本願開示では、以下の形態も可能である。
解決策
・複数の追跡担当者が交代しつつ監視対象者を追跡する際の支援を行う追跡支援システムにおいて、
・監視区域内を撮影する複数のカメラと、追跡担当者が所持する追跡支援端末と、通信ネットワークを介して前記複数のカメラおよび複数の追跡支援端末と接続される支援サーバと、を備え、
・前記カメラは監視区域内の映像を通信ネットワークを介して支援サーバへ送信し、
・前記追跡支援端末は自端末の位置情報を通信ネットワークを介して支援サーバへ送信し、
・前記支援サーバは前記追跡支援端末の位置情報、および、前記カメラの映像に基づき特定した監視対象者の位置情報もしくは該履歴から推定した監視対象者の位置情報に基づき、次に追跡を行う追跡担当者を選定し、前記追跡支援端末に対して通知する。
効果
追跡担当者が追跡交代時に監視対象を見失いにくい、見失ったときのリカバリがしやすい、あるいは、適切な距離感で追跡することが可能となるため、監視対象者は監視されていることに気づきにくくなり、監視を振り切るような行動をとる可能性が低減する。
なお、図22において、監視を引継ぐ追跡担当者の決定方法の例としては次のものが挙げられる。
・監視対象者の現在位置から所定半径以内を移動中の支援端末の中からランダムで選択
・監視対象者の行動履歴に基づき、所定時間内に監視対象者が移動しそうな場所から所定半径以内を移動中の支援端末の中からランダムで選択
※選択する際、追跡担当者の人着(性別、体格、服装、装飾品などの人相や着衣)や足の速さ、 周囲の状況(混雑度)などを考慮しても良い。
→サラリーマン風から老人風に変わると、追跡に気づかれにくくなる。混雑していると移動速度が落ちる。
また、図26の判定ブロックにおいて、所定距離は周囲の状況などによって変更されても良い。例えば、混雑度が高い場合、監視対象に近づいても気づかれる可能性が低下すると考えられるため。
また、図30において、監視対象情報の例とは、監視対象の写真、監視対象の体格、服装(人着)などがある。
図31は、情報処理装置の構成を例示するブロック図である。実施形態に係る解析サーバは、上図に示す情報処理装置を備えていてもよい。情報処理装置は、中央処理装置(CPU:Central Processing Unit)およびメモリを有する。情報処理装置は、メモリに記憶されているプログラムをCPUが実行することにより、解析サーバが有する各部の機能の一部または全部を実現してもよい。
形態1
複数の追跡担当者が交代しつつ監視対象者を追跡する際の支援を行う追跡支援システムにおいて、
監視区域内を撮影する複数のカメラと、複数の追跡担当者が所持する複数の追跡支援端末と、通信ネットワークを介して前記複数のカメラおよび複数の追跡支援端末と接続される支援サーバと、を備え、
前記カメラは監視区域内の映像を通信ネットワークを介して支援サーバへ送信し、
前記複数の追跡支援端末は自端末の位置情報を通信ネットワークを介して支援サーバへ送信し、
前記支援サーバは前記複数の追跡支援端末の位置情報、および、前記カメラの映像に基づき特定した監視対象者の位置情報または該履歴から推定した監視対象者の位置情報に基づき、次に追跡を行う追跡担当者を選定し、選択した追跡支援端末に対して通知する、
ことを特徴とする追跡支援システム。
形態2
前記支援サーバは、NW IFと、データ送受信部と、監視対象位置推定部と、追跡対象情報記憶部と、追跡担当者情報管理部と、時間管理部と、引継ぎ先決定部と、を備える
ことを特徴とする形態1の追跡支援システム。
形態3
前記複数の追跡支援端末は、無線IFと、表示部と、自端末位置情報取得部と、監視対象者位置情報保持部と、時間管理部と、位置関係判定部と、データ送受信部と、操作部とを備える
ことを特徴とする形態1または2の追跡支援システム。
形態4
前記複数の追跡支援端末は、操作部に対して監視対象者を見失った旨の入力を受けた場合、監視対象位置情報の提供依頼を前記の支援サーバに報告し、
前記の支援サーバは監視対象者の位置情報を前記依頼元の追跡支援端末に対して通知し、
前記依頼元の追跡支援端末は通知された監視対象者の位置情報を表示部上に表示する
ことを特徴とする形態1ないし3のいずれかの追跡支援システム。
形態5
前記複数の追跡支援端末は、自端末の位置情報と監視対象者の位置情報に基づき、追跡担当者および監視対象者の位置関係を計算し、所定の距離(上限および下限)を超えている場合は、その旨の警告を追跡支援端末の表示部に表示する
ことを特徴とする形態1ないし4のいずれかの追跡支援システム。
なお、本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
10A、200 カメラ
20A 追跡支援装置
21A 位置計算部
22A 担当者選択部
23A 情報送信部
100 支援サーバ
101 追跡担当者情報管理部
102 追跡対象情報管理部
103 時間管理部
104 引継ぎ先決定部
105 追跡対象位置推定部
106 無線インタフェース(無線IF)
107 データ送受信部
108 距離判定部
500、500a 追跡支援端末
501 時間管理部
502 追跡対象位置情報保持部
503 自端末位置情報取得部
504 表示部
505 データ送受信部
506 無線インタフェース(無線IF)
507 操作部
508 距離判定部
900、910 (ウェアラブル端末)本体
902 マーカー
901、911 接近警告
912、913 ボタン

Claims (12)

  1. 少なくともサーバとドローンを備える追跡支援システムであって、
    前記サーバは、
    カメラが追跡対象を撮像した映像及び前記カメラの位置に基づき、前記追跡対象の位置を計算する位置計算処理と、
    前記ドローンに前記追跡対象の位置への追跡を指示する送信処理と、
    を実行し、
    前記ドローンは、
    前記追跡の指示を受信した場合に、前記追跡対象の追跡を開始する処理を実行する、
    追跡支援システム。
  2. 前記送信処理は、前記追跡対象の外観に関する特徴情報を送信する、
    請求項1に記載の追跡支援システム。
  3. 前記位置計算処理は、前記映像上における前記追跡対象の位置や大きさに基づき、前記追跡対象の実空間上の位置を計算する、
    請求項1又は2に記載の追跡支援システム。
  4. 少なくともサーバとドローンによる追跡支援方法であって、
    前記サーバは、カメラが追跡対象を撮像した映像及び前記カメラの位置に基づき、前記追跡対象の位置を計算し、
    前記ドローンに対して前記追跡対象の位置への追跡を指示し、
    前記ドローンは、前記サーバから前記追跡の指示を受信した場合に、前記追跡対象の追跡を開始する、
    追跡支援方法。
  5. 前記サーバは、前記追跡対象の外観に関する特徴情報を送信する、
    請求項4に記載の追跡支援方法。
  6. 前記サーバは、前記映像上における前記追跡対象の位置や大きさに基づき、前記追跡対象の実空間上の位置を計算する、
    請求項4又は5に記載の追跡支援方法。
  7. 追跡支援システムを構成するサーバのコンピュータに、
    カメラが追跡対象を撮像した映像及び前記カメラの位置に基づき、前記追跡対象の位置を計算する位置計算処理と、
    追跡指示を受信した場合に、前記追跡対象の追跡を開始するドローンに対して、前記追跡対象の位置への追跡を指示する送信処理と、
    を実行させるプログラム。
  8. 前記送信処理は、前記追跡対象の外観に関する特徴情報を送信する、
    請求項7に記載のプログラム。
  9. 前記位置計算処理は、前記映像上における前記追跡対象の位置や大きさに基づき、前記追跡対象の実空間上の位置を計算する、
    請求項7又は8に記載のプログラム。
  10. 前記サーバは、複数のドローンの位置情報と、前記計算した前記追跡対象の位置に基づいて前記追跡対象の追尾を指示するドローンを選択するドローン選択処理を実行する、
    請求項1乃至3のいずれか1項に記載の追跡支援システム。
  11. 前記ドローン選択処理は、一のドローンからの追跡終了依頼を受信した場合、複数のドローンの中から他のドローンを選択し、
    前記送信処理は、前記他のドローンに対し、追跡対象の追跡を指示するとともに、前記一のドローンに対し、前記追跡対象の追跡の終了を指示する、
    請求項10に記載の追跡支援システム。
  12. 前記ドローン選択処理は、一のドローンによる前記追跡対象の追跡時間が所定の時間を超えた場合に、前記複数のドローンの中から他のドローンを選択し、
    前記選択された他のドローンに対し、前記追跡対象の追跡を指示するとともに、前記一のドローンに対し前記追跡対象の追跡の終了を指示する、
    請求項10に記載の追跡支援システム。
JP2021096083A 2016-12-22 2021-06-08 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム Active JP7211453B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023001498A JP7414163B2 (ja) 2016-12-22 2023-01-10 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム
JP2023212230A JP2024022678A (ja) 2016-12-22 2023-12-15 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662437742P 2016-12-22 2016-12-22
US62/437,742 2016-12-22
JP2018557513A JP6897691B2 (ja) 2016-12-22 2017-03-02 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018557513A Division JP6897691B2 (ja) 2016-12-22 2017-03-02 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023001498A Division JP7414163B2 (ja) 2016-12-22 2023-01-10 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021158673A JP2021158673A (ja) 2021-10-07
JP7211453B2 true JP7211453B2 (ja) 2023-01-24

Family

ID=62626172

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2018557513A Active JP6897691B2 (ja) 2016-12-22 2017-03-02 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム
JP2021096083A Active JP7211453B2 (ja) 2016-12-22 2021-06-08 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム
JP2023001498A Active JP7414163B2 (ja) 2016-12-22 2023-01-10 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム
JP2023212230A Pending JP2024022678A (ja) 2016-12-22 2023-12-15 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018557513A Active JP6897691B2 (ja) 2016-12-22 2017-03-02 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023001498A Active JP7414163B2 (ja) 2016-12-22 2023-01-10 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム
JP2023212230A Pending JP2024022678A (ja) 2016-12-22 2023-12-15 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム

Country Status (3)

Country Link
US (8) US11049374B2 (ja)
JP (4) JP6897691B2 (ja)
WO (1) WO2018116487A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301521B2 (ja) * 2018-11-07 2023-07-03 キヤノン株式会社 画像処理装置
US11593951B2 (en) * 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
CN111405203B (zh) * 2020-03-30 2022-11-04 杭州海康威视数字技术股份有限公司 一种画面切换的确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348157A (ja) 2004-06-03 2005-12-15 Canon Inc カメラシステム、カメラ、及びカメラの制御方法
JP2012078950A (ja) 2010-09-30 2012-04-19 Sogo Keibi Hosho Co Ltd 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム
JP2016119627A (ja) 2014-12-22 2016-06-30 セコム株式会社 追跡処理装置
JP2016171442A (ja) 2015-03-12 2016-09-23 セコム株式会社 監視システム及び飛行ロボット

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3814779B2 (ja) * 2001-03-27 2006-08-30 三菱電機株式会社 侵入者自動追尾方法および装置並びに画像処理装置
US20030202102A1 (en) * 2002-03-28 2003-10-30 Minolta Co., Ltd. Monitoring system
JP2004328484A (ja) * 2003-04-25 2004-11-18 Hitachi Ltd 監視システム及び監視端末
JP4054859B2 (ja) * 2003-09-05 2008-03-05 日本マイクロシステムズ株式会社 動体監視装置
JP5119764B2 (ja) 2007-06-25 2013-01-16 日本電気株式会社 判定装置および検出方法、並びに検出システム
TWI388205B (zh) * 2008-12-19 2013-03-01 Ind Tech Res Inst 目標追蹤之方法與裝置
JP5003731B2 (ja) * 2009-07-07 2012-08-15 日本電気株式会社 巡回警備支援システム、方法及びプログラム
JP5435740B2 (ja) 2010-11-12 2014-03-05 オムロン株式会社 監視システム、および監視サーバ
WO2013125301A1 (ja) 2012-02-24 2013-08-29 日産自動車株式会社 監視システム
JPWO2014045670A1 (ja) * 2012-09-19 2016-08-18 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
US20140169663A1 (en) * 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
JP6171374B2 (ja) * 2013-02-06 2017-08-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6182343B2 (ja) 2013-03-29 2017-08-16 綜合警備保障株式会社 飛行制御システム及び飛行制御方法
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法
JP5506989B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US10345450B2 (en) * 2013-12-30 2019-07-09 Kimberly H. Calhoun System and method for radio and wireless measurements tracking and reporting
CN106687878B (zh) * 2014-10-31 2021-01-22 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
EP3265885A4 (en) * 2015-03-03 2018-08-29 Prenav Inc. Scanning environments and tracking unmanned aerial vehicles
JP6563234B2 (ja) 2015-03-31 2019-08-21 綜合警備保障株式会社 警備システム及び警備方法
US10635888B2 (en) 2015-08-19 2020-04-28 Technomirai Co., Ltd. Smart-security digital system, method and program
CA3000035A1 (en) * 2015-09-30 2017-04-06 Alarm.Com Incorporated Drone-augmented emergency response services
US9965942B2 (en) * 2016-06-01 2018-05-08 Tile, Inc. User intervention based on tracking device sensor data
WO2018106608A1 (en) * 2016-12-05 2018-06-14 Ring Inc. Passing vehicle filters for audio/video recording and communication devices
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
JP6826888B2 (ja) * 2017-01-11 2021-02-10 株式会社トプコン 測量装置、無人航空機の探索方法、測量システムおよびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348157A (ja) 2004-06-03 2005-12-15 Canon Inc カメラシステム、カメラ、及びカメラの制御方法
JP2012078950A (ja) 2010-09-30 2012-04-19 Sogo Keibi Hosho Co Ltd 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム
JP2016119627A (ja) 2014-12-22 2016-06-30 セコム株式会社 追跡処理装置
JP2016171442A (ja) 2015-03-12 2016-09-23 セコム株式会社 監視システム及び飛行ロボット

Also Published As

Publication number Publication date
US11727775B2 (en) 2023-08-15
JP7414163B2 (ja) 2024-01-16
JP6897691B2 (ja) 2021-07-07
JP2024022678A (ja) 2024-02-16
US20240005755A1 (en) 2024-01-04
US20190371143A1 (en) 2019-12-05
JP2021158673A (ja) 2021-10-07
US20240005754A1 (en) 2024-01-04
WO2018116487A1 (ja) 2018-06-28
US20210166536A1 (en) 2021-06-03
US20230343192A1 (en) 2023-10-26
US20230419799A1 (en) 2023-12-28
JPWO2018116487A1 (ja) 2019-10-31
US20230419798A1 (en) 2023-12-28
JP2023052273A (ja) 2023-04-11
US20240062637A1 (en) 2024-02-22
US11049374B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
JP7211453B2 (ja) 追跡支援装置、端末、追跡支援システム、追跡支援方法及びプログラム
JP6984768B2 (ja) ロボット、制御方法及びプログラム
US10777097B2 (en) Media streaming methods, apparatus and systems
JP6930618B2 (ja) ナビゲーションシステム、クライアント端末装置、制御方法、記憶媒体、およびプログラム
JP6284686B2 (ja) セルフバランスカーの管理方法、装置、プログラム及び記録媒体
JP6844626B2 (ja) 監視システム、無人飛行体及び監視方法
JP2019091161A (ja) 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム
JP2018094983A (ja) 飛行装置、通報方法及びプログラム
JP6534623B2 (ja) 通信端末、通信システム及び通信方法
JP6941458B2 (ja) 監視システム
KR101613022B1 (ko) 착용형 햅틱 장치 및 그것을 이용한 보행 안내 정보 제공 방법
JP2014197123A (ja) 投射システム
JP2020017228A (ja) 所在不明者探索装置、撮影端末装置、通知端末装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R151 Written notification of patent or utility model registration

Ref document number: 7211453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151