JP6593742B2 - In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method - Google Patents

In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method Download PDF

Info

Publication number
JP6593742B2
JP6593742B2 JP2015082310A JP2015082310A JP6593742B2 JP 6593742 B2 JP6593742 B2 JP 6593742B2 JP 2015082310 A JP2015082310 A JP 2015082310A JP 2015082310 A JP2015082310 A JP 2015082310A JP 6593742 B2 JP6593742 B2 JP 6593742B2
Authority
JP
Japan
Prior art keywords
person
search
search target
tracking
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015082310A
Other languages
Japanese (ja)
Other versions
JP2016201758A (en
Inventor
園子 平澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015082310A priority Critical patent/JP6593742B2/en
Publication of JP2016201758A publication Critical patent/JP2016201758A/en
Application granted granted Critical
Publication of JP6593742B2 publication Critical patent/JP6593742B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法に関するものである。   The present invention relates to an in-facility person search support device, an in-facility person search support system, and an in-facility person search support that supports searching for a person who is separated from a companion in the facility based on images taken by a plurality of cameras in the facility It is about the method.

デパートやショッピングセンターなどの施設では、親とはぐれて迷子になった子供を保護する迷子センターが設けられているが、親とはぐれて迷子になった子供や、迷子になって保護された子供の親を捜索して、両者を迅速に引き合わせることが望まれる。   Facilities such as department stores and shopping centers have lost child centers that protect children who have lost their parents, but children who have lost their children or lost children It is desirable to search for parents and bring them together quickly.

このような施設内での人物の捜索に関連するものとして、従来、施設内を撮影するカメラの映像に基づいて、捜索対象者を捜索する技術が知られている(特許文献1〜3参照)。特に、特許文献1,2に開示された技術では、捜索依頼者、すなわち、捜索対象者の同伴者の撮影画像を取得して、この撮影画像に基づいて、捜索依頼者の近傍に存在する捜索対象者をカメラの映像から発見して、その捜索対象者を追跡することで捜索対象者の最新の居場所を把握するようにしている。また、特許文献3に開示された技術では、捜索対象者の撮影画像を取得して、人物の顔画像を用いた人物照合により捜索対象者を捜索するようにしている。   As a technique related to searching for a person in such a facility, conventionally, a technique for searching for a search target person based on a video of a camera that captures the inside of the facility is known (see Patent Documents 1 to 3). . In particular, in the techniques disclosed in Patent Documents 1 and 2, a captured image of a search requester, that is, a companion of a search target person is acquired, and a search that exists in the vicinity of the search requester is based on the captured image. The target person is discovered from the camera image, and the search target person is tracked to grasp the latest location of the search target person. In the technique disclosed in Patent Literature 3, a photographed image of a search target person is acquired, and the search target person is searched by person matching using a person's face image.

特開2004−206584号公報JP 2004-206584 A 特開2004−151820号公報JP 2004-151820 A 特開2004−126711号公報JP 2004-126711 A

さて、前記従来の技術では、カメラの映像から人物を検出する人物検出技術や、映像から検出された人物を識別する人物認識技術を用いて捜索対象者を捜索するものであり、このような人物検出技術や人物認識技術を用いた人物追尾により、捜索対象者を見つけ出すことができる。しかしながら、人物検出技術や人物認識技術には精度面での限界があり、必ずしも正しい結果が得られるものでなく、人物検出や人物認識が適切に行われないため、追尾情報の精度が低下して、捜索対象者の最新の居場所を確実に提示することができないという問題があった。   In the conventional technique, a person to be searched is searched using a person detection technique for detecting a person from a camera image or a person recognition technique for identifying a person detected from a picture. The person to be searched can be found by person tracking using detection technology or person recognition technology. However, human detection technology and human recognition technology have limitations in accuracy, and do not necessarily give correct results, and human detection and human recognition are not performed properly, which reduces the accuracy of tracking information. There was a problem that the latest location of the search subject could not be presented reliably.

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、追尾情報の精度が低い場合でも、ユーザが適宜に選択や修正の操作を行うことで、捜索対象者の最新の居場所を確実に提示することができるように構成された施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法を提供することにある。   The present invention has been devised to solve such problems of the prior art, and the main purpose of the present invention is to allow the user to perform selection and correction operations appropriately even when the accuracy of the tracking information is low. Accordingly, an object of the present invention is to provide an in-facility person search support device, an in-facility person search support system, and an in-facility person search support method configured to be able to reliably present the latest location of a search target person.

本発明の施設内人物捜索支援装置は、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援装置であって、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定する検索条件設定部と、施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索する捜索対象検索部と、この捜索対象検索部の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示する捜索対象候補提示部と、捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定する捜索対象設定部と、前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する最新位置提示部と、を備えた構成とする。   An in-facility person search support device of the present invention is an in-facility person search support device that supports searching for a person who is separated from a companion in a facility, based on video images of the facility taken by a plurality of cameras. Based on the search condition setting unit that sets the search condition for specifying the search target person according to the input operation, the tracking information acquired by the tracking process for the video taken inside the facility, and the search condition, A search target search unit that searches for a person who is likely to be a search target person from the staying person, and a video of a person who is likely to be a search target based on the search result of the search target search unit A search target candidate presentation unit that extracts a predetermined number and presents those videos as search target candidate videos, and the selection according to the user's operation of selecting the search target candidate videos in which the search target person is captured A search target setting unit for setting a person corresponding to the searched candidate video as a search target, and acquiring the latest tracking position of the person set as the search target based on the tracking information, And a latest position presenting section that presents the tracking position as the latest location of the search target person.

また、本発明の施設内人物捜索支援システムは、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援システムであって、施設内を撮影する前記カメラと、このカメラごとの映像を表示する表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定する検索条件設定部と、施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索する捜索対象検索部と、この捜索対象検索部の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示する捜索対象候補提示部と、捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定する捜索対象設定部と、前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する最新位置提示部と、を備えた構成とする。   In addition, the in-facility person search support system of the present invention is an in-facility person search support system that supports searching for a person who is separated from a companion in the facility based on images taken by a plurality of cameras in the facility. The camera that captures the inside of the facility, a display device that displays video for each camera, and a plurality of information processing devices, any of the plurality of information processing devices depending on a user's input operation A search condition setting unit for setting a search condition for specifying a search target person, tracking information acquired by tracking processing for a video shot in the facility, and a person staying in the facility based on the search condition From the search target search unit that searches for a person who is likely to be a search target, and a predetermined number of images of the person who is likely to be a search target based on the search result of the search target search unit A search target candidate presenting section that presents those videos as search target candidate videos, and a user's operation to select the search target candidate videos in which the search target person is photographed. Based on the tracking information, a search target setting unit that sets a person corresponding to the candidate video as a search target, acquires the latest tracking position of the person set as the search target, and searches for the latest tracking position. And a latest position presenting unit that presents the latest location of the target person.

また、本発明の施設内人物捜索支援方法は、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する処理を情報処理装置に行わせる施設内人物捜索支援方法であって、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定するステップと、施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索するステップと、このステップでの検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示するステップと、捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定するステップと、前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示するステップと、を備えた構成とする。   Further, the in-facility person search support method according to the present invention is an in-facility facility that causes an information processing apparatus to perform a process for supporting a search for a person who is separated from a companion in a facility, based on images taken by the plurality of cameras in the facility. A method for supporting a person search, the step of setting a search condition for specifying a search target person according to a user's input operation, the tracking information acquired by a tracking process for a video taken inside the facility, and the search Based on the conditions, a step of searching for a person who is likely to be a search target person from among persons staying in the facility, and a person who is highly likely to be a search target person based on the search result in this step Extracting a predetermined number of videos, presenting those videos as search target candidate videos, and according to the user's operation to select the search target candidate videos in which the search target person is captured, Setting the person corresponding to the selected candidate video of the search object to be searched, and acquiring the latest tracking position of the person set as the search object based on the tracking information, And a step of presenting the tracking position as the latest location of the search target person.

本発明によれば、捜索対象者である可能性が高い人物の映像を、捜索対象の候補映像として複数提示して、ユーザに選択させるため、追尾情報の精度が低い場合でも、正しい人物が捜索対象に設定されて、捜索対象者の最新の居場所を確実に提示することができる。   According to the present invention, since a plurality of videos of a person who is likely to be a search target person are presented as search target candidate videos and selected by the user, the correct person can be searched even when the accuracy of tracking information is low. It is set as a target, and the latest location of the search target person can be surely presented.

本実施形態に係る施設内人物捜索支援システムの全体構成図Overall configuration diagram of in-facility person search support system according to the present embodiment 施設におけるカメラ1の設置状況を示す平面図Plan view showing the installation status of the camera 1 in the facility PC3の概略構成を示す機能ブロック図Functional block diagram showing schematic configuration of PC3 モニタ7に表示される画面の遷移状況を示す説明図Explanatory drawing which shows the transition state of the screen displayed on the monitor 7 各画面で行われる監視者の操作に応じてPC3の各部で行われる処理の手順を示すフロー図A flow chart showing a procedure of processing performed in each part of the PC 3 according to the operation of the supervisor performed on each screen モニタ7に表示される検索条件入力画面を示す説明図Explanatory drawing which shows the search condition input screen displayed on the monitor 7 モニタ7に表示される捜索対象選択画面を示す説明図Explanatory drawing which shows the search object selection screen displayed on the monitor 7 モニタ7に表示される居場所表示画面を示す説明図Explanatory drawing which shows the whereabouts display screen displayed on the monitor 7 モニタ7に表示される候補選択画面を示す説明図Explanatory drawing which shows the candidate selection screen displayed on the monitor 7 モニタ7に表示される追尾過程確認画面を示す説明図Explanatory drawing which shows the tracking process confirmation screen displayed on the monitor 7 モニタ7に表示されるマップ追跡画面を示す説明図Explanatory drawing which shows the map tracking screen displayed on the monitor 7 追尾が失敗している場合のマップ追跡画面を示す説明図Explanatory drawing showing the map tracking screen when tracking fails 追尾が失敗している場合のマップ追跡画面を示す説明図Explanatory drawing showing the map tracking screen when tracking fails

前記課題を解決するためになされた第1の発明は、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援装置であって、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定する検索条件設定部と、施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索する捜索対象検索部と、この捜索対象検索部の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示する捜索対象候補提示部と、捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定する捜索対象設定部と、前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する最新位置提示部と、を備えた構成とする。   A first invention made to solve the above-described problem is an in-facility person search support device that supports searching for a person who is separated from a companion in a facility based on images taken by a plurality of cameras in the facility. Based on a search condition setting unit that sets a search condition for specifying a search target person according to a user's input operation, tracking information acquired by a tracking process for a video taken inside the facility, and the search condition A search target search unit that searches for a person who is likely to be a search target person from among people staying in the facility, and a search target search unit based on the search result of this search target search unit is highly likely A search target candidate presentation unit that extracts a predetermined number of human videos and presents those videos as search target candidate videos, and a user operation that selects the search target candidate videos in which the search target is shown A search target setting unit for setting a person corresponding to the selected candidate video of the search target as a search target, and acquiring the latest tracking position of the person set as the search target based on the tracking information The latest tracking position is configured to include a latest position presenting unit that presents the latest tracking position as the latest location of the search target person.

これによると、捜索対象者である可能性が高い人物の映像を、捜索対象の候補映像として複数提示して、ユーザに選択させるため、追尾情報の精度が低い場合でも、正しい人物が捜索対象に設定されて、捜索対象者の最新の居場所を確実に提示することができる。   According to this, in order to present a plurality of images of a person who is likely to be a search target candidate video to be searched and allow the user to select, the correct person is selected as the search target even when the tracking information accuracy is low. It is set, and the latest location of the search target person can be surely presented.

また、第2の発明は、前記最新位置提示部は、捜索対象者の最新の居場所に関する位置情報を提示すると共に、前記最新の追尾位置に対応する最新の追尾映像、および捜索対象者が最新の居場所に滞在する時刻に関する時間情報を提示する構成とする。   Further, in the second invention, the latest position presentation unit presents position information regarding the latest location of the search target person, the latest tracking video corresponding to the latest tracking position, and the search target person is the latest The time information related to the time at which the user stays is presented.

これによると、居場所に関する位置情報が提示されるため、捜索対象者の居場所をユーザが把握することができ、さらに、捜索対象者の最新の追尾映像が提示されるため、捜索対象者の最新の状況をユーザが把握することができ、さらに、捜索対象者が最新の居場所に滞在する時刻に関する時間情報が提示されるため、捜索対象者が最新の居場所に滞在してから現在までにどの程度の時間が経過しているかをユーザが把握することができる。   According to this, since the location information regarding the whereabouts is presented, the user can grasp the whereabouts of the search target person, and furthermore, the latest tracking video of the search target person is presented, so the latest search target person's latest information is presented. The user can grasp the situation and the time information about the time when the search target person stays in the latest location is presented. The user can grasp whether time has passed.

また、第3の発明は、前記最新位置提示部は、前記最新の追尾映像とともに、その最新の追尾映像を撮影するカメラのライブ映像を提示する構成とする。   According to a third aspect of the present invention, the latest position presentation unit presents a live video of a camera that captures the latest tracking video together with the latest tracking video.

これによると、最新の追尾映像の撮影時刻が比較的古い、すなわち、捜索対象者の追尾が終了してから長い時間が経過している場合でも、ライブ映像が提示されるため、最新の居場所の現在の状況をユーザが把握することができ、捜索対象者が移動していなければ、ライブ映像で捜索対象者を見つけ出すことができる。   According to this, since the shooting time of the latest tracking video is relatively old, that is, even if a long time has elapsed since the tracking of the search target person was completed, the live video is presented, so the latest location If the user can grasp the current situation and the search target person is not moving, the search target person can be found in the live video.

また、第4の発明は、前記最新位置提示部は、前記ライブ映像を表示装置に表示させるとともに、前記ライブ映像の表示画面上に、前記ライブ映像のカメラを切り換える操作部を表示させる構成とする。   According to a fourth aspect of the present invention, the latest position presentation unit displays the live video on a display device, and displays an operation unit for switching the live video camera on the display screen of the live video. .

これによると、最新の追尾映像を撮影するカメラの近傍のカメラの撮影エリアに捜索対象者が移動して、ライブ映像に捜索対象者が写っていない場合に、ライブ映像のカメラを切り換えることで、捜索対象者を見つけ出すことができる。   According to this, when the search subject moves to the camera shooting area near the camera that shoots the latest tracking video and the search target is not reflected in the live video, by switching the live video camera, The search target person can be found out.

また、第5の発明は、更に、前記最新位置提示部により提示された捜索対象者の最新の居場所に誤りがある場合に、前記追尾情報に基づき、前記捜索対象に設定された人物と同一である可能性が、前記最新位置提示部で最新の居場所を提示した人物の次に高い人物の映像を、所定数抽出して、それらの映像を追尾修正の候補映像として提示する追尾修正候補提示部を備え、前記最新位置提示部は、捜索対象者が写る前記追尾修正の候補映像を選択するユーザの操作に応じて、その選択された前記追尾修正の候補映像に対応する人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する構成とする。   Further, the fifth invention is the same as the person set as the search target based on the tracking information when there is an error in the latest location of the search target person presented by the latest position presentation unit. A tracking correction candidate presenting unit that extracts a predetermined number of videos of the next highest person after the person whose latest location was presented by the latest position presenting unit and presents those videos as candidate videos for tracking correction The latest position presenting unit includes the latest tracking position of the person corresponding to the selected candidate video for tracking correction in response to a user operation to select the candidate video for tracking correction in which the search target is captured. And the latest tracking position is presented as the latest location of the search target person.

これによると、最新位置提示部により提示された捜索対象者の最新の居場所に誤りがある、すなわち、捜索対象者を捜索対象に設定してから以降の追尾情報に誤りがある場合に、追尾修正の候補映像を複数提示して、ユーザに選択させるため、追尾情報が適切に修正されて、捜索対象者の最新の居場所を確実に提示することができる。   According to this, if the latest location of the search target presented by the latest position presenter is incorrect, that is, if the tracking information after the search target is set as the search target is incorrect, the tracking correction is performed. Therefore, the tracking information is appropriately corrected, and the latest location of the search target person can be surely presented.

また、第6の発明は、更に、前記追尾修正候補提示部により提示された前記追尾修正の候補映像の全てに誤りがある場合に、前記捜索対象設定部において人物を捜索対象に設定した際の前記捜索対象の候補映像から、前記最新位置提示部により提示された前記最新の追尾映像に至るまでの間に、前記追尾情報に基づき、前記捜索対象に設定された人物と同一の可能性がある人物が写るカメラごとの映像を確認映像として提示する確認映像提示部を備え、
前記追尾修正候補提示部は、誤りがある前記確認映像を選択するユーザの操作に応じて、前記追尾情報に基づき、前記捜索対象に設定された人物と同一である可能性が、ユーザにより選択された前記確認映像に対応する人物の次に高い人物の映像を、所定数抽出して、それらの映像を前記追尾修正の候補映像として提示する構成とする。


Further, the sixth invention is further provided when the search target setting unit sets a person as a search target when there is an error in all of the tracking correction candidate videos presented by the tracking correction candidate presenting unit. There is a possibility that it is the same as the person set as the search target based on the tracking information during the period from the search candidate video to the latest tracking video presented by the latest position presentation unit. A confirmation video presentation unit that presents a video for each camera in which a person is captured as a confirmation video,
Based on the tracking information, the tracking correction candidate presentation unit may select the possibility that the tracking correction candidate presentation unit is the same as the person set as the search target based on the tracking information. In addition, a predetermined number of videos of the next person higher than the person corresponding to the confirmation video are extracted, and these videos are presented as the tracking correction candidate videos.


これによると、捜索対象に設定した際の候補映像から最新の追尾映像に至るまでのカメラごとの映像を確認映像として提示して、誤りがある確認映像、すなわち、捜索対象者が写っていない確認映像をユーザに選択させることで、追尾情報内の誤りがある箇所が明確になり、その追尾情報内の誤りがある箇所に対応する候補映像を提示して、適切な候補映像をユーザに選択させることで、追尾情報内の誤りがある箇所を確実に修正することができる。   According to this, the video for each camera from the candidate video when set as the search target to the latest tracking video is presented as a confirmation video, and there is a confirmation video with an error, that is, the confirmation that the search target is not shown By allowing the user to select the video, the location where there is an error in the tracking information is clarified, the candidate video corresponding to the location where there is an error in the tracking information is presented, and the user is allowed to select an appropriate candidate video As a result, it is possible to reliably correct a portion having an error in the tracking information.

また、第7の発明は、前記確認映像提示部は、複数の前記確認映像が撮影時刻順に並べて配置された時系列追跡画面を、表示装置に表示させる構成とする。   In addition, according to a seventh aspect of the invention, the confirmation video presentation unit displays a time series tracking screen on which a plurality of the confirmation videos are arranged in order of shooting time on a display device.

これによると、ユーザが撮影時刻順に並んだ確認映像を順次確認することで、誤りがある確認映像を見つけ出すことができるため、確認映像の確認作業を迅速に行うことができる。   According to this, since the confirmation video having the error can be found by sequentially checking the confirmation video arranged in the order of the photographing times, the confirmation video can be confirmed quickly.

また、第8の発明は、前記確認映像提示部は、施設の状態を示す地図画像上に、複数の前記確認映像が、前記カメラの実際の配置状況に対応して配置されたマップ追跡画面を、表示装置に表示させる構成とする。   Further, according to an eighth aspect of the present invention, the confirmation video presenting unit displays a map tracking screen in which a plurality of the confirmation videos are arranged on the map image indicating the state of the facility according to the actual arrangement state of the camera. The display device is configured to display.

これによると、カメラの実際の配置状況を見ながら確認映像を順次確認することで、捜索対象者の追尾がどこで失敗したかをユーザが容易に把握することができる。   According to this, the user can easily grasp where the tracking of the search target person has failed by sequentially confirming the confirmation video while looking at the actual arrangement state of the camera.

また、第9の発明は、前記検索条件設定部は、前記検索条件として、同伴者を撮影した画像、および捜索対象者の特徴に関する情報を検索条件として設定する構成とする。   In addition, the ninth invention is configured such that the search condition setting unit sets, as the search condition, an image obtained by photographing a companion and information on the characteristics of the search target person as the search condition.

これによると、同伴者を撮影した画像、および捜索対象者の特徴に関する情報に基づいて捜索対象者を検索するため、捜索対象者の検索精度を高めることができる。   According to this, since the search target person is searched based on the image obtained by photographing the accompanying person and the information on the characteristics of the search target person, it is possible to improve the search accuracy of the search target person.

また、第10の発明は、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援システムであって、施設内を撮影する前記カメラと、このカメラごとの映像を表示する表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定する検索条件設定部と、施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索する捜索対象検索部と、この捜索対象検索部の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示する捜索対象候補提示部と、捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定する捜索対象設定部と、前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する最新位置提示部と、を備えた構成とする。   A tenth aspect of the invention is an in-facility person search support system that supports searching for a person who is separated from a companion in a facility, based on images taken in the facility by a plurality of cameras. The camera, a display device that displays video for each camera, and a plurality of information processing devices, and any one of the plurality of information processing devices selects a search target person according to a user input operation. Based on the search condition setting unit for setting the search condition for specifying, the tracking information acquired by the tracking process for the video captured in the facility, and the person who stays in the facility based on the search condition, the search target person A search target search unit that searches for a person who is likely to be a search target, and a predetermined number of videos of a person who is highly likely to be a search target person based on the search result of the search target search unit, and those videos Looking for A search target candidate presenting unit to be presented as a candidate video of the target, and a person corresponding to the selected candidate video of the search target in response to a user operation to select the candidate video of the search target in which the search target person is captured Based on the search target setting unit to be set as the search target and the tracking information, the latest tracking position of the person set as the search target is acquired, and the latest tracking position is set as the latest location of the search target person. And a latest position presenting unit to be presented.

これによると、第1の発明と同様に、追尾情報に誤りが発生した場合でも、ユーザが適切な捜索対象の候補映像を選択することで、捜索対象者の最新の居場所を確実に提示することができる。   According to this, similarly to the first invention, even when an error occurs in the tracking information, the user can surely present the latest location of the search target person by selecting an appropriate search target candidate video. Can do.

また、第11の発明は、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する処理を情報処理装置に行わせる施設内人物捜索支援方法であって、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定するステップと、施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索するステップと、このステップでの検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示するステップと、捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定するステップと、前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示するステップと、を備えた構成とする。   An eleventh aspect of the invention is an in-facility person search support method for causing an information processing apparatus to perform a process of supporting a search for a person who is separated from a companion in a facility based on images taken by a plurality of cameras in the facility. In accordance with the input operation of the user, based on the step of setting the search condition for specifying the search target person, the tracking information acquired by the tracking process for the video taken inside the facility, and the search condition, A step of searching for a person who is likely to be a search target person from among persons staying in the room, and a predetermined number of images of a person who is highly likely to be a search target person based on the search result in this step Extracting and presenting those videos as search target candidate videos, and in response to a user operation to select the search target candidate videos in which the search target person is captured, the selected A step of setting a person corresponding to a candidate video to be searched as a search target, and acquiring a latest tracking position of the person set as the search target based on the tracking information, and searching for the latest tracking position And a step of presenting as the latest whereabouts of the target person.

これによると、第1の発明と同様に、追尾情報に誤りが発生した場合でも、ユーザが適切な捜索対象の候補映像を選択することで、捜索対象者の最新の居場所を確実に提示することができる。   According to this, similarly to the first invention, even when an error occurs in the tracking information, the user can surely present the latest location of the search target person by selecting an appropriate search target candidate video. Can do.

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、本実施形態の説明では、「追跡」および「追尾」という同様の意味を持つ用語を使用しており、これは、単に説明の便宜上使い分けているに過ぎないが、「追跡」は、主として監視者の行為と関わりが強い場合に用いており、「追尾」は、主として装置で行われる処理と関わりが強い場合に用いている。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the present embodiment, terms having similar meanings of “tracking” and “tracking” are used. This is merely used for convenience of explanation, but “tracking” is mainly used. This is used when there is a strong connection with the action of the observer, and “tracking” is used when the connection with the processing mainly performed by the apparatus is strong.

図1は、本実施形態に係る施設内人物捜索支援システムの全体構成図である。   FIG. 1 is an overall configuration diagram of an in-facility person search support system according to the present embodiment.

この施設内人物捜索支援システムは、デパートやショッピングセンターなどの大規模な商業施設などを対象にして構築されるものであり、複数のカメラ1と、レコーダ(映像蓄積手段)2と、PC(施設内人物捜索支援装置)3と、カメラ内追尾処理装置4と、を備えている。   This in-facility person search support system is constructed for large-scale commercial facilities such as department stores and shopping centers, and includes a plurality of cameras 1, a recorder (video storage means) 2, a PC (facility). Internal person search support device) 3 and in-camera tracking processing device 4.

カメラ1は施設内の適所に設置され、カメラ1により施設内(監視エリア)が撮影され、このカメラ1で撮影された施設内の映像がレコーダ2に録画される。   The camera 1 is installed at an appropriate place in the facility, the inside of the facility (monitoring area) is photographed by the camera 1, and the image of the facility photographed by the camera 1 is recorded on the recorder 2.

PC3には、監視者が種々の入力操作を行うマウスなどの入力デバイス6と、監視画面を表示するモニタ(表示装置)7とが接続されている。このPC3は、施設の警備室などに設置され、監視者(警備員)が、モニタ7に表示される監視画面で、カメラ1で撮影された施設内の映像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の施設内の映像を閲覧することができる。   Connected to the PC 3 are an input device 6 such as a mouse for a monitor to perform various input operations, and a monitor (display device) 7 for displaying a monitoring screen. This PC 3 is installed in the security room of the facility, etc., and the supervisor (guard) can view the video in the facility captured by the camera 1 in real time on the monitoring screen displayed on the monitor 7, In addition, it is possible to browse the video in the past facility recorded in the recorder 2.

なお、本部に設けられたPC11にも図示しないモニタが接続され、カメラ1で撮影された施設内の映像をリアルタイムで閲覧し、また、レコーダ2に録画された過去の施設内の映像を閲覧して、本部で施設内の状況を確認することができる。   Note that a monitor (not shown) is also connected to the PC 11 provided in the headquarters, and the video in the facility photographed by the camera 1 is viewed in real time, and the video in the past facility recorded in the recorder 2 is browsed. The situation in the facility can be confirmed at the headquarters.

カメラ内追尾処理装置4では、カメラ1の映像から検出された人物(移動体)を追尾して、人物ごとにカメラ内追尾情報を生成する処理が行われる。このとき、人物ごとの位置情報を取得する他に、人物の特徴に関する情報、すなわち、人物の属性(年齢および性別など)や、人物の外観上の特徴(身長および上下の服装の色など)に関する情報も取得する。このカメラ内追尾処理には、公知の画像認識技術(人物検出技術および人物認識技術など)を利用すればよい。   In the in-camera tracking processing device 4, a person (moving body) detected from the video of the camera 1 is tracked, and processing for generating in-camera tracking information for each person is performed. At this time, in addition to acquiring the position information for each person, information on the characteristics of the person, that is, the attributes of the person (such as age and gender) and the characteristics on the appearance of the person (such as the height and the color of the upper and lower clothes) Also get information. For this in-camera tracking processing, a known image recognition technique (such as a person detection technique and a person recognition technique) may be used.

なお、本実施形態では、カメラ内追尾処理装置4が、PC3とは独立して、カメラ内追尾処理を常時行うようにしているが、PC3からの指示に応じて追尾処理を実行するものとしてもよい。また、カメラ内追尾処理装置4では、映像から検出された全ての人物を対象にして追尾処理を行うことが望ましいが、追跡対象に指定された人物およびこれと関連度の高い人物に絞って追尾処理を行うようにしてもよい。   In the present embodiment, the in-camera tracking processing device 4 always performs the in-camera tracking processing independently of the PC 3. However, the in-camera tracking processing device 4 may execute the tracking processing in response to an instruction from the PC 3. Good. Further, in the in-camera tracking processing device 4, it is desirable to perform tracking processing for all persons detected from the video. However, tracking is limited to a person designated as a tracking target and a person highly related to the tracking target. Processing may be performed.

次に、図1に示したカメラ1の施設における設置状況について説明する。図2は、施設におけるカメラ1の設置状況を示す平面図である。   Next, the installation situation in the facility of the camera 1 shown in FIG. 1 will be described. FIG. 2 is a plan view showing the installation status of the camera 1 in the facility.

施設内(監視エリア)には、商品陳列エリアの間に通路が設けられており、この通路を主に撮影するように複数のカメラ1が設置されている。   In the facility (monitoring area), a passage is provided between the product display areas, and a plurality of cameras 1 are installed so as to mainly photograph the passage.

施設内の通路を人物が移動すると、カメラ1のいずれか1つあるいは複数で人物が撮影され、人物が移動するのに応じて、人物の撮影が次のカメラ1に引き継がれる。このとき、人物の撮影を引き継ぐカメラ1は、施設内の通路の形態およびカメラ1の撮影エリアにより限定され、この人物の撮影が引き継がれる関係にあるカメラを、本実施形態では、連携関係を有するカメラと呼称する。このカメラの連携関係に関する情報は予め設定されて、カメラ連携情報としてPC3に保持されている。なお、カメラの連携関係に関する情報は、カメラ1の台数や設置場所などの変更に備え、システムの起動時などに各カメラ1の設置情報などをPC3により個別に取得し、各カメラの連携関係に関する情報を更新するようにしてもよい。   When the person moves through the passage in the facility, the person is photographed by one or a plurality of cameras 1, and the photographing of the person is taken over by the next camera 1 as the person moves. At this time, the camera 1 that takes over the photographing of the person is limited by the form of the passage in the facility and the photographing area of the camera 1, and in this embodiment, the camera that is in a relation that the photographing of the person is taken over has a cooperative relationship. It is called a camera. Information relating to the cooperation relationship between the cameras is set in advance and held in the PC 3 as camera cooperation information. In addition, the information regarding the cooperation relationship between the cameras is obtained in preparation for changing the number of cameras 1 and the installation location, and the installation information of each camera 1 is individually acquired by the PC 3 when the system is started up. Information may be updated.

次に、図1に示したPC3の概略構成について説明する。図3は、PC3の概略構成を示す機能ブロック図である。   Next, a schematic configuration of the PC 3 shown in FIG. 1 will be described. FIG. 3 is a functional block diagram showing a schematic configuration of the PC 3.

PC3は、追尾情報蓄積部21と、入力情報取得部22と、検索条件設定部23と、捜索対象検索部24と、捜索対象候補提示部25と、捜索対象設定部26と、カメラ間追尾処理部27と、最新位置提示部28と、追尾修正候補提示部29と、確認映像提示部30と、画面生成部31と、を備えている。   The PC 3 includes a tracking information storage unit 21, an input information acquisition unit 22, a search condition setting unit 23, a search target search unit 24, a search target candidate presentation unit 25, a search target setting unit 26, and an inter-camera tracking process. Unit 27, latest position presentation unit 28, tracking correction candidate presentation unit 29, confirmation video presentation unit 30, and screen generation unit 31.

追尾情報蓄積部21では、カメラ内追尾処理装置4で生成したカメラ内追尾情報が蓄積される。また、追尾情報蓄積部21では、カメラ間追尾処理部27で生成したカメラ間追尾情報が蓄積される。   In the tracking information storage unit 21, the in-camera tracking information generated by the in-camera tracking processing device 4 is stored. In the tracking information storage unit 21, the inter-camera tracking information generated by the inter-camera tracking processing unit 27 is stored.

入力情報取得部22では、マウスなどの入力デバイス6を用いた監視者の入力操作に応じて、その入力操作に基づく入力情報を取得する処理が行われる。   In the input information acquisition unit 22, processing for acquiring input information based on the input operation is performed in accordance with the input operation of the supervisor using the input device 6 such as a mouse.

検索条件設定部23では、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定する処理が行われる。本実施形態では、検索条件入力画面(図6参照)をモニタ7に表示させて、この検索条件入力画面で、検索条件として、同伴者(捜索依頼者)を撮影した画像、捜索対象者の特徴に関する情報、具体的には、年齢、性別、および外観上の特徴(身長、上下の服装の色など)、ならびに、はぐれた時間および場所に関する情報をユーザに入力させる。   In the search condition setting unit 23, a process for setting a search condition for specifying a search target person is performed in accordance with a user input operation. In the present embodiment, a search condition input screen (see FIG. 6) is displayed on the monitor 7, and an image obtained by photographing a companion (search requester) as a search condition on this search condition input screen, the characteristics of the search target person Information, specifically age, gender, and appearance characteristics (height, top and bottom clothing colors, etc.), and information about stray time and place.

捜索対象検索部24では、追尾情報蓄積部21に蓄積された追尾情報(カメラ内追尾情報)、および検索条件設定部23で設定された検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索する処理が行われる。追尾情報蓄積部21には、施設内に滞在する各人物の特徴に関する情報が蓄積されており、この各人物の特徴に関する情報と、検索条件設定部23で設定された検索条件とを比較照合することで、捜索対象者である可能性の高さを判定する。   In the search target search unit 24, based on the tracking information (in-camera tracking information) stored in the tracking information storage unit 21 and the search conditions set by the search condition setting unit 23, the search target search unit 24 A process of searching for a person who is highly likely to be a search target person is performed. The tracking information storage unit 21 stores information about the characteristics of each person staying in the facility. The information about the characteristics of each person is compared with the search condition set by the search condition setting unit 23. Thus, the high possibility of being a search target person is determined.

この処理では、まず、検索条件として取得した同伴者の撮影画像から顔画像を切り出して、この同伴者の顔画像と施設内に滞在する各人物の顔画像との間の類似度に基づいて同一人物か否かを判定する人物照合が行われ、また、同伴者の色情報(服装の色)に基づく人物照合が行われ、この人物照合により、同伴者である可能性が高い人物を抽出する。なお、ここでは、同伴者の顔画像の類似度を優先し、同伴者の映像を抽出するようにしているが、これに限られず、服装の色情報など、他の特徴情報を優先する形で、同伴者の映像を抽出するようにしてもよい。   In this process, first, a face image is cut out from the captured image of the accompanying person acquired as the search condition, and the same based on the similarity between the accompanying person's face image and the face image of each person staying in the facility. Person verification is performed to determine whether the person is a person, and person verification based on the color information (clothing color) of the accompanying person is performed. By this person verification, a person who is highly likely to be an accompanying person is extracted. . Here, priority is given to the similarity of the companion's face image, and the companion's video is extracted, but the present invention is not limited to this, and other feature information such as clothes color information is prioritized. The video of the accompanying person may be extracted.

次に、同伴者である可能性が高い人物の近傍に存在する人物を対象にして、検索条件として取得した捜索対象者の特徴に関する情報(年齢、性別、身長、および上下の服装の色)に基づく人物照合により、捜索対象者である可能性が高い人物を抽出する。このとき、検索条件として取得した離別場所および離別時刻に基づいて検索対象を絞り込む。すなわち、離別場所に対応するカメラ1およびその近傍のカメラ1の映像から検出された人物を優先して検索を行い、また、離別時刻の近傍で検出された人物を優先して検索を行う。   Next, information on the characteristics of the search target person (age, gender, height, and the color of the upper and lower clothes) acquired as search conditions for a person who is in the vicinity of a person who is likely to be a companion A person who has a high possibility of being a search target person is extracted by person verification based on the above. At this time, the search target is narrowed down based on the separation location and separation time acquired as the search conditions. That is, the search is performed with priority on the person detected from the video of the camera 1 corresponding to the separation place and the camera 1 in the vicinity thereof, and the search is performed with priority on the person detected near the separation time.

捜索対象候補提示部25では、捜索対象検索部24の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、上位から所定数抽出して、それらの映像を捜索対象の候補映像として提示する処理が行われる。本実施形態では、捜索対象の候補映像を表示する捜索対象選択画面(図7参照)をモニタ7に表示させ、この捜索対象選択画面に表示された候補映像の中から、捜索対象者が写る映像をユーザに選択させる。   The search target candidate presenting unit 25 extracts a predetermined number of videos of a person who is highly likely to be a search target person from the top based on the search result of the search target search unit 24, and these videos are searched for candidate videos. Is presented. In the present embodiment, a search target selection screen (see FIG. 7) for displaying a search target candidate video is displayed on the monitor 7, and a video in which a search target person is captured from the candidate video displayed on the search target selection screen. Let the user select

なお、捜索対象候補提示部25で提示する候補映像は、捜索対象者である可能性が高い各人物ごとに、最新の追尾映像、すなわち、捜索対象者である可能性が高い人物と、同伴者(捜索依頼者)である可能性が高い人物とが同時に検出された映像の中で最新のものを採用するとよく、この場合、捜索対象者が写る正しい候補映像には、捜索対象者が同伴者とはぐれる直前の状況が写っている。   The candidate video presented by the search target candidate presentation unit 25 is the latest tracking video for each person who is likely to be a search target person, that is, a person who is highly likely to be a search target person, and a companion It is recommended to use the latest video that has been detected at the same time as a person who is likely to be a (search requester). In this case, the correct candidate video showing the search target is accompanied by the search target. It shows the situation just before the break.

捜索対象設定部26では、捜索対象候補提示部25により提示された捜索対象の候補映像の中から、捜索対象者が写る候補映像を選択するユーザの操作に応じて、その選択された捜索対象の候補映像に対応する人物を捜索対象に設定する処理が行われる。   In the search target setting unit 26, the selected search target is selected in response to a user's operation for selecting a candidate video in which the search target person is shown from the search target candidate videos presented by the search target candidate presentation unit 25. A process of setting a person corresponding to the candidate video as a search target is performed.

カメラ間追尾処理部27は、リンクスコア算出部41と、追尾情報生成部42と、を備えている。   The inter-camera tracking processing unit 27 includes a link score calculation unit 41 and a tracking information generation unit 42.

リンクスコア算出部41では、追尾情報蓄積部21から各カメラ1に関するカメラ内追尾情報を取得して、各カメラ1に関するカメラ内追尾処理で検出追尾された人物同士で、同一人物である可能性の高さを表すリンクスコア(評価値)を算出する。この処理では、人物の検出時刻(フレームの撮影時刻)、人物の検出位置、人物の移動速度、人物像の色情報などに基づいてリンクスコアを算出する。   The link score calculation unit 41 acquires in-camera tracking information related to each camera 1 from the tracking information accumulation unit 21, and the persons detected and tracked in the in-camera tracking processing related to each camera 1 may be the same person. A link score (evaluation value) representing the height is calculated. In this process, the link score is calculated based on the person detection time (frame shooting time), the person detection position, the person moving speed, the color information of the person image, and the like.

追尾情報生成部42では、捜索対象設定部26で捜索対象に設定された人物を起点にして、連携関係にあるカメラ1に関するカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ1ごとに順次選択して、それらの人物を同一人物として対応づけた情報を生成する処理が行われる。   The tracking information generating unit 42 has the highest link score among the people tracked by the in-camera tracking related to the camera 1 that is in the cooperative relationship, starting from the person set as the search target by the search target setting unit 26. That is, a process is performed in which a person who is most likely to be the same person is sequentially selected for each camera 1 and information that associates those persons as the same person is generated.

具体的には、まず、ユーザにより選択された捜索対象の候補映像を撮影したカメラ1と連携関係にあるカメラ1のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、次に、その選択された人物を撮影したカメラ1と連携関係にあるカメラ1のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、このような人物の選択を連携関係にあるカメラ1ごとに繰り返す。   Specifically, first, the person with the highest link score is selected from the persons tracked by the in-camera tracking of the camera 1 that is linked to the camera 1 that has captured the candidate video for the search target selected by the user. Next, the person with the highest link score is selected from the persons tracked by the in-camera tracking of the camera 1 that is linked to the camera 1 that photographed the selected person, and such a person is selected. Repeat for each linked camera 1.

このカメラ間追尾処理部27のリンクスコア算出部41で算出されたリンクスコアに関する情報と、追尾情報生成部42で生成した人物の対応関係に関する情報は、カメラ間追尾情報として追尾情報蓄積部21に蓄積される。   Information on the link score calculated by the link score calculation unit 41 of the inter-camera tracking processing unit 27 and information on the correspondence between the persons generated by the tracking information generation unit 42 are stored in the tracking information storage unit 21 as inter-camera tracking information. Accumulated.

最新位置提示部28では、追尾情報蓄積部21に蓄積された追尾情報(カメラ間追尾情報)に基づき、捜索対象設定部26で捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する処理が行われる。特に、最新位置提示部28では、捜索対象者の最新の居場所に関する位置情報を提示すると共に、最新の追尾位置に対応する最新の追尾映像、すなわち、追尾処理において当該人物が検出された最新の映像、および捜索対象者が最新の居場所に滞在する時刻(追尾映像の撮影時刻)に関する時間情報を提示する。さらに、最新位置提示部28では、最新の追尾映像を撮影するカメラのライブ映像(現在時の映像)を最新の追尾映像と同時に提示する。本実施形態では、最新の追尾映像およびライブ映像が並べて表示された居場所表示画面(図8参照)をモニタ7に表示させる。   The latest position presentation unit 28 acquires the latest tracking position of the person set as the search target by the search target setting unit 26 based on the tracking information (inter-camera tracking information) stored in the tracking information storage unit 21. A process of presenting the latest tracking position as the latest location of the search target person is performed. In particular, the latest position presentation unit 28 presents position information regarding the latest location of the search target person, and the latest tracking video corresponding to the latest tracking position, that is, the latest video in which the person has been detected in the tracking process. And time information related to the time when the search target person stays at the latest location (tracking video shooting time). Furthermore, the latest position presentation unit 28 presents a live video (current video) of a camera that captures the latest tracking video at the same time as the latest tracking video. In the present embodiment, a whereabouts display screen (see FIG. 8) on which the latest tracking video and live video are displayed side by side is displayed on the monitor 7.

追尾修正候補提示部29では、最新位置提示部28により提示された最新の追尾映像に誤りがある、すなわち、その最新の追尾映像に捜索対象者が写っていない場合に、追尾情報蓄積部21に蓄積された追尾情報(カメラ間追尾情報)に基づき、捜索対象に設定された人物と同一である可能性が、最新位置提示部28で提示した最新の追尾映像に対応する人物の次に高い人物の映像を、上位から所定数抽出して、それらの映像を追尾修正の候補映像として提示する処理が行われる。本実施形態では、追尾修正の候補映像を表示する候補選択画面(図9参照)をモニタ7に表示させ、この候補選択画面に表示された候補映像の中から、捜索対象者が写る映像をユーザに選択させる。   In the tracking correction candidate presenting unit 29, when there is an error in the latest tracking video presented by the latest position presenting unit 28, that is, when the search target person is not reflected in the latest tracking video, the tracking information storage unit 21 A person who has the next highest possibility of being the same as the person set as the search target based on the accumulated tracking information (inter-camera tracking information) next to the person corresponding to the latest tracking video presented by the latest position presentation unit 28 A predetermined number of these videos are extracted from the top, and processing for presenting these videos as tracking correction candidate videos is performed. In the present embodiment, a candidate selection screen (see FIG. 9) for displaying a tracking correction candidate video is displayed on the monitor 7, and a video showing the search target person is displayed among the candidate videos displayed on the candidate selection screen. To select.

ここで、最新位置提示部28では、リンクスコアに基づいて、捜索対象に設定された人物と同一である可能性が最も高い人物の映像が提示され、追尾修正候補提示部29では、最新位置提示部28で提示された映像に対応する人物よりリンクスコアが低い人物の中から、リンクスコアが高い人物を上位から所定数選択して、それらの人物の映像が提示される。   Here, the latest position presentation unit 28 presents the video of the person most likely to be the same as the person set as the search target based on the link score, and the tracking correction candidate presentation unit 29 presents the latest position. A predetermined number of persons with a higher link score are selected from the top among persons whose link score is lower than that of the person corresponding to the image presented by the unit 28, and images of those persons are presented.

このようにして、追尾修正候補提示部29により提示された追尾修正の候補映像の1つがユーザにより選択されると、最新位置提示部28では、ユーザにより選択された候補映像に対応する人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する、すなわち、最新の追尾位置に対応する最新の追尾映像が表示された居場所表示画面(図8参照)をモニタ7に表示させる処理が行われる。   In this way, when one of the tracking correction candidate videos presented by the tracking correction candidate presenting unit 29 is selected by the user, the latest position presenting unit 28 displays the latest of the person corresponding to the candidate video selected by the user. Is acquired, and the latest tracking position is presented as the latest location of the search target person, that is, the whereabouts display screen on which the latest tracking video corresponding to the latest tracking position is displayed (see FIG. 8). ) Is displayed on the monitor 7.

なお、追尾修正候補提示部29で提示される追尾修正の候補映像には、各人物の最新の追尾映像を提示するとよく、この場合、ユーザにより選択された候補映像がそのまま最新の追尾映像として最新位置提示部28により提示される。   The tracking correction candidate video presented by the tracking correction candidate presentation unit 29 may be the latest tracking video of each person. In this case, the candidate video selected by the user is updated as the latest tracking video. Presented by the position presentation unit 28.

確認映像提示部30では、追尾修正候補提示部29により提示された追尾修正の候補映像の全てに誤りがある、すなわち、追尾修正の候補映像の全てに捜索対象者が写っていない場合に、追尾情報蓄積部21に蓄積された追尾情報に基づき、捜索対象設定部26で人物を捜索対象に設定した際の候補映像から、最新位置提示部28により提示された最新の追尾映像に至るまでのカメラ1ごとの映像を確認映像として提示する処理が行われる。本実施形態では、確認映像が撮影時刻順に並べて表示された追尾過程確認画面(図10参照)をモニタ7に表示させ、捜索対象者が写っていない確認映像をユーザに選択させる。なお、誤りがある確認映像が複数ある場合には、撮影時刻が最も古い確認映像をユーザに選択させる。   In the confirmation video presenting unit 30, the tracking correction candidate presenting unit 29 presents an error in all of the tracking correction candidate videos, that is, if the search target person is not reflected in all of the tracking correction candidate videos. Based on the tracking information stored in the information storage unit 21, the camera from the candidate video when the search target setting unit 26 sets the person as the search target to the latest tracking video presented by the latest position presentation unit 28 A process of presenting each video as a confirmation video is performed. In the present embodiment, a tracking process confirmation screen (see FIG. 10) in which confirmation videos are arranged and displayed in order of shooting time is displayed on the monitor 7, and the user is allowed to select a confirmation video that does not include the search target person. When there are a plurality of confirmation videos with errors, the user is allowed to select the confirmation video with the oldest shooting time.

このようにして、確認映像提示部30により提示された確認映像の1つがユーザにより選択されると、追尾修正候補提示部29では、追尾情報蓄積部21に蓄積された追尾情報に基づき、捜索対象に設定された人物と同一である可能性(リンクスコア)が、ユーザにより選択された確認映像に対応する人物の次に高い人物の映像を、上位から所定数抽出して、それらの映像を追尾修正の候補映像として提示する。   In this way, when one of the confirmation videos presented by the confirmation video presentation unit 30 is selected by the user, the tracking correction candidate presentation unit 29 searches based on the tracking information stored in the tracking information storage unit 21. A predetermined number of images of the next highest person after the person corresponding to the confirmation image selected by the user (link score) are extracted from the top, and the images are tracked. Present as a candidate video for correction.

画面生成部31は、モニタ7に表示させる画面を生成するものであり、具体的には、検索条件設定部23からの指示に応じて検索条件入力画面(図6参照)の画面情報を生成し、捜索対象候補提示部25からの指示に応じて捜索対象選択画面(図7参照)の画面情報を生成し、最新位置提示部28からの指示に応じて居場所表示画面(図8参照)の画面情報を生成し、追尾修正候補提示部29からの指示に応じて候補選択画面(図9参照)の画面情報を生成し、確認映像提示部30からの指示に応じて追尾過程確認画面(図10参照)の画面情報を生成する。   The screen generation unit 31 generates a screen to be displayed on the monitor 7. Specifically, the screen generation unit 31 generates screen information of a search condition input screen (see FIG. 6) in response to an instruction from the search condition setting unit 23. The screen information of the search target selection screen (see FIG. 7) is generated according to the instruction from the search target candidate presentation unit 25, and the whereabouts display screen (see FIG. 8) according to the instruction from the latest position presentation unit 28. Information is generated, screen information of a candidate selection screen (see FIG. 9) is generated according to an instruction from the tracking correction candidate presentation unit 29, and a tracking process confirmation screen (FIG. 10) is generated according to an instruction from the confirmation video presentation unit 30. (See) screen information is generated.

なお、図3に示したPC3の各部は、PC3のプロセッサ(CPU)にHDD等のメモリに保存した施設内人物捜索支援用のプログラム(インストラクション)を実行させることで実現される。これらのプログラムは、情報処理装置としてのPC3に予め導入して専用の装置として構成する他、所定のOS上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。   Each unit of the PC 3 shown in FIG. 3 is realized by causing the processor (CPU) of the PC 3 to execute an in-facility person search support program (instruction) stored in a memory such as an HDD. These programs are pre-installed in the PC 3 as an information processing device and configured as a dedicated device, or recorded in an appropriate program recording medium as an application program that operates on a predetermined OS, and via a network, It may be provided to the user.

次に、図1に示したモニタ7に表示される各画面、および各画面で行われる監視者の操作に応じてPC3の各部で行われる処理について説明する。図4は、モニタ7に表示される画面の遷移状況を示す説明図である。図5は、各画面で行われる監視者の操作に応じてPC3の各部で行われる処理の手順を示すフロー図である。   Next, each screen displayed on the monitor 7 shown in FIG. 1 and processing performed in each part of the PC 3 in accordance with the operation of the supervisor performed on each screen will be described. FIG. 4 is an explanatory diagram showing the transition state of the screen displayed on the monitor 7. FIG. 5 is a flowchart showing a procedure of processing performed in each part of the PC 3 in accordance with the operation of the supervisor performed on each screen.

まず、PC3において施設内人物捜索支援処理を開始する操作を行うと、捜索対象者を特定するための検索条件を入力する検索条件入力画面がモニタ7に表示される(ST101)。この検索条件入力画面で検索条件をユーザが入力すると(ST102でYes)、検索条件設定部23において、入力情報に基づいて検索条件を設定する処理が行われる。そして、捜索対象検索部24において、検索条件に基づいて、施設内に滞在する人物の中から捜索対象者を検索する処理が行われる(ST103)。ついで、捜索対象候補提示部25において、捜索対象の候補映像を表示する捜索対象選択画面をモニタ7に表示させる処理が行われる(ST104)。   First, when an operation for starting the in-facility person search support process is performed on the PC 3, a search condition input screen for inputting a search condition for specifying a search target person is displayed on the monitor 7 (ST101). When the user inputs a search condition on this search condition input screen (Yes in ST102), the search condition setting unit 23 performs a process of setting the search condition based on the input information. Then, the search target search unit 24 performs a process of searching for the search target person from the persons staying in the facility based on the search condition (ST103). Next, in the search target candidate presentation unit 25, a process for displaying a search target selection screen for displaying the search target candidate video on the monitor 7 is performed (ST104).

次に、捜索対象選択画面で、捜索対象者が写る候補映像を選択する操作がユーザにより行われると(ST105でYes)、捜索対象設定部26において、ユーザにより選択された候補映像に対応する人物を捜索対象に設定する処理が行われる(ST106)。そして、最新位置提示部28において、捜索対象に設定された人物の最新の追尾映像を表示する居場所表示画面をモニタ7に表示させる処理が行われる(ST107)。   Next, on the search target selection screen, when the user performs an operation for selecting a candidate video in which the search target person is captured (Yes in ST105), the search target setting unit 26 selects a person corresponding to the candidate video selected by the user. Is set as a search target (ST106). Then, in the latest position presentation unit 28, a process for causing the monitor 7 to display a location display screen for displaying the latest tracking video of the person set as the search target is performed (ST107).

この居場所表示画面に表示された最新の追尾映像に誤りがある、すなわち、最新の追尾映像に捜索対象者が写っていない場合には、候補選択画面を表示させる操作がユーザにより行われ(ST108でYes)、追尾修正候補提示部29において、追尾修正の候補映像を表示する候補選択画面をモニタ7に表示させる処理が行われる(ST109)。   When there is an error in the latest tracking video displayed on the whereabouts display screen, that is, when the search target person is not shown in the latest tracking video, an operation for displaying the candidate selection screen is performed by the user (in ST108). Yes), the tracking correction candidate presenting unit 29 performs a process of displaying a candidate selection screen for displaying a candidate video for tracking correction on the monitor 7 (ST109).

この候補選択画面に表示された候補映像の中に捜索対象者が写る映像が見つかると、その候補映像を選択する操作がユーザにより行われ(ST110でYes)、最新位置提示部28において、ユーザにより選択された候補映像に対応する人物の最新の追尾映像を表示する居場所表示画面をモニタ7に表示させる処理が行われる(ST107)。   When a video showing the search target person is found in the candidate video displayed on the candidate selection screen, an operation for selecting the candidate video is performed by the user (Yes in ST110). A process of displaying on the monitor 7 a whereabouts display screen for displaying the latest tracking image of the person corresponding to the selected candidate image is performed (ST107).

一方、候補選択画面に表示された候補映像の中に捜索対象者が写る映像が見つからない場合には、追尾過程確認画面を表示させる操作がユーザにより行われ(ST111でYes)、確認映像提示部30において、確認映像を撮影時刻順に並べて表示する追尾過程確認画面をモニタ7に表示させる処理が行われる(ST112)。   On the other hand, when a video showing the search target person is not found in the candidate video displayed on the candidate selection screen, an operation for displaying a tracking process confirmation screen is performed by the user (Yes in ST111), and a confirmation video presentation unit At 30, a process for displaying a tracking process confirmation screen on the monitor 7 for displaying the confirmation videos in order of photographing time is performed (ST112).

そして、この追尾過程確認画面に表示された確認映像の中から、誤りのある確認映像、すなわち、捜索対象者が写っていない確認映像を選択する操作がユーザにより行われ(ST113でYes)、追尾修正候補提示部29において、追尾修正の候補映像を表示する候補選択画面をモニタ7に表示させる処理が行われる(ST109)。   Then, the user performs an operation of selecting an erroneous confirmation video from the confirmation video displayed on the tracking process confirmation screen, that is, a confirmation video that does not include the search target person (Yes in ST113). In the correction candidate presenting unit 29, a process of displaying a candidate selection screen for displaying the tracking correction candidate video on the monitor 7 is performed (ST109).

居場所表示画面の表示から以降の処理(ST107〜ST113)は、居場所表示画面に捜索対象者が写る最新の追尾映像が表示されるまで繰り返すことができ、これにより、捜索対象者が写る最新の追尾映像を居場所表示画面に表示させて、捜索対象者の最新の居場所をユーザが把握することができる。   The subsequent processing (ST107 to ST113) from the display of the whereabouts display screen can be repeated until the latest tracking video showing the search target person is displayed on the whereabouts display screen. The user can grasp the latest location of the search target person by displaying the video on the location display screen.

以下に、図4に示した各画面について詳しく説明する。   Hereinafter, each screen shown in FIG. 4 will be described in detail.

まず、図4に示した検索条件入力画面について説明する。図6は、モニタ7に表示される検索条件入力画面を示す説明図である。   First, the search condition input screen shown in FIG. 4 will be described. FIG. 6 is an explanatory diagram showing a search condition input screen displayed on the monitor 7.

この検索条件入力画面は、捜索対象者を特定するための検索条件をユーザが入力するものであり、この検索条件入力画面には、日時、場所、捜索対象者の特徴に関する情報、および捜索依頼者の撮影画像の各入力部51〜54が設けられている。   In this search condition input screen, the user inputs search conditions for specifying the search target person. This search condition input screen includes information regarding the date and time, the location, the characteristics of the search target person, and the search requester. Each input part 51-54 of this picked-up image is provided.

日時の入力部51では、捜索依頼者が捜索対象者(同伴者)とはぐれた時刻(離別時刻)をユーザが入力する。場所の入力部52では、捜索依頼者が捜索対象者とはぐれた場所(離別場所)をユーザが入力する。この場所の入力部52には、「マップ検索」のボタンが設けられており、このボタンを操作すると、図示しないマップ検索画面が表示され、このマップ検索画面に表示された地図上で離別場所を指定することができる。   In the date and time input unit 51, the user inputs the time (separation time) when the search requester is separated from the search target person (accompanied person). In the place input unit 52, the user inputs a place (separation place) where the search requester is separated from the search target person. The location input section 52 is provided with a “map search” button. When this button is operated, a map search screen (not shown) is displayed, and a separation location is displayed on the map displayed on the map search screen. Can be specified.

捜索対象者の特徴に関する情報の入力部53では、人物の属性(年齢および性別)、人物の外観上の特徴(身長および上下の服装の色)に関する情報をユーザが入力する。上下の服装の色は、プルダウンメニューにより選択することができる。また、この入力部53には、「カラーパレット指定」のボタンが設けられており、このボタンを操作すると、図示しないカラーパレットが表示され、プルダウンメニューより詳細に服装の色を選択することができる。   In the information input unit 53 relating to the characteristics of the search target person, the user inputs information related to the attributes of the person (age and gender) and the characteristics on the appearance of the person (height and upper and lower clothing colors). The upper and lower clothing colors can be selected from a pull-down menu. The input unit 53 is also provided with a “color palette designation” button. When this button is operated, a color palette (not shown) is displayed, and a clothing color can be selected in detail from a pull-down menu. .

これらの入力部51〜53に入力する情報は、捜索依頼者から聴取して入力すればよい。服装の色については、服装の色を色名では表現することが難しく、特に子供では色名が不正確であるが、プルダウンメニューやカラーパレットにより色を直接選択することで、服装の色を精度よく入力することができる。   What is necessary is just to listen to a search requester and input the information input into these input parts 51-53. Regarding clothing colors, it is difficult to express the clothing color by color name, especially for children, but the color name is inaccurate, but by selecting the color directly from the pull-down menu or color palette, the clothing color is accurate. You can type well.

捜索依頼者の撮影画像の入力部54には、捜索依頼者を撮影した画像を入力するために、「画像取込」、「画像撮影」、および「やり直し」の各ボタンが設けられており、「画像取込」のボタンは、カメラで撮影された撮影画像をPC3に取り込む場合に用いられ、「画像撮影」のボタンは、タブレット端末のようにPC3自体がカメラを備えている場合に用いられ、「やり直し」のボタンは、撮影画像を入力し直す場合に用いられる。これらのボタンを操作して、捜索依頼者の撮影画像が入力されると、入力部54に、その捜索依頼者の撮影画像が表示される。   The search client's photographed image input unit 54 is provided with “image capture”, “image capture”, and “redo” buttons for inputting an image of the search client. The “image capture” button is used when a captured image captured by the camera is captured to the PC 3, and the “image capture” button is used when the PC 3 itself has a camera like a tablet terminal. The “Redo” button is used when a photographed image is input again. When the photographed image of the search requester is input by operating these buttons, the photographed image of the search requester is displayed on the input unit 54.

この検索条件入力画面において、ユーザが、各入力部51〜54に所要の情報を入力して「検索」のボタンを操作すると、検索条件設定部23において、入力情報に基づいて検索条件を設定する処理が行われる。   In this search condition input screen, when the user inputs necessary information to each of the input sections 51 to 54 and operates the “search” button, the search condition setting section 23 sets the search conditions based on the input information. Processing is performed.

次に、図4に示した捜索対象選択画面について説明する。図7は、モニタ7に表示される捜索対象選択画面を示す説明図である。   Next, the search target selection screen shown in FIG. 4 will be described. FIG. 7 is an explanatory diagram showing a search target selection screen displayed on the monitor 7.

この捜索対象選択画面は、捜索対象者である可能性が高い人物の映像を捜索対象の候補映像として複数表示して、捜索対象者が写る映像をユーザに選択させるものであり、この捜索対象選択画面には、候補映像が、捜索対象者である可能性が高いものから順に並べて表示されている。なお、この捜索対象選択画面に表示される候補映像は、捜索依頼者(同伴者)が捜索対象者とはぐれる直前の映像であり、捜索対象者が写る候補映像では、捜索対象者の隣に捜索依頼者が写っている。   This search target selection screen displays a plurality of images of a person who is likely to be a search target person as search target candidate videos, and allows the user to select a video image of the search target person. On the screen, candidate videos are displayed side by side in descending order of the possibility of being a search target person. The candidate video displayed on the search target selection screen is the video immediately before the search requester (accompanied person) is separated from the search target person. The client is shown.

この捜索対象選択画面において、ユーザが、捜索対象者が写る候補映像を選択して「決定」のボタンを操作すると、捜索対象設定部26において、ユーザにより選択された候補映像に対応する人物を捜索対象に設定する処理が行われる。なお、ここでは候補映像のサムネイル画像を選択して決定するようにしているが、サムネイル画像に写る人物ごとに人物枠を表示させ、捜索対象者に該当する人物枠を選択した後、決定ボタンを操作するようにしてもよい。この場合、選択した人物枠の表示色や線種を変えるなどの強調表示を行うことで、ユーザは、捜索対象者が正しく選択されているかを確認することができる。また、この捜索対象選択画面に限らず、各種表示画面において、人物ごとに人物枠と、捜索対象者に該当する人物枠の強調表示を行うようにすれば、常に、捜索対象者の選択状況を識別することができる。   In this search target selection screen, when the user selects a candidate video in which the search target is shown and operates the “decision” button, the search target setting unit 26 searches for a person corresponding to the candidate video selected by the user. Processing to set the target is performed. In this example, the thumbnail image of the candidate video is selected and determined, but a person frame is displayed for each person shown in the thumbnail image, and after selecting the person frame corresponding to the search target person, the determination button is pressed. You may make it operate. In this case, by performing highlighting such as changing the display color or line type of the selected person frame, the user can check whether the search target person is correctly selected. In addition to the search target selection screen, if the person frame for each person and the person frame corresponding to the search target person are highlighted on various display screens, the selection status of the search target person is always displayed. Can be identified.

次に、図4に示した居場所表示画面について説明する。図8は、モニタ7に表示される居場所表示画面を示す説明図である。   Next, the whereabouts display screen shown in FIG. 4 will be described. FIG. 8 is an explanatory diagram showing a location display screen displayed on the monitor 7.

この居場所表示画面は、捜索対象に設定された人物の最新の追尾位置に対応する最新の追尾映像を表示して、捜索対象者の最新の居場所をユーザに提示するものであり、この居場所表示画面には、追尾映像表示部61と、位置・時間情報表示部62と、再生操作部63と、ライブ映像表示部64と、カメラ切替部65と、が設けられている。   This location display screen displays the latest tracking video corresponding to the latest tracking position of the person set as the search target and presents the latest location of the search target to the user. 1 includes a tracking video display unit 61, a position / time information display unit 62, a playback operation unit 63, a live video display unit 64, and a camera switching unit 65.

追尾映像表示部61では、捜索対象に設定された人物の最新の追尾位置に対応する最新の追尾映像、すなわち、追尾処理において当該人物が検出された最新の映像が表示される。人物の追尾が継続している場合には、現在の映像が表示され、人物の追尾が終了している場合には、追尾が終了した位置に対応する映像が表示される。また、捜索対象者の追尾が途中で失敗して別人との入れ替わりが発生していると、捜索対象者とは異なる人物の映像が表示される。また、追尾映像は動画で表示され、捜索対象者が別のカメラ1の撮像エリアに移動して、そのカメラ1の映像で検出されると、追尾映像は別のカメラ1のものに切り替わる。   The tracking video display unit 61 displays the latest tracking video corresponding to the latest tracking position of the person set as the search target, that is, the latest video in which the person is detected in the tracking process. When the tracking of the person is continued, the current video is displayed, and when the tracking of the person is completed, the video corresponding to the position where the tracking is completed is displayed. In addition, if tracking of the search target person fails in the middle and a change with another person occurs, an image of a person different from the search target person is displayed. The tracking video is displayed as a moving image. When the search target person moves to the imaging area of another camera 1 and is detected from the video of the camera 1, the tracking video is switched to that of the other camera 1.

位置・時間情報表示部62では、捜索対象者が最新の居場所に滞在する時刻に関する時間情報として、最新の追尾映像の撮影時刻が表示されるとともに、捜索対象者の最新の居場所に関する位置情報として、最新の追尾映像を撮影するカメラの名称(カメラID)が表示される。   In the position / time information display unit 62, the latest tracking video shooting time is displayed as time information related to the time when the search target person stays in the latest location, and the position information regarding the latest search target location is as follows: The name (camera ID) of the camera that captures the latest tracking video is displayed.

再生操作部63では、追尾映像表示部61に表示される映像の再生に関する操作を行うものであり、この再生操作部63には、再生、逆再生、停止、早送り、および巻き戻しの各ボタンが設けられており、これらのボタンを操作することで、映像を効率的に閲覧することができる。   The playback operation unit 63 performs operations related to playback of the video displayed on the tracking video display unit 61. The playback operation unit 63 includes buttons for playback, reverse playback, stop, fast forward, and rewind. The video can be efficiently browsed by operating these buttons.

ライブ映像表示部64では、追尾映像表示部61に表示された最新の追尾映像と同一のカメラ1のライブ映像(現在の映像)が表示される。人物の追尾が継続している場合には、追尾映像表示部61およびライブ映像表示部64には同一の映像が表示され、人物の追尾が失敗している場合には、追尾映像表示部61およびライブ映像表示部64には異なる映像が表示される。   The live video display unit 64 displays the live video (current video) of the same camera 1 as the latest tracking video displayed on the tracking video display unit 61. When the tracking of the person continues, the same video is displayed on the tracking video display unit 61 and the live video display unit 64, and when the tracking of the person fails, the tracking video display unit 61 and Different images are displayed on the live image display unit 64.

また、ライブ映像表示部64では、ライブ映像上に、カメラ1を切り換えるための上下左右の方向指示マーク(操作部)66が表示されており、この方向指示マーク66を操作することで、その方向指示マーク66に対応する方向に位置するカメラ1の映像に切り替えることができる。   In the live video display unit 64, up / down / left / right direction indication marks (operation unit) 66 for switching the camera 1 are displayed on the live video, and by operating the direction indication mark 66, the direction is displayed. It is possible to switch to the image of the camera 1 located in the direction corresponding to the instruction mark 66.

カメラ切替部(操作部)65では、ライブ映像表示部64に映像を表示させるカメラ1をプルダウンメニューにより切り替えることができる。   The camera switching unit (operation unit) 65 can switch the camera 1 that displays the video on the live video display unit 64 using a pull-down menu.

次に、図4に示した候補選択画面について説明する。図9は、モニタ7に表示される候補選択画面を示す説明図である。   Next, the candidate selection screen shown in FIG. 4 will be described. FIG. 9 is an explanatory diagram showing a candidate selection screen displayed on the monitor 7.

この候補選択画面は、居場所表示画面(図8参照)に表示された最新の追尾映像に誤りがある、すなわち、最新の追尾映像に捜索対象者が写っていない場合に、捜索対象に設定された人物と同一である可能性が、最新の追尾映像に写る人物の次に高い人物の映像を、追尾修正の候補映像として複数表示して、捜索対象者が写る映像をユーザに選択させるものであり、この候補選択画面には、追尾修正の候補映像が撮影時刻順に並べて表示されている。   This candidate selection screen is set as a search target when there is an error in the latest tracking video displayed on the whereabouts display screen (see FIG. 8), that is, when the search target person is not shown in the latest tracking video. Displaying multiple images of the person who has the highest possibility of being the same as the person next to the person in the latest tracking video as candidate videos for tracking correction, and allowing the user to select the video in which the search target is shown In this candidate selection screen, candidate videos for tracking correction are displayed side by side in order of shooting time.

この候補選択画面において、ユーザが、捜索対象者が写る候補映像を選択して「決定」のボタンを操作すると、最新位置提示部28において、ユーザにより選択された候補映像に対応する人物の最新の追尾位置を取得して、その最新の追尾位置に対応する最新の追尾映像が表示された居場所表示画面(図8参照)をモニタ7に表示させる処理が行われる。   In this candidate selection screen, when the user selects a candidate video in which the search target person is photographed and operates the “decision” button, the latest position presentation unit 28 displays the latest of the person corresponding to the candidate video selected by the user. Processing for acquiring the tracking position and displaying the whereabouts display screen (see FIG. 8) on which the latest tracking video corresponding to the latest tracking position is displayed on the monitor 7 is performed.

また、この候補選択画面において、捜索対象者が写る候補映像が見つからなかった場合には、ユーザは「経路確認」のボタンを操作して、追尾過程確認画面(図10参照)に遷移させる。   In addition, in the candidate selection screen, when a candidate video showing the search target person is not found, the user operates the “route confirmation” button to change to the tracking process confirmation screen (see FIG. 10).

次に、図4に示した追尾過程確認画面(時系列追跡画面)について説明する。図10は、モニタ7に表示される追尾過程確認画面を示す説明図である。   Next, the tracking process confirmation screen (time series tracking screen) shown in FIG. 4 will be described. FIG. 10 is an explanatory diagram showing a tracking process confirmation screen displayed on the monitor 7.

この追尾過程確認画面は、候補選択画面(図9参照)に表示された候補映像に捜索対象者が写っていない場合に、捜索対象選択画面(図7参照)で人物を捜索対象に選択した際の映像から、居場所表示画面(図8参照)に表示された最新の追尾映像に至るまでのカメラ1ごとの映像を確認映像として表示して、捜索対象者が写っていない確認映像をユーザに選択させるものであり、この追尾過程確認画面には、カメラ1ごとの確認映像が撮影時刻順に並べて表示されている。また、各確認映像には、映像の撮影時刻およびカメラの名称(カメラID)が表示されている。この追尾過程確認画面は、候補選択画面(図9参照)の「経路確認」のボタンを操作することで表示される。   This tracking process confirmation screen is displayed when a search target person is not shown in the candidate video displayed on the candidate selection screen (see FIG. 9) and a person is selected as a search target on the search target selection screen (see FIG. 7). The video for each camera 1 from the video to the latest tracking video displayed on the whereabouts display screen (see Fig. 8) is displayed as a confirmation video, and the confirmation video that does not show the search target is selected by the user On this tracking process confirmation screen, confirmation images for each camera 1 are displayed side by side in order of photographing time. Each confirmation video displays a video shooting time and a camera name (camera ID). This tracking process confirmation screen is displayed by operating the “route confirmation” button on the candidate selection screen (see FIG. 9).

居場所表示画面(図8参照)に表示された最新の追尾映像が別人のものである場合、すなわち、追尾情報に誤りがある場合には、この追尾過程確認画面では、ある時刻の確認映像から以降の全ての確認映像が別人のものに入れ替わっており、この別人のものに入れ替わった最初の確認映像をユーザに選択させる。これにより、追尾処理の過程で誤りが発生した映像を特定することができる。   If the latest tracking video displayed on the whereabouts display screen (see FIG. 8) is from another person, that is, if there is an error in the tracking information, this tracking process confirmation screen displays the confirmation video from a certain time onward. All the confirmation videos are replaced with those of another person, and the user is allowed to select the first confirmation video that has been replaced with that of another person. Thereby, it is possible to identify a video in which an error has occurred during the tracking process.

この追尾過程確認画面において、ユーザが、誤りがある確認映像を選択して「決定」のボタンを操作すると、追尾修正候補提示部29において、捜索対象に設定された人物と同一である可能性が、ユーザにより選択された確認映像に対応する人物の次に高い人物の映像を、上位から所定数抽出して、それらの映像を追尾修正の候補映像として表示する候補選択画面(図9参照)をモニタ7に表示させる処理が行われる。   In this tracking process confirmation screen, when the user selects a confirmation video with an error and operates the “decision” button, the tracking correction candidate presenting unit 29 may be the same as the person set as the search target. A candidate selection screen (see FIG. 9) for extracting a predetermined number of videos of the next highest person from the person corresponding to the confirmation video selected by the user from the top and displaying those videos as tracking correction candidate videos. Processing to be displayed on the monitor 7 is performed.

次に、図10に示した追尾過程確認画面の別例であるマップ追跡画面について説明する。図11は、モニタ7に表示されるマップ追跡画面を示す説明図である。   Next, a map tracking screen which is another example of the tracking process confirmation screen shown in FIG. 10 will be described. FIG. 11 is an explanatory diagram showing a map tracking screen displayed on the monitor 7.

図10に示した時系列追跡画面では、カメラ1ごとの確認映像が撮影時刻順に並べて表示されていたが、図11に示すマップ追跡画面では、施設内のレイアウト(施設の状態)を示す地図画像71上に、カメラ1ごとの確認映像をそれぞれ表示する複数の映像表示ウィンドウ(映像表示枠)72が、カメラ1の実際の配置状況に対応して配置されている。また、映像表示ウィンドウ72は、撮影時刻順に矢印で結ばれているため、カメラ1ごとの確認映像を撮影時刻順に確認することができる。   On the time-series tracking screen shown in FIG. 10, the confirmation videos for each camera 1 are displayed side by side in order of shooting time. On the map tracking screen shown in FIG. 11, a map image showing the layout (facility status) in the facility A plurality of video display windows (video display frames) 72 for displaying the confirmation video for each camera 1 are arranged on 71 corresponding to the actual arrangement status of the camera 1. In addition, since the video display window 72 is connected with arrows in the order of shooting times, confirmation videos for each camera 1 can be checked in the order of shooting times.

なお、このマップ追跡画面は、図10に示した時系列追跡画面の代わりに表示するようにしてもよいが、マップ追跡画面および時系列追跡画面をユーザが適宜に選択することができるようにしてもよい。   The map tracking screen may be displayed instead of the time series tracking screen shown in FIG. 10, but the user can select the map tracking screen and the time series tracking screen as appropriate. Also good.

図12および図13は、追尾処理が失敗している場合のマップ追跡画面を示す説明図である。図11に示したマップ追跡画面は、追尾処理が成功している場合であり、追尾を開始したカメラ1の確認映像から最新の追尾位置のカメラ1の確認映像まで継続して捜索対象者が写っている。一方、図12および図13に示すように、追尾処理が失敗している場合には、追尾の途中のカメラ1の確認映像で捜索対象者が別人に入れ替わり、どこで捜索対象者の追尾が失敗したかを把握することができる。図12および図13に示した例では、施設の各階の地図画像71上に確認映像が表示されており、図12(B)に示す3階のフロアで捜索対象者の追尾が失敗している。   12 and 13 are explanatory diagrams showing a map tracking screen when the tracking process has failed. The map tracking screen shown in FIG. 11 is a case where the tracking process is successful, and the search target person is continuously captured from the confirmation video of the camera 1 that started tracking to the confirmation video of the camera 1 at the latest tracking position. ing. On the other hand, as shown in FIG. 12 and FIG. 13, when the tracking process has failed, the search target person is replaced by another person in the confirmation video of the camera 1 in the middle of tracking, and where the search target person has failed to be tracked I can understand. In the example shown in FIG. 12 and FIG. 13, a confirmation video is displayed on the map image 71 of each floor of the facility, and tracking of the search target person has failed on the third floor shown in FIG. .

以上のように本実施形態では、検索条件設定部23において、ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定し、捜索対象検索部24において、施設内を撮影した映像に対する追尾処理により取得した追尾情報、および検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索し、捜索対象候補提示部25において、この捜索対象検索部24の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、上位から所定数抽出して、それらの映像を捜索対象の候補映像として提示し、捜索対象設定部26において、捜索対象者が写る捜索対象の候補映像を選択するユーザの操作に応じて、その選択された捜索対象の候補映像に対応する人物を捜索対象に設定し、最新位置提示部28において、追尾情報に基づき、捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示するものとした。   As described above, in the present embodiment, the search condition setting unit 23 sets the search condition for specifying the search target person in accordance with the user's input operation, and the search target search unit 24 images the inside of the facility. Based on the tracking information acquired by the tracking processing for the video and the search condition, a person who is highly likely to be a search target person is searched from the persons staying in the facility, and the search target candidate presentation unit 25 searches for this search. Based on the search result of the target search unit 24, a predetermined number of videos of a person who is highly likely to be a search target are extracted from the top, and these videos are presented as search target candidate videos, and the search target setting unit 26 , The person corresponding to the selected candidate video for the search target is set as the search target in accordance with the operation of the user who selects the candidate video for the search target. In section 28, based on the tracking information, obtain the latest tracking position of the person is set to search the object, the latest tracking position, and shall be presented as the latest location of the search subject.

これによると、捜索対象者である可能性が高い人物の映像を、捜索対象の候補映像として複数提示して、ユーザに選択させるため、追尾情報の精度が低い場合でも、正しい人物が捜索対象に設定されて、捜索対象者の最新の居場所を確実に提示することができる。   According to this, in order to present a plurality of images of a person who is likely to be a search target candidate video to be searched and allow the user to select, the correct person is selected as the search target even when the tracking information accuracy is low. It is set, and the latest location of the search target person can be surely presented.

また、本実施形態では、最新位置提示部28において、捜索対象者の最新の居場所に関する位置情報を提示すると共に、最新の追尾位置に対応する最新の追尾映像、および捜索対象者が最新の居場所に滞在する時刻に関する時間情報を提示するものとした。これによると、居場所に関する位置情報が提示されるため、捜索対象者の居場所をユーザが把握することができ、さらに、捜索対象者の最新の追尾映像が提示されるため、捜索対象者の最新の状況をユーザが把握することができ、さらに、捜索対象者が最新の居場所に滞在する時刻に関する時間情報が提示されるため、捜索対象者が最新の居場所に滞在してから現在までにどの程度の時間が経過しているかをユーザが把握することができる。   In the present embodiment, the latest position presentation unit 28 presents position information related to the latest location of the search target person, the latest tracking video corresponding to the latest tracking position, and the search target person to the latest location. Time information on the time of stay was presented. According to this, since the location information regarding the whereabouts is presented, the user can grasp the whereabouts of the search target person, and furthermore, the latest tracking video of the search target person is presented, so the latest search target person's latest information is presented. The user can grasp the situation and the time information about the time when the search target person stays in the latest location is presented. The user can grasp whether time has passed.

また、本実施形態では、最新位置提示部28において、最新の追尾映像とともに、その最新の追尾映像を撮影するカメラのライブ映像を提示するものとした。これによると、最新の追尾映像の撮影時刻が比較的古い、すなわち、捜索対象者の追尾が終了してから長い時間が経過している場合でも、ライブ映像が提示されるため、最新の居場所の現在の状況をユーザが把握することができ、捜索対象者が移動していなければ、ライブ映像で捜索対象者を見つけ出すことができる。   In the present embodiment, the latest position presentation unit 28 presents a live video of a camera that captures the latest tracking video along with the latest tracking video. According to this, since the shooting time of the latest tracking video is relatively old, that is, even if a long time has elapsed since the tracking of the search target person was completed, the live video is presented, so the latest location If the user can grasp the current situation and the search target person is not moving, the search target person can be found in the live video.

また、本実施形態では、最新位置提示部28において、ライブ映像をモニタ7に表示させるとともに、ライブ映像の表示画面上に、ライブ映像のカメラを切り換えるカメラ切替部65および方向指示マーク(操作部)を表示させるものとした。これにより、最新の追尾映像を撮影するカメラ1の近傍のカメラ1の撮影エリアに捜索対象者が移動して、ライブ映像に捜索対象者が写っていない場合に、ライブ映像のカメラ1を切り換えることで、捜索対象者を見つけ出すことができる。   In the present embodiment, the latest position presentation unit 28 displays a live video on the monitor 7 and switches the live video camera on the live video display screen and a direction indication mark (operation unit). Is to be displayed. As a result, the search target person moves to the shooting area of the camera 1 near the camera 1 that captures the latest tracking video, and the live video camera 1 is switched when the search target is not shown in the live video. With this, you can find out who to search for.

また、本実施形態では、追尾修正候補提示部29において、最新位置提示部28により提示された捜索対象者の最新の居場所に誤りがある場合に、追尾情報に基づき、捜索対象に設定された人物と同一である可能性が、最新位置提示部28で最新の居場所を提示した人物の次に高い人物の映像を、上位から所定数抽出して、それらの映像を追尾修正の候補映像として提示し、最新位置提示部28において、捜索対象者が写る追尾修正の候補映像を選択するユーザの操作に応じて、その選択された追尾修正の候補映像に対応する人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示するものとした。   In the present embodiment, in the tracking correction candidate presenting unit 29, when there is an error in the latest location of the search target person presented by the latest position presenting unit 28, the person set as the search target based on the tracking information A predetermined number of images of the next highest person after the person who presented the latest whereabouts in the latest position presenting unit 28 are extracted from the top and presented as candidate images for tracking correction. In the latest position presentation unit 28, the latest tracking position of the person corresponding to the selected candidate video for tracking correction is acquired according to the operation of the user who selects the candidate video for tracking correction in which the search target person is captured. The latest tracking position is presented as the latest location of the search target person.

これによると、最新位置提示部28により提示された捜索対象者の最新の居場所に誤りがある、すなわち、捜索対象者を捜索対象に設定してから以降の追尾情報に誤りがある場合に、追尾修正の候補映像を複数提示して、ユーザに選択させるため、追尾情報が適切に修正されて、捜索対象者の最新の居場所を確実に提示することができる。   According to this, when there is an error in the latest location of the search target person presented by the latest position presenting unit 28, that is, when there is an error in the tracking information after setting the search target person as the search target, In order to present a plurality of candidate videos for correction and allow the user to select them, the tracking information is appropriately corrected, and the latest location of the search target person can be reliably presented.

また、本実施形態では、確認映像提示部30において、追尾修正候補提示部29により提示された追尾修正の候補映像の全てに誤りがある場合に、捜索対象設定部26において人物を捜索対象に設定した際の捜索対象の候補映像から、最新位置提示部28により提示された最新の追尾映像に至るまでのカメラごとの映像を確認映像として提示し、追尾修正候補提示部29において、誤りがある確認映像を選択するユーザの操作に応じて、追尾情報に基づき、捜索対象に設定された人物と同一である可能性が、ユーザにより選択された確認映像に対応する人物の次に高い人物の映像を、上位から所定数抽出して、それらの映像を追尾修正の候補映像として提示するものとした。   Further, in the present embodiment, in the confirmation video presentation unit 30, when all of the tracking correction candidate videos presented by the tracking correction candidate presentation unit 29 are erroneous, the search target setting unit 26 sets a person as a search target. The video for each camera from the search target candidate video to the latest tracking video presented by the latest position presentation unit 28 is presented as a confirmation video, and the tracking correction candidate presentation unit 29 confirms that there is an error. Depending on the operation of the user who selects the video, based on the tracking information, the video of the person who has the next highest possibility of being the same as the person set as the search target is next to the person corresponding to the confirmation video selected by the user. Then, a predetermined number is extracted from the upper level, and these videos are presented as candidate videos for tracking correction.

これによると、捜索対象に設定した際の候補映像から最新の追尾映像に至るまでのカメラ1ごとの映像を確認映像として提示して、誤りがある確認映像、すなわち、捜索対象者が写っていない確認映像をユーザに選択させることで、追尾情報内の誤りがある箇所が明確になり、その追尾情報内の誤りがある箇所に対応する候補映像を提示して、適切な候補映像をユーザに選択させることで、追尾情報内の誤りがある箇所を確実に修正することができる。   According to this, the video for each camera 1 from the candidate video when set as the search target to the latest tracking video is presented as the confirmation video, and there is a confirmation video with an error, that is, the search target person is not shown. By allowing the user to select the confirmation video, the location where there is an error in the tracking information becomes clear, the candidate video corresponding to the location where there is an error in the tracking information is presented, and the appropriate candidate video is selected by the user By doing so, it is possible to surely correct a portion having an error in the tracking information.

また、本実施形態では、確認映像提示部30において、複数の確認映像が撮影時刻順に並べて配置された時系列追跡画面を、モニタ7に表示させるものとした。これにより、ユーザが撮影時刻順に並んだ確認映像を順次確認することで、誤りがある確認映像を見つけ出すことができるため、確認映像の確認作業を迅速に行うことができる。   In the present embodiment, the confirmation video presentation unit 30 displays a time series tracking screen in which a plurality of confirmation videos are arranged in order of shooting time on the monitor 7. Accordingly, since the user can sequentially confirm the confirmation videos arranged in the order of the shooting times, it is possible to find out the confirmation video having an error, so that the confirmation video can be confirmed quickly.

また、本実施形態では、確認映像提示部30において、施設の状態を示す地図画像上に、複数の確認映像が、カメラ1の実際の配置状況に対応して配置されたマップ追跡画面を、モニタ7に表示させるものとした。これによると、カメラ1の実際の配置状況を見ながら確認映像を順次確認することで、捜索対象者の追尾がどこで失敗したかをユーザが容易に把握することができる。   In the present embodiment, the confirmation video presenting unit 30 monitors a map tracking screen in which a plurality of confirmation videos are arranged on the map image indicating the facility state in accordance with the actual arrangement state of the camera 1. 7 to be displayed. According to this, the user can easily grasp where the tracking of the search target person has failed by sequentially confirming the confirmation video while viewing the actual arrangement state of the camera 1.

また、本実施形態では、検索条件設定部23において、検索条件として、同伴者を撮影した画像、および捜索対象者の特徴に関する情報を検索条件として設定するものとした。これにより、同伴者を撮影した画像、および捜索対象者の特徴に関する情報に基づいて捜索対象者を検索するため、捜索対象者の検索精度を高めることができる。   Further, in the present embodiment, the search condition setting unit 23 sets, as the search condition, an image obtained by photographing a companion and information on the characteristics of the search target person as the search condition. Thus, the search target person is searched based on the image of the companion and the information related to the characteristics of the search target person, so that the search accuracy of the search target person can be improved.

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。   As mentioned above, although this invention was demonstrated based on specific embodiment, these embodiment is an illustration to the last, Comprising: This invention is not limited by these embodiment. The constituent elements of the in-facility person search support device, the in-facility person search support system, and the in-facility person search support method according to the present invention described in the above embodiment are not necessarily all required, and at least the scope of the present invention As long as they do not deviate from the above, it is possible to make appropriate selections.

例えば、前記の実施形態では、デパートやショッピングセンターなどの商業施設の例について説明したが、公共施設などの商業施設以外の施設にも適用することができる。   For example, in the above-described embodiment, an example of a commercial facility such as a department store or a shopping center has been described, but the present invention can also be applied to a facility other than a commercial facility such as a public facility.

また、本実施形態では、最新位置提示部28において、捜索対象者の最新の追尾映像、この最新の追尾映像を撮影するカメラ1のライブ映像、捜索対象者が最新の居場所に滞在する時刻に関する時間情報、および捜索対象者の最新の居場所に関する位置情報を提示するようにしたが、位置情報(例えば何階のどの売場)のみを提示するようにしてもよい。また、居場所を文字で表示する他に、地図上に居場所を表示するようにしてもよい。   In the present embodiment, the latest position presentation unit 28 uses the latest tracking video of the search target person, the live video of the camera 1 that captures the latest tracking video, and the time when the search target person stays in the latest location. Although the information and the position information regarding the latest location of the search target person are presented, only the position information (for example, which sales floor on which floor) may be presented. In addition to displaying the whereabouts with characters, the whereabouts may be displayed on a map.

また、前記の実施形態では、図1および図3に示したように、カメラ内追尾処理をカメラ内追尾処理装置4に行わせ、カメラ間追尾処理および施設内人物捜索支援処理をPC3に行わせる例について説明したが、カメラ内追尾処理もPC3に行わせる構成としてもよい。また、カメラ内追尾処理部をカメラ1に設ける構成も可能である。また、カメラ間追尾処理部27の全部または一部をPC3とは別の追尾処理装置で構成することも可能である。   In the above embodiment, as shown in FIGS. 1 and 3, the in-camera tracking processing is performed by the in-camera tracking processing device 4, and the inter-camera tracking processing and the in-facility person search support processing are performed by the PC 3. Although an example has been described, a configuration in which in-camera tracking processing is also performed by the PC 3 may be employed. A configuration in which the camera tracking processing unit is provided in the camera 1 is also possible. Further, all or part of the inter-camera tracking processing unit 27 can be configured by a tracking processing device different from the PC 3.

また、前記の実施形態では、図2に示したように、カメラ1を、視野角の限定される箱型カメラとしたが、これに限らず、広範囲の撮影が可能な全方位カメラを用いることもできる。   In the above embodiment, as shown in FIG. 2, the camera 1 is a box-type camera with a limited viewing angle. However, the present invention is not limited to this, and an omnidirectional camera capable of shooting a wide range is used. You can also.

また、本実施形態では、追尾処理および施設内人物捜索支援処理を、施設内に設置された装置に行わせるようにしたが、これらの必要な処理を、図1に示したように、本部に設けられたPC11や、クラウドコンピューティングシステムを構成するクラウドコンピュータ12に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で追跡支援システムが構成される。   In this embodiment, the tracking process and the in-facility person search support process are performed by an apparatus installed in the facility. However, these necessary processes are performed in the headquarters as shown in FIG. You may make it make the provided computer 11 and the cloud computer 12 which comprises a cloud computing system perform. In addition, the necessary processing is shared by a plurality of information processing apparatuses, and information is transferred between the plurality of information processing apparatuses via a communication medium such as an IP network or a LAN, or a storage medium such as a hard disk or a memory card. It may be. In this case, the tracking support system is configured by a plurality of information processing apparatuses that share necessary processing.

特に、クラウドコンピュータ12を含むシステム構成では、施設や本部に設けられたPC3,11の他に、クラウドコンピュータ12にネットワーク接続されたスマートフォン13やタブレット端末14などの携帯型端末で、必要な情報を表示させることができるようにするとよく、これにより施設や本部の他に外出先などの任意の場所で必要な情報を確認することができる。   In particular, in the system configuration including the cloud computer 12, in addition to the PCs 3 and 11 provided in the facility and the headquarters, necessary information is obtained by a portable terminal such as the smartphone 13 and the tablet terminal 14 connected to the cloud computer 12 via a network. It is preferable that the information can be displayed, so that necessary information can be confirmed at any place such as a place to go besides the facility and the headquarters.

また、前記の実施形態では、カメラ1の映像を蓄積するレコーダ2を施設に設置するようにしたが、施設内人物捜索支援に必要な処理を、本部に設置されたPC11やクラウドコンピュータ12に行わせる場合には、カメラ1の映像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置にカメラ1の映像を蓄積するようにしてもよい。   In the above-described embodiment, the recorder 2 that accumulates the video of the camera 1 is installed in the facility. However, the processing necessary for the person search support in the facility is performed on the PC 11 and the cloud computer 12 installed in the headquarters. In such a case, the video from the camera 1 may be transmitted to the headquarters or the operating facility of the cloud computing system, and the video from the camera 1 may be stored in a device installed there.

本発明に係る施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法は、追尾情報の精度が低い場合でも、ユーザが適宜に選択や修正の操作を行うことで、捜索対象者の最新の居場所を確実に提示することができる効果を有し、施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法などとして有用である。   The in-facility person search support device, the in-facility person search support system, and the in-facility person search support method according to the present invention allow the user to appropriately perform selection and correction operations even when the tracking information accuracy is low. In-facility person search that has the effect of reliably presenting the latest location of the target person and supports the search for persons who have been separated from their companions in the facility based on images taken by multiple cameras in the facility. It is useful as a support device, a facility person search support system, a facility person search support method, and the like.

1 カメラ
2 レコーダ
3 PC(施設内人物捜索支援装置)
4 カメラ内追尾処理装置
6 入力デバイス
7 モニタ
11 PC
12 クラウドコンピュータ
13 スマートフォン
14 タブレット端末
21 追尾情報蓄積部
22 入力情報取得部
23 検索条件設定部
24 捜索対象検索部
25 捜索対象候補提示部
26 捜索対象設定部
27 カメラ間追尾処理部
28 最新位置提示部
29 追尾修正候補提示部
30 確認映像提示部
31 画面生成部
1 Camera 2 Recorder 3 PC (In-facility person search support device)
4 In-camera tracking processing device 6 Input device 7 Monitor 11 PC
DESCRIPTION OF SYMBOLS 12 Cloud computer 13 Smartphone 14 Tablet terminal 21 Tracking information storage part 22 Input information acquisition part 23 Search condition setting part 24 Search target search part 25 Search target candidate presentation part 26 Search target setting part 27 Inter-camera tracking process part 28 Latest position presentation part 29 Tracking correction candidate presentation unit 30 Confirmation video presentation unit 31 Screen generation unit

Claims (11)

施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援装置であって、
ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定する検索条件設定部と、
施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索する捜索対象検索部と、
この捜索対象検索部の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示する捜索対象候補提示部と、
捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定する捜索対象設定部と、
前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する最新位置提示部と、
を備えたことを特徴とする施設内人物捜索支援装置。
An in-facility person search support device that supports searching for a person who is separated from a companion in a facility based on images taken by a plurality of cameras in the facility,
A search condition setting unit for setting a search condition for specifying a search target person according to a user input operation;
A search target search unit for searching for a person who is highly likely to be a search target person among the persons staying in the facility based on the tracking information acquired by the tracking process for the video imaged in the facility and the search condition; ,
Based on the search result of the search target search unit, a predetermined number of videos of a person who is likely to be a search target are extracted, and a search target candidate presenting unit that presents those videos as search target candidate videos,
A search target setting unit that sets a person corresponding to the selected candidate video for the search target as a search target in response to a user operation for selecting the candidate video for the search target in which the search target person is captured,
Based on the tracking information, obtain the latest tracking position of the person set as the search target, and present the latest tracking position as the latest location of the search target person,
An in-facility person search support device characterized by comprising:
前記最新位置提示部は、捜索対象者の最新の居場所に関する位置情報を提示すると共に、前記最新の追尾位置に対応する最新の追尾映像、および捜索対象者が最新の居場所に滞在する時刻に関する時間情報を提示することを特徴とする請求項1に記載の施設内人物捜索支援装置。   The latest position presentation unit presents position information related to the latest location of the search target person, and includes the latest tracking video corresponding to the latest tracking position and time information related to the time when the search target person stays in the latest location. The in-facility person search support device according to claim 1, wherein: 前記最新位置提示部は、前記最新の追尾映像とともに、その最新の追尾映像を撮影するカメラのライブ映像を提示することを特徴とする請求項2に記載の施設内人物捜索支援装置。   The in-facility person search support device according to claim 2, wherein the latest position presentation unit presents a live video of a camera that captures the latest tracking video together with the latest tracking video. 前記最新位置提示部は、前記ライブ映像を表示装置に表示させるとともに、前記ライブ映像の表示画面上に、前記ライブ映像のカメラを切り換える操作部を表示させることを特徴とする請求項3に記載の施設内人物捜索支援装置。   The said latest position presentation part displays the said live image | video on a display apparatus, and displays the operation part which switches the camera of the said live image | video on the display screen of the said live image | video. In-facility person search support device. 更に、前記最新位置提示部により提示された捜索対象者の最新の居場所に誤りがある場合に、前記追尾情報に基づき、前記捜索対象に設定された人物と同一である可能性が、前記最新位置提示部で最新の居場所を提示した人物の次に高い人物の映像を、所定数抽出して、それらの映像を追尾修正の候補映像として提示する追尾修正候補提示部を備え、
前記最新位置提示部は、捜索対象者が写る前記追尾修正の候補映像を選択するユーザの操作に応じて、その選択された前記追尾修正の候補映像に対応する人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示することを特徴とする請求項1から請求項4のいずれかに記載の施設内人物捜索支援装置。
Furthermore, when there is an error in the latest location of the search target person presented by the latest position presentation unit, the possibility that the search target person is the same as the person set as the search target is based on the tracking information. A tracking correction candidate presentation unit that extracts a predetermined number of videos of the next highest person next to the person who presented the latest location in the presentation unit and presents those videos as tracking correction candidate videos,
The latest position presenting unit obtains the latest tracking position of the person corresponding to the selected candidate video for tracking correction in response to a user operation for selecting the candidate video for tracking correction in which the search target person is captured. The in-facility person search support device according to any one of claims 1 to 4, wherein the latest tracking position is presented as the latest location of the search target person.
更に、前記追尾修正候補提示部により提示された前記追尾修正の候補映像の全てに誤りがある場合に、前記捜索対象設定部において人物を捜索対象に設定した際の前記捜索対象の候補映像から、前記最新位置提示部により提示された前記最新の追尾映像に至るまでの間に、前記追尾情報に基づき、前記捜索対象に設定された人物と同一の可能性がある人物が写るカメラごとの映像を確認映像として提示する確認映像提示部を備え、
前記追尾修正候補提示部は、誤りがある前記確認映像を選択するユーザの操作に応じて、前記追尾情報に基づき、前記捜索対象に設定された人物と同一である可能性が、ユーザにより選択された前記確認映像に対応する人物の次に高い人物の映像を、所定数抽出して、それらの映像を前記追尾修正の候補映像として提示することを特徴とする請求項5に記載の施設内人物捜索支援装置。
Further, when there is an error in all of the tracking correction candidate videos presented by the tracking correction candidate presentation unit, from the search target candidate video when the person is set as a search target in the search target setting unit, From the latest tracking video presented by the latest position presentation unit , based on the tracking information, a video for each camera in which a person having the same possibility as the person set as the search target is captured. It has a confirmation video presentation part to present as a confirmation video,
Based on the tracking information, the tracking correction candidate presentation unit may select the possibility that the tracking correction candidate presentation unit is the same as the person set as the search target based on the tracking information. 6. The in-facility person according to claim 5, wherein a predetermined number of videos of a person next to the person corresponding to the confirmation video are extracted and presented as candidate videos for the tracking correction. Search support device.
前記確認映像提示部は、複数の前記確認映像が撮影時刻順に並べて配置された時系列追跡画面を、表示装置に表示させることを特徴とする請求項6に記載の施設内人物捜索支援装置。   The in-facility person search support device according to claim 6, wherein the confirmation video presenting unit causes a display device to display a time-series tracking screen in which a plurality of the confirmation videos are arranged in order of shooting time. 前記確認映像提示部は、施設の状態を示す地図画像上に、複数の前記確認映像が、前記カメラの実際の配置状況に対応して配置されたマップ追跡画面を、表示装置に表示させることを特徴とする請求項6に記載の施設内人物捜索支援装置。   The confirmation video presenting unit causes the display device to display a map tracking screen in which a plurality of the confirmation videos are arranged on the map image indicating the state of the facility according to the actual arrangement state of the camera. The in-facility person search support device according to claim 6, wherein the device is a person search support device. 前記検索条件設定部は、前記検索条件として、同伴者を撮影した画像、および捜索対象者の特徴に関する情報を検索条件として設定することを特徴とする請求項1から請求項8のいずれかに記載の施設内人物捜索支援装置。   9. The search condition setting unit according to claim 1, wherein the search condition setting unit sets, as the search condition, an image obtained by photographing a companion and information on characteristics of a search target person as a search condition. In-house person search support device. 施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する施設内人物捜索支援システムであって、
施設内を撮影する前記カメラと、
このカメラごとの映像を表示する表示装置と、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定する検索条件設定部と、
施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索する捜索対象検索部と、
この捜索対象検索部の検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示する捜索対象候補提示部と、
捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定する捜索対象設定部と、
前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示する最新位置提示部と、
を備えたことを特徴とする施設内人物捜索支援システム。
An in-house person search support system that supports searching for a person who is separated from a companion in a facility based on images taken by a plurality of cameras in the facility,
The camera for photographing the inside of the facility;
A display device for displaying video for each camera;
A plurality of information processing devices;
Have
Any of the plurality of information processing devices
A search condition setting unit for setting a search condition for specifying a search target person according to a user input operation;
A search target search unit for searching for a person who is highly likely to be a search target person among the persons staying in the facility based on the tracking information acquired by the tracking process for the video imaged in the facility and the search condition; ,
Based on the search result of the search target search unit, a predetermined number of videos of a person who is likely to be a search target are extracted, and a search target candidate presenting unit that presents those videos as search target candidate videos,
A search target setting unit that sets a person corresponding to the selected candidate video for the search target as a search target in response to a user operation for selecting the candidate video for the search target in which the search target person is captured,
Based on the tracking information, obtain the latest tracking position of the person set as the search target, and present the latest tracking position as the latest location of the search target person,
In-facility person search support system characterized by comprising
施設内を複数のカメラにより撮影した映像に基づき、施設内で同伴者とはぐれた人物の捜索を支援する処理を情報処理装置に行わせる施設内人物捜索支援方法であって、
ユーザの入力操作に応じて、捜索対象者を特定するための検索条件を設定するステップと、
施設内を撮影した映像に対する追尾処理により取得した追尾情報、および前記検索条件に基づき、施設内に滞在する人物の中から、捜索対象者である可能性が高い人物を検索するステップと、
このステップでの検索結果に基づき、捜索対象者である可能性が高い人物の映像を、所定数抽出して、それらの映像を捜索対象の候補映像として提示するステップと、
捜索対象者が写る前記捜索対象の候補映像を選択するユーザの操作に応じて、その選択された前記捜索対象の候補映像に対応する人物を捜索対象に設定するステップと、
前記追尾情報に基づき、前記捜索対象に設定された人物の最新の追尾位置を取得して、その最新の追尾位置を、捜索対象者の最新の居場所として提示するステップと、
を備えたことを特徴とする施設内人物捜索支援方法。
An in-facility person search support method for causing an information processing device to perform processing for supporting a search for a person who is separated from a companion in a facility based on images taken by a plurality of cameras in the facility,
Setting a search condition for specifying a search target person in accordance with a user input operation;
Based on the tracking information acquired by the tracking process for the video imaged in the facility and the search condition, searching for a person who is highly likely to be a search target person from the persons staying in the facility;
Based on the search result in this step, extracting a predetermined number of videos of persons who are likely to be search subjects, and presenting those videos as search target candidate videos; and
In response to a user's operation to select the search target candidate video in which the search target person is captured, setting a person corresponding to the selected search target candidate video as a search target;
Obtaining the latest tracking position of the person set as the search target based on the tracking information, and presenting the latest tracking position as the latest location of the search target person;
An in-facility person search support method characterized by comprising:
JP2015082310A 2015-04-14 2015-04-14 In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method Active JP6593742B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015082310A JP6593742B2 (en) 2015-04-14 2015-04-14 In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015082310A JP6593742B2 (en) 2015-04-14 2015-04-14 In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method

Publications (2)

Publication Number Publication Date
JP2016201758A JP2016201758A (en) 2016-12-01
JP6593742B2 true JP6593742B2 (en) 2019-10-23

Family

ID=57424654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015082310A Active JP6593742B2 (en) 2015-04-14 2015-04-14 In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method

Country Status (1)

Country Link
JP (1) JP6593742B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930126B2 (en) * 2017-02-13 2021-09-01 日本電気株式会社 Person detection system
JP6826460B2 (en) * 2017-02-27 2021-02-03 株式会社高山商事 Search support system and search support program
JP6961363B2 (en) * 2017-03-06 2021-11-05 キヤノン株式会社 Information processing system, information processing method and program
JP6373437B1 (en) * 2017-03-29 2018-08-15 パナソニック株式会社 COMMUNICATION DEVICE, COMMUNICATION SYSTEM, AND CONTENT COLLECTION METHOD
JP6806626B2 (en) * 2017-05-18 2021-01-06 パナソニック株式会社 Person group tracking device and person group tracking method
EP3418944B1 (en) * 2017-05-23 2024-03-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
JP2018201176A (en) * 2017-05-29 2018-12-20 富士通株式会社 Alert output control program, alert output control method, and alert output control apparatus
CN107682663A (en) * 2017-09-04 2018-02-09 佛山佳牧乐科技有限公司 A kind of distribution network monitoring system
JP7192283B2 (en) * 2018-07-23 2022-12-20 富士フイルムビジネスイノベーション株式会社 Payment system and program
CN111126102A (en) * 2018-10-30 2020-05-08 富士通株式会社 Personnel searching method and device and image processing equipment
JP7215961B2 (en) * 2019-05-24 2023-01-31 日立Astemo株式会社 Onboard devices and search systems
WO2021130811A1 (en) * 2019-12-23 2021-07-01 三菱電機ビルテクノサービス株式会社 Lost child image search system
WO2021245747A1 (en) * 2020-06-01 2021-12-09 日本電気株式会社 Tracking device, tracking method, and recording medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151820A (en) * 2002-10-29 2004-05-27 Hitachi Eng Co Ltd Lost child searching and monitoring system
JP4478510B2 (en) * 2004-06-03 2010-06-09 キヤノン株式会社 Camera system, camera, and camera control method
RU2546327C1 (en) * 2011-03-28 2015-04-10 Нек Корпорейшн Human tracking device, human tracking method and non-temporary computer-readable medium storing human tracking programme
WO2014045670A1 (en) * 2012-09-19 2014-03-27 日本電気株式会社 Image processing system, image processing method, and program
JP5438861B1 (en) * 2013-07-11 2014-03-12 パナソニック株式会社 Tracking support device, tracking support system, and tracking support method

Also Published As

Publication number Publication date
JP2016201758A (en) 2016-12-01

Similar Documents

Publication Publication Date Title
JP6593742B2 (en) In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method
JP5438861B1 (en) Tracking support device, tracking support system, and tracking support method
JP5506990B1 (en) Tracking support device, tracking support system, and tracking support method
JP6399356B2 (en) Tracking support device, tracking support system, and tracking support method
WO2016132705A1 (en) Tracking assistance device, tracking assistance system, and tracking assistance method
JP5227911B2 (en) Surveillance video retrieval device and surveillance system
JP7282851B2 (en) Apparatus, method and program
JP6206857B1 (en) Tracking support device, tracking support system, and tracking support method
JP5506989B1 (en) Tracking support device, tracking support system, and tracking support method
JP6284086B2 (en) Tracking support device, tracking support system, and tracking support method
TWI586160B (en) Real time object scanning using a mobile phone and cloud-based visual search engine
JP6289762B1 (en) Video processing apparatus, video processing method, video processing program, and video monitoring system
US10999556B2 (en) System and method of video capture and search optimization
JP2017220085A (en) Image retrieval device, image retrieval system and image retrieval method
JP6910208B2 (en) Information processing equipment, information processing methods and programs
JP2016015579A (en) Information processing apparatus,information processing method and program
JP6396682B2 (en) Surveillance camera system
JP6004148B1 (en) Image processing apparatus, image processing method, and image processing program
JP6618349B2 (en) Video search system
JP2006301995A (en) Person search device and person search method
JP4773998B2 (en) Surveillance camera system, moving image search device, face image database update device, and operation control method thereof
JP2018195992A (en) Person group tracking device and person group tracking method
JP6807247B2 (en) Monitoring system and monitoring method
JP2023148253A (en) Image processing apparatus and program
JP2021068102A (en) Information processing system, control method of information processing system, information processing apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190913

R151 Written notification of patent or utility model registration

Ref document number: 6593742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151