JP7235612B2 - Person search system and person search method - Google Patents
Person search system and person search method Download PDFInfo
- Publication number
- JP7235612B2 JP7235612B2 JP2019129406A JP2019129406A JP7235612B2 JP 7235612 B2 JP7235612 B2 JP 7235612B2 JP 2019129406 A JP2019129406 A JP 2019129406A JP 2019129406 A JP2019129406 A JP 2019129406A JP 7235612 B2 JP7235612 B2 JP 7235612B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- search
- image
- cameras
- client terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
本開示は、カメラにより撮影された映像を用いて、カメラの視野に映る人物を検索する人物検索システムおよび人物検索方法に関する。 The present disclosure relates to a person search system and a person search method for searching for a person in the field of view of a camera using video captured by the camera.
特許文献1には、監視領域において所定の事象が検知された場合に、レコーダに記録した撮像画像から被疑者が撮像された撮像画像を抽出し、被疑者の行動に基づく遷移撮像画像を表示するとともに、撮像画像の撮像位置を示す地図情報を表示する警備システムが開示されている。警備システムは、遷移撮像画像について位置表示対象の撮像画像の選択入力を受けた場合に、該当する撮像画像の撮像地点の位置情報を、地図情報上に表示する。これにより、監視領域における人物等の監視対象の行動に関する追跡情報を視覚的に得られる。
In
しかし、特許文献1では、多くの人が行き交う地点(例えば交差点)において発生した事件または事故(以下「事件等」)を引き起こした人物(つまり犯人)に視覚的に類似する人物を撮像したカメラの撮像画像を特定し、この特定された撮像画像を手掛かりに類似する撮像画像を他のカメラの撮像映像から検索することは考慮されていない。
However, in
事件等が発生した場合、犯人の視覚的な特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、交差点に設置されたカメラにより撮影された映像や目撃情報等の手掛かりを収集し、警察官がこれらの映像や目撃情報等を頼りに、犯人に該当しそうな人物の特徴や逃走方向を把握していた。このため、警察官は犯人の特徴や逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。 When an incident or the like occurs, it is important for the initial investigation by the police to grasp the visual characteristics of the criminal and his whereabouts at an early stage. However, in the conventional technology so far, clues such as images taken by cameras installed at intersections and eyewitness information are collected, and police officers rely on these images and eyewitness information to identify people who are likely to be criminals. I knew the characteristics of the escape and the direction of escape. For this reason, it takes time for the police to grasp the characteristics of the criminal and the direction of escape, and there is a possibility that the initial investigation may be delayed and it is not efficient.
本開示は、上述した従来の事情に鑑みて案出され、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴等の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法を提供することを目的とする。 The present disclosure has been devised in view of the conventional circumstances described above. It is an object of the present invention to provide a person search system and a person search method that efficiently support early recognition of visual characteristics, etc., and accurately improve the convenience of police investigations.
本開示は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を含み、前記サーバは、前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、前記クライアント端末は、前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを画面に表示し、前記k台のカメラの撮像映像のうちいずれかに映る捜索対象人物の選択に応じて、前記捜索対象人物が映る撮像映像を撮像したカメラ以外の(k-1)台のカメラにより撮像された撮像映像における前記捜索対象人物の検索要求を前記サーバに送り、前記サーバは、前記検索要求に応じて、前記解析結果を用いて前記(k-1)台のカメラの撮像映像における前記選択された捜索対象人物の特徴情報との類似度が閾値以上となる人物および前記類似度が前記閾値以上となる人物の前記(k-1)台のカメラの配置された交差点における移動方向を抽出して前記クライアント端末に送り、前記クライアント端末は、前記類似度が前記閾値以上となる人物が映る切り出し画像を、前記類似度が前記閾値以上となる人物ごとに前記画面に表示するとともに、前記(k-1)台のカメラの配置された交差点における前記類似度が前記閾値以上となる人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して前記画面に表示し、前記類似度が前記閾値以上となる人物が複数人である場合に、不要な一部の人物のそれぞれが映る前記切り出し画像を指定するユーザ操作に応じて、当該指定された前記切り出し画像に映る前記一部の人物の前記(k-1)台のカメラの配置された交差点における移動方向を前記画面の表示から削除することにより前記地図データに重畳した移動方向の表示を更新する、人物検索システムを提供する。 The present disclosure includes a server communicably connected to each of n (n: an integer equal to or greater than 3) cameras, and a client terminal communicably connected to the server, wherein the server is configured to perform the n When different captured images sent from each of the cameras are received, the position information and characteristic information of the person appearing in each of the captured images are analyzed and accumulated as analysis results, and the client terminal receives the n cameras. Each of k (an integer of 2 or more that satisfies k ≤ n) cameras selected by user operation is displayed on the screen, and the image captured by one of the k cameras is displayed. In accordance with the selection of the person to be searched, a search request for the person to be searched for in the imaged images captured by (k−1) cameras other than the camera that captured the imaged image of the person to be searched is sent to the server. , the server, in response to the search request, uses the analysis result to determine that the degree of similarity between the feature information of the selected search target person in the images captured by the (k−1) cameras is equal to or greater than a threshold. The moving directions of a person and a person whose similarity is equal to or greater than the threshold are extracted at an intersection where the (k−1) cameras are arranged, and sent to the client terminal. A clipped image showing a person whose similarity is equal to or greater than a threshold is displayed on the screen for each person whose similarity is equal to or greater than the threshold, and the similarity at an intersection where the (k−1) cameras are arranged is displayed. A case in which the moving directions of persons whose degrees of movement are equal to or greater than the threshold are superimposed on the map data indicating the intersections where the k cameras are installed and displayed on the screen , and there are a plurality of persons whose degrees of similarity are equal to or greater than the threshold. (2) placement of the (k−1) cameras of the partial person appearing in the specified cutout image in response to a user operation of designating the cutout image in which each of the unnecessary partial persons is captured; To provide a person search system that updates the display of the moving direction superimposed on the map data by deleting the moving direction at the crossing that has been detected from the display of the screen .
また、本開示は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を用いた人物検索方法であって、前記サーバは、前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、前記クライアント端末は、前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを画面に表示し、前記k台のカメラの撮像映像のうちいずれかに映る捜索対象人物の選択に応じて、前記捜索対象人物が映る撮像映像を撮像したカメラ以外の(k-1)台のカメラにより撮像された撮像映像における前記捜索対象人物の検索要求を前記サーバに送り、前記サーバは、前記検索要求に応じて、前記解析結果を用いて前記(k-1)台のカメラの撮像映像における前記選択された捜索対象人物の特徴情報との類似度が閾値以上となる人物および前記類似度が前記閾値以上となる人物の前記(k-1)台のカメラの配置された交差点における移動方向を抽出して前記クライアント端末に送り、前記クライアント端末は、前記類似度が前記閾値以上となる人物が映る切り出し画像を、前記類似度が前記閾値以上となる人物ごとに前記画面に表示するとともに、前記(k-1)台のカメラの配置された交差点における前記類似度が前記閾値以上となる人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して前記画面に表示し、前記類似度が前記閾値以上となる人物が複数人である場合に、不要な一部の人物のそれぞれが映る前記切り出し画像を指定するユーザ操作に応じて、当該指定された前記切り出し画像に映る前記一部の人物の前記(k-1)台のカメラの配置された交差点における移動方向を前記画面の表示から削除することにより前記地図データに重畳した移動方向の表示を更新する、人物検索方法を提供する。 Further, the present disclosure is a person search method using a server communicably connected to each of n (n: an integer equal to or greater than 3) cameras, and a client terminal communicably connected to the server. When the server receives different captured images sent from each of the n cameras, the server analyzes the position information and characteristic information of the person appearing in each of the captured images and accumulates them as analysis results. The client terminal displays, on the screen, images captured by k (k: an integer equal to or greater than 2 that satisfies k≦n) cameras selected by a user operation from among the n cameras, and the k cameras. According to the selection of the person to be searched appearing in one of the imaged images, the search object in the imaged images captured by (k-1) cameras other than the camera that captured the imaged image in which the person to be searched is captured A person search request is sent to the server, and the server, in response to the search request, uses the analysis results to obtain characteristic information of the selected search target person in the images captured by the (k−1) cameras. Extract the movement direction at the intersection where the (k-1) cameras are arranged for a person whose similarity is equal to or higher than the threshold and the person whose similarity is equal to or higher than the threshold, send it to the client terminal, The client terminal displays, on the screen, clipped images showing persons whose similarity is equal to or higher than the threshold for each person whose similarity is equal to or higher than the threshold, and arranges the (k−1) cameras. the direction of movement of the person whose degree of similarity at the selected intersection is equal to or greater than the threshold is superimposed on the map data indicating the intersection where the k cameras are installed and displayed on the screen , and the degree of similarity is equal to or greater than the threshold When there are a plurality of persons , the ( k-1) A person search method is provided in which the display of the movement direction superimposed on the map data is updated by deleting the movement direction at the intersection where the cameras are arranged from the display of the screen .
本開示によれば、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出でき、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援できるので、警察捜査の利便性を的確に向上できる。 According to the present disclosure, when an incident or the like occurs in a place where many people come and go, it is possible to extract a photographed image of a person visually similar to the criminal with high accuracy, and to quickly grasp the visual characteristics of the criminal and the escape direction. can be efficiently supported, the convenience of police investigations can be improved accurately.
(実施の形態1の構成に至る経緯)
上述した特許文献1では、多くの人が行き交う場所(例えば交差点)において発生した事件等を引き起こした人物(つまり犯人)の服装等の外見に関する特徴情報を基にして複数のカメラの撮像映像を対象として検索し、その特徴情報を満たす人物の切り出し画像を視覚的に提示することは考慮されていない。
(Circumstances leading to the configuration of Embodiment 1)
In the above-mentioned
事件等が発生した場合、犯人の外見に関する特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、交差点に設置されたカメラにより撮影された映像や目撃情報等の手掛かりを収集し、警察官がこれらの映像や目撃情報等を頼りに、犯人に該当しそうな人物の外見的な特徴や逃走方向を把握していた。このため、警察官は犯人の外見的な特徴や逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。 When an incident or the like occurs, it is important for the initial investigation by the police to quickly grasp the characteristics of the criminal's appearance and his whereabouts. However, in the conventional technology so far, clues such as images taken by cameras installed at intersections and eyewitness information are collected, and police officers rely on these images and eyewitness information to identify people who are likely to be criminals. I knew the appearance characteristics and the direction of escape. For this reason, it takes time for the police to grasp the criminal's appearance characteristics and escape direction, and there is a problem that the initial investigation may be delayed and it is not efficient.
以下の実施の形態1では、多くの人が行き交う地点で事件等が発生した場合、犯人の服装等の外見に関する特徴情報を基にして複数のカメラの撮像映像から視覚的に類似する人物の撮像画像を抽出し、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法の例を説明する。 In the first embodiment described below, when an incident or the like occurs in a place where many people come and go, images of visually similar persons are captured from images captured by a plurality of cameras based on characteristic information regarding the criminal's appearance such as clothing. An example of a person search system and a person search method that extract images, efficiently support the early grasp of the criminal's visual characteristics and escape direction, and accurately improve the convenience of police investigations will be described.
(実施の形態1)
以下、添付図面を適宜参照しながら、本開示に係る人物検索システムおよび人物検索方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(Embodiment 1)
Hereinafter, embodiments specifically disclosing a person search system and a person search method according to the present disclosure will be described in detail with reference to the accompanying drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of well-known matters and redundant descriptions of substantially the same configurations may be omitted. This is to avoid unnecessary verbosity in the following description and to facilitate understanding by those skilled in the art. It should be noted that the accompanying drawings and the following description are provided for a thorough understanding of the present disclosure by those skilled in the art and are not intended to limit the claimed subject matter.
以下、多くの人が行き交う地点(例えば交差点あるいはその近辺)において事件等(例えば、事件または事故)を引き起こした犯人等の人物の捜索を行う警察捜査を人物検索システムによって支援する例を説明する。 An example of supporting a police investigation by a person search system to search for a person such as a criminal who caused an incident (for example, an incident or an accident) at a place where many people come and go (for example, an intersection or its vicinity) will be described below.
図1は、人物検索システム100のシステム構成例を示すブロック図である。人物検索システム100は、n(n:3以上の整数)のカメラ10,10a,…と、人物検索サーバ50と、映像レコーダ70と、クライアント端末90とを含む構成である。カメラ10,10a,…のそれぞれは、図1に示すように、屋外(例えば、多くの人が行き交う交差点等の地点)に設置される。但し、カメラ10,10a,…のそれぞれは、屋外に設置されることに限定されない。人物検索サーバ50と映像レコーダ70とクライアント端末90とは、例えば警察署内の所定の部屋に設置される。但し、人物検索サーバ50と映像レコーダ70とクライアント端末90とは、警察署内に設置されることに限定されない。なお、以下の説明において、映像レコーダ70は、警察署内でのオンプレミスによる管理でなく、人物検索サーバ50とインターネット等の通信回線を介して接続されるオンラインストレージとして設けられてもよい。
FIG. 1 is a block diagram showing a system configuration example of a
人物検索システム100では、1つの交差点に対し、1台のカメラ(例えば、カメラ10)が設置される。なお、1つの交差点に対し、複数台のカメラ(例えば、カメラ10、あるいはカメラ10とは内部構成が異なる既設のカメラ)が設置されてもよい。従って、ある交差点においてはカメラ10が設置され、別の交差点においてはカメラ10aが設置される。なお、カメラ10,10a,…のそれぞれの内部構成は同一とする。カメラ10,10a,…は、イントラネットあるいはインターネットの通信回線等のネットワークNW1を介して、人物検索サーバ50および映像レコーダ70のそれぞれとの間で通信可能に接続される。ネットワークNW1は、有線通信回線(例えば、光ファイバを用いた光通信網)により構成されるが、無線通信網により構成されてもよい。
In
それぞれのカメラ10,10a,…は、交差点に設置された際に設定された画角で被写体(例えば、交差点の状況を示す映像)を撮像可能な監視カメラであり、人物検索サーバ50および映像レコーダ70のそれぞれに撮像映像のデータを繰り返して送る。撮像映像のデータには、撮像映像のデータに限らず、その撮像映像を撮像したカメラの識別情報(言い換えると、対応するカメラが設置された交差点の位置情報)と、撮像日時の情報とが含まれる。
Each of the
人物検索サーバ50(サーバの一態様)は、例えば警察署内に設置され、その警察署の管轄地域内の全てあるいは一部の交差点に設置されたカメラ10,10a,…のそれぞれから送られた撮像映像のデータを受信し、プロセッサPRC1(図3参照)による各種の処理のためにメモリ52あるいは蓄積部56(図3参照)に一時的に保存する。
A person search server 50 (an aspect of a server) is installed, for example, in a police station, and is sent from each of the
保存された撮像映像のデータは、カメラ10,10a,…のそれぞれから送られて人物検索サーバ50において受信される度に、人物検索サーバ50によって、その撮像映像に映る人物の位置情報および特徴情報の解析がなされる。その解析結果は、事件等を引き起こした犯人の検索に用いられるように、人物検索サーバ50の蓄積部56に保存される。具体的には、人物検索サーバ50は、前述した解析結果として、撮像映像の内容に関するタグ情報(例えば、撮像映像中に映る人物の顔、性別、年齢、身長、体型、服装等の特徴情報)を取得し、このタグ情報を撮像映像のデータに関連付けて付与して蓄積部56に蓄積してよい。例えば事件等のイベントが発生した場合、クライアント端末90は、犯人の人物像(捜索対象人物の一態様)に関する視覚的な外見に関する特徴情報(図7参照)を入力するユーザ操作を受け付けると、その特徴情報を満たす犯人の人物像の検索要求を生成して人物検索サーバ50に送る。人物検索サーバ50は、この検索要求に応じて、前述したそれぞれのカメラの撮像映像の解析結果を用いて、検索要求に含まれる特徴情報を満たす人物を検索する。
Each time the data of the captured images that have been stored are sent from each of the
人物検索サーバ50は、一部の撮像映像(例えば、警察署内の管理者が使用する端末(図示略)の操作により選択された撮像映像(例えば、重要事件あるいは重大事件の撮像映像))を映像レコーダ70に送って蓄積させてもよい。
The
クライアント端末90は、例えば警察署内に設置され、その警察署内の職員(つまり、警察署内のユーザである警察官)により使用され、例えばラップトップ型またはノート型のPC(Personal Computer)である。ユーザは、例えば事件等が発生した場合、その事件等の発生を警察署に通報した通報者からの電話により、その事件等に関する様々な情報を目撃情報として、クライアント端末90を操作することでデータ入力して記録する。なお、クライアント端末90は、上述した型のPCに限定されず、例えばスマートフォン、タブレット端末、PDA(Personal Digital Assistant)等の通信機能を有するコンピュータであってもよい。クライアント端末90は、上述した目撃情報に合致する捜索対象人物(つまり、事件等を引き起こした犯人)の検索を人物検索サーバ50に実行させるための検索要求を人物検索サーバ50に送り、その検索結果を受信してディスプレイ94に表示する。
The
映像レコーダ70は、例えば警察署内に設置され、その警察署の管轄地域内の全てあるいは一部の交差点に設置されたカメラ10,10a,…のそれぞれから送られた撮像映像のデータを受信し、バックアップ等のために保存する。映像レコーダ70は、ユーザ操作に応じたクライアント端末90からの要求により、保存されているカメラの撮像映像のデータをクライアント端末90に送ってよい。なお、人物検索サーバ50、映像レコーダ70およびクライアント端末90は、警察署内のイントラネットあるいはインターネット等のネットワークNW2を介して相互に通信可能に接続される。
The
なお図1では、警察署内に設置される人物検索サーバ50、映像レコーダ70およびクライアント端末90はそれぞれ1台だけ示されているが、それぞれ複数台が設けられてよい。また、人物検索システム100において、警察署も複数の警察署が含まれてよい。また、図1に示す人物検索システム100において、人物検索サーバ50およびクライアント端末90のそれぞれの構成は、同一のコンピュータ装置(例えば、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ)により構成されてもよい。つまり、人物検索サーバ50およびクライアント端末90の代わりに、人物検索サーバ50およびクライアント端末90のそれぞれの機能を有するコンピュータ装置が設けられてもよい。
Although FIG. 1 shows only one
図2は、カメラ10,10a,…の内部構成例を示すブロック図である。前述したように、カメラ10,10a,…のそれぞれは同一の構成を有し、以下、カメラ10を例示して説明する。図2に示すように、カメラ10は、撮影部11と、プロセッサ12と、メモリ13と、通信部14と、記録部15とを含む構成である。また、カメラ10は、複数の撮影部を有してもよく、例えば2方向に画角を有するマルチセンサカメラとしてもよい。これは、第1の撮影部(例えば撮影部11)が交差点全体を撮影可能に広域に撮像し、第2の撮影部が第1の撮影部の画角の死角となる範囲(例えば、カメラ10の設置個所から鉛直方向下側の歩行者が歩く領域)を捉えるように撮像するためである。なお、複数の撮影部が設けられる場合でも、それぞれの撮影部の内部構成は同一とするので、撮影部11を例示して説明する。
FIG. 2 is a block diagram showing an internal configuration example of the
撮影部11は、集光用のレンズと、CCD(Charge Coupled Device)型イメージセンサもしくはCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の固体撮像素子とを有する構成である。撮影部11は、カメラ10の電源がオンである間、固体撮像素子による撮像に基づいて得られた被写体の撮像映像のデータを常時プロセッサ12に出力する。また、撮影部11は、それぞれ撮像時のズーム倍率を変更させる機構を備えてもよい。
The photographing
プロセッサ12は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)もしくはFPGA(Field-Programmable Gate Array)を用いて構成される。プロセッサ12は、カメラ10の制御部として機能し、カメラ10の各部の動作を全体的に統括するための制御処理、カメラ10の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ12は、メモリ13に記憶されたプログラムおよびデータに従って動作する。プロセッサ12は、動作時にメモリ13を使用し、現在の時刻情報を取得したり、撮影部11により撮像された撮像映像のデータに対して各種の公知の画像処理を施した上で記録部15に記録したりする。なお、図2には図示を省略しているが、カメラ10がGPS(Global Positioning System)受信部を有する場合、GPS受信部から現在の位置情報を取得し、撮像映像のデータに位置情報を更に対応付けて記録してよい。
The
ここでGPS受信部について簡単に説明する。GPS受信部は、複数のGPS発信機(例えば4個の航法衛星)から送信される、各自の信号送信時刻および位置座標を含む衛星信号を受信する。GPS受信部は、複数の衛星信号を用いて、現在のカメラの位置座標および衛星信号の受信時刻を算出する。なお、この算出は、GPS受信部ではなく、GPS受信部からの出力が入力されたプロセッサ12により実行されてよい。なお、受信時刻の情報は、カメラのシステム時刻の補正のためにも使用されてよい。システム時刻は、例えば撮像映像を構成する撮像画像の撮像時刻の記録等に利用される。
Here, the GPS receiver will be briefly described. The GPS receiver receives satellite signals transmitted from a plurality of GPS transmitters (eg, four navigation satellites), including their respective signal transmission times and position coordinates. The GPS receiver uses a plurality of satellite signals to calculate the current position coordinates of the camera and the reception time of the satellite signals. Note that this calculation may be performed not by the GPS receiver but by the
また、プロセッサ12は、通信部14により受信された外部からの制御コマンドに従って、撮影部11による撮影条件(例えば、ズーム倍率)を可変的に制御してもよい。例えば、外部からの制御コマンドがズーム倍率の変更を指示する場合、プロセッサ12は、その制御コマンドに従って、その制御コマンドで選択される撮影部の撮影時におけるズーム倍率を変更する。
Further, the
また、プロセッサ12は、記録部15に記録された撮像映像のデータを、通信部14を介して人物検索サーバ50および映像レコーダ70のそれぞれに繰り返して送る。ここで、繰り返して送るとは、定められた一定周期の時間経過の度に送信することに限定されず、一定周期ではなく定められた不規則な時間間隔の経過の度に送信することも含まれてよく、複数回にわたって送信することを含む。
In addition, the
メモリ13は、例えばRAM(Random Access Memory)とROM(Read Only Memory)を用いて構成され、カメラ10の動作の実行に必要なプログラムおよびデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサ12の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ12を制御するためのプログラムおよびデータを予め記憶する。また、メモリ13は、例えばカメラ10を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
The
通信部14は、プロセッサ12の指示に基づいて、上述したネットワークNW1を介して、記録部15に記録された撮像映像のデータを人物検索サーバ50および映像レコーダ70にそれぞれ送る。また、通信部14は、外部(例えば、人物検索サーバ50)から送られたカメラ10の制御コマンドを受信したり、カメラ10の状態情報を外部(例えば、人物検索サーバ50)に送信したりする。
Based on an instruction from the
記録部15は、カメラ10に内蔵される半導体メモリ(例えばフラッシュメモリ)、またはカメラ10に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部15は、プロセッサ12により生成された撮像映像のデータを前述したカメラ10の識別情報および撮像日時の情報と対応付けて記録する。記録部15は、所定時間(例えば30秒)分の撮像映像のデータを常時プリバッファリングして保持し、現在時刻より所定時間(例えば30秒)前までの撮像映像のデータを上書きしながら蓄積し続ける。なお、記録部15がメモリカードで構成される場合、カメラ10の筐体に挿抜自在に装着される。
The
図3は、人物検索サーバ50およびクライアント端末90のそれぞれの内部構成例を示すブロック図である。人物検索サーバ50とクライアント端末90と映像レコーダ70とは、ともに警察署内に設けられた有線LAN(Local Area Network)等のイントラネットを用いて接続されるが、無線LAN等の無線ネットワークを介して接続されてもよい。
FIG. 3 is a block diagram showing an internal configuration example of each of the
人物検索サーバ50は、通信部51と、メモリ52と、人物検索部53と、人物解析部54と、タグ付与部55と、蓄積部56とを含む構成である。人物検索部53と、人物解析部54と、タグ付与部55とは、例えばCPU、DSP、FPGA等のプロセッサPRC1により構成される。
The
通信部51は、イントラネット等のネットワークNW1を介して接続されたカメラ10,10a,…との間で通信を行い、カメラ10,10a,…からそれぞれ送られた撮像映像(つまり、交差点を行き交う人々の状況を示す映像)のデータを受信する。また、通信部51は、警察署内に設けられたイントラネット等のネットワークNW2を介して、クライアント端末90との間で通信を行い、クライアント端末90から送られた捜索対象人物の検索要求を受信したり、その検索要求の応答を送信したりする。また、通信部51は、メモリ52あるいは蓄積部56にて保持されている撮像映像のデータを映像レコーダ70に送る。
The
メモリ52は、例えばRAMとROMを用いて構成され、人物検索サーバ50の動作の実行に必要なプログラムやデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサPRC1の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC1を制御するためのプログラムおよびデータを予め記憶する。また、メモリ52は、例えば人物検索サーバ50を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
The
人物検索部53は、クライアント端末90から送られた捜索対象人物の検索要求に基づいて、蓄積部56に記録されているデータの中から、検索要求に含まれる特徴情報(検索条件の一態様)を満たす人物が映る撮像画像を検索する。人物検索部53は、検索結果を抽出し、その抽出された検索結果のデータを、通信部51を介してクライアント端末90に送る。
Based on the search request for the search target person sent from the
人物解析部54は、例えばそれぞれのカメラ10,10a,…からの撮像映像のデータが蓄積部56に保存される度に、その保存されている撮像映像のデータを解析する。人物解析部54は、その撮像映像に映る人物(言い換えると、カメラが設置された交差点あるいはその付近に存在する人々)に関する情報を解析して取得する。人物解析部54は、人物の顔が映る切り出し画像を人物に関する情報の一例として生成し、更に、例えば性別、年齢、身長、体型、服装等の特徴情報と、人物の居場所を示す位置情報と、人物の交差点通過時の移動方向(具体的には、交差点への流入方向と、その交差点からの流出方向)とを人物に関する情報として取得してタグ付与部55に送る。人物解析部54は、例えば複数枚の撮像画像のフレームの時間的な差分に基づいて、人物の交差点通過時の走行方向を判別可能である。移動方向は、例えば人物が交差点に設けられた横断歩道をどの方向に移動して通過したかを示す。
For example, the person analysis unit 54 analyzes the stored captured image data each time the captured image data from each of the
タグ付与部55は、人物解析部54により得られた人物に関する情報と人物解析部54が解析に用いた撮像映像の撮像日時および地点(つまり、交差点の位置)とを対応付け(タグ付けの一態様)して蓄積部56の解析情報DB(Database)56aに記録する。これにより、人物検索サーバ50は、どの交差点のいつの時点で撮像された撮像映像にどのような人物情報が付与されたのかを明確に判別可能となる。なお、タグ付与部55の処理は、人物解析部54により実行されてもよく、この場合にはタグ付与部55の構成を不要にできる。
The tagging
蓄積部56は、例えばハードディスク(HDD:Hard Disk Drive)またはソリッドステートドライブ(SSD:Solid State Drive)を用いて構成される。蓄積部56は、カメラ10,10a,…から送られた撮像映像のデータを、その撮像映像を撮像したカメラの識別情報(言い換えると、対応するカメラが設置された交差点の位置情報)および撮像日時の情報と対応付けて記録する。また、蓄積部56は、それぞれのカメラ10,10a,…が設置された交差点の位置を示す道路地図の情報も記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図の情報を記録する。また、蓄積部56は、それぞれの交差点に設置された1台のカメラとその交差点との対応関係を示す交差点カメラ設置データを記録している。交差点カメラ設置データは、例えば交差点の識別情報とカメラの識別情報とが対応付けられている。従って、蓄積部56は、カメラの撮像映像のデータを、撮像日時の情報、カメラ情報および交差点情報と対応付けて記録している。なお、道路地図の情報は、クライアント端末90のメモリ95において記録される。
The
また、蓄積部56は、解析情報DB56aおよび事案DB56bを有する。
The
解析情報DB56aは、タグ付与部55の出力(つまり、人物解析部54によりカメラの撮像映像が解析された結果として得られる人物情報と、解析に使用された撮像映像の日時および地点の情報とのセット)を格納する。解析情報DB56aは、例えば人物検索部53が捜索対象人物の検索要求に含まれる特徴情報を満たす人物情報の抽出の際に参照される。
The
事案DB56bは、事件等の事案ごとに、事案が発生した日時、地点等の目撃情報ならびにその目撃情報およびクライアント端末90からの捜索対象人物の検索要求に基づいて人物検索部53が検索した結果のデータ等の事案詳細情報(例えば、地図データMP1と検索条件と検索結果である切り出し画像のデータ)を登録して格納する。事案詳細情報は、例えば、事案が発生した日時および地点等の事案情報、検索された人物のサムネイル画像(前述した切り出し画像)、事案が発生した地点を含む周辺地図情報、人物の交差点の流入出方向、人物の交差点通過時刻、ユーザのメモを含む。なお、事案詳細情報は、上述した内容に限定されない。
The
クライアント端末90は、操作部91と、プロセッサ92と、通信部93と、ディスプレイ94と、メモリ95と、記録部96とを含む構成である。クライアント端末90は、警察署内の職員(即ち、ユーザである警察官)により使用される。ユーザは、事件等の目撃者等によってその事件等の発生を通報するための電話があった場合、ヘッドセットHDSを装着して電話に応対する。ヘッドセットHDSは、クライアント端末90に接続されて使用され、ユーザの発する音声を収音したり、話し相手(即ち、通報者)の発した音声を出力したりする。
The
操作部91は、ユーザの操作を検出するユーザインターフェース(UI:User Interface)であり、マウスあるいはキーボード等を用いて構成される。操作部91は、ユーザの操作に基づく信号をプロセッサ92に出力する。操作部91は、例えば、ユーザが調べる事件等の事案の発生日時および地点の交差点の撮像映像を確認したい場合、その日時および地点、人物の特徴を含む検索条件の入力を受け付ける。
The
プロセッサ92は、例えばCPU、DSPまたはFPGAを用いて構成され、クライアント端末90の制御部として機能し、クライアント端末90の各部の動作を全体的に統括するための制御処理、クライアント端末90の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ92は、メモリ95に記憶されたプログラムおよびデータに従って動作する。プロセッサ92は、動作時にメモリ95を使用し、現在の時刻情報を取得したり、人物検索サーバ50から送られた捜索対象人物の検索結果、あるいは映像レコーダ70から送られた撮像映像をディスプレイ94に表示したりする。また、プロセッサ92は、操作部91により入力された検索条件を含む捜索対象人物の検索要求を生成し、その検索要求を、通信部93を介して人物検索サーバ50に送信する。
The
通信部93は、イントラネット等のネットワークNW2を介して接続された人物検索サーバ50あるいは映像レコーダ70との間で通信を行う。例えば、通信部93は、人物検索サーバ50に対してプロセッサ92が生成した検索要求を送信したり、人物検索サーバ50から送られた捜索対象人物の検索結果を受信したりする。また、通信部93は、映像レコーダ70に対してプロセッサ92が生成した撮像映像の取得要求を送信したり、その取得要求に対応する映像レコーダ70から送られた撮像映像を受信したりする。
The
ディスプレイ94は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等の表示デバイスを用いて構成され、プロセッサ92から送られた各種のデータを表示する。
The
メモリ95は、例えばRAMとROMを用いて構成され、クライアント端末90の動作の実行に必要なプログラムやデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサ92の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ92を制御するためのプログラムおよびデータを予め記憶する。また、メモリ95は、例えばクライアント端末90を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
The
記録部96は、例えばハードディスクドライブまたはソリッドステートドライブを用いて構成される。記録部96は、それぞれのカメラ10,10a,…が設置された交差点の位置を示す道路地図の情報も記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図の情報を記録する。また、記録部96は、それぞれの交差点に設置された1台のカメラとその交差点との対応関係を示す交差点カメラ設置データを記録している。交差点カメラ設置データは、例えば交差点の識別情報とカメラの識別情報とが対応付けられている。従って、記録部96は、カメラの撮像映像のデータを、撮像日時の情報、カメラ情報および交差点情報と対応付けて記録している。
The
図4は、映像レコーダ70の内部構成例を示すブロック図である。映像レコーダ70は、イントラネット等のネットワークNW1を介してカメラ10,10a,…のそれぞれとの間で通信可能に接続され、また、イントラネット等のネットワークNW2を介して人物検索サーバ50およびクライアント端末90との間で通信可能に接続されている。
FIG. 4 is a block diagram showing an example of the internal configuration of the
映像レコーダ70は、通信部71と、メモリ72と、映像検索部73と、映像記録処理部74と、映像蓄積部75とを含む構成である。映像検索部73と、映像記録処理部74とは、例えばCPU、DSP、FPGAなどのプロセッサPRC2により構成される。
The
通信部71は、イントラネット等のネットワークNW1を介して接続されたカメラ10,10a,…のそれぞれとの間で通信を行い、カメラ10,10a,…のそれぞれから送られた撮像映像(つまり、交差点を行き交う人々の状況を示す映像)のデータを受信する。また、通信部71は、警察署内に設けられたイントラネット等のネットワークNW2を介して、クライアント端末90との間で通信を行い、クライアント端末90から送られた映像要求を受信したり、その映像要求の応答を送信したりする。
The
メモリ72は、例えばRAMとROMを用いて構成され、映像レコーダ70の動作の実行に必要なプログラムやデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサPRC2の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC2を制御するためのプログラムおよびデータを予め記憶する。また、メモリ72は、例えば映像レコーダ70を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
The
映像検索部73は、クライアント端末90から送られた映像要求に基づいて、その映像要求に合致するカメラの撮像映像を、映像蓄積部75を検索することで抽出する。映像検索部73は、抽出された撮像映像のデータを、通信部71を介してクライアント端末90に送る。
Based on the video request sent from the
映像記録処理部74は、例えばカメラ10,10a,…のそれぞれからの撮像映像のデータが通信部71において受信される度に、その受信された撮像映像のデータを映像蓄積部75に記録する。
The image
映像蓄積部75は、例えばハードディスクまたはソリッドステートドライブを用いて構成される。映像蓄積部75は、カメラ10,10a,…のそれぞれから送られた撮像映像のデータを、その撮像映像を撮像したカメラの識別情報(言い換えると、対応するカメラが設置された交差点の位置情報)および撮像日時の情報と対応付けて記録する。
The
次に、警察捜査の際に、クライアント端末90のディスプレイ94に表示される各種の画面例について、図5から図9を参照して説明する。図5~図9の説明において、図中に示される要素と同一の要素については同一の符号を参照して説明を簡略化あるいは省略する。
Next, examples of various screens displayed on the
警察捜査において、クライアント端末90は、警察官(ユーザの一態様)の操作により、予めインストールされている人物検索アプリケーション(以下「人物検索アプリ」)を起動して実行中である。なお、この人物検索アプリのプログラムおよびデータは、クライアント端末90のメモリ95のROM内に格納されている。人物検索アプリは、警察官の操作により、プロセッサ92により起動されて実行される。なお、人物検索アプリの起動中においてプロセッサ92により作成される各種のデータあるいは情報は、一時的にメモリ95のRAMに保持される。
In a police investigation, the
図5は、カメラが設置された交差点を含む地図データMP1を表示する人物検索画面WD1の一例を示す図である。プロセッサ92は、人物検索アプリの起動後に人物検索画面WD1(画面の一態様)をディスプレイ94に表示する。人物検索画面WD1は、クライアント端末90の記録部96に記録されている道路地図の情報に対応する地図データMP1と複数の検索条件の入力欄との両方が並べて表示される構成である。以下の説明において、プロセッサ92により実行される人物検索アプリは、その実行中に人物検索サーバ50あるいは映像レコーダ70との間で通信を行う。
FIG. 5 is a diagram showing an example of a person search screen WD1 displaying map data MP1 including an intersection where a camera is installed. The
地図データMP1上には、例えば「AA Street」と「CC Street」との交差点に配置された第1カメラの位置を示すアイコンITM1と、「BB Street」と「CC Street」との交差点に配置された第2カメラの位置を示すアイコンITM2と、「AA Street」と「DD Street」との交差点に配置された第3カメラの位置を示すアイコンITM3と、「BB Street」と「DD Street」との交差点に配置された第4カメラの位置を示すアイコンITM4とがそれぞれ判明可能に示される。従って、以下の説明においては、カメラの設置台数を示すパラメータn(n:3以上の整数)を「4」とする。 On the map data MP1, for example, an icon ITM1 indicating the position of the first camera arranged at the intersection of "AA Street" and "CC Street" and an icon ITM1 arranged at the intersection of "BB Street" and "CC Street" are arranged. An icon ITM2 indicating the position of the second camera located on the left side, an icon ITM3 indicating the position of the third camera placed at the intersection of "AA Street" and "DD Street", and an icon ITM3 indicating the position of the third camera placed at the intersection of "BB Street" and "DD Street". An icon ITM4 indicating the position of the fourth camera placed at the intersection is shown so as to be identifiable. Therefore, in the following description, the parameter n (n: an integer equal to or greater than 3) indicating the number of installed cameras is assumed to be "4".
なお、以下の説明において、便宜的に、「AA Street」と「CC Street」との交差点の地名を「Point 1」とし、「BB Street」と「CC Street」との交差点の地名を「Point 2」とし、「AA Street」と「DD Street」との交差点の地名を「Point 3」とし、「BB Street」と「DD Street」との交差点の地名を「Point 4」とする。また、前述した第1カメラ、第2カメラ、第3カメラおよび第4カメラは、図2に示すカメラ10,10a,…のそれぞれと同一の構成を有している。
In the following description, for convenience, the name of the intersection of "AA Street" and "CC Street" will be referred to as "
また、人物検索アプリは、ユーザ操作により、カメラ選択枠ASWK1を地図データMP1に表示する。カメラ選択枠ASWK1は、人物検索画面WD1に表示されるカメラの撮像映像(例えばライブ映像)の選択に用いられる。例えば図5では、ユーザ操作により、第1カメラおよび第2カメラがカメラ選択枠ASWK1により選択されている。人物検索アプリは、カメラ選択枠ASWK1による選択に連動して、ユーザ操作により選択されたカメラ(具体的には第1カメラおよび第2カメラ)の設置された地点(つまり、「Point 1」,「Point 2」)が人物検索画面WD1における撮像映像の表示対象であることを示す地点選択枠SEL0を人物検索画面WD1に表示する。なお、図5に示すカメラ選択枠ASWK1は矩形状であるが、この形状に限定されず、円、楕円、三角等のよく知られた各種の形状のうちいずれかであってよい。
Also, the person search application displays the camera selection frame ASWK1 on the map data MP1 by user operation. The camera selection frame ASWK1 is used to select a camera-captured image (for example, a live image) displayed on the person search screen WD1. For example, in FIG. 5, the first camera and the second camera are selected by the camera selection frame ASWK1 by user operation. In conjunction with the selection by the camera selection frame ASWK1, the person search application displays the installation points (that is, "
図6は、選択されたカメラの撮像映像(ライブ映像)を表示する人物検索画面WD1の一例を示す図である。図6に示すように、ユーザ操作により、地図データMP1においてk(k:k≦nを満たす2以上の整数)台のカメラ(具体的には、k=3であり、k=1に対応する第1カメラ、k=2に対応する第2カメラ、k=3に対応する第3カメラ)がカメラ選択枠ASWK1により選択済みである。人物検索アプリは、カメラ選択枠ASWK1により選択済みであることを示すために、アイコンITM1,ITM2,ITM3の表示態様を他のアイコンITM4と異なるように変更する。具体的には、人物検索アプリは、アイコンITM,ITM2,ITM3を特定色(例えば赤色)に塗り替えた選択済みアイコンSEL1,SEL2,SEL3に変更して表示する。これにより、人物検索アプリは、前述した地点選択枠SEL0が第1カメラ,第2カメラ,第3カメラのそれぞれ対応する「Point1」,「Point 2」,「Point 3」の3地点が人物検索画面WD1における撮像映像の表示対象であることを示す地点選択枠SEL0を人物検索画面WD1に表示する。
FIG. 6 is a diagram showing an example of the person search screen WD1 that displays the captured image (live image) of the selected camera. As shown in FIG. 6, the user operates k (k: an integer equal to or greater than 2 that satisfies k≦n) cameras (specifically, k=3, corresponding to k=1) in the map data MP1. the first camera, the second camera corresponding to k=2, and the third camera corresponding to k=3) have been selected by the camera selection frame ASWK1. The person search application changes the display mode of the icons ITM1, ITM2, and ITM3 to be different from the other icon ITM4 in order to indicate that they have been selected by the camera selection frame ASWK1. Specifically, the person search application changes the icons ITM, ITM2, and ITM3 to selected icons SEL1, SEL2, and SEL3, which are repainted in a specific color (for example, red), and displays them. As a result, the person search application displays the person search screen with three points "
人物検索アプリは、地点選択枠SEL0あるいは選択済みアイコンSEL1に対応する第1カメラ(つまり、「Point 1」の地点)の撮像映像MV1(ライブ映像)の表示画面を、撮像時刻および撮像地点名とともに人物検索画面WD1に表示する。同様に、人物検索アプリは、地点選択枠SEL0あるいは選択済みアイコンSEL2に対応する第2カメラ(つまり、「Point 2」の地点)の撮像映像MV2(ライブ映像)の表示画面を、撮像時刻および撮像地点名とともに人物検索画面WD1に表示する。同様に、人物検索アプリは、地点選択枠SEL0あるいは選択済みアイコンSEL3に対応する第3カメラ(つまり、「Point 3」の地点)の撮像映像MV3(ライブ映像)の表示画面を、撮像時刻および撮像地点名とともに人物検索画面WD1に表示する。人物検索アプリは、それぞれの撮像映像MV1,MV2,MV3に、ライブ映像であることを示すライブマーカMK1を表示する。
The person search application displays the display screen of the captured image MV1 (live image) of the first camera (that is, the point of "
なお、クライアント端末90は、人物検索サーバ50が第1カメラ、第2カメラ、第3カメラのうち少なくとも1つ(例えば第1カメラ)から撮像映像(ライブ映像)を受信できない場合等に、そのカメラ(例えば第1カメラ)が設置された「Point 1」において過去に撮像されて映像レコーダ70に保存された撮像映像のデータを、映像レコーダ70に要求してもよい。この場合、クライアント端末90は、クライアント端末90からの要求に応じて映像レコーダ70から送られた過去の「Point 1」における撮像映像のデータを受信して人物検索画面WD1に表示してもよい。また、クライアント端末90は、人物検索サーバ50が第1カメラ、第2カメラ、第3カメラのうち少なくとも1つ(例えば第1カメラ)から撮像映像(ライブ映像)を受信できない場合等に、クライアント端末90の外部入力端子(図示略)を介して入力された撮像映像のデータ、あるいは記録部96に既に保存されていた撮像映像のデータを取得し、その撮像映像のデータを人物検索画面WD1に表示してもよい。
If the
また、人物検索アプリは、警察捜査における捜索対象人物の検索を支援するための各種のボタンを人物検索画面WD1に表示する。例えば、検索の対象期間の開始日時を選択するための期間開始ボタンDB1と、検索の対象期間の終了日時を選択するための期間終了ボタンDE1と、が配置される。また、検索される捜索対象人物の外見的なイメージあるいは雰囲気を示す検索対象人物像表示枠PL1が配置される。 In addition, the person search application displays various buttons on the person search screen WD1 for assisting in searching for a person to be searched in a police investigation. For example, a period start button DB1 for selecting the start date and time of the search target period and a period end button DE1 for selecting the end date and time of the search target period are arranged. Also, a search target person image display frame PL1 is arranged to indicate the external image or atmosphere of the search target person to be searched.
また、人物検索アプリは、捜索対象人物の検索において、2種類の検索方法の検索要求を人物検索サーバ50に実行できる。第1の検索方法は、メタサーチであり、例えば図7に示す設定画面DTL1において設定されるメタ情報に基づいて、そのメタ情報における特徴点の類似度が同一あるいは所定値以内となる特徴点を有する捜索対象人物を検索する方法である。実施の形態1ではこのメタサーチについて説明する。人物検索アプリは、このメタサーチを人物検索サーバ50に要求するためのメタサーチボタンMS1を人物検索画面WD1に表示する。
In addition, the person search application can execute search requests of two types of search methods to the
第2の検索方法は、イメージサーチであり、例えば図11に示す切り出し画像Xpc1あるいは図12に示す人物枠WK1において選択されるイメージデータに基づいて、そのイメージデータにおける特徴点の類似度が同一あるいは所定値以内となる特徴点を有する捜索対象人物を検索する方法である。実施の形態2ではこのイメージサーチについて説明する。人物検索アプリは、このイメージサーチを人物検索サーバ50に要求するためのイメージサーチボタンIS1を人物検索画面WD1に表示する。
A second search method is an image search. For example, based on the image data selected in the clipped image Xpc1 shown in FIG. 11 or the person frame WK1 shown in FIG. This is a method of retrieving a search target person having feature points within a predetermined value. This image search will be described in the second embodiment. The person search application displays an image search button IS1 for requesting this image search to the
また、人物検索アプリは、人物検索画面WD1における捜索対象人物の検索結果のデータを事案レポートとして保存するためのレポートボタンRP1を人物検索画面WD1に表示する。ユーザ操作によりレポートボタンRP1が選択されると、人物検索アプリは、人物検索画面WD1における捜索対象人物の検索結果のデータ(例えば、地図データMP1と検索条件と検索結果である切り出し画像のデータ)を事案レポートとして記録部96に保存する。また、クライアント端末90は、事案レポートのデータを事案レポートの識別情報(例えばファイル名)と対応付けて人物検索サーバ50に送ってよい。人物検索サーバ50は、事案レポートの識別情報(例えばファイル名)に対応付けられる事案レポートのデータを事案DB56bに保存する。
The person search application also displays a report button RP1 on the person search screen WD1 for saving the data of the search result of the search target person on the person search screen WD1 as a case report. When the report button RP1 is selected by the user operation, the person search application retrieves the data of the search target person in the person search screen WD1 (for example, the map data MP1, the search conditions, and the data of the clipped image that is the search result). It is saved in the
また、人物検索アプリは、表示中の人物検索画面WD1を初期状態(言い換えると、捜索対象人物の検索開始前)の人物検索画面WD1に戻すためのリセットボタンRS1を人物検索画面WD1に表示する。これにより、ユーザは、例えば人物検索画面WD1における捜索対象人物の検索の際に間違った操作を行った場合等に、捜索対象人物の検索を最初から簡易にやり直すことができる。 The person search application also displays a reset button RS1 on the person search screen WD1 for returning the person search screen WD1 being displayed to the person search screen WD1 in the initial state (in other words, before starting the search for the search target person). As a result, the user can easily restart the search target person search from the beginning if, for example, an incorrect operation is performed when searching for the search target person on the person search screen WD1.
図7は、検索される捜索対象人物の特徴情報の設定画面DTL1の一例を示す図である。人物検索アプリは、ユーザ操作により、捜索対象人物を検索するための検索条件の3大要素として、主に日付(Time&Date)と、特徴(Characteristics)と、服装(Decoration)とをユーザに設定可能な設定画面DTL1を人物検索画面WD1に重畳して表示する。また、人物検索アプリは、ユーザ操作により特徴(Characteristics)および服装(Decoration)の設定により特定される検索対象人物像IPS1を設定画面DTL1に表示する。これにより、ユーザは、自ら設定した特徴(Characteristics)および服装(Decoration)の結果に相当する検索対象人物像IPS1を視覚的に確認でき、自らの設定の是非を簡易に判断できる。 FIG. 7 is a diagram showing an example of a setting screen DTL1 for characteristic information of a search target person to be searched. The person search application allows the user to set mainly three elements of search conditions for searching for a person to be searched for, namely time & date, characteristics, and decoration. The setting screen DTL1 is superimposed on the person search screen WD1 and displayed. In addition, the person search application displays, on the setting screen DTL1, a search target person image IPS1 specified by setting Characteristics and Decoration by user operation. Thereby, the user can visually confirm the search target person image IPS1 corresponding to the results of the Characteristics and the Decoration set by the user, and can easily judge whether the user's settings are right or wrong.
日付(Time&Date)には、捜索対象人物の検索期間の開始日時および終了日時をそれぞれ設定可能とするためのカレンダーアイコンが表示される。例えば、ユーザ操作により、日付(Time&Date)のカレンダーアイコンが選択されると、人物検索アプリは、カレンダーボックスCAL1を地図データMP1に重畳して表示する。これにより、ユーザ操作により、捜索対象人物の検索期間の開始日時および終了日時が選択可能となる。なお、カレンダーアイコンの選択に限らず、ユーザ操作により、捜索対象人物の検索期間の開始日時および終了日時が直接に入力されてもよい。例えば図7では、日付(Time&Date)として、「2018年8月24日の午後12時」から「2018年8月24日の午後1時」が選択されている。 In Date (Time & Date), a calendar icon is displayed to allow setting of the start date and time and the end date and time of the search period for the person to be searched. For example, when the user selects the date (Time & Date) calendar icon, the person search application displays the calendar box CAL1 superimposed on the map data MP1. As a result, the user can select the start date and time and the end date and time of the search period for the person to be searched. It should be noted that the start date and time and the end date and time of the search period for the person to be searched may be directly input by the user's operation, not limited to the selection of the calendar icon. For example, in FIG. 7, "12:00 pm on August 24, 2018" to "1:00 pm on August 24, 2018" are selected as the date (Time&Date).
また、特徴(Characteristics)には、捜索対象人物の外見の一部に関する情報の選択肢が選択可能に表示される。表示される選択肢は、性別に関する選択肢(具体的には「Male」あるいは「Female」)と、年齢に関する選択肢(具体的には「Younger」、「Middle」あるいは「Older」)と、身長に関する選択肢(具体的には「Small」、「Normal」あるいは「Large」)と、体型に関する選択肢(具体的には「Slim」、「Normal」あるいは「Thick)である。これにより、ユーザは、捜索対象人物の性別やサイズ等の外見的な特徴をきめ細かく選択できる。例えば図7では、特徴(Characteristics)として、「男性(Male)」、「年配(Older)」、「細身(Slim)」が選択されている。 Characteristics also displays selectable options for information about a portion of the appearance of the person to be searched. The displayed options include gender options (specifically "Male" or "Female"), age options (specifically "Younger", "Middle" or "Older"), and height options (specifically Specifically, "Small," "Normal," or "Large." Appearance characteristics such as gender, size, etc. can be selected in detail.For example, in Fig. 7, "Male", "Older", and "Slim" are selected as the characteristics (Characteristics). .
また、服装(Decoration)には、捜索対象人物の外見の一部に関する情報の選択肢が選択可能に表示される。表示される選択肢は、所持品に関する選択肢(具体的には「with bag」あるいは「no bag」)と、装着物に関する選択肢(具体的には「with hat」あるいは「no hat」)と、上半身の服装に関する選択肢(具体的には「Long sleeved」あるいは「Short sleeved」)と、下半身の服装に関する選択肢(具体的には「Long Pants」、「Short
Pants」あるいは「Skirt」)と、髪型に関する選択肢(具体的には「Long Hair」、「Short Hair」あるいは「No Hair」)である。また、服装や所持品、装着物については色も選択可能である。例えば、赤色(Red)、青色(Blue)、緑色(Green)、黄色(Yellow)、橙色(Orange)、茶色(Brown)、紫色(Purple)、灰色(Gray)、黒色(Black)、白色(White)から選択可能である。これにより、ユーザは、捜索対象人物の服装等に関する外見的な特徴をきめ細かく選択できる。例えば図7では、服装(Decoration)として、「鞄持ち(with bag)」、「帽子被り(with hat)」、「長袖(Long sleeved)」、「長ズボン(Long Pants)」が選択されており、上半身の服装については「青色(Blue)」が選択され、下半身の服装については「灰色(Gray)」が選択されている。
Also, in Decoration, options of information regarding part of the appearance of the person to be searched are displayed in a selectable manner. The displayed options are options related to belongings (specifically "with bag" or "no bag"), options related to wearables (specifically "with hat" or "no hat"), and upper body options. Clothing options (specifically "Long sleeved" or "Short sleeved") and lower body clothing options (specifically "Long Pants", "Short sleeved")
“Pants” or “Skirt”) and hairstyle options (specifically, “Long Hair”, “Short Hair” or “No Hair”). Colors can also be selected for clothes, belongings, and attachments. For example, red, blue, green, yellow, orange, brown, purple, gray, black, white ). This allows the user to finely select the appearance characteristics of the person to be searched for, such as clothing. For example, in FIG. 7, "with bag", "with hat", "long sleeved", and "long pants" are selected as the decoration. , “Blue” is selected for the upper body clothing, and “Gray” is selected for the lower body clothing.
図8は、設定された特徴情報を検索条件として用いたメタサーチによる人物検索結果を時系列に表示する人物検索画面WD1の一例を示す図である。人物検索アプリは、図7に示す設定画面DTL1において選択された検索対象人物像IPS1と一部の検索条件CON1とを検索対象人物像表示枠PL1に表示する。 FIG. 8 is a diagram showing an example of a person search screen WD1 that displays, in chronological order, person search results by metasearch using set feature information as a search condition. The person search application displays the search target person image IPS1 selected on the setting screen DTL1 shown in FIG. 7 and part of the search conditions CON1 in the search target person image display frame PL1.
人物検索アプリは、検索対象人物像表示枠PL1に検索対象人物像IPS1が表示された状態で、ユーザ操作によりメタサーチボタンMS1が押下されたことを検知する。この場合、人物検索アプリ(具体的には、プロセッサ92)は、検索対象人物像表示枠PL1に表示された検索対象人物像IPS1を特定するための各種の検索条件(例えば、検索期間を示す日付、捜索対象人物の特徴情報)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、蓄積部56の解析情報DB56aに保存された解析結果を用いて、メタサーチにより、検索要求に含まれる各種の検索条件を満たす捜索対象人物と同一あるいは類似する人物(例えば予め指定された類似度の閾値以上となる人物)を検索する。人物検索サーバ50は、検索結果をクライアント端末90に送る。
The person search application detects that the user has pressed the meta search button MS1 while the search target person image IPS1 is displayed in the search target person image display frame PL1. In this case, the person search application (specifically, the processor 92) uses various search conditions for specifying the search target person image IPS1 displayed in the search target person image display frame PL1 (for example, a date indicating a search period). , characteristic information of the person to be searched) and the identification information of the camera to be searched for is generated and transmitted to the
人物検索アプリ(具体的には、プロセッサ92)は、通信部93を介して受信された検索結果を取得すると、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を並べてリスト表示枠RST1内に表示する。それぞれの切り出し画像は、例えばサムネイル画像である。なお、人物検索アプリは、リスト表示枠RST1内に全ての切り出し画像を表示できない場合には、スクロールバーSCR1のユーザ操作により残りの切り出し画像をスクロールして表示でき、以下の実施の形態でも同様である。
When the person search application (specifically, the processor 92) acquires the search result received via the
例えば、人物検索アプリは、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を、検索対象人物像IPS1と同一あるいは類似する順に表示してよい。これにより、ユーザは、スクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。 For example, the person search application uses clipped images Xpc1, Xpc2, Xpc3, Xpc4, Xpc5, Xpc6, Xpc7, Xpc8, Xpc9, Xpc10, Xpc11, Xpc9, Xpc10, Xpc11, Xpc12, Xpc13, Xpc14, Xpc15, . As a result, the user can quickly find the search target person that he or she wants to grasp by preferentially checking the displayed clipped image without performing scroll processing using the scroll bar SCR1.
例えば、人物検索アプリは、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を、それぞれの切り出し画像が撮像された撮像時刻の順(例えば、撮像時刻の古い順あるいは新しい順)に時系列に表示してよい。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。 For example, the person search application uses clipped images Xpc1, Xpc2, Xpc3, Xpc4, Xpc5, Xpc6, Xpc7, Xpc8, Xpc9, Xpc10, Xpc11, Xpc9, Xpc10, Xpc11, Xpc12, Xpc13, Xpc14, Xpc15, . As a result, the user can quickly find a search target person that he/she wants to grasp by preferentially confirming the clipped images displayed in the order of the oldest or newest shooting time.
例えば、人物検索アプリは、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を、それぞれの切り出し画像に対応するカメラの設置された交差点ごとに纏めて表示してよい。これにより、ユーザは、捜索対象人物の存在する可能性のある交差点を把握している場合等に、該当する交差点に対応して纏めて表示された一個あるいは複数個の切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。 For example, the person search application uses clipped images Xpc1, Xpc2, Xpc3, Xpc4, Xpc5, Xpc6, Xpc7, Xpc8, Xpc9, Xpc10, Xpc11, Xpc9, Xpc10, Xpc11, Xpc12, Xpc13, Xpc14, Xpc15, . As a result, when the user is aware of an intersection where a person to be searched may exist, the user can preferentially confirm one or more cutout images collectively displayed corresponding to the corresponding intersection. By doing so, the person to be searched can be found early.
図9は、選択された切り出し画像Xpc1に対応する撮像映像MV1の再生画面の表示例を示す図である。人物検索アプリは、リスト表示枠RST1内に表示された複数個の切り出し画像Xpc1~Xpc15,…のうちいずれかの切り出し画像(例えば切り出し画像Xpc1)が所定のユーザ操作により選択されたことを検知する。この場合、人物検索アプリは、選択された切り出し画像Xpc1に対応する撮像映像MV1(つまり、切り出し画像Xpc1に映る人物が撮像された時点におけるカメラの撮像映像)を再生可能な再生画面を表示する。人物検索アプリは、この再生画面において、「再生」、「一時停止」、「早送り」、「早戻し」、「最初に戻す」、「次に進む」等の各種のユーザ操作を受け付けるためのアイコンを配置して表示する。 FIG. 9 is a diagram showing a display example of the playback screen of the captured video MV1 corresponding to the selected clipped image Xpc1. The person search application detects that one of the plurality of cut-out images Xpc1 to Xpc15, . . In this case, the person search application displays a playback screen on which the captured video MV1 corresponding to the selected clipped image Xpc1 (that is, the video captured by the camera when the person in the clipped image Xpc1 was captured) can be played back. The person search application displays icons for receiving various user operations such as "play", "pause", "fast forward", "fast reverse", "return to the beginning", and "next" on the playback screen. are placed and displayed.
また、人物検索アプリは、撮像映像MV1の再生画面の表示に連動して、いずれかの切り出し画像(例えば切り出し画像Xpc1)の選択前に表示されていた撮像映像MV2,MV3の表示画面を、地図データMP1の対応する交差点の周囲に配置換えして表示する。これにより、ユーザは、撮像映像MV2,MV3の表示画面と対応する交差点との位置の相関性を直感的かつ視覚的に分かり易く把握でき、警察捜査を効率的に支援できる。 In addition, in conjunction with the display of the playback screen of the captured video MV1, the person search application displays the display screens of the captured videos MV2 and MV3 that were displayed before the selection of one of the clipped images (for example, the clipped image Xpc1) on the map. It rearranges and displays around the intersection corresponding to data MP1. As a result, the user can intuitively and visually understand the correlation between the display screens of the captured images MV2 and MV3 and the positions of the corresponding intersections, and can efficiently support the police investigation.
次に、実施の形態1に係る人物検索システム100の動作手順について、図10を参照して説明する。図10は、実施の形態1に係る人物検索システム100の動作手順例を説明するフローチャートである。図10に示される処理は、クライアント端末90と人物検索サーバ50とにより実行される。
Next, operation procedures of the
図10において、人物検索サーバ50は、人物検索システム100を構成するカメラ10,10a,…のそれぞれから送られた撮像映像のデータを受信する度に、その撮像映像のデータを解析する。人物検索サーバ50は、解析により、人物に関する情報(例えば、人物が映る切り出し画像、人物の特徴、人物の位置、人物の交差点通過時の移動方向)を解析結果として生成して蓄積部56の解析情報DB56aに保存する(St1)。このステップSt1の処理は、人物検索サーバ50がクライアント端末90からの検索要求を取得する事前に行われる。
10, the
クライアント端末90は、捜索対象人物(例えば検索対象人物像IPS1)の検索条件として、検索対象人物像IPS1を構成するための各種の特徴情報のユーザ操作による選択(図7参照)を受け付ける(St2)。クライアント端末90は、ユーザ操作により、捜索対象人物の検索対象となるカメラの撮像映像の選択を受け付ける(St3)。なお、ステップSt2,St3の処理は順不同で構わない。クライアント端末90は、ステップSt2,St3の後、例えばメタサーチボタンMS1がユーザ操作により押下されたことを検知すると、検索対象人物像表示枠PL1に表示された検索対象人物像IPS1を特定するための各種の検索条件(例えば、検索期間を示す日付、捜索対象人物の特徴情報)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、人物検索サーバ50に送信する。
The
人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報に対応する撮像映像に対応する解析結果(ステップSt1参照)を解析情報DB56aから取り出す(St4)。人物検索サーバ50は、予め選択された類似度の閾値に関する情報を、例えばメモリ52から読み出して設定する(St5)。人物検索サーバ50は、ステップSt5の後、ステップSt4において取り出された解析結果(人物に関する情報)とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図7参照)とをメタサーチによって比較して類似度を算出する(St6)。
When the
人物検索サーバ50は、ステップSt6において算出された類似度が閾値(ステップSt5参照)以上であるか否かを判断する(St7)。人物検索サーバ50は、算出された類似度が閾値以上であると判断した場合(St7、YES)、その閾値を超えた人物が映る切り出し画像(例えばサムネイル画像)を検索結果の一例として、その切り出し画像のデータとその切り出し画像をクライアント端末90に表示する旨の指示とをクライアント端末90に送る(St8)。クライアント端末90は、人物検索サーバ50から送られた指示に基づいて、該当する切り出し画像を人物検索画面WD1のリスト表示枠RST1に表示する(St8)。なお、前述したように、クライアント端末90は、リスト表示枠RST1に表示する対象となる切り出し画像を複数受け取っている場合、それらの切り出し画像を類似度の高い順、時系列順、あるいは交差点順に並べて表示してよい。
The
一方、人物検索サーバ50は、算出された類似度が閾値未満であると判断した場合(St7、NO)、ステップSt8の処理を省略する。人物検索サーバ50は、この後あるいはステップSt8の後、ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在するか否かを判断する(St9)。ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しないと判断された場合(St9、NO)、人物検索サーバ50の処理(つまり、クライアント端末90からの検索要求に対応する処理)は終了する。クライアント端末90は、人物検索サーバ50による検索結果に対応する複数人の切り出し画像を並べて表示する(図8あるいは図9参照)。
On the other hand, when the
人物検索サーバ50は、ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在すると判断した場合(St9、YES)、その次に該当する人物について、ステップSt6の処理を実行すると判断する(St10)。この後、人物検索サーバ50は、その次に該当する人物について、ステップS6の処理を行う。人物検索サーバ50は、ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しなくなるまで、ステップSt6~ステップSt10の処理を繰り返して実行する。
When the
以上により、実施の形態1に係る人物検索システム100は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続された人物検索サーバ50と、人物検索サーバ50と通信可能に接続されたクライアント端末90とを含む。人物検索サーバ50は、n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。クライアント端末90は、n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを人物検索画面WD1に表示する。クライアント端末90は、捜索対象人物の外見に関する特徴情報の選択に応じて、k個の撮像映像において特徴情報を満たす捜索対象人物の検索要求を人物検索サーバ50に送る。人物検索サーバ50は、検索要求に応じて、解析結果を用いてk個の撮像映像における特徴情報を満たす捜索対象人物に関する解析結果を抽出してクライアント端末90に送る。クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を並べて表示する。
As described above, the
これにより、人物検索システム100は、多くの人が行き交う地点(例えば交差点)で事件等が発生した場合、犯人の服装等の外見に関する特徴情報を基にして複数のカメラの撮像映像から視覚的に類似する人物の撮像画像を抽出できる。従って、人物検索システム100は、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援できるので、警察捜査の利便性を的確に向上できる。
As a result, when an incident or the like occurs at a place where many people come and go (for example, at an intersection), the
また、クライアント端末90は、k台のカメラが設置された地点を示す地図データMP1を人物検索画面WD1に表示する。これにより、ユーザは、捜索対象人物の検索をクライアント端末90から人物検索サーバ50に要求する際に、犯人が逃走する可能性のある地点を、地図データMP1を閲覧しながら地理的な位置関係を把握した上で、検索対象となるカメラを視覚的かつ簡易に選択できる。
In addition, the
また、クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の移動経路を地図データMP1に重畳して表示する(図13参照)。これにより、ユーザは、地図データMP1において事件等の犯人の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。
In addition, the
また、クライアント端末90は、複数の人物の切り出し画像のうち少なくとも1つの切り出し画像を削除するためのユーザ操作に応じて、地図データに表示された捜索対象人物の移動経路を更新して表示する(図14参照)。これにより、ユーザは、リスト表示枠RST1に表示された複数の切り出し画像の中で、捜索対象人物と異なる不要な人物の切り出し画像を削除する操作を行うだけで、目的とする捜索対象人物の行方を的確に絞り込むことができる。
In addition, the
また、クライアント端末90は、捜索対象人物の外見に関する特徴情報として、人物の性別、年齢、身長、体型、服装等の外見情報の選択を受け付ける。これにより、ユーザは、捜索対象人物の性別やサイズ等の外見的な特徴、および捜索対象人物の服装等に関する外見的な特徴をきめ細かく選択できる。従って、クライアント端末90は、人物検索サーバ50により厳選された捜索対象人物と同一あるいは類似する人物の切り出し画像を表示でき、ユーザの捜査効率を的確に向上できる。
In addition, the
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、それぞれの人物が撮像された撮像時刻の順に沿って時系列に並べて表示する。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
In addition, the
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、捜索対象人物との類似性が高い順に沿って並べて表示する。これにより、ユーザは、例えば図8あるいは図9に示すスクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
In addition, the
(実施の形態2の構成に至る経緯)
上述した特許文献1では、多くの人が行き交う地点(例えば交差点)において発生した事件または事故(以下「事件等」)を引き起こした人物(つまり犯人)に視覚的に類似する人物を撮像したカメラの撮像画像を特定し、この特定された撮像画像を手掛かりに類似する撮像画像を他のカメラの撮像映像から検索することは考慮されていない。
(Background leading up to the configuration of the second embodiment)
In the above-mentioned
事件等が発生した場合、犯人の視覚的な特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、交差点に設置されたカメラにより撮影された映像や目撃情報等の手掛かりを収集し、警察官がこれらの映像や目撃情報等を頼りに、犯人に該当しそうな人物の特徴や逃走方向を把握していた。このため、警察官は犯人の特徴や逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。 When an incident or the like occurs, it is important for the initial investigation by the police to grasp the visual characteristics of the criminal and his whereabouts at an early stage. However, in the conventional technology so far, clues such as images taken by cameras installed at intersections and eyewitness information are collected, and police officers rely on these images and eyewitness information to identify people who are likely to be criminals. I knew the characteristics of the escape and the direction of escape. For this reason, it takes time for the police to grasp the characteristics of the criminal and the direction of escape, and there is a possibility that the initial investigation may be delayed and it is not efficient.
以下の実施の形態2では、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴等の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法の例を説明する。 In the second embodiment described below, when an incident or the like occurs in a place where many people come and go, a photographed image of a person who is visually similar to the criminal is extracted with high accuracy, and the visual characteristics of the criminal are quickly grasped. An example of a person search system and a person search method that efficiently supports police investigations and accurately improves the convenience of police investigations will be described.
(実施の形態2)
実施の形態2に係る人物検索システムの内部構成は、実施の形態1に係る人物検索システム100の内部構成と同一である。従って、実施の形態2の説明において、実施の形態1に係る人物検索システム100の内部構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
(Embodiment 2)
The internal configuration of the person search system according to the second embodiment is the same as the internal configuration of the
図11は、選択された切り出し画像Xpc1のイメージサーチの検索条件への設定例を示す図である。人物検索アプリは、リスト表示枠RSR1に表示された複数の切り出し画像のうち、所定のユーザ操作によりいずれかの切り出し画像(例えば切り出し画像Xpc1)が選択されたことを検知する。この場合、人物検索アプリは、切り出し画像Xpc1を検索対象人物像表示枠PL1にコピーアンドペーストして表示する。つまり、人物検索アプリは、切り出し画像Xpc1に映る人物を、イメージサーチの検索対象人物像IPS2として検索対象人物像表示枠PL1に表示する。また、人物検索アプリは、切り出し画像Xpc1の人物に対応する人物検索サーバ50による解析結果を用いて、その人物(検索対象人物像IPS2)の主な特徴情報を一部の検索条件CON2として検索対象人物像表示枠PL1に表示する。
FIG. 11 is a diagram showing an example of setting the selected clipped image Xpc1 to the image search search conditions. The person search application detects that one of the plurality of clipped images displayed in the list display frame RSR1 has been selected by a predetermined user operation (for example, clipped image Xpc1). In this case, the person search application copies and pastes the clipped image Xpc1 into the search target person image display frame PL1 and displays it. That is, the person search application displays the person appearing in the clipped image Xpc1 in the search target person image display frame PL1 as the search target person image IPS2 of the image search. In addition, the person search application uses the analysis result by the
図12は、図9の撮像映像MV1の再生画面に表示された人物枠WK1,WK2を用いたイメージサーチの検索条件の設定例を示す図である。人物検索アプリは、図12に示すように、所定のユーザ操作により選択された切り出し画像Xpc1に対応する撮像映像MV1の再生画面を人物検索画面WD1に表示する際、切り出し画像Xpc1に対応する人物検索サーバ50による解析結果を用いて、再生画面に映る人物の人物枠WK1,WK2と性別および年齢層とを表示してよい。例えば、人物検索アプリは、人物枠WK1に対応する人物の性別および年齢層として、「M40」(つまり、男性であって40歳代)を表示する。同様に、人物検索アプリは、人物枠WK2に対応する人物の性別および年齢層として、「M30」(つまり、男性であって30歳代)を表示する。
FIG. 12 is a diagram showing a setting example of search conditions for image search using the person frames WK1 and WK2 displayed on the playback screen of the captured video MV1 of FIG. As shown in FIG. 12, when the person search application displays the playback screen of the captured video MV1 corresponding to the clipped image Xpc1 selected by a predetermined user operation on the person search screen WD1, the person search application performs the person search corresponding to the clipped image Xpc1. The analysis result by the
人物検索アプリは、撮像映像MV1の再生画面に表示された人物枠WK1,WK2のうち、所定のユーザ操作によりいずれかの人物枠(例えば人物枠WK1)が選択されたことを検知する。この場合、人物検索アプリは、選択された人物枠WK1内の画像を切り出し、その切り出し画像を検索対象人物像表示枠PL1にコピーアンドペーストする。つまり、人物検索アプリは、ペーストされた切り出し画像に映る人物を、イメージサーチの検索対象人物像IPS2として検索対象人物像表示枠PL1に表示する。また、人物検索アプリは、ペーストされた切り出し画像の人物に対応する人物検索サーバ50による解析結果を用いて、その人物(検索対象人物像IPS2)の主な特徴情報を一部の検索条件CON2として検索対象人物像表示枠PL1に表示する。
The person search application detects that one of the person frames WK1 and WK2 displayed on the playback screen of the captured video MV1 has been selected by a predetermined user operation (for example, the person frame WK1). In this case, the person search application cuts out the image in the selected person frame WK1, and copies and pastes the cutout image into the search target person image display frame PL1. That is, the person search application displays the person appearing in the pasted clipped image in the search target person image display frame PL1 as the search target person image IPS2 of the image search. In addition, the person search application uses the analysis result by the
図13は、図11の選択された切り出し画像Xpc1あるいは図12の人物枠WK1を用いたイメージサーチによる人物検索結果を時系列に表示する人物検索画面WD1の一例を示す図である。人物検索アプリは、図11の選択された切り出し画像Xpc1あるいは図12の人物枠WK1が所定のユーザ操作により選択されたことで、検索対象人物像表示枠PL1に検索対象人物像IPS2を表示する。 FIG. 13 is a diagram showing an example of a person search screen WD1 that displays, in chronological order, person search results by image search using the selected clipped image Xpc1 of FIG. 11 or the person frame WK1 of FIG. The person search application displays the search target person image IPS2 in the search target person image display frame PL1 when the selected clipped image Xpc1 in FIG. 11 or the person frame WK1 in FIG. 12 is selected by a predetermined user operation.
この後、人物検索アプリは、ユーザ操作によりイメージサーチボタンIS1が押下されたことを検知する。この場合、人物検索アプリ(具体的には、プロセッサ92)は、検索対象人物像IPS2のイメージデータとその検索対象人物像IPS2を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、実施の形態2では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS2の元となる人物が映っていた撮像映像MV1あるいは切り出し画像Xpc1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、蓄積部56の解析情報DB56aに保存された解析結果を用いて、イメージサーチにより、検索要求に含まれる各種の検索条件を満たす捜索対象人物と同一あるいは類似する人物を検索する。人物検索サーバ50は、検索結果をクライアント端末90に送る。
After that, the person search application detects that the image search button IS1 has been pressed by the user's operation. In this case, the person search application (specifically, the processor 92) uses image data of the search target person image IPS2 and various search conditions (for example, a date indicating a search period) for specifying the search target person image IPS2. and the identification information of the camera to be searched for is generated and transmitted to the
人物検索アプリ(具体的には、プロセッサ92)は、通信部93を介して受信された検索結果を取得すると、捜索対象人物(つまり、検索対象人物像IPS2)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc21,Xpc22,Xpc5,Xpc23,Xpc24,Xpc25を並べてリスト表示枠RST1内に表示する。それぞれの切り出し画像は、例えばサムネイル画像である。
When the person search application (specifically, the processor 92) acquires the search result received via the
また、人物検索アプリは、リスト表示枠RST1に表示された複数の切り出し画像Xpc1,Xpc21,Xpc22,Xpc5,Xpc23,Xpc24,Xpc25のそれぞれに映る人物が撮像されたカメラに対応する交差点の通過時の移動方向DRC1,DRC2,DRC3のそれぞれを地図データMP1に重畳して表示する。例えば、移動方向DRC1は「AA Street」に沿って、第3カメラの配置された交差点から第1カメラの配置された交差点に向かって移動する方向である。移動方向DRC2は「CC Street」に沿って、第1カメラの配置された交差点から第2カメラの配置された交差点に向かって移動する方向である。移動方向DRC3は「BB Street」に沿って、第2カメラの配置された交差点から第4カメラの配置された交差点に向かって移動する方向である。 In addition, the person search application, when passing through the intersection corresponding to the camera that captured the person shown in each of the plurality of clipped images Xpc1, Xpc21, Xpc22, Xpc5, Xpc23, Xpc24, and Xpc25 displayed in the list display frame RST1. Each of the moving directions DRC1, DRC2, and DRC3 is displayed superimposed on the map data MP1. For example, the movement direction DRC1 is the direction of movement along "AA Street" from the intersection where the third camera is arranged toward the intersection where the first camera is arranged. The movement direction DRC2 is the direction of movement along "CC Street" from the intersection where the first camera is arranged toward the intersection where the second camera is arranged. A movement direction DRC3 is a direction of movement along "BB Street" from the intersection where the second camera is arranged toward the intersection where the fourth camera is arranged.
なお、人物検索アプリは、上述した実施の形態1においても、リスト表示枠RST1に表示された全ての切り出し画像に映る人物が撮像されたカメラに対応する交差点の通過時の移動方向のそれぞれを地図データMP1に全て重畳して表示してよい。これにより、ユーザは、地図データMP1において事件等の犯人の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。 It should be noted that, in the first embodiment described above, the person search application uses a map to map each moving direction when passing through an intersection corresponding to the camera that captured the person appearing in all the cutout images displayed in the list display frame RST1. All may be superimposed and displayed on the data MP1. As a result, the user can grasp all candidates for the escape route of the culprit of the crime or the like in the map data MP1, so that it is easy to accurately narrow down.
図14は、所定のユーザ操作による不要な人物検索結果の削除例を示す図である。人物検索アプリは、図13に示すリスト表示枠RST1に表示された切り出し画像Xpc1,Xpc21,Xpc22,Xpc5,Xpc23,Xpc24,Xpc25のうち、所定のユーザ操作により不要な切り出し画像(例えば切り出し画像Xpc5,Xpc24)の選択を受け付ける。この場合、人物検索アプリは、選択された切り出し画像Xpc5,Xpc24を削除する対象であることを示す削除アイコンDLT1,DLT2を、切り出し画像Xpc5,Xpc24に重畳して表示する。なお、人物検索アプリは、削除アイコンDLT1,DLT2を重畳して表示する代わりに、選択された切り出し画像Xpc5,Xpc24をリスト表示枠RST1から削除してもよい。 FIG. 14 is a diagram illustrating an example of deletion of unnecessary person search results by a predetermined user operation. The person search application selects unnecessary clipped images (for example, clipped images Xpc5, Xpc24) is accepted. In this case, the person search application displays delete icons DLT1 and DLT2 indicating that the selected clipped images Xpc5 and Xpc24 are to be deleted, superimposed on the clipped images Xpc5 and Xpc24. Note that the person search application may delete the selected clipped images Xpc5 and Xpc24 from the list display frame RST1 instead of superimposing and displaying the delete icons DLT1 and DLT2.
また、人物検索アプリは、切り出し画像Xpc5,Xpc24に重畳して削除アイコンDLT1,DLT2を表示することに連動して、切り出し画像Xpc5,Xpc24に映る人物に対応する人物検索サーバ50による解析結果を用いて、地図データMP1に表示されている移動方向を更新して表示する。具体的には、人物検索アプリは、削除アイコンDLT1,DLT2の表示前に地図データMP1に表示されていた全ての移動方向DRC1,DRC2,DRC3から、切り出し画像Xpc5,Xpc24に映る人物の交差点通過時の移動方向を削除するように更新し、切り出し画像Xpc1,Xpc21,Xpc22,Xpc23,Xpc25に映る人物の交差点通過時の移動方向DRC1,DRC2だけを残すように表示する。
In addition, the person search application uses the analysis result by the
次に、実施の形態2に係る人物検索システム100の動作手順について、図15を参照して説明する。図15は、実施の形態2に係る人物検索システム100の動作手順例を説明するフローチャートである。図15に示される処理は、クライアント端末90と人物検索サーバ50とにより実行される。図15に示す処理の説明において、図10に示す処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
Next, operation procedures of the
図15において、クライアント端末90は、ステップSt1の後、捜索対象人物(例えば検索対象人物像IPS2)の検索条件として、検索対象人物像IPS2の元となる人物が映っていた切り出し画像Xpc1(例えばサムネイル画像)のユーザ操作による選択(図11参照)を受け付ける(St11)。なお、クライアント端末90は、捜索対象人物(例えば検索対象人物像IPS2)の検索条件として、検索対象人物像IPS2の元となる人物が映っていた撮像映像MV1内の人物枠WK1のユーザ操作による選択(図11参照)を受け付けてもよい(St11)。クライアント端末90は、切り出し画像Xpc1を検索対象人物像表示枠PL1にコピーアンドペーストして表示する。
In FIG. 15, after step St1, the
クライアント端末90は、ステップSt11の後、例えばイメージサーチボタンIS1がユーザ操作により押下されたことを検知すると、検索対象人物像表示枠PL1に表示された検索対象人物像IPS2のイメージデータとその検索対象人物像IPS2を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、前述したように、実施の形態2では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS2の元となる人物が映っていた撮像映像MV1あるいは切り出し画像Xpc1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。
After step St11, for example, when the
人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報を含み、その識別情報に対応する撮像映像のデータの送信要求を映像レコーダ70に送る。映像レコーダ70は、人物検索サーバ50からの送信要求に基づいて、送信要求に含まれるカメラの識別情報に対応する撮像映像のデータを取得して人物検索サーバ50に送信する。人物検索サーバ50は、映像レコーダ70から送信されたカメラの撮像映像のデータを取得する(St12)。なお、人物検索サーバ50は、それぞれのカメラから送られた撮像映像のデータを蓄積部56に蓄積してもよく、この場合には、映像レコーダ70から受信して取得する代わりに、蓄積部56から直接に読み出して取得してもよい。
When the
人物検索サーバ50は、ステップSt12において取得されたカメラの撮像映像のそれぞれを解析し、その撮像映像に映る人物を抽出して識別して一時的にメモリ52に保存する(St13)。人物検索サーバ50は、ステップSt5の後、ステップSt13において解析された人物の解析結果とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出する(St14)。なお、人物検索サーバ50は、ステップSt13において、ステップSt1において生成されたそれぞれのカメラの撮像映像の解析結果を用い、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報に対応する撮像映像の解析結果(例えば切り出し画像)を読み出して取得してもよい。この場合、人物検索サーバ50は、ステップSt14において、読み出された撮像映像の解析結果(例えば切り出し画像)とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出してよい(St14)。
The
人物検索サーバ50は、ステップSt14において算出された類似度が閾値(ステップSt5参照)以上であるか否かを判断する(St7)。人物検索サーバ50は、算出された類似度が閾値以上であると判断した場合(St7、YES)、その閾値を超えた人物が映る切り出し画像(例えばサムネイル画像)を検索結果の一例として、その切り出し画像のデータとその切り出し画像をクライアント端末90に表示する旨の指示とをクライアント端末90に送る(St8)。クライアント端末90は、人物検索サーバ50から送られた指示に基づいて、該当する切り出し画像を人物検索画面WD1のリスト表示枠RST1に表示する(St8)。なお、前述したように、クライアント端末90は、リスト表示枠RST1に表示する対象となる切り出し画像を複数受け取っている場合、それらの切り出し画像を類似度の高い順、時系列順、あるいは交差点順に並べて表示してよい。
The
一方、人物検索サーバ50は、算出された類似度が閾値未満であると判断した場合(St7、NO)、ステップSt8の処理を省略する。人物検索サーバ50は、この後あるいはステップSt8の後、ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在するか否かを判断する(St9)。ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しないと判断された場合(St9、NO)、人物検索サーバ50の処理(つまり、クライアント端末90からの検索要求に対応する処理)は終了する。クライアント端末90は、人物検索サーバ50による検索結果に対応する複数人の切り出し画像を並べて表示する(図11あるいは図12参照)。
On the other hand, when the
人物検索サーバ50は、ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在すると判断した場合(St9、YES)、その次に該当する人物について、ステップSt14の処理を実行すると判断する(St15)。この後、人物検索サーバ50は、その次に該当する人物について、ステップS14の処理を行う。人物検索サーバ50は、ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しなくなるまで、ステップSt14,ステップSt7~ステップSt9,ステップSt15の処理を繰り返して実行する。
When the
以上により、実施の形態2に係る人物検索システム100は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続された人物検索サーバ50と、人物検索サーバ50と通信可能に接続されたクライアント端末90と、を含む。人物検索サーバ50は、n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。クライアント端末90は、n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを人物検索画面WD1に表示する。クライアント端末90は、k個の撮像映像のうちいずれかに映る捜索対象人物の選択に応じて、捜索対象人物が映る撮像映像以外の(k-1)個の撮像映像における捜索対象人物の検索要求を人物検索サーバ50に送る。人物検索サーバ50は、検索要求に応じて、解析結果を用いて(k-1)個の撮像映像における捜索対象人物に関する解析結果を抽出してクライアント端末90に送る。クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を並べて表示する。
As described above, the
これにより、人物検索システム100は、多くの人が行き交う地点(例えば交差点)で事件等が発生した場合、犯人に視覚的に類似する人物の捜索対象人物の撮像画像をイメージサーチによって高精度に抽出できる。従って、人物検索システム100は、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援できるので、警察捜査の利便性を的確に向上できる。
As a result, when an incident or the like occurs at a place where many people come and go (for example, at an intersection), the
また、クライアント端末90は、k台のカメラが設置された地点を示す地図データMP1を人物検索画面WD1に表示する。これにより、ユーザは、捜索対象人物の検索をクライアント端末90から人物検索サーバ50に要求する際に、犯人が逃走する可能性のある地点を、地図データMP1を閲覧しながら地理的な位置関係を把握した上で、検索対象となるカメラを視覚的かつ簡易に選択できる。
In addition, the
また、クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の移動経路を地図データMP1に重畳して表示する。これにより、ユーザは、地図データMP1において事件等の犯人の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。
In addition, the
また、クライアント端末90は、複数の人物の切り出し画像のうち少なくとも1つの切り出し画像を削除するためのユーザ操作に応じて、地図データMP1に表示された捜索対象人物の移動経路を更新して表示する。これにより、ユーザは、リスト表示枠RST1に表示された複数の切り出し画像の中で、捜索対象人物と異なる不要な人物の切り出し画像を削除する操作を行うだけで、目的とする捜索対象人物の行方を的確に絞り込むことができる。
In addition, the
また、クライアント端末90は、k台のカメラのうちいずれかのカメラの撮像映像MV1に映る人物の外形枠(例えば人物枠WK1,WK2)をその撮像映像MV1に重畳して表示する。クライアント端末90は、ユーザ操作による外形枠(例えば人物枠)の選択に応じて、その選択された外形枠に対応する人物を捜索対象人物とする捜索対象人物の検索要求を人物検索サーバ50に送る。これにより、ユーザは、再生可能に拡大して表示された撮像映像MV1の再生画面中で気になる人物(例えば人物枠WK1の人物)を簡易に選択するだけで、その人物を捜索対象人物とする高精度なイメージサーチをクライアント端末90に対して実行させることができ、警察捜査の効率性の向上が図られる。
In addition, the
また、クライアント端末90は、複数の人物の切り出し画像のうちいずれかの選択に応じて、その選択された切り出し画像(例えば切り出し画像Xpc1)に対応する人物を捜索対象人物とする捜索対象人物の検索要求を人物検索サーバ50に送る。これにより、ユーザは、リスト表示枠RST1に表示された切り出し画像に映る人物の中で気になる人物(例えば切り出し画像Xpc1の人物)を簡易に選択するだけで、その人物を捜索対象人物とする高精度なイメージサーチをクライアント端末90に対して実行させることができ、警察捜査の効率性の向上が図られる。
In addition, the
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、それぞれの人物が撮像された撮像時刻の順に沿って時系列に並べて表示する。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
In addition, the
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、捜索対象人物との類似性が高い順に沿って並べて表示する。これにより、ユーザは、例えば図11あるいは図12に示すスクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
In addition, the
(実施の形態3の構成に至る経緯)
しかし、上述した特許文献1では、多くの人が行き交う場所(例えば交差点)において発生した事件等を引き起こした人物が複数いる場合、例えば主犯格の人物とは異なる他の人物(例えば主犯格の連れ)の撮像画像を手掛かりにその連れの人物に類似する撮像画像を他のカメラの撮像映像から検索することは考慮されていない。
(Background leading up to the configuration of Embodiment 3)
However, in
事件等が発生した場合、複数の人物からなる犯人グループの行方を早期に把握することは警察の初動捜査において重要である。犯人グループの行動パターンとして、集団的に行動することもあれば、別個に分かれて行動することもある。ところが、これまでの従来技術では、交差点に設置されたカメラの撮像映像や目撃情報等の手掛かりを収集し、警察官がこれらの撮像映像や目撃情報等を頼りに、犯人グループに該当しそうな複数の人物の逃走方向を把握していた。このため、犯人グループが別個に分かれて別々に行動する場合等では、警察官は犯人グループの逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。 When an incident or the like occurs, it is important for the initial investigation by the police to quickly grasp the whereabouts of a criminal group consisting of multiple persons. As a behavioral pattern of criminal groups, sometimes they act collectively, and sometimes they divide and act separately. However, with the conventional technology so far, clues such as images taken by cameras installed at intersections and eyewitness information are collected, and police officers rely on these images and eyewitness information, etc. I knew the escape direction of the person. For this reason, when criminal groups are separated and act separately, it takes time for police officers to grasp the escape direction of the criminal group, which may delay the initial investigation and is inefficient. rice field.
以下の実施の形態3では、多くの人が行き交う地点で事件等が発生した場合、複数の人物からなる犯人グループのうち選択された人物に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法の例を説明する。 In the third embodiment described below, when an incident or the like occurs in a place where many people come and go, a photographed image of a person who is visually similar to a person selected from a criminal group consisting of a plurality of people is extracted with high accuracy. This paper describes an example of a person search system and person search method that efficiently supports the early grasp of the criminal's visual characteristics and escape direction, and accurately improves the convenience of police investigations.
(実施の形態3)
実施の形態2に係る人物検索システムの内部構成は、実施の形態1に係る人物検索システム100の内部構成と同一である。従って、実施の形態2の説明において、実施の形態1に係る人物検索システム100の内部構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
(Embodiment 3)
The internal configuration of the person search system according to the second embodiment is the same as the internal configuration of the
図16は、図9の撮像映像MV1の再生画面に表示された他の人物の人物枠WK2をイメージサーチの検索条件として用いた場合の人物検索結果を時系列に表示する人物検索画面WD1の一例を示す図である。人物検索アプリは、図12と同様に、図16に示すように、所定のユーザ操作により選択された切り出し画像Xpc1に対応する撮像映像MV1の再生画面を人物検索画面WD1に表示する際、切り出し画像Xpc1に対応する人物検索サーバ50による解析結果を用いて、再生画面に映る人物の人物枠WK1,WK2と性別および年齢層とを表示してよい。例えば、人物検索アプリは、人物枠WK1に対応する人物の性別および年齢層として、「M40」(つまり、男性であって40歳代)を表示する。同様に、人物検索アプリは、人物枠WK2に対応する人物の性別および年齢層として、「M30」(つまり、男性であって30歳代)を表示する。
FIG. 16 is an example of a person search screen WD1 that displays person search results in time series when the person frame WK2 of another person displayed on the playback screen of the captured video MV1 of FIG. 9 is used as a search condition for image search. It is a figure which shows. As in FIG. 12, as shown in FIG. 16, the person search application displays the playback screen of the captured video MV1 corresponding to the clipped image Xpc1 selected by a predetermined user operation on the person search screen WD1. Using the analysis result by the
人物検索アプリは、撮像映像MV1の再生画面に表示された人物枠WK1,WK2のうち、所定のユーザ操作により、撮像映像MV1の再生画面の表示の元になった人物とは異なる他の人物の人物枠(例えば人物枠WK2)が選択されたことを検知する。この場合、人物検索アプリは、選択された人物枠WK2内の画像を切り出し、その切り出し画像を検索対象人物像表示枠PL1にコピーアンドペーストする。つまり、人物検索アプリは、ペーストされた切り出し画像に映る人物を、イメージサーチの検索対象人物像IPS3として検索対象人物像表示枠PL1に表示する。また、人物検索アプリは、ペーストされた切り出し画像の人物に対応する人物検索サーバ50による解析結果を用いて、その人物(検索対象人物像IPS2)の主な特徴情報を一部の検索条件CON3として検索対象人物像表示枠PL1に表示する。
The person search application uses a predetermined user operation to search for a person different from the person on whom the playback screen of the captured video MV1 is displayed from among the person frames WK1 and WK2 displayed on the playback screen of the captured video MV1. It detects that the person frame (for example, person frame WK2) has been selected. In this case, the person search application cuts out the image in the selected person frame WK2, and copies and pastes the cut out image into the search target person image display frame PL1. That is, the person search application displays the person appearing in the pasted clipped image in the search target person image display frame PL1 as the search target person image IPS3 of the image search. In addition, the person search application uses the analysis result by the
人物検索アプリは、ユーザ操作によりイメージサーチボタンIS1が押下されたことを検知する。この場合、人物検索アプリ(具体的には、プロセッサ92)は、検索対象人物像IPS3のイメージデータとその検索対象人物像IPS3を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、実施の形態3では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS3の元となる人物が映っていた撮像映像MV1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、蓄積部56の解析情報DB56aに保存された解析結果を用いて、イメージサーチにより、検索要求に含まれる各種の検索条件を満たす捜索対象人物と同一あるいは類似する人物を検索する。人物検索サーバ50は、検索結果をクライアント端末90に送る。
The person search application detects that the image search button IS1 has been pressed by a user operation. In this case, the person search application (specifically, the processor 92) uses image data of the search target person image IPS3 and various search conditions for specifying the search target person image IPS3 (for example, a date indicating a search period). and the identification information of the camera to be searched for is generated and transmitted to the
人物検索アプリ(具体的には、プロセッサ92)は、通信部93を介して受信された検索結果を取得すると、捜索対象人物(つまり、検索対象人物像IPS3)と同一あるいは類似する人物の切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35,Xpc36,Xpc37を並べてリスト表示枠RST1内に表示する。それぞれの切り出し画像は、例えばサムネイル画像である。
When the person search application (specifically, the processor 92) acquires the search results received via the
また、人物検索アプリは、リスト表示枠RST1に表示された複数の切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35,Xpc36,Xpc37のそれぞれに映る人物が撮像されたカメラに対応する交差点の通過時の移動方向DRC1,DRC2,DRC3のそれぞれを地図データMP1に重畳して表示する。 In addition, the person search application, when passing through the intersection corresponding to the camera that captured the person shown in each of the plurality of clipped images Xpc31, Xpc32, Xpc33, Xpc34, Xpc35, Xpc36, and Xpc37 displayed in the list display frame RST1. Each of the moving directions DRC1, DRC2, and DRC3 is displayed superimposed on the map data MP1.
図17は、ユーザ操作による不要な人物検索結果の削除例を示す図である。人物検索アプリは、図17に示すリスト表示枠RST1に表示された切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35,Xpc36,Xpc37のうち、所定のユーザ操作により不要な切り出し画像(例えば切り出し画像Xpc36,Xpc37)の選択を受け付ける。この場合、人物検索アプリは、選択された切り出し画像Xpc36,Xpc37を削除する対象であることを示す削除アイコンDLT1,DLT2を、切り出し画像Xpc5,Xpc24に重畳して表示する。なお、人物検索アプリは、削除アイコンDLT1,DLT2を重畳して表示する代わりに、選択された切り出し画像Xpc5,Xpc24をリスト表示枠RST1から削除してもよい。 FIG. 17 is a diagram illustrating an example of deletion of unnecessary person search results by user operation. The person search application selects unnecessary clipped images (for example, clipped images Xpc36, Xpc37) is accepted. In this case, the person search application displays delete icons DLT1 and DLT2 indicating that the selected clipped images Xpc36 and Xpc37 are to be deleted, superimposed on the clipped images Xpc5 and Xpc24. Note that the person search application may delete the selected clipped images Xpc5 and Xpc24 from the list display frame RST1 instead of superimposing and displaying the delete icons DLT1 and DLT2.
また、人物検索アプリは、切り出し画像Xpc5,Xpc24に重畳して削除アイコンDLT1,DLT2を表示することに連動して、切り出し画像Xpc5,Xpc24に映る人物に対応する人物検索サーバ50による解析結果を用いて、地図データMP1に表示されている移動方向を更新して表示する。具体的には、人物検索アプリは、削除アイコンDLT3,DLT4の表示前に地図データMP1に表示されていた全ての移動方向DRC1,DRC2,DRC3から、切り出し画像Xpc36,Xpc37に映る人物の交差点通過時の移動方向を削除するように更新し、切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35に映る人物の交差点通過時の移動方向DRC2,DRC3だけを残すように表示する。これにより、ユーザは、図14および図17を参照することで、第1カメラにより撮像された撮像映像MV1に映る人物枠WK1,WK2の2人組(例えば犯人グループ)は第1カメラの設置された交差点で合流したことを認識できるので、警察捜査の効率性の向上が図られる。
In addition, the person search application uses the analysis result by the
次に、実施の形態3に係る人物検索システム100の動作手順について、図18を参照して説明する。図18は、実施の形態3に係る人物検索システム100の動作手順例を説明するフローチャートである。図18に示される処理は、クライアント端末90と人物検索サーバ50とにより実行される。図18に示す処理の説明において、図10に示す処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。なお、図18に示す処理の前提として、クライアント端末90は、図10あるいは図15を参照して説明したように、リスト表示枠RST1に表示された複数の切り出し画像のそれぞれに対応する人物検索サーバ50による解析結果(検索結果)を取得している。
Next, the operation procedure of the
図18において、クライアント端末90は、ステップSt1の後、リスト表示枠RST1に表示された複数の切り出し画像のうちいずれかがユーザ操作により選択されたことを検知すると、その選択された切り出し画像(例えば切り出し画像Xpc1)に映る人物が撮像された撮像映像(例えば撮像映像MV1)を人物検索画面WD1に表示して繰り返して再生する(St21)。クライアント端末90は、ステップSt1において人物検索サーバ50により生成された解析結果を取得しており、この解析結果を用いて、撮像映像MV1の再生画面中のそれぞれの人物の位置に人物枠WK1,WK2を表示する(St22)。
In FIG. 18, after step St1, when the
クライアント端末90は、ユーザ操作により、ステップSt22において表示された人物枠WK1,WK2のうちいずれか(例えば、撮像映像MV1の再生画面の表示の元になった人物枠WK1の人物とは異なる人物の人物枠WK2)が選択されたことを検知する(St23)。この場合、クライアント端末90は、選択された人物枠WK2の人物の切り出し画像を検索対象人物像表示枠PL1にコピーアンドペーストして表示する。
The
クライアント端末90は、ステップSt23の後、例えばイメージサーチボタンIS1がユーザ操作により押下されたことを検知すると、検索対象人物像表示枠PL1に表示された検索対象人物像IPS3のイメージデータとその検索対象人物像IPS3を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、前述したように、実施の形態3では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS3の元となる人物が映っていた撮像映像MV1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。
After step St23, for example, when the
人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報を含み、その識別情報に対応する撮像映像のデータの送信要求を映像レコーダ70に送る。映像レコーダ70は、人物検索サーバ50からの送信要求に基づいて、送信要求に含まれるカメラの識別情報に対応する撮像映像のデータを取得して人物検索サーバ50に送信する。人物検索サーバ50は、映像レコーダ70から送信されたカメラの撮像映像のデータを取得する。なお、人物検索サーバ50は、それぞれのカメラから送られた撮像映像のデータを蓄積部56に蓄積してもよく、この場合には、映像レコーダ70から受信して取得する代わりに、蓄積部56から直接に読み出して取得してもよい。
When the
人物検索サーバ50は、取得されたカメラの撮像映像のそれぞれを解析し、その撮像映像に映る人物を抽出して識別して一時的にメモリ52に保存する。人物検索サーバ50は、ステップSt23において選択された人物枠WK2の人物の解析結果とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出する(St24)。なお、人物検索サーバ50は、ステップSt1において生成されたそれぞれのカメラの撮像映像の解析結果を用い、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報に対応する撮像映像の解析結果(例えば切り出し画像)を読み出して取得してもよい。この場合、人物検索サーバ50は、ステップSt24において、読み出された撮像映像の解析結果(例えば切り出し画像)とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出してよい(St24)。
The
人物検索サーバ50は、ステップSt24において算出された類似度が閾値(ステップSt5参照)以上であるか否かを判断する(St7)。人物検索サーバ50は、算出された類似度が閾値以上であると判断した場合(St7、YES)、その閾値を超えた人物が映る切り出し画像(例えばサムネイル画像)を検索結果の一例として、その切り出し画像のデータとその切り出し画像をクライアント端末90に表示する旨の指示とをクライアント端末90に送る(St8)。クライアント端末90は、人物検索サーバ50から送られた指示に基づいて、該当する切り出し画像を人物検索画面WD1のリスト表示枠RST1に表示する(St8)。なお、前述したように、クライアント端末90は、リスト表示枠RST1に表示する対象となる切り出し画像を複数受け取っている場合、それらの切り出し画像を類似度の高い順、時系列順、あるいは交差点順に並べて表示してよい。
The
一方、人物検索サーバ50は、算出された類似度が閾値未満であると判断した場合(St7、NO)、ステップSt8の処理を省略する。人物検索サーバ50は、この後あるいはステップSt8の後、ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在するか否かを判断する(St9)。ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しないと判断された場合(St9、NO)、人物検索サーバ50の処理(つまり、クライアント端末90からの検索要求に対応する処理)は終了する。クライアント端末90は、人物検索サーバ50による検索結果に対応する複数人の切り出し画像を並べて表示する(図16あるいは図17参照)。
On the other hand, when the
人物検索サーバ50は、ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在すると判断した場合(St9、YES)、その次に該当する人物について、ステップSt24の処理を実行すると判断する(St25)。この後、人物検索サーバ50は、その次に該当する人物について、ステップSt24の処理を行う。人物検索サーバ50は、ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しなくなるまで、ステップSt24,ステップSt7~ステップSt9,ステップSt25の処理を繰り返して実行する。
When the
以上により、実施の形態3に係る人物検索システム100は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続された人物検索サーバ50と、人物検索サーバ50と通信可能に接続されたクライアント端末90と、を含む。人物検索サーバ50は、n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。クライアント端末90は、n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを人物検索画面WD1に表示する。クライアント端末90は、k個の撮像映像のうちいずれかに映る捜索対象人物とともに行動している同伴人物(例えば、人物枠WK2の人物)の選択に応じて、同伴人物が映るいずれかの撮像映像以外の(k-1)個の撮像映像における同伴人物の検索要求を人物検索サーバ50に送る。人物検索サーバ50は、検索要求に応じて、解析結果を用いて(k-1)個の撮像映像における同伴人物に関する解析結果を抽出してクライアント端末90に送る。クライアント端末90は、同伴人物に関する解析結果に基づいて、同伴人物と同一あるいは類似する複数の人物の切り出し画像を並べて表示する。
As described above, the
これにより、人物検索システム100は、多くの人が行き交う地点(例えば交差点)で事件等が発生した場合、複数の人物(例えば人物枠WK1,WK2のそれぞれに対応する人物)からなる犯人グループのうち選択された人物(例えば人物枠WK2の共犯人物)に視覚的に類似する人物の撮像画像をイメージサーチによって高精度に抽出できる。従って、人物検索システム100は、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援でき、警察捜査の利便性を的確に向上できる。
As a result, when an incident or the like occurs at a point (for example, an intersection) where many people come and go, the
また、クライアント端末90は、k台のカメラが設置された地点を示す地図データMP1を人物検索画面WD1に表示する。これにより、ユーザは、捜索対象人物の検索をクライアント端末90から人物検索サーバ50に要求する際に、犯人が逃走する可能性のある地点を、地図データMP1を閲覧しながら地理的な位置関係を把握した上で、検索対象となるカメラを視覚的かつ簡易に選択できる。
In addition, the
また、クライアント端末90は、同伴人物に関する解析結果に基づいて、同伴人物と同一あるいは類似する複数の人物の移動経路を地図データMP1に重畳して表示する。これにより、ユーザは、地図データMP1において事件等の犯人グループの同伴人物(例えば共犯人物)の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。
In addition, the
また、クライアント端末90は、複数の人物の切り出し画像のうち少なくとも1つの切り出し画像を削除するためのユーザ操作に応じて、地図データMP1に表示された同伴人物の移動経路を更新して表示する。これにより、ユーザは、リスト表示枠RST1に表示された複数の切り出し画像の中で、同伴人物(例えば共犯人物)と異なる不要な人物の切り出し画像を削除する操作を行うだけで、目的とする同伴人物(例えば共犯人物)の行方を的確に絞り込むことができる。
In addition, the
また、クライアント端末90は、k台のカメラのうちいずれかのカメラの撮像映像に映る人物の外形枠(例えば、人物枠WK1,WK2)をその撮像映像上に重畳して表示する。クライアント端末90は、ユーザ操作による外形枠(例えば、人物枠WK2)の選択に応じて、その選択された外形枠に対応する人物を同伴人物とする同伴人物の検索要求を人物検索サーバ50に送る。これにより、ユーザは、再生中の撮像映像MV1の再生画面中に映っている人物の中で気になる人物(例えば、主犯格とユーザが想定している人物枠WK1の人物と大抵同伴している人物枠WK2の人物)を簡易に選択するだけで、その人物を同伴人物(例えば共犯人物)とする高精度なイメージサーチをクライアント端末90に対して実行させることができ、警察捜査の効率性の向上が図られる。
In addition, the
また、クライアント端末90は、同伴人物と同一あるいは類似する複数の人物の切り出し画像を、それぞれの人物が撮像された撮像時刻の順に沿って時系列に並べて表示する。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい同伴人物(例えば共犯人物)を早期に見つけることができる。
In addition, the
また、クライアント端末90は、同伴人物と同一あるいは類似する複数の人物の切り出し画像を、同伴人物との類似性が高い順に沿って並べて表示する。これにより、ユーザは、例えば図11あるいは図12に示すスクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい同伴人物(例えば共犯人物)を早期に見つけることができる。
In addition, the
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。 Various embodiments have been described above with reference to the drawings, but it goes without saying that the present disclosure is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications, modifications, substitutions, additions, deletions, and equivalents within the scope of the claims. Naturally, it is understood that it belongs to the technical scope of the present disclosure. In addition, the constituent elements of the various embodiments described above may be combined arbitrarily without departing from the gist of the invention.
なお、上述した実施の形態1,2,3では、カメラ10,10a,…の設置場所は屋外(例えば交差点)を例示して説明したが、設置場所は屋外に限定されない。例えば、ショッピングモール等の屋内の施設内に設置されてもよい。この場合には、地図データMP1は、道路地図ではなく、該当する施設内の構内図(例えばショッピングモールの構内図)が人物検索画面WD1内に表示されてよい。
In the first, second, and third embodiments described above, the installation locations of the
また、上述した実施の形態1,2,3では、警察の捜査において捜索対象人物として事件等を引き起こした犯人あるいはその犯人と行動を共にする共犯人物を例示して説明したが、捜索対象人物はこれらの例に限定されない。例えば、屋外あるいは屋内において迷子になった子どもを捜索対象人物としてもよい。この場合には、人物検索システム100は、巡回中の警察官あるいは警備員がユーザとなって、捜索対象人物である迷子中の子どもを検索することができる。
In the above-described first, second, and third embodiments, a criminal who caused an incident or the like or an accomplice who acts with the criminal as a person to be searched in the police investigation was explained as an example, but the person to be searched is It is not limited to these examples. For example, a child lost outdoors or indoors may be the person to be searched. In this case, the
本開示は、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法として有用である。 When an incident or the like occurs in a place where many people come and go, the present disclosure extracts a photographed image of a person visually similar to the criminal with high accuracy, and efficiently grasps the visual characteristics of the criminal and the direction of escape at an early stage. It is useful as a person search system and a person search method that provide effective support and accurately improve the convenience of police investigations.
10、10a カメラ
11 撮影部
12、PRC1、PRC2、92 プロセッサ
13、52、72、95 メモリ
14、51、71、93 通信部
15、96 記録部
50 人物検索サーバ
53 人物検索部
54 人物解析部
55 タグ付与部
56 蓄積部
56a 検知情報DB
56b 事案DB
70 映像レコーダ
73 映像検索部
74 映像記録処理部
75 映像蓄積部
90 クライアント端末
91 操作部
94 ディスプレイ
100 人物検索システム
HDS ヘッドセット
10,
56b Case DB
70
Claims (4)
前記サーバは、
前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、
前記クライアント端末は、
前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを画面に表示し、
前記k台のカメラの撮像映像のうちいずれかに映る捜索対象人物の選択に応じて、前記捜索対象人物が映る撮像映像を撮像したカメラ以外の(k-1)台のカメラにより撮像された撮像映像における前記捜索対象人物の検索要求を前記サーバに送り、
前記サーバは、
前記検索要求に応じて、前記解析結果を用いて前記(k-1)台のカメラの撮像映像における前記選択された捜索対象人物の特徴情報との類似度が閾値以上となる人物および前記類似度が前記閾値以上となる人物の前記(k-1)台のカメラの配置された交差点における移動方向を抽出して前記クライアント端末に送り、
前記クライアント端末は、
前記類似度が前記閾値以上となる人物が映る切り出し画像を、前記類似度が前記閾値以上となる人物ごとに前記画面に表示するとともに、前記(k-1)台のカメラの配置された交差点における前記類似度が前記閾値以上となる人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して前記画面に表示し、
前記類似度が前記閾値以上となる人物が複数人である場合に、不要な一部の人物のそれぞれが映る前記切り出し画像を指定するユーザ操作に応じて、当該指定された前記切り出し画像に映る前記一部の人物の前記(k-1)台のカメラの配置された交差点における移動方向を前記画面の表示から削除することにより前記地図データに重畳した移動方向の表示を更新する、
人物検索システム。 a server communicably connected to each of n (n: an integer equal to or greater than 3) cameras; and a client terminal communicably connected to the server,
The server is
When different captured images sent from each of the n cameras are received, the position information and feature information of the person appearing in each of the captured images are analyzed and accumulated as analysis results,
The client terminal
displaying, on a screen, images captured by k (k: an integer equal to or greater than 2 that satisfies k≦n) cameras selected by a user operation from among the n cameras;
An image taken by (k-1) cameras other than the camera that captured the imaged image of the person to be searched in accordance with the selection of the person to be searched who appears in one of the images captured by the k cameras. Sending a search request for the person to be searched in the video to the server;
The server is
In response to the search request, a person whose similarity to the feature information of the selected search target person in the images captured by the (k−1) cameras is equal to or greater than a threshold value and the similarity using the analysis result. is equal to or greater than the threshold, extracting the moving direction of the person at the intersection where the (k−1) cameras are arranged and sending it to the client terminal,
The client terminal
A clipped image showing a person whose similarity is equal to or higher than the threshold is displayed on the screen for each person whose similarity is equal to or higher than the threshold, and at an intersection where the (k-1) cameras are arranged displaying , on the screen , the direction of movement of the person whose degree of similarity is equal to or greater than the threshold, superimposed on map data indicating an intersection where the k cameras are installed;
When there are a plurality of persons whose degree of similarity is equal to or higher than the threshold value, in response to a user operation for specifying the clipped image in which each of the unnecessary part of the persons is shown, the updating the display of the movement direction superimposed on the map data by deleting the movement direction of some people at the intersection where the (k−1) cameras are arranged from the display of the screen ;
Person search system.
前記k台のカメラのうちいずれかのカメラの撮像映像に映る人物の外形枠をその撮像映像に重畳して表示し、
前記ユーザ操作による前記外形枠の選択に応じて、その選択された前記外形枠に対応する人物を前記捜索対象人物とする前記捜索対象人物の検索要求を前記サーバに送る、
請求項1に記載の人物検索システム。 The client terminal
displaying an outline frame of a person appearing in an image captured by one of the k cameras so as to be superimposed on the image;
Sending to the server a search request for the person corresponding to the selected outline frame in response to the selection of the outline frame by the user operation.
The person search system according to claim 1.
複数の前記捜索対象人物の切り出し画像のうちいずれかの選択に応じて、その選択された切り出し画像に対応する人物を前記捜索対象人物とする前記捜索対象人物の検索要求を前記サーバに送る、
請求項1に記載の人物検索システム。 The client terminal
In response to selection of one of the clipped images of the plurality of search target persons, a search request for the search target person is sent to the server, with the person corresponding to the selected clipped image as the search target person.
The person search system according to claim 1.
前記サーバは、
前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、
前記クライアント端末は、
前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを画面に表示し、
前記k台のカメラの撮像映像のうちいずれかに映る捜索対象人物の選択に応じて、前記捜索対象人物が映る撮像映像を撮像したカメラ以外の(k-1)台のカメラにより撮像された撮像映像における前記捜索対象人物の検索要求を前記サーバに送り、
前記サーバは、
前記検索要求に応じて、前記解析結果を用いて前記(k-1)台のカメラの撮像映像における前記選択された捜索対象人物の特徴情報との類似度が閾値以上となる人物および前記類似度が前記閾値以上となる人物の前記(k-1)台のカメラの配置された交差点における移動方向を抽出して前記クライアント端末に送り、
前記クライアント端末は、
前記類似度が前記閾値以上となる人物が映る切り出し画像を、前記類似度が前記閾値以上となる人物ごとに前記画面に表示するとともに、前記(k-1)台のカメラの配置された交差点における前記類似度が前記閾値以上となる人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して前記画面に表示し、
前記類似度が前記閾値以上となる人物が複数人である場合に、不要な一部の人物のそれぞれが映る前記切り出し画像を指定するユーザ操作に応じて、当該指定された前記切り出し画像に映る前記一部の人物の前記(k-1)台のカメラの配置された交差点における移動方向を前記画面の表示から削除することにより前記地図データに重畳した移動方向の表示を更新する、
人物検索方法。 A person search method using a server communicably connected to each of n (n: an integer equal to or greater than 3) cameras and a client terminal communicably connected to the server,
The server is
When different captured images sent from each of the n cameras are received, the position information and feature information of the person appearing in each of the captured images are analyzed and accumulated as analysis results,
The client terminal
displaying, on a screen, images captured by k (k: an integer equal to or greater than 2 that satisfies k≦n) cameras selected by a user operation from among the n cameras;
An image taken by (k-1) cameras other than the camera that captured the imaged image of the person to be searched in accordance with the selection of the person to be searched who appears in one of the images captured by the k cameras. Sending a search request for the person to be searched in the video to the server;
The server is
In response to the search request, a person whose similarity to the feature information of the selected search target person in the images captured by the (k−1) cameras is equal to or greater than a threshold value and the similarity using the analysis result. is equal to or greater than the threshold, extracting the moving direction of the person at the intersection where the (k−1) cameras are arranged and sending it to the client terminal,
The client terminal
A clipped image showing a person whose similarity is equal to or higher than the threshold is displayed on the screen for each person whose similarity is equal to or higher than the threshold, and at an intersection where the (k-1) cameras are arranged displaying , on the screen , the direction of movement of the person whose degree of similarity is equal to or greater than the threshold, superimposed on map data indicating an intersection where the k cameras are installed;
When there are a plurality of persons whose degree of similarity is equal to or higher than the threshold value, in response to a user operation for specifying the clipped image in which each of the unnecessary part of the persons is shown, the updating the display of the movement direction superimposed on the map data by deleting the movement direction of some people at the intersection where the (k−1) cameras are arranged from the display of the screen ;
People search method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129406A JP7235612B2 (en) | 2019-07-11 | 2019-07-11 | Person search system and person search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129406A JP7235612B2 (en) | 2019-07-11 | 2019-07-11 | Person search system and person search method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018176489A Division JP6573346B1 (en) | 2018-09-20 | 2018-09-20 | Person search system and person search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020047259A JP2020047259A (en) | 2020-03-26 |
JP7235612B2 true JP7235612B2 (en) | 2023-03-08 |
Family
ID=69899812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019129406A Active JP7235612B2 (en) | 2019-07-11 | 2019-07-11 | Person search system and person search method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7235612B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114339433A (en) * | 2021-12-27 | 2022-04-12 | 未来电视有限公司 | Video data processing method and device and computer equipment |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268657A (en) | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for remote monitoring, and recording medium with remote monitoring program recorded thereon |
WO2012157611A1 (en) | 2011-05-16 | 2012-11-22 | 株式会社日立国際電気 | Similar image search system |
WO2014065033A1 (en) | 2012-10-26 | 2014-05-01 | 株式会社日立国際電気 | Similar image retrieval device |
JP2014153813A (en) | 2013-02-06 | 2014-08-25 | Sony Corp | Information process device, information process method, program and information process system |
US20140333775A1 (en) | 2013-05-10 | 2014-11-13 | Robert Bosch Gmbh | System And Method For Object And Event Identification Using Multiple Cameras |
WO2015098442A1 (en) | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | Video search system and video search method |
JP2017040983A (en) | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | Security system and person image display method |
JP2018093423A (en) | 2016-12-06 | 2018-06-14 | 富士通株式会社 | Image processing program, image processing system, and image processing method |
WO2018163398A1 (en) | 2017-03-10 | 2018-09-13 | 株式会社日立国際電気 | Similar image search system |
-
2019
- 2019-07-11 JP JP2019129406A patent/JP7235612B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268657A (en) | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for remote monitoring, and recording medium with remote monitoring program recorded thereon |
WO2012157611A1 (en) | 2011-05-16 | 2012-11-22 | 株式会社日立国際電気 | Similar image search system |
WO2014065033A1 (en) | 2012-10-26 | 2014-05-01 | 株式会社日立国際電気 | Similar image retrieval device |
JP2014153813A (en) | 2013-02-06 | 2014-08-25 | Sony Corp | Information process device, information process method, program and information process system |
US20140333775A1 (en) | 2013-05-10 | 2014-11-13 | Robert Bosch Gmbh | System And Method For Object And Event Identification Using Multiple Cameras |
WO2015098442A1 (en) | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | Video search system and video search method |
JP2017040983A (en) | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | Security system and person image display method |
JP2018093423A (en) | 2016-12-06 | 2018-06-14 | 富士通株式会社 | Image processing program, image processing system, and image processing method |
WO2018163398A1 (en) | 2017-03-10 | 2018-09-13 | 株式会社日立国際電気 | Similar image search system |
Also Published As
Publication number | Publication date |
---|---|
JP2020047259A (en) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6573346B1 (en) | Person search system and person search method | |
US11640726B2 (en) | Person monitoring system and person monitoring method | |
CN109886078B (en) | Retrieval positioning method and device for target object | |
CN111222373B (en) | Personnel behavior analysis method and device and electronic equipment | |
WO2014122884A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP2008165701A (en) | Image processing device, electronics equipment, image processing method, and program | |
US10976174B2 (en) | Investigation assist system and investigation assist method | |
US9852343B2 (en) | Imaging apparatus, display method, and storage medium | |
US20110096994A1 (en) | Similar image retrieval system and similar image retrieval method | |
JP7497853B2 (en) | Face Detection System | |
JP4716744B2 (en) | Video surveillance and distribution device | |
US10861339B2 (en) | Vehicle detection system and vehicle detection method | |
US20190122052A1 (en) | Investigation assist system and investigation assist method | |
JP2010267030A (en) | Apparatus and method for processing information | |
BR112021011817A2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM | |
JP6396682B2 (en) | Surveillance camera system | |
JP2006093955A (en) | Video processing apparatus | |
JP7235612B2 (en) | Person search system and person search method | |
JP6214762B2 (en) | Image search system, search screen display method | |
US20220277642A1 (en) | Investigation assistance system and investigation assistance method | |
JP2007158496A (en) | Map interconnection video monitoring method and apparatus thereof | |
JP2018195992A (en) | Person group tracking device and person group tracking method | |
WO2021102760A1 (en) | Method and apparatus for analyzing behavior of person, and electronic device | |
JP7409638B2 (en) | Investigation support system and investigation support method | |
JP6112346B2 (en) | Information collection system, program, and information collection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190731 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191205 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20201224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7235612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |