JP6573346B1 - 人物検索システムおよび人物検索方法 - Google Patents

人物検索システムおよび人物検索方法 Download PDF

Info

Publication number
JP6573346B1
JP6573346B1 JP2018176489A JP2018176489A JP6573346B1 JP 6573346 B1 JP6573346 B1 JP 6573346B1 JP 2018176489 A JP2018176489 A JP 2018176489A JP 2018176489 A JP2018176489 A JP 2018176489A JP 6573346 B1 JP6573346 B1 JP 6573346B1
Authority
JP
Japan
Prior art keywords
person
search
client terminal
image
search target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018176489A
Other languages
English (en)
Other versions
JP2020047110A (ja
Inventor
優実 三宅
優実 三宅
貴光 荒井
貴光 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2018176489A priority Critical patent/JP6573346B1/ja
Priority to US16/268,052 priority patent/US11030463B2/en
Application granted granted Critical
Publication of JP6573346B1 publication Critical patent/JP6573346B1/ja
Publication of JP2020047110A publication Critical patent/JP2020047110A/ja
Priority to US17/306,358 priority patent/US11527071B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴等の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する。【解決手段】サーバは、n台のカメラからそれぞれ送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。クライアント端末は、k(k≦n)台のカメラの撮像映像を画面に表示し、いずれかに映る捜索対象人物の選択に応じて、残りの(k−1)個の撮像映像における捜索対象人物の検索要求をサーバに送る。サーバは、(k−1)個の撮像映像における捜索対象人物に関する解析結果を抽出してクライアント端末に送る。クライアント端末は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を並べて表示する。【選択図】図15

Description

本開示は、カメラにより撮影された映像を用いて、カメラの視野に映る人物を検索する人物検索システムおよび人物検索方法に関する。
特許文献1には、監視領域において所定の事象が検知された場合に、レコーダに記録した撮像画像から被疑者が撮像された撮像画像を抽出し、被疑者の行動に基づく遷移撮像画像を表示するとともに、撮像画像の撮像位置を示す地図情報を表示する警備システムが開示されている。警備システムは、遷移撮像画像について位置表示対象の撮像画像の選択入力を受けた場合に、該当する撮像画像の撮像地点の位置情報を、地図情報上に表示する。これにより、監視領域における人物等の監視対象の行動に関する追跡情報を視覚的に得られる。
特開2017−40983号公報
しかし、特許文献1では、多くの人が行き交う地点(例えば交差点)において発生した事件または事故(以下「事件等」)を引き起こした人物(つまり犯人)に視覚的に類似する人物を撮像したカメラの撮像画像を特定し、この特定された撮像画像を手掛かりに類似する撮像画像を他のカメラの撮像映像から検索することは考慮されていない。
事件等が発生した場合、犯人の視覚的な特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、交差点に設置されたカメラにより撮影された映像や目撃情報等の手掛かりを収集し、警察官がこれらの映像や目撃情報等を頼りに、犯人に該当しそうな人物の特徴や逃走方向を把握していた。このため、警察官は犯人の特徴や逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。
本開示は、上述した従来の事情に鑑みて案出され、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴等の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法を提供することを目的とする。
また、本開示は、屋外の交差点に配置されたn(n:3以上の整数)台のカメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を含み、前記サーバは、前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、前記クライアント端末は、捜索対象人物の外見に関する特徴情報の選択に応じて、前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像において前記選択された特徴情報を満たす前記捜索対象人物の検索要求を前記サーバに送り、前記サーバは、前記検索要求に応じて、前記解析結果を用いて前記台のカメラの撮像映像における前記選択された特徴情報を満たす前記捜索対象人物および前記捜索対象人物の前記k台のカメラの配置された交差点における移動方向を前記クライアント端末に送り、前記クライアント端末は、前記捜索対象人物の切り出し画像を並べて表示するとともに、前記k台のカメラの配置された交差点における前記捜索対象人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して表示する、人物検索システムを提供する。
また、本開示は、屋外の交差点に配置されたn(n:3以上の整数)台のカメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を用いた人物検索方法であって、前記サーバは、前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、前記クライアント端末は、捜索対象人物の外見に関する特徴情報の選択に応じて、前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像において前記選択された特徴情報を満たす前記捜索対象人物の検索要求を前記サーバに送り、前記サーバは、前記検索要求に応じて、前記解析結果を用いて前記台のカメラの前記撮像映像における前記選択された特徴情報を満たす前記捜索対象人物および前記捜索対象人物の前記k台のカメラの配置された交差点における移動方向を前記クライアント端末に送り、前記クライアント端末は、前記捜索対象人物の切り出し画像を並べて表示するとともに、前記k台のカメラの配置された交差点における前記捜索対象人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して表示する、人物検索方法を提供する。
本開示によれば、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出でき、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援できるので、警察捜査の利便性を的確に向上できる。
人物検索システムのシステム構成例を示すブロック図 カメラの内部構成例を示すブロック図 人物検索サーバおよびクライアント端末のそれぞれの内部構成例を示すブロック図 映像レコーダの内部構成例を示すブロック図 カメラが設置された交差点を含む地図データを表示する人物検索画面の一例を示す図 選択されたカメラの撮像映像(ライブ映像)を表示する人物検索画面の一例を示す図 検索される捜索対象人物の特徴情報の設定画面の一例を示す図 設定された特徴情報を検索条件として用いたメタサーチによる人物検索結果を時系列に表示する人物検索画面の一例を示す図 選択された切り出し画像に対応する撮像映像の再生画面の表示例を示す図 実施の形態1に係る人物検索システムの動作手順例を説明するフローチャート 選択された切り出し画像のイメージサーチの検索条件への設定例を示す図 図9の撮像映像の再生画面に表示された人物枠を用いたイメージサーチの検索条件の設定例を示す図 図11の選択された切り出し画像あるいは図12の人物枠を用いたイメージサーチによる人物検索結果を時系列に表示する人物検索画面の一例を示す図 所定のユーザ操作による不要な人物検索結果の削除例を示す図 実施の形態2に係る人物検索システムの動作手順例を説明するフローチャート 図9の撮像映像の再生画面に表示された他の人物の人物枠をイメージサーチの検索条件として用いた場合の人物検索結果を時系列に表示する人物検索画面の一例を示す図 ユーザ操作による不要な人物検索結果の削除例を示す図 実施の形態3に係る人物検索システムの動作手順例を説明するフローチャート
(実施の形態1の構成に至る経緯)
上述した特許文献1では、多くの人が行き交う場所(例えば交差点)において発生した事件等を引き起こした人物(つまり犯人)の服装等の外見に関する特徴情報を基にして複数のカメラの撮像映像を対象として検索し、その特徴情報を満たす人物の切り出し画像を視覚的に提示することは考慮されていない。
事件等が発生した場合、犯人の外見に関する特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、交差点に設置されたカメラにより撮影された映像や目撃情報等の手掛かりを収集し、警察官がこれらの映像や目撃情報等を頼りに、犯人に該当しそうな人物の外見的な特徴や逃走方向を把握していた。このため、警察官は犯人の外見的な特徴や逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。
以下の実施の形態1では、多くの人が行き交う地点で事件等が発生した場合、犯人の服装等の外見に関する特徴情報を基にして複数のカメラの撮像映像から視覚的に類似する人物の撮像画像を抽出し、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法の例を説明する。
(実施の形態1)
以下、添付図面を適宜参照しながら、本開示に係る人物検索システムおよび人物検索方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下、多くの人が行き交う地点(例えば交差点あるいはその近辺)において事件等(例えば、事件または事故)を引き起こした犯人等の人物の捜索を行う警察捜査を人物検索システムによって支援する例を説明する。
図1は、人物検索システム100のシステム構成例を示すブロック図である。人物検索システム100は、n(n:3以上の整数)のカメラ10,10a,…と、人物検索サーバ50と、映像レコーダ70と、クライアント端末90とを含む構成である。カメラ10,10a,…のそれぞれは、図1に示すように、屋外(例えば、多くの人が行き交う交差点等の地点)に設置される。但し、カメラ10,10a,…のそれぞれは、屋外に設置されることに限定されない。人物検索サーバ50と映像レコーダ70とクライアント端末90とは、例えば警察署内の所定の部屋に設置される。但し、人物検索サーバ50と映像レコーダ70とクライアント端末90とは、警察署内に設置されることに限定されない。なお、以下の説明において、映像レコーダ70は、警察署内でのオンプレミスによる管理でなく、人物検索サーバ50とインターネット等の通信回線を介して接続されるオンラインストレージとして設けられてもよい。
人物検索システム100では、1つの交差点に対し、1台のカメラ(例えば、カメラ10)が設置される。なお、1つの交差点に対し、複数台のカメラ(例えば、カメラ10、あるいはカメラ10とは内部構成が異なる既設のカメラ)が設置されてもよい。従って、ある交差点においてはカメラ10が設置され、別の交差点においてはカメラ10aが設置される。なお、カメラ10,10a,…のそれぞれの内部構成は同一とする。カメラ10,10a,…は、イントラネットあるいはインターネットの通信回線等のネットワークNW1を介して、人物検索サーバ50および映像レコーダ70のそれぞれとの間で通信可能に接続される。ネットワークNW1は、有線通信回線(例えば、光ファイバを用いた光通信網)により構成されるが、無線通信網により構成されてもよい。
それぞれのカメラ10,10a,…は、交差点に設置された際に設定された画角で被写体(例えば、交差点の状況を示す映像)を撮像可能な監視カメラであり、人物検索サーバ50および映像レコーダ70のそれぞれに撮像映像のデータを繰り返して送る。撮像映像のデータには、撮像映像のデータに限らず、その撮像映像を撮像したカメラの識別情報(言い換えると、対応するカメラが設置された交差点の位置情報)と、撮像日時の情報とが含まれる。
人物検索サーバ50(サーバの一態様)は、例えば警察署内に設置され、その警察署の管轄地域内の全てあるいは一部の交差点に設置されたカメラ10,10a,…のそれぞれから送られた撮像映像のデータを受信し、プロセッサPRC1(図3参照)による各種の処理のためにメモリ52あるいは蓄積部56(図3参照)に一時的に保存する。
保存された撮像映像のデータは、カメラ10,10a,…のそれぞれから送られて人物検索サーバ50において受信される度に、人物検索サーバ50によって、その撮像映像に映る人物の位置情報および特徴情報の解析がなされる。その解析結果は、事件等を引き起こした犯人の検索に用いられるように、人物検索サーバ50の蓄積部56に保存される。具体的には、人物検索サーバ50は、前述した解析結果として、撮像映像の内容に関するタグ情報(例えば、撮像映像中に映る人物の顔、性別、年齢、身長、体型、服装等の特徴情報)を取得し、このタグ情報を撮像映像のデータに関連付けて付与して蓄積部56に蓄積してよい。例えば事件等のイベントが発生した場合、クライアント端末90は、犯人の人物像(捜索対象人物の一態様)に関する視覚的な外見に関する特徴情報(図7参照)を入力するユーザ操作を受け付けると、その特徴情報を満たす犯人の人物像の検索要求を生成して人物検索サーバ50に送る。人物検索サーバ50は、この検索要求に応じて、前述したそれぞれのカメラの撮像映像の解析結果を用いて、検索要求に含まれる特徴情報を満たす人物を検索する。
人物検索サーバ50は、一部の撮像映像(例えば、警察署内の管理者が使用する端末(図示略)の操作により選択された撮像映像(例えば、重要事件あるいは重大事件の撮像映像))を映像レコーダ70に送って蓄積させてもよい。
クライアント端末90は、例えば警察署内に設置され、その警察署内の職員(つまり、警察署内のユーザである警察官)により使用され、例えばラップトップ型またはノート型のPC(Personal Computer)である。ユーザは、例えば事件等が発生した場合、その事件等の発生を警察署に通報した通報者からの電話により、その事件等に関する様々な情報を目撃情報として、クライアント端末90を操作することでデータ入力して記録する。なお、クライアント端末90は、上述した型のPCに限定されず、例えばスマートフォン、タブレット端末、PDA(Personal Digital Assistant)等の通信機能を有するコンピュータであってもよい。クライアント端末90は、上述した目撃情報に合致する捜索対象人物(つまり、事件等を引き起こした犯人)の検索を人物検索サーバ50に実行させるための検索要求を人物検索サーバ50に送り、その検索結果を受信してディスプレイ94に表示する。
映像レコーダ70は、例えば警察署内に設置され、その警察署の管轄地域内の全てあるいは一部の交差点に設置されたカメラ10,10a,…のそれぞれから送られた撮像映像のデータを受信し、バックアップ等のために保存する。映像レコーダ70は、ユーザ操作に応じたクライアント端末90からの要求により、保存されているカメラの撮像映像のデータをクライアント端末90に送ってよい。なお、人物検索サーバ50、映像レコーダ70およびクライアント端末90は、警察署内のイントラネットあるいはインターネット等のネットワークNW2を介して相互に通信可能に接続される。
なお図1では、警察署内に設置される人物検索サーバ50、映像レコーダ70およびクライアント端末90はそれぞれ1台だけ示されているが、それぞれ複数台が設けられてよい。また、人物検索システム100において、警察署も複数の警察署が含まれてよい。また、図1に示す人物検索システム100において、人物検索サーバ50およびクライアント端末90のそれぞれの構成は、同一のコンピュータ装置(例えば、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ)により構成されてもよい。つまり、人物検索サーバ50およびクライアント端末90の代わりに、人物検索サーバ50およびクライアント端末90のそれぞれの機能を有するコンピュータ装置が設けられてもよい。
図2は、カメラ10,10a,…の内部構成例を示すブロック図である。前述したように、カメラ10,10a,…のそれぞれは同一の構成を有し、以下、カメラ10を例示して説明する。図2に示すように、カメラ10は、撮影部11と、プロセッサ12と、メモリ13と、通信部14と、記録部15とを含む構成である。また、カメラ10は、複数の撮影部を有してもよく、例えば2方向に画角を有するマルチセンサカメラとしてもよい。これは、第1の撮影部(例えば撮影部11)が交差点全体を撮影可能に広域に撮像し、第2の撮影部が第1の撮影部の画角の死角となる範囲(例えば、カメラ10の設置個所から鉛直方向下側の歩行者が歩く領域)を捉えるように撮像するためである。なお、複数の撮影部が設けられる場合でも、それぞれの撮影部の内部構成は同一とするので、撮影部11
を例示して説明する。
撮影部11は、集光用のレンズと、CCD(Charge Coupled Device)型イメージセンサもしくはCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の固体撮像素子とを有する構成である。撮影部11は、カメラ10の電源がオンである間、固体撮像素子による撮像に基づいて得られた被写体の撮像映像のデータを常時プロセッサ12に出力する。また、撮影部11は、それぞれ撮像時のズーム倍率を変更させる機構を備えてもよい。
プロセッサ12は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)もしくはFPGA(Field-Programmable Gate Array)を用いて構成される。プロセッサ12は、カメラ10の制御部として機能し、カメラ10の各部の動作を全体的に統括するための制御処理、カメラ10の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ12は、メモリ13に記憶されたプログラムおよびデータに従って動作する。プロセッサ12は、動作時にメモリ13を使用し、現在の時刻情報を取得したり、撮影部11により撮像された撮像映像のデータに対して各種の公知の画像処理を施した上で記録部15に記録したりする。なお、図2には図示を省略しているが、カメラ10がGPS(Global Positioning System)受信部を有する場合、GPS受信部から現在の位置情報を取得し、撮像映像のデータに位置情報を更に対応付けて記録してよい。
ここでGPS受信部について簡単に説明する。GPS受信部は、複数のGPS発信機(例えば4個の航法衛星)から送信される、各自の信号送信時刻および位置座標を含む衛星信号を受信する。GPS受信部は、複数の衛星信号を用いて、現在のカメラの位置座標および衛星信号の受信時刻を算出する。なお、この算出は、GPS受信部ではなく、GPS受信部からの出力が入力されたプロセッサ12により実行されてよい。なお、受信時刻の情報は、カメラのシステム時刻の補正のためにも使用されてよい。システム時刻は、例えば撮像映像を構成する撮像画像の撮像時刻の記録等に利用される。
また、プロセッサ12は、通信部14により受信された外部からの制御コマンドに従って、撮影部11による撮影条件(例えば、ズーム倍率)を可変的に制御してもよい。例えば、外部からの制御コマンドがズーム倍率の変更を指示する場合、プロセッサ12は、その制御コマンドに従って、その制御コマンドで選択される撮影部の撮影時におけるズーム倍率を変更する。
また、プロセッサ12は、記録部15に記録された撮像映像のデータを、通信部14を介して人物検索サーバ50および映像レコーダ70のそれぞれに繰り返して送る。ここで、繰り返して送るとは、定められた一定周期の時間経過の度に送信することに限定されず、一定周期ではなく定められた不規則な時間間隔の経過の度に送信することも含まれてよく、複数回にわたって送信することを含む。
メモリ13は、例えばRAM(Random Access Memory)とROM(Read Only Memory)を用いて構成され、カメラ10の動作の実行に必要なプログラムおよびデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサ12の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ12を制御するためのプログラムおよびデータを予め記憶する。また、メモリ13は、例えばカメラ10を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
通信部14は、プロセッサ12の指示に基づいて、上述したネットワークNW1を介して、記録部15に記録された撮像映像のデータを人物検索サーバ50および映像レコーダ70にそれぞれ送る。また、通信部14は、外部(例えば、人物検索サーバ50)から送られたカメラ10の制御コマンドを受信したり、カメラ10の状態情報を外部(例えば、人物検索サーバ50)に送信したりする。
記録部15は、カメラ10に内蔵される半導体メモリ(例えばフラッシュメモリ)、またはカメラ10に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部15は、プロセッサ12により生成された撮像映像のデータを前述したカメラ10の識別情報および撮像日時の情報と対応付けて記録する。記録部15は、所定時間(例えば30秒)分の撮像映像のデータを常時プリバッファリングして保持し、現在時刻より所定時間(例えば30秒)前までの撮像映像のデータを上書きしながら蓄積し続ける。なお、記録部15がメモリカードで構成される場合、カメラ10の筐体に挿抜自在に装着される。
図3は、人物検索サーバ50およびクライアント端末90のそれぞれの内部構成例を示すブロック図である。人物検索サーバ50とクライアント端末90と映像レコーダ70とは、ともに警察署内に設けられた有線LAN(Local Area Network)等のイントラネットを用いて接続されるが、無線LAN等の無線ネットワークを介して接続されてもよい。
人物検索サーバ50は、通信部51と、メモリ52と、人物検索部53と、人物解析部54と、タグ付与部55と、蓄積部56とを含む構成である。人物検索部53と、人物解析部54と、タグ付与部55とは、例えばCPU、DSP、FPGA等のプロセッサPRC1により構成される。
通信部51は、イントラネット等のネットワークNW1を介して接続されたカメラ10,10a,…との間で通信を行い、カメラ10,10a,…からそれぞれ送られた撮像映像(つまり、交差点を行き交う人々の状況を示す映像)のデータを受信する。また、通信部51は、警察署内に設けられたイントラネット等のネットワークNW2を介して、クライアント端末90との間で通信を行い、クライアント端末90から送られた捜索対象人物の検索要求を受信したり、その検索要求の応答を送信したりする。また、通信部51は、メモリ52あるいは蓄積部56にて保持されている撮像映像のデータを映像レコーダ70に送る。
メモリ52は、例えばRAMとROMを用いて構成され、人物検索サーバ50の動作の実行に必要なプログラムやデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサPRC1の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC1を制御するためのプログラムおよびデータを予め記憶する。また、メモリ52は、例えば人物検索サーバ50を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
人物検索部53は、クライアント端末90から送られた捜索対象人物の検索要求に基づいて、蓄積部56に記録されているデータの中から、検索要求に含まれる特徴情報(検索条件の一態様)を満たす人物が映る撮像画像を検索する。人物検索部53は、検索結果を抽出し、その抽出された検索結果のデータを、通信部51を介してクライアント端末90に送る。
人物解析部54は、例えばそれぞれのカメラ10,10a,…からの撮像映像のデータが蓄積部56に保存される度に、その保存されている撮像映像のデータを解析する。人物解析部54は、その撮像映像に映る人物(言い換えると、カメラが設置された交差点あるいはその付近に存在する人々)に関する情報を解析して取得する。人物解析部54は、人物の顔が映る切り出し画像を人物に関する情報の一例として生成し、更に、例えば性別、年齢、身長、体型、服装等の特徴情報と、人物の居場所を示す位置情報と、人物の交差点通過時の移動方向(具体的には、交差点への流入方向と、その交差点からの流出方向)とを人物に関する情報として取得してタグ付与部55に送る。人物解析部54は、例えば複数枚の撮像画像のフレームの時間的な差分に基づいて、人物の交差点通過時の走行方向を判別可能である。移動方向は、例えば人物が交差点に設けられた横断歩道をどの方向に移動して通過したかを示す。
タグ付与部55は、人物解析部54により得られた人物に関する情報と人物解析部54が解析に用いた撮像映像の撮像日時および地点(つまり、交差点の位置)とを対応付け(タグ付けの一態様)して蓄積部56の解析情報DB(Database)56aに記録する。これにより、人物検索サーバ50は、どの交差点のいつの時点で撮像された撮像映像にどのような人物情報が付与されたのかを明確に判別可能となる。なお、タグ付与部55の処理は、人物解析部54により実行されてもよく、この場合にはタグ付与部55の構成を不要にできる。
蓄積部56は、例えばハードディスク(HDD:Hard Disk Drive)またはソリッドステートドライブ(SSD:Solid State Drive)を用いて構成される。蓄積部56は、カメラ10,10a,…から送られた撮像映像のデータを、その撮像映像を撮像したカメラの識別情報(言い換えると、対応するカメラが設置された交差点の位置情報)および撮像日時の情報と対応付けて記録する。また、蓄積部56は、それぞれのカメラ10,10a,…が設置された交差点の位置を示す道路地図の情報も記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図の情報を記録する。また、蓄積部56は、それぞれの交差点に設置された1台のカメラとその交差点との対応関係を示す交差点カメラ設置データを記録している。交差点カメラ設置データは、例えば交差点の識別情報とカメラの識別情報とが対応付けられている。従って、蓄積部56は、カメラの撮像映像のデータを、撮像日時の情報、カメラ情報および交差点情報と対応付けて記録している。なお、道路地図の情報は、クライアント端末90のメモリ95において記録される。
また、蓄積部56は、解析情報DB56aおよび事案DB56bを有する。
解析情報DB56aは、タグ付与部55の出力(つまり、人物解析部54によりカメラの撮像映像が解析された結果として得られる人物情報と、解析に使用された撮像映像の日時および地点の情報とのセット)を格納する。解析情報DB56aは、例えば人物検索部53が捜索対象人物の検索要求に含まれる特徴情報を満たす人物情報の抽出の際に参照される。
事案DB56bは、事件等の事案ごとに、事案が発生した日時、地点等の目撃情報ならびにその目撃情報およびクライアント端末90からの捜索対象人物の検索要求に基づいて人物検索部53が検索した結果のデータ等の事案詳細情報(例えば、地図データMP1と検索条件と検索結果である切り出し画像のデータ)を登録して格納する。事案詳細情報は、例えば、事案が発生した日時および地点等の事案情報、検索された人物のサムネイル画像(前述した切り出し画像)、事案が発生した地点を含む周辺地図情報、人物の交差点の流入出方向、人物の交差点通過時刻、ユーザのメモを含む。なお、事案詳細情報は、上述した内容に限定されない。
クライアント端末90は、操作部91と、プロセッサ92と、通信部93と、ディスプレイ94と、メモリ95と、記録部96とを含む構成である。クライアント端末90は、警察署内の職員(即ち、ユーザである警察官)により使用される。ユーザは、事件等の目撃者等によってその事件等の発生を通報するための電話があった場合、ヘッドセットHDSを装着して電話に応対する。ヘッドセットHDSは、クライアント端末90に接続されて使用され、ユーザの発する音声を収音したり、話し相手(即ち、通報者)の発した音声を出力したりする。
操作部91は、ユーザの操作を検出するユーザインターフェース(UI:User Interface)であり、マウスあるいはキーボード等を用いて構成される。操作部91は、ユーザの操作に基づく信号をプロセッサ92に出力する。操作部91は、例えば、ユーザが調べる事件等の事案の発生日時および地点の交差点の撮像映像を確認したい場合、その日時および地点、人物の特徴を含む検索条件の入力を受け付ける。
プロセッサ92は、例えばCPU、DSPまたはFPGAを用いて構成され、クライアント端末90の制御部として機能し、クライアント端末90の各部の動作を全体的に統括するための制御処理、クライアント端末90の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ92は、メモリ95に記憶されたプログラムおよびデータに従って動作する。プロセッサ92は、動作時にメモリ95を使用し、現在の時刻情報を取得したり、人物検索サーバ50から送られた捜索対象人物の検索結果、あるいは映像レコーダ70から送られた撮像映像をディスプレイ94に表示したりする。また、プロセッサ92は、操作部91により入力された検索条件を含む捜索対象人物の検索要求を生成し、その検索要求を、通信部93を介して人物検索サーバ50に送信する。
通信部93は、イントラネット等のネットワークNW2を介して接続された人物検索サーバ50あるいは映像レコーダ70との間で通信を行う。例えば、通信部93は、人物検索サーバ50に対してプロセッサ92が生成した検索要求を送信したり、人物検索サーバ50から送られた捜索対象人物の検索結果を受信したりする。また、通信部93は、映像レコーダ70に対してプロセッサ92が生成した撮像映像の取得要求を送信したり、その取得要求に対応する映像レコーダ70から送られた撮像映像を受信したりする。
ディスプレイ94は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等の表示デバイスを用いて構成され、プロセッサ92から送られた各種のデータを表示する。
メモリ95は、例えばRAMとROMを用いて構成され、クライアント端末90の動作の実行に必要なプログラムやデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサ92の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ92を制御するためのプログラムおよびデータを予め記憶する。また、メモリ95は、例えばクライアント端末90を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
記録部96は、例えばハードディスクドライブまたはソリッドステートドライブを用いて構成される。記録部96は、それぞれのカメラ10,10a,…が設置された交差点の位置を示す道路地図の情報も記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図の情報を記録する。また、記録部96は、それぞれの交差点に設置された1台のカメラとその交差点との対応関係を示す交差点カメラ設置データを記録している。交差点カメラ設置データは、例えば交差点の識別情報とカメラの識別情報とが対応付けられている。従って、記録部96は、カメラの撮像映像のデータを、撮像日時の情報、カメラ情報および交差点情報と対応付けて記録している。
図4は、映像レコーダ70の内部構成例を示すブロック図である。映像レコーダ70は、イントラネット等のネットワークNW1を介してカメラ10,10a,…のそれぞれとの間で通信可能に接続され、また、イントラネット等のネットワークNW2を介して人物検索サーバ50およびクライアント端末90との間で通信可能に接続されている。
映像レコーダ70は、通信部71と、メモリ72と、映像検索部73と、映像記録処理部74と、映像蓄積部75とを含む構成である。映像検索部73と、映像記録処理部74とは、例えばCPU、DSP、FPGAなどのプロセッサPRC2により構成される。
通信部71は、イントラネット等のネットワークNW1を介して接続されたカメラ10,10a,…のそれぞれとの間で通信を行い、カメラ10,10a,…のそれぞれから送られた撮像映像(つまり、交差点を行き交う人々の状況を示す映像)のデータを受信する。また、通信部71は、警察署内に設けられたイントラネット等のネットワークNW2を介して、クライアント端末90との間で通信を行い、クライアント端末90から送られた映像要求を受信したり、その映像要求の応答を送信したりする。
メモリ72は、例えばRAMとROMを用いて構成され、映像レコーダ70の動作の実行に必要なプログラムやデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサPRC2の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC2を制御するためのプログラムおよびデータを予め記憶する。また、メモリ72は、例えば映像レコーダ70を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
映像検索部73は、クライアント端末90から送られた映像要求に基づいて、その映像要求に合致するカメラの撮像映像を、映像蓄積部75を検索することで抽出する。映像検索部73は、抽出された撮像映像のデータを、通信部71を介してクライアント端末90に送る。
映像記録処理部74は、例えばカメラ10,10a,…のそれぞれからの撮像映像のデータが通信部71において受信される度に、その受信された撮像映像のデータを映像蓄積部75に記録する。
映像蓄積部75は、例えばハードディスクまたはソリッドステートドライブを用いて構成される。映像蓄積部75は、カメラ10,10a,…のそれぞれから送られた撮像映像のデータを、その撮像映像を撮像したカメラの識別情報(言い換えると、対応するカメラが設置された交差点の位置情報)および撮像日時の情報と対応付けて記録する。
次に、警察捜査の際に、クライアント端末90のディスプレイ94に表示される各種の画面例について、図5から図9を参照して説明する。図5〜図9の説明において、図中に示される要素と同一の要素については同一の符号を参照して説明を簡略化あるいは省略する。
警察捜査において、クライアント端末90は、警察官(ユーザの一態様)の操作により、予めインストールされている人物検索アプリケーション(以下「人物検索アプリ」)を起動して実行中である。なお、この人物検索アプリのプログラムおよびデータは、クライアント端末90のメモリ95のROM内に格納されている。人物検索アプリは、警察官の操作により、プロセッサ92により起動されて実行される。なお、人物検索アプリの起動中においてプロセッサ92により作成される各種のデータあるいは情報は、一時的にメモリ95のRAMに保持される。
図5は、カメラが設置された交差点を含む地図データMP1を表示する人物検索画面WD1の一例を示す図である。プロセッサ92は、人物検索アプリの起動後に人物検索画面WD1(画面の一態様)をディスプレイ94に表示する。人物検索画面WD1は、クライアント端末90の記録部96に記録されている道路地図の情報に対応する地図データMP1と複数の検索条件の入力欄との両方が並べて表示される構成である。以下の説明において、プロセッサ92により実行される人物検索アプリは、その実行中に人物検索サーバ50あるいは映像レコーダ70との間で通信を行う。
地図データMP1上には、例えば「AA Street」と「CC Street」との交差点に配置された第1カメラの位置を示すアイコンITM1と、「BB Street」と「CC Street」との交差点に配置された第2カメラの位置を示すアイコンITM2と、「AA Street」と「DD Street」との交差点に配置された第3カメラの位置を示すアイコンITM3と、「BB Street」と「DD Street」との交差点に配置された第4カメラの位置を示すアイコンITM4とがそれぞれ判明可能に示される。従って、以下の説明においては、カメラの設置台数を示すパラメータn(n:3以上の整数)を「4」とする。
なお、以下の説明において、便宜的に、「AA Street」と「CC Street」との交差点の地名を「Point 1」とし、「BB Street」と「CC Street」との交差点の地名を「Point 2」とし、「AA Street」と「DD Street」との交差点の地名を「Point 3」とし、「BB Street」と「DD Street」との交差点の地名を「Point 4」とする。また、前述した第1カメラ、第2カメラ、第3カメラおよび第4カメラは、図2に示すカメラ10,10a,…のそれぞれと同一の構成を有している。
また、人物検索アプリは、ユーザ操作により、カメラ選択枠ASWK1を地図データMP1に表示する。カメラ選択枠ASWK1は、人物検索画面WD1に表示されるカメラの撮像映像(例えばライブ映像)の選択に用いられる。例えば図5では、ユーザ操作により、第1カメラおよび第2カメラがカメラ選択枠ASWK1により選択されている。人物検索アプリは、カメラ選択枠ASWK1による選択に連動して、ユーザ操作により選択されたカメラ(具体的には第1カメラおよび第2カメラ)の設置された地点(つまり、「Point 1」,「Point 2」)が人物検索画面WD1における撮像映像の表示対象であることを示す地点選択枠SEL0を人物検索画面WD1に表示する。なお、図5に示すカメラ選択枠ASWK1は矩形状であるが、この形状に限定されず、円、楕円、三角等のよく知られた各種の形状のうちいずれかであってよい。
図6は、選択されたカメラの撮像映像(ライブ映像)を表示する人物検索画面WD1の一例を示す図である。図6に示すように、ユーザ操作により、地図データMP1においてk(k:k≦nを満たす2以上の整数)台のカメラ(具体的には、k=3であり、k=1に対応する第1カメラ、k=2に対応する第2カメラ、k=3に対応する第3カメラ)がカメラ選択枠ASWK1により選択済みである。人物検索アプリは、カメラ選択枠ASWK1により選択済みであることを示すために、アイコンITM1,ITM2,ITM3の表示態様を他のアイコンITM4と異なるように変更する。具体的には、人物検索アプリは、アイコンITM,ITM2,ITM3を特定色(例えば赤色)に塗り替えた選択済みアイコンSEL1,SEL2,SEL3に変更して表示する。これにより、人物検索アプリは、前述した地点選択枠SEL0が第1カメラ,第2カメラ,第3カメラのそれぞれ対応する「Point1」,「Point 2」,「Point 3」の3地点が人物検索画面WD1における撮像映像の表示対象であることを示す地点選択枠SEL0を人物検索画面WD1に表示する。
人物検索アプリは、地点選択枠SEL0あるいは選択済みアイコンSEL1に対応する第1カメラ(つまり、「Point 1」の地点)の撮像映像MV1(ライブ映像)の表示画面を、撮像時刻および撮像地点名とともに人物検索画面WD1に表示する。同様に、人物検索アプリは、地点選択枠SEL0あるいは選択済みアイコンSEL2に対応する第2カメラ(つまり、「Point 2」の地点)の撮像映像MV2(ライブ映像)の表示画面を、撮像時刻および撮像地点名とともに人物検索画面WD1に表示する。同様に、人物検索アプリは、地点選択枠SEL0あるいは選択済みアイコンSEL3に対応する第3カメラ(つまり、「Point 3」の地点)の撮像映像MV3(ライブ映像)の表示画面を、撮像時刻および撮像地点名とともに人物検索画面WD1に表示する。人物検索アプリは、それぞれの撮像映像MV1,MV2,MV3に、ライブ映像であることを示すライブマーカMK1を表示する。
なお、クライアント端末90は、人物検索サーバ50が第1カメラ、第2カメラ、第3カメラのうち少なくとも1つ(例えば第1カメラ)から撮像映像(ライブ映像)を受信できない場合等に、そのカメラ(例えば第1カメラ)が設置された「Point 1」において過去に撮像されて映像レコーダ70に保存された撮像映像のデータを、映像レコーダ70に要求してもよい。この場合、クライアント端末90は、クライアント端末90からの要求に応じて映像レコーダ70から送られた過去の「Point 1」における撮像映像のデータを受信して人物検索画面WD1に表示してもよい。また、クライアント端末90は、人物検索サーバ50が第1カメラ、第2カメラ、第3カメラのうち少なくとも1つ(例えば第1カメラ)から撮像映像(ライブ映像)を受信できない場合等に、クライアント端末90の外部入力端子(図示略)を介して入力された撮像映像のデータ、あるいは記録部96に既に保存されていた撮像映像のデータを取得し、その撮像映像のデータを人物検索画面WD1に表示してもよい。
また、人物検索アプリは、警察捜査における捜索対象人物の検索を支援するための各種のボタンを人物検索画面WD1に表示する。例えば、検索の対象期間の開始日時を選択するための期間開始ボタンDB1と、検索の対象期間の終了日時を選択するための期間終了ボタンDE1と、が配置される。また、検索される捜索対象人物の外見的なイメージあるいは雰囲気を示す検索対象人物像表示枠PL1が配置される。
また、人物検索アプリは、捜索対象人物の検索において、2種類の検索方法の検索要求を人物検索サーバ50に実行できる。第1の検索方法は、メタサーチであり、例えば図7に示す設定画面DTL1において設定されるメタ情報に基づいて、そのメタ情報における特徴点の類似度が同一あるいは所定値以内となる特徴点を有する捜索対象人物を検索する方法である。実施の形態1ではこのメタサーチについて説明する。人物検索アプリは、このメタサーチを人物検索サーバ50に要求するためのメタサーチボタンMS1を人物検索画面WD1に表示する。
第2の検索方法は、イメージサーチであり、例えば図11に示す切り出し画像Xpc1あるいは図12に示す人物枠WK1において選択されるイメージデータに基づいて、そのイメージデータにおける特徴点の類似度が同一あるいは所定値以内となる特徴点を有する捜索対象人物を検索する方法である。実施の形態2ではこのイメージサーチについて説明する。人物検索アプリは、このイメージサーチを人物検索サーバ50に要求するためのイメージサーチボタンIS1を人物検索画面WD1に表示する。
また、人物検索アプリは、人物検索画面WD1における捜索対象人物の検索結果のデータを事案レポートとして保存するためのレポートボタンRP1を人物検索画面WD1に表示する。ユーザ操作によりレポートボタンRP1が選択されると、人物検索アプリは、人物検索画面WD1における捜索対象人物の検索結果のデータ(例えば、地図データMP1と検索条件と検索結果である切り出し画像のデータ)を事案レポートとして記録部96に保存する。また、クライアント端末90は、事案レポートのデータを事案レポートの識別情報(例えばファイル名)と対応付けて人物検索サーバ50に送ってよい。人物検索サーバ50は、事案レポートの識別情報(例えばファイル名)に対応付けられる事案レポートのデータを事案DB56bに保存する。
また、人物検索アプリは、表示中の人物検索画面WD1を初期状態(言い換えると、捜索対象人物の検索開始前)の人物検索画面WD1に戻すためのリセットボタンRS1を人物検索画面WD1に表示する。これにより、ユーザは、例えば人物検索画面WD1における捜索対象人物の検索の際に間違った操作を行った場合等に、捜索対象人物の検索を最初から簡易にやり直すことができる。
図7は、検索される捜索対象人物の特徴情報の設定画面DTL1の一例を示す図である。人物検索アプリは、ユーザ操作により、捜索対象人物を検索するための検索条件の3大要素として、主に日付(Time&Date)と、特徴(Characteristics)と、服装(Decoration)とをユーザに設定可能な設定画面DTL1を人物検索画面WD1に重畳して表示する。また、人物検索アプリは、ユーザ操作により特徴(Characteristics)および服装(Decoration)の設定により特定される検索対象人物像IPS1を設定画面DTL1に表示する。これにより、ユーザは、自ら設定した特徴(Characteristics)および服装(Decoration)の結果に相当する検索対象人物像IPS1を視覚的に確認でき、自らの設定の是非を簡易に判断できる。
日付(Time&Date)には、捜索対象人物の検索期間の開始日時および終了日時をそれぞれ設定可能とするためのカレンダーアイコンが表示される。例えば、ユーザ操作により、日付(Time&Date)のカレンダーアイコンが選択されると、人物検索アプリは、カレンダーボックスCAL1を地図データMP1に重畳して表示する。これにより、ユーザ操作により、捜索対象人物の検索期間の開始日時および終了日時が選択可能となる。なお、カレンダーアイコンの選択に限らず、ユーザ操作により、捜索対象人物の検索期間の開始日時および終了日時が直接に入力されてもよい。例えば図7では、日付(Time&Date)として、「2018年8月24日の午後12時」から「2018年8月24日の午後1時」が選択されている。
また、特徴(Characteristics)には、捜索対象人物の外見の一部に関する情報の選択肢が選択可能に表示される。表示される選択肢は、性別に関する選択肢(具体的には「Male」あるいは「Female」)と、年齢に関する選択肢(具体的には「Younger」、「Middle」あるいは「Older」)と、身長に関する選択肢(具体的には「Small」、「Normal」あるいは「Large」)と、
体型に関する選択肢(具体的には「Slim」、「Normal」あるいは「Thick)である。これにより、ユーザは、捜索対象人物の性別やサイズ等の外見的な特徴をきめ細かく選択できる。例えば図7では、特徴(Characteristics)として、「男性(Male)」、「年配(Older)」、「細身(Slim)」が選択されている。
また、服装(Decoration)には、捜索対象人物の外見の一部に関する情報の選択肢が選択可能に表示される。表示される選択肢は、所持品に関する選択肢(具体的には「with bag」あるいは「no bag」)と、装着物に関する選択肢(具体的には「with hat」あるいは「no hat」)と、上半身の服装に関する選択肢(具体的には「Long sleeved」あるいは「Short sleeved」)と、下半身の服装に関する選択肢(具体的には「Long Pants」、「Short Pants」あるいは「Skirt」)と、髪型に関する選択肢(具体的には「Long Hair」、「Short Hair」あるいは「No Hair」)である。また、服装や所持品、装着物については色も選択可能である。例えば、赤色(Red)、青色(Blue)、緑色(Green)、黄色(Yellow)、橙色(Orange)、茶色(Brown)、紫色(Purple)、灰色(Gray)、黒色(Black)、白色(White)から選択可能である。これにより、ユーザは、捜索対象人物の服装等に関する外見的な特徴をきめ細かく選択できる。例えば図7では、服装(Decoration)として、「鞄持ち(with bag)」、「帽子被り(with hat)」、「長袖(Long sleeved)」、「長ズボン(Long Pants)」が選択されており、上半身の服装については「青色(Blue)」が選択され、下半身の服装については「灰色(Gray)」が選択されている。
図8は、設定された特徴情報を検索条件として用いたメタサーチによる人物検索結果を時系列に表示する人物検索画面WD1の一例を示す図である。人物検索アプリは、図7に示す設定画面DTL1において選択された検索対象人物像IPS1と一部の検索条件CON1とを検索対象人物像表示枠PL1に表示する。
人物検索アプリは、検索対象人物像表示枠PL1に検索対象人物像IPS1が表示された状態で、ユーザ操作によりメタサーチボタンMS1が押下されたことを検知する。この場合、人物検索アプリ(具体的には、プロセッサ92)は、検索対象人物像表示枠PL1に表示された検索対象人物像IPS1を特定するための各種の検索条件(例えば、検索期間を示す日付、捜索対象人物の特徴情報)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、蓄積部56の解析情報DB56aに保存された解析結果を用いて、メタサーチにより、検索要求に含まれる各種の検索条件を満たす捜索対象人物と同一あるいは類似する人物(例えば予め指定された類似度の閾値以上となる人物)を検索する。人物検索サーバ50は、検索結果をクライアント端末90に送る。
人物検索アプリ(具体的には、プロセッサ92)は、通信部93を介して受信された検索結果を取得すると、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を並べてリスト表示枠RST1内に表示する。それぞれの切り出し画像は、例えばサムネイル画像である。なお、人物検索アプリは、リスト表示枠RST1内に全ての切り出し画像を表示できない場合には、スクロールバーSCR1のユーザ操作により残りの切り出し画像をスクロールして表示でき、以下の実施の形態でも同様である。
例えば、人物検索アプリは、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を、検索対象人物像IPS1と同一あるいは類似する順に表示してよい。これにより、ユーザは、スクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
例えば、人物検索アプリは、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を、それぞれの切り出し画像が撮像された撮像時刻の順(例えば、撮像時刻の古い順あるいは新しい順)に時系列に表示してよい。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
例えば、人物検索アプリは、捜索対象人物(つまり、検索対象人物像IPS1)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc2,Xpc3,Xpc4,Xpc5,Xpc6,Xpc7,Xpc8,Xpc9,Xpc10,Xpc11,Xpc12,Xpc13,Xpc14,Xpc15,…を、それぞれの切り出し画像に対応するカメラの設置された交差点ごとに纏めて表示してよい。これにより、ユーザは、捜索対象人物の存在する可能性のある交差点を把握している場合等に、該当する交差点に対応して纏めて表示された一個あるいは複数個の切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
図9は、選択された切り出し画像Xpc1に対応する撮像映像MV1の再生画面の表示例を示す図である。人物検索アプリは、リスト表示枠RST1内に表示された複数個の切り出し画像Xpc1〜Xpc15,…のうちいずれかの切り出し画像(例えば切り出し画像Xpc1)が所定のユーザ操作により選択されたことを検知する。この場合、人物検索アプリは、選択された切り出し画像Xpc1に対応する撮像映像MV1(つまり、切り出し画像Xpc1に映る人物が撮像された時点におけるカメラの撮像映像)を再生可能な再生画面を表示する。人物検索アプリは、この再生画面において、「再生」、「一時停止」、「早送り」、「早戻し」、「最初に戻す」、「次に進む」等の各種のユーザ操作を受け付けるためのアイコンを配置して表示する。
また、人物検索アプリは、撮像映像MV1の再生画面の表示に連動して、いずれかの切り出し画像(例えば切り出し画像Xpc1)の選択前に表示されていた撮像映像MV2,MV3の表示画面を、地図データMP1の対応する交差点の周囲に配置換えして表示する。これにより、ユーザは、撮像映像MV2,MV3の表示画面と対応する交差点との位置の相関性を直感的かつ視覚的に分かり易く把握でき、警察捜査を効率的に支援できる。
次に、実施の形態1に係る人物検索システム100の動作手順について、図10を参照して説明する。図10は、実施の形態1に係る人物検索システム100の動作手順例を説明するフローチャートである。図10に示される処理は、クライアント端末90と人物検索サーバ50とにより実行される。
図10において、人物検索サーバ50は、人物検索システム100を構成するカメラ10,10a,…のそれぞれから送られた撮像映像のデータを受信する度に、その撮像映像のデータを解析する。人物検索サーバ50は、解析により、人物に関する情報(例えば、人物が映る切り出し画像、人物の特徴、人物の位置、人物の交差点通過時の移動方向)を解析結果として生成して蓄積部56の解析情報DB56aに保存する(St1)。このステップSt1の処理は、人物検索サーバ50がクライアント端末90からの検索要求を取得する事前に行われる。
クライアント端末90は、捜索対象人物(例えば検索対象人物像IPS1)の検索条件として、検索対象人物像IPS1を構成するための各種の特徴情報のユーザ操作による選択(図7参照)を受け付ける(St2)。クライアント端末90は、ユーザ操作により、捜索対象人物の検索対象となるカメラの撮像映像の選択を受け付ける(St3)。なお、ステップSt2,St3の処理は順不同で構わない。クライアント端末90は、ステップSt2,St3の後、例えばメタサーチボタンMS1がユーザ操作により押下されたことを検知すると、検索対象人物像表示枠PL1に表示された検索対象人物像IPS1を特定するための各種の検索条件(例えば、検索期間を示す日付、捜索対象人物の特徴情報)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、人物検索サーバ50に送信する。
人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報に対応する撮像映像に対応する解析結果(ステップSt1参照)を解析情報DB56aから取り出す(St4)。人物検索サーバ50は、予め選択された類似度の閾値に関する情報を、例えばメモリ52から読み出して設定する(St5)。人物検索サーバ50は、ステップSt5の後、ステップSt4において取り出された解析結果(人物に関する情報)とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図7参照)とをメタサーチによって比較して類似度を算出する(St6)。
人物検索サーバ50は、ステップSt6において算出された類似度が閾値(ステップSt5参照)以上であるか否かを判断する(St7)。人物検索サーバ50は、算出された類似度が閾値以上であると判断した場合(St7、YES)、その閾値を超えた人物が映る切り出し画像(例えばサムネイル画像)を検索結果の一例として、その切り出し画像のデータとその切り出し画像をクライアント端末90に表示する旨の指示とをクライアント端末90に送る(St8)。クライアント端末90は、人物検索サーバ50から送られた指示に基づいて、該当する切り出し画像を人物検索画面WD1のリスト表示枠RST1に表示する(St8)。なお、前述したように、クライアント端末90は、リスト表示枠RST1に表示する対象となる切り出し画像を複数受け取っている場合、それらの切り出し画像を類似度の高い順、時系列順、あるいは交差点順に並べて表示してよい。
一方、人物検索サーバ50は、算出された類似度が閾値未満であると判断した場合(St7、NO)、ステップSt8の処理を省略する。人物検索サーバ50は、この後あるいはステップSt8の後、ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在するか否かを判断する(St9)。ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しないと判断された場合(St9、NO)、人物検索サーバ50の処理(つまり、クライアント端末90からの検索要求に対応する処理)は終了する。クライアント端末90は、人物検索サーバ50による検索結果に対応する複数人の切り出し画像を並べて表示する(図8あるいは図9参照)。
人物検索サーバ50は、ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在すると判断した場合(St9、YES)、その次に該当する人物について、ステップSt6の処理を実行すると判断する(St10)。この後、人物検索サーバ50は、その次に該当する人物について、ステップS6の処理を行う。人物検索サーバ50は、ステップSt6において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しなくなるまで、ステップSt6〜ステップSt10の処理を繰り返して実行する。
以上により、実施の形態1に係る人物検索システム100は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続された人物検索サーバ50と、人物検索サーバ50と通信可能に接続されたクライアント端末90とを含む。人物検索サーバ50は、n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。クライアント端末90は、n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを人物検索画面WD1に表示する。クライアント端末90は、捜索対象人物の外見に関する特徴情報の選択に応じて、k個の撮像映像において特徴情報を満たす捜索対象人物の検索要求を人物検索サーバ50に送る。人物検索サーバ50は、検索要求に応じて、解析結果を用いてk個の撮像映像における特徴情報を満たす捜索対象人物に関する解析結果を抽出してクライアント端末90に送る。クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を並べて表示する。
これにより、人物検索システム100は、多くの人が行き交う地点(例えば交差点)で事件等が発生した場合、犯人の服装等の外見に関する特徴情報を基にして複数のカメラの撮像映像から視覚的に類似する人物の撮像画像を抽出できる。従って、人物検索システム100は、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援できるので、警察捜査の利便性を的確に向上できる。
また、クライアント端末90は、k台のカメラが設置された地点を示す地図データMP1を人物検索画面WD1に表示する。これにより、ユーザは、捜索対象人物の検索をクライアント端末90から人物検索サーバ50に要求する際に、犯人が逃走する可能性のある地点を、地図データMP1を閲覧しながら地理的な位置関係を把握した上で、検索対象となるカメラを視覚的かつ簡易に選択できる。
また、クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の移動経路を地図データMP1に重畳して表示する(図13参照)。これにより、ユーザは、地図データMP1において事件等の犯人の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。
また、クライアント端末90は、複数の人物の切り出し画像のうち少なくとも1つの切り出し画像を削除するためのユーザ操作に応じて、地図データに表示された捜索対象人物の移動経路を更新して表示する(図14参照)。これにより、ユーザは、リスト表示枠RST1に表示された複数の切り出し画像の中で、捜索対象人物と異なる不要な人物の切り出し画像を削除する操作を行うだけで、目的とする捜索対象人物の行方を的確に絞り込むことができる。
また、クライアント端末90は、捜索対象人物の外見に関する特徴情報として、人物の性別、年齢、身長、体型、服装等の外見情報の選択を受け付ける。これにより、ユーザは、捜索対象人物の性別やサイズ等の外見的な特徴、および捜索対象人物の服装等に関する外見的な特徴をきめ細かく選択できる。従って、クライアント端末90は、人物検索サーバ50により厳選された捜索対象人物と同一あるいは類似する人物の切り出し画像を表示でき、ユーザの捜査効率を的確に向上できる。
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、それぞれの人物が撮像された撮像時刻の順に沿って時系列に並べて表示する。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、捜索対象人物との類似性が高い順に沿って並べて表示する。これにより、ユーザは、例えば図8あるいは図9に示すスクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
(実施の形態2の構成に至る経緯)
上述した特許文献1では、多くの人が行き交う地点(例えば交差点)において発生した事件または事故(以下「事件等」)を引き起こした人物(つまり犯人)に視覚的に類似する人物を撮像したカメラの撮像画像を特定し、この特定された撮像画像を手掛かりに類似する撮像画像を他のカメラの撮像映像から検索することは考慮されていない。
事件等が発生した場合、犯人の視覚的な特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、交差点に設置されたカメラにより撮影された映像や目撃情報等の手掛かりを収集し、警察官がこれらの映像や目撃情報等を頼りに、犯人に該当しそうな人物の特徴や逃走方向を把握していた。このため、警察官は犯人の特徴や逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。
以下の実施の形態2では、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴等の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法の例を説明する。
(実施の形態2)
実施の形態2に係る人物検索システムの内部構成は、実施の形態1に係る人物検索システム100の内部構成と同一である。従って、実施の形態2の説明において、実施の形態1に係る人物検索システム100の内部構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図11は、選択された切り出し画像Xpc1のイメージサーチの検索条件への設定例を示す図である。人物検索アプリは、リスト表示枠RSR1に表示された複数の切り出し画像のうち、所定のユーザ操作によりいずれかの切り出し画像(例えば切り出し画像Xpc1)が選択されたことを検知する。この場合、人物検索アプリは、切り出し画像Xpc1を検索対象人物像表示枠PL1にコピーアンドペーストして表示する。つまり、人物検索アプリは、切り出し画像Xpc1に映る人物を、イメージサーチの検索対象人物像IPS2として検索対象人物像表示枠PL1に表示する。また、人物検索アプリは、切り出し画像Xpc1の人物に対応する人物検索サーバ50による解析結果を用いて、その人物(検索対象人物像IPS2)の主な特徴情報を一部の検索条件CON2として検索対象人物像表示枠PL1に表示する。
図12は、図9の撮像映像MV1の再生画面に表示された人物枠WK1,WK2を用いたイメージサーチの検索条件の設定例を示す図である。人物検索アプリは、図12に示すように、所定のユーザ操作により選択された切り出し画像Xpc1に対応する撮像映像MV1の再生画面を人物検索画面WD1に表示する際、切り出し画像Xpc1に対応する人物検索サーバ50による解析結果を用いて、再生画面に映る人物の人物枠WK1,WK2と性別および年齢層とを表示してよい。例えば、人物検索アプリは、人物枠WK1に対応する人物の性別および年齢層として、「M40」(つまり、男性であって40歳代)を表示する。同様に、人物検索アプリは、人物枠WK2に対応する人物の性別および年齢層として、「M30」(つまり、男性であって30歳代)を表示する。
人物検索アプリは、撮像映像MV1の再生画面に表示された人物枠WK1,WK2のうち、所定のユーザ操作によりいずれかの人物枠(例えば人物枠WK1)が選択されたことを検知する。この場合、人物検索アプリは、選択された人物枠WK1内の画像を切り出し、その切り出し画像を検索対象人物像表示枠PL1にコピーアンドペーストする。つまり、人物検索アプリは、ペーストされた切り出し画像に映る人物を、イメージサーチの検索対象人物像IPS2として検索対象人物像表示枠PL1に表示する。また、人物検索アプリは、ペーストされた切り出し画像の人物に対応する人物検索サーバ50による解析結果を用いて、その人物(検索対象人物像IPS2)の主な特徴情報を一部の検索条件CON2として検索対象人物像表示枠PL1に表示する。
図13は、図11の選択された切り出し画像Xpc1あるいは図12の人物枠WK1を用いたイメージサーチによる人物検索結果を時系列に表示する人物検索画面WD1の一例を示す図である。人物検索アプリは、図11の選択された切り出し画像Xpc1あるいは図12の人物枠WK1が所定のユーザ操作により選択されたことで、検索対象人物像表示枠PL1に検索対象人物像IPS2を表示する。
この後、人物検索アプリは、ユーザ操作によりイメージサーチボタンIS1が押下されたことを検知する。この場合、人物検索アプリ(具体的には、プロセッサ92)は、検索対象人物像IPS2のイメージデータとその検索対象人物像IPS2を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、実施の形態2では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS2の元となる人物が映っていた撮像映像MV1あるいは切り出し画像Xpc1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、蓄積部56の解析情報DB56aに保存された解析結果を用いて、イメージサーチにより、検索要求に含まれる各種の検索条件を満たす捜索対象人物と同一あるいは類似する人物を検索する。人物検索サーバ50は、検索結果をクライアント端末90に送る。
人物検索アプリ(具体的には、プロセッサ92)は、通信部93を介して受信された検索結果を取得すると、捜索対象人物(つまり、検索対象人物像IPS2)と同一あるいは類似する人物の切り出し画像Xpc1,Xpc21,Xpc22,Xpc5,Xpc23,Xpc24,Xpc25を並べてリスト表示枠RST1内に表示する。それぞれの切り出し画像は、例えばサムネイル画像である。
また、人物検索アプリは、リスト表示枠RST1に表示された複数の切り出し画像Xpc1,Xpc21,Xpc22,Xpc5,Xpc23,Xpc24,Xpc25のそれぞれに映る人物が撮像されたカメラに対応する交差点の通過時の移動方向DRC1,DRC2,DRC3のそれぞれを地図データMP1に重畳して表示する。例えば、移動方向DRC1は「AA Street」に沿って、第3カメラの配置された交差点から第1カメラの配置された交差点に向かって移動する方向である。移動方向DRC2は「CC Street」に沿って、第1カメラの配置された交差点から第2カメラの配置された交差点に向かって移動する方向である。移動方向DRC3は「BB Street」に沿って、第2カメラの配置された交差点から第4カメラの配置された交差点に向かって移動する方向である。
なお、人物検索アプリは、上述した実施の形態1においても、リスト表示枠RST1に表示された全ての切り出し画像に映る人物が撮像されたカメラに対応する交差点の通過時の移動方向のそれぞれを地図データMP1に全て重畳して表示してよい。これにより、ユーザは、地図データMP1において事件等の犯人の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。
図14は、所定のユーザ操作による不要な人物検索結果の削除例を示す図である。人物検索アプリは、図13に示すリスト表示枠RST1に表示された切り出し画像Xpc1,Xpc21,Xpc22,Xpc5,Xpc23,Xpc24,Xpc25のうち、所定のユーザ操作により不要な切り出し画像(例えば切り出し画像Xpc5,Xpc24)の選択を受け付ける。この場合、人物検索アプリは、選択された切り出し画像Xpc5,Xpc24を削除する対象であることを示す削除アイコンDLT1,DLT2を、切り出し画像Xpc5,Xpc24に重畳して表示する。なお、人物検索アプリは、削除アイコンDLT1,DLT2を重畳して表示する代わりに、選択された切り出し画像Xpc5,Xpc24をリスト表示枠RST1から削除してもよい。
また、人物検索アプリは、切り出し画像Xpc5,Xpc24に重畳して削除アイコンDLT1,DLT2を表示することに連動して、切り出し画像Xpc5,Xpc24に映る人物に対応する人物検索サーバ50による解析結果を用いて、地図データMP1に表示されている移動方向を更新して表示する。具体的には、人物検索アプリは、削除アイコンDLT1,DLT2の表示前に地図データMP1に表示されていた全ての移動方向DRC1,DRC2,DRC3から、切り出し画像Xpc5,Xpc24に映る人物の交差点通過時の移動方向を削除するように更新し、切り出し画像Xpc1,Xpc21,Xpc22,Xpc23,Xpc25に映る人物の交差点通過時の移動方向DRC1,DRC2だけを残すように表示する。
次に、実施の形態2に係る人物検索システム100の動作手順について、図15を参照して説明する。図15は、実施の形態2に係る人物検索システム100の動作手順例を説明するフローチャートである。図15に示される処理は、クライアント端末90と人物検索サーバ50とにより実行される。図15に示す処理の説明において、図10に示す処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図15において、クライアント端末90は、ステップSt1の後、捜索対象人物(例えば検索対象人物像IPS2)の検索条件として、検索対象人物像IPS2の元となる人物が映っていた切り出し画像Xpc1(例えばサムネイル画像)のユーザ操作による選択(図11参照)を受け付ける(St11)。なお、クライアント端末90は、捜索対象人物(例えば検索対象人物像IPS2)の検索条件として、検索対象人物像IPS2の元となる人物が映っていた撮像映像MV1内の人物枠WK1のユーザ操作による選択(図11参照)を受け付けてもよい(St11)。クライアント端末90は、切り出し画像Xpc1を検索対象人物像表示枠PL1にコピーアンドペーストして表示する。
クライアント端末90は、ステップSt11の後、例えばイメージサーチボタンIS1がユーザ操作により押下されたことを検知すると、検索対象人物像表示枠PL1に表示された検索対象人物像IPS2のイメージデータとその検索対象人物像IPS2を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、前述したように、実施の形態2では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS2の元となる人物が映っていた撮像映像MV1あるいは切り出し画像Xpc1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。
人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報を含み、その識別情報に対応する撮像映像のデータの送信要求を映像レコーダ70に送る。映像レコーダ70は、人物検索サーバ50からの送信要求に基づいて、送信要求に含まれるカメラの識別情報に対応する撮像映像のデータを取得して人物検索サーバ50に送信する。人物検索サーバ50は、映像レコーダ70から送信されたカメラの撮像映像のデータを取得する(St12)。なお、人物検索サーバ50は、それぞれのカメラから送られた撮像映像のデータを蓄積部56に蓄積してもよく、この場合には、映像レコーダ70から受信して取得する代わりに、蓄積部56から直接に読み出して取得してもよい。
人物検索サーバ50は、ステップSt12において取得されたカメラの撮像映像のそれぞれを解析し、その撮像映像に映る人物を抽出して識別して一時的にメモリ52に保存する(St13)。人物検索サーバ50は、ステップSt5の後、ステップSt13において解析された人物の解析結果とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出する(St14)。なお、人物検索サーバ50は、ステップSt13において、ステップSt1において生成されたそれぞれのカメラの撮像映像の解析結果を用い、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報に対応する撮像映像の解析結果(例えば切り出し画像)を読み出して取得してもよい。この場合、人物検索サーバ50は、ステップSt14において、読み出された撮像映像の解析結果(例えば切り出し画像)とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出してよい(St14)。
人物検索サーバ50は、ステップSt14において算出された類似度が閾値(ステップSt5参照)以上であるか否かを判断する(St7)。人物検索サーバ50は、算出された類似度が閾値以上であると判断した場合(St7、YES)、その閾値を超えた人物が映る切り出し画像(例えばサムネイル画像)を検索結果の一例として、その切り出し画像のデータとその切り出し画像をクライアント端末90に表示する旨の指示とをクライアント端末90に送る(St8)。クライアント端末90は、人物検索サーバ50から送られた指示に基づいて、該当する切り出し画像を人物検索画面WD1のリスト表示枠RST1に表示する(St8)。なお、前述したように、クライアント端末90は、リスト表示枠RST1に表示する対象となる切り出し画像を複数受け取っている場合、それらの切り出し画像を類似度の高い順、時系列順、あるいは交差点順に並べて表示してよい。
一方、人物検索サーバ50は、算出された類似度が閾値未満であると判断した場合(St7、NO)、ステップSt8の処理を省略する。人物検索サーバ50は、この後あるいはステップSt8の後、ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在するか否かを判断する(St9)。ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しないと判断された場合(St9、NO)、人物検索サーバ50の処理(つまり、クライアント端末90からの検索要求に対応する処理)は終了する。クライアント端末90は、人物検索サーバ50による検索結果に対応する複数人の切り出し画像を並べて表示する(図11あるいは図12参照)。
人物検索サーバ50は、ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在すると判断した場合(St9、YES)、その次に該当する人物について、ステップSt14の処理を実行すると判断する(St15)。この後、人物検索サーバ50は、その次に該当する人物について、ステップS14の処理を行う。人物検索サーバ50は、ステップSt14において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しなくなるまで、ステップSt14,ステップSt7〜ステップSt9,ステップSt15の処理を繰り返して実行する。
以上により、実施の形態2に係る人物検索システム100は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続された人物検索サーバ50と、人物検索サーバ50と通信可能に接続されたクライアント端末90と、を含む。人物検索サーバ50は、n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。クライアント端末90は、n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを人物検索画面WD1に表示する。クライアント端末90は、k個の撮像映像のうちいずれかに映る捜索対象人物の選択に応じて、捜索対象人物が映る撮像映像以外の(k−1)個の撮像映像における捜索対象人物の検索要求を人物検索サーバ50に送る。人物検索サーバ50は、検索要求に応じて、解析結果を用いて(k−1)個の撮像映像における捜索対象人物に関する解析結果を抽出してクライアント端末90に送る。クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を並べて表示する。
これにより、人物検索システム100は、多くの人が行き交う地点(例えば交差点)で事件等が発生した場合、犯人に視覚的に類似する人物の捜索対象人物の撮像画像をイメージサーチによって高精度に抽出できる。従って、人物検索システム100は、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援できるので、警察捜査の利便性を的確に向上できる。
また、クライアント端末90は、k台のカメラが設置された地点を示す地図データMP1を人物検索画面WD1に表示する。これにより、ユーザは、捜索対象人物の検索をクライアント端末90から人物検索サーバ50に要求する際に、犯人が逃走する可能性のある地点を、地図データMP1を閲覧しながら地理的な位置関係を把握した上で、検索対象となるカメラを視覚的かつ簡易に選択できる。
また、クライアント端末90は、捜索対象人物に関する解析結果に基づいて、捜索対象人物と同一あるいは類似する複数の人物の移動経路を地図データMP1に重畳して表示する。これにより、ユーザは、地図データMP1において事件等の犯人の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。
また、クライアント端末90は、複数の人物の切り出し画像のうち少なくとも1つの切り出し画像を削除するためのユーザ操作に応じて、地図データMP1に表示された捜索対象人物の移動経路を更新して表示する。これにより、ユーザは、リスト表示枠RST1に表示された複数の切り出し画像の中で、捜索対象人物と異なる不要な人物の切り出し画像を削除する操作を行うだけで、目的とする捜索対象人物の行方を的確に絞り込むことができる。
また、クライアント端末90は、k台のカメラのうちいずれかのカメラの撮像映像MV1に映る人物の外形枠(例えば人物枠WK1,WK2)をその撮像映像MV1に重畳して表示する。クライアント端末90は、ユーザ操作による外形枠(例えば人物枠)の選択に応じて、その選択された外形枠に対応する人物を捜索対象人物とする捜索対象人物の検索要求を人物検索サーバ50に送る。これにより、ユーザは、再生可能に拡大して表示された撮像映像MV1の再生画面中で気になる人物(例えば人物枠WK1の人物)を簡易に選択するだけで、その人物を捜索対象人物とする高精度なイメージサーチをクライアント端末90に対して実行させることができ、警察捜査の効率性の向上が図られる。
また、クライアント端末90は、複数の人物の切り出し画像のうちいずれかの選択に応じて、その選択された切り出し画像(例えば切り出し画像Xpc1)に対応する人物を捜索対象人物とする捜索対象人物の検索要求を人物検索サーバ50に送る。これにより、ユーザは、リスト表示枠RST1に表示された切り出し画像に映る人物の中で気になる人物(例えば切り出し画像Xpc1の人物)を簡易に選択するだけで、その人物を捜索対象人物とする高精度なイメージサーチをクライアント端末90に対して実行させることができ、警察捜査の効率性の向上が図られる。
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、それぞれの人物が撮像された撮像時刻の順に沿って時系列に並べて表示する。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
また、クライアント端末90は、捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、捜索対象人物との類似性が高い順に沿って並べて表示する。これにより、ユーザは、例えば図11あるいは図12に示すスクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい捜索対象人物を早期に見つけることができる。
(実施の形態3の構成に至る経緯)
しかし、上述した特許文献1では、多くの人が行き交う場所(例えば交差点)において発生した事件等を引き起こした人物が複数いる場合、例えば主犯格の人物とは異なる他の人物(例えば主犯格の連れ)の撮像画像を手掛かりにその連れの人物に類似する撮像画像を他のカメラの撮像映像から検索することは考慮されていない。
事件等が発生した場合、複数の人物からなる犯人グループの行方を早期に把握することは警察の初動捜査において重要である。犯人グループの行動パターンとして、集団的に行動することもあれば、別個に分かれて行動することもある。ところが、これまでの従来技術では、交差点に設置されたカメラの撮像映像や目撃情報等の手掛かりを収集し、警察官がこれらの撮像映像や目撃情報等を頼りに、犯人グループに該当しそうな複数の人物の逃走方向を把握していた。このため、犯人グループが別個に分かれて別々に行動する場合等では、警察官は犯人グループの逃走方向の把握に時間がかかっており、初動捜査が遅れる可能性があり効率的でないという課題があった。
以下の実施の形態3では、多くの人が行き交う地点で事件等が発生した場合、複数の人物からなる犯人グループのうち選択された人物に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法の例を説明する。
(実施の形態3)
実施の形態2に係る人物検索システムの内部構成は、実施の形態1に係る人物検索システム100の内部構成と同一である。従って、実施の形態2の説明において、実施の形態1に係る人物検索システム100の内部構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図16は、図9の撮像映像MV1の再生画面に表示された他の人物の人物枠WK2をイメージサーチの検索条件として用いた場合の人物検索結果を時系列に表示する人物検索画面WD1の一例を示す図である。人物検索アプリは、図12と同様に、図16に示すように、所定のユーザ操作により選択された切り出し画像Xpc1に対応する撮像映像MV1の再生画面を人物検索画面WD1に表示する際、切り出し画像Xpc1に対応する人物検索サーバ50による解析結果を用いて、再生画面に映る人物の人物枠WK1,WK2と性別および年齢層とを表示してよい。例えば、人物検索アプリは、人物枠WK1に対応する人物の性別および年齢層として、「M40」(つまり、男性であって40歳代)を表示する。同様に、人物検索アプリは、人物枠WK2に対応する人物の性別および年齢層として、「M30」(つまり、男性であって30歳代)を表示する。
人物検索アプリは、撮像映像MV1の再生画面に表示された人物枠WK1,WK2のうち、所定のユーザ操作により、撮像映像MV1の再生画面の表示の元になった人物とは異なる他の人物の人物枠(例えば人物枠WK2)が選択されたことを検知する。この場合、人物検索アプリは、選択された人物枠WK2内の画像を切り出し、その切り出し画像を検索対象人物像表示枠PL1にコピーアンドペーストする。つまり、人物検索アプリは、ペーストされた切り出し画像に映る人物を、イメージサーチの検索対象人物像IPS3として検索対象人物像表示枠PL1に表示する。また、人物検索アプリは、ペーストされた切り出し画像の人物に対応する人物検索サーバ50による解析結果を用いて、その人物(検索対象人物像IPS2)の主な特徴情報を一部の検索条件CON3として検索対象人物像表示枠PL1に表示する。
人物検索アプリは、ユーザ操作によりイメージサーチボタンIS1が押下されたことを検知する。この場合、人物検索アプリ(具体的には、プロセッサ92)は、検索対象人物像IPS3のイメージデータとその検索対象人物像IPS3を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、実施の形態3では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS3の元となる人物が映っていた撮像映像MV1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、蓄積部56の解析情報DB56aに保存された解析結果を用いて、イメージサーチにより、検索要求に含まれる各種の検索条件を満たす捜索対象人物と同一あるいは類似する人物を検索する。人物検索サーバ50は、検索結果をクライアント端末90に送る。
人物検索アプリ(具体的には、プロセッサ92)は、通信部93を介して受信された検索結果を取得すると、捜索対象人物(つまり、検索対象人物像IPS3)と同一あるいは類似する人物の切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35,Xpc36,Xpc37を並べてリスト表示枠RST1内に表示する。それぞれの切り出し画像は、例えばサムネイル画像である。
また、人物検索アプリは、リスト表示枠RST1に表示された複数の切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35,Xpc36,Xpc37のそれぞれに映る人物が撮像されたカメラに対応する交差点の通過時の移動方向DRC1,DRC2,DRC3のそれぞれを地図データMP1に重畳して表示する。
図17は、ユーザ操作による不要な人物検索結果の削除例を示す図である。人物検索アプリは、図17に示すリスト表示枠RST1に表示された切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35,Xpc36,Xpc37のうち、所定のユーザ操作により不要な切り出し画像(例えば切り出し画像Xpc36,Xpc37)の選択を受け付ける。この場合、人物検索アプリは、選択された切り出し画像Xpc36,Xpc37を削除する対象であることを示す削除アイコンDLT1,DLT2を、切り出し画像Xpc5,Xpc24に重畳して表示する。なお、人物検索アプリは、削除アイコンDLT1,DLT2を重畳して表示する代わりに、選択された切り出し画像Xpc5,Xpc24をリスト表示枠RST1から削除してもよい。
また、人物検索アプリは、切り出し画像Xpc5,Xpc24に重畳して削除アイコンDLT1,DLT2を表示することに連動して、切り出し画像Xpc5,Xpc24に映る人物に対応する人物検索サーバ50による解析結果を用いて、地図データMP1に表示されている移動方向を更新して表示する。具体的には、人物検索アプリは、削除アイコンDLT3,DLT4の表示前に地図データMP1に表示されていた全ての移動方向DRC1,DRC2,DRC3から、切り出し画像Xpc36,Xpc37に映る人物の交差点通過時の移動方向を削除するように更新し、切り出し画像Xpc31,Xpc32,Xpc33,Xpc34,Xpc35に映る人物の交差点通過時の移動方向DRC2,DRC3だけを残すように表示する。これにより、ユーザは、図14および図17を参照することで、第1カメラにより撮像された撮像映像MV1に映る人物枠WK1,WK2の2人組(例えば犯人グループ)は第1カメラの設置された交差点で合流したことを認識できるので、警察捜査の効率性の向上が図られる。
次に、実施の形態3に係る人物検索システム100の動作手順について、図18を参照して説明する。図18は、実施の形態3に係る人物検索システム100の動作手順例を説明するフローチャートである。図18に示される処理は、クライアント端末90と人物検索サーバ50とにより実行される。図18に示す処理の説明において、図10に示す処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。なお、図18に示す処理の前提として、クライアント端末90は、図10あるいは図15を参照して説明したように、リスト表示枠RST1に表示された複数の切り出し画像のそれぞれに対応する人物検索サーバ50による解析結果(検索結果)を取得している。
図18において、クライアント端末90は、ステップSt1の後、リスト表示枠RST1に表示された複数の切り出し画像のうちいずれかがユーザ操作により選択されたことを検知すると、その選択された切り出し画像(例えば切り出し画像Xpc1)に映る人物が撮像された撮像映像(例えば撮像映像MV1)を人物検索画面WD1に表示して繰り返して再生する(St21)。クライアント端末90は、ステップSt1において人物検索サーバ50により生成された解析結果を取得しており、この解析結果を用いて、撮像映像MV1の再生画面中のそれぞれの人物の位置に人物枠WK1,WK2を表示する(St22)。
クライアント端末90は、ユーザ操作により、ステップSt22において表示された人物枠WK1,WK2のうちいずれか(例えば、撮像映像MV1の再生画面の表示の元になった人物枠WK1の人物とは異なる人物の人物枠WK2)が選択されたことを検知する(St23)。この場合、クライアント端末90は、選択された人物枠WK2の人物の切り出し画像を検索対象人物像表示枠PL1にコピーアンドペーストして表示する。
クライアント端末90は、ステップSt23の後、例えばイメージサーチボタンIS1がユーザ操作により押下されたことを検知すると、検索対象人物像表示枠PL1に表示された検索対象人物像IPS3のイメージデータとその検索対象人物像IPS3を特定するための各種の検索条件(例えば、検索期間を示す日付)と検索対象となるカメラの識別情報とを含む捜索対象人物の検索要求を生成し、通信部93を介して人物検索サーバ50に送信する。但し、前述したように、実施の形態3では、人物検索アプリは、検索要求の生成において、検索対象人物像IPS3の元となる人物が映っていた撮像映像MV1に対応するカメラを除いた他のカメラを検索対象として選択して検索要求を生成する。
人物検索サーバ50は、クライアント端末90から送られた検索要求を受信すると、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報を含み、その識別情報に対応する撮像映像のデータの送信要求を映像レコーダ70に送る。映像レコーダ70は、人物検索サーバ50からの送信要求に基づいて、送信要求に含まれるカメラの識別情報に対応する撮像映像のデータを取得して人物検索サーバ50に送信する。人物検索サーバ50は、映像レコーダ70から送信されたカメラの撮像映像のデータを取得する。なお、人物検索サーバ50は、それぞれのカメラから送られた撮像映像のデータを蓄積部56に蓄積してもよく、この場合には、映像レコーダ70から受信して取得する代わりに、蓄積部56から直接に読み出して取得してもよい。
人物検索サーバ50は、取得されたカメラの撮像映像のそれぞれを解析し、その撮像映像に映る人物を抽出して識別して一時的にメモリ52に保存する。人物検索サーバ50は、ステップSt23において選択された人物枠WK2の人物の解析結果とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出する(St24)。なお、人物検索サーバ50は、ステップSt1において生成されたそれぞれのカメラの撮像映像の解析結果を用い、検索要求に含まれる検索期間を示す日付における、検索対象となるカメラの識別情報に対応する撮像映像の解析結果(例えば切り出し画像)を読み出して取得してもよい。この場合、人物検索サーバ50は、ステップSt24において、読み出された撮像映像の解析結果(例えば切り出し画像)とクライアント端末90から送られた検索要求に含まれる捜索対象人物の特徴情報(図11あるいは図12参照)とをイメージサーチによって比較して類似度を算出してよい(St24)。
人物検索サーバ50は、ステップSt24において算出された類似度が閾値(ステップSt5参照)以上であるか否かを判断する(St7)。人物検索サーバ50は、算出された類似度が閾値以上であると判断した場合(St7、YES)、その閾値を超えた人物が映る切り出し画像(例えばサムネイル画像)を検索結果の一例として、その切り出し画像のデータとその切り出し画像をクライアント端末90に表示する旨の指示とをクライアント端末90に送る(St8)。クライアント端末90は、人物検索サーバ50から送られた指示に基づいて、該当する切り出し画像を人物検索画面WD1のリスト表示枠RST1に表示する(St8)。なお、前述したように、クライアント端末90は、リスト表示枠RST1に表示する対象となる切り出し画像を複数受け取っている場合、それらの切り出し画像を類似度の高い順、時系列順、あるいは交差点順に並べて表示してよい。
一方、人物検索サーバ50は、算出された類似度が閾値未満であると判断した場合(St7、NO)、ステップSt8の処理を省略する。人物検索サーバ50は、この後あるいはステップSt8の後、ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在するか否かを判断する(St9)。ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しないと判断された場合(St9、NO)、人物検索サーバ50の処理(つまり、クライアント端末90からの検索要求に対応する処理)は終了する。クライアント端末90は、人物検索サーバ50による検索結果に対応する複数人の切り出し画像を並べて表示する(図16あるいは図17参照)。
人物検索サーバ50は、ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在すると判断した場合(St9、YES)、その次に該当する人物について、ステップSt24の処理を実行すると判断する(St25)。この後、人物検索サーバ50は、その次に該当する人物について、ステップSt24の処理を行う。人物検索サーバ50は、ステップSt24において算出された類似度が閾値以上であるか否かの比較を行う対象となる人物が存在しなくなるまで、ステップSt24,ステップSt7〜ステップSt9,ステップSt25の処理を繰り返して実行する。
以上により、実施の形態3に係る人物検索システム100は、n(n:3以上の整数)台のカメラのそれぞれと通信可能に接続された人物検索サーバ50と、人物検索サーバ50と通信可能に接続されたクライアント端末90と、を含む。人物検索サーバ50は、n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。クライアント端末90は、n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像のそれぞれを人物検索画面WD1に表示する。クライアント端末90は、k個の撮像映像のうちいずれかに映る捜索対象人物とともに行動している同伴人物(例えば、人物枠WK2の人物)の選択に応じて、同伴人物が映るいずれかの撮像映像以外の(k−1)個の撮像映像における同伴人物の検索要求を人物検索サーバ50に送る。人物検索サーバ50は、検索要求に応じて、解析結果を用いて(k−1)個の撮像映像における同伴人物に関する解析結果を抽出してクライアント端末90に送る。クライアント端末90は、同伴人物に関する解析結果に基づいて、同伴人物と同一あるいは類似する複数の人物の切り出し画像を並べて表示する。
これにより、人物検索システム100は、多くの人が行き交う地点(例えば交差点)で事件等が発生した場合、複数の人物(例えば人物枠WK1,WK2のそれぞれに対応する人物)からなる犯人グループのうち選択された人物(例えば人物枠WK2の共犯人物)に視覚的に類似する人物の撮像画像をイメージサーチによって高精度に抽出できる。従って、人物検索システム100は、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援でき、警察捜査の利便性を的確に向上できる。
また、クライアント端末90は、k台のカメラが設置された地点を示す地図データMP1を人物検索画面WD1に表示する。これにより、ユーザは、捜索対象人物の検索をクライアント端末90から人物検索サーバ50に要求する際に、犯人が逃走する可能性のある地点を、地図データMP1を閲覧しながら地理的な位置関係を把握した上で、検索対象となるカメラを視覚的かつ簡易に選択できる。
また、クライアント端末90は、同伴人物に関する解析結果に基づいて、同伴人物と同一あるいは類似する複数の人物の移動経路を地図データMP1に重畳して表示する。これにより、ユーザは、地図データMP1において事件等の犯人グループの同伴人物(例えば共犯人物)の逃走経路の候補を全て捉えることができるので、的確に絞り込み易くできる。
また、クライアント端末90は、複数の人物の切り出し画像のうち少なくとも1つの切り出し画像を削除するためのユーザ操作に応じて、地図データMP1に表示された同伴人物の移動経路を更新して表示する。これにより、ユーザは、リスト表示枠RST1に表示された複数の切り出し画像の中で、同伴人物(例えば共犯人物)と異なる不要な人物の切り出し画像を削除する操作を行うだけで、目的とする同伴人物(例えば共犯人物)の行方を的確に絞り込むことができる。
また、クライアント端末90は、k台のカメラのうちいずれかのカメラの撮像映像に映る人物の外形枠(例えば、人物枠WK1,WK2)をその撮像映像上に重畳して表示する。クライアント端末90は、ユーザ操作による外形枠(例えば、人物枠WK2)の選択に応じて、その選択された外形枠に対応する人物を同伴人物とする同伴人物の検索要求を人物検索サーバ50に送る。これにより、ユーザは、再生中の撮像映像MV1の再生画面中に映っている人物の中で気になる人物(例えば、主犯格とユーザが想定している人物枠WK1の人物と大抵同伴している人物枠WK2の人物)を簡易に選択するだけで、その人物を同伴人物(例えば共犯人物)とする高精度なイメージサーチをクライアント端末90に対して実行させることができ、警察捜査の効率性の向上が図られる。
また、クライアント端末90は、同伴人物と同一あるいは類似する複数の人物の切り出し画像を、それぞれの人物が撮像された撮像時刻の順に沿って時系列に並べて表示する。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示された切り出し画像を優先的に確認することで、自ら把握したい同伴人物(例えば共犯人物)を早期に見つけることができる。
また、クライアント端末90は、同伴人物と同一あるいは類似する複数の人物の切り出し画像を、同伴人物との類似性が高い順に沿って並べて表示する。これにより、ユーザは、例えば図11あるいは図12に示すスクロールバーSCR1を用いたスクロール処理を行うことなく、表示された切り出し画像を優先的に確認することで、自ら把握したい同伴人物(例えば共犯人物)を早期に見つけることができる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
なお、上述した実施の形態1,2,3では、カメラ10,10a,…の設置場所は屋外(例えば交差点)を例示して説明したが、設置場所は屋外に限定されない。例えば、ショッピングモール等の屋内の施設内に設置されてもよい。この場合には、地図データMP1は、道路地図ではなく、該当する施設内の構内図(例えばショッピングモールの構内図)が人物検索画面WD1内に表示されてよい。
また、上述した実施の形態1,2,3では、警察の捜査において捜索対象人物として事件等を引き起こした犯人あるいはその犯人と行動を共にする共犯人物を例示して説明したが、捜索対象人物はこれらの例に限定されない。例えば、屋外あるいは屋内において迷子になった子どもを捜索対象人物としてもよい。この場合には、人物検索システム100は、巡回中の警察官あるいは警備員がユーザとなって、捜索対象人物である迷子中の子どもを検索することができる。
本開示は、多くの人が行き交う地点で事件等が発生した場合、犯人に視覚的に類似する人物の撮像画像を高精度に抽出し、犯人の視覚的な特徴ならびに逃走方向の早期把握を効率的に支援し、警察捜査の利便性を的確に向上する人物検索システムおよび人物検索方法として有用である。
10、10a カメラ
11 撮影部
12、PRC1、PRC2、92 プロセッサ
13、52、72、95 メモリ
14、51、71、93 通信部
15、96 記録部
50 人物検索サーバ
53 人物検索部
54 人物解析部
55 タグ付与部
56 蓄積部
56a 検知情報DB
56b 事案DB
70 映像レコーダ
73 映像検索部
74 映像記録処理部
75 映像蓄積部
90 クライアント端末
91 操作部
94 ディスプレイ
100 人物検索システム
HDS ヘッドセット

Claims (6)

  1. 屋外の交差点に配置されたn(n:3以上の整数)台のカメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を含み、
    前記サーバは、
    前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、
    前記クライアント端末は、
    捜索対象人物の外見に関する特徴情報の選択に応じて、前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像において、前記選択された特徴情報を満たす前記捜索対象人物の検索要求を前記サーバに送り、
    前記サーバは、
    前記検索要求に応じて、前記解析結果を用いて前記k台のカメラの撮像映像における前記選択された特徴情報を満たす前記捜索対象人物および前記捜索対象人物の前記k台のカメラの配置された交差点における移動方向を前記クライアント端末に送り、
    前記クライアント端末は、
    前記捜索対象人物の切り出し画像を並べて表示するとともに、前記k台のカメラの配置された交差点における前記捜索対象人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して表示する、
    人物検索システム。
  2. 前記クライアント端末は、
    複数の前記捜索対象人物の切り出し画像のうち少なくとも1つの切り出し画像を削除するための前記ユーザ操作に応じて、前記地図データに表示された前記捜索対象人物の移動経路を更新して表示する、
    請求項1に記載の人物検索システム。
  3. 前記クライアント端末は、
    前記捜索対象人物の外見に関する特徴情報として、人物の性別、年齢、身長、体型、服装等の外見情報の選択を受け付ける、
    請求項1に記載の人物検索システム。
  4. 前記クライアント端末は、
    前記捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、それぞれの人物が撮像された撮像時刻の順に沿って時系列に並べて表示する、
    請求項1に記載の人物検索システム。
  5. 前記クライアント端末は、
    前記捜索対象人物と同一あるいは類似する複数の人物の切り出し画像を、前記捜索対象人物との類似性が高い順に沿って並べて表示する、
    請求項1に記載の人物検索システム。
  6. 屋外の交差点に配置されたn(n:3以上の整数)台のカメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を用いた人物検索方法であって、
    前記サーバは、
    前記n台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの前記撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積し、
    前記クライアント端末は、
    捜索対象人物の外見に関する特徴情報の選択に応じて、前記n台のカメラのうちユーザ操作により選択されたk(k:k≦nを満たす2以上の整数)台のカメラの撮像映像において、前記選択された特徴情報を満たす前記捜索対象人物の検索要求を前記サーバに送り、
    前記サーバは、
    前記検索要求に応じて、前記解析結果を用いて前記k台のカメラの前記撮像映像における前記選択された特徴情報を満たす前記捜索対象人物および前記捜索対象人物の前記k台のカメラの配置された交差点における移動方向を前記クライアント端末に送り、
    前記クライアント端末は、
    前記捜索対象人物の切り出し画像を並べて表示するとともに、前記k台のカメラの配置された交差点における前記捜索対象人物の移動方向を、前記k台のカメラが設置された交差点を示す地図データに重畳して表示する、
    人物検索方法。
JP2018176489A 2018-09-20 2018-09-20 人物検索システムおよび人物検索方法 Active JP6573346B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018176489A JP6573346B1 (ja) 2018-09-20 2018-09-20 人物検索システムおよび人物検索方法
US16/268,052 US11030463B2 (en) 2018-09-20 2019-02-05 Systems and methods for displaying captured videos of persons similar to a search target person
US17/306,358 US11527071B2 (en) 2018-09-20 2021-05-03 Person search system and person search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018176489A JP6573346B1 (ja) 2018-09-20 2018-09-20 人物検索システムおよび人物検索方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019129406A Division JP7235612B2 (ja) 2019-07-11 2019-07-11 人物検索システムおよび人物検索方法

Publications (2)

Publication Number Publication Date
JP6573346B1 true JP6573346B1 (ja) 2019-09-11
JP2020047110A JP2020047110A (ja) 2020-03-26

Family

ID=67909513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018176489A Active JP6573346B1 (ja) 2018-09-20 2018-09-20 人物検索システムおよび人物検索方法

Country Status (2)

Country Link
US (2) US11030463B2 (ja)
JP (1) JP6573346B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221997A (zh) * 2020-01-06 2020-06-02 四川智胜慧旅科技有限公司 一种基于人像识别定位的景区寻人方法
WO2021100574A1 (ja) * 2019-11-18 2021-05-27 パナソニックi-PROセンシングソリューションズ株式会社 捜査支援システムおよび捜査支援方法
JP2021082912A (ja) * 2019-11-18 2021-05-27 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システムおよび人物画像登録方法
JP2021099709A (ja) * 2019-12-23 2021-07-01 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システムおよび捜査支援方法
JP2021149237A (ja) * 2020-03-17 2021-09-27 大日本印刷株式会社 行方不明者捜索システム、捜索依頼者端末、サーバ、行方不明者捜索方法、及びプログラム
JP7539798B2 (ja) 2020-08-07 2024-08-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報検索装置、情報検索方法、及びプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086659A (ja) * 2018-11-19 2020-06-04 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
US10950104B2 (en) 2019-01-16 2021-03-16 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Monitoring camera and detection method
JP7258595B2 (ja) * 2019-02-25 2023-04-17 i-PRO株式会社 捜査支援システムおよび捜査支援方法
US11626010B2 (en) * 2019-02-28 2023-04-11 Nortek Security & Control Llc Dynamic partition of a security system
US20200279473A1 (en) * 2019-02-28 2020-09-03 Nortek Security & Control Llc Virtual partition of a security system
JP7215936B2 (ja) * 2019-03-08 2023-01-31 本田技研工業株式会社 迷子予防支援システム
JP6989572B2 (ja) 2019-09-03 2022-01-05 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システム、捜査支援方法およびコンピュータプログラム
US20230056155A1 (en) * 2020-01-31 2023-02-23 Nec Corporation Information processing apparatus, information processing method, and storage medium
CN112069357B (zh) * 2020-07-29 2024-03-01 北京奇艺世纪科技有限公司 视频资源处理方法、装置、电子设备及存储介质
WO2022083990A1 (en) * 2020-10-23 2022-04-28 Canon Kabushiki Kaisha Computer-implemented method, computer program and apparatus for video processing and for generating a thumbnail from a video sequence, and video surveillance system comprising such an apparatus
GB2600404B (en) * 2020-10-23 2024-06-26 Canon Kk Computer-implemented method, computer program and apparatus for video processing, and video surveillance system comprising such an apparatus
CN112423062B (zh) * 2020-10-30 2023-11-10 深圳Tcl新技术有限公司 视频人物信息显示方法、装置、终端设备及存储介质
CN112040325B (zh) * 2020-11-02 2021-01-29 成都睿沿科技有限公司 一种视频播放方法、装置、电子设备及存储介质
EP4350616A4 (en) * 2021-06-04 2024-08-28 Mitsubishi Electric Corp POLLING DEVICE, POLLING SYSTEM, POLLING METHOD AND POLLING PROGRAM
US11809675B2 (en) 2022-03-18 2023-11-07 Carrier Corporation User interface navigation method for event-related video
FR3140725A1 (fr) * 2022-10-10 2024-04-12 Two - I système de surveillance
GB2626937A (en) * 2023-02-07 2024-08-14 Milestone Systems As Video surveillance system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3538112B2 (ja) * 2000-03-21 2004-06-14 日本電信電話株式会社 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体
JP4594945B2 (ja) * 2007-02-13 2010-12-08 株式会社東芝 人物検索装置および人物検索方法
US20080263592A1 (en) * 2007-04-18 2008-10-23 Fuji Xerox Co., Ltd. System for video control by direct manipulation of object trails
JP5826513B2 (ja) * 2011-05-16 2015-12-02 株式会社日立国際電気 類似画像検索システム
US10841528B2 (en) * 2012-07-31 2020-11-17 Nec Corporation Systems, methods and apparatuses for tracking persons by processing images
WO2014065033A1 (ja) * 2012-10-26 2014-05-01 株式会社日立国際電気 類似画像検索装置
JP6171374B2 (ja) * 2013-02-06 2017-08-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
EP2995079A4 (en) 2013-05-10 2017-08-23 Robert Bosch GmbH System and method for object and event identification using multiple cameras
US10037466B2 (en) * 2013-08-23 2018-07-31 Nec Corporation Video processing apparatus, video processing method, and video processing program
JP5976237B2 (ja) 2013-12-26 2016-08-23 株式会社日立国際電気 映像検索システム及び映像検索方法
JP6210650B2 (ja) * 2014-01-23 2017-10-11 株式会社日立国際電気 画像検索システム及び画像検索方法
JP6225039B2 (ja) * 2014-01-31 2017-11-01 株式会社日立製作所 画像検索システム、画像検索装置及び画像検索方法
JP6399356B2 (ja) * 2015-05-26 2018-10-03 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6268497B2 (ja) * 2015-08-17 2018-01-31 パナソニックIpマネジメント株式会社 警備システム、及び人物画像表示方法
US10121515B2 (en) * 2016-06-06 2018-11-06 Avigilon Corporation Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
JP6750998B2 (ja) * 2016-10-07 2020-09-02 パナソニックi−PROセンシングソリューションズ株式会社 監視システム及び監視方法
JP2018061216A (ja) * 2016-10-07 2018-04-12 パナソニックIpマネジメント株式会社 情報表示システム及び情報表示方法
JP6844230B2 (ja) * 2016-12-06 2021-03-17 富士通株式会社 画像処理プログラム、画像処理装置および画像処理方法
JP6811645B2 (ja) * 2017-02-28 2021-01-13 株式会社日立製作所 画像検索装置及び画像検索方法
WO2018163398A1 (ja) * 2017-03-10 2018-09-13 株式会社日立国際電気 類似画像検索システム
JP2019020777A (ja) * 2017-07-11 2019-02-07 キヤノン株式会社 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
US10810255B2 (en) * 2017-09-14 2020-10-20 Avigilon Corporation Method and system for interfacing with a user to facilitate an image search for a person-of-interest

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100574A1 (ja) * 2019-11-18 2021-05-27 パナソニックi-PROセンシングソリューションズ株式会社 捜査支援システムおよび捜査支援方法
JP2021082912A (ja) * 2019-11-18 2021-05-27 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システムおよび人物画像登録方法
JP7409635B2 (ja) 2019-11-18 2024-01-09 i-PRO株式会社 捜査支援システムおよび人物画像登録方法
JP2021099709A (ja) * 2019-12-23 2021-07-01 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システムおよび捜査支援方法
JP7409638B2 (ja) 2019-12-23 2024-01-09 i-PRO株式会社 捜査支援システムおよび捜査支援方法
CN111221997A (zh) * 2020-01-06 2020-06-02 四川智胜慧旅科技有限公司 一种基于人像识别定位的景区寻人方法
JP2021149237A (ja) * 2020-03-17 2021-09-27 大日本印刷株式会社 行方不明者捜索システム、捜索依頼者端末、サーバ、行方不明者捜索方法、及びプログラム
JP7539798B2 (ja) 2020-08-07 2024-08-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報検索装置、情報検索方法、及びプログラム

Also Published As

Publication number Publication date
US11030463B2 (en) 2021-06-08
US11527071B2 (en) 2022-12-13
US20210256268A1 (en) 2021-08-19
JP2020047110A (ja) 2020-03-26
US20200097734A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
JP6573346B1 (ja) 人物検索システムおよび人物検索方法
JP7032350B2 (ja) 人物監視システムおよび人物監視方法
CN109886078B (zh) 目标对象的检索定位方法和装置
US9805065B2 (en) Computer-vision-assisted location accuracy augmentation
US9830337B2 (en) Computer-vision-assisted location check-in
JP5994397B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN111222373B (zh) 一种人员行为分析方法、装置和电子设备
Kim et al. Mediaq: mobile multimedia management system
EP2354981A2 (en) Image management apparatus, method of controlling the same, and storage medium storing program therefor
EP3973446A1 (en) Forensic video exploitation and analysis tools
US9852343B2 (en) Imaging apparatus, display method, and storage medium
JP2020137070A (ja) 捜査支援システムおよび捜査支援方法
JP7497853B2 (ja) 顔検知システム
Lu et al. GeoUGV: User-generated mobile video dataset with fine granularity spatial metadata
US20110096994A1 (en) Similar image retrieval system and similar image retrieval method
WO2021068553A1 (zh) 一种监控方法、装置和设备
JP7192764B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020103293A1 (zh) 一种人员检索信息的呈现方法、装置和电子设备
JP2010267030A (ja) 情報処理装置、情報処理方法
CN105956091A (zh) 扩展信息获取方法及装置
BR112021011817A2 (pt) Aparelho de processamento de informações, método de processamento de informações e programa
JP2017146644A (ja) 検索装置、検索方法および検索システム
JP7235612B2 (ja) 人物検索システムおよび人物検索方法
JP2015228564A (ja) 監視カメラシステム
WO2021102760A1 (zh) 一种人员行为分析方法、装置和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181126

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190808

R151 Written notification of patent or utility model registration

Ref document number: 6573346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250