JP7307887B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7307887B2
JP7307887B2 JP2021574416A JP2021574416A JP7307887B2 JP 7307887 B2 JP7307887 B2 JP 7307887B2 JP 2021574416 A JP2021574416 A JP 2021574416A JP 2021574416 A JP2021574416 A JP 2021574416A JP 7307887 B2 JP7307887 B2 JP 7307887B2
Authority
JP
Japan
Prior art keywords
camera
search
surveillance
person
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021574416A
Other languages
English (en)
Other versions
JPWO2021152837A5 (ja
JPWO2021152837A1 (ja
Inventor
純一 福田
統 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021152837A1 publication Critical patent/JPWO2021152837A1/ja
Publication of JPWO2021152837A5 publication Critical patent/JPWO2021152837A5/ja
Priority to JP2023106574A priority Critical patent/JP2023129429A/ja
Application granted granted Critical
Publication of JP7307887B2 publication Critical patent/JP7307887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
特許文献1には、ユーザ操作によって複数のカメラの中から選択されたカメラの映像に関する検出人物の画像リストを表示し、当該画像リストから選択された対象人物の人物画像の取得元のカメラを除いた他のカメラに係る映像を検索対象として、人物画像との画像照合によって対象人物を検索する人物検索システムが開示されている。
特許第6573346号
しかし、特許文献1に例示されている人物検索システムでは、ユーザは画像リストの中から対象人物の人物画像を選択した際に、検索対象とするカメラを任意に指定することはできなかった。
そこで、本発明は、上述の問題に鑑み、ユーザが所望の監視カメラにおける監視映像の中から対象人物を容易に検索できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
本発明の一つの観点によれば、検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させる表示制御部と、複数の前記カメラアイコンのうち、第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付ける操作受付部と、前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求する処理要求部と、を備える情報処理装置が提供される。
本発明の他の観点によれば、検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させるステップと、複数の前記カメラアイコンのうち、少なくとも1つの第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付けるステップと、前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求するステップと、を備える情報処理方法が提供される。
本発明のさらに他の観点によれば、コンピュータに、検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させるステップと、複数の前記カメラアイコンのうち、少なくとも1つの第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付けるステップと、前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求するステップと、を実行させるためのプログラムが提供される。
本発明によれば、ユーザが所望の監視カメラにおける監視映像の中から対象人物を容易に検索できる情報処理装置、情報処理方法及びプログラムを提供することができる。
第1実施形態における人物検索システムの全体構成の一例を示すブロック図である。 第1実施形態における登録者情報DBが記憶する情報の一例を示す図である。 第1実施形態における映像情報DBが記憶する情報の一例を示す図である。 第1実施形態におけるカメラ情報DBが記憶する情報の一例を示す図である。 第1実施形態における検出履歴情報DBが記憶する情報の一例を示す図である。 第1実施形態におけるユーザ端末のハードウェア構成の一例を示すブロック図である。 第1実施形態における管理サーバのハードウェア構成の一例を示すブロック図である。 第1実施形態における管理サーバの処理の一例を示すフローチャートである。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第1の検索方法に係る検索画面の一例を示す図である。 第1の検索方法に係る検索画面の一例を示す図である。 第1の検索方法に係る検索結果の一例を示す図である。 第1の検索方法に係る検索結果の一例を示す図である。 第1の検索方法に係る検索結果の一例を示す図である。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第2の検索方法に係る検索画面の一例を示す図である。 第2の検索方法に係る検索結果の一例を示す図である。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第3の検索方法に係る検索画面の一例を示す図である。 第3の検索方法に係る検索結果の一例を示す図である。 第1実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第4の検索方法に係る検索画面の一例を示す図である。 第4の検索方法に係る検索結果の一例を示す図である。 第2実施形態における検索画面の一例を示す図である。 第2実施形態における検索結果の一例を示す図である。 第3実施形態における検索画面の一例を示す図である。 第4実施形態における検索画面の一例を示す図である。 第5実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第5の検索方法に係る検索画面の一例を示す図である。 第5の検索方法に係る検索結果の一例を示す図である。 第5の検索方法に係る検索結果の一例を示す図である。 第5実施形態における人物検索システムの処理の一例を示すシーケンス図である。 第6の検索方法に係る検索画面の一例を示す図である。 第6の検索方法に係る検索結果の一例を示す図である。 第6実施形態における人物検索システムの処理の一例を示すフローチャートである。 第7実施形態における人物検索システムの処理の一例を示すフローチャートである。 第8実施形態における情報処理装置の構成を示すブロック図である。 変形実施形態における人物検索システムの全体構成の一例を示すブロック図である。 変形実施形態における検索画面の一例を示す図である。 変形実施形態における検索画面の一例を示す図である。
以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
[第1実施形態]
図1は、本実施形態における人物検索システム1の全体構成の一例を示すブロック図である。人物検索システム1は、ユーザがユーザ端末10において検索対象に指定した人物(以下、「対象人物」という。)と管理サーバ20内に蓄積されている映像とを照合することによって、監視映像の中から対象人物を検索するコンピュータシステムである。
図1に示すように、人物検索システム1は、ユーザ端末10と、管理サーバ20と、監視カメラ30とを備える。ユーザ端末10、管理サーバ20及び監視カメラ30は、インターネットやLAN(Local Area Network)等のネットワークNW1及びネットワークNW2を介して接続されている。本実施形態においては、ネットワークNW1及びネットワークNW2は異なるネットワークであるが、同一のネットワークとして構成してもよい。
ユーザ端末10は、本システムのユーザが、対象人物の指定、検索対象の映像に対応する監視カメラ30の指定、検索条件の指定等の各種の入力操作を行う際に利用する端末である。ユーザ端末10としては、例えばラップトップ型コンピュータ、デスクトップ型コンピュータ、タブレット端末、スマートフォン等が好適に用いられる。ユーザ端末10は、ユーザからの入力操作を受け付けると、入力情報に基づいて管理サーバ20に所定の処理の実行を要求する。
管理サーバ20は、監視カメラ30において撮影された映像の管理、映像の解析処理、画像照合処理、登録者及び検出人物の生体情報の管理等を行う装置である。管理サーバ20としては、例えばサーバコンピュータが好適に用いられる。
監視カメラ30は、例えばデジタルビデオカメラ、赤外線カメラ等の撮影装置である。監視カメラ30の種類は、監視対象や設置環境に応じて適宜選択され得る。また、監視カメラ30は、住宅地、繁華街、交通機関、金融機関、工場、オフィスビル、テーマパーク、イベント会場等の任意の場所に設置され得る。
また、図1に示すように、管理サーバ20は、登録者情報DB21と、映像情報DB22と、カメラ情報DB23と、検出履歴情報DB24とを備える。ただし、管理サーバ20が備えるデータベースは、これらに限られない。
図2は、本実施形態における登録者情報DB21が記憶する情報の一例を示す図である。登録者情報のデータ項目としては、登録者ID、登録顔画像、顔特徴量、氏名、性別、年齢、登録日時及び登録事由が挙げられる。ただし、データ項目は、これらに限られない。本実施形態における“登録者”とは、VIPリスト、ブラックリスト、顧客名簿等の各種のリストに登録されている人物とする。登録事由は、人物が登録者情報DB21に登録された理由である。例えば、登録者情報が、要注意人物を登録するブラックリストである場合には、その詳細な理由が記録される。
図3は、本実施形態における映像情報DB22が記憶する情報の一例を示す図である。映像情報のデータ項目としては、映像データごとに固有な映像ID、ファイル名、ファイル保存先、映像を撮影した監視カメラ30のカメラID、撮影場所、撮影開始日時、撮影終了日時、DB登録日時及びフレームレートが挙げられる。ただし、データ項目は、これらに限られない。
図4は、本実施形態におけるカメラ情報DB23が記憶する情報の一例を示す図である。カメラ情報のデータ項目としては、監視カメラ30ごとに固有なカメラID、監視カメラ30の設置場所を示す位置情報、監視カメラ30の撮影方向及びカメラ種別が挙げられる。ただし、データ項目は、これらに限られない。
図5は、本実施形態における検出履歴情報DB24が記憶する情報の一例を示す図である。検出履歴情報のデータ項目としては、検出SEQ、検出顔画像、顔特徴量、検出元の映像を識別する映像ID、カメラID、検出時間及び登録者IDが挙げられる。ただし、データ項目は、これらに限られない。検出SEQは、人物を検出するごとに新たに発行される固有の番号である。検出時間は、顔画像の検出先の表示フレームのタイムスタンプである。
図6は、本実施形態におけるユーザ端末10のハードウェア構成の一例を示すブロック図である。図6に示すように、ユーザ端末10は、演算、制御及び記憶を行うコンピュータとして、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、ストレージ104と、通信I/F(Interface)105と、表示装置106と、入力装置107と、媒体読取装置108とを備える。各装置は、バス、配線、駆動装置等を介して相互に接続される。
CPU101は、ROM103又はストレージ104に記憶されたプログラムに従って所定の動作を行うとともに、ユーザ端末10の各部を制御する機能を有するプロセッサである。RAM102は、揮発性記憶媒体から構成され、CPU101の動作に必要な一時的なメモリ領域を提供する。
ROM103は、不揮発性記憶媒体から構成され、ユーザ端末10の動作に用いられるプログラム等の必要な情報を記憶する。ストレージ104は、不揮発性記憶媒体から構成され、ユーザ端末10の動作用プログラムやデータを記憶する。ストレージ104は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)により構成される。
通信I/F105は、イーサネット(登録商標)、Wi-Fi(登録商標)、4G等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。
表示装置106は、動画、静止画、文字等を表示する液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等であって、ユーザへの情報の提示に用いられる。
入力装置107は、キーボード、ポインティングデバイス、ボタン等であって、ユーザによる操作を受け付ける。表示装置106及び入力装置107は、タッチパネルとして一体に形成されていてもよい。
媒体読取装置108は、記録媒体に記録された映像データ及び静止画像データを読取る装置である。記録媒体としては、例えば、DVDディスク、Blu-Ray(登録商標)ディスク、磁気テープ、フラッシュメモリ、スマートフォン等が挙げられる。媒体読取装置108は、例えば、ディスクドライブ、カードリーダ、イメージスキャナ等により構成される。
図7は、本実施形態における管理サーバ20のハードウェア構成の一例を示すブロック図である。図7に示すように、管理サーバ20は、演算、制御及び記憶を行うコンピュータとして、CPU201と、RAM202と、ROM203と、ストレージ204と、通信I/F(Interface)205と、表示装置206と、入力装置207と、媒体読取装置208とを備える。各装置は、バス、配線、駆動装置等を介して相互に接続される。
なお、図6及び図7に示されているハードウェア構成は一例であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。また、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されてもよい。このように、図6及び図7に示されているハードウェア構成は適宜変更可能である。
続いて、図8乃至図23を参照しながら、本実施形態における人物検索システム1の動作について説明する。
<人物の検出処理>
図8は、本実施形態における管理サーバ20の処理の一例を示すフローチャートである。この処理は、管理サーバ20が監視カメラ30において撮影された映像内に登場する人物を検出し、検出した人物の顔画像を検索可能な状態で検出履歴情報DB24に登録する際に実行される。
ステップS101において、管理サーバ20は、監視カメラ30又は媒体読取装置208から映像データを取得したか否かを判定する。ここで、管理サーバ20は、映像データを取得したと判定した場合(ステップS101:YES)には、処理はステップS102へ移行する。
これに対し、管理サーバ20は、映像データを取得していないと判定した場合(ステップS101:NO)には、処理はステップS103へ移行する。
ステップS102において、管理サーバ20は、ストレージ204に映像データを記憶する。このとき、管理サーバ20は、映像データに対して固有の映像IDを発行し、映像情報DB22に映像IDを含む映像情報を登録するものとする。
ステップS103において、管理サーバ20は、ストレージ204に記憶されている映像データに対して人物の検出処理を実行するか否かを判定する。ここで、管理サーバ20は、人物の検出処理を実行すると判定した場合(ステップS103:YES)には、処理はステップS104に移行する。
これに対し、管理サーバ20は、人物の検出処理を実行しないと判定した場合(ステップS103:NO)には、図8の処理は終了する。
ステップS104において、管理サーバ20は、ストレージ204に記憶されている映像データのうち、人物の検出処理が未だ行われていない映像データをRAM202に読み込む。
ステップS105において、管理サーバ20は、映像データの中から人物の顔を検出したか否かを判定する。ここで、管理サーバ20が人物の顔を検出したと判定した場合(ステップS105:YES)には、処理はステップS106へ移行する。
これに対し、管理サーバ20が人物の顔を検出していないと判定した場合(ステップS105:NO)には、処理はステップS115へ移行する。
ステップS106において、管理サーバ20は、顔画像の検出に伴って、検出SEQを発行する。次に、管理サーバ20は、映像データの中から顔画像を取得すると(ステップS107)、顔画像から顔特徴量を算出する(ステップS108)。
ステップS109において、管理サーバ20は、検出した顔画像が初めて検出された人物の画像であるか否かを判定する。例えば、管理サーバ20は、顔特徴量に基づいて検出履歴情報DB24を検索することで顔画像の登録の有無を判定できる。
ここで、管理サーバ20は、初めて検出された人物の顔画像であると判定した場合(ステップS109:YES)には、処理はステップS110へ移行する。これに対し、管理サーバ20は、既に検出されている人物の顔画像であると判定した場合(ステップS109:NO)には、処理はステップS111へ移行する。
ステップS110において、管理サーバ20は、検出された人物(以下、「検出人物」という。)に対して固有の検出人物IDを発行する。なお、本実施形態において、検出人物IDは、複数の映像の間で共通であるものとする。一方、ステップS111において、管理サーバ20は、例えば顔特徴量をキーとして検出履歴情報DB24から検出人物IDを取得する。
ステップS112において、管理サーバ20は、検出人物が登録者情報DB21における登録者であるか否かを判定する。例えば、管理サーバ20は、検出履歴情報DB24において検出人物IDに登録者IDが関連付けられている場合には、検出人物が登録者であると判定できる。また、管理サーバ20は、顔特徴量に基づいて登録者情報DB21を検索することで検出人物が登録者か否かを判定してもよい。
ここで、管理サーバ20が、検出人物は登録者であると判定した場合(ステップS112:YES)には、処理はステップS113へ移行する。これに対し、管理サーバ20が、検出人物は登録者ではないと判定した場合(ステップS112:NO)には、処理はステップS114に移行する。
ステップS113において、管理サーバ20は、登録者情報DB21から検出人物に関する登録者IDを取得する。
ステップS114において、管理サーバ20は、検出人物に関する検出履歴情報を作成し、これを検出履歴情報DB24に登録する。
ステップS115において、管理サーバ20は、映像データが終了したか否かを判定する。ここで、管理サーバ20は、映像データが終了したと判定した場合(ステップS115:YES)には、図8の処理は終了する。
これに対し、管理サーバ20は、映像データが終了していないと判定した場合(ステップS115:NO)には、処理はステップS104に戻る。
<対象人物の検索処理>
続いて、人物検索システム1における対象人物の検索処理について説明する。本実施形態では、ユーザが追跡作業の対象人物を指定するための4種類の方法を例示する。ただし、対象人物の検索方法は4種類のみに限られない。
(第1の検索方法)
図9は、本実施形態における人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが検出人物リストの中から対象人物の画像を選択することで実行される第1の検索方法に関する。
ステップS201において、ユーザ端末10は、表示装置106に検索画面を表示する。図10は、第1の検索方法に係る検索画面の一例を示す図である。ここでは、検索画面の左側領域には、上から順に、検索対象期間の入力欄と、検索対象エリアの検索及び指定を行う入力欄と、検索対象領域を示す地図M1の表示欄とが設けられている。
また、検索画面の右側領域には、検索方法を選択するための3つのタブT1~T3が設けられている。画面内では、“検出人物リスト”のタブT1が選択されており、検索方法に関する案内情報(「地図上のカメラアイコンを選択してください。指定カメラが検索対象期間内に撮影した人物をリスト形式で表示します。」)がタブT1の中に表示されている。
ステップS202において、ユーザ端末10は、地図上においてカメラアイコンが選択されたか否かを判定する。ここで、ユーザ端末10が、カメラアイコンが選択されたと判定した場合(ステップS202:YES)には、処理はステップS203へ移行する。
これに対し、ユーザ端末10が、地図上においてカメラアイコンが選択されていないと判定した場合(ステップS202:NO)には、ステップS202の処理は繰り返される。
ステップS203において、ユーザ端末10は、ユーザにより指定されたカメラアイコンに対応する監視カメラ30を特定し、そのカメラIDを取得する。図10の例では、マウスポインタPの操作によって選択されたカメラアイコンは、カメラアイコンC1である。以下、カメラアイコンに付された符号は、カメラアイコンに対応する監視カメラ30のカメラIDと同一であるものとして説明する。
ステップS204において、ユーザ端末10は、特定された監視カメラ30における検出人物リストの送信要求を管理サーバ20に対して行う。送信要求には、特定された監視カメラ30のカメラIDが含まれる。
ステップS205において、管理サーバ20は、ユーザ端末10から受信した送信要求に含まれるカメラIDをキーとして検出履歴情報DB24を参照し、特定された監視カメラ30に関する検出履歴情報を取得する。検索画面において検索対象期間が指定されている場合には、検出時間が検索対象期間に含まれる検出履歴情報のみが抽出され得る。
ステップS206において、管理サーバ20は、特定された監視カメラ30に関する検出履歴情報に基づいて作成した検出人物リストをユーザ端末10に送信する。次に、ユーザ端末10は、管理サーバ20から受信した検出人物リストを検索画面に表示する(ステップS207)。
図11は、第1の検索方法に係る検索画面の一例を示す図である。ここでは、検索画面のタブT1の中に、カメラIDが“C1”である監視カメラ30が撮影した映像に係る検出人物リストLS1が表示されている。検出人物リストLS1のデータ項目としては、検出人物の顔画像、検出日時、登録顔画像、詳細情報、アラートが挙げられている。ただし、検出人物リストLS1のデータ項目は、これらに限られない。登録顔画像は、検出人物が登録者として登録者情報DB21に登録されている場合に表示される。また、例えば登録者に関する登録事由が“要注意人物”等である場合、アラートのデータ欄には、注意喚起のための図形等が表示されると好適である。
図11における破線矢印A1は、ユーザがマウスポインタPによって検出人物リストLS1内の顔画像を、地図M1上に表示されている他の監視カメラ30(カメラID:C2)に重ね合わせる操作(以下、「ドラッグ操作」又は「ドラッグ」という。)を行ったことを示している。
ステップS208において、ユーザ端末10は、検出人物リスト中の顔画像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10は、顔画像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS208:YES)には、処理はステップS209に移行する。
これに対し、ユーザ端末10は、顔画像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS208:NO)には、処理はステップS202へ戻る。
ステップS209において、ユーザ端末10は、顔画像のドラッグ先、すなわち、検索対象のカメラアイコンに対応する監視カメラ30を特定し、そのカメラIDを取得する。図11の例では、ドラッグ先のカメラアイコンに対応する監視カメラ30のカメラIDは、“C2”である。
ステップS210において、ユーザ端末10は、ユーザにより検索画面において指定された検索対象期間を取得する。図11の例では、検索対象期間として“2019/12/31 12:00”~“2019/12/31 14:00”が指定されている。
ステップS211において、ユーザ端末10は、管理サーバ20に対して対象人物の検索要求を送信する。検索要求には、対象人物の顔画像、検出人物ID、検索対象期間、検索対象の監視カメラ30のカメラID等の情報が含まれる。
ステップS212において、管理サーバ20は、ユーザ端末10から受信した検索要求に含まれる顔画像に基づいて、検索対象の監視カメラ30に係る検出履歴情報を検索する。
ステップS213において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば対象人物が映っている映像データを識別する映像IDや対象人物の撮影日時の情報等が含まれる。
ステップS214において、ユーザ端末10は、表示装置106に検索結果を表示する。図12は、第1の検索方法に係る検索結果の一例を示す図である。図12では、検索画面のタブT1の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-1)/検索対象カメラ(C2)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:30)/照合スコア(95.2))R1が表示されている。
なお、検索結果として表示される情報には、様々なバリエーションが考えられる。図13及び図14は、第1の検索方法に係る検索結果の一例を示す図である。図13の例では、対象人物P-1が映っている抽出映像MVを再生するための画面が検索画面に重畳表示されている。また、抽出映像MVの中には、対象人物P-1の周りに、抽出映像MVを撮影した監視カメラ30とは別の監視カメラ30の設置位置の方角及びカメラIDを示す標識としてアイコンI―1~I-3が重畳表示されている。
また、ユーザは、同画面において対象人物P-1の顔部分を指定し、これを抽出映像MV内のアイコンに重ね合わせるドラッグ操作を行うことで、対象人物P-1の顔画像と、抽出映像MVに係る監視カメラ30以外のカメラ(カメラID:C1/C4/C7)において撮影された映像との照合処理を要求できると好適である。これにより、ユーザは対象人物P-1を効率的に追跡できる。
図14においては、図13の場合と異なり、抽出映像MVから得られる対象人物P-1の移動方向に基づいて、移動方向に設置されている監視カメラ30を示すアイコン(カメラID:C7)のみが表示されている。さらに、地図M1上では、対象人物P-1の移動方向に設置されている監視カメラ30(カメラID:C7)を示すカメラアイコンC7が円形の破線Bに囲まれることで強調表示されている。
ユーザは、同画面において対象人物P-1の顔部分を指定し、これを地図M1上で強調表示されているカメラアイコンC7に重ね合わせるドラッグ操作を行うことで、対象人物P-1の顔画像と、抽出映像MVに係る監視カメラ30以外のカメラ(カメラID:C7)において撮影された映像との照合処理を要求できると好適である。これにより、ユーザは対象人物P-1を効率的に追跡できる。
なお、カメラアイコンの強調表示の方法は、これらに限られない。例えば、照合スコアに応じて色、大きさ、形状等の表示様式を変更してもよい。
(第2の検索方法)
図15は、人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが検索画面に表示されている映像の中から対象人物を指定することで実行される第2の検索方法に関する。
ステップS301において、ユーザ端末10は、表示装置106に検索画面を表示する。図16は、第2の検索方法に係る検索画面の一例を示す図である。検索画面の地図表示欄には、ユーザ操作により指定された検索対象領域の地図M1が表示されている。また、検索画面の右側領域では、“映像リスト”のタブT2が選択されている。
図16における破線矢印A2は、ユーザが選択映像MVに表示されている対象人物P-2の顔部分をマウスポインタPによって指定し、対象人物P-2の顔部分を地図M1上に表示されているカメラアイコンC3に重ね合わせるドラッグ操作を行ったことを示している。
ステップS302において、ユーザ端末10は、表示中の地図に含まれる監視カメラ30を特定する。図16の例では、地図M1上に表示されているカメラアイコンC1~C15に対応する複数の監視カメラ30の各々のカメラID(C1~C15)が特定される。
ステップS303において、ユーザ端末10は、映像リストの送信要求を管理サーバ20に送信する。送信要求には、ステップS302において特定された全てのカメラIDが含まれる。
ステップS304において、管理サーバ20は、ユーザ端末10から受信した送信要求に含まれるカメラIDをキーとして検出履歴情報DB24を参照し、特定された監視カメラ30に関する検出履歴情報を取得すると、その検出履歴情報に基づいて作成した映像リストをユーザ端末10に送信する。検索画面において検索対象期間が指定されている場合には、検出時間が検索対象期間に含まれる検出履歴情報のみが抽出され得る。
ステップS305において、ユーザ端末10は、管理サーバ20から受信した映像リストを表示装置106に表示する。図16の例では、地図M1上に表示されているカメラアイコンC1~C15に対応する複数の監視カメラ30の映像リストLS2が表示されている。
ステップS306において、ユーザ端末10は、映像リストの中から何れかの映像が選択されたか否かを判定する。ここで、ユーザ端末10が、映像が選択されたと判定した場合(ステップS306:YES)には、処理はステップS307へ移行する。
これに対し、ユーザ端末10が、映像が選択されていないと判定した場合(ステップS306:NO)には、ステップS306の処理は繰り返される。
ステップS307において、ユーザ端末10は、映像データの配信要求を管理サーバ20に送信する。配信要求には、映像リストの中から選択された映像の映像IDが含まれる。
ステップS308において、管理サーバ20は、ユーザ端末10から受信した配信要求に基づいてストレージ204から映像データを取得し、その映像データをユーザ端末10に配信する。
ステップS309において、ユーザ端末10は、管理サーバ20から受信した映像を再生する。図16の例では、カメラIDが“C1”である監視カメラ30の映像のサムネイル画像が選択されていることから、映像リストLS2よりも下方に位置する選択映像の表示欄において映像MVが拡大表示されている。
ステップS310において、ユーザ端末10は、再生中の映像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS310:YES)には、処理はステップS311へ移行する。
これに対し、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS310:NO)には、処理はステップS306へ戻る。
ステップS311において、ユーザ端末10は、ドラッグ操作時における映像の表示フレームの情報と、ドラッグ操作時における表示フレーム内でのマウスポインタの位置座標の情報を取得する。マウスポインタの位置座標は、映像内におけるユーザの顔の位置を示す。
ステップS312において、ユーザ端末10は、検索対象(ドラッグ先)の監視カメラ30を特定する。図16の例では、カメラIDが“C3”の監視カメラ30が特定される。
次に、ユーザ端末10は、検索対象期間を取得する(ステップS313)。図16の例では、検索対象期間として“2019/12/31 12:00”~“2019/12/31 14:00”が取得される。
ステップS314において、ユーザ端末10は、対象人物の検索要求を管理サーバ20に送信する。検索要求には、監視カメラ30のカメラID、映像ID、表示フレーム、対象人物の位置座標等の情報が含まれる。
なお、管理サーバ20から配信された映像中に、各人物の顔を検出した顔検出枠が指定可能な状態で重畳表示されている場合には、ユーザが指定した対象人物の顔検出枠のIDを検索要求に含めてもよい。この場合には、対象人物の位置座標の情報は省略可能になる。
ステップS315において、管理サーバ20は、検索要求に含まれる情報に基づいて、映像IDに対応する映像データの中からドラッグ操作時の表示フレームを取得する。次に、管理サーバ20は、表示フレームの中から対象人物の位置座標に表示されている顔画像を検出する(ステップS316)。
なお、ユーザ端末10側で指定された映像内の位置座標に人物の顔が存在しない場合には、管理サーバ20は、ユーザ端末10にエラー情報を返すと好適である。ただし、映像内に人物が一人しか存在しない場合には、位置座標を考慮せずに、該当人物の顔画像を検出できる。
ステップS317において、管理サーバ20は、検出された顔画像の顔特徴量を算出する。なお、選択映像において人物の検出処理が実行済みの場合には、検出履歴情報DB24から対象人物の顔特徴量を取得できる。
ステップS318において、管理サーバ20は、算出した顔特徴量に基づいて検出履歴情報DB24の中から、検索対象(ドラッグ先)の監視カメラ30に係る検出履歴情報を検索する。具体的には、管理サーバ20は、顔画像から算出した顔特徴量と、検出履歴情報に含まれる検出人物の顔特徴量とを順次照合し、その類似度(照合スコア)が所定の閾値以上の人物を抽出する。
本実施形態では、照合処理によって算出された照合スコアが所定の閾値以上であるとき、照合処理の結果は照合一致であるとみなす。また、照合スコアが所定の閾値未満であるとき、照合処理の結果は照合不一致であるとみなす。
ステップS319において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば対象人物が映っている監視映像を読み出すための情報や対象人物の撮影日時の情報等が含まれる。
ステップS320において、ユーザ端末10は、管理サーバ20から受信した検索結果を表示装置106に表示する。図17は、第2の検索方法に係る検索結果の一例を示す図である。図17では、検索画面のタブT2の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-2)/検索対象カメラ(C3)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:29)/照合スコア(96.3))R2が表示されている。
(第3の検索方法)
図18は、人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが任意に指定した画像ファイルの中から対象人物を指定することで実行される第3の検索方法に関する。
ステップS401において、ユーザ端末10は、表示装置106に検索画面を表示する。図19は、第3の検索方法に係る検索画面の一例を示す図である。ここでは、検索画面の右側領域において、“画像ファイル”のタブT3が選択されている。タブT3の中には、ユーザ操作によって読み込まれたファイルの画像IMG-3が表示されている。読み込み可能な画像ファイルは、静止画像ファイル及び動画像ファイルであると好適である。
図19における破線矢印A3は、ユーザが検索画面に読み込まれた画像IMG-3に含まれる対象人物P-4の顔部分をマウスポインタPによって指定し、対象人物P-4の顔部分を地図M1上に表示されているカメラアイコンC2に重ね合わせるドラッグ操作を行うことを示している。
ステップS402において、ユーザ端末10は、ユーザ操作により指定された画像ファイルを読み込み、検索画面に画像を表示する。
ステップS403において、ユーザ端末10は、表示中の人物の画像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、画像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS403:YES)には、処理はステップS404へ移行する。
これに対し、ユーザ端末10が、画像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS403:NO)には、ステップS403の処理は繰り返される。
ステップS404において、ユーザ端末10は、画像ファイルのドラッグ先、すなわち、検索対象のカメラアイコンに対応する監視カメラ30を特定し、そのカメラIDを取得する。図19の例では、ドラッグ先のカメラアイコンに対応する監視カメラ30のカメラIDは、“C2”である。
ステップS405において、ユーザ端末10は、画像内におけるドラッグ操作時のマウスポインタの位置座標を取得する。次に、ユーザ端末10は、検索画面においてユーザにより指定された検索対象期間を取得する(ステップS406)。
ステップS407において、ユーザ端末10は、管理サーバ20に対して対象人物の検索要求を送信する。検索要求には、読み込まれた画像ファイル、画像内で指定された顔の位置座標、検索対象期間、ドラッグ先の監視カメラ30のカメラID等の情報が含まれる。
ステップS408において、管理サーバ20は、検索要求に含まれる顔の位置座標に基づいて、画像ファイルの画像の中から対象人物の顔画像を検出する。図19の例では、管理サーバ20は、画像IMG-3の中から、対象人物P-4の顔画像を検出する。
なお、ユーザ端末10側で指定された画像内の位置座標に人物の顔が存在しない場合には、管理サーバ20は、ユーザ端末10にエラー情報を返すと好適である。ただし、画像内に人物が一人しか存在しない場合には、位置座標を考慮せずに、該当人物の顔画像を検出できる。
次に、管理サーバ20は、検出された対象人物の顔画像から顔特徴量を算出する(ステップS409)。
ステップS410において、管理サーバ20は、算出した顔特徴量に基づいて、ドラッグ先の監視カメラ30に係る検出履歴情報を検索する。具体的には、管理サーバ20は、顔画像から算出した顔特徴量と、検出履歴情報に含まれる検出人物の顔特徴量とを順次照合し、その類似度が所定の閾値以上の人物を抽出する。
ステップS411において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば対象人物が映っている監視映像を読み出すための情報や対象人物の撮影日時の情報等が含まれる。
ステップS412において、ユーザ端末10は、検索結果を表示装置106に表示する。図20は、第3の検索方法に係る検索結果の一例を示す図である。図20では、検索画面のタブT3の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-4)/検索対象カメラ(C2)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:30)/照合スコア(93.4))R3が表示されている。
(第4の検索方法)
図21は、人物検索システム1の処理の一例を示すシーケンス図である。この処理は、ユーザが検索結果の映像の中から対象人物を指定することで実行される第4の検索方法に関する。第4の検索方法は、上述の第1~第3の検索方法のいずれかを実行することで得られた検索結果の映像の中から、ユーザが任意の人物を指定する検索方法である。
ステップS501において、ユーザ端末10は、管理サーバ20から受信した検索結果の映像を表示装置106において再生する。
図22は、第4の検索方法に係る検索画面の一例を示す図である。ここでは、先の検索結果である映像MV-2が検索画面に重畳表示されている。また、検索実行条件に含まれる顔画像IMG-6の対象人物は、映像MV-2内では符号P-6の人物とする。
図22における破線矢印A4は、ユーザが、映像MV-2において対象人物P-6とは異なる人物P-7を新たな対象人物としてマウスポインタPによって指定し、映像MV-2を他の監視カメラ30に係るカメラアイコンC13に重ね合わせるドラッグ操作を行うことを示している。
ステップS502において、ユーザ端末10は、再生中の映像が地図上のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされたと判定した場合(ステップS502:YES)には、処理はステップS503へ移行する。
これに対し、ユーザ端末10が、再生中の映像が地図上のカメラアイコンにドラッグされていないと判定した場合(ステップS502:NO)には、ステップS502の処理は繰り返される。
ステップS503において、ユーザ端末10は、ドラッグ操作時における映像の表示フレームの情報と、表示フレーム内での指定人物の位置座標を取得する。
ステップS504において、ユーザ端末10は、検索対象(ドラッグ先)の監視カメラ30を特定する。図22の例では、ドラッグ先のカメラアイコンに対応する監視カメラ30のカメラIDは、“C13”である。
次に、ユーザ端末10は、検索対象期間を取得する(ステップS505)。図22の例では、検索対象期間として“2019/12/31 12:00”~“2019/12/31 14:00”が指定されている。
ステップS506において、ユーザ端末10は、指定人物の検索要求を管理サーバ20に送信する。検索要求には、ドラッグ元の映像の映像ID、表示フレーム、指定人物の顔の位置座標、ドラッグ先(検索対象)の監視カメラ30のカメラID等の情報が含まれる。
ステップS507において、管理サーバ20は、検索要求に含まれる情報に基づいて、ドラッグ操作時の表示フレームを取得する。
ステップS508において、管理サーバ20は、表示フレームの中から指定された位置座標に存在している指定人物の顔画像を検出する。図22の例では、管理サーバ20は、ドラッグ操作時における表示フレームの中から対象人物P-7の顔画像を検出する。
なお、ユーザ端末10側で指定された位置座標に人物の顔が存在しない場合には、管理サーバ20はユーザ端末10に対してエラー情報を返すと好適である。ただし、映像内に人物が一人しか存在しない場合には、指定された位置座標を考慮せずに、該当人物の顔画像を自動的に検出してもよい。
ステップS509において、管理サーバ20は、検出された顔画像の顔特徴量を算出する。なお、選択映像において人物の検出処理が実行済みの場合には、検出履歴情報DB24から指定人物の顔特徴量を取得できる。
ステップS510において、管理サーバ20は、算出した顔特徴量に基づいて検出履歴情報DB24の中から、ドラッグ先の監視カメラ30に係る検出履歴情報を検索する。具体的には、管理サーバ20は、指定人物の顔画像から算出した顔特徴量と、検出履歴情報に含まれる検出人物の顔特徴量とを順次照合し、その類似度が所定の閾値以上の人物を抽出する。
ステップS511において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば指定人物が映っている監視映像を読み出すための情報や対象人物の撮影日時の情報等が含まれる。
ステップS512において、ユーザ端末10は、管理サーバ20から受信した検索結果を表示装置106に表示する。図23は、第4の検索方法に係る検索結果の一例を示す図である。図23では、検索画面のタブT2の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-7)/検索対象カメラ(C13)/検索対象期間)と検索結果(映像/撮影日時(2019/12/31 13:15:20 ― 2019/12/31 13:15:30)/照合スコア(95.0))R4が表示されている。
本実施形態によれば、ユーザは画面に表示されている対象人物の顔部分(又は対象人物が映っている画像全体)を地図上のカメラアイコンに重ね合わせるドラッグ操作を行うことにより、ドラッグ先のカメラアイコンに対応する監視カメラ30が撮影した監視映像の中から対象人物を検索できる。すなわち、ユーザが所望の監視カメラ30における監視映像の中から対象人物を容易に検索できる。
[第2実施形態]
本実施形態は、ユーザにより画面上で一人だけ指定された対象人物の顔画像を、地図上で指定された複数の監視カメラ30における映像と一括照合する点で第1実施形態とは異なっている。
図24は、本実施形態における検索画面の一例を示す図である。地図M2に示される検索対象エリアは、上述した図10等の地図M1の検索対象エリアよりも広い。また、地図M2の縮尺は、地図M1と異なっている。このため、地図M2の一部には、隣接するカメラアイコン同士が重畳して表示されている。
図24における破線矢印A5は、ユーザが検索画面に読み込まれた画像IMG-8の中で対象人物P-8の顔部分をマウスポインタPで指定し、画像IMG-8を地図M2上において重畳表示されている複数のカメラアイコンに重ね合わせるドラッグ操作を行うことを示している。
なお、複数のカメラアイコンを一括で指定する方法はこれに限られない。例えば、マウスポインタPをドラッグ状態のまま複数のカメラアイコンの上を通過させて重ね合わせるように操作してもよい。すなわち、複数のカメラアイコンが重畳表示されていない場合でも、複数のカメラアイコンを指定可能である。
図25は、本実施形態における検索結果の一例を示す図である。図25では、検索画面のタブT3の中に、ユーザが指定した検索実行条件(対象人物の顔画像(IMG-8)/検索対象カメラ(C7/C8/C9)/検索対象期間)と検索結果(映像/撮影日時/撮影カメラ(C7/C8/C9)/照合スコア(95.3/94.6/97.8))R5が表示されている。ユーザは検索結果R5を参照することにより、カメラIDが“C7”、“C8”、“C9”の全ての監視カメラ30に対象人物が映っていたことが分かる。また、検索結果R5においては、映像が時系列で表示されているため、ユーザは対象人物の動線を容易に把握できる。
本実施形態によれば、ユーザは検索対象の監視カメラ30に係るカメラアイコンを一つずつ指定しなくてもよい。ユーザは対象人物の顔画像と複数の監視カメラ30における映像との照合処理を一括して要求できるため、ユーザは検索作業をさらに効率的に行える。
[第3実施形態]
本実施形態は、ユーザにより地図上で指定された1つのカメラアイコンを、同一画面に表示中の対象人物の顔画像に重ね合わせるドラッグ操作によって対象人物の検索処理を要求できる点で上述した実施形態とは異なっている。
図26は、本実施形態における検索画面の一例を示す図である。図26における破線矢印A6はユーザが地図上で指定した1つのカメラアイコンを、検出人物リストLS1に表示されている1つの顔画像にドラッグすることを示している。すなわち、図26におけるユーザのドラッグ操作の方向は、図11の場合とは逆である。
本実施形態では、ユーザが第1実施形態とは逆方向のドラッグ操作を行った場合でも、第1実施形態と共通の検索処理を実行する。これにより、本実施形態によれば、第1実施形態と同様の効果を奏する。
[第4実施形態]
本実施形態は、ユーザは地図上で指定した複数のカメラアイコンを同一画面に表示中の対象人物の顔画像に重ね合わせるドラッグ操作を行える点で上述した実施形態とは異なっている。
図27は、本実施形態における検索画面の一例を示す図である。図27における破線矢印A7は、ユーザが地図M1上で指定した複数のカメラアイコンを、検出人物リストLS1に表示されている1つの顔画像に纏めてドラッグすることを示している。すなわち、図27におけるユーザのドラッグ操作の方向は、図19や図24等の場合とは逆である。
本実施形態では、ユーザが第1実施形態や第2実施形態とは逆方向のドラッグ操作を行った場合でも、上述した各実施形態と共通の検索処理を実行する。これにより、本実施形態によれば、各実施形態と同様の効果を奏する。
[第5実施形態]
本実施形態は、地図上で1つ選択したカメラアイコンを他のカメラアイコンに重ね合わせるドラッグ操作を行う第5の検索方法を実行できる点で上述した実施形態とは異なっている。
さらに、本実施形態では、第5の検索方法の実行により得られた検索結果の一部又は全部を地図上のカメラアイコンに重ね合わせるドラッグ操作を行う第6の検索方法も実行できる。
(第5の検索方法)
図28は、本実施形態における人物検索システム1の処理の一例を示すシーケンス図である。この処理は、第5の検索方法に関する。
ステップS601において、ユーザ端末10は、表示装置106に検索画面を表示する。図29は、第5の検索方法に係る検索画面の一例を示す図である。ここでは、検索オプションの表示欄にチェックボックスCBが含まれている。本実施形態において、ユーザは、チェックボックスCBのON/OFF操作により検索方法を切り替えるものとする。
具体的には、チェックボックスCBがOFFの場合には、2つの監視カメラ30に共通して映っている共通登場人物が検索対象となる。一方、チェックボックスがONの場合には、共通登場人物のうち、同時に(一緒に)映っている複数の人物の組み合わせが検索対象となる。
ステップS602において、ユーザ端末10は、地図上において選択されたカメラアイコンが他のカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10は、選択されたカメラアイコンが他のカメラアイコンにドラッグされたと判定した場合(ステップS602:YES)には、処理はステップS603へ移行する。
これに対し、ユーザ端末10が、選択されたカメラアイコンが他のカメラアイコンにドラッグされていないと判定した場合(ステップS602:NO)には、ステップS602の処理は繰り返される。
ステップS603において、ユーザ端末10は、ドラッグ元とドラッグ先のカメラアイコンに対応する監視カメラ30をそれぞれ特定する。図29の例では、ドラッグ元のカメラアイコンC1に対応する監視カメラ30のカメラIDは、“C1”である。そして、ドラッグ先のカメラアイコンC2に対応する監視カメラ30のカメラIDは、“C2”である。
ステップS604において、ユーザ端末10は、検索画面において指定された検索対象の人物の指定情報を取得する。次に、ユーザ端末10は、ユーザ操作により検索画面において指定された検索対象期間を取得する(ステップS605)。
ステップS606において、ユーザ端末10は、管理サーバ20に共通登場人物の検索要求を送信する。検索要求には、ドラッグ元及びドラッグ先の2つの監視カメラ30のカメラID、検索対象期間、検索対象の指定情報等の情報が含まれる。
ステップS607において、管理サーバ20は、検索対象が“共通登場人物”であるか否かを判定する。ここで、管理サーバ20が、検索対象が“共通登場人物”であると判定した場合(ステップS607:YES)には、処理はステップS608へ移行する。
これに対し、管理サーバ20が、検索対象が“共通登場人物”ではなく、“共通登場人物の組み合わせ”であると判定した場合(ステップS607:NO)には、処理はステップS609へ移行する。
ステップS608において、管理サーバ20は、検索要求に含まれる検索条件に基づいて、ドラッグ元とドラッグ先の両方の監視カメラ30に共通して映っている人物(共通登場人物)を検索する。
一方、ステップS609において、管理サーバ20は、検索要求に含まれる検索条件に基づいて、ドラッグ元とドラッグ先の両方の監視カメラ30に共通して同時に映っている人物(共通登場人物)の組み合わせを検索する。
ステップS610において、管理サーバ20は、ユーザ端末10に対して検索結果を送信する。検索結果には、例えば共通登場人物が映っている監視映像を読み出すための情報や共通登場人物の撮影日時の情報等が含まれる。
ステップS611において、ユーザ端末10は、表示装置106に検索結果を表示する。図30及び図31は、第5の検索方法に係る検索結果の一例を示す図である。
図30では、共通登場人物の“組み合わせ検出”をしないことが検索実行条件に含まれている。すなわち、上述した図29の例では、チェックボックスCBがOFFに設定された場合に相当する。このため、検索結果R6として、検索対象の2つの監視カメラ30(カメラID:C1/C2)の両方に映っていた人物のリスト情報が表示されている。
一方、図31では、共通登場人物の“組み合わせ検出”をすることが検索実行条件に含まれている。このため、検索結果R7として、検索対象の2つの監視カメラ30(カメラID:C1/C2)の両方において一緒に映っていた人物の組み合わせのリスト情報が表示されている。検索結果R7に含まれる映像は、同時に映っている映像シーンのみが抽出したものでよい。
(第6の検索方法)
図32は、本実施形態における人物検索システム1の処理の一例を示すシーケンス図である。この処理は、第6の検索方法に関し、上述した図28の後に実行され得る。
ステップS612において、ユーザ端末10は、検索結果が地図上に表示されたカメラアイコンにドラッグされたか否かを判定する。ここで、ユーザ端末10が、検索結果がカメラアイコンにドラッグされたと判定した場合(ステップS612:YES)には、処理はステップS613へ移行する。
これに対し、ユーザ端末10が、検索結果がカメラアイコンにドラッグされていないと判定した場合(ステップS612:NO)には、図32の処理は終了する。
ステップS613において、ユーザ端末10は、ユーザ操作に基づいて新たな検索対象の監視カメラ30のカメラIDを特定する。図33は、第6の検索方法に係る検索画面の一例を示す図である。図33における破線矢印A8は、ユーザが先に実行された検索処理の検索結果の一部をマウスポインタPによって指定し、その検索結果を地図上のカメラアイコンに重ね合わせるドラッグ操作を行うことを示している。
図33の例では、検索結果R7のリスト情報の最上部の人物の組み合わせが指定されている。管理サーバ20は、指定された人物の顔画像の組み合わせに基づいて、ドラッグ先のカメラアイコンC3に係る監視カメラ30の映像を検索する。
ステップS614において、ユーザ端末10は、管理サーバ20に共通登場人物の検索要求を送信する。検索要求には、先に実行された検索処理の検索結果を特定する識別情報、検索対象期間、検索対象の監視カメラ30のカメラID、検索対象とする人物の指定情報等の情報が含まれる。
ステップS615において、管理サーバ20は、検索要求に含まれる検索条件に基づいて、検索結果に含まれる共通登場人物のうち、特定された監視カメラ30にも映っている人物を検出履歴情報DB24の中から検索する。ここで、検索対象とする人物は、検索画面における指定情報によって異なるものとする。
例えば、検索対象が“共通登場人物”である場合には、第1カメラ及び第2カメラの両方に映っていた共通登場人物のうち、第3カメラにも映っている人物が検索される。
一方、検索対象が“共通登場人物の組み合わせ”である場合には、第1カメラ及び第2カメラに同時に映っていた共通登場人物の組み合わせのうち、第3カメラにおいても同時に映っている人物の組み合わせが検索される。
図34は、第6の検索方法に係る検索結果の一例を示す図である。検索結果R8は、図33において指定された人物の組み合わせが、ドラッグ先(検索対象)の監視カメラ30(カメラID:C3)の映像の中から抽出されたことを示している。
本実施形態によれば、ユーザは地図上のカメラアイコン同士を重ね合わせるドラッグ操作を行うことにより、複数の監視カメラ30に共通して映っている人物のリスト情報と、複数の監視カメラ30に共通して同時に映っている人物の組み合わせのリスト情報とをそれぞれ取得できる。これにより、ユーザは、対象人物の絞り込み作業及び対象人物の関係者の絞り込み作業を効率的に行うことができる。
さらに、本実施形態によれば、検索結果自体を地図上のカメラアイコンに重ね合わせるドラッグ操作を行うことができるため、先に実行された検索処理の結果をさらに絞り込める。
[第6実施形態]
本実施形態は、対象人物を撮影した監視カメラ30(以下、「第1カメラ」という。)と、ドラッグ先のカメラアイコンに対応する他の監視カメラ30(以下、「第2カメラ」という。)との間の距離から対象人物の所要時間を推定し、第1カメラにおける撮影時刻と所要時間に基づいて検索対象期間を自動的に決定する点で上述の実施形態とは異なっている。なお、「所要時間」は、対象人物が第1カメラの場所から第2カメラの場所まで移動するために要する時間である。
図35は、本実施形態における人物検索システム1の処理の一例を示すフローチャートである。この処理は、例えば図9に示すステップS209とステップS210の間に実行され得る。
ステップS701において、ユーザ端末10は、対象人物の顔画像をドラッグした時に画面に表示されていた表示フレームの撮影時刻を取得する。
ステップS702において、ユーザ端末10は、対象人物を撮影した監視カメラ30と、ドラッグ先のカメラアイコンに対応する監視カメラ30との間の距離を取得する。2つの監視カメラ30の間の距離は、例えばカメラ情報DB23に記憶されている位置情報から算出可能である。また、カメラ間の距離を記録しているテーブルがある場合には、2つのカメラIDに基づいて当該テーブルを参照することで取得できる。
ステップS703において、ユーザ端末10は、所定速度とカメラ間の距離とに基づいて所要時間の範囲を推定する。「所定速度」としては、例えば時速3~5km/秒のように、人間の平均的な歩行速度の範囲が設定されると好適である。
ステップS704において、ユーザ端末10は、撮影時刻と所要時間の範囲とに基づいてドラッグ先の監視カメラ30における検索対象期間を決定する。その後、処理は図9に示すステップS210へ移行する。
本実施形態によれば、対象人物を指定した映像を撮影した監視カメラ30と、対象人物の顔画像のドラッグ先のカメラアイコンに対応する監視カメラ30との間の距離に基づいて、ドラッグ先の監視カメラ30における検索対象期間を自動で絞り込むことができる。これにより、人物検索システム1における検索処理の速度が向上する。
[第7実施形態]
本実施形態は、対象人物の指定に用いた映像を解析して対象人物の移動速度を算出し、当該移動速度と2つの監視カメラ30の間の距離とに基づいて、検索対象の監視カメラ30に関する検索対象期間を自動的に決定する点で上述した第6実施形態とは異なっている。
図36は、本実施形態における人物検索システム1の処理の一例を示すフローチャートである。この処理は、図15に示すステップS312とステップS314の間に実行され得る。
ステップS801において、ユーザ端末10は、対象人物の顔画像をドラッグした時に画面に表示されていた表示フレームの撮影時刻を取得する。
ステップS802において、ユーザ端末10は、映像内における対象人物の移動速度を算出する。例えば、対象人物の移動速度は、対象人物が監視カメラ30に実際に映っている時間の長さと、映像の情報(例えば倍率や撮影角度など)から得られる対象人物の移動距離とに基づいて算出される。
ステップS803において、ユーザ端末10は、対象人物を撮影した監視カメラ30と、ドラッグ先のカメラアイコンに対応する監視カメラ30との間の距離を取得する。
ステップS804において、ユーザ端末10は、移動速度とカメラ間の距離とに基づいて所要時間の範囲を推定する。例えば、ステップS802において算出された対象人物の移動速度が時速4.5km/秒であり、カメラ間の距離が0.4kmの場合を説明する。この場合、例えば対象人物の移動速度の範囲を時速4~5km/秒と仮定することで、所要時間の範囲は4.8分(=(0.4/5)×60)~6分(=(0.4/4)×60)と算出できる。
ステップS805において、ユーザ端末10は、撮影時刻と所要時間の範囲とに基づいてドラッグ先の監視カメラ30における検索対象期間を決定する。その後、処理は図15に示すステップS314へ移行する。
本実施形態によれば、映像解析により得られた対象人物の移動速度と2つの監視カメラ30の間の距離とに基づいて、ドラッグ先の監視カメラ30における検索対象期間を自動で絞り込むことができる。これにより、人物検索システム1における検索処理の速度が向上する。
[第8実施形態]
図37は、本実施形態における情報処理装置100の構成を示すブロック図である。情報処理装置100は、表示制御部100Aと、操作受付部100Bと、処理要求部100Cとを備える。表示制御部100Aは、検索対象領域の地図と地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させる。操作受付部100Bは、複数のカメラアイコンのうち、第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付ける。処理要求部100Cは、前記操作に基づいて、第1カメラアイコンに係る監視カメラの第1監視映像と第2カメラアイコンに係る監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求する。本実施形態によれば、ユーザは所望の監視カメラにおける監視映像の中から対象人物を容易に検索できる。
[変形実施形態]
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。
上述した実施形態では、生体情報として顔画像を用いる場合について説明したが、本発明に用いる生体情報は顔画像のみに限られない。例えば、管理サーバ20は、顔画像の代わりに虹彩画像や耳介画像等の他の生体情報を用いて照合処理を行ってもよい。また、管理サーバ20は、異なる種類の生体情報の組み合わせに基づいて照合処理を行ってもよい。
また、顔画像だけでなく、映像から人物を検索する際に、携行品に関する情報を検出し、顔画像に関連付けてデータベース内に記憶しておいてもよい。携行品の具体例としては、服装、帽子、靴、鞄、眼鏡及び各種のアクセサリー等が挙げられる。同様に、映像解析によって人物の年齢や性別を推定し、顔画像に関連付けてデータベース内に記憶しておいてもよい。ユーザ端末10は、対象人物の顔画像(人物画像)と指定情報との組み合わせに基づいて照合処理を管理サーバ20へ要求できる構成にしてもよい。この場合、ユーザは、対象人物の携行品に関する情報及び対象人物の年齢や性別等の属性情報のうち、少なくとも1つを画面上で指定することで、対象人物を検索できる。
また、本発明の構成は、物品の検索にも適用できる。例えば、監視カメラ30が撮影した映像から画像解析技術を用いて車両のナンバープレート、形状、大きさ、色等の属性情報を検出し、その属性情報をデータベース内に記憶しておいてもよい。これにより、ユーザは所望の監視カメラ30の映像の中から対象車両を容易に検索できる。
また、各監視カメラ30が撮影した映像を解析し、解析によって得られた各人物の歩き方等の特徴をデータベース内に記憶する構成にしてもよい。ユーザ操作により表示映像の中で対象人物が指定された場合には、対象人物の歩き方を解析し、その解析結果とデータベース内の検出人物の歩き方とを照合することで対象人物を検索できる。このように、歩容認証技術を用いることで、対象人物がマスクやサングラスを装着しているような場合でも対象人物を検索できる利点がある。
上述した第1実施形態では、ユーザが検出人物リストから1つの顔画像を選択する場合について説明した。しかし、ユーザ端末10は、ユーザが検出人物リストの中から選択した複数の顔画像を1つのカメラアイコンに重ね合わせるドラッグ操作を行える機能をさらに備えてもよい。
ユーザ操作により指定された複数の対象人物が、ドラッグ先の監視カメラ30において同時に映っていた場合には、管理サーバ20は所望の映像シーンを抽出し、ユーザ端末10に出力できる。例えば、人物Xと人物Yを指定したときに、二人が同時に映っている映像を検索できる。
同様に、ユーザ操作により指定された複数の対象人物が、ドラッグ先の監視カメラ30において少なくとも一人映っていた場合には、管理サーバ20は該当人物に関する映像シーンを抽出し、ユーザ端末10に出力できる。
上述した第1実施形態では、ユーザ端末10が管理サーバ20から配信された検出人物リストをユーザに提示する構成について説明した。管理サーバ20は、監視映像の中から検索(顔照合)に適する顔画像を自動的に選定して、例えば検出人物リストとしてユーザ端末10に出力する構成をさらに備えてもよい。具体的には、検出人物が監視カメラ30に対して正面を向いている顔画像を選定して、検出人物リストの中に含めるとよい。これにより、対象人物について実行する後続の照合処理の精度を向上できる。
上述した実施形態では、屋外の検索対象エリアに配置された監視カメラ30の映像を収集し、その映像の中から対象人物を検索する場合について説明した。しかし、検索対象エリアは屋外のみに限られない。例えば、交通機関や商業施設等の屋内施設を検索対象エリアに設定できる。この場合、検索対象エリアは、階ごとの案内地図を表示すればよい。例えば、複数階からなる建物内での人物の追跡作業に本発明を適用する場合に、検索画面等において対象人物と監視カメラ30との位置関係や案内地図を2次元だけでなく、3次元で表示可能にしてもよい。
また、上述実施形態では、管理サーバ20が映像情報DB22等のデータベースを備え、サーバ内で照合処理及び検索処理が実行される場合について説明した。しかし、監視カメラ30の各々が、管理サーバ20の処理の一部を担う構成でもよい。
図38は、変形実施形態における人物検索システム2の全体構成の一例を示すブロック図である。ここでは、ユーザ端末10と、管理サーバ20と、複数の監視カメラ30とがインターネット等のネットワークNW3を介して接続されている。また、複数の監視カメラ30の各々は、検索プログラム31と、カメラ内DB32とを備えている。検索プログラム31は、ユーザ端末10からの検索要求に応じて、自機において撮影された撮影画像の中から、ユーザ端末10で指定された顔画像と一致する人物を検索するプログラムである。カメラ内DB32は、例えば管理サーバ20の映像情報DB22及び検出履歴情報DB24と同期したデータを記憶するデータベースである。カメラ内DB32は、自機において撮影した撮影映像を記憶・蓄積している。
ユーザが地図上のカメラアイコン上に人物画像や顔画像をドラッグする操作を行った場合には、ユーザ端末10は、当該カメラアイコンに対応する監視カメラ30に対して直接的にあるいは管理サーバ20を介して間接的に検索要求を送信する。検索要求は、ユーザがドラッグした人物画像等を含んだ検索指示情報である。監視カメラ30は、ユーザ端末10から検索要求を受信すると、カメラ内DB32に対して検索処理を実行し、その検索結果をユーザ端末10に返す。この場合、複数の監視カメラ30が検索処理を分散して実行するため、管理サーバ20の処理負荷を低減できる利点がある。
上述した各実施形態では、マウスポインタを用いたドラッグ操作によってカメラアイコン等を指定する場合について説明したが、マウスポインタを用いたドラッグ操作は指定操作の一例に過ぎない。例えば、ユーザが、マウスポインタの代わりに、指によるスワイプやタップ等によって指定操作を行える構成にしてもよい。
上述した第5実施形態においては、例えば第1カメラ及び第2カメラに共通して登場する人物(共通登場人物)を検索するために、第1カメラに対応する第1カメラアイコンを第2カメラに対応する第2カメラアイコンにドラックする場合について説明した。しかし、複数のカメラアイコンを指定する方法は、これに限られない。
図39及び図40は、変形実施形態における検索画面の一例を示す図である。図39における破線矢印A9は、ユーザがカメラアイコンC1(第1カメラアイコン)及びカメラアイコンC2(第2カメラアイコン)を指定するために、2つのカメラアイコンを含むようにマウスポインタPの軌跡で周囲を囲む操作を行うことを示している。また、破線矢印A10は、ユーザが、破線矢印A9の操作によって指定されたカメラアイコン群(あるいはカメラアイコン群の近傍領域)を、検出人物リストLS1の顔画像に対してドラッグする操作を示している。
図40における破線矢印A11は、ユーザが複数のカメラアイコン(C1、C2、C4、C7~C9)の周囲を指Fでなぞることで検索対象の監視カメラ30を指定する操作を示している。また、破線矢印A12は、破線矢印A11の操作によって指定されたカメラアイコン群に対して、検出人物リストLS1の顔画像をドラッグする操作を示している。同様に、ユーザが複数のカメラアイコンをマウスポインタPでクリックあるいは指Fでタップして検索対象の監視カメラ30を指定し、当該指定後にカメラアイコン群(あるいはカメラアイコン群の近傍領域)に対して人物画像をドラッグする操作を行ってもよい。いずれの場合にも、第5実施形態の場合と同様に、検索対象の監視カメラ30の全てに共通して映っている人物を検索可能である。なお、検索対象として指定するカメラアイコンの数は限定されず、3つ以上であってもよい。
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
該記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード等を用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させる表示制御部と、
複数の前記カメラアイコンのうち、第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付ける操作受付部と、
前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求する処理要求部と、
を備える情報処理装置。
(付記2)
前記処理要求部は、前記第1監視映像と前記第2監視映像の両方に共通して同時に映っている前記共通登場人物の組み合わせの検索処理を要求する、
付記1に記載の情報処理装置。
(付記3)
前記表示制御部は、前記検索処理の検索結果を前記画面に表示し、
前記操作受付部は、前記検索結果の表示領域を、前記地図上に表示された第3カメラアイコンに重ね合わせる操作を受け付け、
前記処理要求部は、前記検索結果に含まれる前記共通登場人物を、前記第3カメラアイコンに係る前記監視カメラの第3監視映像にも映っている人物のみに絞り込む第2検索処理を要求する、
付記1又は2に記載の情報処理装置。
(付記4)
前記表示制御部は、前記第1監視映像及び前記第2監視映像の各々の中から、前記共通登場人物が映っているシーンを抽出した抽出映像を表示させる、
付記1又は2に記載の情報処理装置。
(付記5)
前記操作受付部は、前記抽出映像の中で指定された指定人物に関する指定人物画像を、前記地図上の前記カメラアイコンに重ね合わせる操作を受け付け、
前記処理要求部は、前記指定人物画像と、前記カメラアイコンが示す前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
付記4に記載の情報処理装置。
(付記6)
前記操作受付部は、前記抽出映像の中で指定された指定人物に関する複数の指定人物画像を、前記地図上における1つの前記カメラアイコンに一括して重ね合わせる操作を受け付け、
前記処理要求部は、複数の前記指定人物画像の各々と、前記カメラアイコンが示す前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
付記4に記載の情報処理装置。
(付記7)
前記操作受付部は、前記抽出映像の中で指定された指定人物に関する指定人物画像を、前記地図上に重畳表示された複数の前記カメラアイコンに一括して重ね合わせる操作を受け付け、
前記処理要求部は、前記指定人物画像と、複数の前記カメラアイコンの各々に係る前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
付記4に記載の情報処理装置。
(付記8)
前記表示制御部は、前記監視カメラの各々における前記照合処理の結果に応じて前記カメラアイコンの表示形式を変更する、
付記7に記載の情報処理装置。
(付記9)
前記表示制御部は、前記抽出映像に係る前記監視カメラとは異なる他の前記監視カメラの設置場所の方角を示す標識を、前記地図上に重畳して表示させる、
付記4乃至8のいずれか1項に記載の情報処理装置。
(付記10)
前記表示制御部は、前記共通登場人物が進む方角に位置する前記監視カメラの識別情報を、前記抽出映像の中に重畳して表示させる、
付記4乃至8のいずれかに記載の情報処理装置。
(付記11)
前記表示制御部は、前記共通登場人物の人物画像を含むリストを前記画面に表示させる、
付記1乃至3のいずれかに記載の情報処理装置。
(付記12)
前記操作受付部は、前記リストから指定された前記人物画像を、前記地図上に表示された前記カメラアイコンのいずれかに重ね合わせる操作を受け付け、
前記処理要求部は、前記人物画像と、複数の前記カメラアイコンの各々に係る前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
付記11に記載の情報処理装置。
(付記13)
前記操作受付部は、前記リストに含まれる複数の前記人物画像を、前記地図上における1つの前記カメラアイコンに一括して重ね合わせる操作を受け付け、
前記処理要求部は、複数の前記人物画像の各々と、前記カメラアイコンが示す前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
付記11に記載の情報処理装置。
(付記14)
前記操作受付部は、前記リストに含まれる前記人物画像を、前記地図上に重畳表示された複数の前記カメラアイコンに一括して重ね合わせる操作を受け付け、
前記処理要求部は、前記人物画像と、複数の前記カメラアイコンの各々に係る前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
付記11に記載の情報処理装置。
(付記15)
前記表示制御部は、前記監視カメラの各々における前記照合処理の結果に応じて前記カメラアイコンの表示形式を変更する、
付記14に記載の情報処理装置。
(付記16)
検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させるステップと、
複数の前記カメラアイコンのうち、少なくとも1つの第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付けるステップと、
前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求するステップと、
を備える情報処理方法。
(付記17)
コンピュータに、
検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させるステップと、
複数の前記カメラアイコンのうち、少なくとも1つの第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付けるステップと、
前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求するステップと、
を実行させるためのプログラムが記録された記録媒体。
NW1,NW2,NW3・・・ネットワーク
1,2・・・人物検索システム
10・・・ユーザ端末
20・・・管理サーバ
21・・・登録者情報DB
22・・・映像情報DB
23・・・カメラ情報DB
24・・・検出履歴情報DB
30・・・監視カメラ
31・・・検索プログラム
32・・・カメラ内DB
100・・・情報処理装置
100A・・・表示制御部
100B・・・操作受付部
100C・・・処理要求部

Claims (10)

  1. 検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させる表示制御部と、
    複数の前記カメラアイコンのうち、第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付ける操作受付部と、
    前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求する処理要求部と、
    を備える情報処理装置。
  2. 前記表示制御部は、前記検索処理の検索結果を前記画面に表示し、
    前記操作受付部は、前記検索結果の表示領域を、前記地図上に表示された第3カメラアイコンに重ね合わせる操作を受け付け、
    前記処理要求部は、前記検索結果に含まれる前記共通登場人物を、前記第3カメラアイコンに係る前記監視カメラの第3監視映像にも映っている人物のみに絞り込む第2検索処理を要求する、
    請求項1に記載の情報処理装置。
  3. 前記表示制御部は、前記第1監視映像及び前記第2監視映像の各々の中から、前記共通登場人物が映っているシーンを抽出した抽出映像を表示させる、
    請求項1に記載の情報処理装置。
  4. 前記操作受付部は、前記抽出映像の中で指定された指定人物に関する指定人物画像を、前記地図上の前記カメラアイコンに重ね合わせる操作を受け付け、
    前記処理要求部は、前記指定人物画像と、前記カメラアイコンが示す前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
    請求項に記載の情報処理装置。
  5. 前記操作受付部は、前記抽出映像の中で指定された指定人物に関する複数の指定人物画像を、前記地図上における1つの前記カメラアイコンに一括して重ね合わせる操作を受け付け、
    前記処理要求部は、複数の前記指定人物画像の各々と、前記カメラアイコンが示す前記監視カメラにおいて撮影された監視映像との照合処理の実行を要求する、
    請求項に記載の情報処理装置。
  6. 前記表示制御部は、前記抽出映像に係る前記監視カメラとは異なる他の前記監視カメラの設置場所の方角を示す標識を、前記地図上に重畳して表示させる、
    請求項乃至のいずれか1項に記載の情報処理装置。
  7. 前記表示制御部は、前記共通登場人物が進む方角に位置する前記監視カメラの識別情報を、前記抽出映像の中に重畳して表示させる、
    請求項乃至のいずれか1項に記載の情報処理装置。
  8. 前記表示制御部は、前記共通登場人物の人物画像を含むリストを前記画面に表示させる、
    請求項1乃至のいずれか1項に記載の情報処理装置。
  9. 検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させるステップと、
    複数の前記カメラアイコンのうち、少なくとも1つの第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付けるステップと、
    前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求するステップと、
    を備える情報処理方法。
  10. コンピュータに、
    検索対象領域の地図と前記地図において監視カメラの設置位置を示す複数のカメラアイコンとを同一の画面に表示させるステップと、
    複数の前記カメラアイコンのうち、少なくとも1つの第1カメラアイコンを第2カメラアイコンに重ね合わせる操作を受け付けるステップと、
    前記操作に基づいて、前記第1カメラアイコンに係る前記監視カメラの第1監視映像と前記第2カメラアイコンに係る前記監視カメラが撮影した第2監視映像の両方に共通して映っている共通登場人物の検索処理を要求するステップと、
    を実行させるためのプログラム。
JP2021574416A 2020-01-31 2020-01-31 情報処理装置、情報処理方法及びプログラム Active JP7307887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023106574A JP2023129429A (ja) 2020-01-31 2023-06-29 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003743 WO2021152837A1 (ja) 2020-01-31 2020-01-31 情報処理装置、情報処理方法及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023106574A Division JP2023129429A (ja) 2020-01-31 2023-06-29 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021152837A1 JPWO2021152837A1 (ja) 2021-08-05
JPWO2021152837A5 JPWO2021152837A5 (ja) 2022-07-22
JP7307887B2 true JP7307887B2 (ja) 2023-07-13

Family

ID=77078449

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021574416A Active JP7307887B2 (ja) 2020-01-31 2020-01-31 情報処理装置、情報処理方法及びプログラム
JP2023106574A Pending JP2023129429A (ja) 2020-01-31 2023-06-29 情報処理装置、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023106574A Pending JP2023129429A (ja) 2020-01-31 2023-06-29 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (2) US20230056155A1 (ja)
JP (2) JP7307887B2 (ja)
WO (1) WO2021152837A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021210113A1 (ja) * 2020-04-15 2021-10-21
GB2612118B (en) * 2021-10-22 2024-10-02 Milestone Systems As Computer-implemented method and computer program for generating a thumbnail from a video stream or file, and video surveillance system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105802A (ja) 2007-10-25 2009-05-14 Toa Corp カメラ設置シミュレータプログラム
JP2013236215A (ja) 2012-05-08 2013-11-21 Panasonic Corp 表示映像形成装置及び表示映像形成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050243A (ja) * 1998-07-31 2000-02-18 Canon Inc カメラ制御システムおよびその制御方法およびその処理を実行させるプログラムを記憶した記憶媒体および映像受信端末
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
JP4547040B1 (ja) * 2009-10-27 2010-09-22 パナソニック株式会社 表示画像切替装置及び表示画像切替方法
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
US9026931B2 (en) * 2011-11-22 2015-05-05 Microsoft Technology Licensing, Llc Cross-browser “drag-and-drop” library
US9672493B2 (en) * 2012-01-19 2017-06-06 International Business Machines Corporation Systems and methods for detecting and managing recurring electronic communications
KR102090269B1 (ko) * 2012-12-14 2020-03-17 삼성전자주식회사 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US9195720B2 (en) * 2013-03-14 2015-11-24 Google Inc. Requesting search results by user interface gesture combining display objects
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックIpマネジメント株式会社 人物追尾システム及び人物追尾方法
JP5999394B2 (ja) * 2015-02-20 2016-09-28 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6399356B2 (ja) * 2015-05-26 2018-10-03 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6284086B2 (ja) * 2016-02-05 2018-02-28 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US11258985B2 (en) * 2016-04-05 2022-02-22 Verint Systems Inc. Target tracking in a multi-camera surveillance system
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム
JP6961363B2 (ja) * 2017-03-06 2021-11-05 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP6573346B1 (ja) * 2018-09-20 2019-09-11 パナソニック株式会社 人物検索システムおよび人物検索方法
JP7018001B2 (ja) * 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
JP7032350B2 (ja) * 2019-04-15 2022-03-08 パナソニックi-PROセンシングソリューションズ株式会社 人物監視システムおよび人物監視方法
JP6989572B2 (ja) * 2019-09-03 2022-01-05 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システム、捜査支援方法およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105802A (ja) 2007-10-25 2009-05-14 Toa Corp カメラ設置シミュレータプログラム
JP2013236215A (ja) 2012-05-08 2013-11-21 Panasonic Corp 表示映像形成装置及び表示映像形成方法

Also Published As

Publication number Publication date
US20230056155A1 (en) 2023-02-23
US20240201835A1 (en) 2024-06-20
JPWO2021152837A1 (ja) 2021-08-05
WO2021152837A1 (ja) 2021-08-05
JP2023129429A (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
WO2020135523A1 (zh) 目标对象的检索定位方法和装置
JP2023129429A (ja) 情報処理装置、情報処理方法及びプログラム
EP3591651A1 (en) Method and apparatus for providing image contents
CN110914872A (zh) 用认知洞察力导航视频场景
CN111222373B (zh) 一种人员行为分析方法、装置和电子设备
CN109040960A (zh) 一种实现位置服务的方法和装置
US10147230B2 (en) Dynamic video visualization
JP7018001B2 (ja) 情報処理システム、情報処理システムを制御する方法及びプログラム
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
US11348367B2 (en) System and method of biometric identification and storing and retrieving suspect information
CN113128437A (zh) 身份识别方法及装置、电子设备和存储介质
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
JP7389955B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20170095599A (ko) 동영상 검색 시스템 및 그 방법
KR102293880B1 (ko) 반응형 광고 출력 시스템
CN115223085A (zh) 一种风险人员的流调方法、装置、电子设备及存储介质
CN114677627A (zh) 目标线索寻找方法、装置、设备及介质
JP6773144B2 (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム
JP6856084B2 (ja) 情報処理装置、コンテンツ制御装置、情報処理方法、及びプログラム
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
JP5618628B2 (ja) 人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラム
KR102502034B1 (ko) 영상의 비 식별 처리 객체를 검색하는 방법 및 시스템
Sandifort et al. VisLoiter+ An entropy model-based loiterer retrieval system with user-friendly interfaces

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R151 Written notification of patent or utility model registration

Ref document number: 7307887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151