JP5058279B2 - Image search device - Google Patents
Image search device Download PDFInfo
- Publication number
- JP5058279B2 JP5058279B2 JP2010050655A JP2010050655A JP5058279B2 JP 5058279 B2 JP5058279 B2 JP 5058279B2 JP 2010050655 A JP2010050655 A JP 2010050655A JP 2010050655 A JP2010050655 A JP 2010050655A JP 5058279 B2 JP5058279 B2 JP 5058279B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- registration
- search
- feature amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
- H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
- H04N1/2187—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries with image input from a plurality of different locations or from a non-central location, e.g. from one or more users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
- H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
- H04N2201/0034—Details of the connection, e.g. connector, interface
- H04N2201/0037—Topological details of the connection
- H04N2201/0039—Connection via a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Alarm Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、画像の特徴量を使用して画像を検索する画像検索装置に係り、特に監視カメラ等の撮像装置の記録画像データから類似画像を検索して表示する画像検索装置に関する。 The present invention relates to an image retrieval apparatus that retrieves an image using image feature amounts, and more particularly to an image retrieval apparatus that retrieves and displays a similar image from recorded image data of an imaging apparatus such as a monitoring camera.
近年、セキュリティ(安全)意識の高まりや、警備の省力化の要求から、監視用の動画や静止画像のカメラ(監視カメラ)を用いた監視システムが注目されている。
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、昨今、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのために、膨大な時間がかかるようになってきている。
In recent years, surveillance systems using surveillance video and still image cameras (surveillance cameras) have been attracting attention because of increasing security (safety) awareness and demands for labor saving of security.
The monitoring system is a system that includes an imaging device such as a security monitoring camera, and a display function of still images and moving images acquired by the imaging device.
In the monitoring system, an imaging device is arranged at a place to be monitored for crime prevention / disaster prevention such as a hotel, a building, a convenience store, a financial institution, a dam, or a facility visited by an unspecified number of people. Then, the imaged video is monitored by a supervisor in the management room or the like to call attention or record / store the video according to the purpose or necessity.
However, recently, monitoring systems are becoming larger and wider. Along with this, the number of surveillance cameras has also increased, and the burden on the person in charge of surveillance has increased in a system that visually checks video.
In addition, it takes an enormous amount of time to search for a necessary image from a large number of recorded images.
このため、センサーアラーム等の事象発生等の検出事象と連動し、必要な部分の画像録画や、各種検出事象そのものを検索条件とした記録画像の検索技術が開発されている。
しかしながら、このような記録画像の検索技術を備えたシステムでは、検出事象を予め設定しておく必要があった。このため、予め設定されていない検出事象が発生した場合には、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。
Therefore, in conjunction with detection events such as the occurrence of events such as sensor alarms, image recording techniques have been developed that record images of necessary portions and recorded images using various detection events themselves as search conditions.
However, in a system equipped with such a recorded image search technique, it is necessary to set a detection event in advance. For this reason, when a detection event that is not set in advance occurs, it is necessary to visually check the recorded image even if the recording is not performed or the recording is performed.
これに対して、近年、予め検出事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似の画像を検索する技術が提案されている。
これは、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として選択するものである。
On the other hand, in recent years, a technique has been proposed in which a key image is used to search for an image similar to a key image from a recorded image without setting a detection event in advance.
In this method, the similarity between the image feature quantity of the key image and the image feature quantity of the recorded image is calculated, and a recorded image having a high similarity is selected as a search result.
このような従来のキー画像から類似画像を検索する画像記録装置として、特許文献1を参照すると、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する画像記録装置及びその制御方法が記載されている(以下、従来技術1とする。)。
As an image recording apparatus for searching for a similar image from such a conventional key image, referring to
ここで、テロ(テロリズム)等の犯罪において、犯罪計画者は実行に先立って下見をすることが多いことが知られている。
しかしながら、従来技術1のような従来の警備システムにおいては、犯罪計画者を含む不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないことがあった。
このため、不審者情報を取りこぼしてしまうことがあるという問題があった。
Here, it is known that in crimes such as terrorism (terrorism), crime planners often preview before execution.
However, in the conventional security system such as the
For this reason, there is a problem that suspicious person information may be missed.
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。 This invention is made | formed in view of such a condition, and makes it a subject to eliminate the above-mentioned subject.
本発明の画像検索装置は、撮像装置からの画像データを記録する画像記録装置と、前記画像データの特徴量を登録する特徴量登録手段と、前記画像データの登録IDと、登録された前記特徴量とを記憶する特徴量記憶手段と、入力された検索条件をもとに、前記登録IDに対応する前記特徴量を使用して検索を行う画像検索手段と、入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、前記画像検索手段は、前記登録IDに対応する前記特徴量を用いて、類似性の高い特徴量をもつ登録IDの検索を行い、検索された登録IDが時系列順でより古い検索結果に含まれるか否かを判定し、含まれていなかったと判定されたときには前記登録IDに関連付けて前記登録IDが検索された回数をカウントアップし、含まれていると判定されたときには前記登録IDが検索された回数をカウントアップせず、ユーザにより設定された条件と、前記登録IDが検索された回数とに応じて、前記ユーザインタフェース手段に表示を行わせ前記ユーザインタフェース手段は、前記登録IDに対応する画像及び関連付けられた前記登録IDに対応する画像を、重ねて若しくは展開して表示し、前記登録IDが検索された回数に、関連付けられた前記登録IDが検索された回数を加えた合算値により、前記登録IDの二次的な関連を表示し、又は前記合算値により、前記登録IDの二次的な関連の相関図をプロットすることを特徴とする。
本発明の画像検索装置は、前記画像検索手段が、検索結果を表示後に指定された登録IDの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせないことを特徴とする。
本発明の画像検索装置は、前記画像検索手段は、前記登録ID毎に、前記カウントされた回数、前記登録ID、関連付けられた前記登録IDのレコードを記憶し、前記レコードは、前記登録IDを引数にして、関連付けられた前記登録IDの先頭アドレスを保持することを特徴とすることを特徴とする。
The image search device of the present invention includes an image recording device that records image data from an imaging device, a feature amount registration unit that registers a feature amount of the image data, a registration ID of the image data, and the registered feature A feature amount storage means for storing a quantity, an image search means for performing a search using the feature quantity corresponding to the registration ID based on the input search condition, and the input search condition User interface means for notifying the image search means and displaying the search result, wherein the image search means uses the feature quantity corresponding to the registration ID to search for a registration ID having a highly similar feature quantity. was carried out, searched registration ID to determine whether or not included in the older search results in chronological order, the registration ID in association with the registration ID when it is determined that did not contain the retrieved Counting up the number, not included when it is determined that counts up the number of times the registration ID is found, a condition set by the user, depending on the number of times the registration ID has been retrieved, The user interface means displays the image corresponding to the registration ID and the image corresponding to the associated registration ID in a superimposed or expanded manner, and the registration ID is searched. The secondary association of the registration ID is displayed by a sum value obtained by adding the number of times the associated registration ID is searched to the number of times obtained, or the secondary association of the registration ID by the sum value The correlation diagram is plotted .
Image retrieval apparatus of the present invention, the image retrieval means, the image of the registration ID specified after displaying the search results, regardless of the searched number of counts, that no display is made on the user interface means Features.
In the image search device of the present invention, the image search means stores a record of the counted number of times, the registration ID, and the associated registration ID for each registration ID, and the record stores the registration ID. The start address of the associated registration ID is held as an argument.
本発明によれば、類似人物の出現頻度を推定することで、不特定の人物中から不審人物を探し出しやすくする画像検索装置を提供することができる。 According to the present invention, it is possible to provide an image search device that makes it easy to find a suspicious person from unspecified persons by estimating the appearance frequency of similar persons.
<実施の形態>
〔監視システムXの制御構成〕
以下、本発明の実施の形態について、図面を参照して説明する。
図1を参照すると、本発明の実施の形態に係る監視システムXは、撮像装置201−1〜201−nと、画像記録装置202と、画像検索装置203とが、ネットワーク200にて接続されて構成されている。
<Embodiment>
[Control configuration of monitoring system X]
Embodiments of the present invention will be described below with reference to the drawings.
Referring to FIG. 1, in a monitoring system X according to an embodiment of the present invention, imaging devices 201-1 to 201-n, an
ネットワーク200は、各装置を結ぶ、LAN、光ファイバー、c.link、無線LAN、WiMAX(登録商標)、メッシュネットワーク、携帯電話網等のデータ通信可能な回線である。
また、ネットワーク200は、専用線、イントラネット、インターネット等のIPネットワーク等を用いてもよい。
The
The
撮像装置201−1〜201−nは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いて、ネットワーク200に接続して画像データを送信可能な、いわゆるIPカメラやネットワークカメラ等の撮像装置である。
撮像装置201−1〜201−nは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置201−1〜201−nは、通常のテレビジョンカメラを用いて、画像記録装置202に直接接続し、画像記録装置202の画像・音声エンコーダ(図示せず)を用いて映像デジタルデータに変換するように構成してもよい。
The imaging devices 201-1 to 201-n are so-called IP cameras and networks that can transmit image data by connecting to the
The imaging devices 201-1 to 201-n also include, for example, a human sensor, a motion sensor, a microphone, and the like for detecting the above-described detection event. Note that the imaging devices 201-1 to 201-n are directly connected to the
画像記録装置202は、撮像装置201−1〜201−nの映像等の画像データをネットワーク200経由で記録するネットワークデジタルレコーダ等の装置である。
画像記録装置202は、CPU等の制御部や演算部と、内蔵のDRAMやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置202は、ネットワーク200を介して撮像装置201−1〜201−nより入力された画像データを、HDD等の記録媒体に記録する。
監視システムXにおいて、他の部位が画像記録装置202から画像を読み出す場合、画像記録装置202に対して、カメラIDと時刻情報等を指定することで、該当する画像を読み出すことができる。
The
The
The
In the monitoring system X, when another part reads an image from the
画像検索装置203は、ネットワーク200を介して画像記録装置202から取得した画像データを、液晶ディスプレイやCRT等のディスプレイモニタに画面表示し、画像検索を行うPC/AT互換機やMAC等であるPC(パーソナル・コンピュータ)等の専用の監視端末装置である。
画像検索装置203は、下記で説明する処理の制御を行うCPU、MPU、DSP(デジタル・シグナル・プロセッサ)、GPU(グラフィック・プロセッシング・ユニット)、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するRAM、ROM、HDD、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置203は、キーボードやマウス等のユーザ入力部を備え、画像記録装置202に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
The
The
The
また、画像検索装置203は、画像特徴量登録部210(特徴量登録手段)と、画像特徴量記憶部220(特徴量記憶手段)と、画像検索部230(画像検索手段)と、ユーザインタフェース部240(ユーザインタフェース手段)とを備えて構成される。
The
画像特徴量登録部210は、監視カメラ等の撮像装置201−1〜201−nで撮影した時系列的に連続した画像フレームから一つの画像フレームを選択し、選択画像フレームについて特徴量を抽出する部位である。具体的には、画像特徴量登録部210は、画像特徴量を抽出し、登録するDSPやこのDSP用のプログラムや制御部で実行されるプログラム等である。画像特徴量登録部210は、例えば、画像記録装置202に記憶された画像データに対し画像認識技術を用いた人物検出やオブジェクト検出をして、画像特徴量の抽出を行う。また、画像特徴量登録部210は、これらの抽出された画像特徴量を画像特徴量データとして出力する。
まず、画像特徴量登録部210は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。
画像特徴量登録部210は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴(FFTやウェーブレット変換等を行ったときの周波数分布等)から着衣(服)であると検出するような技術を用いることができる。
また、画像特徴量登録部210は、画像特徴量の算出としては、色合い、形状等の画像の特徴を示す多次元ベクトルなどを使用する。
画像特徴量登録部210は、抽出した特徴量を画像特徴量記憶部220に保存する。具体的な多次元ベクトルの要素としては、顔特徴量、オブジェクトの特徴量等を計算する。
画像特徴量登録部210は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。また、顔特徴量として、人物が焦っていたり、怒っていたりという「表情」の検出も行う。
さらに、画像特徴量登録部210は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量登録部210は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。
The image feature
First, the image feature
Similarly, in the object detection, the presence / absence of an “object” that is an image region of a specific article or clothing is determined, and coordinates are calculated.
In the case of coordinate calculation of the clothing area, the image feature
Further, the image feature
The image feature
The image feature
Further, the image feature
なお、画像特徴量は、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の画像特徴量を使用してよい。
また、画像特徴量登録部210へ供給する画像フレームは、画像記録装置202から供給されても、撮像装置201−1〜201−nから直接供給されてもよい。
画像フレームの選択方法は、一定時間毎に選択する方法、画像に変化があった場合の画像フレームを選択する方法、センサーアラーム等外部からの通知に同期して選択する方法など各種方法を用いてよい。
たとえば、画像に変化があった場合の画像フレームを選択する方法として、画像フレーム毎に色合い、形状等の変化を監視する。その変化により、連続する画像フレームを所定の単位に分割し、その単位での代表的なフレームを選択することができる。
Note that the image feature amount need not be limited to the feature amount of the entire image frame. Depending on the purpose of the system, the image feature amount of a partial region of the image frame, such as a face region where the face is detected or an object region where the object is detected. May be used.
Further, the image frame supplied to the image feature
The image frame selection method uses various methods, such as a method of selecting every fixed time, a method of selecting an image frame when there is a change in the image, a method of selecting in synchronization with an external notification such as a sensor alarm, etc. Good.
For example, as a method of selecting an image frame when there is a change in the image, changes in color, shape, etc. are monitored for each image frame. Due to the change, a continuous image frame can be divided into predetermined units, and a representative frame in that unit can be selected.
画像特徴量記憶部220は、主に画像検索に係る画像特徴量を記憶する部位である。また、画像特徴量記憶部220は、画像データ(フレーム)や検索結果画像そのもの等についても記憶することが可能である。
具体的には、画像特徴量記憶部220は、画像特徴量登録部210が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のRAM等の主記憶装置、HDDやフラッシュメモリ等補助記憶装置から構成される。
また、画像特徴量記憶部220は、この画像抽出量データを、LANカード等のネットワーク送受信部(図示せず)を介して、画像記録装置202に記憶することもできる。
なお、画像特徴量記憶部220は、DMA(ダイレクト・メモリ・アクセス)等により、画像特徴量登録部210が直接、各種データ等を記憶部に記憶するような構成としてもよい。
The image feature
Specifically, the image feature
The image feature
The image feature
画像検索部230は、入力された検索条件をもとに上記画像特徴量記憶部220を使用して監視カメラ等の撮像装置で撮影した画像を記録する画像記録装置の検索処理を行う部位である。
画像検索部230は、入力された検索条件をもとに画像特徴量記憶部220を使用して、監視カメラ等の撮像装置201−1〜201−nで撮影した画像を記録する画像記録装置202の検索処理を行う。
具体的には、画像検索部230は制御部で実行されるプログラム等により、ユーザインタフェース部240より検索条件を受取ると、画像特徴量を画像特徴量記憶部220より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索部230は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索部230は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部240に応答する。
なお、キー画像の画像特徴量は、画像検索部230で計算してもよいし、キー画像の画像特徴量が画像特徴量記憶部220にある場合はそれを使用してもよい。
The
The
Specifically, when the
At this time, the
When the above-described processing is completed for the image feature quantity in the search range, the
Note that the image feature quantity of the key image may be calculated by the
ユーザインタフェース部240は、検索条件を入力し、検索結果を表示する、いわゆるOS(Operating Syatem)のユーザインタフェースの部位である。
具体的には、ユーザインタフェース部240は、制御部で実行されるプログラム等により構成される。ユーザインタフェース部240は、ユーザにより設定された検索条件を他の部位に通知し、検索結果を液晶ディスプレイ等である表示部(図示せず)に表示する。また、ユーザインタフェース部240は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部(図示せず)からの入力を、OSのAPI(Application Programming Interface)を用いて入力指示として検知する。また、ユーザインタフェース部240は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部(図示せず)に表示する。
さらに、ユーザインタフェース部240は、画像の再生要求があった場合、対応する画像を画像記録装置202に要求する。ユーザインタフェース部240は、画像記録装置202から応答画像を受信すると、表示部の画像再生画面にその画像を表示する。このようにして、ユーザインタフェース部240は、画像記録装置202から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部240は、画像再生中に再生を停止させるなどして、画像記録装置202に記録された任意の画像を表示部に表示することができる。
また、ユーザインタフェース部240は、画像特徴量登録部が登録した画像や検索結果の画像を表示する。さらに、ユーザインタフェース部240は、検索結果の画像から、ユーザが表示を抑止することを指示した画像を検知することができる。
The
Specifically, the
Furthermore, when there is an image reproduction request, the
Further, the
In addition, the
なお、画像検索装置203は、通常のOSがインストールされたPCの記憶部に記憶したプログラムにより実現してもよい。
さらに、画像特徴量登録部210と、画像特徴量記憶部220と、画像検索部230とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置203の記憶部に記憶されていても、制御部内のROMやフラッシュメモリ等に記憶されていてもよい。
The
Furthermore, the image feature
(画像検索処理に用いるデータ構造)
ここで図2を参照して、本実施形態の監視システムXの画像特徴量記憶部220が用いる画像特徴量のデータ構造の例について説明する。
画像特徴量記憶部220が用いる画像特徴量のデータは、登録IDD101、カメラIDD102、時刻D103、画像特徴量D104、縮小画像データD105、画像記録場所D106等により構成される。
登録IDD101は、画像特徴量のデータを識別する登録ID(Identification)を記憶する部位である。このIDは、ユニークな数値や文字を用いて生成し、所定の規則に従い、所定のIDの範囲を検索可能である。
カメラIDD102は、画像を撮影した撮像装置201−1〜201−nを同定するカメラIDを記憶する部位である。
時刻D103は、画像フレームが撮像または記録された時刻をグリニッジ標準時(GMT)やフレーム数等により表したデータを記憶する部位である。
画像特徴量D104は、画像フレームから画像特徴量登録部210が抽出した画像特徴量データを記憶する部位である。
縮小画像データD105は、画像フレーム、顔検出した顔領域、オブジェクト検出したオブジェクト領域等の縮小画像データを記憶する部位である。この縮小画像データは、画像特徴量登録部210等により、元の画像データから生成する。
画像記録場所D106は、画像記録装置202の場所(アドレス)等を同定するもので、画像記録装置202のIPアドレスや画像検索装置203の記憶部のアドレス等を記憶している。
(Data structure used for image search processing)
Here, an example of the data structure of the image feature amount used by the image feature
Image feature amount data used by the image feature
The registration IDD 101 is a part that stores a registration ID (Identification) for identifying image feature data. This ID is generated using unique numerical values and characters, and a predetermined ID range can be searched according to a predetermined rule.
The camera IDD 102 is a part that stores a camera ID for identifying the imaging devices 201-1 to 201-n that have captured images.
The time D103 is a part that stores data representing the time at which an image frame is captured or recorded by Greenwich Mean Time (GMT), the number of frames, and the like.
The image feature amount D104 is a part that stores image feature amount data extracted by the image feature
The reduced image data D105 is a part that stores reduced image data such as an image frame, a face area where a face is detected, and an object area where an object is detected. The reduced image data is generated from the original image data by the image feature
The image recording location D106 identifies the location (address) of the
〈ユーザインタフェース部240の検索条件入力画面の表示例〉
次に、図3を参照して、ユーザインタフェース部240によりユーザの操作を検知して、検索条件を入力する表示例について説明する。
検索条件入力画面400は、画像検索に係るパラメータを入力する表示欄である表示欄410〜440と、設定を確定させる「設定」のボタン500等を備えている。
表示欄410においては、検索範囲となる画像データを供給する撮像装置201−1〜201−nを同定するカメラIDを指定する。この表示欄410にて入力するカメラIDについては、複数のカメラIDを指定してもよい。なお、この表示欄410のカメラIDは、カメラIDD102と直接対応していても、場所的・概念的な撮像装置のグループを示すような仮想的なカメラIDを示していてもよい。
表示欄420においては、検索範囲となる時刻の範囲等を指定する。
表示欄430においては、後述する検索処理を実行する時刻の範囲等を設定する。
表示欄440においては、類似人物が設定した検出回数以上検索された場合、アラーム通知を行うよう設定することができる。
ここで、ユーザインタフェース部240は、「設定」のボタン500の押下を検知すると、検索指示がなされたと判断する。
<Display Example of Search Condition Input Screen of
Next, a display example in which a user operation is detected by the
The search
In the
In the
In the
In the
Here, when the
〈監視システムXのユーザ指示による検索処理〉
次に、図4のシーケンス図を参照して、監視システムXを用いて、ユーザの指示を検索開始の合図として、顔画像をキー画像として、録画された画像データから画像検索を行う一例の概要について説明する。
<Retrieval process by user instruction of monitoring system X>
Next, referring to the sequence diagram of FIG. 4, an overview of an example of using the monitoring system X to perform an image search from recorded image data using a user instruction as a cue for search start and a face image as a key image. Will be described.
まず、ユーザインタフェース部240の検索条件入力画面400(図3参照)で検索条件が設定され、設定された内容のデータは画像検索部230に送られる(タイミングT301)。
ここで、画像検索部230は、検索処理を実行する時刻(指定起動時刻)になると検索処理を開始する。この際には、タスクマネージャのようなサービスやCRON等のデーモン等により画像検索部230が起動される。
First, the search condition is set on the search condition input screen 400 (see FIG. 3) of the
Here, the
画像特徴量登録部210は、画像記録装置202から画像データを取得する(タイミングT302)。
画像特徴量登録部210は、この画像データから画像特徴量を抽出し、画像特徴量データとして、画像特徴量記憶部220に記憶する「特徴量登録」処理を行う(タイミングT303)。
その後、画像特徴量登録部210は、画像検索部230に、後述する特徴量登録通知を行う(タイミングT304)。
The image feature
The image feature
Thereafter, the image feature
画像検索部230は、画像特徴量登録部210より特徴量登録通知を受取ると、画像特徴量記憶部220から、画像特徴量データを読み出して、画像登録通知のデータに含まれる画像の特徴量と比較することで、記録された画像データの検索を行う(タイミングT305)。この際には、画像検索部230は、検索条件入力画面400で設定されたカメラIDと検索範囲の時刻等により、検索を行う。
その後、画像検索部230は、画像特徴量記憶部220より検索結果を受け取る(タイミングT306)
Upon receiving the feature amount registration notification from the image feature
Thereafter, the
その後、ステップS201において、画像検索部230は、検索結果データ保存処理を行う。
具体的には、画像検索部230は、検索結果の画像データや特徴量を比較して計算した類似度等の検索結果データを記憶部に記憶保存する。なお、この検索結果データは、画像特徴量記憶部220に記憶されるように構成してもよい。
設定された検索時刻が複数ある場合は、画像検索部230は、指定時刻に起動されて画像検索と、検索結果保存処理とを繰り返す(タイミングT307〜T311)。
Thereafter, in step S201, the
Specifically, the
When there are a plurality of set search times, the
ここで、ユーザインタフェース部240は、ユーザからの入力を検知すると画像検索部230に検索結果の要求を行う(タイミングT312)。
すると、画像検索部230は、保存してある検索結果をユーザインタフェース部240に応答する(タイミングT313)。
画像検索部230は、検索終了時刻になると検索処理を終了する。
なお、この検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。
Here, when the
Then, the
The
In this search process, images obtained by rearranging a plurality of search result images in time series may be displayed.
〔ユーザ指示による検索処理における各部位の処理〕
ここで、本発明の実施の形態に係る監視システムXを用いたユーザ指示による検索処理について、各部位の処理について、より詳しく説明する。
以下において、図4に加えて、図5〜図8を参照して、各部位におけるフローチャートを基に説明する。
[Processing of each part in search processing by user instruction]
Here, the search processing by a user instruction using the monitoring system X according to the embodiment of the present invention will be described in more detail for each part.
Hereinafter, in addition to FIG. 4, a description will be given with reference to FIGS.
〈画像特徴量登録部210の特徴量登録処理〉
図5を更に参照して、画像特徴量登録部210が画像検索処理において行う特徴量登録処理の詳細について説明する。
この処理は、図4のタイミングT302〜T304の間の処理に対応する。
<Feature Quantity Registration Process of Image Feature
With further reference to FIG. 5, the details of the feature amount registration processing performed by the image feature
This process corresponds to the process between timings T302 to T304 in FIG.
まず、ステップS101において、画像特徴量登録部210は、画像取り込み処理を行う。
ここでは、画像特徴量登録部210は、画像記録装置202にコマンド等を送信し、画像データをネットワーク200を介して受信して取り込む。なお、撮像装置201−1〜201−nから直接画像データを取り込むこともできる。
その後、画像特徴量登録部210は、取り込んだ画像データについて、顔検出を行う。
First, in step S101, the image feature
Here, the image feature
Thereafter, the image feature
次に、ステップS102において、画像特徴量登録部210は、顔検出により顔が検出されたか否か判定する。
Yesの場合、画像特徴量登録部210は、処理をステップS103に進める。
Noの場合、画像特徴量登録部210は、特徴量登録処理を終了する。
Next, in step S102, the image feature
In the case of Yes, the image feature
In the case of No, the image feature
取り込まれた画像データに顔が検出された場合、ステップS103にて、画像特徴量登録部210は、顔画像特徴量登録処理を行う。
具体的に、画像特徴量登録部210は、顔が検出された場合、まず、検出された顔画像の特徴量を算出する。そして、画像特徴量登録部210は、算出した特徴量を画像特徴量記憶部220に記憶する。
なお、一枚の画像に複数の顔が検出された場合、顔画像毎に特徴量を算出し、記憶を行う。
When a face is detected in the captured image data, in step S103, the image feature
Specifically, when a face is detected, the image feature
When a plurality of faces are detected in one image, a feature amount is calculated for each face image and stored.
次に、ステップS104にて、画像特徴量登録部210は、特徴量登録通知処理を行う。
具体的には、画像特徴量登録部210は、特徴量の登録完了後、画像検索部230に対して、新規に特徴量が登録されたことを通知する。この通知のデータには、登録された画像特徴量のデータの登録IDを含める。この登録IDを基に、画像特徴量記憶部220のカメラIDD102〜画像記録場所D106を閲覧することができ、これを基に、当該画像データと画像データに付随するセンサ等のデータとを閲覧することが可能である。
以上により、特徴量登録処理を終了する。
Next, in step S104, the image feature
Specifically, the image feature
Thus, the feature amount registration process ends.
〈画像検索部230の検索実行処理〉
次に、図6を更に参照して、検索処理の実行時における画像検索部230の処理の一例を、検索実行処理として説明する。この処理は、図4のタイミングT301、T305〜T306、ステップS201の間の処理に対応するものである。
画像検索部230は、タイミングT301にて、画像特徴量登録部210より特徴量登録通知を受信すると処理を開始する。
<Search Execution Processing of
Next, with reference to FIG. 6 further, an example of processing of the
The
ステップS111において、画像検索部230は、画像特徴量検出実行処理を行う。
具体的に、画像検索部230は、まず、登録通知された登録IDの特徴量データを画像特徴量記憶部220から取得する。つまり、画像検索部230は、この取得した特徴量を、検索のための画像であるキー画像の特徴量として用いる。
この上で、画像検索部230は、当該登録IDの画像特徴量データを使用して、画像特徴量記憶部220に登録された各登録IDの画像特徴量データの検索を実行する。
すなわち、画像検索部230は、画像特徴量記憶部220から画像特徴量データを読み出し、それぞれの登録IDにて記録された画像特徴量データと、登録通知された登録IDの画像特徴量データ(キー画像の画像特徴量データ)との類似度を計算する。
これは、画像記録装置202に記録された画像データの検索のうち、人物の画像データの検索を行うことにあたる。
In step S111, the
Specifically, the
Then, the
That is, the
This is equivalent to searching for human image data out of searching for image data recorded in the
具体的に、画像検索部230は、キー画像の画像特徴量データと、各登録IDの画像特徴量の距離を計算して類似度を求める。
登録IDがiの画像特徴量をXi=(xi1,xi2,…, xin)、
検索のためのキー画像の画像特徴量をY=(y1,y2,…,yn)、
画像特徴量の要素ごとの重要度を表す重み付け係数をW=(w1, w2,…,wn)とすると、特徴量の距離Ziは、以下の式(1)にて定義可能である。
Zi=Σjwj|xij − yj| …… 式(1)
ここで、jは、0≦j≦nを示す変数である。
この距離Ziの値を、各登録IDに係る画像と、キー画像との類似度とすることができる。すなわち、この距離Ziの値が小さいほど二つの画像は似ていることを示しているため、Ziが小さいほど登録通知された登録IDの画像と、画像特徴量記憶部220の登録IDの画像との類似度は大きいことになる。
なお、類似度の計算の際に、画像検索部230は、画像記録装置202に記録されている画像データそのものを取得して、画像特徴量を計算し直して、類似度を計算することもできる。
Specifically, the
X i = (x i1 , x i2 ,..., X in )
Y = (y 1 , y 2 ,..., Y n ), the image feature quantity of the key image for search.
When the weighting coefficient representing the importance of each element of the image feature amount is W = (w 1 , w 2 ,..., W n ), the feature amount distance Z i can be defined by the following equation (1). is there.
Z i = Σ j w j | x ij −y j | Equation (1)
Here, j is a variable indicating 0 ≦ j ≦ n.
The value of the distance Z i can be set as the similarity between the image related to each registration ID and the key image. That is, the smaller the distance Z i is, the more similar the two images are. Therefore, the smaller the Z i is, the registration ID image notified for registration and the registration ID of the image feature
When calculating the similarity, the
類似度が所定の閾値以上の場合、画像検索部230は、類似性が高いと判断する。
この際、画像検索部230は、この類似度の高い登録ID(あるいは、その登録IDに対応する画像の画像ID)を、画像検索装置203の記憶部にキー画像、類似度などと共に一時的に記憶しておく。以後、この類似度の高い登録IDを、便宜的に検索結果画像IDとよぶ。
なお、画像検索部230は、登録IDの他に、画像IDそのものやカメラID等も取得可能である。
When the similarity is equal to or greater than a predetermined threshold, the
At this time, the
In addition to the registration ID, the
(検索結果データレコードのデータ構造)
ここで、図7を参照して、具体的な検索結果データレコードのデータ構造の例について説明する。
図7では、ステップS111の1回の処理で類似度が所定の閾値以上となる登録IDが複数得られた場合を想定しており、得られた登録ID(検索結果画像ID)を左側に示してある。その右側には、各登録ID(検索結果画像ID)に対して、「関連づけられたデータ」のレコードを記憶する。この「関連づけられたデータ」は、後述のステップにより作成されるもので、該登録IDがこれまでに検索された(類似度が高いと判断された)回数と、該登録IDの検索に使用されたキー画像の登録ID及び類似度の組のデータとを記憶することができる。関連づけは、登録IDを引数にして、「関連づけられたデータ」の先頭アドレスを保持するポインタ配列等により行うことができる。
なお、類似度は再計算可能なため、図4において類似度のない構成でも差し支えない。また、類似度の高い登録IDのみではなく、登録通知された登録IDすべてについて、関連づけられたデータを記憶する二次元アレイやリストのような構成にすることもできる。
加えて、検索に際しても、登録された登録IDに係る画像特徴量データのみ検索するのではなく、画像データを指定し、特徴量検出をして検索を行うこともできる。
(Data structure of search result data record)
Here, an example of the data structure of a specific search result data record will be described with reference to FIG.
In FIG. 7, it is assumed that a plurality of registration IDs whose similarity is equal to or greater than a predetermined threshold value are obtained in one process of step S111, and the obtained registration IDs (search result image IDs) are shown on the left side. It is. On the right side, a record of “associated data” is stored for each registration ID (search result image ID). This “associated data” is created by the steps described later, and is used for searching the registration ID and the number of times the registration ID has been searched so far (determined that the degree of similarity is high). It is possible to store a key image registration ID and a set of similarity data. The association can be performed by a pointer array or the like that holds the start address of “associated data” using the registration ID as an argument.
Since the similarity can be recalculated, a configuration without similarity in FIG. 4 may be used. Further, not only a registration ID with a high degree of similarity but also a configuration such as a two-dimensional array or a list that stores associated data for all registered registration IDs.
In addition, when searching, it is possible not only to search for the image feature amount data related to the registered ID but also to specify the image data and detect the feature amount for the search.
次に、ステップS112において、画像検索部230は、検索結果時系列ソート処理を行う。
画像検索部230は、具体的には、ステップS111で得られた検索結果画像IDを、画像IDに対応する時刻D103を参照するなどして、時系列順にソートする。
なお、この際に単純にソートするのではなく、カメラID等を用いて、撮像装置201−1〜201−nの位置関係や動線の関係等を用いて、人物の動き等を追いやすいようにソートすることも可能である。
また、事件があった場所を指定しておいて、その近くにあるカメラIDにより頻度高く映っていた登録IDの画像を、より多くカウントするように重み付けしてソートすることも可能である。
さらに、顔の画像特徴量を用いて、眉や口や目の位置関係等から、「焦り」「いらだち」といった表情を示している人物の写っている画像の登録IDを優先することもできる。さらに、この際に、顔の温度分布等を用いて興奮している人物の写っている画像の登録IDを優先させることもできる。
Next, in step S112, the
Specifically, the
In this case, instead of simply sorting, using a camera ID or the like, it is easy to follow a person's movement or the like using a positional relationship or a flow line relationship of the imaging devices 201-1 to 201-n. It is also possible to sort into
It is also possible to specify the place where the incident occurred and sort by weighting so that the images of registered IDs that are frequently reflected by the camera IDs nearby are counted more.
Furthermore, using the image feature amount of the face, it is possible to give priority to the registration ID of an image in which a person showing a facial expression such as “impression” or “irritability” is determined based on the positional relationship of the eyebrows, mouth, and eyes. Further, at this time, it is possible to give priority to the registration ID of an image showing a person who is excited using the temperature distribution of the face.
次に、ステップS113において、画像検索部230は、最古検索結果取得処理を行う。
ここでは、画像検索部230は、検索結果画像IDの登録ID及び類似度の組のうち、時系列順で最も古い登録IDを選択する。すなわち、ソート時にもっとも最初になった登録IDを選択する。
Next, in step S113, the
Here, the
次に、ステップS114において、画像検索部230は、検索回数カウントアップ処理を行う。
具体的には、画像検索部230は、直前のステップS111で用いた全てのキー画像に対して、最古の検索結果画像IDに関連付けられたデータにそのキー画像が含まれているか否かチェックし、含まれていなければ、関連付けられたデータ(レコード)そのものが存在しない場合も含み、その場合はレコードを新規作成する。この上で、キー画像の登録IDと類似度の組をレコードに追加し、含まれるか否かに係らず、検索回数をカウントアップ(インクリメント)する。その検索結果画像IDに対してレコードを新規作成した場合は、検索回数は1となる。なお、この際に、登録ID及び類似度の組のうち、もっとも古い登録IDを、以降の検索のキー画像の登録IDとするような処理も可能である。
ここで記憶された各データは、検索結果データとして、後述のステップにてユーザインタフェース部240に送信される。
Next, in step S114, the
Specifically, the
Each data stored here is transmitted as search result data to the
次に、ステップS115において、画像検索部230は、直前のステップS111の検索結果画像IDの全てについて、処理が終了したか否か判定する。
Yesの場合、すなわち処理が終了している場合、画像検索部230は、検索実行処理を終了する。
Noの場合、すなわち処理が終了していない場合、画像検索部230は、ステップS116に処理を進める。ここで、検索結果画像IDが複数あれば、最低1度はステップS116に処理を進める。
Next, in step S115, the
In the case of Yes, that is, when the process is finished, the
If No, that is, if the process has not ended, the
ステップS116において、画像検索部230は、登録ID取得処理を行う。
ここでは、画像検索部230は、ステップS112でソートされた、時系列順で次に古い、検索結果画像ID(登録ID)を取り出す。これが、次の検索結果データとなる。
In step S116, the
Here, the
ステップS117において、画像検索部230は、取り出した検索結果画像IDが時系列順でより古い検索結果画像IDに関連付けられたデータ(検索に使用されたキー画像の登録ID)に含まれるか、すなわち冗長な表示になるかか否かを判定する。
Yesの場合、重複していた場合には、画像検索部230は、処理をステップS115に戻して次の検索結果画像IDについての処理を行う。つまり、重複していた検索結果画像IDは、「関連付けられたデータ」に変更を与えることなく、実質的に破棄される。
Noの場合、すなわち重複がなければ、画像検索部230は、ステップS118に処理を進める。
In step S117, the
In the case of Yes, if there is an overlap, the
In the case of No, that is, if there is no overlap, the
ステップS118において、画像検索部230は、カウントアップ処理を行う。ここでは、画像検索部230は、重複がなかった検索結果画像IDと関連付けて、検索に使用したキー画像の登録IDを記憶し、検索回数をカウントアップする。
その後、画像検索部230は、処理をステップS115に戻す。
なお、S115〜S118は、省略しても良い。省略しても、最古の検索結果画像IDだけは、レコードに反映される。
In step S118, the
Thereafter, the
Note that S115 to S118 may be omitted. Even if omitted, only the oldest search result image ID is reflected in the record.
(登録IDの検索の重複を防ぐ効果)
ここで、この検索結果画像IDからの登録IDの検索において、ステップS117のような重複を検知するステップを用いた場合の効果について説明する。
まず、図8を参照して、ステップS117の判定を行わ「ない」場合の検索結果の表示例について説明する。
図8は、時系列順の登録IDに係る画像A、B、C、D、E、F、G、Hにおいて、互いの類似度が所定の閾値以上の場合、検索結果データのキー画像の画像と、このキー画像に関連づけられた画像とから構成される検索結果の表示例である。
すなわち、ステップS117のような重複の判定を行わない場合、撮像装置201−1〜201−nや画像記録装置202から供給される画像データから、顔が検出される都度に検索を行う。このため、関連づけられた画像データは、次に類似人物が出現すると検索結果画像データとして取得される。すなわち、図8のように、時間的に古い(検索結果画像+関連づけられた画像)に含まれる時間的に新しい(検索結果画像+関連づけられた画像)が複数得られ、すなわち検索結果データの入れ子構造が起きて、検索結果データを記憶する際の記憶容量の増大を招いてしまうという問題があった。なお、図8では、関連がない画像、例えば、B、C、Dは表示されないように構成可能である。
これに対して、本実施形態の処理にて、ステップS117の判定を行うことで、この冗長性を防止することができる。これにより、検索結果データにおける入れ子構造を防ぐことができる。
このように構成することにより、検索結果データの記憶容量を少なくすることができ、に効率的な処理を実現することができる。
(Effects to prevent duplicate registration ID searches)
Here, an effect when the step of detecting duplication as in step S117 is used in the search of the registration ID from the search result image ID will be described.
First, with reference to FIG. 8, a display example of a search result when the determination in step S117 is “no” will be described.
FIG. 8 shows an image of the key image of the search result data when the images A, B, C, D, E, F, G, and H related to the registration IDs in time-series order have similarities equal to or higher than a predetermined threshold. And a display example of a search result composed of an image associated with the key image.
That is, when the overlap determination is not performed as in step S117, the search is performed every time a face is detected from the image data supplied from the imaging devices 201-1 to 201-n and the
On the other hand, this redundancy can be prevented by performing the determination in step S117 in the processing of the present embodiment. Thereby, the nested structure in search result data can be prevented.
With such a configuration, the storage capacity of the search result data can be reduced, and more efficient processing can be realized.
その後、画像検索部230は、処理をステップS115に戻す。
以上により、画像検索部230の検索実行処理を終了する。登録通知された登録IDが複数ある場合には、上述の処理を繰り返して行う。
その後、画像検索部230は、図4のステップS201の検索結果データ保存処理を行う。
Thereafter, the
Thus, the search execution process of the
Thereafter, the
なお、図4において、タイミングT307〜T311とその後のステップS201において、各構成部位は、上述の処理と同様の処理を行う。 In FIG. 4, at timings T <b> 307 to T <b> 311 and subsequent step S <b> 201, each component performs the same processing as the above-described processing.
〈画像検索部230の検索結果データ応答処理〉
次に、図9を更に参照して、画像検索部230の検索結果データ応答処理について説明する。
この処理は、図4のタイミングT312にて、ユーザインタフェース部240から、検索結果要求を受け取った際の、画像検索部230の処理を示している。すなわち、図4のステップS203と、タイミングT313の処理に対応する。
<Search Result Data Response Processing of
Next, the search result data response process of the
This process indicates the process of the
まず、ステップS131において、画像検索部230は、検索結果選択処理を行う。
具体的には、画像検索部230は、ユーザインタフェース部240から検索結果要求を受信すると、記憶部に記憶している検索結果データから、検索回数値の大きい登録IDを選択する。
First, in step S131, the
Specifically, when receiving the search result request from the
次に、ステップS132において、画像検索部230は、対応画像及び関連データ取り出し処理を行う。
この処理において、画像検索部230は、画像特徴量記憶部220から、上述のキー画像の登録IDと、キー画像の関連づけられたデータに係る登録IDとについて、対応する画像データと、この画像データに対応する他のデータとを取得する。具体的には、登録IDに対応する縮小画像データを取得する。
なお、画像記録装置202に対して、登録IDと、該登録IDに関連付けられたデータに係る登録IDとを用いてアクセスし、縮小画像でない画像データ等を取得することもできる。
Next, in step S132, the
In this process, the
It is also possible to access the
次に、ステップS133において、画像検索部230は、対応画像及び関連データ表示処理を行う。
具体的には、画像検索部230は、上述のステップで得た、キー画像の画像データと、これに関連づけられた画像データとを送信する。
これを受信したユーザインタフェース部240は、画像データ等を表示する。この際に、画像データに対応する他のデータも表示することができる。
なお、検索結果データの登録IDは、検索回数の大きい順にソートして表示することで、視認効果が高い見やすい表示を実現してもよい。
以上により、検索結果データ応答処理を終了する。
Next, in step S133, the
Specifically, the
Upon receiving this, the
The search result data registration IDs may be sorted and displayed in descending order of the number of searches, thereby realizing an easy-to-see display with a high visual effect.
Thus, the search result data response process ends.
(検索結果の表示例)
ここで、図10〜図12を参照して、ユーザインタフェース部240により表示される、検索結果データの表示例について説明する。
図10は、画像を重ねて表示する重ね表示モードの表示例を示している。この重ね表示モードにおいては、図7のデータフォーマットにおける検索結果画像の登録IDに対応する画像を前面に表示し、この登録IDに関連づけられた登録IDに対応する画像を背面に表示する。
このように、複数の画像を立体的に並べて重ねて表示することで、ある画像について検索された回数の多い少ないが容易に分かる。このため、類似の人物の出現頻度が一目で分かるという効果が得られる。この重ねた表示においては、前面、後面の画像の前後をユーザインタフェース部240からの操作により入れ換えることもできる。
(Search result display example)
Here, display examples of search result data displayed by the
FIG. 10 shows a display example in the overlapping display mode in which images are displayed in an overlapping manner. In this overlapping display mode, an image corresponding to the registration ID of the search result image in the data format of FIG. 7 is displayed on the front, and an image corresponding to the registration ID associated with this registration ID is displayed on the back.
In this way, by displaying a plurality of images arranged in a three-dimensional manner in a superimposed manner, it is easy to understand although the number of searches for a certain image is small. For this reason, the effect that the appearance frequency of a similar person can be known at a glance is obtained. In this superimposed display, the front and back images can be replaced by an operation from the
図11は、図10を展開表示する展開表示モードの画面例を示す。
この展開表示モードでは、前面の画像を右に表示し、背面の画像を左に表示することで、類似の人物の登場場面を確認できる。
なお、ユーザインタフェース部240を用いて、ユーザの要求に応じてこれら二つの検索結果データの重ね表示モードと展開表示モードとを切り換え可能なように構成してもよい。
FIG. 11 shows an example of an expanded display mode screen for expanding and displaying FIG.
In this unfolded display mode, the appearance image of a similar person can be confirmed by displaying the front image on the right and the back image on the left.
Note that the
図12は検索結果の別の表示例を示す。この表示例では、時系列順の画像A、B、C、D、E、F、G、H、Iの画像特徴量空間での位置が図12(c)に示すような場合の表示例について説明する。
図12(a)の表示例においては、図11のように展開して表示する例を示している。すなわち、画像Aに関連づけられた画像は、D、E、Fである。また、画像Dに関連づけられた画像は、G、H、Iである。また、画像Fに関連づけられた画像は、Iである。なお、ここでは、関連づけられていないB、Cは表示されないように構成可能である。
さらに、図12(b)のように、画像Aに関連づけられた画像D,E,Fを検索結果とする画像群を、画像Aに関連付けて画像間の二次的な関連を表示することもできる。
また、図12(c)のように、相関図自体をプロットすることも可能である。
FIG. 12 shows another display example of the search result. In this display example, a display example in which the positions of the images A, B, C, D, E, F, G, H, and I in time series order in the image feature amount space are as shown in FIG. explain.
In the display example of FIG. 12A, an example of expanding and displaying as shown in FIG. 11 is shown. That is, the images associated with the image A are D, E, and F. The images associated with the image D are G, H, and I. The image associated with the image F is I. Here, B and C which are not associated with each other can be configured not to be displayed.
Further, as shown in FIG. 12B, the image group whose search results are the images D, E, and F associated with the image A may be associated with the image A to display a secondary relationship between the images. it can.
Also, as shown in FIG. 12C, the correlation diagram itself can be plotted.
〔監視システムXの自動検索処理〕
上述のユーザ指示による検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、テロ等の事前抑止を目的とする場合、予め設定された検索条件を用いた検索により、警告を表示等する自動検索を行うことが望ましいと考えられる。
[Automatic search processing of monitoring system X]
In the search process based on the user instruction described above, an example is described in which an image search is performed from recorded image data with the user instruction as a cue to start the search.
On the other hand, when the purpose is to prevent terrorism or the like in advance, it may be desirable to perform an automatic search that displays a warning or the like by a search using a preset search condition.
ここで、図13を参照して、このような自動検索の処理について説明する。
図13は、自動検索を行い、類似人物があらかじめ指定した回数以上検出されるとユーザインタフェース部240に表示する場合のシーケンス図を示している。
図13において、各部は、図4のユーザの指示による検索処理とほぼ同様の処理を行う。ここで、図4と同じ符号は、同様のタイミングと処理を示している。
Here, the automatic search process will be described with reference to FIG.
FIG. 13 shows a sequence diagram in the case where an automatic search is performed and a similar person is detected on the
In FIG. 13, each unit performs almost the same process as the search process according to the user instruction in FIG. 4. Here, the same reference numerals as those in FIG. 4 indicate the same timing and processing.
ここで、ステップS301において、この検索結果データの保存時に、画像検索部230は、検索結果データ発報処理を行う。
具体的には、画像検索部230は、検索結果データの各登録IDの検索回数をチェックする。その上で、登録IDにカウントアップされた検索回数が、検索条件入力画面400(図3参照)で設定したアラーム通知条件値以上となった場合、ユーザインタフェース部240に検索結果発報を送信する。
この検索結果発報を受信したユーザインタフェース部240は、アラーム通知等の表示を行う。
Here, in step S301, when the search result data is stored, the
Specifically, the
The
この自動検索処理においても、検出された画像に関する表示内容は、図10乃至12と同様でもよい。
なお、検索回数としては、ある登録IDの画像が検索された回数に加えて、その登録IDに関連づけられた画像が検索された回数を加えた合算値を使用することもできる。これにより、画像の二次的な関連も考慮して表示を行うことができる。
図12の例では、画像Aに関する検索回数は、画像Aの検索回数+画像Dの検索回数+画像Fの検索回数となる。なお、画像Iのように重複がある場合、必要に応じて重複数を合算値から差し引く等の処理を行って表示することもできる。
Also in this automatic search process, the display content related to the detected image may be the same as in FIGS.
As the number of searches, in addition to the number of times an image with a certain registration ID is searched, a total value obtained by adding the number of times an image associated with the registration ID is searched can be used. Thereby, it is possible to display in consideration of the secondary relation of the image.
In the example of FIG. 12, the number of searches for image A is the number of searches for image A + the number of searches for image D + the number of searches for image F. In addition, when there exists duplication like the image I, it can also display by performing processes, such as subtracting the duplication number from a total value as needed.
また、図6に示す手順で検索回数のカウントをおこなった場合、検索回数値の高い登録IDに係る画像は典型的な類似人物の画像である「典型画像」と期待される。
一方、典型画像が出現する前の類似画像は、典型画像の検索回数に反映されていない。したがって、検索回数の多い典型画像を使用して検索を行うように構成することができる。この際、その検索のカウント数がアラーム通知条件として設定した値以上となった場合、アラーム表示することができる。また、この結果を利用して、典型画像が出現する前の類似画像を典型画像に関連づけて記憶するように構成することもできる。
以上により、自動検索処理を終了する。
When the number of searches is counted according to the procedure shown in FIG. 6, an image related to a registration ID having a high search count value is expected to be a “typical image” that is a typical similar person image.
On the other hand, the similar image before the appearance of the typical image is not reflected in the number of searches for the typical image. Therefore, it can be configured to perform a search using a typical image having a large number of searches. At this time, if the number of search counts exceeds the value set as the alarm notification condition, an alarm can be displayed. Further, by using this result, a similar image before the typical image appears can be stored in association with the typical image.
Thus, the automatic search process ends.
〔指定した画像の表示抑止〕
次に、あらかじめ指定した画像の表示を抑止する例について説明する。
たとえば、監視システムXにより監視する区域に、要注意人物でない業務員等が現れた場合、このような人物の画像が検索されないように構成することが可能である。
図14を参照すると、このような構成の場合、例えば検索結果データレコードに「表示ON/OFF」のフィールドを備え、指定した登録IDについて、検索結果を表示する/しないという選択が可能である。
表示しない場合の指定は、図10〜図12のような検索結果を表示後、ユーザが表示を抑止する検索結果画像をポインティングデバイス等で指定するように構成できる。
[Suppress display of specified image]
Next, an example of suppressing display of an image designated in advance will be described.
For example, when a business worker who does not require attention appears in an area monitored by the monitoring system X, an image of such a person can be prevented from being searched.
Referring to FIG. 14, in the case of such a configuration, for example, a search result data record includes a “display ON / OFF” field, and it is possible to select whether or not to display a search result for a designated registration ID.
The designation in the case of not displaying can be configured such that after the search results as shown in FIGS. 10 to 12 are displayed, the user designates the search result image to be prevented from being displayed with a pointing device or the like.
以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術1の警備システムでは、不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないため、不審者情報を取りこぼしてしまうという課題があった。
これに対して、本発明の実施の形態に係る監視システムXにおいては、画像検索部230は、監視カメラの映像から抽出された画像特徴量を使用して、画像記録装置の記録画像について類似の画像検索を行い、検索された類似性の高い登録IDの画像が検索された回数をカウントする。そして、あらかじめユーザが設定した条件とカウント回数に応じて、ユーザインタフェース部240に表示を行うことができる。これにより、監視カメラで撮影された映像の顔と類似の顔を監視カメラの記録映像から自動検索し、類似人物の出現頻度を推定することで、従来の警備システムを補完することができる。
また、監視システムXは、画像検索部230は、あらかじめ指定した記録画像については、検索されたカウント回数にかかわらず表示を行わないことができる。これにより、従業員等、業務上の理由等で監視カメラに複数回にわたり撮影される人物については、表示を抑止することができる。このため、不審人物を検出しやすくなるという効果が得られる。
With the configuration described above, the following effects can be obtained.
First, in the security system of
On the other hand, in the monitoring system X according to the embodiment of the present invention, the
In addition, in the monitoring system X, the
以上のように、本発明の実施の形態に係る監視システムXによれば、監視カメラの映像から検出された顔画像等を使用して、画像記録装置の記録画像について類似の顔画像検索を行い、類似人物の出現頻度を推定することができる。このため、テロ等の事件の事前抑止に効果的なシステムを提供できる。
また、本実施形態の監視システムXは、あらかじめ検索対象の人物を設定しておく必要がないため、不特定の人々なかから不審人物を探し出すのに有効なシステムを提供できる。
As described above, according to the monitoring system X according to the embodiment of the present invention, a similar face image search is performed on the recorded image of the image recording apparatus using the face image detected from the video of the monitoring camera. The appearance frequency of similar persons can be estimated. For this reason, it is possible to provide an effective system for pre-determination of incidents such as terrorism.
In addition, since the monitoring system X according to the present embodiment does not need to set a search target person in advance, it is possible to provide an effective system for finding a suspicious person from unspecified people.
また、本実施形態の監視システムXの画像検索部230は、あらかじめ設定した検索条件にしたがって類似の人物が複数回検出された場合、アラーム通知を行うことを特徴とする。これにより、警備等の業務における迅速な対応をサポートすることができる。
また、本実施形態の監視システムXの画像検索部230は、類似画像検索結果の保存において、時系列順に検索結果をチェックし、重複画像の記録を抑止することができる。これにより、検索結果記憶容量を削減することができ、各装置のコストを抑制することができる。
また、本実施形態の監視システムXのユーザインタフェース部240は、登録IDに関連づけられたデータを重ねて表示する表示モードと、並べて表示する表示モードとを備えることを特徴とする。これにより、多数の類似画像を効率的に分類して、チェックすることができる。
In addition, the
In addition, the
In addition, the
なお、本実施の形態の監視システムXの画像検索方法においては、上述の検索処理に限定するものではない。たとえば、類似する画像グループの代表の画像の登録IDを選択し、その登録IDの画像を用いて検索を行うこともできる。また、類似画像の出現頻度をカウントするだけではなく、時間的、空間的な出現確率から、ベイズ推定等の統計的手法や人工知能的な手法を用いて行動パターンを分析するといった処理を行うこともできる。
また、本実施形態の監視システムXの画像検索部230は、リアルタイムに類似画像を検索するだけではなく、画像記録装置202の記憶媒体に記憶した画像データを用いて上述の処理を行うことで、記録画像の解析による人物動向の解析にも活用可能である。
また、本実施の形態における画像検索装置203における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量登録部210、画像特徴量記憶部220、画像検索部230をPC等のコンピュータで実現し、ユーザインタフェース部240を別のPC等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置203を実現することもできる。
また、画像記録装置202に、画像特徴量登録部210、画像特徴量記憶部220、画像検索部230を備えるような構成も可能である。これにより、システムで使用するハードウェア台数を削減し、より低消費電力でコストを削減した監視システムを構成することができる。
Note that the image search method of the monitoring system X according to the present embodiment is not limited to the above-described search processing. For example, it is possible to select a registration ID of a representative image of a similar image group and perform a search using the image of the registration ID. In addition to counting the appearance frequency of similar images, processing such as analyzing behavior patterns using temporal and spatial appearance probabilities using statistical methods such as Bayesian estimation and artificial intelligence methods You can also.
In addition, the
In addition, each unit in the
Further, the
また本発明の実施の形態に係る監視システムXにおいては、人物検索を対象に示したが、これに限られない。たとえば、本発明明の実施の形態に係る監視システムXは、人物だけでなく、一般的な画像検索にも適用できる。たとえば、家畜や害獣の検索、製品管理等にも応用可能である。 In the monitoring system X according to the embodiment of the present invention, the person search is shown as an object, but the present invention is not limited to this. For example, the monitoring system X according to the embodiment of the present invention can be applied not only to a person but also to a general image search. For example, it can be applied to search for livestock and harmful animals, product management, and the like.
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。 Note that the configuration and operation of the above-described embodiment are examples, and it is needless to say that the configuration and operation can be appropriately changed and executed without departing from the gist of the present invention.
200 ネットワーク
201−1〜201−n 撮像装置
202 画像記録装置
203 画像検索装置
210 画像特徴量登録部
220 画像特徴量記憶部
230 画像検索部
240 ユーザインタフェース部
400 検索条件入力画面
410、420、430、440 表示欄
500 ボタン
X 監視システム
200 network 201-1 to 201-
Claims (3)
前記画像データの特徴量を登録する特徴量登録手段と、
前記画像データの登録IDと、登録された前記特徴量とを記憶する特徴量記憶手段と、
入力された検索条件をもとに、キー画像の前記登録IDに対応する前記特徴量を使用して検索を行う画像検索手段と、
入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、
前記画像検索手段は、
前記キー画像の登録IDに対応する前記特徴量を用いて、類似性の高い特徴量をもつ登録IDの検索を行い、
検索された登録IDと同一の登録IDが時系列順でより古い検索結果にも含まれているか否かを判定し、
含まれていなかったと判定されたときには前記キー画像の登録IDの検索回数をカウントアップすると供に前記キー画像の登録IDと前記検索された登録IDとを関連づけ、含まれていると判定されたときには前記キー画像の登録IDの検索回数をカウントアップせず、
ユーザにより設定された条件と、前記登録IDの検索回数とに応じて、前記ユーザインタフェース手段に表示を行わせ、
前記ユーザインタフェース手段は、
前記キー画像の登録IDに対応する画像と、前記キー画像に関連付けられた前記検索された登録IDに対応する画像とを、重ねて若しくは展開して表示し、
前記キー画像の登録IDの検索回数と、前記検索された登録IDに対応する画像をキー画像として検索した際の検索回数とを加えた合算値により、前記登録IDの二次的な関連を表示し、又は
前記合算値により、前記登録IDの二次的な関連の相関図をプロットする
ことを特徴とする画像検索装置。 An image recording device for recording image data from the imaging device;
Feature amount registration means for registering the feature amount of the image data;
Feature quantity storage means for storing the registration ID of the image data and the registered feature quantity;
Image search means for performing a search using the feature amount corresponding to the registration ID of the key image based on the input search condition;
User interface means for notifying the image search means of the input search conditions and displaying search results;
The image search means includes
Using the feature amount corresponding to the registration ID of the key image, search for a registration ID having a highly similar feature amount,
It is determined whether or not the same registration ID as the searched registration ID is included in the older search results in chronological order,
When it is determined that the key ID is not included, the number of searches for the registration ID of the key image is incremented, and the registration ID of the key image is associated with the searched registration ID, and when it is determined that the key ID is included Without counting up the number of searches for the registration ID of the key image,
Depending on the conditions set by the user and the number of searches for the registration ID , the user interface means displays ,
The user interface means includes
An image corresponding to the registration ID of the key image and an image corresponding to the searched registration ID associated with the key image are displayed superimposed or expanded, and displayed.
The secondary relation of the registration ID is displayed by the sum of the number of searches for the registration ID of the key image and the number of searches when the image corresponding to the searched registration ID is searched as a key image. Or
An image search apparatus that plots a secondary related correlation diagram of the registration ID by the total value .
ことを特徴とする請求項1に記載の画像検索装置。 The image search means does not cause the user interface means to display an image with a registration ID specified after displaying a search result regardless of the number of searches for the specified registration ID. Item 2. The image search device according to Item 1.
前記キー画像の登録ID毎に、検索回数と前記検索された登録IDとを含むレコードを記憶し、 For each registration ID of the key image, a record including the number of searches and the searched registration ID is stored,
前記レコードは、前記キー画像の登録IDを引数にして、前記検索された登録IDの先頭アドレスを保持する The record uses the registration ID of the key image as an argument and holds the start address of the searched registration ID
ことを特徴とする請求項1又は2に記載の画像検索装置。 The image search apparatus according to claim 1, wherein the image search apparatus is an image search apparatus.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010050655A JP5058279B2 (en) | 2010-03-08 | 2010-03-08 | Image search device |
PCT/JP2010/006029 WO2011111129A1 (en) | 2010-03-08 | 2010-10-08 | Image-search apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010050655A JP5058279B2 (en) | 2010-03-08 | 2010-03-08 | Image search device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011186733A JP2011186733A (en) | 2011-09-22 |
JP5058279B2 true JP5058279B2 (en) | 2012-10-24 |
Family
ID=44562977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010050655A Active JP5058279B2 (en) | 2010-03-08 | 2010-03-08 | Image search device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5058279B2 (en) |
WO (1) | WO2011111129A1 (en) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5863400B2 (en) * | 2011-11-07 | 2016-02-16 | 株式会社日立国際電気 | Similar image search system |
JP6080940B2 (en) * | 2013-02-28 | 2017-02-15 | 株式会社日立国際電気 | Person search method and home staying person search device |
JP6213557B2 (en) | 2013-03-01 | 2017-10-18 | 日本電気株式会社 | Information processing apparatus, data processing method thereof, and program |
JP6144966B2 (en) * | 2013-05-23 | 2017-06-07 | グローリー株式会社 | Video analysis apparatus and video analysis method |
WO2015053604A1 (en) * | 2013-10-08 | 2015-04-16 | Data Calibre Sdn Bhd | A face retrieval method |
JP6362674B2 (en) * | 2014-03-14 | 2018-07-25 | 株式会社日立国際電気 | Video surveillance support apparatus, video surveillance support method, and program |
JP6396682B2 (en) * | 2014-05-30 | 2018-09-26 | 株式会社日立国際電気 | Surveillance camera system |
JP6420162B2 (en) * | 2015-01-22 | 2018-11-07 | 株式会社デンソーアイティーラボラトリ | Image search device, image search method, and image search program |
KR102015588B1 (en) * | 2015-07-16 | 2019-08-28 | 한화테크윈 주식회사 | Advanced wander alarm system and method thereof |
JP6649005B2 (en) * | 2015-08-04 | 2020-02-19 | ユニファ株式会社 | Robot imaging system and image management method |
JP7103624B2 (en) | 2015-11-06 | 2022-07-20 | 日本電気株式会社 | Data processing equipment, data processing methods, and programs |
JP6172551B1 (en) * | 2016-06-09 | 2017-08-02 | パナソニックIpマネジメント株式会社 | Image search device, image search system, and image search method |
JPWO2018180201A1 (en) * | 2017-03-29 | 2020-01-16 | 株式会社日立国際電気 | Similar face image retrieval system |
WO2018179586A1 (en) * | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | Analysis system, analysis method, and program |
JP6964756B2 (en) * | 2018-03-13 | 2021-11-10 | 本田技研工業株式会社 | Display data generator and program |
JP6940682B2 (en) * | 2018-03-13 | 2021-09-29 | 本田技研工業株式会社 | Information generator and program |
JP2020136714A (en) * | 2019-02-13 | 2020-08-31 | パナソニックi−PROセンシングソリューションズ株式会社 | Information processing device and monitoring method |
WO2020213107A1 (en) * | 2019-04-17 | 2020-10-22 | ヤマハ発動機株式会社 | Image search device, component mounting system, and image search method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003051076A (en) * | 2001-08-07 | 2003-02-21 | Fujitsu General Ltd | Device for monitoring intrusion |
JP4687058B2 (en) * | 2004-10-04 | 2011-05-25 | オムロン株式会社 | Suspicious person judgment device |
JP4702598B2 (en) * | 2005-03-15 | 2011-06-15 | オムロン株式会社 | Monitoring system, monitoring apparatus and method, recording medium, and program |
JP2007310464A (en) * | 2006-05-16 | 2007-11-29 | Seiko Epson Corp | Monitoring camera system and control method for the same |
JP5035595B2 (en) * | 2006-07-21 | 2012-09-26 | オムロン株式会社 | Monitoring device and method, and program |
JP4945477B2 (en) * | 2008-02-21 | 2012-06-06 | 株式会社日立国際電気 | Surveillance system, person search method |
JP2009205594A (en) * | 2008-02-29 | 2009-09-10 | Sogo Keibi Hosho Co Ltd | Security device and suspicious person determining method |
JP5329130B2 (en) * | 2008-06-17 | 2013-10-30 | 株式会社日立国際電気 | Search result display method |
-
2010
- 2010-03-08 JP JP2010050655A patent/JP5058279B2/en active Active
- 2010-10-08 WO PCT/JP2010/006029 patent/WO2011111129A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2011186733A (en) | 2011-09-22 |
WO2011111129A1 (en) | 2011-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5058279B2 (en) | Image search device | |
JP2011048668A (en) | Image retrieval device | |
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
JP6674584B2 (en) | Video surveillance system | |
EP2954499B1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP4945477B2 (en) | Surveillance system, person search method | |
US20180115749A1 (en) | Surveillance system and surveillance method | |
JP5500303B1 (en) | MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
CN111860140B (en) | Target event detection method, device, computer equipment and storage medium | |
JP6172551B1 (en) | Image search device, image search system, and image search method | |
US20160125232A1 (en) | Dynamic face identification | |
JP2006287287A (en) | Image processing apparatus and system thereof, and recording medium of program for them | |
JP2011233133A (en) | Shoplifting preventing system | |
US20160217330A1 (en) | Image processing system and image processing method | |
JP6867056B2 (en) | Information processing equipment, control methods, and programs | |
JP2010257449A (en) | Device, method, and program for retrieving person | |
JP6206627B1 (en) | Information processing apparatus, control method, and program | |
JP6683889B2 (en) | Image retrieval device | |
JP5202419B2 (en) | Security system and security method | |
US10783365B2 (en) | Image processing device and image processing system | |
JP5758165B2 (en) | Article detection device and stationary person detection device | |
JP2022003526A (en) | Information processor, detection system, method for processing information, and program | |
JP2012212217A (en) | Image monitoring device | |
JP2021196741A (en) | Image processing device, image processing method and program | |
JP2021072474A (en) | Server device and alarm check image generation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120731 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5058279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |