WO2018173947A1 - 画像検索装置 - Google Patents
画像検索装置 Download PDFInfo
- Publication number
- WO2018173947A1 WO2018173947A1 PCT/JP2018/010441 JP2018010441W WO2018173947A1 WO 2018173947 A1 WO2018173947 A1 WO 2018173947A1 JP 2018010441 W JP2018010441 W JP 2018010441W WO 2018173947 A1 WO2018173947 A1 WO 2018173947A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face
- image
- area
- face area
- program
- Prior art date
Links
Images
Definitions
- the present invention relates to an image search device.
- surveillance systems using surveillance cameras have been widely used against the background of increasing security awareness and labor saving of security.
- Surveillance cameras are placed in indoor public facilities such as airports and stations, indoor commercial facilities such as department stores and banks, plants such as power plants, and outdoor areas such as urban areas. It is possible to visually check the video on the monitor, or to accumulate the video from the surveillance camera, and to check the past video retroactively when an abnormality occurs.
- Patent Document 1 discloses a search method that uses a key image to search for an image similar to the key image from a recorded image.
- the search for face images can be broadly divided into “face image verification” and “similar face image search” depending on the application.
- face image matching means that face images to be searched are registered in advance, and the face images shown in the video from the surveillance camera are compared in real time with the face images registered in advance. This is to extract a facial image.
- similar face image search refers to a process in which a face image to be searched for is specified for an accumulated video, and a video portion in which a face image similar to the specified face image is shown is extracted.
- feature amount information about the face image included in the video is accumulated together with the video. It is common to extract a similar image (candidate image) without requesting a match with a designated face image.
- the face image matching algorithm differs between face image matching that requires high matching accuracy and similar face image search that requires a certain level of accuracy but high speed. It is usually different.
- the face area cut-out process described above can be said to be a pre-process common to both. Therefore, in order to use the video from the surveillance camera for real-time search by face image matching, and to store the video and use it for subsequent similar face image search, it is common to cut out the face area. By centralizing the processing portion, the efficiency of image processing as a video monitoring system can be improved as a whole.
- An image search apparatus comprising: a processor unit; a main storage unit into which video data is read; and a face region cutout program that is executed by the processor unit and extracts a face region from the video data read into the main storage unit.
- the segmentation program extracts a face area from video data using a first algorithm, extracts a head area from video data using a second algorithm, and extracts the head area as a head area, but does not extract the face area
- face detection is performed while changing the image quality, and the head region where the face image is detected is extracted as the face region.
- the search accuracy can be improved by increasing the accuracy at the face region extraction stage.
- FIG. 1 is a system configuration diagram of a video search system. It is a block diagram of a video search device. It is a figure which shows the program and data stored in an auxiliary storage part. It is a flowchart of a face area cutout part. It is a data structure of image feature-value data.
- Fig. 1 shows the system configuration of the video search system.
- the video search system is configured by imaging devices 101-1 to 101-n (n: integer), a video recording device 102, and a video search device 103 connected by a network 100.
- the network 100 is a line capable of data communication connecting the devices. There is no limitation on the type of line such as a dedicated line, an intranet, an IP network such as the Internet, and the like.
- the imaging device 101 is an imaging device such as a so-called IP camera or network camera capable of transmitting video data captured using a CCD (Charge Coupled Device), a CMOS image sensor, or the like via the network 100.
- the imaging device 101 may include a human sensor, a motion sensor, a microphone, and the like for detecting an imaging start trigger.
- a normal television camera may be used as the image pickup apparatus 101 and may be directly connected to the video recording apparatus 102 and converted into video digital data using the image / audio encoder of the video recording apparatus 102.
- the video recording device 102 is a device such as a network digital recorder that records video from the imaging devices 101-1 to 101-n via the network 100.
- the video recording apparatus 102 includes a control unit such as a CPU and a calculation unit, and a storage unit such as a built-in DRAM and flash memory.
- the video recording apparatus 102 records image data input from the imaging apparatuses 101-1 to 101-n via the network 100 on a recording medium such as an HDD (Hard Disc Drive).
- HDD Hard Disc Drive
- the video search device 103 is a terminal device that displays video data acquired from the video recording device 102 via the network 100 on a display such as a flat panel display or CRT, and performs video search.
- a block diagram of the video search apparatus 103 is shown in FIG.
- the video search device 103 includes a processor unit 201, a main storage unit 202, an auxiliary storage unit 203, an input / output interface 204, a display interface 205, and a network interface 206, which are coupled by a bus 207.
- the input / output interface 204 is connected to a user input unit 211 such as a keyboard and a mouse, and provides a user interface for performing an operation of reproducing a video recorded in the video recording device 102 and an operation of executing an image search for a person.
- the display interface 205 is connected to the display 210 and displays the video from the video recording device 102 and the image search result related to the person.
- a touch panel display in which the display 210 and the user input unit 211 are integrated is also applicable.
- a network interface 206 is an interface for connecting the video search apparatus 103 and the network 100.
- the processor unit 201 includes a CPU, an MPU, a DSP (digital signal processor), a GPU (graphic processing unit), a dedicated image search processor, and the like, and executes a program that performs processing such as image search.
- the main storage unit 202 is configured by a RAM, and temporarily stores a program for performing processing such as an image search executed by the processor unit 201, video data necessary for executing the program, attribute data, and the like.
- the auxiliary storage unit 203 is usually composed of a nonvolatile memory such as an HDD or a flash memory, and stores a program executed by the video search device 103, video data to be processed by the program, and the like.
- FIG. 3 shows programs and data stored in the auxiliary storage unit 203.
- Programs 301 to 304 are programs that are loaded into the main storage unit 202 of the video search apparatus 103 and executed by the processor unit 201. The implementation of the program is executed not only by installing an OS (operating system) in the video search apparatus 103 and executing the program stored in the auxiliary storage unit 203, but also by using the hardware resources of the processor unit 201. May be implemented as a program to be executed.
- the processor unit 201 may be provided with a non-volatile storage unit realized by a ROM or a flash memory.
- Such programs include a face area segmentation program 301, an image feature amount extraction program 302, a face image collation program 303, and a similar image search program 304.
- the auxiliary storage unit 203 stores video data 305 read from the video recording apparatus 102 and image feature data that is an image feature extracted by the image feature extraction program 302.
- FIG. 4 shows a flowchart of the face area extraction program 301.
- video data to be subjected to face area clipping processing is acquired (S401).
- face detection is performed from the acquired video data using the first algorithm (S402).
- a known face detection technique can be applied to the face detection algorithm, and the presence / absence of a face in the video data is determined. If a face exists, the coordinates of the area are calculated.
- the presence / absence of an attachment is determined as an attribute of the cut face area (S403).
- Major items related to the face include glasses, sunglasses, masks, hats and helmets.
- the determination of the presence / absence of an attachment from the face area can be performed by extracting the luminance distribution and the contour line as in the face detection.
- face detection S402
- attribute assignment S403
- glasses or sunglasses depending on the extraction algorithm, there is a possibility that the face is detected by misrecognizing the glasses as eyes.
- an upper limit may be set in advance for the detected eye size, and if the detected eye size exceeds the upper limit, it may be determined that glasses or the like are worn. .
- face detection is performed from the acquired video data using the second algorithm. Since it may not be detected as a face in the first place by wearing glasses, a mask, a hat / helmet, etc. on the face, it is performed in a complementary manner.
- human body detection is first performed from the acquired video data (S404).
- a human body detection algorithm a well-known human body detection technique can be applied. For example, a region in which a human body is reflected can be specified from the co-occurrence of contour lines in video data. A head region is cut out as a face region candidate from the detected human body (S405). Since human body detection (S404) and head detection (S405) can be performed by contour extraction, for example, they may be performed simultaneously.
- the face area wearing spectacles or sunglasses is reexamined among the attributes here.
- the coordinates of the head region and the coordinates of the face region are compared, and a head region that does not have a face region determined as the same target as the head region is considered as a reconsideration target. If reexamination is not necessary, the presence or absence of the next face area or head area is confirmed (S409), and if all cases need to be reexamined, the face area extraction process ends (S410).
- the face image is assumed to be masked. Even in this step, for an image that cannot be determined as a face image, the subsequent processing is not performed assuming that no face is shown. For an area determined as a face image, the presence / absence of an attachment is determined as an attribute of the face area (S408). Attributes can be assigned by performing the same processing as in S403.
- the image is corrected to an image with glasses or sunglasses removed.
- the contour line of the glasses is excluded, and image correction is performed to match the color tone of the region other than the eyes with the color tone of the portion without the glasses.
- the image feature quantity extraction program 302 extracts the image feature quantity for the face area.
- the image feature amount necessary for the face image matching program 303 is required.
- the similar image search program 304 is required. Image feature values are extracted. At least the image feature amount necessary for the similar image search program 304 is stored in the auxiliary storage unit 203 as image feature amount data 306.
- FIG. 5 shows the data structure of the image feature data 306.
- the registration ID 501 is an ID for identifying image feature data, and is given to each face area detected in the flowchart of FIG.
- the imaging device ID 502 is an ID that identifies the imaging devices 101-1 to 101-n that have captured the video.
- Time 503 is data representing the time at which an image frame was captured or recorded by standard time or the number of frames. It may be recorded as a period in which the face area is shown.
- Coordinates 504 are data indicating the appearance position in the image frame.
- the attribute 505 records the presence / absence of a wearing item, and the contents of the wearing item (for example, glasses, sunglasses, mask, hat, helmet, etc.) when there is a wearing item.
- the image feature quantity 506 is image feature quantity data extracted by the image feature quantity extraction program 302.
- the reduced image data 507 stores image reduced data. This reduced data can be generated from the original image frame.
- the image recording location 508 specifies the recording location of the original video, and stores the IP address of the video recording device 102, the address of the auxiliary storage unit 203, and the like.
- 100 Network
- 101 Imaging device
- 102 Video recording device
- 103 Video search device
- 201 Processor unit
- 202 Main storage unit
- 203 Auxiliary storage unit
- 204 Input / output interface
- 205 Display interface
- 206 Network interface
- 210 Display
- 211 User input unit.
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
顔領域の切り出しのアルゴリズムにマッチしていないと、そもそも顔が映っている領域が顔領域として認識されず、その結果として検索漏れが生じる可能性がある。 映像データから顔領域を切り出す顔領域切り出しプログラムを有する画像検索装置において、顔領域切り出しプログラムは、映像データから第１のアルゴリズムにより顔領域を抽出し（Ｓ４０２）、映像データから第２のアルゴリズムにより頭部領域を抽出し（Ｓ４０５）、頭部領域として抽出されたが、顔領域として抽出されなかった領域に対して、画質を変更させながら顔検出を行い（Ｓ４０７）、顔画像が検出された頭部領域を顔領域として抽出する。
Description
本発明は画像検索装置に関する。
従来から、セキュリティ意識の高まりや警備の省力化といったニーズを背景として、監視カメラを用いた映像監視システムが広範に使用されるようになってきている。空港や駅といった屋内公共施設、デパートや銀行のような屋内商業施設、発電所のようなプラント、市街地のような屋外に監視カメラを配置し、管理室等にいる監視者がリアルタイムに監視カメラからの映像をモニターで目視したり、あるいは監視カメラからの映像を蓄積しておき、異状が生じたときに遡って過去の映像を確認したりすることを可能にしている。
しかしながら、目視によるリアルタイムの監視では見落としなどのヒューマンエラーの発生をなくすことは困難である。また、蓄積された監視カメラの映像を遡って確認する場合においても、監視システムの大規模化、広域化に伴い、膨大かつ必ずしも鮮明ではない過去の映像から目的の画像の有無を見分けることは難しく、かつ負荷も高い。
このため、映像監視システムでは画像処理技術を用いて自動的に同一画像、または類似画像を検索することにより、監視精度の向上や監視の省力化を図ることが期待されている。例えば、特許文献１ではキー画像を使用して、記録画像からキー画像に類似の画像を検索する検索方法を開示する。
人の検索、特に顔画像の検索精度向上は、映像監視システムにおいて重要な課題である。顔画像の検索ではまず、監視カメラの映像から顔が映っていると判定される領域（顔領域）の切り出しを行う。顔領域切り出しのアルゴリズムはいくつか考えられるが、顔画像に特徴的な輝度分布や輪郭線を抽出することにより、当該領域に顔が映っていると判定するといった手法が一般的である。しかしながら、監視カメラの映像ではマスクをしていたり、帽子を目深にかぶっていたりすることにより、顔画像としての特徴が失われてしまい、そもそも顔領域として判定されない場合がある。また、映像内の人物が、眼鏡やサングラスをかけていたり、あるいはヘルメット、帽子をかぶっていたりすると、特に日光により強いコントラストが生じる環境下での映像では、顔領域として判断しても、例えば眼鏡の大きさを目の大きさとして誤判定してしまうなど、その後の特徴量の抽出段階で誤認識が生じる可能性が高くなる。このように様々な環境下で撮影された監視カメラからの映像を監視する映像監視システムにおいては、顔領域の切り出しのアルゴリズムにマッチしていないと、そもそも顔が映っている領域が顔領域として認識されず、その結果として検索漏れが生じる可能性がある。さらに、顔領域として認識されても後段の処理で誤認識を生じやすいものになっている可能性がある。
さらに、顔画像の検索においては、その用途から大きく「顔画像照合」と「類似顔画像検索」とに分けられる。ここで、「顔画像照合」とは検索対象とする顔画像をあらかじめ登録しておき、監視カメラからの映像に写っている顔画像とあらかじめ登録されている顔画像とをリアルタイムに照合し、一致する顔画像を抽出するものをいう。一方、「類似顔画像検索」とは、蓄積した映像に対して検索したい顔画像を指定し、指定した顔画像と類似する顔画像が映っている映像部分を抽出するものをいう。類似顔画像検索では、画像検索速度を高速化するため、映像とともにその映像に含まれる顔画像についての特徴量情報を蓄積している。また、指定した顔画像との一致までは要求せず、類似画像（候補画像）を抽出することが一般的である。
このため、高い照合精度を要求される顔画像照合と、照合は一定の確度で十分であるが高速性が要求される類似顔画像検索とでは顔画像の照合アルゴリズムは異なり、照合に用いる特徴量も異なるのが通常である。しかしながら、先に述べた顔領域の切り出し処理などは両者で共通する前処理といえる。そのため、監視カメラからの映像を顔画像照合によりリアルタイムな検索に使用するとともに、映像を蓄積し、事後の類似顔画像検索にも利用できるようにするには、顔領域の切り出し処理のような共通処理部分については一元化して行うことで映像監視システムとしての画像処理の効率を全体として向上させることができる。
プロセッサ部と、映像データが読み込まれる主記憶部と、プロセッサ部により実行され、主記憶部に読み込まれた映像データから顔領域を切り出す顔領域切り出しプログラムとを有する画像検索装置であって、顔領域切り出しプログラムは、映像データから第１のアルゴリズムにより顔領域を抽出し、映像データから第２のアルゴリズムにより頭部領域を抽出し、頭部領域として抽出されたが、顔領域として抽出されなかった領域に対して、画質を変更させながら顔検出を行い、顔画像が検出された頭部領域を顔領域として抽出する。
本発明のその他の特徴については発明を実施する形態として詳細に説明する。
顔領域の切り出し段階での精度を高めて検索精度を高めることができる。
図１に映像検索システムのシステム構成図を示す。映像検索システムは、撮像装置１０１－１～１０１－ｎ（ｎ：整数）と、映像記録装置１０２と、映像検索装置１０３とが、ネットワーク１００にて接続されて構成されている。ネットワーク１００は各装置を結ぶデータ通信可能な回線である。専用線、イントラネット、インターネット等のＩＰネットワーク等、回線の種類は問わない。
撮像装置１０１は、ネットワーク１００を介して、ＣＣＤ（Charge Coupled Device）やＣＭＯＳイメージセンサ等を用いて撮像した映像データを送信可能な、いわゆるＩＰカメラやネットワークカメラ等の撮像装置である。撮像装置１０１は、撮像開始トリガを検出するための人感センサ、動きセンサやマイク等を備えていてもよい。あるいは、撮像装置１０１に通常のテレビジョンカメラを用い、映像記録装置１０２に直接接続し、映像記録装置１０２の画像・音声エンコーダを用いて映像デジタルデータに変換するように構成してもよい。
映像記録装置１０２は、撮像装置１０１－１～１０１－ｎからの映像をネットワーク１００経由で記録するネットワークデジタルレコーダ等の装置である。映像記録装置１０２は、ＣＰＵ等の制御部や演算部と、内蔵のＤＲＡＭやフラッシュメモリ等の記憶部とを備えている。また、映像記録装置１０２は、ネットワーク１００を介して撮像装置１０１－１～１０１－ｎより入力された画像データを、ＨＤＤ（Hard Disc Drive）等の記録媒体に記録する。映像検索システムにおいて、映像検索装置１０３が映像記録装置１０２から画像を読み出す場合、映像記録装置１０２に対して撮像装置１０１のＩＤと時刻情報とを指定することで、該当する映像を読み出すことができる。
映像検索装置１０３は、ネットワーク１００を介して映像記録装置１０２から取得した映像データを、フラットパネルディスプレイやＣＲＴ等のディスプレイに表示し、映像検索を行う端末装置である。映像検索装置１０３のブロック図を図２に示す。
映像検索装置１０３は、プロセッサ部２０１、主記憶部２０２、補助記憶部２０３、入出力インタフェース２０４、表示インタフェース２０５、ネットワークインタフェース２０６を含み、これらはバス２０７により結合されている。入出力インタフェース２０４は、キーボードやマウス等のユーザ入力部２１１に接続され、映像記録装置１０２に記録された映像の再生操作、人物に関する画像検索の実行操作を行うユーザインタフェースを提供する。表示インタフェース２０５は、ディスプレイ２１０に接続され、映像記録装置１０２からの映像や、人物に関する画像検索結果を表示する。ディスプレイ２１０とユーザ入力部２１１とが一体化されたタッチパネルディスプレイも適用可能である。ネットワークインタフェース２０６は映像検索装置１０３とネットワーク１００とを接続するためのインタフェースである。
プロセッサ部２０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）、画像検索専用プロセッサ等で構成され、画像検索等の処理を行うプログラムを実行する。主記憶部２０２はＲＡＭで構成され、プロセッサ部２０１が実行する画像検索等の処理を行うプログラムや、プログラムの実行に必要な映像データ、属性データ等を一時的に記憶する。補助記憶部２０３は通常、ＨＤＤやフラッシュメモリなどの不揮発性メモリで構成され、映像検索装置１０３が実行するプログラムやプログラムが処理対象とする映像データ等を記憶する。
図３に、補助記憶部２０３に格納されるプログラム、データを示す。プログラム３０１～３０４は、映像検索装置１０３の主記憶部２０２にロードされ、プロセッサ部２０１により実行されるプログラムである。なお、プログラムの実装は、映像検索装置１０３にＯＳ（オペレーティングシステム）をインストールして、補助記憶部２０３に格納されるプログラムを実行するのみならず、プロセッサ部２０１のハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。この場合は、プロセッサ部２０１にＲＯＭやフラッシュメモリで実現される不揮発記憶部を設けて、記憶していてもよい。このようなプログラムとして、顔領域切り出しプログラム３０１、画像特徴量抽出プログラム３０２、顔画像照合プログラム３０３、類似画像検索プログラム３０４が含まれる。また、補助記憶部２０３には、映像記録装置１０２から読みだした映像データ３０５、画像特徴量抽出プログラム３０２により抽出した画像特徴量である画像特徴量データが格納されている。
図４に顔領域切り出しプログラム３０１のフローチャートを示す。まず、顔領域の切り出し処理を行う映像データを取得する（Ｓ４０１）。本実施例では、取得した映像データから第１のアルゴリズムで顔検出を実施する（Ｓ４０２）。顔検出のアルゴリズムには公知の顔検出技術が適用でき、映像データ中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。次に切り出された顔領域の属性として装着物の有無を判定する（Ｓ４０３）。顔に関連する主な装着物は眼鏡、サングラス、マスク、帽子・ヘルメットといったものが挙げられる。顔領域からの装着物の有無の判定は、顔検出と同様に輝度分布や輪郭線の抽出により行うことができる。したがって、顔検出（Ｓ４０２）と属性付与（Ｓ４０３）は同時に実行してもよい。また、眼鏡やサングラスの場合は、その抽出アルゴリズムによっては、眼鏡を目と誤認識して顔検出する可能性もある。このような場合は、検出した目の大きさにあらかじめ上限を設けておき、検出した目の大きさがその上限を上回る場合には、眼鏡等を装着していると判断するようにしてもよい。
本実施例では、取得した映像データから第２のアルゴリズムで顔検出を実施する。顔に眼鏡、マスク、帽子・ヘルメットなどを装着することにより、そもそも顔として検出されない可能性があるため、補完的に実施するものである。図４の例では、取得した映像データからまず人体検出を実施する（Ｓ４０４）。人体検出のアルゴリズムも公知の人体検出技術が適用でき、例えば、映像データ中の輪郭線の共起性から人体が映っている領域を特定できる。検出された人体から頭部領域を顔領域候補として切り出す（Ｓ４０５）。人体検出（Ｓ４０４）も、頭部検出（Ｓ４０５）も例えば輪郭線抽出により可能であるので、同時に実行してもよい。
次に２つのアルゴリズムで検出された顔領域候補に対して、顔領域画像の再検討要否について判定する（Ｓ４０６）。再検討要とするものは２種類あり、（１）属性付与された顔領域と、（２）頭部領域として抽出されたが、顔領域として抽出されていない頭部領域である。
（１）については、ここでは属性のうち、眼鏡またはサングラスを装着した顔領域を再検討対象とする。（２）については頭部領域の座標と顔領域の座標とを比較し、頭部領域と同一対象として判定される顔領域が存在しない頭部領域を再検討対象とする。再検討不要であれば、次の顔領域または頭部領域の有無を確認し（Ｓ４０９）、全件再検討要否判定済みとなれば、顔領域の切り出し処理は終了する（Ｓ４１０）。
顔領域または頭部領域が、再検討要と判断された場合の処理について説明する。（１）の顔領域はすでに顔領域として抽出されているので、（２）の頭部領域に対して顔検出を実施する（Ｓ４０７）。この場合、顔が映っているにも関わらず、顔として検出されなかったとすれば、日差しが強く顔が陰に隠れてしまったため、あるいは装着物により顔の一部が隠れてしまうことにより、顔全体としての特徴が失われたため、といった理由が考えられる。このため、画像のコントラスト等の画質を変更させながら、顔の特徴的な部位（目、鼻、口など）を検出し、それらの位置関係から顔画像か否かを判定することによって検出する。このとき、例えば口が映っていなくても、目と鼻とが所定の位置関係にあればマスクをかけているものとして顔画像であると判定する。本ステップにおいても顔画像として判定できない画像については顔が映っていないものとして以降の処理は行わない。顔画像として判定された領域に対しては、顔領域の属性として装着物の有無を判定する（Ｓ４０８）。Ｓ４０３と同様の処理を行うことで属性付与が行える。
加えて、（１）の眼鏡またはサングラスを装着した顔画像の場合には、眼鏡またはサングラスを外した画像に補正する。例えば、眼鏡（サングラス）の輪郭線は排除し、目以外の領域の色合いを眼鏡のない部分の色合いに合わせる画像補正を行う。これにより、その後の検索のための特徴量抽出の際に誤認識が発生することを抑えることができる。
顔領域の切り出しが終了すると、画像特徴量抽出プログラム３０２により、顔領域に対する画像特徴量が抽出される。映像データを顔画像照合プログラム３０３で使用する場合には、顔画像照合プログラム３０３に必要な画像特徴量を、映像データを類似画像検索プログラム３０４で使用する場合には、類似画像検索プログラム３０４に必要な画像特徴量を抽出する。少なくとも類似画像検索プログラム３０４に必要な画像特徴量は画像特徴量データ３０６として、補助記憶部２０３に格納される。
図５に画像特徴量データ３０６のデータ構造を示す。登録ＩＤ５０１は画像特徴量のデータを識別するＩＤであり、図４のフローチャートで検出した顔領域のそれぞれに対して与えられる。撮像装置ＩＤ５０２は映像を撮影した撮像装置１０１－１～ｎを特定するＩＤである。時刻５０３は画像フレームが撮像または記録された時刻を標準時またはフレーム数等により表したデータである。顔領域が映っている期間として記録されてもよい。座標５０４は画像フレームにおける出現位置を示すデータである。属性５０５は装着物の有無、さらに装着物ありの場合はその装着物の内容（例えば、眼鏡、サングラス、マスク、帽子、ヘルメットなど）を記録する。類似画像検索プログラム３０４にて検索を行う場合にこのような属性を利用することで、顔情報のない画像部分を画像のマッチングに使用することを回避できる、例えばマスクをしている場合は、口や鼻の周囲のマッチングは行わないようにできるため、誤認識を低減できるようになる。画像特徴量５０６は画像特徴量抽出プログラム３０２が抽出した画像特徴量データである。縮小画像データ５０７は、画像の縮小データを記憶する。この縮小データは元の画像フレームから生成することができる。画像記録場所５０８は、元の映像の記録場所を特定するものであって、映像記録装置１０２のＩＰアドレスや補助記憶部２０３のアドレスなどを記憶している。
以上、実施例に基づき本発明を説明したが、実施例として説明した内容に限定されることなく、種々の変形が可能なものである。
１００：ネットワーク、１０１：撮像装置、１０２：映像記録装置、１０３：映像検索装置、２０１：プロセッサ部、２０２：主記憶部、２０３：補助記憶部、２０４：入出力インタフェース、２０５：表示インタフェース、２０６：ネットワークインタフェース、２１０：ディスプレイ、２１１：ユーザ入力部。
Claims (6)
- プロセッサ部と、
映像データが読み込まれる主記憶部と、
前記プロセッサ部により実行され、前記主記憶部に読み込まれた前記映像データから顔領域を切り出す顔領域切り出しプログラムとを有し、
前記顔領域切り出しプログラムは、前記映像データから第１のアルゴリズムにより顔領域を抽出し、前記映像データから第２のアルゴリズムにより頭部領域を抽出し、頭部領域として抽出されたが顔領域として抽出されなかった領域に対して、画質を変更させながら顔検出を行い、顔画像が検出された頭部領域を顔領域として抽出する画像検索装置。 - 請求項１において、
前記顔領域切り出しプログラムは、顔領域の属性として顔に関連する装着物の有無を判定し、
前記属性として判定する装着物には、少なくとも眼鏡、サングラス、マスク、帽子、ヘルメットを含む画像検索装置。 - 請求項２において、
前記顔領域切り出しプログラムは、顔領域の属性として眼鏡またはサングラスの装着を有する顔領域に対して、眼鏡またはサングラスを除去する画像補正を行う画像検索装置。 - 請求項１において、
前記顔領域切り出しプログラムにより切り出された顔領域に対して、画像特徴量を抽出する画像特徴量抽出プログラムとを有し、
画像特徴量データとして、顔領域と当該顔領域の属性及び当該顔領域の画像特徴量を記憶する画像検索装置。 - 請求項２において、
前記顔領域切り出しプログラムにより切り出された顔領域に対して、画像特徴量を抽出する画像特徴量抽出プログラムとを有し、
画像特徴量データとして、顔領域と当該顔領域の属性及び当該顔領域の画像特徴量を記憶する画像検索装置。 - 請求項３において、
前記顔領域切り出しプログラムにより切り出された顔領域に対して、画像特徴量を抽出する画像特徴量抽出プログラムとを有し、
画像特徴量データとして、顔領域と当該顔領域の属性及び当該顔領域の画像特徴量を記憶する画像検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019507629A JP6683889B2 (ja) | 2017-03-22 | 2018-03-16 | 画像検索装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-055370 | 2017-03-22 | ||
| JP2017055370 | 2017-03-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018173947A1 true WO2018173947A1 (ja) | 2018-09-27 |
Family
ID=63586039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/010441 WO2018173947A1 (ja) | 2017-03-22 | 2018-03-16 | 画像検索装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6683889B2 (ja) |
| WO (1) | WO2018173947A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382719A (zh) * | 2020-03-18 | 2020-07-07 | 浙江新再灵科技股份有限公司 | 用于疫情防控的直梯乘梯人员佩戴口罩监测方法 |
| KR20200110642A (ko) * | 2019-03-11 | 2020-09-24 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 |
| WO2022190358A1 (ja) * | 2021-03-12 | 2022-09-15 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171929A (ja) * | 2004-12-14 | 2006-06-29 | Honda Motor Co Ltd | 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム |
| JP2008005365A (ja) * | 2006-06-26 | 2008-01-10 | Victor Co Of Japan Ltd | 撮像装置 |
| JP2012034024A (ja) * | 2010-07-28 | 2012-02-16 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| WO2012053311A1 (ja) * | 2010-10-22 | 2012-04-26 | Ｎｅｃソフト株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
-
2018
- 2018-03-16 JP JP2019507629A patent/JP6683889B2/ja active Active
- 2018-03-16 WO PCT/JP2018/010441 patent/WO2018173947A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171929A (ja) * | 2004-12-14 | 2006-06-29 | Honda Motor Co Ltd | 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム |
| JP2008005365A (ja) * | 2006-06-26 | 2008-01-10 | Victor Co Of Japan Ltd | 撮像装置 |
| JP2012034024A (ja) * | 2010-07-28 | 2012-02-16 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| WO2012053311A1 (ja) * | 2010-10-22 | 2012-04-26 | Ｎｅｃソフト株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200110642A (ko) * | 2019-03-11 | 2020-09-24 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 |
| JP2021517747A (ja) * | 2019-03-11 | 2021-07-26 | シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像処理方法及び装置、電子機器並びに記憶媒体 |
| US11288531B2 (en) | 2019-03-11 | 2022-03-29 | Shenzhen Sensetime Technology Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
| JP7061191B2 (ja) | 2019-03-11 | 2022-04-27 | シェンチェン センスタイム テクノロジー カンパニー リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
| KR102446687B1 (ko) | 2019-03-11 | 2022-09-23 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 |
| CN111382719A (zh) * | 2020-03-18 | 2020-07-07 | 浙江新再灵科技股份有限公司 | 用于疫情防控的直梯乘梯人员佩戴口罩监测方法 |
| WO2022190358A1 (ja) * | 2021-03-12 | 2022-09-15 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6683889B2 (ja) | 2020-04-22 |
| JPWO2018173947A1 (ja) | 2020-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5594791B2 (ja) | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム | |
| US9235751B2 (en) | Method and apparatus for image detection and correction | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| US7668345B2 (en) | Image processing apparatus, image processing system and recording medium for programs therefor | |
| JP5567853B2 (ja) | 画像認識装置および方法 | |
| CN111063079B (zh) | 一种基于门禁系统的双目活体人脸检测方法及装置 | |
| US10565461B2 (en) | Live facial recognition method and system | |
| JP2001216515A (ja) | 人物の顔の検出方法およびその装置 | |
| WO2018173947A1 (ja) | 画像検索装置 | |
| JP2014182480A (ja) | 人物認識装置、及び方法 | |
| JP5787686B2 (ja) | 顔認識装置、及び顔認識方法 | |
| JP5726596B2 (ja) | 画像監視装置 | |
| CN112364827A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| JP5971712B2 (ja) | 監視装置及び方法 | |
| US10783365B2 (en) | Image processing device and image processing system | |
| CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
| CN113837006A (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| CN112907206A (zh) | 一种基于视频对象识别的业务审核方法、装置及设备 | |
| US11074696B2 (en) | Image processing device, image processing method, and recording medium storing program | |
| CN112686214A (zh) | 一种基于Retinaface算法的人脸口罩检测系统和方法 | |
| US20200074612A1 (en) | Image analysis apparatus, image analysis method, and recording medium | |
| WO2020232697A1 (zh) | 一种在线人脸聚类的方法及系统 | |
| CN108334811B (zh) | 一种人脸图像处理方法及装置 | |
| JP2020098422A (ja) | 画像処理装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18771669 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2019507629 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18771669 Country of ref document: EP Kind code of ref document: A1 |