WO2020003400A1 - 顔照合システム - Google Patents

顔照合システム Download PDF

Info

Publication number
WO2020003400A1
WO2020003400A1 PCT/JP2018/024346 JP2018024346W WO2020003400A1 WO 2020003400 A1 WO2020003400 A1 WO 2020003400A1 JP 2018024346 W JP2018024346 W JP 2018024346W WO 2020003400 A1 WO2020003400 A1 WO 2020003400A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature amount
registered
database
irreversible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/024346
Other languages
English (en)
French (fr)
Inventor
浩司 桝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to PCT/JP2018/024346 priority Critical patent/WO2020003400A1/ja
Priority to JP2020526771A priority patent/JP6960058B2/ja
Publication of WO2020003400A1 publication Critical patent/WO2020003400A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a face matching system for matching a face image of a person.
  • Patent Document 1 discloses a face matching system that extracts a feature amount from image data and performs comparison by comparing the feature amount with a feature amount registered in a database.
  • An invention is disclosed in which the similarity is compared with the feature amount and if the similarity is equal to or greater than a preset threshold, the information is registered as duplication confirmation target information.
  • a general face matching system is configured to store personal information of a registered person or its identifier in a database accessible by the matching device.
  • One of the problems of such a face matching system is that if personal information or its identifier stored in a database leaks, a third party can use this information to identify an individual. .
  • a malicious person may develop a social problem such as the use of personal information for illegal activities.
  • the present invention has been made in view of the above-described conventional circumstances, and has as its object to provide a technology capable of preventing leakage of personal information in a face matching system.
  • a face matching system is configured as follows. That is, in a face matching system including a matching device that determines whether or not a person included in an image captured by an imaging device has been registered in a database, the database includes a feature amount representing a feature of a face image of a registered person. And stores the irreversible feature amount from which the face image cannot be restored.
  • the collation device calculates an irreversible feature amount based on a face image of a person included in a video image captured by the imaging device, and By comparing with the irreversible feature amount registered in the database, it is determined whether or not the person included in the captured video has been registered in the database.
  • the face matching system further includes a display device that displays the image captured by the image capturing device and displays a determination result as to whether or not a person included in the captured image has been registered in the database. May be adopted.
  • the matching device obtains a face image of a person included in the video captured by the imaging device, performs preprocessing for normalizing the face image, and an edge and a coordinate of the edge in the face image normalized by the preprocessing.
  • Irreversible feature value calculation processing for calculating the irreversible feature value of the person, and irreversible feature value calculated by the irreversible feature value calculation process, and registering the information in the database.
  • a face collation process for comparing the irreversible feature amount and the person included in the captured video to determine whether or not the person has been registered in the database.
  • the irreversible feature amount calculation process may include a process of acquiring the shape of the face and the shape of each part of the face.
  • the face matching system of the present invention since face matching is performed using an irreversible feature amount that cannot restore a face image, leakage of personal information can be prevented.
  • FIG. 9 is a diagram illustrating a calculation procedure of an irreversible feature amount.
  • FIG. 1 shows a configuration example of a face matching system according to an embodiment of the present invention.
  • the face matching system of the present example includes an imaging device 10, a matching device 20, and a display device 30.
  • the imaging device 10 is a device that captures a subject in real time and transmits the video data to the collation device 20.
  • a network camera or a surveillance camera having an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) can be used.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the matching device 20 is a device that matches a face image of a person included in a video captured by the imaging device 10 with a face image of each person registered in the database and determines whether the person has been registered in the database.
  • the collation device 20 has a database, but another device accessible by the collation device 20 may have a database.
  • data representing the characteristics of the face image is registered in advance as a preparation for collating the face image.
  • the face image itself is not registered, and data that is converted from the face image so that the original face image cannot be restored is registered.
  • other personal information for example, name, gender, date of birth, etc.
  • the collation device 20 can be realized by, for example, a computer having hardware resources such as a processor and a memory.
  • the control program can be configured to be developed in the main memory and executed by the processor, thereby performing the respective processes according to the present invention.
  • the collation device 20 may be implemented by a single computer as shown in FIG. 1 or may be implemented by a plurality of computers communicably connected to each other.
  • the display device 30 is a device that displays a video image captured by the imaging device 10, and also displays the result of face matching performed by the matching device 20. That is, the display device 30 displays not only the image captured by the imaging device 10 but also whether or not the person included in the image has been registered in the database. Specifically, for example, the face of a registered person is surrounded by a frame, or an icon or a character indicating whether or not the person is registered is displayed near the face of the registered person. . When a plurality of persons are photographed at the same time, the result of face matching is displayed for each person. Further, display or non-display of the result of face matching can be switched by setting of the display device 30.
  • the matching device 20 includes video input units 21A and 21B, preprocessing units 22A and 22B, data creating units 23A and 23B, an irreversible feature amount database 24, a matching processing unit 25, And an output unit 26.
  • the face image data 40 showing the face of the person to be registered is input to the video input unit 21B.
  • the face image data 40 may be input via a wired or wireless network, or may be input using an external medium such as a USB (Universal Serial Bus) memory.
  • USB Universal Serial Bus
  • the preprocessing unit 22B acquires a face image of a person included in the face image data 40 input to the video input unit 21B, and performs preprocessing for normalizing the face image. Acquisition of a face image can be performed, for example, by performing face detection processing on an input image and cutting out an area portion detected as a face.
  • the normalization of the face image can be performed using various normalization processes. As the normalization processing, for example, a face direction adjustment processing for detecting the direction of the face and adjusting it to face the front, and for equalizing the data amount of the irreversible feature amount obtained by the geometric hash processing described later. Image quality improvement processing such as resizing processing, noise reduction and brightness adjustment can be given. Note that not all of the above-described normalization processes are essential, and one or more normalization processes may be selectively executed according to the state and quality of the face image.
  • the data creation unit 23B is a feature amount representing the feature of the face image of the person included in the face image data 40 based on the image of the processing result by the preprocessing unit 22B, and the irreversible feature that cannot restore the face image.
  • An irreversible feature amount calculation process for calculating the amount is performed.
  • an edge is detected from the face image normalized by the pre-processing unit 22B, and the information of the edge and its coordinates is set in a toothless state by a geometric hashing process to calculate an irreversible feature amount.
  • the configuration of the face and the shape of each part (eyes, nose, mouth, etc.) of the face are obtained, and the irreversible feature amount is calculated.
  • the processing is performed in the following procedure. That is, an edge image is obtained by performing edge detection processing on the preprocessed face image, the edge image is divided into squares, and blocks including edges representing the shape of the face and the shape of each part of the face are extracted. Identify each, label each block with edge attribute (information identifying face shape and face part shape), discard some blocks by geometric hashing process and make them omission state, irreversible feature Use as quantity.
  • edge attribute information identifying face shape and face part shape
  • the geometric hash processing will be described in detail.
  • a hash function is a function that outputs a value that is a random value according to a specific rule and that looks appropriate at first glance for input data.
  • geometric hash processing The fact that the value input to the hash function is geometric, that is, performing hash function processing on information that is a two-dimensional image and a pattern is called geometric hash processing.
  • face image information which is an edge image obtained by preprocessing, is set as a value to be input to the geometric hashing process.
  • the face image information conforms to a certain rule by geometric hashing processing, but becomes random information.
  • FIG. 1 and FIG. The data is output as the information on the missing state as shown, and data on the irreversible feature amount is created.
  • Geometric hash processing is processing for performing data conversion while leaving geometric information (features as figures). It is conceivable to use hash processing generally used in password matching, but it cannot be used for face matching because the geometric information is significantly missing in normal hash processing. In the present system, the irreversible feature amount is calculated by using a geometric hashing process capable of performing data conversion while leaving some geometric information.
  • the irreversible feature database 24 stores the data of the irreversible feature calculated by the data generator 23B. That is, the irreversible feature database 24 stores the irreversible feature calculated based on the face image of the person to be registered. However, information that leads to identification of an individual, such as the face image of the person to be registered, other personal information (for example, name, gender, date of birth, etc.) and the identifier of the person, is not stored.
  • the video data transmitted from the imaging device 10 is input to the video input unit 21A.
  • real-time video data captured by the imaging device 10 is input via a wired or wireless network. If real-time processing is not required, video data captured in advance may be input via a network or may be input using an external medium such as a USB memory.
  • the preprocessing unit 22A acquires a face image of a person included in the video data input to the video input unit 21A, and performs preprocessing for normalizing the face image.
  • the contents of the processing by the preprocessing unit 22A are substantially the same as those described for the preprocessing unit 22B, and thus description thereof is omitted.
  • the data creation unit 23A is a feature amount representing the feature of the face image of the person included in the video captured by the imaging device 10 based on the image of the processing result by the preprocessing unit 22A, and the face image cannot be restored.
  • An irreversible feature amount calculation process for calculating an irreversible feature amount is performed.
  • the contents of the processing by the data creation unit 23A are substantially the same as those described for the data creation unit 23B, and a description thereof will be omitted.
  • the matching processing unit 25 compares the irreversible feature amount calculated by the data creation unit 23B with the irreversible feature amount registered in the irreversible feature amount database 24, and determines that the person included in the video captured by the imaging device 10 has the irreversible feature.
  • a face matching process is performed to determine whether or not the face has been registered in the quantity database 24. Specifically, for example, the similarity between the irreversible feature calculated by the data creation unit 23B and the irreversible feature registered in the irreversible feature database 24 is calculated, and the similarity is equal to or greater than a predetermined threshold. In this case, it is determined that registration has been performed, and otherwise, it is determined that registration has not been performed.
  • the result output unit 26 sends the result of the face matching performed by the matching processing unit 25 to the display device 30.
  • the information transmitted by the result output unit 26 to the display device 30 includes position information of a face image included in a video shot by the imaging device 10, information indicating whether the face image has been registered, and the like.
  • the display device 30 displays whether or not a person included in the video has been registered in the database in addition to the display of the captured video by the imaging device 10 based on the information.
  • the preprocessing unit 22A acquires a face image of a person included in the image data D1 input to the video input unit 21A (step S11), and performs various normalization processes on the acquired face image (step S11). S12).
  • the data creation unit 23A performs a geometric hashing process for irreversibly transforming the feature amount of the face image, so that the person included in the image data D1 is processed.
  • the irreversible feature data D2 is created (step S13). Note that the process of calculating the irreversible feature amount by the preprocessing unit 22B and the data creation unit 23B based on the data (the face image to be registered in advance) input to the video input unit 21B is described above with reference to FIG. Since the content is roughly the same, the description is omitted.
  • the face matching system uses the irreversible feature database 24 that stores the irreversible feature that indicates the features of the registered face image of the person and cannot restore the face image.
  • the matching device 20 calculates the irreversible feature amount based on the face image of the person included in the image captured by the imaging device 10 and compares the calculated irreversible feature amount with the irreversible feature amount registered in the irreversible feature amount database 24. It is configured to determine whether the person included in the captured video has been registered in the database.
  • face matching is performed using an irreversible feature amount that cannot restore a face image, so there is no need to store personal information or its identifier in the system, and personal information is not stored. There is no worry about spills. Therefore, it is possible to construct a highly secure system in consideration of privacy, and it is possible to minimize the cost for security measures.
  • the face matching system of the present example further includes a display device 30 that displays a video captured by the imaging device 10 and displays a determination result as to whether a person included in the captured video has been registered in the database. It has become. Thereby, the user of the present system can easily determine whether or not a person who is in the shooting area of the imaging device 10 has been registered.
  • the face matching system of the present example is configured to acquire a face image of a person included in a video captured by the imaging device 10 and perform preprocessing for normalizing the face image.
  • a face image that is not suitable for face matching as it is can be used for face matching, or the accuracy of face matching can be further improved.
  • the face matching system is configured to irreversibly calculate the irreversible feature amount of the person by converting the information of the edge and its coordinates in the face image normalized by the preprocessing into a toothless state by geometric hashing processing. It is configured to perform a feature amount calculation process. This makes it possible to efficiently generate an irreversible feature that can be used for face matching while the original face image cannot be restored.
  • learning may be performed using AI (Artificial Intelligence) technology. That is, each parameter of the preprocessing and the matching process may be adjusted so that the accuracy of the face matching is increased. Thereby, the accuracy of face matching can be improved without the user of the present system manually adjusting each parameter.
  • AI Artificial Intelligence
  • the present invention is assumed to be applied to a system that suffices if it can be determined whether or not a photographed person is registered in a database. Specifically, for example, at the entrance of an event venue or the like, it can be used for a visitor check application that restricts entry to only authorized persons. Further, as another example, the present invention can be used in a place where a large number of unspecified persons act, such as a station or an airport, to detect a specific person (for example, a person requiring caution).
  • the present invention has been described in detail. However, it is needless to say that the present invention is not limited to the system described here, but can be widely applied to other systems.
  • the present invention can be provided as, for example, a method and a method for executing the processing according to the present invention, a program for realizing such a method and the method, and a storage medium for storing the program.
  • the present invention can be used for a face matching system that matches a face image of a person.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

顔照合システムにおける個人情報の流出を防止することが可能な技術を提供する。　登録済みの人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を記憶する不可逆特徴量データベース２４を有し、照合装置２０が、撮像装置１０による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出し、不可逆特徴量データベース２４に登録されている不可逆特徴量と比較することで、該撮像映像に含まれる人物がデータベースに登録済みか否かの判定を行う。

Description

顔照合システム
　本発明は、人物の顔画像を照合する顔照合システムに関する。
　近年、入場者チェックや要注意人物検出などの種々の目的で、人物の顔画像を照合する顔照合システムが利用されている。このような顔照合システムに関し、従来より種々の発明が提案されている。例えば、特許文献１には、画像データから特徴量を抽出し、データベースに登録された特徴量との比較によって照合を行う顔照合システムにおいて、データベースから登録済みの特徴量を読み出し、他の登録済みの特徴量との類似度の照合を行い、類似度が予め設定した閾値以上である場合は、重複確認対象情報として登録する発明が開示されている。
国際公開第２０１６／１５１８０２号
　一般的な顔照合システムは、登録された人物の個人情報又はその識別子を、照合装置がアクセス可能なデータベースに保存しておく構成となっている。このような顔照合システムが有する問題点の一つとして、データベースに保存されている個人情報又はその識別子が流出すると、これら情報を使用して第三者が個人を特定できてしまう点が挙げられる。また、悪意のある者により個人情報が不法行為に利用される等の社会的な問題に発展してしまう懸念もある。
　個人情報又はその識別子の漏洩対策として、高度な暗号化等を駆使して情報の難読性を高めることが行われており、運用面でも厳重な取り扱い規則が作られている。しかしながら、システム内通者により内部的に情報漏洩が発生する可能性や、より高度な技術により暗号が解読される可能性をなくすことは難しい。
　本発明は、上記のような従来の事情に鑑みて為されたものであり、顔照合システムにおける個人情報の流出を防止することが可能な技術を提供することを目的とする。
　上記の目的を達成するために、本発明では、顔照合システムを以下のように構成した。
　すなわち、撮像装置による撮像映像に含まれる人物がデータベースに登録済みか否かを判定する照合装置を備えた顔照合システムにおいて、前記データベースは、登録済みの人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を記憶しており、前記照合装置は、前記撮像装置による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出し、前記データベースに登録されている不可逆特徴量と比較することで、該撮像映像に含まれる人物が前記データベースに登録済みか否かの判定を行うことを特徴とする。
　ここで、本発明に係る顔照合システムは、前記撮像装置による撮像映像を表示すると共に、該撮影映像に含まれる人物が前記データベースに登録済みか否かの判定結果を表示する表示装置を更に備えた構成としてもよい。
　また、前記照合装置は、前記撮像装置による撮像映像に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理と、前記前処理により正規化された顔画像におけるエッジ及びその座標の情報を幾何学的ハッシュ処理により歯抜け状態にして、該人物に係る不可逆特徴量を算出する不可逆特徴量算出処理と、前記不可逆特徴量算出処理により算出された不可逆特徴量と前記データベースに登録されている不可逆特徴量とを比較して、該撮像映像に含まれる人物が前記データベースに登録済みか否かを判定する顔照合処理とを有してもよい。この場合、前記不可逆特徴量算出処理は、顔の形状、及び、顔の各パーツの形状を取得する処理を含む構成としてもよい。
　本発明に係る顔照合システムによれば、顔画像の復元が不可能な不可逆特徴量を用いて顔照合を行うので、個人情報の流出を防止することができる。
本発明の一実施形態に係る顔照合システムの構成例を示す図である。 不可逆特徴量の算出手順について説明する図である。
　以下、本発明の一実施形態に係る顔照合システムについて、図面を参照して説明する。
　図１には、本発明の一実施形態に係る顔照合システムの構成例を示してある。本例の顔照合システムは、撮像装置１０と、照合装置２０と、表示装置３０とを有する。
　撮像装置１０は、被写体をリアルタイムに撮影し、その映像データを照合装置２０へ送信する装置である。撮像装置１０としては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有するネットワークカメラや監視カメラを用いることができる。
　照合装置２０は、撮像装置１０による撮像映像に含まれる人物の顔画像をデータベースに登録されている各人物の顔画像と照合し、該人物がデータベースに登録済みか否かを判定する装置である。本例では、照合装置２０がデータベースを有しているが、照合装置２０がアクセス可能な他の装置がデータベースを有してもよい。データベースには、事前準備として、顔画像の照合を行うために、顔画像の特徴を表すデータが登録される。ただし、顔画像そのものは登録されず、顔画像に変換を加えて元の顔画像を復元できないようにしたデータが登録される。また、登録された人物に関する他の個人情報（例えば、名前、性別、生年月日等）及びその識別子は保存されない。すなわち、照合に使用するデータベースには、個人を特定できないデータのみが登録されるため、個人情報が漏洩する心配はない。
　照合装置２０は、例えば、プロセッサやメモリ等のハードウェア資源を備えたコンピュータにより実現することができる。すなわち、制御プログラムをメインメモリに展開してプロセッサにより実行することで、本発明に係る各処理を遂行させるように構成することができる。照合装置２０は、図１に示すように単一のコンピュータにより実現される形態の他、互いに通信可能に接続された複数台のコンピュータにより実現される形態であってもよい。
　表示装置３０は、撮像装置１０による撮影映像を表示する装置であり、照合装置２０による顔照合の結果も併せて表示する。すなわち、表示装置３０は、撮像装置１０による撮影映像の表示と共に、その映像中に含まれる人物がデータベースに登録済みか否かも表示する。具体的には、例えば、登録済みの人物の顔部分を枠で囲ったり、または、登録済みの人物の顔部分の近傍に該人物が登録済みか否かを示すアイコンや文字を表示したりする。なお、複数の人物が同時に撮影されている場合には、各々の人物について顔照合の結果が表示される。また、表示装置３０の設定により、顔照合の結果の表示又は非表示を切り替えることができる。
　照合装置２０の機能及び構成について、より具体的に説明する。図１に示すように、照合装置２０は、映像入力部２１Ａ，２１Ｂと、前処理部２２Ａ，２２Ｂと、データ作成部２３Ａ，２３Ｂと、不可逆特徴量データベース２４と、照合処理部２５と、結果出力部２６とを備えている。
　映像入力部２１Ｂには、登録対象となる人物の顔を映した顔画像データ４０が入力される。顔画像データ４０は、有線又は無線のネットワークを介して入力されてもよく、ＵＳＢ（Universal Serial Bus）メモリ等の外部媒体を用いて入力されてもよい。
　前処理部２２Ｂは、映像入力部２１Ｂに入力された顔画像データ４０に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理を行う。顔画像の取得は、例えば、入力された画像に対して顔検知処理を行い、顔として検出された領域部分を切り出すことで行える。顔画像の正規化は、種々の正規化処理を用いて行うことができる。正規化処理としては、例えば、顔の向きを検出して正面方向を向くように調整する顔向き調整処理、後述する幾何学的ハッシュ処理により得られる不可逆特徴量のデータ量を均一化するためのリサイズ処理、ノイズ削減や明るさ調整などの画質改善処理が挙げられる。なお、上述した全ての正規化処理が必須というわけではなく、顔画像の状態や品質に応じて１以上の正規化処理を選択的に実行してもよい。
　データ作成部２３Ｂは、前処理部２２Ｂによる処理結果の画像に基づいて、顔画像データ４０に含まれる人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を算出する不可逆特徴量算出処理を行う。不可逆特徴量算出処理では、前処理部２２Ｂにより正規化された顔画像からエッジを検出し、エッジ及びその座標の情報を幾何学的ハッシュ処理により歯抜け状態にして、不可逆特徴量を算出する。また、本例の不可逆特徴量算出処理では、顔の形状、及び、顔の各パーツ（目、鼻、口など）の形状を取得して、不可逆特徴量を算出するように構成されている。
　具体的には、例えば、以下のような手順で処理が行われる。すなわち、前処理後の顔画像に対してエッジ検出処理を行ってエッジ画像を取得し、エッジ画像をマス目状にブロック化し、顔の形状や顔の各パーツの形状を表すエッジを含むブロックをそれぞれ特定し、各ブロックにエッジ属性（顔形状や顔パーツ形状を識別する情報）をラベル付けし、幾何学的ハッシュ処理により幾つかのブロックを破棄して歯抜け状態にしたものを、不可逆特徴量として用いる。
　ここで、幾何学的ハッシュ処理について詳しく説明する。まず、ハッシュ関数とは、入力されたデータに対して、特定のルールに沿っているがランダムな値であり一見適当に見える値を出力する関数のことである。このハッシュ関数に入力する値が幾何学的であること、つまり、二次元の画像であり模様であるような情報をハッシュ関数処理することを、幾何学的ハッシュ処理という。本発明では、前処理によって得られたエッジ画像である顔画像情報を幾何学的ハッシュ処理に入力する値とする。顔画像情報は幾何学的ハッシュ処理によってある特定のルールに沿っているがランダムな情報となり、顔画像情報がブロック状に配列されている本発明のような場合には、図１や図２に示すような歯抜け状態の情報として出力され、不可逆特徴量のデータが作成される。
　幾何学的ハッシュ処理は、幾何学的な情報（図形としての特徴）を残しつつデータ変換する処理である。なお、パスワード照合で一般に使用されるハッシュ処理を用いることも考えられるが、通常のハッシュ処理では幾何学的な情報が著しく欠落するので、顔照合の用途には使用できない。本システムでは、幾何学的な情報をある程度残しながらデータ変換することが可能な幾何学的ハッシュ処理を用いて、不可逆特徴量を算出するようにしている。
　不可逆特徴量データベース２４は、データ作成部２３Ｂにより算出された不可逆特徴量のデータを記憶する。すなわち、不可逆特徴量データベース２４には、登録対象となる人物の顔画像に基づいて算出された不可逆特徴量が記憶される。ただし、登録対象となる人物の顔画像そのものや、その人物に関する他の個人情報（例えば、名前、性別、生年月日等）及びその識別子など、個人の特定につながる情報は記憶されない。
　映像入力部２１Ａには、撮像装置１０から送信された映像データが入力される。本例では、撮像装置１０で撮影されたリアルタイムの映像データが、有線又は無線のネットワークを介して入力されることを想定している。なお、リアルタイム性が要求されない場合には、事前に撮影された映像データがネットワークを介して入力されてもよいし、ＵＳＢメモリ等の外部媒体を用いて入力されてもよい。
　前処理部２２Ａは、映像入力部２１Ａに入力された映像データに含まれる人物の顔画像を取得し、該顔画像を正規化する前処理を行う。前処理部２２Ａによる処理内容は、前処理部２２Ｂについて説明したものと実質的に同様であるため、説明を省略する。
　データ作成部２３Ａは、前処理部２２Ａによる処理結果の画像に基づいて、撮像装置１０による撮影映像に含まれる人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を算出する不可逆特徴量算出処理を行う。データ作成部２３Ａによる処理内容は、データ作成部２３Ｂについて説明したものと実質的に同様であるため、説明を省略する。
　照合処理部２５は、データ作成部２３Ｂにより算出された不可逆特徴量と不可逆特徴量データベース２４に登録されている不可逆特徴量とを比較して、撮像装置１０による撮影映像に含まれる人物が不可逆特徴量データベース２４に登録済みか否かを判定する顔照合処理を行う。具体的には、例えば、データ作成部２３Ｂにより算出された不可逆特徴量と不可逆特徴量データベース２４に登録されている不可逆特徴量との類似度を算出し、類似度が所定の閾値以上であった場合に登録済みと判定し、そうでない場合に未登録と判定する。
　結果出力部２６は、照合処理部２５による顔照合の結果を表示装置３０に送出する。結果出力部２６が表示装置３０に送信する情報としては、撮像装置１０による撮影映像に含まれる顔画像の位置情報、該顔画像が登録済みか否かを示す情報などが挙げられる。表示装置３０では、これらの情報に基づいて、撮像装置１０による撮影映像の表示に併せて、その映像中に含まれる人物がデータベースに登録済みか否かの表示が行われる。
　なお、映像入力部２１Ａに入力された映像データにおいて複数の人物が撮影されている場合には、撮影映像に含まれる人物毎に、前処理部２２Ａ、データ作成部２３Ａ、照合処理部２５、及び結果出力部２６の各処理が実行される。
　図２を参照して、映像入力部２１Ａに入力されたデータ（撮像装置１０による撮影映像）に基づいて前処理部２２Ａ及びデータ作成部２３Ａにより不可逆特徴量を算出する処理の概略的な流れを説明する。
　まず、前処理部２２Ａが、映像入力部２１Ａに入力された画像データＤ１に含まれる人物の顔画像を取得し（ステップＳ１１）、取得した顔画像に対して各種の正規化処理を施す（ステップＳ１２）。次に、データ作成部２３Ａが、前処理部２２Ａによる処理後の顔画像に基づいて、顔画像の特徴量を不可逆変換する幾何学的ハッシュ処理を行うことで、画像データＤ１に含まれる人物について不可逆特徴量データＤ２を作成する（ステップＳ１３）。
　なお、映像入力部２１Ｂに入力されたデータ（事前登録する顔画像）に基づいて前処理部２２Ｂ及びデータ作成部２３Ｂにより不可逆特徴量を算出する処理は、図２を使用して説明した上記の内容と概略的に同様であるため、説明を省略する。
　以上のように、本例の顔照合システムは、登録済みの人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を記憶する不可逆特徴量データベース２４を有し、照合装置２０が、撮像装置１０による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出し、不可逆特徴量データベース２４に登録されている不可逆特徴量と比較することで、該撮像映像に含まれる人物がデータベースに登録済みか否かの判定を行う構成となっている。
　このように、本例の顔照合システムでは、顔画像の復元が不可能な不可逆特徴量を用いて顔照合を行うので、システム内に個人情報やその識別子を保持する必要がなく、個人情報が流出する心配がない。したがって、プライバシーを考慮した安全性の高いシステムを構築することができ、セキュリティ対策へのコストも最低限に抑えることができる。
　また、本例の顔照合システムは、撮像装置１０による撮像映像を表示すると共に、該撮影映像に含まれる人物がデータベースに登録済みか否かの判定結果を表示する表示装置３０を更に備えた構成となっている。これにより、本システムのユーザは、撮像装置１０による撮影エリア内にいる人物が登録済みか否かを容易に判別することが可能となる。
　また、本例の顔照合システムは、撮像装置１０による撮像映像に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理を行う構成となっている。これにより、そのままでは顔照合に適さない顔画像を顔照合に使用できるようになり、あるいは、顔照合の精度をより高めることが可能となる。
　また、本例の顔照合システムは、前処理により正規化された顔画像におけるエッジ及びその座標の情報を幾何学的ハッシュ処理により歯抜け状態にして、該人物に係る不可逆特徴量を算出する不可逆特徴量算出処理を行う構成となっている。これにより、元の顔画像の復元が不可能でありながら顔照合に使用することが可能な不可逆特徴量を、効率よく生成することができる。
　なお、前処理や照合処理において、ＡＩ（Artificial Intelligence）技術を用いて学習させるようにしてもよい。すなわち、顔照合の精度が高まるように、前処理や照合処理の各パラメータを調整してもよい。これにより、本システムのユーザが手動で各パラメータを調整することなく、顔照合の精度を高めることができる。
　本発明は、撮影された人物がデータベースに登録されているか否かが判断できれば足りるシステムに適用することを想定している。具体的には、例えば、イベント会場などの入口で、許可された人物のみに入場を制限する入場者チェックの用途に使用することができる。また、別の例として、駅や空港などの不特定多数の人物が行動する場所で、特定の人物（例えば、要注意人物）を見つけ出す要注意人物検出の用途に使用することができる。
　以上、本発明について詳細に説明したが、本発明は、ここに記載されたシステムに限定されるものではなく、上記以外のシステムにも広く適用できることは言うまでもない。
　また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
　本発明は、人物の顔画像を照合する顔照合システムに利用することができる。
　１０：撮像装置、　２０：照合装置、　３０：表示装置、　４０：顔画像データ、
　２１Ａ，２１Ｂ：映像入力部、　２２Ａ，２２Ｂ：前処理部、　２３Ａ，２３Ｂ：データ作成部、　２４：不可逆特徴量データベース、　２５：照合処理部、　２６：結果出力部

Claims (4)

  1. 　撮像装置による撮像映像に含まれる人物がデータベースに登録済みか否かを判定する照合装置を備えた顔照合システムにおいて、
    　前記データベースは、登録済みの人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を記憶しており、
    　前記照合装置は、前記撮像装置による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出し、前記データベースに登録されている不可逆特徴量と比較することで、該撮像映像に含まれる人物が前記データベースに登録済みか否かの判定を行うことを特徴とする顔照合システム。
  2. 　請求項１に記載の顔照合システムにおいて、
    　前記撮像装置による撮像映像を表示すると共に、該撮影映像に含まれる人物が前記データベースに登録済みか否かの判定結果を表示する表示装置を更に備えたことを特徴とする顔照合システム。
  3. 　請求項１又は請求項２に記載の顔照合システムにおいて、
    　前記照合装置は、
    　　前記撮像装置による撮像映像に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理と、
    　　前記前処理により正規化された顔画像におけるエッジ及びその座標の情報を幾何学的ハッシュ処理により歯抜け状態にして、該人物に係る不可逆特徴量を算出する不可逆特徴量算出処理と、
    　　前記不可逆特徴量算出処理により算出された不可逆特徴量と前記データベースに登録されている不可逆特徴量とを比較して、該撮像映像に含まれる人物が前記データベースに登録済みか否かを判定する顔照合処理とを有することを特徴とする顔照合システム。
  4. 　請求項３に記載の顔照合システムにおいて、
    　前記不可逆特徴量算出処理は、顔の形状、及び、顔の各パーツの形状を取得する処理を含むことを特徴とする顔照合システム。
PCT/JP2018/024346 2018-06-27 2018-06-27 顔照合システム Ceased WO2020003400A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/024346 WO2020003400A1 (ja) 2018-06-27 2018-06-27 顔照合システム
JP2020526771A JP6960058B2 (ja) 2018-06-27 2018-06-27 顔照合システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024346 WO2020003400A1 (ja) 2018-06-27 2018-06-27 顔照合システム

Publications (1)

Publication Number Publication Date
WO2020003400A1 true WO2020003400A1 (ja) 2020-01-02

Family

ID=68984712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024346 Ceased WO2020003400A1 (ja) 2018-06-27 2018-06-27 顔照合システム

Country Status (2)

Country Link
JP (1) JP6960058B2 (ja)
WO (1) WO2020003400A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022181338A (ja) * 2021-05-26 2022-12-08 Kddi株式会社 擬似データ生成装置、擬似データ生成方法及び擬似データ生成プログラム
WO2026048278A1 (ja) * 2024-08-27 2026-03-05 株式会社日立製作所 情報処理装置、情報処理システム、情報処理方法、及び非一時的記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021603A (ja) * 2015-07-10 2017-01-26 日本電信電話株式会社 正当性確認装置、方法、媒体発行装置、方法、及びプログラム
JP2017097743A (ja) * 2015-11-27 2017-06-01 日本電気株式会社 ポイント管理システム、アカウント生成方法、自動販売機及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021603A (ja) * 2015-07-10 2017-01-26 日本電信電話株式会社 正当性確認装置、方法、媒体発行装置、方法、及びプログラム
JP2017097743A (ja) * 2015-11-27 2017-06-01 日本電気株式会社 ポイント管理システム、アカウント生成方法、自動販売機及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022181338A (ja) * 2021-05-26 2022-12-08 Kddi株式会社 擬似データ生成装置、擬似データ生成方法及び擬似データ生成プログラム
JP7525443B2 (ja) 2021-05-26 2024-07-30 Kddi株式会社 擬似データ生成装置、擬似データ生成方法及び擬似データ生成プログラム
WO2026048278A1 (ja) * 2024-08-27 2026-03-05 株式会社日立製作所 情報処理装置、情報処理システム、情報処理方法、及び非一時的記憶媒体

Also Published As

Publication number Publication date
JP6960058B2 (ja) 2021-11-05
JPWO2020003400A1 (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
US20250260780A1 (en) Liveness Detection for Mobile Devices
CN109766785B (zh) 一种人脸的活体检测方法及装置
WO2020207189A1 (zh) 身份验证方法、装置、存储介质和计算机设备
WO2018079031A1 (ja) 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
CN111626210B (zh) 人员着装检测方法、处理终端、及存储介质
CN105518710B (zh) 视频检测方法、视频检测系统以及计算机程序产品
US11620728B2 (en) Information processing device, information processing system, information processing method, and program
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN108959884B (zh) 人证核验装置和方法
CN112016526B (zh) 场所活动对象的行为监测分析系统、方法、装置和设备
JP7318833B2 (ja) 画像処理デバイス、画像処理方法、およびプログラム
CN114091503A (zh) 人脸图像的校验方法、装置、电子设备及存储介质
JP6028453B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2022522523A (ja) セキュリティーカードを用いたユーザ認証装置及びユーザ認証方法
CN115359539A (zh) 办公场所信息安全检测方法、装置、设备和存储介质
JP6960058B2 (ja) 顔照合システム
KR20240063770A (ko) 딥러닝 기반의 개인정보 추적을 위한 비식별 방법 및 이를 수행하는 시스템
US10783365B2 (en) Image processing device and image processing system
KR20230169517A (ko) 재택근무 대상자 근무 관리 장치 및 방법
JP2010073112A (ja) 顔照合システム
JP2018129750A (ja) 画像監視システム
CN108764033A (zh) 身份验证方法和装置、电子设备、计算机程序和存储介质
JP2012133411A (ja) 顔照合システム、顔照合装置及び顔照合方法
CN113239887A (zh) 活体检测方法及装置、计算机可读存储介质和电子设备
CN117292422B (zh) 面部识别方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18923905

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020526771

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18923905

Country of ref document: EP

Kind code of ref document: A1