WO2015122183A1 - 情報処理装置、情報処理方法及びプログラム記憶媒体 - Google Patents

情報処理装置、情報処理方法及びプログラム記憶媒体 Download PDF

Info

Publication number
WO2015122183A1
WO2015122183A1 PCT/JP2015/000628 JP2015000628W WO2015122183A1 WO 2015122183 A1 WO2015122183 A1 WO 2015122183A1 JP 2015000628 W JP2015000628 W JP 2015000628W WO 2015122183 A1 WO2015122183 A1 WO 2015122183A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
image sequence
color information
face
information processing
Prior art date
Application number
PCT/JP2015/000628
Other languages
English (en)
French (fr)
Inventor
雄介 森下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2015562742A priority Critical patent/JP6544244B2/ja
Publication of WO2015122183A1 publication Critical patent/WO2015122183A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Definitions

  • the present invention relates to face authentication technology.
  • Patent Document 1 discloses a method for performing living body determination by determining the magnitude of facial expression variation such as blinking.
  • Patent Document 2 discloses a method of extracting a plurality of feature points from face images taken from two or more cameras having different angles, and performing biometric determination based on whether or not they are on the same plane.
  • Patent Document 3 discloses a method for determining whether or not impersonation is performed by measuring the distance to a face with three sensors including infrared rays and measuring the flatness.
  • Patent Document 4 exists in the prior art in the field of diagnostic systems, which is different from the present invention in the technical field.
  • Patent Document 4 discloses a technique for measuring a heart rate by extracting a component corresponding to a pulse from a change in RGB color components of a photographed face image using independent component analysis.
  • Patent Documents 1 to 3 cannot detect impersonation performed by wearing a more sophisticated disguise mask.
  • the mask for disguise it is possible to detect the movement of the facial part such as blinking by hollowing out the eyes and mouth part of the mask, so in the method disclosed in Patent Document 1, It cannot be detected that the disguise mask is impersonating.
  • the mask for disguise is three-dimensionally shaped and has unevenness similar to that of a human face, the methods disclosed in Patent Document 2 and Patent Document 3 impersonate the disguise mask. It cannot be detected.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to accurately detect impersonation when a fake face is presented during face authentication in a face authentication system.
  • an information processing apparatus is based on an input unit that inputs a face image sequence for a predetermined time and a temporal change in predetermined color information extracted from the face image sequence. And a determination unit that determines whether or not a face included in the face image sequence is impersonating.
  • the information processing method of the present invention inputs a face image sequence for a predetermined time, and based on temporal changes in predetermined color information extracted from the face image sequence, faces included in the face image sequence are detected. It is determined whether or not it is impersonation.
  • the program storage medium of the present invention is included in the face image sequence based on input processing for inputting a face image sequence for a predetermined time and temporal change of predetermined color information extracted from the face image sequence. And a determination process for determining whether the face to be impersonated is impersonating.
  • the present invention it is possible to accurately detect impersonation when a fake face is presented during face authentication in the face authentication system.
  • FIG. 2 is a block diagram illustrating a configuration example of an impersonation detection device 1.
  • FIG. 4 is a flowchart showing an operation of an impersonation detection process of an impersonation detection device 1. It is explanatory drawing which shows the example of the face image row
  • FIG. 5 is an explanatory diagram illustrating an example of a frequency spectrum obtained by FFT from the color information of FIG. 3 is a block diagram illustrating a configuration example of an impersonation detection device 2.
  • FIG. 4 is a flowchart showing an operation of an impersonation detection process of an impersonation detection device 1. It is explanatory drawing which shows the example of the face image row
  • Impersonation of the face authentication system is performed by presenting a face different from the system user himself / herself on the camera for photographing the face.
  • presenting this different face 1) presenting a photograph of another person's face to the system camera, 2) projecting the image of the other person's face on a display such as a smartphone, and presenting the image to the system camera 3) use of the system
  • the above countermeasure technique cannot detect impersonation such as when wearing a disguise mask.
  • the present invention determines whether or not impersonation is based on information derived from a change in blood flow measured from a face image. Therefore, according to the present invention, impersonation can be detected with high accuracy.
  • FIG. 1 is a block diagram illustrating a configuration example of an impersonation detection device 1 that detects impersonation of a face authentication system.
  • An impersonation detection device 1 illustrated in FIG. 1 includes a data processing device 100.
  • the data processing apparatus 100 includes a face image sequence input unit 110, a color information extraction unit 120, a feature amount calculation unit 130, an impersonation score calculation unit 140, an impersonation determination unit 150, and an output unit 160.
  • the face image sequence input unit 110 has a function of inputting a plurality of time-series face images (hereinafter also referred to as “face image sequence”) from the outside.
  • the face image sequence (a plurality of time-series face images) is a sequence of human face images taken at regular intervals.
  • the image sequence input unit 110 may accept an input of a face image sequence in which only a face portion is cut out from the outside, or only a face portion from each of a plurality of images taken by a general surveillance camera. It may be cut out and a face image sequence may be generated and input.
  • the face image input by the face image sequence input unit 110 may be an RGB image composed of R (red), G (green), and B (blue) color components, and is limited to an RGB image if color information can be extracted. Not. In the following description, it is assumed that the face image sequence input unit 110 inputs an RGB image.
  • the color information extraction unit 120 has a function of extracting predetermined color information from the face image sequence input by the face image sequence input unit 110.
  • the predetermined color information to be extracted may be one or a plurality of R, G, B color components of each face image in the face image sequence, or color components obtained by color space conversion of them. Further, the predetermined color information may be a value obtained by averaging two color components of G and B among RGB color components over the entire face image. The predetermined color information may be a value obtained by simply averaging several color components in the entire face image, or may be a value obtained by weighting each part of the face such as forehead, cheek, nose and the like.
  • a storage unit (not shown) may store the characteristics of the face for each individual. In this case, the color information extraction unit 120 identifies the individual of the input face and refers to the storage unit for each individual. You may use the changed weight.
  • the feature amount calculation unit 130 has a function of calculating a feature amount from the predetermined color information extracted by the color information extraction unit 120.
  • the feature amount calculated by the feature amount calculation unit 130 may be a frequency spectrum of color information.
  • the impersonation score calculation unit 140 has a function of calculating a score that indicates whether impersonation is performed according to a predetermined evaluation function from the feature amount calculated by the feature amount calculation unit 130.
  • the impersonation determination unit 150 has a function of determining whether or not a face included in the face image sequence is impersonating based on temporal changes in predetermined color information extracted from the face image sequence. Specifically, the impersonation determination unit 150 compares the score calculated by the impersonation score calculation unit 140 with a predetermined threshold value, thereby impersonating a face included in the face image sequence input by the face image sequence input unit 110. It is determined whether or not.
  • the output unit 160 outputs the determination result by the impersonation determination unit 150 to the outside.
  • FIG. 2 is a flowchart showing an operation of impersonation detection processing in the face authentication of the impersonation detection device 1.
  • the face image sequence input unit 110 inputs an RGB image of a time-series face from the outside (step S111).
  • the color information extraction unit 120 extracts predetermined color information from the face image sequence input by the face image sequence input unit 110 (step S112).
  • the feature amount calculation unit 130 calculates a feature amount from the color information extracted by the color information extraction unit 120 (step S113).
  • the impersonation score calculation unit 140 calculates a score indicating whether the impersonation is performed according to a predetermined evaluation function from the feature amount calculated by the feature amount calculation unit 130 (step S114).
  • the impersonation determination unit 150 determines whether the face image sequence input by the face image sequence input unit 110 is impersonation by comparing the score calculated by the impersonation score calculation unit with a predetermined threshold. (Step S115).
  • the program according to the first embodiment may be a program that causes a computer to execute the above-described spoofing detection process.
  • the disguise mask material appears on the surface instead of the facial skin, and is photographed as a face image. Therefore, when the disguise mask is attached, the color change of the face image is small and the color change does not appear biased to a specific color component.
  • the present invention is based on a new finding that focusing on time-series color change of a face image makes it possible to accurately determine whether or not a person is a true person.
  • the impersonation detection device As described above, according to the impersonation detection device, the impersonation detection method, and the program recording medium according to the first embodiment of the present invention, even when wearing a disguise mask, it is possible to accurately detect impersonation. Is possible. [Concrete example]
  • FIG. 3 is an explanatory diagram illustrating an example of a face image sequence to be processed by the impersonation detection device 1.
  • the face image sequence input unit 110 inputs a plurality of time-series face images from the outside (step S111).
  • a plurality of time-series face images input by the face image sequence input unit 110 are R (red), G (green), and B (blue) color components photographed at regular intervals. This is a sequence of images in which only the face portion is cut out from each RGB image.
  • the face image sequence input unit 110 may input an image sequence in which only a face portion is cut out in advance.
  • the face image sequence input unit 110 may obtain the position of the face in the image using a known face detection technique and cut out only the face portion in advance according to the obtained face position.
  • the face image sequence input unit 110 may input a time-series image output from a video camera or the like, or a time-series image such as moving image data stored in advance in a HDD (Hard Disk Drive) or the like. You may enter.
  • a time-series image output from a video camera or the like or a time-series image such as moving image data stored in advance in a HDD (Hard Disk Drive) or the like. You may enter.
  • HDD Hard Disk Drive
  • FIG. 3 is an explanatory diagram illustrating an example of a face image sequence to be input by the face image sequence input unit 110.
  • time-series face images are input from 1 to T in time.
  • the color information extraction unit 120 extracts predetermined color information from the face image sequence input by the face image sequence input unit 110 (step S112).
  • the predetermined color information extracted by the color information extraction unit 120 is the R, G, B color components of each face image in the face image sequence, or a color space conversion such as HSV (Hue Saturation ⁇ Value) color space.
  • a color space conversion such as HSV (Hue Saturation ⁇ Value) color space.
  • One or a plurality of color components may be used.
  • the predetermined color information may be a value obtained by averaging two color components of G and B among RGB color components over the entire face image.
  • the face image sequence input by the face image sequence input unit 110 is a face image sequence photographed in an outdoor environment and the change in the luminance value of the face image sequence is unstable, for example, the lighting conditions are not constant.
  • the predetermined color information for example, a value ((B + R) / 2) obtained by adding G and B and R and dividing by 2 instead of G and B described above may be used.
  • a sensor or the like may acquire the environmental information.
  • the color information extraction unit 120 determines a ratio of predetermined color information according to the environmental information. Etc. may be extracted and changed.
  • the color information extraction unit 120 calculates one average value of G and one average value of B for one face image. Therefore, an average value of G and T average values of B are calculated from a face image sequence of length T (T face images).
  • FIG. 4 is an explanatory diagram showing an example of one piece of color information extracted by the color information extraction unit 120.
  • a human face is photographed for a certain period of time, and an average value of color components (here, G) extracted from each face image of the photographed face image sequence is shown.
  • G average value of color components
  • the feature amount calculation unit 130 calculates a feature amount from the color information extracted by the color information extraction unit 120 (step S113).
  • the feature amount calculation unit 130 may use, for example, FFT (Fast Fourier Transform), which is an algorithm for calculating discrete Fourier transform at high speed on a computer, maximum entropy, or the like, for calculation of the frequency spectrum.
  • FFT Fast Fourier Transform
  • FIG. 5 is an explanatory diagram showing an example of a frequency spectrum obtained by the feature amount calculation unit 130 by FFT from the color information of FIG.
  • FIG. 5 it can be confirmed that there is a large peak near 55 on the horizontal axis (frequency) in FIG. This indicates that the color change of the face image due to the change in blood flow occurs at a frequency of about 55 times per minute, that is, the frequency of this change corresponds to a human pulse.
  • the impersonation score calculation unit 140 calculates a score indicating whether impersonation is performed according to a predetermined evaluation function from the feature amount calculated by the feature amount calculation unit 130 (step S114).
  • the calculation of the score indicating impersonation is specifically performed as follows. First, of the color information extracted by the color information extraction unit 120, x i (G) is time series data of the G (green) component and x i (B) is time series data of the B (blue) component. At this time, the feature amount calculation unit 130 calculates the frequency spectrums f j (G) and f j (B) corresponding to the color information as shown in Equation 1 using the function FFT for processing the FFT.
  • i represents time and j represents frequency.
  • the impersonation score calculation unit 140 calculates indexes F G and F B according to Equation 2 from the frequency spectra f j (G) and f j (B) of Equation 1.
  • ⁇ A , ⁇ B , and ⁇ C in Expression 2 indicate spectrum frequency ranges used for calculation of the indices F G and F B.
  • a range from ⁇ A to ⁇ B represents a frequency range corresponding to a human pulse
  • a range from ⁇ B to ⁇ C represents a component other than a pulse, that is, a frequency range corresponding to a noise component.
  • the indices F G and F B represent the ratio of the frequency spectrum corresponding to the pulse and the frequency spectrum corresponding to the noise, respectively.
  • the impersonation score calculation unit 140 finally calculates a score J that represents whether impersonation is performed according to the following Equation 3.
  • the F B -F G of the numerator shows a lower value when the ratio of the frequency spectrum corresponding to the vein of the green component is higher than that of the blue component.
  • the score J takes a value in the range from ⁇ 1 to +1, and indicates that the higher the value of J, the higher the possibility of impersonation.
  • the impersonation determination unit 150 compares the score J calculated by the impersonation score calculation unit 140 with a predetermined threshold value to determine whether the face included in the face image sequence input by the face image sequence input unit 110 is impersonating. Is determined (step S115).
  • the score calculated by the impersonation score calculation unit 140 is low if the face image sequence input by the face image sequence input unit 110 is a true human face, and the disguise mask is worn. If the face is not a true human face, the score is high. Therefore, the score calculated by the impersonation score calculation unit 140 is compared with a predetermined threshold, and if the score is lower than the predetermined threshold, it is determined that the face is a human face, and if the score is higher than the predetermined threshold, the impersonation is determined.
  • the predetermined threshold used in the impersonation determination unit 150 may be changed depending on the application. For example, in applications where it is fatal to miss a person wearing a disguise mask, the threshold value may be set low. On the other hand, in applications where it is a problem that it is determined that a true human being is impersonated by mistake, the threshold value may be set higher.
  • the feature amount calculation unit 130, the impersonation score calculation unit 140, and the impersonation determination unit 150 are parameters relating to predetermined color information, and may determine impersonation based on a feature amount, a score, and a threshold that are different from the above specific example.
  • FIG. 6 is a block diagram showing the configuration of the spoofing detection device 2.
  • the impersonation detection device 2 includes a data processing device 200.
  • Data processing apparatus 200 includes an input unit 210 and a determination unit 220.
  • the input unit 210 inputs a face image sequence for a predetermined time.
  • the determination unit 220 determines whether or not a face included in the face image sequence is impersonating based on a temporal change in predetermined color information extracted from the face image sequence.
  • the program according to the second embodiment may be a program that causes a computer to execute the above operations.
  • the impersonation detection device As described above, according to the impersonation detection device, the impersonation detection method, and the program recording medium according to the second embodiment, it is possible to correctly detect impersonation even when a sophisticated disguise mask is attached. It becomes.
  • Each unit constituting the spoofing detection device of each of the above embodiments includes a control unit, a memory, a program loaded in the memory, a storage unit such as a hard disk for storing the program, a network connection interface, and the like. Realized by any combination of software.
  • the control unit is composed of a CPU (Central Processing Unit) and the like, and operates the operating system to control the entire spoofing detection device. Further, the control unit reads a program and data into a memory from a recording medium mounted on, for example, a drive device, and executes various processes according to the program and data.
  • a CPU Central Processing Unit
  • the control unit reads a program and data into a memory from a recording medium mounted on, for example, a drive device, and executes various processes according to the program and data.
  • the recording medium is, for example, an optical disk, a flexible disk, a magnetic optical disk, an external hard disk, a semiconductor memory, etc., and records a computer program so that it can be read by a computer.
  • the computer program may be downloaded from an external computer (not shown) connected to the communication network.
  • FIG. 6 show functional unit blocks, not hardware unit configurations. These functional blocks are realized by any combination of hardware and software. Further, in these drawings, the components of each embodiment are described as being realized by one physically coupled device, but the realization means is not particularly limited. That is, two or more physically separated devices may be connected by wire or wirelessly, and the system of each embodiment may be realized by the plurality of devices.
  • An information processing apparatus including:
  • the determination unit determines impersonation when the temporal change in the predetermined color information is not based on a person's pulse;
  • the information processing apparatus according to attachment 1.
  • the predetermined color information is color information of a green component and a blue component.
  • the information processing apparatus according to appendix 1 or 2.
  • the predetermined color information is an average value of each of a green component and a blue component of the entire face image for each face image in the face image sequence.
  • the predetermined color information is a weighted average value of each of a green component and a blue component of the entire face image, weighted for each part of the face included in each face image of the face image sequence.
  • Appendix 6 A color extraction unit that extracts predetermined color information from the face image sequence input by the input unit; A feature amount calculation unit for respectively calculating a feature amount corresponding to the predetermined color information; A score calculation unit that calculates a score indicating whether impersonation is performed according to a predetermined evaluation function from the feature amount; Further including The determination unit determines whether or not a face included in the input face image sequence is impersonating by comparing the score with a predetermined threshold. 6.
  • the information processing apparatus according to any one of appendices 1 to 5.
  • the feature amount calculation unit calculates a frequency spectrum corresponding to the predetermined color information as a feature amount;
  • the information processing apparatus according to appendix 6.
  • the score calculation unit calculates, from the frequency spectrum, the ratio of the sum of the spectrum intensities in the first frequency section and the sum of the spectrum intensities in the second frequency section, respectively, from the two color information of the green component and the blue component By comparing each calculated ratio value, a score representing impersonation is calculated,
  • the information processing apparatus according to appendix 7.
  • the predetermined color information is color information of a green component and a blue component.
  • the predetermined color information is an average value of each of a green component and a blue component of the entire face image for each face image in the face image sequence.
  • the predetermined color information is a weighted average value of each of a green component and a blue component of the entire face image, weighted for each part of the face included in each face image of the face image sequence.
  • Appendix 14 Extracting predetermined color information from the inputted face image sequence, Calculating a feature amount corresponding to the predetermined color information, A score indicating whether impersonation is performed according to a predetermined evaluation function is calculated from the feature amount, and the determination is performed by comparing the score with a predetermined threshold value so that a face included in the input face image sequence is This is done by determining whether or not impersonation, 14.
  • the information processing method according to any one of appendices 9 to 13.
  • the score is calculated from the frequency spectrum by calculating the ratio of the sum of the spectrum intensities in the first frequency section and the sum of the spectrum intensities in the second frequency section, respectively, and using the two color information of the green component and the blue component. It is done by comparing each calculated ratio value, The information processing method according to attachment 15.
  • Appendix 17 An input process for inputting a face image sequence for a predetermined time; A determination process for determining whether or not a face included in the face image sequence is impersonating based on a temporal change in predetermined color information extracted from the face image sequence; Medium for storing a program for causing a computer to execute the program.
  • the determination process is a process of determining impersonation when a temporal change in the predetermined color information is not based on a person's pulse.
  • the predetermined color information is color information of a green component and a blue component.
  • the predetermined color information is an average value of each of a green component and a blue component of the entire face image for each face image in the face image sequence.
  • the predetermined color information is a weighted average value of each of the green component and the blue component of the entire face image, weighted for each processing position of the face included in each face image of the face image sequence.
  • Appendix 22 A color extraction process for extracting predetermined color information from the face image sequence input by the input process; A feature amount calculation process for respectively calculating a feature amount corresponding to the predetermined color information; From the feature amount, a score calculation process for calculating a score indicating whether impersonation is performed according to a predetermined evaluation function; Further including The determination process is a process of determining whether or not a face included in the input face image sequence is impersonating by comparing the score with a predetermined threshold.
  • the feature amount calculation process is a process of calculating a frequency spectrum corresponding to the predetermined color information as a feature amount.
  • the score calculation process calculates the ratio of the sum of the spectrum intensities in the first frequency section and the sum of the spectrum intensities in the second frequency section from the frequency spectrum, respectively, and uses the two color information of the green component and the blue component. It is a process of calculating a score that represents impersonation by comparing each calculated ratio value, A recording medium for storing the program according to attachment 23.
  • the present invention has been described above using the above-described embodiment as an exemplary example. However, the present invention is not limited to the above-described embodiment. That is, the present invention can apply various modes that can be understood by those skilled in the art within the scope of the present invention. This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2014-024655 for which it applied on February 12, 2014, and takes in those the indications of all here.
  • the information processing apparatus, information processing method, and program recording medium according to the present invention can be widely used for the purpose of improving the security level of a system using face authentication.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　顔認証システムにおける顔認証の際に、偽物の顔が提示された場合のなりすましを精度良く検知する。 [解決手段]　本発明の情報処理装置は、所定の時間の顔画像列を入力する入力部と、顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する判定部と、を含む。

Description

情報処理装置、情報処理方法及びプログラム記憶媒体
　本発明は、顔認証技術に関する。
　顔認証を用いたセキュリティシステムに関し、他人のフリをして不正にシステムを利用する「なりすまし」行為を検知する技術が広く知られている。
　例えば、特許文献１は、まばたき等の表情の変動の大きさを判定することにより生体判定を行う方法を開示する。
　特許文献２は、角度の異なる二つ以上のカメラから撮影した顔画像から、それぞれ複数の特徴点を抽出し、それらが同一平面上にあるか否かで生体判定を行う方法を開示する。
　特許文献３は、赤外線を含む三つのセンサで顔までの距離を測定し平面性を測定することで、なりすましであるか否かを判定する方法を開示する。
　なお、本発明と技術分野が異なる、診断系分野の先行技術に、特許文献４が存在する。
特許文献４は、撮影された顔画像のＲＧＢの色成分の変化から独立成分分析を用いて脈拍に相当する成分を抽出することで、心拍数を計測する技術を開示する。
特開２００８－０９０４５２号公報 特許第５０３５４６７号公報 特許第４７３４９８０号公報 特開２０１２－２３９６６１号公報
　しかし、特許文献１～３に記載の技術では、より精巧な変装用マスクを装着して行うなりすましを検知することができない。
　具体的には、例えば、変装用マスクではマスクの目や口の部分をくりぬくことにより、まばたき等顔部位の動きを検知させることが可能であるため、特許文献１に開示されている方法では、変装用マスクをなりすましであると検知することはできない。
　また、変装用マスクは立体的に造形されているものであり人間の顔と同様の凹凸があるため、特許文献２や特許文献３に開示されている方法では、変装用マスクをなりすましであると検知することはできない。
　本発明は、上記の課題を解決するためになされたものであり、顔認証システムにおける顔認証の際に、偽物の顔が提示された場合のなりすましを精度良く検知することを目的とする。
　上記課題を解決するため、本発明の情報処理装置は、所定の時間の顔画像列を入力する入力部と、顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する判定部と、を含む。
　また、本発明の情報処理方法は、所定の時間の顔画像列を入力し、顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する。
　また、本発明のプログラム記憶媒体は、所定の時間の顔画像列を入力する入力処理と、顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する判定処理と、をコンピュータに実行させる。
　本発明によれば、顔認証システムにおける顔認証の際に、偽物の顔が提示された場合のなりすましを精度良く検知することが可能となる。
なりすまし検知装置１の構成例を示すブロック図である。 なりすまし検知装置１のなりすまし検知処理の動作を示すフローチャートである。 なりすまし検知装置１が処理の対象にする顔画像列の例を示す説明図である。 なりすまし検知装置１の色情報抽出手段１２０が抽出する色情報の例を示す説明図である。 なりすまし検知装置１の特徴量計算手段１３０が図４の色情報からＦＦＴにより求めた周波数スペクトルの例を示す説明図である。 なりすまし検知装置２の構成例を示すブロック図である。
　まず、本発明の理解を容易にするために、本発明の背景と概要を説明する。
　顔認証システムに対するなりすましは、顔撮影用のカメラに、システム利用者本人とは異なる顔を提示することにより行われる。この異なる顔を提示する方法としては、１）他人の顔写真をシステムのカメラに提示する、２）スマートフォン等のディスプレイに他人の顔の映像を映し、システムのカメラに提示する、３）システム利用者の顔に変装用のマスク（他人の顔）を貼りつけ、システムのカメラに提示する、等の方法が存在する。
　なりすまし行為に対しては、上述の特許文献１～３のように様々な対策技術が提案されている。具体的には、対策技術として、顔や顔部位の動きに着目し、動きが確認されなければなりすましと判定する方法（顔写真の提示に対するなりすまし対策）、二つ以上のカメラで顔画像を撮影し、立体物でなければなりすましと判定する方法（顔写真、スマートフォン等のディスプレイの提示に対するなりすまし対策）、近赤外カメラ等の可視光以外の情報を用いてなりすましと判定する方法（顔写真、ディスプレイ等の提示に対するなりすまし対策）、等が提案されている。
　しかしながら、上記の対策技術では、変装用マスクを装着した場合等のなりすましを検知することができない。本発明は、顔画像から測定される血流の変化等に由来する情報に基づき、なりすましか否かを判定する。そのため、本発明によれば、精度良くなりすましを検知することができる。
　＜第１実施形態＞
　以下、本発明の第１実施形態を、図面を参照して説明する。図１は、顔認証システムに対するなりすましを検知するなりすまし検知装置１の構成例を示すブロック図である。図１に示すなりすまし検知装置１は、データ処理装置１００を含む。
　データ処理装置１００は、顔画像列入力部１１０と、色情報抽出部１２０と、特徴量計算部１３０と、なりすましスコア算出部１４０と、なりすまし判定部１５０と、出力部１６０とを有する。
　顔画像列入力部１１０は、外部から時系列の複数枚の顔画像（以下「顔画像列」ともいう。）を入力する機能を有する。顔画像列（時系列の複数枚の顔画像）は、一定時間ごとに撮影された人間の顔の画像の列である。画像列入力部１１０は、外部から予め顔の部分だけが切り出された顔画像列の入力を受け付けても良いし、一般的な監視カメラが撮影した複数枚の画像から、それぞれ顔の部分だけを切り出し、顔画像列を生成して入力しても良い。顔画像列入力部１１０が入力する顔の画像は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色成分からなるＲＧＢ画像でも良く、色情報が抽出可能であればＲＧＢ画像に限定されない。以下では、顔画像列入力部１１０はＲＧＢ画像を入力するものとして説明する。
　色情報抽出部１２０は、顔画像列入力部１１０によって入力された顔画像列から、所定の色情報を抽出する機能を有する。抽出する所定の色情報とは、顔画像列のそれぞれの顔画像のＲ、Ｇ、Ｂの色成分、又はそれらを色空間変換した色成分のうちの一つ若しくは複数でも良い。また、所定の色情報は、ＲＧＢの色成分のうちＧとＢの二つの色成分をそれぞれ顔画像全体で平均化した値でも良い。所定の色情報は、いくつかの色成分を顔画像全体で単純平均した値でも良く、又は、例えばおでこ、ほほ、鼻等の顔の部位毎に重み付けをして平均化した値でも良い。図示しない記憶部が個人毎の顔の特性を記憶していても良く、その場合、色情報抽出部１２０は、入力された顔の個人を特定して、記憶部を参照の上、個人毎に変更した重みを使用しても良い。
　特徴量計算部１３０は、色情報抽出部１２０が抽出した所定の色情報から、特徴量を計算する機能を有する。特徴量計算部１３０が計算する特徴量は、色情報の周波数スペクトルでも良い。
　なりすましスコア算出部１４０は、特徴量計算部１３０が算出した特徴量から、所定の評価関数に従ってなりすましであるかを表すスコアを算出する機能を有する。
　なりすまし判定部１５０は、顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する機能を有する。
具体的には、なりすまし判定部１５０は、なりすましスコア算出部１４０が算出したスコアと所定の閾値とを比較することで、顔画像列入力部１１０によって入力された顔画像列に含まれる顔がなりすましであるか否かを判定する。
　出力部１６０は、なりすまし判定部１５０による判定結果を外部に出力する。
　以下、本実施形態のなりすまし検知処理の動作を図２のフローチャートを参照して説明する。図２は、なりすまし検知装置１の顔認証におけるなりすまし検知処理の動作を示すフローチャートである。
　顔画像列入力部１１０は、外部から時系列の顔のＲＧＢ画像を入力する（ステップＳ１１１）。
　次いで、色情報抽出部１２０は、顔画像列入力部１１０によって入力された顔画像列から、所定の色情報を抽出する（ステップＳ１１２）。
　次いで、特徴量計算部１３０は、色情報抽出部１２０が抽出した色情報から、特徴量を計算する（ステップＳ１１３）。
　次いで、なりすましスコア算出部１４０は、特徴量計算部１３０が算出した特徴量から、所定の評価関数に従ってなりすましであるかを表すスコアを算出する（ステップＳ１１４）。
　次いで、なりすまし判定部１５０は、なりすましスコア算出部が算出したスコアと所定の閾値とを比較することで、顔画像列入力部１１０によって入力された顔画像列がなりすましであるか否かを判定する（ステップＳ１１５）。
　第１実施形態に係るプログラムは、上記のなりすまし検知処理をコンピュータに実行させるプログラムであれば良い。
　顔認証システムにおいて、真の人間が撮影されていれば、顔画像中に、特定の色成分に偏った時系列的な色変化が表れる。しかしながら、なりすましを目的として顔を変装用マスクで覆った場合、顔の皮膚ではなく変装用マスクの素材が表面に現れ、顔画像として撮影される。そのため、変装用マスクを装着している場合には、顔画像の色変化は小さくかつその色変化は特定の色成分に偏って表れることはない。本発明は、顔画像の時系列的な色変化に着目することが、真の人間であるか否かを精度良く判定可能にするという新たな知見に基づくものである。
　以上説明したように、本発明の第１実施形態に係るなりすまし検知装置、なりすまし検知方法及びプログラム記録媒体によれば、変装用マスクを装着した場合においても、なりすましであることを精度良く検知することが可能となる。
[具体例]
　以下、第１実施形態の動作を、具体例を用いて説明する。本具体例においては、なりすまし検知装置１に図３に示す顔画像が入力される場合を例に説明する。図３は、なりすまし検知装置１が処理の対象にする顔画像列の例を示す説明図である。
　顔画像列入力部１１０は、外部から時系列の複数枚の顔画像を入力する（ステップＳ１１１）。
　本具体例において、顔画像列入力部１１０が入力する時系列の複数枚の顔画像とは、一定時間ごとに撮影されたＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分からなるＲＧＢ画像から、それぞれ顔の部分だけが切り出された画像の列である。顔画像列入力部１１０は、予め顔の部分だけが切り出された画像列を入力しても良い。または、顔画像列入力部１１０は、公知の顔検出技術を用いて画像中の顔の位置を求め、求めた顔の位置に従って予め顔の部分だけを切り出しても良い。また、顔画像列入力部１１０は、ビデオカメラ等から出力される時系列の画像を入力しても良いし、ＨＤＤ（Hard Disk Drive）等に予め保存された動画データ等の時系列の画像を入力しても良い。
　図３は、顔画像列入力部１１０が入力の対象にする顔画像列の例を示す説明図である。
図３に示す例では、時系列の顔画像が、時間が１からＴに亘って入力されている。
　色情報抽出部１２０は、顔画像列入力部１１０によって入力された顔画像列から、所定の色情報を抽出する（ステップＳ１１２）。
　色情報抽出部１２０が抽出する所定の色情報とは、顔画像列のそれぞれの顔画像のＲ、Ｇ、Ｂの色成分、又はそれらをＨＳＶ（Hue Saturation Value）色空間等の色空間変換した色成分のうちの一つ若しくは複数でも良い。又は、所定の色情報は、ＲＧＢの色成分のうちＧとＢの二つの色成分をそれぞれ顔画像全体で平均化した値でも良い。
　さらに、顔画像列入力部１１０によって入力された顔画像列が、屋外環境で撮影された顔画像列であり照明条件が一定しない等、顔画像列の輝度値の変化が不安定である場合は、所定の色情報として、例えば、前述のＧとＢの代わりに、Ｇと、ＢおよびＲを加算して２で割った値（（Ｂ＋Ｒ）／２）を用いても良い。
　照明条件が一定しない等、環境条件が変動する場合、図示しないセンサ等が環境情報を取得しても良く、その場合、色情報抽出部１２０は、当該環境情報に応じて所定の色情報の割合等を変更して抽出しても良い。
　以下では、色情報抽出部１２０が抽出する所定の色情報として、ＲＧＢの色成分のうちＧとＢの二つの色成分をそれぞれ顔画像全体で単純平均した値を用いる場合について記載する。つまり、色情報抽出部１２０では、一つの顔画像についてＧの平均値が一つとＢの平均値が一つ計算される。よって、長さＴの顔画像列（Ｔ枚の顔画像）からは、Ｇの平均値がＴ個、Ｂの平均値がＴ個計算される。
　なお本具体例では、前述のように、所定の色情報としてＲＧＢの色成分のうちＧとＢの二つの色成分をそれぞれ顔画像全体で平均化した値を用いる場合について記載するが、本発明の範囲は以下に記載される内容に限定されない。
　図４は、色情報抽出部１２０が抽出する一つの色情報の例を示す説明図である。図４の例では、人間の顔をある一定時間撮影し、撮影した顔画像列のそれぞれの顔画像から抽出した色成分（ここではＧ）の平均値を示す。本例では、図４に示すように、顔画像列から抽出した色情報が、時間的に変化することが確認できる。
　特徴量計算部１３０は、色情報抽出部１２０が抽出した色情報から、特徴量を計算する（ステップＳ１１３）。
　以下では、色情報抽出部１２０が抽出した色情報から周波数スペクトルを計算して、これを特徴量とする場合について記載するが、本発明の範囲は以下に記載される内容に限定されない。
　特徴量計算部１３０は、周波数スペクトルの計算に、例えば、離散フーリエ変換を計算機上で高速に計算するアルゴリズムであるＦＦＴ（高速フーリエ変換）や、最大エントロピー等を用いても良い。
　図５は、特徴量計算部１３０が図４の色情報からＦＦＴにより求めた周波数スペクトルの例を示す説明図である。図５に示す例では、図５の横軸（周波数）の５５付近に大きなピークがあることが確認できる。これは、血流の変化に起因する顔画像の色変化が一分間におよそ５５回の頻度で起きていることを示しており、つまり、この変化の頻度が人間の脈拍に相当する。
　なりすましスコア算出部１４０は、特徴量計算部１３０が算出した特徴量から、所定の評価関数に従ってなりすましであるかを表すスコアを算出する（ステップＳ１１４）。
　なりすましであるかを表すスコアの算出は、具体的には以下に従って行う。まず、色情報抽出部１２０が抽出する色情報のうち、ｘｉ （Ｇ）をＧ（緑）成分の時系列データ、ｘｉ （Ｂ）をＢ（青）成分の時系列データとする。このとき、特徴量計算部１３０は、色情報に対応する周波数スペクトルｆｊ （Ｇ）、ｆｊ （Ｂ）を、ＦＦＴを処理する関数ＦＦＴを用いて、数式１のように計算する。ここで、iは時間を、jは周波数を表す。
（数１）
Figure JPOXMLDOC01-appb-I000001
　次に、なりすましスコア算出部１４０は、数式１の周波数スペクトルｆｊ （Ｇ）、ｆｊ （Ｂ）から、数式２に従って指標ＦＧ、ＦＢを算出する。なお、数式２のνＡ、νＢ、νＣは、指標ＦＧ、ＦＢの計算に使用するスペクトルの周波数範囲を示している。νＡからνＢの範囲は、人の脈拍に相当する周波数の範囲、νＢからνＣの範囲は、脈拍以外の成分、つまりノイズ成分に相当する周波数の範囲を示す。指標ＦＧ、ＦＢはそれぞれ、脈拍に相当する周波数スペクトルとノイズに相当する周波数スペクトルの比を表す。
（数２）
Figure JPOXMLDOC01-appb-I000002
　なりすましスコア算出部１４０は、最終的に、以下の数式３に従ってなりすましであるかを表すスコアＪを算出する。分子のＦＢ－ＦＧは、青成分に比べて、緑成分の脈伯に相当する周波数スペクトルの比率が高い場合、低い値となることを示す。ＦＢ＋ＦＧで除算することで、スコアＪは、－１から＋１までの範囲の値を取り、Ｊの値が大きければなりすましである可能性が高いことを示す。
（数３）
Figure JPOXMLDOC01-appb-I000003
　なりすまし判定部１５０は、なりすましスコア算出部１４０が算出したスコアＪと所定の閾値とを比較することで、顔画像列入力部１１０によって入力された顔画像列に含まれる顔がなりすましであるか否かを判定する（ステップＳ１１５）。
　上記の具体例において、なりすましスコア算出部１４０で算出するスコアは、顔画像列入力部１１０で入力した顔画像列が、真の人間の顔であればそのスコアは低く、変装用マスクを装着している等の真の人間の顔でなければそのスコアが高くなるように設計されている。そのため、なりすましスコア算出部１４０で算出するスコアと所定の閾値とを比較し、スコアが所定の閾値より低ければ人間の顔、スコアが所定の閾値よりも高ければなりすましであると判定する。
　なりすまし判定部１５０で用いられる所定の閾値は、用途によって変化させても良い。
例えば、変装用マスクを装着した人物を取り逃すことが致命的である用途では、閾値を低めに設定すると良い。反対に、真の人間が誤ってなりすましであると判定されることが問題である用途では、閾値を高めに設定すると良い。
　なお、上述したなりすましスコアの算出方法はあくまで一例であり、上記の方法に限定されない。特徴量計算部１３０、なりすましスコア算出部１４０及びなりすまし判定部１５０は、所定の色情報に関するパラメータであって、上記の具体例とは異なる特徴量、スコア及び閾値によってなりすましを判定しても良い。
　＜第２実施形態＞
　次に図６を参照して、本発明の第２実施形態に係るなりすまし検知装置２の機能構成を説明する。
　図６は、なりすまし検知装置２の構成を示すブロック図である。図６に示すように、なりすまし検知装置２は、データ処理装置２００を含む。データ処理装置２００は、入力部２１０と判定部２２０とを含む。
　入力部２１０は、所定の時間の顔画像列を入力する。
　判定部２２０は、顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する。
　第２実施形態に係るプログラムは、上記各動作をコンピュータに実行させるプログラムであれば良い。
　以上説明したように、第２実施形態に係るなりすまし検知装置、なりすまし検知方法及びプログラム記録媒体によれば、精巧な変装用マスクを装着した場合においても、なりすましであることを正しく検知することが可能となる。
　なお、上述の各実施形態のなりすまし検知装置を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェース等からなり、ハードウェアとソフトウェアの任意の組合せによって実現される。
　制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等からなり、オペレーティングシステムを動作させてなりすまし検知装置の全体を制御する。また、制御部は、例えばドライブ装置等に装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
　記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
　また、図１及び図６は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されているが、その実現手段は特に限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現しても良い。
　以上、各実施形態及び具体例を参照して本発明を説明したが、本発明は以上の実施形態及び具体例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
　＜実施形態の他の表現＞
　上記の各実施形態においては、以下に示すような情報処理装置、情報処理方法及びプログラム記録媒体の特徴的構成が示されている（以下のように限定されるわけではない）。
　（付記１）
　所定の時間の顔画像列を入力する入力部と、
　前記顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する判定部と、
　を含む情報処理装置。
　（付記２）
　前記判定部は、前記所定の色情報の時間的な変化が、人の脈拍に基づくものではない場合、なりすましであると判定する、
　付記１に記載の情報処理装置。
　（付記３）
　前記所定の色情報は、緑色成分と青色成分の色情報である、
　付記１又は２に記載の情報処理装置。
　（付記４）
　前記所定の色情報は、前記顔画像列のそれぞれの顔画像毎の顔画像全体の緑色成分と青色成分のそれぞれの平均値である、
　付記３に記載の情報処理装置。
　（付記５）
　前記所定の色情報は、前記顔画像列のそれぞれの顔画像に含まれる顔の部位毎に重みを付けた、顔画像全体の緑色成分と青色成分のそれぞれの重み付け平均値である、
　付記３に記載の情報処理装置。
　（付記６）
　前記入力部によって入力された前記顔画像列から、所定の色情報を抽出する色抽出部と、
　前記所定の色情報に対応する特徴量をそれぞれ計算する特徴量計算部と、
　前記特徴量から、所定の評価関数に従ってなりすましであるかを表すスコアを算出するスコア算出部と、
をさらに含み、
　前記判定部は、前記スコアと所定の閾値とを比較することで、入力された前記顔画像列に含まれる顔がなりすましであるか否かを判定する、
　付記１～５のいずれか１項に記載の情報処理装置。
　（付記７）
　前記特徴量計算部は、前記所定の色情報に対応する周波数スペクトルを特徴量として計算する、
　付記６に記載の情報処理装置。
　（付記８）
　前記スコア算出部は、前記周波数スペクトルから、第１の周波数区間のスペクトル強度の総和と第２の周波数区間のスペクトル強度の総和の比をそれぞれ計算し、緑色成分と青色成分の二つの色情報からそれぞれ算出された比の値を比較することで、なりすましであるかを表すスコアを算出する、
　付記７に記載の情報処理装置。
　（付記９）
　所定の時間の顔画像列を入力し、
　前記顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する、
　情報処理方法。
　（付記１０）
　前記所定の色情報の時間的な変化が、人の脈拍に基づくものではない場合、なりすましであると判定する、
　付記９に記載の情報処理方法。
　（付記１１）
　前記所定の色情報は、緑色成分と青色成分の色情報である、
　付記９又は１０に記載の情報処理方法。
　（付記１２）
　前記所定の色情報は、前記顔画像列のそれぞれの顔画像毎の顔画像全体の緑色成分と青色成分のそれぞれの平均値である、
　付記１１に記載の情報処理方法。
　（付記１３）
　前記所定の色情報は、前記顔画像列のそれぞれの顔画像に含まれる顔の部位毎に重みを付けた、顔画像全体の緑色成分と青色成分のそれぞれの重み付け平均値である、
　付記１１に記載の情報処理方法。
　（付記１４）
　前記入力された前記顔画像列から、所定の色情報を抽出し、
　前記所定の色情報に対応する特徴量をそれぞれ計算し、
　前記特徴量から、所定の評価関数に従ってなりすましであるかを表すスコアを算出し、　前記判定は、前記スコアと所定の閾値とを比較することで、入力された前記顔画像列に含まれる顔がなりすましであるか否かを判定することで行われる、
　付記９～１３のいずれか１項に記載の情報処理方法。
　（付記１５）
　前記特徴量の計算は、前記所定の色情報に対応する周波数スペクトルを特徴量として行われる、
　付記１４に記載の情報処理方法。
　（付記１６）
　前記スコアの算出は、前記周波数スペクトルから、第１の周波数区間のスペクトル強度の総和と第２の周波数区間のスペクトル強度の総和の比をそれぞれ計算し、緑色成分と青色成分の二つの色情報からそれぞれ算出された比の値を比較することで行われる、
　付記１５に記載の情報処理方法。
　（付記１７）
　所定の時間の顔画像列を入力する入力処理と、
　前記顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する判定処理と、
　をコンピュータに実行させるプログラムを記憶する記録媒体。
　（付記１８）
　前記判定処理は、前記所定の色情報の時間的な変化が、人の脈拍に基づくものではない場合、なりすましであると判定する処理である、
　付記１７に記載のプログラムを記憶する記録媒体。
　（付記１９）
　前記所定の色情報は、緑色成分と青色成分の色情報である、
　付記１７又は１８に記載のプログラムを記憶する記録媒体。
　（付記２０）
　前記所定の色情報は、前記顔画像列のそれぞれの顔画像毎の顔画像全体の緑色成分と青色成分のそれぞれの平均値である、
　付記１９に記載のプログラムを記憶する記録媒体。
　（付記２１）
　前記所定の色情報は、前記顔画像列のそれぞれの顔画像に含まれる顔の処理位毎に重みを付けた、顔画像全体の緑色成分と青色成分のそれぞれの重み付け平均値である、
　付記１９に記載のプログラムを記憶する記録媒体。
　（付記２２）
　前記入力処理によって入力された前記顔画像列から、所定の色情報を抽出する色抽出処理と、
　前記所定の色情報に対応する特徴量をそれぞれ計算する特徴量計算処理と、
　前記特徴量から、所定の評価関数に従ってなりすましであるかを表すスコアを算出するスコア算出処理と、
をさらに含み、
　前記判定処理は、前記スコアと所定の閾値とを比較することで、入力された前記顔画像列に含まれる顔がなりすましであるか否かを判定する処理である、
　付記１７～２１のいずれか１項に記載のプログラムを記憶する記録媒体。
　（付記２３）
　前記特徴量計算処理は、前記所定の色情報に対応する周波数スペクトルを特徴量として計算する処理である、
　付記２２に記載のプログラムを記憶する記録媒体。
　（付記２４）
　前記スコア算出処理は、前記周波数スペクトルから、第１の周波数区間のスペクトル強度の総和と第２の周波数区間のスペクトル強度の総和の比をそれぞれ計算し、緑色成分と青色成分の二つの色情報からそれぞれ算出された比の値を比較することで、なりすましであるかを表すスコアを算出する処理である、
　付記２３に記載のプログラムを記憶する記録媒体。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１４年２月１２日に出願された日本出願特願２０１４－０２４６５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明に係る情報処理装置、情報処理方法、及びプログラム記録媒体は、顔認証を用いたシステムのセキュリティレベルを向上する目的に広く利用可能である。
　１、２　なりすまし検知装置
　１００、２００　データ処理装置
　１１０　顔画像列入力部
　１２０　色情報抽出部
　１３０　特徴量計算部
　１４０　なりすましスコア算出部
　１５０　なりすまし判定部
　２１０　入力部
　２２０　判定部

Claims (10)

  1. 　所定の時間の顔画像列を入力する入力手段と、
    　前記顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する判定手段と、
    　を含む情報処理装置。
  2. 　前記判定手段は、前記所定の色情報の時間的な変化が、人の脈拍に基づくものではない場合、なりすましであると判定する、
    　請求項１に記載の情報処理装置。
  3. 　前記所定の色情報は、緑色成分と青色成分の色情報である、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記所定の色情報は、前記顔画像列のそれぞれの顔画像毎の顔画像全体の緑色成分と青色成分のそれぞれの平均値である、
    　請求項３に記載の情報処理装置。
  5. 　前記所定の色情報は、前記顔画像列のそれぞれの顔画像に含まれる顔の部位毎に重みを付けた、顔画像全体の緑色成分と青色成分のそれぞれの重み付け平均値である、
    　請求項３に記載の情報処理装置。
  6. 　前記入力手段によって入力された前記顔画像列から、所定の色情報を抽出する色抽出手段と、
    　前記所定の色情報に対応する特徴量をそれぞれ計算する特徴量計算手段と、
    　前記特徴量から、所定の評価関数に従ってなりすましであるかを表すスコアを算出するスコア算出手段と、
    をさらに含み、
    　前記判定手段は、前記スコアと所定の閾値とを比較することで、入力された前記顔画像列に含まれる顔がなりすましであるか否かを判定する、
    　請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　前記特徴量計算手段は、前記所定の色情報に対応する周波数スペクトルを特徴量として計算する、
    　請求項６に記載の情報処理装置。
  8. 　前記スコア算出手段は、前記周波数スペクトルから、第１の周波数区間のスペクトル強度の総和と第２の周波数区間のスペクトル強度の総和の比をそれぞれ計算し、緑色成分と青色成分の二つの色情報からそれぞれ算出された比の値を比較することで、なりすましであるかを表すスコアを算出する、
    　請求項７に記載の情報処理装置。
  9. 　所定の時間の顔画像列を入力し、
    　前記顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する、
    　情報処理方法。
  10. 　所定の時間の顔画像列を入力する入力処理と、
    　前記顔画像列から抽出された所定の色情報の時間的な変化に基づいて、当該顔画像列に含まれる顔がなりすましであるか否かを判定する判定処理と、
    　をコンピュータに実行させるプログラムを記憶する記録媒体。
PCT/JP2015/000628 2014-02-12 2015-02-12 情報処理装置、情報処理方法及びプログラム記憶媒体 WO2015122183A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015562742A JP6544244B2 (ja) 2014-02-12 2015-02-12 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014024655 2014-02-12
JP2014-024655 2014-02-12

Publications (1)

Publication Number Publication Date
WO2015122183A1 true WO2015122183A1 (ja) 2015-08-20

Family

ID=53775198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000628 WO2015122183A1 (ja) 2014-02-12 2015-02-12 情報処理装置、情報処理方法及びプログラム記憶媒体

Country Status (3)

Country Link
US (1) US9875393B2 (ja)
JP (3) JP6544244B2 (ja)
WO (1) WO2015122183A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021174529A (ja) * 2020-04-17 2021-11-01 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 生体を検知するための方法及び装置
JP2022553768A (ja) * 2020-06-10 2022-12-26 上▲海▼商▲湯▼智能科技有限公司 顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム
WO2023248806A1 (ja) * 2022-06-20 2023-12-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、記録媒体
JP7490141B2 (ja) 2021-01-28 2024-05-24 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6428066B2 (ja) * 2014-09-05 2018-11-28 オムロン株式会社 採点装置及び採点方法
US9928603B2 (en) * 2014-12-31 2018-03-27 Morphotrust Usa, Llc Detecting facial liveliness
US9934443B2 (en) * 2015-03-31 2018-04-03 Daon Holdings Limited Methods and systems for detecting head motion during an authentication transaction
US10049287B2 (en) * 2015-05-22 2018-08-14 Oath Inc. Computerized system and method for determining authenticity of users via facial recognition
KR20190040962A (ko) * 2016-07-05 2019-04-19 예청 우 라이브 이미지 캡처 중 스푸핑 공격 검출
CN108596141B (zh) * 2018-05-08 2022-05-17 深圳大学 一种深度网络生成人脸图像的检测方法及系统
US11481615B1 (en) * 2018-07-16 2022-10-25 Xilinx, Inc. Anti-spoofing of neural networks
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN110298312B (zh) * 2019-06-28 2022-03-18 北京旷视科技有限公司 活体检测方法、装置、电子设备及计算机可读存储介质
CN110969077A (zh) * 2019-09-16 2020-04-07 成都恒道智融信息技术有限公司 一种基于颜色变化的活体检测方法
JP7415796B2 (ja) 2020-05-25 2024-01-17 オムロン株式会社 生体判定装置および生体判定方法
CN111881884B (zh) * 2020-08-11 2021-05-28 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN112116525B (zh) * 2020-09-24 2023-08-04 百度在线网络技术（北京）有限公司 换脸识别方法、装置、设备和计算机可读存储介质
EP4261773A1 (en) 2020-12-10 2023-10-18 Fujitsu Limited Determination method, determination program, and information processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03188574A (ja) * 1989-12-18 1991-08-16 Fujitsu Ltd 生体識別装置
JP2001184490A (ja) * 1999-12-27 2001-07-06 Sharp Corp 指紋検出装置
JP2007280367A (ja) * 2006-03-14 2007-10-25 Omron Corp 顔照合装置
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570612B1 (en) * 1998-09-21 2003-05-27 Bank One, Na, As Administrative Agent System and method for color normalization of board images
JP2005032067A (ja) * 2003-07-08 2005-02-03 Canon Inc 生体画像取得装置、生体認証システム及び生体画像取得方法
JP2006259924A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
JP4734980B2 (ja) 2005-03-15 2011-07-27 オムロン株式会社 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP5061563B2 (ja) 2006-09-29 2012-10-31 オムロン株式会社 検出装置、生体判定方法、およびプログラム
JP5195741B2 (ja) * 2009-12-25 2013-05-15 株式会社デンソー 生体活動計測装置
JP5035467B2 (ja) 2011-10-24 2012-09-26 日本電気株式会社 立体性認証方法、立体性認証装置および立体性認証プログラム
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
JP6146078B2 (ja) * 2013-03-22 2017-06-14 富士通株式会社 生体検知装置、顔認証装置、撮像装置、生体検知方法及び生体検知プログラム
JP6336709B2 (ja) * 2013-03-29 2018-06-06 綜合警備保障株式会社 警備装置、警備方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03188574A (ja) * 1989-12-18 1991-08-16 Fujitsu Ltd 生体識別装置
JP2001184490A (ja) * 1999-12-27 2001-07-06 Sharp Corp 指紋検出装置
JP2007280367A (ja) * 2006-03-14 2007-10-25 Omron Corp 顔照合装置
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021174529A (ja) * 2020-04-17 2021-11-01 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 生体を検知するための方法及び装置
JP7191139B2 (ja) 2020-04-17 2022-12-16 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 生体を検知するための方法及び装置
JP2022553768A (ja) * 2020-06-10 2022-12-26 上▲海▼商▲湯▼智能科技有限公司 顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム
JP7251000B2 (ja) 2020-06-10 2023-04-03 上▲海▼商▲湯▼智能科技有限公司 顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム
JP7490141B2 (ja) 2021-01-28 2024-05-24 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
WO2023248806A1 (ja) * 2022-06-20 2023-12-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、記録媒体

Also Published As

Publication number Publication date
JP2019194888A (ja) 2019-11-07
US9875393B2 (en) 2018-01-23
JP6863408B2 (ja) 2021-04-21
US20150227781A1 (en) 2015-08-13
JP6544244B2 (ja) 2019-07-17
JP7151814B2 (ja) 2022-10-12
JP2021114307A (ja) 2021-08-05
JPWO2015122183A1 (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6863408B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11699302B2 (en) Spoofing detection device, spoofing detection method, and recording medium
JP5567853B2 (ja) 画像認識装置および方法
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP6582604B2 (ja) 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US11006864B2 (en) Face detection device, face detection system, and face detection method
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
EP3241151A1 (en) An image face processing method and apparatus
US10635919B2 (en) Information processing device, image processing system, image processing method, and program storage medium
WO2019095117A1 (zh) 一种人脸图像检测方法及终端设备
WO2017112310A1 (en) Facial contour recognition for identification
CN111144169A (zh) 人脸识别方法、装置和电子设备
CN110348385A (zh) 活体人脸识别方法和装置
CN111259763A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
WO2015181729A1 (en) Method of determining liveness for eye biometric authentication
CN111382646B (zh) 一种活体识别方法、存储介质及终端设备
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022081200A (ja) 情報処理装置、情報処理方法およびプログラム
WO2020264101A1 (en) Systems and methods for characterizing joint attention during real world interaction
JP2022150410A (ja) 測定装置、測定方法及びプログラム
KR20170110281A (ko) 유사도 분석 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15748655

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015562742

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15748655

Country of ref document: EP

Kind code of ref document: A1