WO2023105635A1 - 判定装置、判定方法、および判定プログラム - Google Patents

判定装置、判定方法、および判定プログラム Download PDF

Info

Publication number
WO2023105635A1
WO2023105635A1 PCT/JP2021/044955 JP2021044955W WO2023105635A1 WO 2023105635 A1 WO2023105635 A1 WO 2023105635A1 JP 2021044955 W JP2021044955 W JP 2021044955W WO 2023105635 A1 WO2023105635 A1 WO 2023105635A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
person
captured
captured images
photographed
Prior art date
Application number
PCT/JP2021/044955
Other languages
English (en)
French (fr)
Inventor
▲浜▼壮一
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2021/044955 priority Critical patent/WO2023105635A1/ja
Publication of WO2023105635A1 publication Critical patent/WO2023105635A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This case relates to a judgment device, a judgment method, and a judgment program.
  • an object of the present invention is to provide a determination device, a determination method, and a determination program capable of determining fraudulent behavior using a person's displayed object.
  • the determination device includes an acquisition unit that acquires a plurality of captured images including an image area of a person captured by a camera at different times; and a specifying unit that specifies a reflective area that is different from the reflective area according to the difference between the change in the pixels included in the reflective area and the change in the pixels in the non-reflective area other than the reflective area between the plurality of captured images. a determination unit that determines whether the plurality of captured images are captured images of the display object of the person.
  • FIG. 1A is a block diagram illustrating the overall configuration of a determination device
  • FIG. 1B is a block diagram illustrating the hardware configuration of the determination device
  • FIG. 14 is a flow chart showing an example of the operation of the determination device according to Example 4;
  • FIG. 11 is a block diagram illustrating the overall configuration of a determination device according to Example 5;
  • FIG. 4 is a diagram illustrating a reflective area;
  • 14 is a flow chart showing an example of the operation of the determination device according to Example 5;
  • FIG. 4 is a diagram illustrating a reflective area;
  • 13 is a flow chart showing an example of the operation of the determination device according to Example 6;
  • Biometric authentication is a technology that uses biometric features such as fingerprints, face, and veins to verify a person's identity.
  • biometric authentication when verification is required, biometric data for verification obtained by a sensor is compared (verified) with registered biometric data that has been registered in advance, and whether or not the degree of similarity is equal to or greater than the threshold for judging an individual is determined. By judging, the identity is verified.
  • Face recognition technology is attracting attention as a means of contactless identity verification. Face recognition technology is used not only for access management of personal terminals such as personal computers and smartphones, but also for various purposes such as entering and exiting rooms and confirming identity at boarding gates at airports.
  • face recognition technology can realize contactless and highly accurate recognition, there is a risk of fraudulent acts such as impersonation.
  • face images may be published on the Internet through SNS (Social Networking Service) or the like. Therefore, by photo-printing a face image published on the Internet, it is possible to obtain a display object of a person to be impersonated.
  • SNS Social Networking Service
  • a face image published on the Internet
  • the face image used in face authentication can be captured without using a special sensor. It is difficult to judge whether it is genuine and not a thing. As described above, in the face recognition technology, there is a concern about fraudulent acts of impersonating a person by presenting a person's display object to the camera.
  • FIG. 1(a) is a diagram illustrating a face image obtained by photographing a real face that is not a display object.
  • FIG. 1(b) shows a face obtained by presenting a display object, which is a face image of the person obtained from the Internet, displayed on the screen of a terminal such as a smartphone or a tablet terminal, to the camera.
  • FIG. 4 is a diagram illustrating an image;
  • the background is also captured along with the person including the face, as shown in FIG. 2(a).
  • a window is photographed as the background. Both the face and the background are photographed with movement, but there tends to be no big difference between the movement of the face and the movement of the background.
  • the screens of terminals such as tablet terminals and smartphones reflect light from the outside. Therefore, when a person's display object (a still image or moving image of a face) is displayed on the screen of the terminal and presented to the camera, as shown in FIG.
  • the captured image includes reflection (reflection) in addition to the displayed object.
  • the screen of the terminal since the screen of the terminal reflects the light of the ceiling light, the light of the display device of the authentication device, etc., the reflection 201 of the ceiling light and the reflection 202 of the display device of the authentication device are It is reflected.
  • reflections can be confirmed on the screen of the terminal, glossy paper, etc., and the surface reflectance is high.
  • the surface reflectance is high.
  • the reflection is diffused and no image is formed, but if the surface reflectance is high, the reflection forms an image and the shape can be confirmed.
  • the shape of the ceiling lamp can be confirmed, and the shape of the display device can also be confirmed.
  • the reflection reflected on the screen of the terminal 203 is reflected by the light from the light source reflected on the planar screen of the terminal 203 . Therefore, as illustrated in the left diagram of FIG. 3, the reflected image largely moves in a certain direction due to the angular fluctuation (movement in the rotational direction). For example, if the screen of the terminal moves in the direction of rotation illustrated in the right diagram of FIG. move.
  • the person, background, etc. may show various movements.
  • a person may exhibit erratic swaying motion, and a tree outside the window behind the person may sway in the wind, or another person may pass behind the person.
  • the displayed object may move greatly.
  • the movement of the displayed object is uncorrelated with the reflected reflection.
  • FIG. 4(a) is a block diagram illustrating the overall configuration of the determination device 100.
  • the determination device 100 functions as an acquisition unit 10, an image storage unit 20, an identification unit 30, a motion detection unit 40, a determination unit 50, a collation unit 60, a registration data storage unit 70, and the like. do.
  • FIG. 4(b) is a block diagram illustrating the hardware configuration of the determination device 100.
  • the determination device 100 includes a CPU 101, a RAM 102, a storage device 103, an interface 104, a display device 105, an input device 106, a camera 107, lighting 108, and the like.
  • a CPU (Central Processing Unit) 101 is a central processing unit.
  • CPU 101 includes one or more cores.
  • a RAM (Random Access Memory) 102 is a volatile memory that temporarily stores programs executed by the CPU 101, data processed by the CPU 101, and the like.
  • the storage device 103 is a non-volatile storage device.
  • a ROM Read Only Memory
  • SSD solid state drive
  • the storage device 103 stores determination programs.
  • the interface 104 is an interface device with an external device.
  • the interface 104 is an interface device with a LAN (Local Area Network).
  • the display device 105 is a display device such as an LCD (Liquid Crystal Device).
  • the input device 106 is an input device such as a keyboard and mouse.
  • the camera 107 is a MOS (Metal Oxide Semiconductor) sensor, a CCD (Charged Coupled Device) sensor, or the like.
  • a lighting 108 is a light source that emits light to a subject.
  • the acquisition unit 10, the image storage unit 20, the identification unit 30, the motion detection unit 40, the determination unit 50, the collation unit 60, and the registration data storage unit 70 are implemented by the CPU 101 executing the determination program.
  • Hardware such as a dedicated circuit may be used as the acquisition unit 10, the image storage unit 20, the identification unit 30, the motion detection unit 40, the determination unit 50, the collation unit 60, and the registration data storage unit .
  • FIG. 5 is a flowchart showing an example of the operation of the determination device 100.
  • FIG. An example of the operation of the determination device 100 will be described below with reference to the flowchart of FIG.
  • the acquisition unit 10 acquires a plurality of captured images including a person's image area captured by the camera 107 (step S1).
  • the image storage unit 20 stores captured images acquired by the acquisition unit 10 .
  • the image storage unit 20 attaches a time to each image so as to specify the shooting order of each image.
  • the plurality of captured images are taken at different times, for example, at equal time intervals.
  • the identification unit 30 acquires the amount of light reflection (degree of reflection) for each captured image stored in the image storage unit 20 (step S2).
  • the specifying unit 30 can detect the reflected image by using, for example, the difference in focus (difference in degree of blurring). “Yang et al., “Fast Single Image Reflection Suppression via Convex Optimization”, CVPR 2019”, etc. can be used as a technique for detecting a reflected image using a focus difference.
  • the amount of reflection of light (the degree of reflection) is the intensity of reflected light.
  • the specifying unit 30 specifies a region where the amount of reflection acquired in step S2 is equal to or greater than a threshold value as a reflective region R, specifies areas other than the reflective region R as a non-reflective region T, and separates each region (step S3).
  • the motion detection unit 40 detects motion for each of the reflective area R and the non-reflective area T (step S4).
  • Motion can be obtained by using a plurality of captured images stored in time series. Specifically, a change in the pixels included in the reflection area R between a plurality of captured images can be detected as the movement of the reflection area R.
  • a change in pixels in the non-reflective area T can be detected as movement of the non-reflective area T.
  • the motion detection unit 40 obtains a motion vector of each pixel between a plurality of captured images, aggregates the motion vectors for each of the reflective area R and the non-reflective area T, and obtains an average vector.
  • a technique for obtaining motion vectors for example, “Farneback, G. “Two-Frame Motion Estimation Based on Polynomial Expansion.” In Proceedings of the 13th Scandinavian Conference on Image Analysis, 363 - 370. Halmstad, Sweden: SCIA, 2003.” etc. can be used. This technique can determine the motion vector (vx, vy) at each pixel (i, j) of the image.
  • the motion vector (vx, vy) at each pixel (i, j) in the reflective area R is summed up and divided by the number of area pixels nr to obtain the average vector vr of the reflective area R.
  • the mean vector vr is a two-dimensional quantity consisting of x-direction motion vrx and y-direction motion vry.
  • the non-reflective area T may contain a background with little motion. Since a correct average vector cannot be obtained if non-moving pixels are included, motion vectors having a size equal to or smaller than a predetermined value may be excluded as noise.
  • the motion detector 40 calculates the difference between the motion of the reflective area R calculated in step S4 and the motion of the non-reflective area T (step S5).
  • the motion difference can be obtained, for example, from the magnitude (distance) of the difference vector of the motion vectors obtained in step S4.
  • a difference vector vdiff between the reflective area R and the non-reflective area T can be expressed by the following equation.
  • the determination unit 50 determines whether the motion difference calculated in step S5 is equal to or greater than a threshold (step S6). For example, if the photographed image is of a person's display object, the difference between the movement of the reflective area R and the movement of the non-reflective area T becomes large. Therefore, if the difference in motion is equal to or greater than the threshold, it can be determined that the photographed image stored in step S1 is that of a person's display object. On the other hand, if the movement difference is less than the threshold, it can be determined that the photographed image stored in step S1 is a photograph of the real object.
  • step S6 determines that the captured image is a person's display object (step S7).
  • the determination unit 50 outputs this determination result. For example, this determination result is displayed on the display device 105 or the like. Execution of the flowchart then ends. Therefore, authentication processing for personal identification is not performed.
  • step S6 the determination unit 50 determines that the photographed image is of a real object (step S8).
  • the collation unit 60 executes authentication processing (step S9). Specifically, the facial feature data extracted from the photographed image stored in step S1 and the registered data stored in the registered data storage unit 70 are compared (verified) to determine whether the degree of similarity is equal to or greater than the person determination threshold. determine whether or not Execution of the flowchart then ends.
  • a plurality of photographed images are obtained in accordance with the difference between the change in the pixels included in the reflective region R and the change in the pixels included in the non-reflective region T between the plurality of photographed images. It is possible to accurately determine whether the displayed object is photographed. Therefore, it is possible to determine a fraudulent act using a person's display object.
  • both the movement of the reflective area R and the movement of the non-reflective area T are used to determine the displayed object, but only the movement of the reflective area R is used to determine the displayed object. It is also conceivable to do so. However, if an attempt is made to determine a displayed object based only on the movement of the reflective area R, the degree of difficulty increases, and erroneous detection may occur. For example, when there is a bright area such as a window in the background, such as scattered light, it may be estimated that the bright area has a certain amount of reflection. Conversely, there is a case where the reflection amount of a part of the display device of the authentication device, which is reflected, is detected as small.
  • FIG. 6(a) is an image captured by the camera, in which a reflection 201 of the ceiling light and a reflection 202 of the display device of the authentication device are reflected.
  • a reflection 201 of the ceiling light and a reflection 202 of the display device of the authentication device are reflected.
  • bright areas such as windows may be identified as reflections 205, as illustrated in FIG. 6(b).
  • part of the display of the authentication device will not be identified as a reflection. From the above, it is difficult to determine the displayed object using only the movement of the reflective area.
  • the present embodiment since movements of both the reflective area R and the non-reflective area T are detected, the accuracy of determination of the displayed object is improved.
  • a method of separating the reflection area R by detecting movement is also conceivable.
  • a method of separating the reflection area R by detecting movement for example, “Xue et al., “A Computational Approach for Obstruction-Free Photography”, ACM SIGGRAPH 2015” can be cited.
  • this technology since the distance difference between the object observed through transmission and the reflected object is separated using parallax, it is difficult to separate the screen reflection from minute camera shake.
  • movements of both the reflective area R and the non-reflective area T are separately detected, and the displayed object is determined based on the detection results of both. improves.
  • the image acquired by the acquisition unit 10 is separated into two areas, the reflective area R and the non-reflective area T, but the invention is not limited to this.
  • multiple reflective areas may be detected in the image. Therefore, the movement of each of the plurality of reflective areas R1 and R2 may be compared with the movement of the non-reflective area T.
  • FIG. For example, when the movements of the reflective areas R1 and R2 are similar and the difference between the movements of the reflective areas R1 and R2 and the movement of the non-reflective area T is large, the captured image is determined to be a display object. can be done. Specifically, in step S6 of FIG.
  • the determination unit 50 may add to the determination criteria whether or not the magnitude of the difference between the average vector vr1 and the average vector vr2 is equal to or greater than a threshold. For example, the magnitude of the difference between the average vector vr1 and the average vector vr2 is less than the threshold, and the magnitude of both the difference between the average vector vt and the average vector vr1 and the difference between the average vector vt and the average vector vr2 are If it is equal to or greater than the threshold, it may be determined as "Yes".
  • the magnitude of the difference between the average vector vr1 and the average vector vr2 is less than the threshold, and the magnitude of both the difference between the average vector vt and the average vector vr1 and the difference between the average vector vt and the average vector vr2 are If it is less than the threshold, it may be determined as "No". Also, if the magnitude of the difference between the average vector vr1 and the average vector vr2 is greater than or equal to the threshold, the determination may be "No". However, the average vector of the reflective area R1 is vr1, the average vector of the reflective area R2 is vr2, and the average vector of the non-reflective area T is vt.
  • FIG. 7 is a block diagram illustrating the overall configuration of the determination device 100a according to the third embodiment. As illustrated in FIG. 7, the determination device 100a differs from the determination device 100 in that it further includes a quality determination unit 80.
  • the quality determination unit 80 may also be implemented by the CPU 101 executing a determination program. Further, hardware such as a dedicated circuit may be used as the quality determination unit 80 .
  • the quality determination section 80 determines the quality of each of the multiple captured images stored in the image storage section 20 . For example, the quality determination unit 80 calculates a high quality value for a high-quality image with little blur, and a low quality value for a low-quality image with a lot of blur.
  • the specifying unit 30 changes the threshold for specifying the reflection area according to the quality of the multiple captured images. For example, when the quality of the entire image determined by the quality determining unit 80 is low, the specifying unit 30 increases the threshold of the amount of reflection for specifying the reflective area so that the reflective area is not detected more than necessary. .
  • the quality here may be determined by, for example, the degree of blurring. Specifically, it is possible to examine the spatial frequency distribution of the entire image, and determine that the degree of blurring is large and the quality is low if the number of high-frequency components is low.
  • the displayed object may be determined based only on the amount of reflection. For example, when the captured image is of high quality and includes an area where the amount of reflection is equal to or greater than a predetermined value, it can be determined that the captured image is of a person's display object.
  • the predetermined value in this case is a value larger than the threshold for determining the amount of reflection in step S3 of FIG.
  • the display object is determined using the difference in movement of both the reflective area R and the non-reflective area T as in the first embodiment. You can do it. In this manner, processing may be switched according to the detected reflection amount.
  • FIG. 8 is a flow chart showing an example of the operation of the determination device according to the fourth embodiment.
  • the flowchart of FIG. 8 is executed after step S2 of FIG. 5 is executed.
  • the configuration of the determination device according to the fourth embodiment is similar to that of the determination device 100a according to the third embodiment, for example.
  • the quality determination unit 80 determines the quality of the multiple captured images stored in the image storage unit 20 (step S11).
  • the specifying unit 30 determines whether at least one of the qualities (quality values) determined in step S11 is equal to or greater than a threshold (step S12). If the determination in step S12 is "No”, step S3 in FIG. 5 is executed. If it is determined as “Yes” in step S12, the identification unit 30 determines that, among the plurality of captured images, the captured images having the quality value equal to or greater than the threshold include areas having the light reflection amount equal to or greater than the predetermined value. (step S13). If the determination in step S13 is "No”, step S3 in FIG. 5 is executed. When it is determined as "Yes” in step S13, the determination unit 50 determines that the plurality of photographed images are images of a person's display object (step S14).
  • FIG. 9 is a block diagram illustrating the overall configuration of a determination device 100b according to the fifth embodiment.
  • the determination device 100b differs from the determination device 100 of the first embodiment in that it further includes a detection unit 90 .
  • the detection unit 90 may also be implemented by the CPU 101 executing the determination program. Alternatively, hardware such as a dedicated circuit may be used as the detection unit 90 .
  • a person's area may be extracted from the captured image.
  • the detected reflection area is limited.
  • the reflective area is the shine of the eyeglasses, part of the cheeks or the forehead. Therefore, it is unnatural that a reflection area R having a certain area or more is detected in the face area F as illustrated in FIG. Therefore, if the ratio of the area of the reflective area R in the face area F is equal to or greater than the threshold, the captured image can be determined to be the image of the display object.
  • FIG. 11 is a flowchart showing an example of the operation of the determination device 100b. The flowchart of FIG. 11 is executed after step S2 of FIG. 5 is executed.
  • the detection unit 90 detects a face area F from a plurality of captured images stored in the image storage unit 20 (step S21).
  • the determination unit 50 determines whether or not the area of the reflective area R in at least one of the plurality of captured images is equal to or larger than the threshold value in the face area F (step S22). If the determination in step S22 is "No", step S3 in FIG. 5 is executed. When it is determined as "Yes” in step S22, the determination unit 50 determines that the plurality of captured images are images of a display object of a person (step S23).
  • a detection method using semantic segmentation can be used as a technique for detecting a human area from a captured image.
  • a face region detection method using MTCNN Multi-task Cascaded Convolutional Neural Networks
  • the displayed object may be determined using the relationship between the face area, the background area, and the reflective area. Specifically, if the object is real, the detected reflection area will not protrude from the face area. Also, the detected reflection area does not protrude from the background. Reflections are often detected across boundaries from face regions or background. Therefore, as illustrated in FIG. 12, when the reflection area is continuously detected from the face area to the outside, it may be determined that the captured image is the image of the display object.
  • FIG. 13 is a flow chart showing an example of the operation of the determination device according to the sixth embodiment.
  • the flowchart of FIG. 14 is executed after step S2 of FIG. 5 is executed.
  • the configuration of the determination device according to the sixth embodiment is similar to that of the determination device 100b according to the fifth embodiment, for example.
  • the detection unit 90 detects a face area F from a plurality of captured images stored in the image storage unit 20 (step S31).
  • the determination unit 50 determines whether or not the reflective area R is continuously detected from the face area F to the outside in at least one of the plurality of captured images (step S32). If “No” is determined in step S32, step S3 in FIG. 5 is executed. When it is determined as "Yes” in step S32, the determination unit 50 determines that the plurality of captured images are images of a display object of a person (step S33).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

判定装置は、カメラにより異なる時刻に撮影された、人物の画像領域を含む複数の撮影画像を取得する取得部と、前記複数の撮影画像から、光の反射量が閾値以上となる反射領域を特定する特定部と、前記複数の撮影画像間における、前記反射領域に含まれる画素の変化と、前記反射領域以外である非反射領域の画素の変化との差に応じて、前記複数の撮影画像が前記人物の表示物を撮影したものかを判定する判定部と、を備えることを特徴とする。　

Description

判定装置、判定方法、および判定プログラム
　本件は、判定装置、判定方法、および判定プログラムに関する。
　本人確認するための顔認証に係る技術が開発されている。顔認証では、高い認証精度を実現できる反面、なりすまし等の不正行為が行われることがある。そこで、不正行為を防止する技術が開示されている（例えば、特許文献１参照）。
特開２０１０－２２５１１８号公報
　しかしながら、人物の表示物を用いた不正行為を判定することは困難である。
　１つの側面では、本発明は、人物の表示物を用いた不正行為を判定することができる判定装置、判定方法、および判定プログラムを提供することを目的とする。
　１つの態様では、判定装置は、カメラにより異なる時刻に撮影された、人物の画像領域を含む複数の撮影画像を取得する取得部と、前記複数の撮影画像から、光の反射量が閾値以上となる反射領域を特定する特定部と、前記複数の撮影画像間における、前記反射領域に含まれる画素の変化と、前記反射領域以外である非反射領域の画素の変化との差に応じて、前記複数の撮影画像が前記人物の表示物を撮影したものかを判定する判定部と、を備える。
　人物の表示物を用いた不正行為を判定することができる。
（ａ）は表示物ではない本物の顔を撮影することで得られた顔画像を例示する図であり、（ｂ）は表示物をカメラに対して提示することで得られた顔画像を例示する図である。 （ａ）は表示物ではない本物の顔を撮影することで得られた顔画像を例示する図であり、（ｂ）は表示物をカメラに対して提示することで得られた顔画像を例示する図である。 反射の動きを説明するための図である。 （ａ）は判定装置の全体構成を例示するブロック図であり、（ｂ）は判定装置のハードウェア構成を例示するブロック図である。 判定装置の動作の一例を表すフローチャートである。 （ａ）および（ｂ）は反射が映り込んだ画像である。 実施例に係る判定装置の全体構成を例示するブロック図である。 実施例４に係る判定装置の動作の一例を表すフローチャートである。 実施例５に係る判定装置の全体構成を例示するブロック図である。 反射領域を例示する図である。 実施例５に係る判定装置の動作の一例を表すフローチャートである。 反射領域を例示する図である。 実施例６に係る判定装置の動作の一例を表すフローチャートである。
　生体認証は、指紋、顔、静脈などの生体特徴を用いて本人確認をおこなう技術である。生体認証では、確認が必要な場面においてセンサによって取得した照合用生体データと、予め登録しておいた登録生体データとを比較（照合）し、類似度が本人判定閾値以上になるか否かを判定することで、本人確認を行なっている。
　中でも、顔認証技術は、非接触で本人確認できる手段として注目されている。顔認証技術は、パーソナルコンピューターやスマートフォンなどの個人利用端末のアクセス管理だけでなく入退室や空港での搭乗ゲートでの本人確認など様々な用途で利用されている。
　顔認証技術は、非接触で高い認証精度を実現できる反面、なりすまし等の不正行為が行われるおそれがある。例えば、なりすまし対象の人物の顔の表示物を入手することは、比較的容易である。例えば、顔画像は、ＳＮＳ（Social Networking Service）などでインターネット上に公開されている場合もある。したがって、インターネット上で公開されている顔画像を写真印刷すれば、なりすまし対象の人物の表示物を入手することができる。または、インターネット上で公開されている顔画像（静止画および動画のいずれでもよい）をスマーフォンなどの画面に表示することで、なりすまし対象の人物の表示物として用いることができる。指紋認証や手のひら静脈認証などの他の生体情報と比較すると、顔認証で利用する顔画像は特殊なセンサを用いずに撮影可能であるため、撮影の段階で被写体が表示物であるのか、表示物でない本物なのか、判定することは困難である。以上のことから、顔認証技術では、人物の表示物をカメラに対して提示することで本人になりすます不正行為に対する懸念がある。
　例えば、図１（ａ）は、表示物ではない本物の顔を撮影することで得られた顔画像を例示する図である。これに対して、図１（ｂ）は、インターネットなどで入手した当該人物の顔画像をスマーフォンやタブレット端末などの端末の画面に表示した表示物をカメラに対して提示することで得られた顔画像を例示する図である。このように、カメラで撮影することで得られた顔画像が、人物の表示物であるのか、表示物ではない本物であるのかを判定することは困難である。
　そこで、以下の実施例では、人物の表示物を用いた不正行為を判定することができる判定装置、判定方法、および判定プログラムについて説明する。
　まずは、人物の表示物を用いた不正行為を判定する原理について説明する。
　認証装置のカメラで、表示物ではない本物の顔を撮影すると、図２（ａ）で例示するように、顔を含む人物とともに、背景も撮影される。図２（ａ）の例では、背景として窓が撮影されている。顔および背景の両方とも、それぞれ動きを伴って撮影されるが、顔の動きと背景の動きとの間には大きな差異は見られない傾向にある。
　一方、タブレット端末やスマートフォン等の端末の画面は、外部からの光を反射する。したがって、当該端末の画面に人物の表示物（顔の静止画や動画）を表示してカメラに対して提示すると、図２（ｂ）で例示するように、カメラが撮影することで得られた撮影画像には、当該表示物に加えて、反射（映り込み）が含まれる。図２（ｂ）の例では、端末の画面が天井灯の光、認証装置の表示装置の光などを反射しているため、天井灯の反射２０１と、認証装置の表示装置の反射２０２とが映り込んでいる。
　なお、反射の映り込みが確認されるのは、端末の画面、光沢紙などであって、表面反射率の高いものである。例えば、拡散反射率の高いものであれば反射が拡散して結像しないが、表面反射率の高いものであれば反射が結像して形状を確認できるようになる。図２（ｂ）の例では、天井灯の形状を確認でき、表示装置の形状も確認できている。
　カメラ２０４に対して表示物を提示する際には、端末を手で持った状態で提示することが多いため、手ブレ（手で持つことによって生じるブレ）によって端末に微小な動きが加わることがある。しかしながら、表示物の動きも微小となる。したがって、図３の右図で例示する回転方向に端末２０３の画面が動いても、表示物の動きも微小となる。このように、表示物自体には、角度の揺れなどの影響は大きくは現れない。
　しかしながら、端末２０３の画面に映り込む反射は、光源からの光が端末２０３の平面状の画面で反射することによって映り込むものである。したがって、図３の左図で例示するように、映り込んだ反射像は、角度の揺れ（回転方向の動き）によって一定方向に大きく動く。例えば、図３の右図で例示する回転方向に端末の画面が動いたとすると、図３の左図のように、天井灯の反射２０１および認証装置の表示装置の反射２０２が矢印の方向に大きく動く。
　なお、動画を表示物として画面に表示する場合に、人物や背景などが様々な動きを示すことがある。例えば、動画において、人物が不規則に揺れるような動きを示し、背後の窓の外に樹木があると風で揺れたり、あるいは別の人物が背後を横切ったりする場合もある。このように、表示物が大きく動く場合もある。しかしながら、表示物の動きは、映り込んだ反射とは相関しない動きとなる。
　このように、表示物をカメラに対して提示した場合には、表示物とは相関の低い動きをする反射像が観測される。この反射像の動きは、本物と表示物とを見分ける手掛かりとなる。本実施例においては、撮影画像から反射である可能性が高い領域を特定し、特定された反射領域、およびそれ以外の非反射領域の各領域の動きを検出して比較し、動きの差によって本物か表示物であるか否かを判定する。
　図４（ａ）は、判定装置１００の全体構成を例示するブロック図である。図４（ａ）で例示するように、判定装置１００は、取得部１０、画像格納部２０、特定部３０、動き検出部４０、判定部５０、照合部６０、登録データ格納部７０などとして機能する。
　図４（ｂ）は、判定装置１００のハードウェア構成を例示するブロック図である。図４（ｂ）で例示するように、判定装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、インタフェース１０４、表示装置１０５、入力装置１０６、カメラ１０７、照明１０８等を備える。
　ＣＰＵ（Central Processing Unit）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Random Access Memory）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ：Solid State Drive）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置１０３は、判定プログラムを記憶している。インタフェース１０４は、外部機器とのインタフェース装置である。例えば、インタフェース１０４は、ＬＡＮ（Local Area Network）とのインタフェース装置である。
　表示装置１０５は、ＬＣＤ（Liquid Crystal Device）などのディスプレイ装置などである。入力装置１０６は、キーボード、マウスなどの入力装置である。カメラ１０７は、ＭＯＳ（Metal Oxide Semiconductor）センサ、ＣＣＤ（Charged Coupled Device）センサなどである。照明１０８は、被写体に光を出射する光源である。
　ＣＰＵ１０１が判定プログラムを実行することで、取得部１０、画像格納部２０、特定部３０、動き検出部４０、判定部５０、照合部６０、登録データ格納部７０が実現される。なお、取得部１０、画像格納部２０、特定部３０、動き検出部４０、判定部５０、照合部６０、登録データ格納部７０として、専用の回路などのハードウェアを用いてもよい。
　図５は、判定装置１００の動作の一例を表すフローチャートである。以下、図５のフローチャートを参照しつつ、判定装置１００の動作の一例について説明する。
　図５で例示するように、取得部１０は、カメラ１０７によって撮影された、人物の画像領域を含む複数の撮影画像を取得する（ステップＳ１）。画像格納部２０は、取得部１０が取得した撮影画像を格納する。この場合において、画像格納部２０は、各画像に時刻を付すなどして、各画像の撮影順序を特定できるようにしておく。当該複数枚の撮影画像は、異なる時刻に撮影されたものであり、例えば、時間的に等間隔で撮影されたものであるものとする。
　次に、特定部３０は、画像格納部２０に格納されている各撮影画像について、光の反射量（映り込みの度合い）を取得する（ステップＳ２）。反射の映り込みの検出には、いくつかの技術が提案されている。例えば、映り込んだ物体が撮影対象とは異なる距離に存在するため、反射像は認証対象の人物と比較してボケて観測される傾向にある。そこで、特定部３０は、例えば、フォーカスの差（ボケ具合の差）を利用して反射像を検出することができる。フォーカスの差を利用して反射像を検出する技術として、“Yang et al., “Fast Single Image Reflection Suppression via Convex Optimization”, CVPR 2019”などを用いることができる。なお、光の反射量（映り込みの度合い）は、反射光強度のことである。
　次に、特定部３０は、ステップＳ２で取得した反射量が閾値以上となる領域を反射領域Ｒとして特定し、当該反射領域Ｒ以外を非反射領域Ｔとして特定し、各領域を分離する（ステップＳ３）。
　次に、動き検出部４０は、反射領域Ｒおよび非反射領域Ｔのそれぞれについて、動きを検出する（ステップＳ４）。時系列で格納してある複数枚の撮影画像を用いることで、動きを求めることができる。具体的には、複数の撮影画像間における、反射領域Ｒに含まれる画素の変化を反射領域Ｒの動きとして検出することができる。非反射領域Ｔの画素の変化を非反射領域Ｔの動きとして検出することができる。
　例えば、動き検出部４０は、複数の撮影画像間における各画素の動きベクトルを求め、反射領域Ｒおよび非反射領域Ｔのそれぞれについて、動きベクトルを集計して平均ベクトルを求める。動きベクトルを求める技術として、例えば、“Farneback, G. “Two-Frame Motion Estimation Based on Polynomial Expansion.” In Proceedings of the 13th Scandinavian Conference on Image Analysis, 363 - 370. Halmstad, Sweden: SCIA, 2003.”などを用いることができる。この技術では、画像の各画素（ｉ，ｊ）における動きベクトル（ｖｘ，ｖｙ）を求めることができる。まず、反射領域Ｒ内の各画素（ｉ，ｊ）における動きベクトル（ｖｘ，ｖｙ）を合計し、領域画素数ｎｒで割り、反射領域Ｒの平均ベクトルｖｒを求めることができる。平均ベクトルｖｒは、ｘ方向の動きｖｒｘと、ｙ方向の動きｖｒｙとからなる２次元の量である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　動き検出部４０は、非反射領域Ｔについても、平均ベクトルｖｔ＝（ｖｔｘ，ｖｔｙ）を算出する。
　なお、平均ベクトルを算出する際に、動きが検出されない画素が含まれる場合もある。例えば、非反射領域Ｔには、ほとんど動きの無い背景が含まれる場合がある。動いていない画素を含めると正しい平均ベクトルが得られないため、所定値以下の大きさの動きベクトルについては、ノイズとして除外してもよい。
　次に、動き検出部４０は、ステップＳ４で算出した反射領域Ｒの動きと、非反射領域Ｔの動きとの差を算出する（ステップＳ５）。動きの差は、例えば、ステップＳ４で求めた動きベクトルの差分ベクトルの大きさ（距離）から求めることができる。反射領域Ｒと非反射領域Ｔとの差分ベクトルｖｄｉｆｆは、下記式のように表すことができる。
Figure JPOXMLDOC01-appb-M000004
　次に、判定部５０は、ステップＳ５で算出した動きの差が閾値以上であるか否かを判定する（ステップＳ６）。例えば、撮影画像が人物の表示物を撮影したものであれば、反射領域Ｒの動きと、非反射領域Ｔの動きとの差が大きくなる。したがって、動きの差が閾値以上となれば、ステップＳ１で格納された撮影画像については、人物の表示物を撮影したものであると判定することができる。一方、動きの差が閾値未満となれば、ステップＳ１で格納された撮影画像については、本物を撮影したものであると判定することができる。
　ステップＳ６で「Ｙｅｓ」と判定された場合、判定部５０は、撮影画像が人物の表示物を撮影したものであると判定する（ステップＳ７）。判定部５０は、この判定結果を出力する。例えば、この判定結果は、表示装置１０５などに表示される。その後、フローチャートの実行が終了する。そのため、本人確認のための認証処理は行われない。
　ステップＳ６で「Ｎｏ」と判定された場合、判定部５０は、撮影画像が本物を撮影したものであると判定する（ステップＳ８）。
　次に、照合部６０は、認証処理を実行する（ステップＳ９）。具体的には、ステップＳ１で格納した撮影画像から抽出した顔特徴データと、登録データ格納部７０が格納している登録データとを比較（照合）し、類似度が本人判定閾値以上になるか否かを判定する。その後、フローチャートの実行が終了する。
　このように、本実施例によれば、複数の撮影画像間における、反射領域Ｒに含まれる画素の変化と、非反射領域Ｔの画素の変化との差に応じて、複数の撮影画像が人物の表示物を撮影したものかを精度よく判定することができる。したがって、人物の表示物を用いた不正行為を判定することができる。
　なお、本実施例においては、反射領域Ｒの動き、および非反射領域Ｔの動きの両方を用いて表示物の判定を行なっているが、反射領域Ｒの動きだけを用いて表示物の判定を行なうことも考えられる。しかしながら、反射領域Ｒの動きだけで表示物の判定を行なおうとすると、難易度が高くなり、誤検出が生じるおそれがある。例えば、背景の窓のように散乱光のような明るい領域がある場合に、当該明るい領域がある程度の反射量であると推定されることがある。逆に、映り込みである認証装置の表示装置の一部の反射量が小さく検出されてしまう場合がある。
　図６（ａ）は、カメラが撮影することで得られた画像であって、天井灯の反射２０１と、認証装置の表示装置の反射２０２とが映り込んだ画像である。例えば、図６（ｂ）で例示するように、窓のような明るい領域が反射２０５として特定されるおそれがある。また、認証装置の表示装置の一部が反射として特定されないおそれもある。以上のことから、反射領域の動きだけを用いて表示物を判定することは困難である。これに対して、本実施例においては、反射領域Ｒおよび非反射領域Ｔの両方の動きを検出するため、表示物の判定精度が向上する。
　その他、動きを検出することで、反射領域Ｒを分離する手法も考えられる。動きを検出することで反射領域Ｒを分離する手法として、例えば、“Xue et al., “A Computational Approach for Obstruction-Free Photography”, ACM SIGGRAPH 2015”が挙げられる。しかしながら、この技術では、透過によって観測される物体と、反射物体との距離差を、視差を利用して分離しているため、画面反射を微小な手ブレなどから分離することは困難である。これに対して、本実施例においては、反射領域Ｒおよび非反射領域Ｔの両方の動きを別々に検出し、両方の検出結果から表示物の判定を行なっているため、表示物の判定精度が向上する。
　実施例１では、取得部１０が取得した画像を、反射領域Ｒと非反射領域Ｔとの２つの領域に分離していたが、それに限られない。例えば、図２で例示したように、画像内に複数の反射領域が検出される場合がある。そこで、複数の反射領域Ｒ１，Ｒ２のそれぞれの動きと、非反射領域Ｔの動きと比較してもよい。例えば、各反射領域Ｒ１，Ｒ２の動きが類似しており、かつ各反射領域Ｒ１，Ｒ２の動きと非反射領域Ｔの動きとの差が大きい場合に、当該撮影画像を表示物と判定することができる。具体的には、判定部５０は、図５のステップＳ６で、平均ベクトルｖｒ１と、平均ベクトルｖｒ２との差の大きさが閾値以上であるか否かを判定基準に追加してもよい。例えば、平均ベクトルｖｒ１と平均ベクトルｖｒ２との差の大きさが閾値未満であり、かつ平均ベクトルｖｔと平均ベクトルｖｒ１との差、および平均ベクトルｖｔと平均ベクトルｖｒ２との差の両方の大きさが閾値以上である場合に「Ｙｅｓ」と判定してもよい。また、平均ベクトルｖｒ１と平均ベクトルｖｒ２との差の大きさが閾値未満であり、かつ平均ベクトルｖｔと平均ベクトルｖｒ１との差、および平均ベクトルｖｔと平均ベクトルｖｒ２との差の両方の大きさが閾値未満である場合「Ｎｏ」と判定してもよい。また、平均ベクトルｖｒ１と平均ベクトルｖｒ２との差の大きさが閾値以上である場合「Ｎｏ」と判定してもよい。ただし、反射領域Ｒ１の平均ベクトルをｖｒ１、反射領域Ｒ２の平均ベクトルをｖｒ２、非反射領域Ｔの平均ベクトルをｖｔとする。
　図７は、実施例３に係る判定装置１００ａの全体構成を例示するブロック図である。図７で例示するように、判定装置１００ａが判定装置１００と異なる点は、品質判定部８０をさらに備える点である。ＣＰＵ１０１が判定プログラムを実行することで、品質判定部８０も実現されてもよい。また、品質判定部８０として、専用の回路などのハードウェアを用いてもよい。
　フォーカスの差（ボケ具合の差）を利用して反射像を検出する際に、画像全体の品質が低い（ボケが大きい）場合には、反射像を検出する際の反射量の閾値を変更してもよい。例えば、品質判定部８０は、画像格納部２０が格納している複数の撮影画像の各品質を判定する。例えば、品質判定部８０は、ボケの少ない高品質の画像に対しては高い品質値を算出し、ボケの多い低品質の画像に対しては低い品質値を算出する。
　特定部３０は、複数の撮影画像の品質に応じて、反射領域を特定するための閾値を変更する。例えば、品質判定部８０が判定した画像全体の品質が低い場合には、特定部３０は、反射領域を特定するための反射量の閾値を大きくし、必要以上に反射領域が検出されないようにする。ここでの品質は、例えば、ボケ具合によって判定してもよい。具体的には、画像全体の空間周波数の分布を調べ、高周波成分が少なくなっていればボケ具合が大きく、品質が低いと判定することができる。
　ところで、撮影画像が高品質であれば、検出される反射量の信頼度が向上する。そこで、高品質画像において反射量が極端に多い場合には、反射量だけで表示物の判定を行なってもよい。例えば、撮影画像が高品質である場合において、反射量が所定値以上となる領域が含まれる場合には、撮影画像が人物の表示物を撮影したものであると判定することができる。この場合の所定値は、図５のステップＳ３で反射量を判定するための閾値よりも大きい値とする。撮影画像が高品質である場合において、反射量が上記所定値未満であれば、実施例１と同様に、反射領域Ｒおよび非反射領域Ｔの両方の動きの差を用いて表示物の判定を行なってもよい。このように、検出される反射量に応じて、処理を切り替えてもよい。
　図８は、実施例４に係る判定装置の動作の一例を表すフローチャートである。図８のフローチャートは、図５のステップＳ２の実行後に実行される。実施例４に係る判定装置の構成は、例えば、実施例３に係る判定装置１００ａと同様である。
　まず、品質判定部８０は、画像格納部２０が格納している複数の撮影画像の品質を判定する（ステップＳ１１）。次に、特定部３０は、ステップＳ１１で判定された品質（品質値）の少なくともいずれかが閾値以上であるか否かを判定する（ステップＳ１２）。ステップＳ１２で「Ｎｏ」と判定された場合には、図５のステップＳ３が実行される。ステップＳ１２「Ｙｅｓ」と判定された場合には、特定部３０は、複数の撮影画像のうち品質値が閾値以上となる撮影画像において、光の反射量が、上記所定値以上となる領域が含まれるか否かを判定する（ステップＳ１３）。ステップＳ１３で「Ｎｏ」と判定された場合には、図５のステップＳ３が実行される。ステップＳ１３で「Ｙｅｓ」と判定された場合には、判定部５０は、複数の撮影画像が人物の表示物を撮影したものであると判定する（ステップＳ１４）。
　図９は、実施例５に係る判定装置１００ｂの全体構成を例示するブロック図である。図９で例示するように、判定装置１００ｂが実施例１の判定装置１００と異なる点は、検出部９０をさらに備える点である。ＣＰＵ１０１が判定プログラムを実行することで、検出部９０も実現されてもよい。また、検出部９０として、専用の回路などのハードウェアを用いてもよい。
　撮影画像のうち、人物の領域（例えば、顔領域）を抽出してもよい。例えば、顔が表示物ではなく本物であれば、検出される反射領域は限られる。例えば、反射領域は、眼鏡部分、頬や額の一部などのテカリである。したがって、図１０で例示するように顔領域Ｆ内で一定以上の面積の反射領域Ｒが検出されることは不自然である。そこで、顔領域Ｆにおいて、反射領域Ｒの面積の割合が閾値以上であれば、撮影画像を表示物の画像であると判定することができる。
　図１１は、判定装置１００ｂの動作の一例を表すフローチャートである。図１１のフローチャートは、図５のステップＳ２の実行後に実行される。
　まず、検出部９０は、画像格納部２０が格納している複数の撮影画像から顔領域Ｆを検出する（ステップＳ２１）。次に、判定部５０は、複数の撮影画像の少なくともいずれかにおける顔領域Ｆにおいて反射領域Ｒの面積が閾値以上となるか否かを判定する（ステップＳ２２）。ステップＳ２２で「Ｎｏ」と判定された場合には、図５のステップＳ３が実行される。ステップＳ２２「Ｙｅｓ」と判定された場合には、判定部５０は、複数の撮影画像が人物の表示物を撮影したものであると判定する（ステップＳ２３）。
　なお、撮影画像から人物領域を検出する技術としては、セマンテックセグメンテーションを用いた検出手法を用いることができる。または、ＭＴＣＮＮ（Multi-task Cascaded Convolutional Neural Networks、マルチタスクカスケード畳み込みネットワーク）を用いた顔領域検出手法を用いることができる。
　または、撮影画像から人物を検出し、人物領域と背景領域とに分離する技術として、“Zhao et al., "Pyramid Scene Parsing Network", CVPR2017”、“Zhang et al., "Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks", IEEE Signal Processing Letters (Volume: 23 , Issue: 10 , Oct. 2016)”などを用いることができる。
　または、顔領域および背景領域と、反射領域との関係を用いて、表示物の判定を行なってもよい。具体的には、本物であれば、検出される反射領域は、顔領域からはみ出すことはない。また、検出される反射領域は、背景からはみ出すこともない。映り込みは、顔領域または背景から、境界を交差して検出されることが多い。したがって、図１２で例示するように顔領域から外部にかけて反射領域が連続して検出された場合に、撮影画像が表示物の画像であると判定してもよい。
　図１３は、実施例６に係る判定装置の動作の一例を表すフローチャートである。図１４のフローチャートは、図５のステップＳ２の実行後に実行される。実施例６に係る判定装置の構成は、例えば、実施例５に係る判定装置１００ｂと同様である。
　まず、検出部９０は、画像格納部２０が格納している複数の撮影画像から顔領域Ｆを検出する（ステップＳ３１）。次に、判定部５０は、複数の撮影画像の少なくともいずれかにおいて、顔領域Ｆから外部にかけて反射領域Ｒが連続して検出されてはみ出ているか否かを判定する（ステップＳ３２）。ステップＳ３２で「Ｎｏ」と判定された場合には、図５のステップＳ３が実行される。ステップＳ３２「Ｙｅｓ」と判定された場合には、判定部５０は、複数の撮影画像が人物の表示物を撮影したものであると判定する（ステップＳ３３）。
　上記各例において、通常の撮影カメラへの適用を想定しているが、反射量の推定はグレースケール画像からも計算可能なため、赤外線カメラや深度カメラの出力するグレースケール画像に対して適用してもよい。
　以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　１０　取得部
　２０　画像格納部
　３０　特定部
　４０　動き検出部
　５０　判定部
　６０　照合部
　７０　登録データ格納部
　１００　判定装置
　１０５　表示装置
　１０７　カメラ

Claims (27)

  1. 　カメラにより異なる時刻に撮影された、人物の画像領域を含む複数の撮影画像を取得する取得部と、
    　前記複数の撮影画像から、光の反射量が閾値以上となる反射領域を特定する特定部と、
    　前記複数の撮影画像間における、前記反射領域に含まれる画素の変化と、前記反射領域以外である非反射領域の画素の変化との差に応じて、前記複数の撮影画像が前記人物の表示物を撮影したものかを判定する判定部と、を備えることを特徴とする判定装置。
  2. 　前記判定部は、前記差が閾値以上であれば前記複数の撮影画像が前記人物の表示物を撮影したものであると判定し、前記差が前記閾値未満であれば前記複数の撮影画像が前記人物の表示物を撮影したものではないと判定することを特徴とする請求項１に記載の判定装置。
  3. 　前記特定部が前記複数の撮影画像のそれぞれについて複数の反射領域を特定した場合に、前記判定部は、前記複数の撮影画像間における、前記複数の反射領域の画素の変化の差が閾値以下で、前記複数の反射領域の画素の変化と前記非反射領域の画素の変化との差が閾値以上となる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１または請求項２に記載の判定装置。
  4. 　前記特定部は、前記複数の撮影画像の品質に応じて、前記反射領域を特定するために用いる前記閾値を変更することを特徴とする請求項１から請求項３のいずれか一項に記載の判定装置。
  5. 　前記判定部は、前記複数の撮影画像のうち品質が閾値以上となる撮影画像において、光の反射量が、前記反射領域を特定するために用いる前記閾値よりも大きい閾値以上となる領域が含まれる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１から請求項４のいずれか一項に記載の判定装置。
  6. 　前記品質は、撮影画像のボケ具合に応じて定まることを特徴とする請求項４または請求項５に記載の判定装置。
  7. 　前記複数の撮影画像から前記人物の顔領域を検出する検出部を備え、
    　前記判定部は、前記複数の撮影画像の少なくともいずれかにおける前記顔領域において前記反射領域の面積が閾値以上となる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１から請求項６のいずれか一項に記載の判定装置。
  8. 　前記複数の撮影画像から前記人物の顔領域を検出する検出部を備え、
    　前記判定部は、前記複数の撮影画像の少なくともいずれかにおいて、前記顔領域から外部にかけて前記反射領域が連続して検出された場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１から請求項６のいずれか一項に記載の判定装置。
  9. 　前記判定部が、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定しなかった場合に、前記複数の撮影画像の少なくとも一部と、予め登録されている登録データとを照合する照合部をさらに備えることを特徴とする請求項１から請求項８のいずれか一項に記載の判定装置。
  10. 　カメラにより異なる時刻に撮影された、人物の画像領域を含む複数の撮影画像を取得し、
    　前記複数の撮影画像から、光の反射量が閾値以上となる反射領域を特定し、
    　前記複数の撮影画像間における、前記反射領域に含まれる画素の変化と、前記反射領域以外である非反射領域の画素の変化との差に応じて、前記複数の撮影画像が前記人物の表示物を撮影したものかを判定する、処理をコンピュータが実行することを特徴とする判定方法。
  11. 　前記差が閾値以上であれば前記複数の撮影画像が前記人物の表示物を撮影したものであると判定し、前記差が前記閾値未満であれば前記複数の撮影画像が前記人物の表示物を撮影したものではないと判定することを特徴とする請求項１０に記載の判定装置。
  12. 　前記複数の撮影画像のそれぞれについて複数の反射領域が特定された場合に、前記複数の撮影画像間における、前記複数の反射領域の画素の変化の差が閾値以下で、前記複数の反射領域の画素の変化と前記非反射領域の画素の変化との差が閾値以上となる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１０または請求項１１に記載の判定方法。
  13. 　前記複数の撮影画像の品質に応じて、前記反射領域を特定するために用いる前記閾値を変更することを特徴とする請求項１０から請求項１２のいずれか一項に記載の判定方法。
  14. 　前記複数の撮影画像のうち品質が閾値以上となる撮影画像において、光の反射量が、前記反射領域を特定するために用いる前記閾値よりも大きい閾値以上となる領域が含まれる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１０から請求項１３のいずれか一項に記載の判定方法。
  15. 　前記品質を、撮影画像のボケ具合に応じて定めることを特徴とする請求項１３または請求項１４に記載の判定方法。
  16. 　前記複数の撮影画像から前記人物の顔領域を検出する処理を前記コンピュータが実行し、
    　前記複数の撮影画像の少なくともいずれかにおける前記顔領域において前記反射領域の面積が閾値以上となる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１０から請求項１５のいずれか一項に記載の判定方法。
  17. 　前記複数の撮影画像から前記人物の顔領域を検出する処理を前記コンピュータが実行し、
    　前記複数の撮影画像の少なくともいずれかにおいて、前記顔領域から外部にかけて前記反射領域が連続して検出された場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１０から請求項１５のいずれか一項に記載の判定方法。
  18. 　前記複数の撮影画像が前記人物の表示物を撮影したものであると判定しなかった場合に、前記複数の撮影画像の少なくとも一部と、予め登録されている登録データとを照合する処理を前記コンピュータが実行することを特徴とする請求項１０から請求項１７のいずれか一項に記載の判定方法。
  19. 　コンピュータに、
    　カメラにより異なる時刻に撮影された、人物の画像領域を含む複数の撮影画像を取得する処理と、
    　前記複数の撮影画像から、光の反射量が閾値以上となる反射領域を特定する処理と、
    　前記複数の撮影画像間における、前記反射領域に含まれる画素の変化と、前記反射領域以外である非反射領域の画素の変化との差に応じて、前記複数の撮影画像が前記人物の表示物を撮影したものかを判定する処理と、実行させることを特徴とする判定プログラム。
  20. 　前記差が閾値以上であれば前記複数の撮影画像が前記人物の表示物を撮影したものであると判定し、前記差が前記閾値未満であれば前記複数の撮影画像が前記人物の表示物を撮影したものではないと判定することを特徴とする請求項１９に記載の判定プログラム。
  21. 　前記複数の撮影画像のそれぞれについて複数の反射領域が特定された場合に、前記複数の撮影画像間における、前記複数の反射領域の画素の変化の差が閾値以下で、前記複数の反射領域の画素の変化と前記非反射領域の画素の変化との差が閾値以上となる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１９または請求項２０に記載の判定プログラム。
  22. 　前記複数の撮影画像の品質に応じて、前記反射領域を特定するために用いる前記閾値を変更することを特徴とする請求項１９から請求項２１のいずれか一項に記載の判定プログラム。
  23. 　前記複数の撮影画像のうち品質が閾値以上となる撮影画像において、光の反射量が、前記反射領域を特定するために用いる前記閾値よりも大きい閾値以上となる領域が含まれる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１９から請求項２２のいずれか一項に記載の判定プログラム。
  24. 　前記品質を、撮影画像のボケ具合に応じて定めることを特徴とする請求項２２または請求項２３に記載の判定プログラム。
  25. 　前記コンピュータに、
    　前記複数の撮影画像から前記人物の顔領域を検出する処理を実行させ、
    　前記複数の撮影画像の少なくともいずれかにおける前記顔領域において前記反射領域の面積が閾値以上となる場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１９から請求項２４のいずれか一項に記載の判定プログラム。
  26. 　前記コンピュータに、
    　前記複数の撮影画像から前記人物の顔領域を検出する処理を実行させ、
    　前記複数の撮影画像の少なくともいずれかにおいて、前記顔領域から外部にかけて前記反射領域が連続して検出された場合に、前記複数の撮影画像が前記人物の表示物を撮影したものであると判定することを特徴とする請求項１９から請求項２４のいずれか一項に記載の判定プログラム。
  27. 　前記コンピュータに、
    　前記複数の撮影画像が前記人物の表示物を撮影したものであると判定しなかった場合に、前記複数の撮影画像の少なくとも一部と、予め登録されている登録データとを照合する処理を実行させることを特徴とする請求項１９から請求項２６のいずれか一項に記載の判定プログラム。
    　
PCT/JP2021/044955 2021-12-07 2021-12-07 判定装置、判定方法、および判定プログラム WO2023105635A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044955 WO2023105635A1 (ja) 2021-12-07 2021-12-07 判定装置、判定方法、および判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044955 WO2023105635A1 (ja) 2021-12-07 2021-12-07 判定装置、判定方法、および判定プログラム

Publications (1)

Publication Number Publication Date
WO2023105635A1 true WO2023105635A1 (ja) 2023-06-15

Family

ID=86729917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044955 WO2023105635A1 (ja) 2021-12-07 2021-12-07 判定装置、判定方法、および判定プログラム

Country Status (1)

Country Link
WO (1) WO2023105635A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877816B1 (ko) * 2017-02-20 2018-07-12 주식회사 에스원 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템
US20180349721A1 (en) * 2017-06-06 2018-12-06 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
WO2019017080A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法
JP2019220047A (ja) * 2018-06-22 2019-12-26 富士通株式会社 認証装置、認証プログラム、認証方法
JP2021101288A (ja) * 2019-12-24 2021-07-08 株式会社東海理化電機製作所 制御装置、コンピュータプログラム、および認証システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877816B1 (ko) * 2017-02-20 2018-07-12 주식회사 에스원 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템
US20180349721A1 (en) * 2017-06-06 2018-12-06 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
WO2019017080A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法
JP2019220047A (ja) * 2018-06-22 2019-12-26 富士通株式会社 認証装置、認証プログラム、認証方法
JP2021101288A (ja) * 2019-12-24 2021-07-08 株式会社東海理化電機製作所 制御装置、コンピュータプログラム、および認証システム

Similar Documents

Publication Publication Date Title
US11288504B2 (en) Iris liveness detection for mobile devices
US9652663B2 (en) Using facial data for device authentication or subject identification
CN108197586B (zh) 脸部识别方法和装置
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
TWI686774B (zh) 人臉活體檢測方法和裝置
Xu et al. Virtual u: Defeating face liveness detection by building virtual models from your public photos
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Kim et al. A motion and similarity-based fake detection method for biometric face recognition systems
Chakraborty et al. An overview of face liveness detection
Anjos et al. Counter-measures to photo attacks in face recognition: a public database and a baseline
US20180034852A1 (en) Anti-spoofing system and methods useful in conjunction therewith
JP5639478B2 (ja) デジタル画像における顔の表情の検出
US20200257892A1 (en) Methods and systems for matching extracted feature descriptors for enhanced face recognition
US11989975B2 (en) Iris authentication device, iris authentication method, and recording medium
Rehman et al. Enhancing deep discriminative feature maps via perturbation for face presentation attack detection
US20210248401A1 (en) System and method for face spoofing attack detection
Kim et al. Face spoofing detection with highlight removal effect and distortions
Cho et al. Face recognition performance comparison between fake faces and live faces
Ebihara et al. Efficient face spoofing detection with flash
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
US11087121B2 (en) High accuracy and volume facial recognition on mobile platforms
WO2023105635A1 (ja) 判定装置、判定方法、および判定プログラム
CN110688967A (zh) 用于静态人脸活体检测的系统以及方法
Alhamazani et al. [Retracted] Using Depth Cameras for Recognition and Segmentation of Hand Gestures
JP2013029996A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967137

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE