WO2018012928A1 - 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치 - Google Patents

얼굴 인식을 이용한 사용자 인증 방법 및 그 장치 Download PDF

Info

Publication number
WO2018012928A1
WO2018012928A1 PCT/KR2017/007575 KR2017007575W WO2018012928A1 WO 2018012928 A1 WO2018012928 A1 WO 2018012928A1 KR 2017007575 W KR2017007575 W KR 2017007575W WO 2018012928 A1 WO2018012928 A1 WO 2018012928A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
face
user authentication
face image
figures
Prior art date
Application number
PCT/KR2017/007575
Other languages
English (en)
French (fr)
Inventor
김용상
Original Assignee
김용상
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김용상 filed Critical 김용상
Priority to US16/317,647 priority Critical patent/US20190286798A1/en
Priority to CN201780055822.1A priority patent/CN109690542A/zh
Publication of WO2018012928A1 publication Critical patent/WO2018012928A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to a user authentication method and apparatus, and more particularly, to a method and apparatus for authenticating a user using a face photographed through a camera or the like.
  • the password-based authentication method is not only a risk that the password is exposed to others, but also inconveniences that the user must always remember the password.
  • Authentication methods using biometric information such as fingerprints or irises have the advantage that a user does not need to remember additional information and there is no risk of exposure to others, but requires a complex algorithm for analyzing fingerprints or irises.
  • the present invention is directed to a method and apparatus for authenticating a user through face recognition.
  • an example of a user authentication method comprises: photographing a face image of a user using a camera module in a user authentication method in a user authentication apparatus; Identifying a plurality of figures based on each position of an eye, a nose, a mouth, or an ear of the face image; And authenticating the identity of the user based on the plurality of figures.
  • the present invention it is possible to easily authenticate the user by photographing the user's face with a user terminal having a camera function, such as a smartphone.
  • a user terminal having a camera function such as a smartphone.
  • the user authentication process required for finance or various online services, etc. can be replaced with the present invention, thereby simplifying the complicated authentication process and allowing quick authentication.
  • it is possible to replace the authentication process with a numerical value of the facial features of each user can be utilized even in situations where the face hurt or face recognition is not easy.
  • through user authentication using the order and features of facial expression changes it is possible to prevent fake authentication using a photo, etc., which is not a real person.
  • you have a picture of criminals or terrorists can be quickly identified through the present invention.
  • FIG. 1 is a view showing a schematic structure of a user authentication method according to the present invention
  • FIG. 2 is a view showing the configuration of an embodiment of a user authentication device according to the present invention.
  • FIG. 3 is a diagram illustrating an example of a guide line provided when capturing a face image for user authentication according to the present invention
  • FIG. 4 illustrates an example of feature points for identifying a figure from a face image for user authentication according to the present invention
  • 5 to 12 illustrate an example of a figure grasped from a face image for user authentication according to the present invention
  • FIG. 13 and 14 illustrate an example of a method of identifying a user's identity based on the diagram of FIG. 12;
  • 15 and 16 illustrate an example of a method of identifying a user's identity based on the figure of FIG. 11;
  • 17 is a view showing an example of a method for generating a password from a face figure for user authentication according to the present invention.
  • FIG. 18 is a view illustrating a flow of an embodiment of a user authentication method according to the present invention.
  • FIG. 19 is a flowchart illustrating another embodiment of a user authentication method according to the present invention.
  • 20 is a view showing an example of a method of updating a guide line when photographing a face for user authentication according to the present invention
  • 21 is a diagram illustrating a plurality of face figures overlapping for user authentication according to the present invention.
  • FIG. 1 is a view showing a schematic structure of a user authentication method according to the present invention.
  • the user authentication apparatus 100 outputs a result of comparing a photographed face image with a pre-stored face image after capturing a face 110 of a person through a camera module.
  • the planar image is converted into a stereoscopic image, and each feature of the stereoscopic image is converted.
  • Very complex processes have to be carried out, such as analyzing and comparing them.
  • the present invention provides a method for accurately and quickly grasping the identity of a user's face without a complicated algorithm such as converting a face image into a 3D stereoscopic image.
  • the user authentication device 100 may be implemented in a device that can be built in or external to the camera module, such as a smartphone, a tablet PC, a general computer.
  • FIG. 2 is a diagram illustrating a configuration of an embodiment of a user authentication device according to the present invention.
  • the user authentication apparatus 100 includes a camera module 200, a reference figure setting unit 210, a photographing unit 220, a face figure detecting unit 230, and a user authentication unit 240. .
  • the camera module 200 may be implemented as various imaging devices such as a charge coupled device (CCD) capable of capturing still or moving images of a user's face.
  • CCD charge coupled device
  • the camera module 200 does not necessarily have to be embedded in the user authentication device 100, and the user authentication device 100 includes only an interface capable of mounting the camera module 200, and the camera module 200 is external. Can be implemented.
  • the photographing unit 220 controls the camera module to obtain a face image. Since the shooting distance or the shooting angle between the camera module 200 and the user's face may be changed every time the face is taken, the shooting angle and the shooting distance may be constant every time the face image is taken for user authentication. It is desirable to provide guide lines. For example, when a user authentication device is implemented in a user terminal such as a smartphone as shown in FIG. 3, the user photographs the face by fitting the face to the triangular guide line 310 shown on the screen of the smartphone 300. .
  • the guide line 310 is preferably adjusted to the user's face, which will be described again with reference to FIGS. 3 and 4.
  • the reference figure setting unit 210 identifies and stores a reference figure for a user face for user authentication. More specifically, the photographing unit 220 acquires a face image through the camera module 200, and the reference figure setting unit 210 determines a plurality of positions based on each position such as eyes, nose, mouth, and ear of the face image. The figure is identified and stored as a reference figure for user authentication.
  • the reference figure for user authentication set by the reference figure setting unit 210 may be protected by various conventional security algorithms or the like so as not to be modified or deleted by a third party.
  • the reference figure for user authentication is composed of polygons such as triangles and squares formed by connecting various positions that can be specified such as eyes, nose, mouth, and ears of the face.
  • the reference figure for user authentication may include a plurality of different figures as illustrated in FIGS. 5 to 12.
  • the reference figure may be composed of a plurality of figures as shown in FIG. 21.
  • the reference figure setting unit 210 may store reference figures for various user faces.
  • the reference figure setting unit 210 may include a first reference figure identified from a normal face image, a second reference figure identified from a frown face image, a third reference figure identified from a smiley face image, and one eye with a face closed.
  • Reference figures for various face shapes such as a fourth reference figure identified from the image may be identified and stored. Therefore, the user may perform an authentication process with a facial expression he knows or perform an authentication process by making a facial expression in a predetermined order.
  • the face figure detecting unit 230 detects a predetermined type of figure from the face image of the user photographed through the camera module. For example, if the reference figure for user authentication is composed of FIGS. 5 to 12, the face figure detecting unit 230 detects the figures of FIGS. 5 to 12 from the currently photographed face image.
  • the figure grasped from the face image by the face figure grasping unit 230 is called a face figure in order to distinguish it from the reference figure for user authentication grasped and stored by the reference figure setting unit 210.
  • the user authentication unit 240 compares the face figure detected from the photographed face image with the previously stored reference figure for user authentication to authenticate the user's identity. Even when the photographing angle and the photographing distance of the face image are coincident using the guide lines as shown in FIG. 3, the face image may not perfectly match with the previous photographing. Therefore, the user authentication unit may not compare the figures, but may authenticate the identity in consideration of the ratio relationship of the figures.
  • the size of the reference figure may be larger or smaller than the size of the face figure.
  • the user authentication unit 240 determines that the reference figure and the face figure are the same if the inverse triangle has the same ratio. In this manner, the user authentication unit 240 determines whether each figure of FIGS. 5 to 12 is identical.
  • the user authentication unit 240 may set the allowable error and determine that the same is within the error range. For example, the user authentication unit 240 may grasp the ratio relationship between the reference figure and the face figure, normalize the two figures to a certain size, and then determine that the two figures that are normalized are equal when the match ratio of the normalized figures is 95% or more.
  • the user authenticator 240 may determine whether the figures are identical based on numerical values such as length, height, area, angle, etc. of the figures, rather than comparing the figures themselves.
  • the user authentication unit normalizes the reference figure and the face figure to a certain size, grasps values such as length, height, area, and angle, and then determines whether the values are within an allowable error range.
  • the user authentication unit 240 generates and stores a ciphertext having a predetermined length consisting of numbers, letters, special symbols, etc. using the numerical values of the reference figures, and receives the ciphertext from the user to perform authentication. can do. Authentication using cipher text may be useful when the user cannot recognize the face due to an accident. This will be described in more detail with reference to FIG. 17.
  • the user authenticator 240 may receive a plurality of facial expressions from the user, and may recognize user identity based on whether the order of the plurality of facial expressions is identical.
  • the reference figure setting unit 210 grasps the reference figures for the plurality of facial expressions and stores them together with the order information of the facial expressions
  • the user authentication unit 240 is identified through the facial figure identifying unit 230.
  • User identity may be authenticated based on whether the face figures for the plurality of facial expressions match the reference figures for each facial expression.
  • FIG. 3 is a diagram illustrating an example of a guide line provided when capturing a face image for user authentication according to the present invention.
  • the guide line 310 is an inverted triangular shape, but is not limited thereto, and may be implemented in various kinds of shapes such as a rectangle, a pentagon, a circle, or a shape of an eye, a nose, a mouth, or a combination thereof. It may be variously modified according to the embodiment.
  • a guide line 310 as shown in FIG. 3 is displayed on the capture screen.
  • the user adjusts each vertex of the triangle 310 to match the two points 404 and 412 inside the eye and the lower part 462 of the nose, and then photographs a face image.
  • each vertex of the triangle 310 may not exactly match the two points 404 and 412 inside the eye and the lower portion 462. In this case, the user photographs the face by roughly fitting the face to the guide line 310.
  • the user authentication apparatus photographs a face image for generating a reference figure for user authentication
  • the user image is analyzed to generate a reference figure as shown in FIGS. 5 to 12.
  • the guide line of FIG. 3 is based on the identified reference figure.
  • the 310 may be adjusted to fit the user's face.
  • the user authentication apparatus updates the inverted triangle 500 identified through FIG. 5 with a new guide line. Therefore, when the user subsequently wants to photograph for authentication, the guide line displayed on the screen becomes the inverted triangle 500 of FIG. 4 instead of the inverted triangle 310 of FIG. 3.
  • the user may photograph the face image using the updated guide line 500 in a state in which the photographing angle coincides with the photographing angle or the photographing distance generated when the reference figure is generated.
  • FIG. 4 is a diagram illustrating an example of feature points for identifying a figure from a face image for user authentication according to the present invention.
  • the apparatus for authenticating a user provides a guide line 500 adjusted for each user, and photographs a user's face aligned with the guide line.
  • the user authentication device notifies whether the user's face is aligned with the guide line through a color change or a sound of the guide line so that the user can easily identify the guide line.
  • the user authentication device first displays the guide line of the inverted triangle 500 in white, and if each vertex of the inverted triangle 500 coincides with the inner side of the eye (404,412) and the lower end of the nose (462). Change the guide line to green, etc.
  • the user authentication device may enable face photographing only when the face is aligned with the guide line.
  • the user authentication apparatus When the face image is captured, the user authentication apparatus recognizes various face figures of FIGS. 5 to 12 based on the feature points 400 to 464 of the face image. Since there are various conventional face analysis algorithms for detecting various positions such as eyes, nose, mouth, and ears from the face image, a description of a method of detecting each position of the face is omitted in the present embodiment.
  • 5 to 12 are diagrams showing an example of a figure grasped from a face image for user authentication according to the present invention.
  • the user authentication device includes an inverted triangle (500 in FIG. 5) connecting the inner side 404 of the eye and the lower end point 462 of the nose, the middle points of both ends 402 and 414 of the eye, and the lips ( 442 connecting the inverted triangle (600 in FIG. 6), the center point 470 between the eyes and the lower portion of the ear (420, 426) connecting the link (700 in FIG. 7), both from the center of the eyes (408,418) downward
  • a triangle connecting the two points (430,432) where the vertical line meets the upper part of the lips and the center point 470 between the eyes (800 in FIG. 8), and a straight line vertically downward from the center of both eyes
  • FIG. 13 and 14 illustrate an example of a method of identifying a user's identity based on the figure of FIG. 12.
  • the triangles 1310 and 1320 of FIG. 13 are inclined inwardly, and the triangles 1410 and 1420 of FIG. 14 are inclined outwardly.
  • the inclination of each of the triangles 1310, 3120, 1410, and 1420 of FIGS. 13 and 14 is inclined to the triangle 1210 of FIG. 12. It can be determined whether the same person is compared with the slope of (1220).
  • the area of the triangles 1210 and 1220 of the reference figure of FIG. 12 and the area of the triangles 1310 and 1320 of FIGS. By comparison, it can be used to identify identity.
  • 15 and 16 illustrate an example of a method of identifying a user's identity based on the figure of FIG. 11.
  • FIG. 11 is a reference figure 1100 for user authentication, the height, length, area, etc. of the trapezoid 1100 of FIG. 11, and the height, length, area, etc. of the trapezoids 1510, 1610 of FIGS. I can figure it out.
  • 17 is a diagram illustrating an example of a method for generating a password from a face figure for user authentication according to the present invention.
  • the apparatus for authenticating a user grasps values such as heights, lengths, areas, and the like of each figure of FIGS. 5 to 12, and combines all or some of these values to create and store a password.
  • the apparatus for authenticating a user may make numerical values grasped from each figure into a value of a specific length by using various operations or functions. For example, the apparatus for authenticating a user may create a value having a predetermined length by using a hash function that uses the height, the length, and the area of each figure as input values, and use the cipher as a password.
  • FIG. 18 is a flowchart illustrating an embodiment of a user authentication method according to the present invention.
  • the apparatus for authenticating a user generates and stores a reference figure for user authentication by capturing a face image (S1800).
  • a guide line as shown in FIG. 3 is provided on the screen in order to capture a user's face image more accurately.
  • the user captures a face image by fitting a face to a guide line displayed on a screen.
  • the user authentication apparatus photographs a face image (S1810), and extracts a face figure from the photographed face image (S1820).
  • the user authentication device does not provide the same guide line as before, but provides an updated guide line based on information obtained when the reference figure is generated.
  • FIG. 19 is a flowchart illustrating another embodiment of a user authentication method according to the present invention.
  • the user authentication apparatus photographs a face image to generate and store a reference figure for user authentication (S1900).
  • the guide line as shown in FIG. 3 is provided on the screen.
  • the user captures a face image by fitting a face to a guide line displayed on a screen.
  • the user authentication device generates and stores a cipher text using numerical information such as the length, height, area, etc. of the reference figure as shown in FIG. 17 (S1910).
  • the user inputs a cipher text instead of photographing a face for authentication (S1920).
  • the user authentication device authenticates user identity based on whether the ciphertext input from the user and the previously stored ciphertext match.
  • 20 is a diagram illustrating an example of a method of updating a guide line when photographing a face for user authentication according to the present invention.
  • the apparatus for authenticating a user displays a guide line for capturing a face image on a screen (S2000).
  • the user authentication apparatus analyzes the face image to determine a reference figure or the like (S2020).
  • the user authentication device updates the guide line according to the reference figure (S2030).
  • 21 is a diagram illustrating a plurality of face figures overlapping for user authentication according to the present invention.
  • the apparatus for authenticating a user authenticates the same person when the plurality of face figures identified by the user match the reference figure.
  • the heights of the plurality of facial figures may be determined based on the reference line 2100 passing through the center of the face. Therefore, it is possible to authenticate whether the same person is based on the height ratio of each figure determined based on the reference line 2100 and the height ratio of the reference figure.
  • the plurality of face figures may be normalized based on the reference line 2100 to easily determine whether the face figures are identical to the reference figure.
  • the user authentication device may be implemented as a device such as a server to store reference figures for a plurality of users, and identify and compare the same person by receiving and comparing face images photographed through an external CCTV or a camera of a user terminal. . Therefore, criminals and missing persons can be identified in real time.
  • the invention can also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 출원은 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치이며, 카메라 모듈을 이용하여 사용자의 얼굴 영상을 촬영하고, 얼굴 영상의 눈, 코, 입 또는 귀의 각 위치를 기준으로 복수의 도형을 파악한 후 복수의 도형을 기준으로 사용자의 동일성을 인증한다. 또한, 본 출원은 종래에 사용된 복잡한 사용자 인증 과정을 단순화할 수 있고 빠르게 인증할 수 있으며, 사용자별 얼굴의 특징을 수치화한 값으로 인증 과정을 대체할 수 있어 얼굴을 다치거나 얼굴 인식이 용이하지 아니한 상황에서도 활용할 수 있다.

Description

얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
본 발명은 사용자 인증 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 카메라 등을 통해 촬영된 얼굴을 이용하여 사용자를 인증하는 방법 및 그 장치에 관한 것이다.
사용자 인증은 금융이나 온라인 쇼핑, 결제 등 다양한 분야에 널리 사용되고 있다. 그러나 대부분의 인증 방법은 패스워드를 입력하는 방법이며, 일부 지문이나 홍채 등의 생체 정보를 이용하는 방법도 제시된다.
패스워드 기반의 인증 방법은 패스워드가 타인에게 노출될 위험성이 존재할 뿐만 아니라 사용자가 패스워드를 항상 기억하고 있어야 하는 불편함이 있다. 지문이나 홍채 등의 생체 정보를 이용한 인증 방법은 사용자가 별도의 정보를 기억할 필요가 없으며 타인에게 노출될 위험이 없는 장점은 있으나, 지문이나 홍채를 분석하기 위한 복잡한 알고리즘이 필요로 한다.
본 발명이 이루고자 하는 기술적 과제는, 얼굴 인식을 통해 사용자를 인증하는 방법 및 그 장치에 관한 것이다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 사용자 인증 방법의 일 예는, 사용자 인증 장치에서의 사용자 인증 방법에 있어서, 카메라 모듈을 이용하여 사용자의 얼굴 영상을 촬영하는 단계; 상기 얼굴 영상의 눈, 코, 입 또는 귀의 각 위치를 기준으로 복수의 도형을 파악하는 단계; 상기 복수의 도형을 기준으로 사용자의 동일성을 인증하는 단계;를 포함한다.
본 발명에 따르면, 스마트폰 등과 같이 카메라 기능이 있는 사용자 단말로 사용자 얼굴을 촬영하여 용이하게 사용자를 인증할 수 있다. 종래 스마트폰 등에서 금융이나 각종 온라인 서비스 등에 필요한 사용자 인증 과정을 본 발명으로 대체하여 복잡한 인증과정을 단순화할 수 있고 빠르게 인증할 수 있다. 또한, 사용자별 얼굴의 특징을 수치화한 값으로 인증 과정을 대체할 수 있어 얼굴을 다치거나 얼굴 인식이 용이하지 아니한 상황에서도 활용이 가능하다. 또한, 얼굴의 표정 변화의 순서와 특징을 이용한 사용자 인증을 통해, 실제 사람이 아닌 사진 등을 이용한 가짜 인증을 방지할 수 있다. 또한, 범죄자나 테러리스트의 사진을 가지고 있다면 본 발명을 통해 신속하게 식별할 수 있다.
도 1은 본 발명에 따른 사용자 인증 방법의 개략적인 구조를 도시한 도면,
도 2는 본 발명에 따른 사용자 인증 장치의 일 실시 예의 구성을 도시한 도면,
도 3은 본 발명에 따른 사용자 인증을 위한 얼굴 영상 촬영시 제공되는 가이드 선의 일 예를 도시한 도면,
도 4는 본 발명에 따른 사용자 인증을 위하여 얼굴 영상으로부터 도형을 파악하기 위한 특징점들의 일 예를 도시한 도면,
도 5 내지 도 12는 본 발명에 따른 사용자 인증을 위해 얼굴 영상으로부터 파악되는 도형의 일 예를 도시한 도면,
도 13 및 도 14는 도 12의 도형을 기초로 사용자의 동일성을 파악하는 방법의 일 예를 도시한 도면,
도 15 및 도 16은 도 11의 도형을 기초로 사용자의 동일성을 파악하는 방법의 일 예를 도시한 도면,
도 17은 본 발명에 따른 사용자 인증을 위한 얼굴 도형으로부터 암호를 생성하는 방법의 일 예를 도시한 도면,
도 18은 본 발명에 따른 사용자 인증 방법의 일 실시 예의 흐름을 도시한 도면,
도 19는 본 발명에 따른 사용자 인증 방법의 다른 실시 예의 흐름을 도시한 도면,
도 20은 본 발명에 따른 사용자 인증을 위한 얼굴 촬영시 가이드 선의 갱신 방법의 일 예를 도시한 도면, 그리고,
도 21은 본 발명에 따른 사용자 인증을 위한 복수의 얼굴 도형을 중첩하여 도시한 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 사용자 인증 방법 및 그 장치에 대해 상세히 설명한다.
도 1은 본 발명에 따른 사용자 인증 방법의 개략적인 구조를 도시한 도면이다.
도 1을 참조하면, 사용자 인증 장치(100)는 카메라 모듈을 통해 사람의 얼굴(110)을 촬영한 후 촬영한 얼굴 영상이 기 저장된 얼굴 영상과 동일한지 비교하여 그 결과를 출력한다.
기 저장된 얼굴 영상과 촬영된 얼굴 영상을 단순히 비교하여 동일인인지 파악하는 것은 어렵다. 예를 들어, 얼굴 영상을 촬영할 때의 촬영각도나 촬영거리 등 각종 촬영 조건이 매번 정확하게 일치하지 아니하며, 따라서 두 얼굴 영상이 동일인인지 파악하기 위해서는 평면 영상을 입체 영상으로 변환하고, 입체 영상의 각 특징점을 분석하고 비교하여야 하는 등 매우 복잡한 과정이 수행되어야 한다.
이에, 본 발명은 얼굴 영상을 3차원 입체 영상으로 변환하는 과정 등의 복잡한 알고리즘 없이 사용자 얼굴의 동일성을 정확하고 신속하게 파악할 수 있는 방법을 제시한다.
본 실시 예에서 사용자 인증 장치(100)는 스마트폰, 태블릿PC, 일반 컴퓨터 등 카메라 모듈을 내장 또는 외장할 수 있는 장치에 구현될 수 있다.
도 2는 본 발명에 따른 사용자 인증 장치의 일 실시 예의 구성을 도시한 도면이다.
도 2를 참조하면, 사용자 인증 장치(100)는 카메라 모듈(200), 기준도형 설정부(210), 촬영부(220), 얼굴도형 파악부(230) 및 사용자 인증부(240)를 포함한다.
카메라 모듈(200)은 사용자 얼굴에 대한 정지영상 또는 동영상을 촬영할 수 있는 CCD(Charge Coupled Device) 등과 같은 각종 촬상 소자로 구현될 수 있다. 카메라 모듈(200)은 사용자 인증 장치(100)에 반드시 내장되어야 하는 것은 아니며, 사용자 인증 장치(100)는 카메라 모듈(200)을 탑재할 수 있는 인터페이스만을 포함하고, 카메라 모듈(200)은 외장형으로 구현될 수 있다.
촬영부(220)는 카메라 모듈을 제어하여 얼굴 영상을 획득한다. 얼굴을 촬영할 때마다 카메라 모듈(200)과 사용자 얼굴 사이의 촬영 거리나 촬영 각도 등이 달라질 수 있으므로, 사용자 인증을 위한 얼굴 영상 촬영시 촬영각도 및 촬영거리가 매번 일정할 수 있도록 얼굴 영상 촬영을 위한 가이드 선을 제공하는 것이 바람직하다. 예를 들어, 도 3과 같이 스마트폰 등의 사용자 단말에 사용자 인증 장치가 구현된 경우에, 사용자는 스마트폰(300)의 화면에 도시된 삼각형 모양의 가이드 선(310)에 얼굴을 맞추어 촬영한다. 가이드 선(310)은 사용자 얼굴에 맞게 조정되는 것이 바람직하며, 이에 대해서는 도 3 및 도 4에서 다시 설명한다.
기준 도형 설정부(210)는 사용자 인증을 위하여 사용자 얼굴에 대한 기준 도형을 파악하고 저장한다. 보다 구체적으로, 촬영부(220)는 카메라 모듈(200)을 통해 얼굴 영상을 획득하고, 기준 도형 설정부(210)는 얼굴 영상의 눈, 코, 입, 귀 등의 각 위치를 기준으로 복수의 도형을 파악하여 사용자 인증용 기준 도형으로 저장한다. 기준 도형 설정부(210)에 의해 설정된 사용자 인증용 기준 도형은 제3자에 의해 변형 또는 삭제되지 못하도록 종래의 다양한 보안 알고리즘 등에 의해 보호되는 것이 바람직하다.
사용자 인증용 기준 도형은 얼굴의 눈, 코, 입, 귀 등 특정할 수 있는 각종 위치를 연결하여 형성되는 삼각형, 사각형 등의 다각형으로 구성된다. 사용자 인증용 기준 도형은 도 5 내지 도 12과 같이 서로 다른 도형을 복수 개 포함할 수 있다. 예를 들어, 기준 도형은 도 21과 같이 복수 개의 도형으로 구성될 수 있다.
기준 도형 설정부(210)는 다양한 사용자 얼굴에 대한 기준 도형을 저장할 수 있다. 예를 들어, 기준 도형 설정부(210)는 평상시 얼굴 영상으로부터 파악된 제1 기준 도형, 찡그린 얼굴 영상으로부터 파악된 제2 기준 도형, 웃는 얼굴 영상으로부터 파악된 제3 기준 도형, 한쪽 눈은 감은 얼굴 영상으로부터 파악된 제4 기준 도형 등 다양한 얼굴 형태에 대한 기준 도형을 파악하여 저장할 수 있다. 따라서 사용자는 자신이 아는 표정으로 인증 과정을 수행하거나, 기 설정된 순서로 얼굴 표정을 지어 인증 과정을 수행할 수 있다.
얼굴 도형 파악부(230)는 카메라 모듈을 통해 촬영된 사용자의 얼굴 영상으로부터 기 설정된 종류의 도형을 파악한다. 예를 들어, 사용자 인증용 기준 도형이 도 5 내지 도 12로 구성되었다면, 얼굴 도형 파악부(230)는 현재 촬영된 얼굴 영상으로부터 도 5 내지 도 12의 도형을 파악한다. 이하에서, 기준 도형 설정부(210)가 파악하여 저장한 사용자 인증용 기준 도형과 구분하기 위하여 얼굴 도형 파악부(230)가 얼굴 영상으로부터 파악한 도형을 얼굴 도형이라고 한다.
사용자 인증부(240)는 촬영된 얼굴 영상으로부터 파악한 얼굴 도형과 기 저장된 사용자 인증용 기준 도형을 비교하여 사용자의 동일성 여부를 인증한다. 도 3과 같은 가이드 선을 이용하여 얼굴 영상의 촬영 각도와 촬영 거리 등을 일치하게 하여도, 얼굴 영상이 이전 촬영시와 완벽히 일치할 수 없다. 따라서 사용자 인증부는 단순히 도형을 비교하는 것이 아니라, 도형의 비율관계를 고려하여 동일성 여부를 인증할 수 있다.
예를 들어, 도 5와 같은 역삼각형(500)의 경우, 기준 도형의 크기가 얼굴 도형의 크기보다 크거나 작을 수 있다. 이 경우, 사용자 인증부(240)는 기준 도형과 얼굴 도형이 동일한 비율의 역삼각형이면 동일하다고 파악한다. 이와 같은 방법으로, 사용자 인증부(240)는 도 5 내지 도 12의 각 도형의 동일성 여부를 파악한다.
기준 도형과 얼굴 도형이 100% 일치하지 않을 수 있으므로, 사용자 인증부(240)는 허용 가능한 오차를 설정하고 그 오차 범위 내이면 동일하다고 파악하는 것이 바람직하다. 예를 들어, 사용자 인증부(240)는 기준 도형과 얼굴 도형의 비율 관계를 파악하여, 두 도형을 일정 크기로 정규화한 후 정규화한 두 도형의 일치율이 95% 이상이면 동일하다고 파악할 수 있다.
다른 실시 예로, 사용자 인증부(240)는 도형 그 자체의 비교가 아니라, 도형의 길이, 높이, 면적, 각도 등과 같은 수치화된 값을 기준으로 동일성 여부를 파악할 수 있다. 예를 들어, 사용자 인증부는 기준 도형과 얼굴 도형을 일정 크기로 정규화하고, 길이, 높이, 면적, 각도 등의 값을 파악한 후 그 값들이 허용 가능한 오차 범위 내인지 파악한다.
또 다른 실시 예로, 사용자 인증부(240)는 기준 도형들의 수치화된 값들을 이용하여 숫자, 문자, 특수 기호 등으로 구성된 일정 길이의 암호문을 생성하여 저장한 후, 사용자로부터 암호문을 입력받아 인증을 수행할 수 있다. 암호문을 이용한 인증은 사용자가 사고 등으로 인해 얼굴 인식을 할 수 없는 경우 유용하게 활용될 수 있다. 이에 대해서는 도 17에서 보다 상세히 설명한다.
또 다른 실시 예로, 사용자 인증부(240)는 사용자로부터 복수 개의 표정을 입력받고, 그 복수 개의 표정의 순서가 일치하는지 여부를 기초로 사용자 동일성을 인정할 수 있다. 기준 도형 설정부(210)가 복수의 얼굴 표정에 대한 기준 도형을 파악하여 얼굴 표정의 순서 정보와 함께 저장하고 있는 경우에, 사용자 인증부(240)는 얼굴 도형 파악부(230)을 통해 파악된 복수의 얼굴 표정에 대한 얼굴 도형이 각 얼굴 표정에 대한 기준 도형과 일치하는지를 기초로 사용자 동일성을 인증할 수 있다.
도 3은 본 발명에 따른 사용자 인증을 위한 얼굴 영상 촬영시 제공되는 가이드 선의 일 예를 도시한 도면이다.
도 3을 참조하면, 가이드 선(310)은 역삼각형 모양이나, 이에 한정되는 것은 아니며 사각형, 오각형, 원형 등의 다양한 종류의 모양이거나 눈, 코, 입 등의 모양 또는 이들의 조합으로 구현될 수 있는 등 실시 예에 따라 다양하게 변형될 수 있다.
사용자 인증용 기준 도형을 생성하기 위한 얼굴 영상의 촬영시, 도 3과 같은 가이드 선(310)이 촬영 화면에 표시된다. 사용자는 도 4와 같이 삼각형(310)의 각 꼭짓점이 눈 안쪽의 두 점(404,412)과 코의 아래 부분(462)과 일치하도록 맞춘 후 얼굴 영상을 촬영한다. 그러나 사용자마다 얼굴 형태가 상이하므로, 삼각형(310)의 각 꼭짓점이 눈 안쪽의 두 점(404,412)과 코 아래 부분(462)에 정확히 일치하지 않을 수 있다. 이 경우에 사용자는 얼굴을 가이드 선(310)에 대략적으로 맞추어 얼굴을 촬영한다.
사용자 인증 장치는 사용자 인증용 기준 도형을 생성하기 위한 얼굴 영상을 촬영하면, 얼굴 영상을 분석하여 도 5 내지 도 12와 같이 기준 도형을 생성하는데, 이때 파악된 기준 도형을 기초로 도 3의 가이드 선(310)을 사용자 얼굴에 맞도록 조정할 수 있다.
예를 들어, 도 4와 같이 최초 가이드 선(310)인 역삼각형이 사용자 얼굴과 일치하지 않는다면, 사용자 인증 장치는 도 5를 통해 파악된 역삼각형(500)을 새로운 가이드 선으로 갱신한다. 따라서 이후 사용자가 인증을 위해 촬영하고자 할 때, 화면에 표시되는 가이드 선은 도 3의 역삼각형(310)이 아닌 도 4의 역삼각형(500)이 된다. 사용자는 갱신된 가이드 선(500)을 이용하여 기준 도형 생성시 촬영된 촬영 각도나 촬영 거리와 일치한 상태에서 얼굴 영상을 촬영할 수 있다.
도 4는 본 발명에 따른 사용자 인증을 위하여 얼굴 영상으로부터 도형을 파악하기 위한 특징점들의 일 예를 도시한 도면이다.
도 4를 참조하면, 사용자 인증 장치는 사용자별로 조정된 가이드 선(500)을 제공하고, 가이드 선에 맞추어진 사용자 얼굴을 촬영한다. 사용자 인증 장치는 사용자 얼굴이 가이드 선에 맞추어졌는지를 사용자가 용이하게 파악할 수 있도록 가이드 선의 색상 변화 또는 소리 등을 통해 일치여부를 알려준다.
예를 들어, 사용자 인증 장치는 역삼각형(500)의 가이드 선을 처음에는 흰색으로 표시하고, 역삼각형(500)의 각 꼭짓점이 눈의 안쪽(404,412)과 코의 아래 끝(462)과 일치하면, 가이드 선을 녹색 등으로 변경한다. 실시 예에 따라, 사용자 인증 장치는 가이드 선에 얼굴이 맞추어진 경우에만 얼굴 촬영이 가능하도록 할 수 있다.
얼굴 영상을 촬영되면, 사용자 인증 장치는 얼굴 영상의 각 특징점(400 ~ 464)을 기초로 도 5 내지 도 12의 다양한 얼굴 도형을 파악한다. 얼굴 영상으로부터 눈, 코, 입, 귀 등의 각종 위치를 검출하는 종래의 다양한 얼굴 분석 알고리즘이 존재하므로, 본 실시 예에서는 얼굴의 각 위치를 검출하는 방법에 대한 설명은 생략한다.
다만, 본 실시 예는 사용자별 특징을 보다 잘 검출할 수 있도록 특징적인 몇몇 도형을 파악하며, 그 도형들의 예는 도 5 내지 도 12를 참조하여 살펴본다.
도 5 내지 도 12는 본 발명에 따른 사용자 인증을 위해 얼굴 영상으로부터 파악되는 도형의 일 예를 도시한 도면이다.
도 5 내지 도 12를 참조하면, 사용자 인증 장치는 눈의 안쪽(404)과 코 아래 끝점(462)을 연결하는 역삼각형(도 5의 500), 눈의 양끝(402,414)과 입술의 중간 지점(442)을 연결하는 역삼각형(도 6의 600), 눈 사이의 중심점(470)과 귀 아랫부분(420,426)을 연결하는 삼각형(도 7의 700), 양 눈의 중심(408,418)으로부터 아래 방향으로 수직한 직선과 입술의 윗 부분에 맞닿는 수평선이 만나는 두 점(430,432)과 눈 사이의 중심점(470)을 연결하는 삼각형(도 8의 800), 양 눈의 중심으로부터 아래 방향으로 수직한 직선이 얼굴 윤곽과 만나는 각 점(450,454)과 눈의 위쪽 두 점(400,410)을 연결한 사각형(도 9의 900), 두 눈의 아래 부분(406,416)과 귀 아랫부분(420,426)을 연결하는 사다리꼴(도 10의 1000), 코의 양 끝(460,464)과 입의 양 끝(440,446)을 연결하는 사다리꼴(1100)(도 11의 1100), 눈의 양끝(402,404,412,418)과 위쪽(400,410)을 연결하는 삼각형(도 12의 1210,1220) 등을 파악한다.
사용자마다 얼굴의 길이나 코의 길이, 미간의 길이, 인중의 길이, 입의 크기, 귀의 위치 등이 서로 다르므로 도 5 내지 도 12의 도형이 모두 일치하는 경우는 없다. 보다 정확성을 높이기 위하여 도 5 내지 도 12의 도형 외에 다른 도형을 추가적으로 사용할 수도 있다.
도 5 내지 도 12는 본 발명의 이해를 돕기 위한 하나의 예이며, 본 발명이 반드시 이에 한정되는 것은 아니며 실시 예에 따라 다양한 도형이 활용될 수 있다.
도 13 및 도 14는 도 12의 도형을 기초로 사용자의 동일성을 파악하는 방법의 일 예를 도시한 도면이다.
도 13의 삼각형(1310,1320)은 눈 안쪽으로 기울어져 있으며, 도 14의 삼각형(1410,1420)은 눈 바깥쪽으로 기울여 있다. 도 12의 각 눈에 대한 삼각형 도형(1210,1220)이 사용자 인증용 기준 도형이라고 할 때, 도 13 및 도 14의 각 삼각형(1310,3120,1410,1420)의 기울기를 도 12의 삼각형(1210,1220)의 기울기와 비교하여 동일인인지 파악할 수 있다.
또한, 사용자별 눈의 크기에 따라 눈 안의 삼각형의 크기가 서로 다를 수 있으므로, 도 12의 기준 도형의 삼각형(1210,1220)의 면적과 도 13 및 도 14의 삼각형(1310,1320)의 면적을 비교하여 동일성 파악에 활용할 수 있다.
도 15 및 도 16은 도 11의 도형을 기초로 사용자의 동일성을 파악하는 방법의 일 예를 도시한 도면이다.
도 15의 사용자 얼굴의 입꼬리가 올라가 있으며, 도 16의 사용자 얼굴의 입꼬리가 내려가 있으므로, 입꼬리의 위치에 따라 사다리꼴의 높이나 길이, 면적 등이 상이할 수 있다. 도 11이 사용자 인증용 기준 도형(1100)이라면, 도 11의 사다리꼴(1100)의 높이나 길이, 면적 등과 도 15 및 도 16의 사다리꼴(1510,1610)의 높이나 길이, 면적 등을 비교하여 사용자 동일성을 파악할 수 있다.
도 17은 본 발명에 따른 사용자 인증을 위한 얼굴 도형으로부터 암호를 생성하는 방법의 일 예를 도시한 도면이다.
도 17을 참조하면, 사용자 인증 장치는 도 5 내지 도 12 등의 각 도형의 높이, 길이, 면적 등의 값을 파악하고, 이들 값들의 전부 또는 일부를 조합하여 암호를 만들어 저장한다.
사용자 인증 장치는 각 도형으로부터 파악된 수치들을 다양한 연산이나 함수를 이용하여 특정 길이의 값으로 만들 수 있다. 예를 들어, 사용자 인증 장치는 각 도형의 높이, 길이, 면적을 입력값으로 하는 해시함수를 이용하여 일정 길이의 값을 만들어 암호로 이용할 수 있다.
도 18은 본 발명에 따른 사용자 인증 방법의 일 실시 예의 흐름을 도시한 도면이다.
도 18을 참조하면, 사용자 인증 장치는 얼굴 영상을 촬영하여 사용자 인증용 기준 도형을 생성하고 저장한다(S1800). 이때 사용자 얼굴 영상을 보다 정확하게 촬영하기 위하여 도 3과 같은 가이드선을 화면상에 제공한다. 사용자는 화면에 표시된 가이드 선에 얼굴을 맞추어 얼굴 영상을 촬영한다.
사용자 인증이 필요한 경우에 사용자 인증 장치는 얼굴 영상을 촬영하고(S1810), 그 촬영된 얼굴 영상으로부터 얼굴 도형을 추출한다(S1820). 이때 사용자 인증 장치는 이전과 동일한 가이드 선을 제공하는 것이 아니라, 기준 도형 생성시 파악된 정보를 기초로 갱신된 가이드 선을 제공한다.
기준 도형과 얼굴 도형을 비교하여 일치하면(S1830), 사용자가 동일하다고 인증한다(S1840). 기준 도형과 얼굴 도형이 일치하지 아니하면 동일성이 없다고 판단한다(S1850).
도 19는 본 발명에 따른 사용자 인증 방법의 다른 실시 예의 흐름을 도시한 도면이다.
도 19를 참조하면, 사용자 인증 장치는 얼굴 영상을 촬영하여 사용자 인증용 기준 도형을 생성하고 저장한다(S1900). 이때 사용자 얼굴 영상을 보다 정확하게 촬영하기 위하여 도 3과 같은 가이드 선을 화면에 제공한다. 사용자는 화면에 표시된 가이드 선에 얼굴을 맞추어 얼굴 영상을 촬영한다. 또한, 사용자 인증 장치는 도 17과 같이 기준 도형의 길이, 높이, 면적 등과 같은 수치화된 정보를 이용하여 암호문을 생성하고 저장한다(S1910).
사용자는 인증을 위하여 도 18과 달리, 얼굴을 촬영하는 것이 아니라 암호문을 입력한다(S1920). 사용자 인증 장치는 사용자로부터 입력받은 암호문과 기 저장된 암호문이 일치하는지 여부를 기초로 사용자 동일성을 인증한다(S1930).
도 20은 본 발명에 따른 사용자 인증을 위한 얼굴 촬영시 가이드 선의 갱신 방법의 일 예를 도시한 도면이다.
도 20을 참조하면, 사용자 인증 장치는 얼굴 영상 촬영을 위한 가이드 선을 화면에 표시한다(S2000). 사용자가 가이드 선에 맞추어 얼굴 영상을 촬영하면(S2010), 사용자 인증 장치는 얼굴 영상을 분석하여 기준 도형 등을 파악한다(S2020). 그리고 사용자 인증 장치는 기준 도형에 맞추어 가이드 선을 갱신한다(S2030).
도 21은 본 발명에 따른 사용자 인증을 위한 복수의 얼굴 도형을 중첩하여 도시한 도면이다.
도 21을 참조하면, 사용자 인증 장치는 사용자의 얼굴을 촬영한 후, 사용자로부터 파악된 복수의 얼굴 도형이 기준 도형과 맞으면, 동일인이라고 인증한다.
얼굴의 가운데를 통과하는 기준선(2100)을 기준으로 복수의 얼굴 도형의 높이가 파악될 수 있다. 따라서 기준선(2100)을 기준으로 파악된 각 도형의 높이 비율과 기준 도형의 높이 비율을 기초로 동일인인지 인증할 수 있다. 또한, 얼굴이 아래위 또는 옆으로 기울어진 경우에 기준선(2100)을 기준으로 복수의 얼굴 도형을 정규화하여 기준 도형과의 동일성 여부를 용이하게 파악할 수 있다.
다른 예로, 사용자 인증 장치는 서버 등의 장치로 구현되어 복수의 사용자에 대한 기준 도형을 저장하고, 외부 CCTV 또는 사용자 단말의 카메라 등을 통해 촬영된 얼굴 영상을 수신하고 비교하여 동일인을 식별할 수 있다. 따라서 범죄자나 실종자 등을 실시간 파악할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (7)

  1. 사용자 인증 장치에서의 사용자 인증 방법에 있어서,
    카메라 모듈을 이용하여 사용자의 얼굴 영상을 촬영하는 단계;
    상기 얼굴 영상의 눈, 코, 입 또는 귀의 각 위치를 기준으로 복수의 도형을 파악하는 단계;
    상기 복수의 도형을 기준으로 사용자의 동일성을 인증하는 단계;를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  2. 제 1항에 있어서, 상기 촬영하는 단계는,
    화면에 상기 사용자의 얼굴 영상과 기준 도형을 함께 표시하는 단계; 및
    상기 사용자의 얼굴 영상으로부터 추출한 도형이 상기 기준 도형과 일치할 때의 얼굴 영상을 촬영하는 단계;를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  3. 제 2항에 있어서, 상기 표시하는 단계는,
    상기 얼굴 영상으로부터 추출한 도형이 상기 기준 도형과 일치하면 상기 기준 도형의 색상 또는 소리를 통해 일치되었음을 표시하는 단계;를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  4. 제 1항에 있어서,
    기준 도형을 등록하는 단계;를 상기 촬영하는 단계 이전에 포함하고,
    상기 기준 도형을 등록하는 단계는,
    얼굴 영상으로부터 도형을 추출하는 단계; 및
    상기 추출한 도형을 기준 도형으로 저장하는 단계;를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  5. 제 1항에 있어서, 상기 도형을 파악하는 단계는,
    얼굴의 양 눈과 코를 연결하여 형성하는 제1 도형,
    얼굴의 양 눈과 입을 연결하여 형성하는 제2 도형,
    얼굴의 양 눈 사이의 중심과 양 귀를 연결하여 형성되는 제3 도형,
    양 눈으로부터 수직 아래로 그은 수직선이 얼굴 윤곽과 만나는 점을 연결하여 형성되는 제4 도형,
    얼굴의 양 눈 사이의 중심과 입의 수평선이 상기 제4 도형의 수직선과 만나는 점을 연결하여 형성되는 제5 도형,
    얼굴의 양 눈과 양 귀를 연결하여 형성되는 제5 도형을 파악하는 단계;를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  6. 제 1항에 있어서, 상기 동일성을 인증하는 단계는,
    상기 복수의 도형의 가로 길이, 높이 또는 면적을 산출하는 단계; 및
    상기 길이, 높이 또는 면적을 기치로 동일성을 파악하는 단계;를 포함하는 것을 특징으로 하는 사용자 인증 방법.
  7. 제 1항 내지 제 6항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2017/007575 2016-07-14 2017-07-14 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치 WO2018012928A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/317,647 US20190286798A1 (en) 2016-07-14 2017-07-14 User authentication method using face recognition and device therefor
CN201780055822.1A CN109690542A (zh) 2016-07-14 2017-07-14 使用面部识别的用户认证方法以及用于该方法的设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160089201A KR101810190B1 (ko) 2016-07-14 2016-07-14 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
KR10-2016-0089201 2016-07-14

Publications (1)

Publication Number Publication Date
WO2018012928A1 true WO2018012928A1 (ko) 2018-01-18

Family

ID=60922978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007575 WO2018012928A1 (ko) 2016-07-14 2017-07-14 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치

Country Status (4)

Country Link
US (1) US20190286798A1 (ko)
KR (1) KR101810190B1 (ko)
CN (1) CN109690542A (ko)
WO (1) WO2018012928A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826371A (zh) * 2018-08-10 2020-02-21 京东数字科技控股有限公司 一种动物识别方法、装置、介质及电子设备
JP7361262B2 (ja) * 2019-03-29 2023-10-16 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム
CN109902463A (zh) * 2019-04-02 2019-06-18 广州任天游网络科技有限公司 一种基于人脸识别的移民咨询服务平台用登录系统
CN111583355B (zh) * 2020-05-09 2024-01-23 维沃移动通信有限公司 面部形象生成方法、装置、电子设备及可读存储介质
CN114092983A (zh) * 2020-07-02 2022-02-25 丽宝大数据股份有限公司 智能镜的脸部影像定位方法
CN112188156B (zh) * 2020-09-24 2023-03-14 安徽电信规划设计有限责任公司 一种基于大数据的消防控制室人员在岗监控系统
WO2022070321A1 (ja) * 2020-09-30 2022-04-07 日本電気株式会社 顔認証装置、顔認証方法、及び、記録媒体
CN113936328B (zh) * 2021-12-20 2022-03-15 中通服建设有限公司 一种面向智慧安防的智能图像识别方法
WO2023159350A1 (en) * 2022-02-22 2023-08-31 Liu Kin Wing Recognition system detecting facial features
US20230314596A1 (en) * 2022-03-31 2023-10-05 Meta Platforms Technologies, Llc Ear-region imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070020916A (ko) * 2005-08-17 2007-02-22 삼성전자주식회사 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
KR20100074580A (ko) * 2008-12-24 2010-07-02 주식회사 미래인식 얼굴 인식을 이용한 사용자 인증 시스템 및 얼굴 인식을 이용한 사용자 인증 방법
KR20100090115A (ko) * 2009-02-05 2010-08-13 (주)아이피베이스 사용자 인증 시스템 및 사용자 인증 방법
JP2014075098A (ja) * 2012-10-05 2014-04-24 Secom Co Ltd 顔特徴抽出装置および顔認証システム
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341231A (en) * 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
KR20010084996A (ko) * 2001-07-09 2001-09-07 한희철 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
JP4756589B2 (ja) * 2005-12-07 2011-08-24 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JP4826306B2 (ja) * 2006-03-23 2011-11-30 日産自動車株式会社 顔部位追跡方法及びその装置
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US8750574B2 (en) * 2007-12-31 2014-06-10 Applied Recognition Inc. Method, system, and computer program for identification and sharing of digital images with face signatures
JP5525923B2 (ja) * 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
CN103246869B (zh) * 2013-04-19 2016-07-06 福建亿榕信息技术有限公司 基于人脸识别和行为语音识别的犯罪监控方法
CN103268477A (zh) * 2013-05-15 2013-08-28 苏州福丰科技有限公司 一种基于嵌入式平台的三维人脸识别系统
US10354126B1 (en) * 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070020916A (ko) * 2005-08-17 2007-02-22 삼성전자주식회사 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
KR20100074580A (ko) * 2008-12-24 2010-07-02 주식회사 미래인식 얼굴 인식을 이용한 사용자 인증 시스템 및 얼굴 인식을 이용한 사용자 인증 방법
KR20100090115A (ko) * 2009-02-05 2010-08-13 (주)아이피베이스 사용자 인증 시스템 및 사용자 인증 방법
JP2014075098A (ja) * 2012-10-05 2014-04-24 Secom Co Ltd 顔特徴抽出装置および顔認証システム
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템

Also Published As

Publication number Publication date
CN109690542A (zh) 2019-04-26
KR101810190B1 (ko) 2017-12-18
US20190286798A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
WO2018012928A1 (ko) 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
WO2013129825A1 (ko) 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2013100699A1 (en) Method, apparatus, and computer-readable recording medium for authenticating a user
WO2016153209A2 (ko) 스마트폰을 활용한 비접촉식 지문인식방법
WO2022019693A1 (ko) 사용자 비대면 인증 vc(verifiable credential)를 이용한 did(decentralized identifier) 기반의 사용자 비대면 인증 방법 및 이를 이용한 인증 지원 서버
WO2018040307A1 (zh) 一种基于红外可见双目图像的活体检测方法及装置
WO2017069385A1 (ko) 모바일 디바이스를 이용한 신분증 인식 장치
WO2012060537A2 (ko) 얼굴 및 스타일 인식 기반의 추천 시스템 및 그 방법
CN106529414A (zh) 一种通过图像比对实现结果认证的方法
CN105120167A (zh) 一种证照相机及证照拍摄方法
CN105141842A (zh) 一种防篡改的证照相机系统及方法
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
WO2014088125A1 (ko) 영상 촬영 장치 및 그 방법
WO2014182014A1 (ko) 얼굴 인식 방법 및 시스템
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
CN109034029A (zh) 检测活体的人脸识别方法、可读存储介质和电子设备
WO2017209363A2 (ko) 시각화 암호를 이용한 인증 장치 및 그 방법
JP7268725B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017065576A1 (ko) 가변 키패드를 이용한 본인 인증 방법 및 시스템
WO2020241987A1 (ko) 얼굴 인식 및 수기 서명 검증 기반의 사용자 인증 방법 및 장치
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
CN206348810U (zh) 一种实名认证装置
KR20090132839A (ko) 전자 ｉｄ 카드 발급 시스템 및 방법
WO2013100430A1 (ko) 미션실행 제스처 인식을 이용한 사용자 인증방법
CN112507986B (zh) 基于神经网络的多通道人脸活体检测方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827998

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17827998

Country of ref document: EP

Kind code of ref document: A1