WO2023038172A1 - 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법 - Google Patents

멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법 Download PDF

Info

Publication number
WO2023038172A1
WO2023038172A1 PCT/KR2021/012338 KR2021012338W WO2023038172A1 WO 2023038172 A1 WO2023038172 A1 WO 2023038172A1 KR 2021012338 W KR2021012338 W KR 2021012338W WO 2023038172 A1 WO2023038172 A1 WO 2023038172A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
authentication
image
recognition
heart rate
Prior art date
Application number
PCT/KR2021/012338
Other languages
English (en)
French (fr)
Inventor
천재두
Original Assignee
주식회사 에버정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에버정보기술 filed Critical 주식회사 에버정보기술
Publication of WO2023038172A1 publication Critical patent/WO2023038172A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/082—Evaluation by breath analysis, e.g. determination of the chemical composition of exhaled breath
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration

Definitions

  • the present invention relates to an access control authentication system and method, and more particularly, recognizes and accesses authentication by extracting a recognition element for a limited area of the face even in a state of wearing an accessory, and checks the health status of a visitor It relates to an access control authentication system and method capable of measuring heart rate using a multi-modal sensor capable of measuring heart rate.
  • access control that requires access control in a building or an office within a building is performed through an access manager, access card reading, and biometrics such as fingerprints or iris.
  • biometrics such as fingerprints or iris.
  • object recognition which allows computers to analyze and interpret visual information that humans receive the most information on behalf of, is a computer vision technology that identifies objects in images or videos, and is calculated through machine learning algorithms such as deep learning. It is a key technology to be
  • object recognition using machine learning algorithms is a technology that is being used in various fields such as video surveillance, face recognition, robot control, Internet of Things (IoT), autonomous driving, manufacturing, and security.
  • IoT Internet of Things
  • the visitor needs authentication and the health status can be estimated, the safety of the visitor can be guaranteed.
  • a heart rate estimation algorithm using various sensors there is an advantage in that the health status can be checked every time one enters or leaves the room.
  • face recognition is facilitated by additionally extracting recognition elements and feature points such as ears and forehead to facilitate face recognition even when wearing accessories, and utilizing technology such as side/frontal image synthesis. It is necessary to study an access control authentication system and method capable of measuring heart rate using a multi-modal sensor capable of safe and secure access authentication.
  • Patent Document 001 Republic of Korea Patent No. 10-1946756 (registered on January 31, 2019)
  • An object of the present invention is to extract recognition elements such as ears and forehead to facilitate face recognition even while wearing accessories, and to perform face recognition and access authentication based on the extracted recognition elements. To provide a measurable access control authentication system and method.
  • Another purpose is to perform face recognition and access authentication by using technologies such as face side/frontal images or image synthesis according to whether or not accessories are worn, and to recognize breathing and heart rate by collecting transmission and reception signals by radio waves from radar sensors.
  • An access control authentication system and method capable of measuring heart rate using a multi-modal sensor capable of measurement are provided.
  • An access control authentication system capable of measuring heart rate using a multi-modal sensor can obtain facial images of each user who needs face recognition for wearing and not wearing accessories, , image acquisition means for transmitting corresponding images to an authentication server and providing them to be used for authentication; Authentication that extracts the recognition elements required for face authentication by receiving images of individuals requiring face recognition from the image acquisition means through the communication network, both wearing and not wearing accessories, and performing authentication based on the extracted recognition elements.
  • the authentication server extracts a recognition element by receiving a side image of the face additionally obtained when the face image is acquired, and uses it for face authentication, and detects the breath of the visitor using a radar sensor located close to the visitor. It is characterized in that it can recognize and estimate the heart rate.
  • the authentication server includes an extraction unit which performs a function of extracting the recognition elements necessary for face recognition and authentication from the personal image provided by the image acquisition means; an authentication unit performing face authentication of an individual by using data pre-stored in a database in order to recognize the face image and the recognition element extracted from the extraction unit; and a database for storing facial data including recognition elements to be used for access user authentication for each individual and providing the authentication unit upon request for authentication.
  • the recognition element includes a feature point or unique feature element of a face part, and an element for distance between parts, and at least one of the distance between the eyes and nose, the size and shape of the mouth, the unique feature element of the ear, and the unique feature element of the forehead. It is characterized in that it includes.
  • the extraction unit additionally extracts recognition elements from the face side image and the front face image when extracting recognition elements in the face image in a state of wearing the accessory, and when extracting additional recognition elements, the distance between the eyes and ears, the size of the ears, the ear lobe, and the ears It is characterized in that at least one of the shape, forehead wrinkles, forehead size, and forehead shape is additionally extracted.
  • the authentication server synthesizes side and front images of individual face images among individual face images obtained from the image acquisition means and uses them for authentication, or separates face images in a state of wearing accessories and face images in a state of not wearing accessories for each individual.
  • a synthesis unit that is synthesized and used for authentication; and a learning unit that performs learning to improve a recognition rate upon personal authentication by using a machine learning algorithm based on the face data obtained for each individual.
  • the radar sensor uses a continuous wave-based radar sensor, and the continuous wave-based radar sensor transmits and receives continuous waves to recognize a change in human body movement due to a biosignal, collects transmitted and received signals, and uses frequency, time, and phase differences. It is characterized in that the heart rate can be estimated by recognizing breathing, which is biometric information.
  • the image acquiring means acquires by photographing and acquiring facial images when each individual wears an accessory and when not wearing an accessory. doing; extracting, by the authentication server, a recognition element from the face image when the accessory is worn or not worn, received from the image acquisition means; storing and registering face data images for each individual including the extracted recognition elements in a database; and performing personal authentication by matching a face data image stored and registered in the database with a newly acquired image.
  • the present invention additionally extracts recognition elements such as ears and forehead to facilitate face recognition even when wearing accessories, and utilizes technology such as side/front image synthesis to enable face recognition even when not wearing accessories such as masks. It has the advantage of helping to strengthen security while preventing the spread of infectious diseases.
  • the side/frontal image of the face or the image according to whether or not an accessory is worn is individually synthesized to facilitate individual identification and recognition regardless of whether or not the accessory is worn, and furthermore, to enable safe access authentication. there is.
  • synthesized images are stored and managed in a database, the number of face data required for individual recognition is reduced, data storage space is secured, and DB management is easy with a small capacity.
  • FIG. 1 is a block diagram showing the configuration of an access control authentication system capable of measuring heart rate using a multi-modal sensor according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the internal configuration of the authentication server of FIG. 1 in detail.
  • FIG. 3 is a flowchart illustrating a process of extracting and authenticating recognition elements of a facial image in an access control authentication method capable of measuring heart rate using a multi-modal sensor according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an image synthesis and additional authentication process for face image authentication in an access control authentication method capable of measuring heart rate using a multi-modal sensor according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of an access control authentication system capable of measuring heart rate using a multi-modal sensor according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing the internal configuration of the authentication server of FIG. 1 in detail. .
  • the access control authentication system capable of measuring heart rate using a multi-modal sensor of the present invention is an authentication server ( 300).
  • the image acquisition unit 100 may acquire face images of each user who needs face recognition in terms of wearing and not wearing accessories, and transmits the images to the authentication server 300 to use them for authentication. provided so that it can be
  • the accessories may include, for example, masks, glasses, sunglasses, various accessories, face shields, and the like.
  • the image acquiring means 100 may be a camera in which an object recognition algorithm is specifically built. Furthermore, the image acquisition means 100 builds a database 360 for storing images for each user for authentication instead of the authentication server 300, extracts recognition elements for personal identification from the images, and uses the recognition elements Based on this, the entire process of performing face authentication may be performed.
  • the image acquisition means 100 uses AdaBoost, Support Vector Machine (SVM), Linear Discriminant Analysis (LDA), Principal Component Analysis (Principal Component) to increase the recognition rate when shooting with a camera.
  • AdaBoost Support Vector Machine
  • LDA Linear Discriminant Analysis
  • Principal Component Analysis Principal Component Analysis
  • All of these algorithm techniques identify the region to be recognized based on the appearance, detect the region around the face using a model trained by a set of captured images to be used for training, and overcome various surrounding constraints through training. As a result, face recognition accuracy and reliability can be increased, and recognition elements are better extracted through the authentication server 300, and assisted to be used for authentication based on them.
  • the access control device 400 is a device for permitting access only to the authenticated user after performing face authentication from the authentication server 300, and may be provided to include the image acquisition means 100, and a gate for access control may also be included.
  • the authentication server 300 receives an image of an individual requiring face recognition from the image acquisition means 100 through the communication network 200 in both a wearing state and a non-wearing state of an accessory, and extracts and extracts recognition element data necessary for face authentication. Authentication is performed based on the identified recognition factors, and the result of the authentication is transmitted to the access control device 400 to determine whether or not to permit access.
  • the authentication server 300 additionally extracts recognition elements mainly on the ears and forehead among the facial parts not covered with accessories so that one-step recognition and authentication can be easily performed even when the accessories are not worn, and the recognition rate can be increased by receiving images of the side of the face. , so that user authentication can be performed more safely.
  • the authentication server 300 includes a communication unit 310, an extraction unit 320, an authentication unit 330, a synthesis unit 340, a learning unit 350, and a database 360. contains more
  • the communication unit 310 provides a compatible communication protocol for data transmission and reception with the image acquisition unit 100 or the access control device 400 through the communication network 200 .
  • the extraction unit 320 performs a function of extracting a plurality of recognition elements required for face recognition and authentication from the personal image provided from the image obtaining means 100 .
  • the recognition element may be a feature point of a face part, a unique feature element, or a distance between parts.
  • it can be the distance between the eyes and the nose, the size and shape of the mouth, the size of the ears, the unique characteristics of the ears, the unique characteristics of the forehead, etc.
  • a plurality of elements are extracted for each element, and the higher the number of extractions, the better the personal recognition rate. there is.
  • the recognition elements allow additional extraction of the distance between the eyes and ears, the size of the ears, the unique characteristics of the ears (ear lobe, ear shape, etc.), and the unique characteristics of the forehead (forehead wrinkles, forehead size, forehead shape, etc.) .
  • the extraction unit 320 may receive images taken from various angles in addition to the front face image and the face side image, if necessary, and may extract additional recognition elements for a specific part that is well recognized at a specific angle from the corresponding image. As a result, the more recognition factors to be extracted, the easier it is to recognize and identify individuals.
  • the authentication unit 330 may perform face authentication of an individual using data previously stored in the database 360 for personal recognition from the extracted recognition elements and face image data.
  • face data including previously stored recognition elements and newly photographed face data from the image acquisition unit 100 upon entry and exit may be provided, and personal authentication may be performed according to whether or not a predetermined face matching value is exceeded by mutual matching.
  • the authentication unit 330 may perform additional authentication using biometric information to more safely perform face authentication in a state where the accessory is not worn or worn.
  • access authentication may be performed by additionally recognizing a change in a facial expression recognition result and a change between feature points of the face and hand.
  • the image acquisition means 100 extracts and checks the heart rate from a captured image using a multi-modal sensor using an image sensor, a radar sensor, a heart rate sensor, a temperature sensor, etc. to check the state of the person entering,
  • the authentication server 300 receives the extracted heart rate through wired/wireless communication and may identify a series of emotions such as anger, contempt, disgust, fear, happiness, expressionless expression, sadness, and surprise in a face image acquired from an image sensor, for example. .
  • a continuous-wave based radar sensor located at a short distance can be used to recognize the person's respiration and heart rate, and the heart rate can be estimated, and the health status of the person can be estimated using this.
  • the radar sensor may acquire biometric information by recognizing a difference in frequency, time, phase, distance, etc. of a transmission/reception signal generated by an object located at a distance.
  • the CW-based radar sensor transmits and receives continuous waves to recognize changes in human body movement caused by biosignals, collects transceived signals and recognizes biometric information such as respiratory rate and heart rate using differences in frequency, time, and phase to determine heart rate. that can be estimated.
  • a circularly polarized antenna is used to minimize the effect of the movement direction of the biosignal, and a configuration for comparing the signal generated by the voltage-controlled oscillator in the frequency mixer may be added to reduce power consumption and simplify system configuration.
  • the authentication unit 330 analyzes the time-series data and images of the visitor's image acquired through the image sensor to estimate the change in blood flow on the visitor's face, thereby enabling estimation of the heart rate. .
  • the skin area can be extracted by determining the skin area based on the Hue value in the pixel value of the captured image or the Hue value in the HSV (Hue Saturation value) model, and the change of the G (Green) channel in the RGB model of the extracted skin area Heartbeat signals can be detected from
  • the HSV model means that the color of an image is expressed with three components of Hue (hue), Saturation (saturation), and Value (lightness).
  • the captured skin image is an RGB model
  • it can be converted to an HSV model, and only the skin area can be extracted by forming a mask with an area other than the skin area in the captured skin image and masking the captured skin image.
  • a heartbeat signal may be extracted as one value of a specific frame by taking a cumulative average for an entire frame of one skin region.
  • the heartbeat signal may be extracted as a signal of 30 Hz, for example.
  • a band-pass filter (passing only signals in a specific frequency band) can be used, and it can be configured as an RLC circuit, and can be configured as a combination of a low-pass filter and a high-pass filter.
  • an adaptive filter Kalman filter
  • stress and concentration can be measured using the previously extracted heart rate as the visitor's health condition.
  • the image acquisition means 100 or the access control device 400 may further include a notification unit notifying the occurrence of an abnormality so that a person can check a health condition when the measured stress and concentration are higher than set values.
  • a method such as a known deep learning neural network algorithm may be additionally used to estimate the state of health of the visitor.
  • additional authentication for the visitor may be performed by checking the heart rate using a health management algorithm.
  • additional authentication may be performed depending on whether the measured heart rate matches the previously registered heart rate of the corresponding entrant.
  • the authentication is performed in addition to the authentication by the face recognition element by this additional authentication method, it becomes less sensitive to face recognition errors, etc., and security is further strengthened, so that personal authentication can be safely performed when entering and exiting.
  • the synthesis unit 340 may synthesize the side and front images of individual face images among the obtained individual face images and use them for authentication.
  • the recognition element of the ear part can be better extracted from the side image than the frontal image of the face, and in addition, the forehead curvature or the shape of the ear can be more easily extracted through the side view. Therefore, it is possible to generate a synthesized image of a side face image and a frontal image of an individual through a synthesis algorithm, and store the generated synthesized image in the database 360 so that it can be used for matching during face authentication.
  • face data when wearing an accessory and face data when not wearing an accessory are synthesized, stored and managed as one data, and may be used for authentication. As a result, there is an advantage in that individual data management becomes easy.
  • the synthesis unit 340 extracts a plurality of face data, it is used to restore the image when the face data image required for face authentication is not clear due to limitations in camera performance or camera errors, or to determine forgery of the face data image.
  • a neural network learning algorithm may be used for this purpose.
  • new synthetic images or fake images can be created or regenerated, which can be used for face authentication using synthetic images, restoration of damaged images, or fake image learning.
  • this generative adversarial network is a structure composed of multiple deep neural networks, and requires dozens of times more computation than conventional deep neural network models to generate high-resolution images, but has excellent performance in image creation and restoration. can provide.
  • the generative adversarial neural network is an unsupervised learning-based generative model that adversarially trains two networks with a generator and discriminator. Input data is input to the generator to create fake images similar to real images. can be learned to A noise value may be input as the input data. Noise values can follow any probability distribution. For example, it may be data generated with a zero-mean Gaussian.
  • the discriminator can be trained to discriminate between the real image and the fake image generated by the generator. More specifically, it is possible to learn to have a high probability when a real image is input, and to have a low probability when a fake image is input. That is, the discriminator can gradually learn to discriminate between real images and fake images.
  • the learning unit 350 may use a machine learning algorithm based on face data to better recognize the face, and perform learning to improve the recognition rate and authentication speed.
  • At least one well-known neural network learning algorithm such as SVM, CNN, and RNN may be used for such a machine learning algorithm.
  • the learning unit 350 may be used to determine whether an image is forged through machine learning learning when a fake image is generated by a generative adversarial neural network algorithm.
  • the database 360 stores facial data including recognition elements to be used for access user authentication for each individual, and provides the authentication unit 330 upon request for authentication. Also, the database 360 may store and manage synthesized videos or images generated by the synthesis unit 340 and fake images for learning.
  • encryption/decryption technology may be applied to data managed in the database 360 for protection, such as facial data and data transmitted and received between terminals.
  • identification information capable of verifying identity is given to the image acquisition unit 100, the authentication server 300, and the access control device 400 corresponding to each terminal, thereby providing identification information of each terminal.
  • the lightweight encryption algorithm is an encryption technology designed to be implemented in a limited environment such as a smart device, and includes symmetric key encryption algorithms such as HIGHT (HIGh security and light weight), LEA (Lightweight Encryption) and hash function LSH (Lightweight Secure Hash).
  • HIGHT HIGHT
  • LEA Lightweight Encryption
  • LSH Lightweight Secure Hash
  • a lightweight hash function is a hash function that consumes relatively low computing power designed to ensure the integrity of transmitted or received data, except for some features that require high computing power in standard cryptographic hash algorithms such as SHA-3. (one-way function).
  • the sponge makes the original message (in this case, the original data of the random key) into a certain size (padding), and then converts it to a specific standard size known only to the generator of the key (for example, the original message divided into specific bit sizes).
  • a specific standard size known only to the generator of the key (for example, the original message divided into specific bit sizes).
  • random data is exchanged using several update functions at the rear end of the split data (split original message), and the other side is implemented to decrypt using a known standard size.
  • FIG. 3 is a flowchart illustrating a process of extracting and authenticating recognition elements of a facial image in an access control authentication method capable of measuring heart rate using a multi-modal sensor according to an embodiment of the present invention.
  • the image acquisition means 100 captures a face image for each individual when the accessory is worn or when the accessory is not worn (S100).
  • a side image may be captured and obtained in order to additionally extract a recognition element.
  • the image acquisition means 100 transmits the face image when the accessory is worn or not worn to the authentication server 300 through the communication network 200 .
  • the authentication server 300 extracts a recognition element from the face image when the accessory is worn or not worn (S102, S104).
  • the face data images for each individual including the extracted recognition elements are stored and registered in the database 360 (S106).
  • Personal authentication is performed by matching the stored and registered face data image with a newly acquired image (S108).
  • FIG. 4 is a flowchart illustrating an image synthesis and additional authentication process for face image authentication in an access control authentication method capable of measuring heart rate using a multi-modal sensor according to an embodiment of the present invention.
  • synthesis may be performed on the front and side images using the generative adversarial network algorithm described above (S114).
  • the synthesized image data is registered in the database 360 and used when access authentication of a user having a corresponding face (S116, S118).
  • Secondary authentication can be used for various purposes by registering an individual's biometric information (heart rate) in advance, performing authentication according to whether or not the corresponding biometric information matches, and checking the health status of the individual.
  • a 'terminal' may be a wireless communication device with guaranteed portability and mobility, and may be, for example, any type of handheld-based wireless communication device such as a smart phone, a tablet PC, or a laptop computer. Also, a 'terminal' may be a wired communication device such as a PC capable of accessing another terminal or a server through a network.
  • the communication network 200 means a connection structure capable of exchanging information between nodes such as terminals and servers, a local area network (LAN), a wide area network (WAN), It includes the Internet (WWW: World Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television communication networks 200, and the like.
  • LAN local area network
  • WAN wide area network
  • WWW World Wide Web
  • wireless data communication network 200 examples include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, and infrared Communication, ultrasonic communication, visible light communication (VLC: Visible Light Communication), LiFi, and the like are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • WWX World Interoperability for Microwave Access
  • Wi-Fi Wi-Fi
  • Bluetooth communication examples of the wireless data communication network 200
  • infrared Communication ultrasonic communication
  • VLC Visible Light Communication
  • LiFi and the like are included, but are not limited thereto.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템은, 얼굴 인식이 필요한 각 사용자를 대상으로 악세서리를 착용한 상태와 미착용한 상태에 대한 얼굴 영상을 획득할 수 있으며, 인증서버로 해당 영상들을 전송하여 인증에 이용될 수 있도록 제공하는 영상획득수단; 및 통신망을 통하여 영상획득수단으로부터 얼굴 인식이 필요한 개인의 영상을 악세서리를 착용한 상태와 미착용 상태에 대해 모두 제공받아 영상 내 얼굴 부위에서 얼굴 인증에 필요한 인식요소를 추출하고, 추출된 인식요소를 기반으로 인증을 수행하는 인증서버를 포함하되, 악세서리 미착용 상태에 대해서는 얼굴 측면 영상을 추가로 촬영하여 제공받아 상기 인식요소를 추출함으로써 얼굴 인증에 활용하며, 출입자와 근거리에 위치한 레이더 센서를 이용하여 출입자의 호흡을 인식하고, 심박수를 추정할 수 있는 것을 특징으로 한다.

Description

멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법
본 발명은 출입 통제 인증 시스템 및 방법에 관한 것으로, 더욱 상세하게는 악세서리를 착용한 상태에서도 얼굴의 제한된 영역에 대해 인식요소를 추출하여 인식 및 출입 인증시킬 수 있으며, 출입자 건강 상태를 체크할 수 있도록 심박수 측정이 가능한 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법에 관한 것이다.
일반적으로 건물이나 건물 내 사무실 등에서 접근자의 통제가 요구되는 출입통제는 출입 관리인, 출입카드판독, 지문이나 홍채 등의 생체 인식을 통해 이루어지고 있으며, 출입 관리인에 의한 출입통제 방식은 방문자들이 일일이 출입 정보를 기록해야 하므로 매우 번거로운 문제점이 있다.
사람은 사진 또는 비디오를 볼 때 인물, 물체, 장면 및 시각적 세부 사항을 쉽게 알아챌 수 있다. 객체 인식 기술의 목표는 이미지에 포함된 사항을 이해하는 수준의 능력과 같이 사람이라면 당연히 할 수 있는 일을 컴퓨터도 할 수 있도록 학습시키는 것이다.
즉, 사람이 가장 많은 정보를 받아들이는 시각 정보를 컴퓨터가 대신하여 분석하고 해석할 수 있도록 하는 객체 인식은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로서, 딥러닝과 같은 머신러닝 알고리즘을 통해 산출되는 핵심 기술이다.
특히 최근 머신러닝 알고리즘을 활용한 객체 인식은 영상감시, 얼굴인식, 로봇제어, 사물인터넷(IoT), 자율주행, 제조업, 보안 등 다양한 분야에 활용되고 있는 기술이다.
그러나 대부분의 얼굴 인식 기술은 얼굴의 눈, 코, 입 등의 특징점을 추출하고, 추출된 특징점을 기반으로 얼굴 인식을 수행하는데, 최근 코로나 바이러스 확산 등과 같이 감염병이 유행하는 경우에 악세서리 착용이 의무화되는데, 이러한 악세서리 착용시 얼굴 인식에 어려움이 있어 기존의 악세서리 미착용시의 얼굴 데이터를 이용한 얼굴 인식 기술이 무용지물이 되고 있다.
한편, 출입자는 출입자 인증이 필요함과 아울러, 건강 상태를 추정할 수 있다면, 출입자에 대한 안전을 보장할 수 있다. 이를 위해 각종 센서를 이용한 심박수 추정 알고리즘이 적용된다면, 건강 상태를 출입 때마다 확인할 수 있는 이점이 생기며, 최근 인터넷 환경에서 센서 정보 등 다양한 입력 요소를 통해 상호간 통신하는 인간 중심형 인터페이스 기술인 멀티 모달(Multi Modal) 기술의 발달로 그 활용할 가치가 커지고 있다.
따라서, 전술한 문제를 해결하기 위하여 악세서리를 착용한 상태에서도 얼굴 인식이 용이하도록 귀, 이마 등의 인식요소 및 특징점을 추가로 추출하고, 측면/정면 영상 합성 등의 기술을 활용하여 얼굴 인식이 용이하고 안전한 출입 인증이 가능한 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법에 대한 연구가 필요하게 되었다.
[선행기술문헌]
(특허문헌 001) 대한민국 등록 특허 제10-1946756호(2019년01월31일 등록)
본 발명의 목적은 악세서리를 착용한 상태에서도 얼굴 인식이 용이하도록 귀, 이마 등의 인식요소를 추출하고, 추출된 인식요소에 기초로 얼굴 인식 및 출입 인증을 수행할 수 있는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법을 제공하는 것이다.
다른 목적은 얼굴 측면/정면 영상 또는 악세서리 착용 유무에 따른 영상 합성 등의 기술을 활용하여 얼굴 인식을 수행하고, 출입 인증할 수 있으며, 레이더 센서의 전파에 의한 송수신신호를 수집하여 호흡을 인식하고 심박수 측정이 가능한 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템은, 얼굴 인식이 필요한 각 사용자를 대상으로 악세서리를 착용한 상태와 미착용한 상태에 대한 얼굴 영상을 획득할 수 있으며, 인증서버로 해당 영상들을 전송하여, 인증에 이용될 수 있도록 제공하는 영상획득수단; 통신망을 통하여 영상획득수단으로부터 얼굴 인식이 필요한 개인의 영상을 악세서리를 착용한 상태와 미착용 상태에 대해 모두 제공받아 얼굴 인증에 필요한 인식요소를 추출하고, 추출된 인식요소를 기반으로 인증을 수행하는 인증서버를 포함하되, 상기 인증서버는 상기 얼굴 영상 획득시 추가로 획득되는 얼굴 측면 영상을 제공받아 인식 요소를 추출함으로써, 얼굴 인증에 활용하며, 출입자와 근거리에 위치한 레이더 센서를 이용하여 출입자의 호흡을 인식하고, 심박수를 추정할 수 있는 것을 특징으로 한다.
상기 인증서버는 상기 영상획득수단으로부터 제공받은 개인 영상으로부터 얼굴 인식 및 인증에 필요한 상기 인식요소를 추출하는 기능을 수행하는 추출부; 상기 추출부에서 추출된 인식요소 및 얼굴 영상을 인식을 위하여 데이터베이스에 기저장된 데이터를 이용하여 개인의 얼굴 인증을 수행하는 인증부; 및 출입 사용자 인증에 사용할 인식요소를 포함한 얼굴 데이터를 개인별로 저장하고, 상기 인증부에서 인증을 위해 요청시 제공하는 데이터베이스를 더 포함한다.
상기 인식요소는 얼굴 부위의 특징점이나 고유 특징요소, 부위간 거리에 대한 요소를 포함하는 것이며, 눈과 코의 거리, 입의 크기 및 모양, 귀의 고유 특징요소, 이마의 고유 특징요소 중 적어도 어느 하나를 포함하는 것을 특징으로 한다.
상기 추출부는 악세서리를 착용한 상태의 얼굴 영상 내 인식요소 추출시, 얼굴 측면 영상과 얼굴 정면 영상으로부터 인식요소를 추가로 추출하며, 추가 인식요소 추출시, 눈과 귀의 거리, 귀의 크기, 귓볼, 귀 모양, 이마 주름 상태, 이마 크기, 이마 모양 중 적어도 어느 하나에 대해서 추가로 추출하는 것을 특징으로 한다.
상기 인증서버는 상기 영상획득수단으로부터 획득된 개인별 얼굴 영상 중 개인 얼굴 영상의 측면과 정면 영상을 합성하여 인증에 활용하거나, 개인별로 악세서리를 착용한 상태의 얼굴 영상과 악세서리 미착용한 상태의 얼굴 영상을 합성하여 인증에 활용하는 합성부; 및 개인별 획득된 얼굴 데이터를 기반으로 머신러닝 알고리즘을 활용하여 개인 인증시 인식율 향상을 위해 학습을 수행하는 학습부를 포함한다.
상기에 있어서, 상기 레이더 센서는 연속파 기반 레이더 센서를 이용하며, 상기 연속파 기반 레이더 센서는 연속파를 송수신하여 생체신호에 의한 인체 움직임 변화를 인식하고, 송수신신호를 수집하여 주파수, 시간, 위상 차이를 이용하여 생체 정보인 호흡을 인식하여 심박수를 추정할 수 있는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 인증서버를 이용한 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법에 있어서, 상기 영상획득수단은 각 개인마다 악세서리 착용 및 악세서리 미착용시의 얼굴 영상을 촬영하여 획득하는 단계; 상기 인증서버는 상기 영상획득수단으로부터 수신된 악세서리 착용 및 악세서리 미착용시의 얼굴 영상으로부터 인식요소를 추출하는 단계; 추출된 인식요소를 포함한 각 개인별 얼굴 데이터 영상을 데이터베이스에 저장하여 등록하는 단계; 및 상기 데이터베이스에 저장되어 등록된 얼굴 데이터 영상을 새로 획득되는 영상과 매칭하여 개인 인증을 수행하는 단계를 포함한다.
상기 인증서버는 상기 영상획득수단으로부터 악세서리 착용시 얼굴 영상을 정면과 측면에서 각각 획득함에 따라 정면과 측면 영상에 대해서 합성 알고리즘을 이용하여 합성을 수행하는 단계; 합성된 영상 데이터는 데이터베이스에 등록되어 해당 얼굴을 갖는 사용자의 출입 인증을 수행하는 단계; 및 출입 인증시 상기 출입 인증에 의한 1차 얼굴 인증 후, 추가 2차 인증을 수행하는 단계를 더 포함한다.
본 발명은 악세서리를 착용한 상태에서도 얼굴 인식이 용이하도록 귀, 이마 등의 인식요소를 추가로 추출하고, 측면/정면 영상 합성 등의 기술을 활용하여 마스크와 같은 악세서리를 쓰지 않은 경우에도 얼굴 인식이 용이하도록 하며, 감염병 확산을 방지함과 아울러, 보안 강화에도 도움을 줄 수 있는 장점이 있다.
또한, 영상 합성 알고리즘을 이용하여 얼굴 측면/정면 영상 또는 악세서리 착용 유무에 따른 영상을 개인별로 합성하여 악세서리 착용 유무에 관계없이 개인 식별 및 인식이 용이하도록 하고, 나아가 안전한 출입 인증이 가능하도록 하는 장점이 있다.
또한 합성 영상을 데이터베이스에 저장하여 관리함에 따라 개인별 인식에 필요한 얼굴 데이터수를 줄여 데이터 저장공간을 확보하고 적은 용량으로도 DB 관리가 용이한 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템의 구성을 보인 블록도이다.
도 2는 도 1의 인증서버의 내부 구성을 세부적으로 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법의 얼굴 영상의 인식요소 추출 및 인증 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법의 얼굴 영상의 인증을 위한 영상 합성 및 추가 인증 과정을 나타낸 순서도이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템의 구성을 보인 블록도이며, 도 2는 도 1의 인증서버의 내부 구성을 세부적으로 보인 블록도이다.
본 발명의 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템은 도 1에 도시된 바와 같이, 영상획득수단(100) 및 출입통제장치(400)와 통신망(200)을 통하여 연결되는 인증서버(300)를 포함한다.
영상획득수단(100)은 얼굴 인식이 필요한 각 사용자를 대상으로 악세서리를 착용한 상태와 미착용한 상태에 대한 얼굴 영상을 획득할 수 있으며, 인증서버(300)로 해당 영상들을 전송하여, 인증에 이용될 수 있도록 제공된다.
여기서 악세사리는 예컨대 마스크를 비롯하여, 안경, 선글라스, 각종 장신구, 안면보호대 등을 포함할 수 있다.
또한 영상획득수단(100)은 구체적으로 객체인식 알고리즘이 내장된 카메라가 될 수 있다. 나아가, 영상획득수단(100)은 인증서버(300)를 대신하여 인증을 위한 사용자별 영상을 저장하기 위한 데이터베이스(360)를 구축하며, 영상으로부터 개인 식별을 위한 인식요소를 추출하고, 인식요소를 기반으로 얼굴 인증을 수행하는 전 과정을 수행할 수도 있다.
또한 영상획득수단(100)은 카메라로 촬영시 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘이 내장될 수도 있다.
이러한 알고리즘 기법들은 모두 외형에 기반하여 인식대상 영역을 식별하는 것으로, 트레이닝에 사용될 촬상 이미지들의 집합에 의해 트레이닝된 모델을 이용해서 얼굴 주위의 영역을 검출하며, 여러 주변의 제약 조건들이 트레이닝을 통해 극복되어지기 때문에 결과적으로 얼굴 인식 정확도와 신뢰도를 높일 수 있으며, 인증서버(300)를 통해 더욱 인식요소를 잘 추출하고, 이를 기초로 인증에 활용할 수 있도록 보조한다.
출입통제장치(400)는 인증서버(300)로부터 얼굴 인증 수행 후 인증된 사용자에 한해 출입을 허가하기 위한 장치로, 영상획득수단(100)을 포함하도록 마련될 수도 있으며, 출입통제용 게이트 등이 포함될 수도 있다.
인증서버(300)는 통신망(200)을 통하여 영상획득수단(100)으로부터 얼굴 인식이 필요한 개인의 영상을 악세서리를 착용한 상태와 미착용 상태 모두 제공받아 얼굴 인증에 필요한 인식요소 데이터를 추출하고, 추출된 인식요소를 기반으로 인증을 수행하며, 인증 수행 결과를 출입통제장치(400)로 전송하여 출입 허가 여부를 결정할 수 있도록 제공한다.
특히 인증서버(300)는 악세서리 미착용한 상태에서도 일굴 인식 및 인증이 용이하도록 악세서리를 덮지 않는 얼굴 부위 중 귀와 이마 위주로 인식요소를 추가로 추출하며, 얼굴 측면 영상에 대해서도 제공받아 인식율을 증가시킬 수 있으며, 사용자 인증을 보다 안전하게 수행할 수 있도록 한다.
이를 위해 인증서버(300)는 도 2에 도시된 바와 같이, 통신부(310), 추출부(320), 인증부(330), 합성부(340), 학습부(350) 및 데이터베이스(360)를 더 포함한다.
통신부(310)는 통신망(200)을 통하여 영상획득수단(100) 또는 출입통제장치(400)와 데이터 송수신을 위해 호환 가능한 통신 프로토콜을 제공한다.
추출부(320)는 영상획득수단(100)으로부터 제공받은 개인 영상으로부터 얼굴 인식 및 인증에 필요한 복수의 인식요소를 추출하는 기능을 수행한다.
여기서 인식요소는 얼굴 부위의 특징점이나 고유 특징요소, 부위간 거리 등이 될 수 있다. 예컨대, 눈과 코의 거리, 입의 크기 및 모양, 귀의 크기, 귀의 고유 특징요소, 이마의 고유 특징요소 등이 될 수 있으며, 각 요소마다 복수 개를 추출하여 추출 수가 많을수록 개인 인식율이 향상될 수 있다.
또한 악세서리를 착용한 상태에서는 얼굴 인식요소가 제한적이고, 노출부위가 한정적인데, 귀와 이마는 항상 노출 상태이므로, 귀와 이마 위주로 특징점과 고유 특징요소를 추가로 추출하여 인식 및 인증에 활용할 수 있다. 예컨대 인식요소는 눈과 귀의 거리, 귀의 크기, 귀의 고유 특징요소(귓볼, 귀 모양 등), 이마의 고유 특징요소(이마 주름 상태, 이마 크기, 이마 모양 등)에 대해서 추가로 추출할 수 있도록 한다.
나아가 추출부(320)는 얼굴 정면 영상과 얼굴 측면 영상 외에도 필요시 다각도로 촬영된 영상을 제공받을 수 있으며, 해당 영상으로부터 특정 각도에서 잘 인식되는 특정 부위에 대해 추가 인식요소를 추출할 수도 있으며, 결과적으로 이러한 추출할 인식요소가 많을수록 개인 인식 및 식별이 용이하게 된다.
인증부(330)는 추출된 인식요소 및 얼굴 영상 데이터로부터 개인 인식을 위하여 데이터베이스(360)에 기저장된 데이터를 이용하여 개인의 얼굴 인증을 수행할 수 있다.
구체적으로 예컨대 기저장된 인식요소를 포함한 얼굴 데이터와 출입시 영상획득수단(100)으로부터 새로 촬영된 얼굴 데이터를 제공받아 상호 매칭에 의해 기설정된 얼굴 일치값 초과 여부에 따라 개인 인증을 수행할 수 있다.
나아가 인증부(330)는 악세서리 미착용 상태 또는 착용한 상태의 얼굴 인증을 더욱 안전하게 진행하기 위한 생체 정보를 활용한 추가 인증을 수행할 수도 있다.
예컨대, 얼굴 표정 인식 결과의 변화와 얼굴 및 손의 특징점 사이의 변화를 추가로 인식하여 출입 인증을 수행할 수 있다.
아울러, 부가적으로 얼굴 영상으로부터 출입자의 건강 상태까지도 추정할 수 있다.
구체적으로, 상기 영상획득수단(100)은 이미지 센서, 레이더 센서, 심박센서, 온도 센서 등을 활용한 멀티 모달 센서를 이용하여 촬영된 영상으로부터 심박수를 추출 및 체크하여 출입자의 상태를 확인할 수 있으며, 인증서버(300)는 추출된 심박수를 유무선 통신을 통하여 제공받아 예컨대 이미지 센서로부터 획득된 얼굴 이미지에 있는 분노, 경멸, 혐오, 공포, 행복, 무표정, 슬픔, 놀람 같은 일련의 감정 파악을 할 수도 있다.
구체적인 예로, 근거리에 위치한 연속파(continuous-wave) 기반 레이더 센서를 이용하여 출입자의 호흡과 심장 박동수를 인식하고, 심박수를 추정할 수 있으며, 이를 이용하여 출입자 건강 상태를 추정할 수 있다.
여기서 레이다 센서는 원거리에 위치한 대상체에 의해 발생하는 송수신 신호의 주파수, 시간, 위상, 거리 등 차이를 인식하여 생체정보를 획득할 수 있다.
즉, 연속파 기반 레이더 센서는 연속파를 송수신하여 생체신호에 의한 인체 움직임 변화를 인식하고, 송수신신호를 수집하여 주파수, 시간, 위상 등 차이를 이용하여 생체 정보인 호흡수와 심장 박동수를 인식하여 심박수를 추정할 수 있는 것이다.
이때 생체신호 움직임 방향에 의한 영향을 최소화하기 위해 원형편파 안테나를 사용하였으며, 전력소모 감소와 간단한 시스템 구성을 위해 전압제어발진기에서 생성된 신호를 주파수 혼합기에서 비교하는 구성이 추가될 수도 있다.
다른 방법으로 인증부(330)에서는 이미지 센서를 통해 획득되는 출입자 영상의 시계열 데이터 및 영상을 분석하여 출입자의 얼굴에 나타난 혈류량의 변화 등을 추정할 수 있고, 이로 인해 심박수에 대한 추정 또한 가능하게 된다.
나아가, 촬영된 영상의 픽셀값이나 HSV(Hue Saturation value)모델에서 Hue값을 기준으로 피부 영역을 결정하여 피부 영역을 추출할 수 있으며, 추출된 피부 영역의 RGB모델에서 G(Green)채널의 변화로부터 심박 신호를 검출할 수 있다.
여기서, HSV 모델은 영상을 Hue(색조), Saturation(채도), Value(명도)의 3가지 성분으로 색을 표현한 것을 의미한다.
또한, 촬영한 피부 영상이 RGB모델인 경우 HSV 모델로 변환할 수 있으며, 촬영한 피부 영상에서 피부 영역이 아닌 영역으로 마스크를 형성하고, 촬영한 피부 영상에 마스크 처리를 함으로써 피부 영역만을 추출할 수도 있다.
피부 영역 1개의 프레임 전체에 대해 누적 평균을 취해, 특정 프레임의 하나의 값으로 심박 신호를 추출할 수 있다. 이때, 동영상의 프레임 수를 초당 30으로한 경우 심박 신호는 예컨대 30Hz의 신호로 추출될 수 있다.
또한 추출된 심박 신호에 포함된 잡음을 제거하기 위해 대역통과필터(band-pass filter, 특정 주파수 대역의 신호만 통과)사용, RLC회로로 구성할 수 있으며, 저역 필터 및 고역 필터의 조합으로 구성될 수도 있으며, 조명 변화와 움직임 잡음에 덜 민감하도록 적응 필터를 사용(칼만 필터)할 수도 있다.
또한 출입자 건강상태로 앞서 추출된 심박수를 이용하여 스트레스와 집중도를 측정할 수도 있다.
또한 영상획득수단(100)이나 출입통제장치(400)에는 측정된 스트레스와 집중도가 설정된 수치보다 이상이면 출입자가 건강상태를 확인할 수 있도록 이상 발생을 알리는 알림부를 더 포함할 수도 있다.
또한 출입자 건강상태 추정에는 이미 알려진 딥러닝 신경망 알고리즘 등과 같은 방식이 추가적으로 사용될 수도 있다.
나아가 건강 관리 알고리즘을 이용한 심박수 체크에 의해 상기 출입자에 대한 추가 인증을 수행할 수도 있다.
예컨대, 심박수 측정치가 기등록된 해당 출입자의 심박수와 일치하는지 여부에 따라 추가 인증을 수행할 수 있다.
이와 같은 추가 인증 방식에 의해 얼굴 인식요소에 의한 인증에 더해 인증이 이루어지므로, 얼굴 인식 오류 등에 덜 민감하게 되고, 더욱 보안상 강화되어 출입시 개인 인증을 안전하게 수행할 수 있는 것이다.
합성부(340)는 획득된 개인별 얼굴 영상 중 개인 얼굴 영상의 측면과 정면 영상을 합성하여 인증에 활용할 수도 있다. 특히 악세서리를 착용한 상태의 경우 얼굴 정면 영상보다는 측면 영상에서 귀 부분의 인식요소를 더욱 잘 추출할 수 있으며, 이외에도 이마 곡률이나 귀의 형태 등은 측면을 통하여 인식요소 추출이 더욱 용이해질 수 있다. 따라서, 합성 알고리즘을 통해 개인 얼굴 영상의 측면과 정면 영상의 합성 영상 생성할 수 있으며, 생성된 합성 영상을 데이터베이스(360)에 저장하여 얼굴 인증시 매칭에 활용될 수 있도록 한다.
또한 악세서리 착용시 얼굴 데이터와 악세서리 미착용시의 얼굴 데이터를 합성하여 하나의 데이터로 저장하여 관리하고, 이를 인증에 사용할 수도 있으며, 결과적으로 개인별 데이터 관리가 용이해지는 장점이 있다.
나아가, 합성부(340)는 복수의 얼굴 데이터를 추출하더라도, 카메라 성능의 한계나 카메라 오류 등으로 인하여 얼굴 인증에 필요한 얼굴 데이터 이미지가 선명하지 않는 경우의 이미지 복원이나, 얼굴 데이터 이미지 위조를 판별하기 위해서 신경망 학습 알고리즘이 활용될 수도 있다.
특히 생성적 적대 신경망(Generative Adversarial Networks)을 활용함으로써, 새로운 합성 이미지 또는 가짜 이미지 등을 생성 또는 재생성할 수 있으며, 이를 통해 합성 이미지를 이용한 얼굴 인증, 손상된 이미지 복원이나 가짜 이미지 학습에 활용될 수 있다.
이와 같은 생성적 적대 신경망은 기존의 딥러닝 네트워크와는 달리 여러 개의 심층 신경망으로 이루어진 구조로, 고해상도 이미지를 생성하기 위해 기존 심층 신경망 모델보다 수십 배 많은 연산량을 요구하지만, 이미지 생성, 복원 등에 탁월한 성능을 제공할 수 있다. 또한 생성적 적대 신경망은 생성기(Generator)와 판별기(Discriminator)로 두 네트워크를 적대적(Adversarial)으로 학습시키는 비지도 학습 기반 생성모델로서, 생성기에는 입력 데이터가 입력되어 실제 이미지와 유사한 가짜 이미지를 만들어내도록 학습될 수 있다. 입력 데이터는 노이즈 값이 입력될 수 있다. 노이즈 값은 어떤 확률 분포를 따를 수 있다. 예컨대, 제로 평균 가우시안(Zero-Mean Gaussian)으로 생성된 데이터일 수 있다.
판별기는 실제 이미지와 생성기가 생성한 가짜 이미지를 판별하도록 학습할 수 있다. 보다 구체적으로는, 실제 이미지를 입력하면 높은 확률이 나오도록, 가짜 이미지를 입력하면 확률이 낮아지도록 학습할 수 있다. 즉, 판별기는 실제 이미지와 가짜 이미지를 잘 판별하도록 점진적으로 학습할 수 있다.
학습부(350)는 얼굴 데이터를 기반으로 머신러닝 알고리즘을 활용하여 더욱 잘 인식하고, 인식율 및 인증 속도 향상 등을 위해 학습을 수행할 수 있다.
즉 머신러닝 알고리즘을 활용하면 얼굴 데이터들로부터 추출된 인식요소에 머신러닝 기법을 적용할 때, 인물들에 대한 데이터의 수가 증가하고 데이터들이 점점 더 축적될수록 머신러닝의 트레이닝 횟수가 증대되고, 결과적으로 트레이닝을 통해 획득한 모델링의 정확도가 점점 높아지게 된다.
이러한 특징은 특정한 수학이나 통계적 모델링을 통한 분석기법이 항상 일정한 정도의 예측오류율을 가지는 데에 비해, 트레이닝의 횟수가 증가할수록 동일 인물을 판별하는데 있어서 예측오류율이 점점 더 개선될 수 있다는 점은 머신 러닝 기법을 통한 모델링의 큰 장점이다.
결과적으로 상술한 머신러닝 기법을 활용하여 장기간 얼굴 데이터를 누적 확보함으로써, 동일 인물을 판별 정확도를 향상시킬 수 있는데 활용될 수 있다. 이와 같은 머신러닝 알고리즘에는 잘 알려진 SVM, CNN, RNN 등의 신경망 학습 알고리즘이 적어도 하나 이상 활용될 수 있다.
나아가 학습부(350)는 생성적 적대 신경망 알고리즘에 의한 가짜 이미지 생성시 머신러닝 학습을 통해 이미지 위조 여부 판별에 활용할 수도 있다.
데이터베이스(360)는 출입 사용자 인증에 사용할 인식요소를 포함한 얼굴 데이터를 개인별로 저장하고, 인증부(330)에서 인증을 위해 요청시 제공한다. 또한, 데이터베이스(360)는 합성부(340)에서 생성되는 합성 영상 또는 이미지, 학습을 위한 가짜 이미지 등에 대해서도 저장하고 관리할 수 있다.
나아가 데이터베이스(360)에서 관리되는 데이터는 보호를 위해 얼굴 데이터 및 각 단말 상호간에 송수신되는 데이터 등에 대해 암/복호화 기술을 적용할 수 있다.
보다 구체적으로, 각 단말에 해당하는 영상획득수단(100), 인증서버(300), 출입통제장치(400)에 각각 신분 증명이 가능한, 식별 정보(identification information)를 부여하여, 각 단말의 식별 정보를 사설 암호 키(private key)로 활용하는 경량 암호 알고리즘을 수행한다.
경량 암호 알고리즘에는 스마트 기기 등의 제한된 환경에서 구현하기 위해 설계된 암호 기술로서, 대칭키 암호 알고리즘인 HIGHT(HIGh security and light weigHT), LEA(Lightweight Encryption)와 해시함수인 LSH(Lightweight Secure Hash) 등을 활용할 수 있다.
이러한 경량 암호 알고리즘을 활용하여 얼굴데이터, 송수신 데이터 등을 암/복호화 시킴으로써 해당 데이터의 외부 유출이나 외부 해킹으로 인한 불법적인 제어 등을 막을 수 있다. 경량 암호 알고리즘은 이러한 임베디드 컴퓨팅 환경에서 적합한 경량 해시 함수(lightweight hash function)를 사용하는 것이 바람직하다.
경량 해시 함수란 SHA-3와 같은 표준적인 암호화 해시 알고리즘에서 일부 컴퓨팅 파워가 높게 소요되는 특징들을 제외하고도 송신 또는 수신되는 데이터의 무결성을 보장할 수 있도록 설계된 컴퓨팅 파워가 상대적으로 낮게 소모되는 해시 함수(일방향 함수)이다.
보다 구체적으로는 이러한 경량 해시함수 중에서도 키가 없이(unkeyed) 데이터의 치환(permutation)이 가능하도록 하는 스폰지(Sponge) 알고리즘을 사용하는 것이 바람직하다.
좀더 구체적으로 스폰지는 원본 메시지(여기서는 랜덤키의 원본 데이터)를 일정한 크기로 만든 뒤(padding), 이를 키의 생성자만 알 수 있는 특정한 기준 크기(예를 들어 특정 비트 사이즈로 분할된 원본 메시지)로 복수 개로 분할한 뒤, 복수 개로 분할된 데이터(분할된 원본 메시지)의 후단에 랜덤한 데이터들을 여러 업데이트 함수를 활용하여 교환하고, 반대편에서는 이미 알고 있는 기준 크기를 활용하여 복호화도록 구현된다.
즉, 이러한 경량 해시함수를 활용하여, 해시함수의 보안성을 확보하면서, 일반적인 해시함수의 사용보다 상대적으로 적은 컴퓨팅 파워가 필요하도록 하여 결과적으로 상기 단말들의 전력소모를 적게하고, 오래 사용하도록 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법의 얼굴 영상의 인식요소 추출 및 인증 과정을 나타낸 순서도이다.
먼저 영상획득수단(100)은 각 개인마다 악세서리 착용 및 악세서리 미착용시의 얼굴 영상을 촬영한다(S100).
또한 악세서리 착용시에는 인식요소를 추가로 추출하기 위해 측면 영상을 촬영하여 획득할 수 있다.
영상획득수단(100)은 악세서리 착용 및 악세서리 미착용시의 얼굴 영상을 통신망(200)을 통하여 인증서버(300)로 전송한다.
인증서버(300)는 악세서리 착용 및 악세서리 미착용시의 얼굴 영상으로부터 인식요소를 추출한다(S102, S104).
추출된 인식요소를 포함한 각 개인별 얼굴 데이터 영상을 데이터베이스(360)에 저장하여 등록한다(S106).
저장되어 등록된 얼굴 데이터 영상을 새로 획득되는 영상과 매칭하여 개인 인증을 수행한다(S108).
도 4는 본 발명의 일 실시예에 따른 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법의 얼굴 영상의 인증을 위한 영상 합성 및 추가인증 과정을 나타낸 순서도이다.
본 발명의 일 실시예에서는 악세서리 착용시 얼굴 영상을 정면과 측면에서 각각 획득함에 따라 정면과 측면 영상에 대해서 상술한 생성적 적대 신경망 알고리즘을 이용하여 합성을 수행할 수 있다(S114).
합성된 영상 데이터는 데이터베이스(360)에 등록되어 해당 얼굴을 갖는 사용자의 출입 인증시 이용된다(S116, S118).
추가로 출입 인증시 보안성을 강화하기 위한 목적으로 1차 얼굴 인증에 실패하거나, 성공하더라도 인식 오류 등으로 인한 잘못된 인증에 강인하도록 하거나 보안성 강화의 목적으로 중복하여 추가 2차 인증을 수행할 수 있다(S120).
2차 인증은 개인의 생체정보(심박수)를 미리 등록하고, 해당 생체정보의 일치 여부에 따라 인증을 수행할 수 있으며, 해당 개인의 건강 상태를 체크할 수도 있어서, 다양한 용도로 활용될 수 있다.
본 명세서에서 '단말'은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, '단말'은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다.
또한, 통신망(200)은 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망(200) 등을 포함한다.
무선 데이터 통신망(200)의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
[부호의 설명]
100 ; 영상획득수단
200 ; 통신망
300 ; 인증서버
310 ; 통신부
320 ; 추출부
330 ; 인증부
340 ; 합성부
350 ; 학습부
360 ; 데이터베이스
400 ; 출입통제장치

Claims (8)

  1. 얼굴 인식이 필요한 각 사용자를 대상으로 악세서리를 착용한 상태와 미착용한 상태에 대한 얼굴 영상을 획득할 수 있으며, 인증서버로 획득된 해당 영상들을 전송하는 영상획득수단; 및
    통신망을 통하여 상기 영상획득수단으로부터 얼굴 인식이 필요한 개인의 영상을 악세서리를 착용한 상태와 미착용 상태에 대해 모두 제공받아 영상 내 얼굴 부위에서 얼굴 인증에 필요한 인식요소를 추출하고, 추출된 인식요소를 기반으로 인증을 수행하는 상기 인증서버를 포함하되,
    상기 인증서버는 얼굴 영상 획득시 추가로 획득되는 얼굴 측면 영상을 제공받아 상기 인식요소를 추출함으로써 얼굴 인증에 활용하며,
    출입자와 근거리에 위치한 레이더 센서를 이용하여 출입자의 호흡을 인식하고, 심박수를 추정할 수 있는 것을 특징으로 하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템.
  2. 제1항에 있어서,
    상기 인증서버는
    상기 영상획득수단으로부터 제공받은 개인 영상으로부터 얼굴 인식 및 인증에 필요한 상기 인식요소를 추출하는 기능을 수행하는 추출부;
    상기 추출부에서 추출된 인식요소 및 얼굴 영상 인식을 위하여 데이터베이스에 기저장된 데이터를 이용하여 개인의 얼굴 인증을 수행하는 인증부; 및
    출입 사용자 인증에 사용할 인식요소를 포함한 얼굴 데이터를 개인별로 저장하고, 상기 인증부에서 인증을 위해 요청시 제공하는 데이터베이스를 더 포함하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템.
  3. 제2항에 있어서,
    상기 인식요소는
    얼굴 부위의 특징점이나 고유 특징요소, 얼굴 부위간 거리에 대한 요소를 포함하는 것이며, 눈과 코의 거리, 입의 크기 및 모양, 귀의 고유 특징요소, 이마의 고유 특징요소 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템.
  4. 제3항에 있어서,
    상기 추출부는
    악세서리를 착용한 상태의 얼굴 영상 내 인식요소 추출시, 얼굴 측면 영상과 얼굴 정면 영상으로부터 인식요소를 추가로 추출하며,
    추가 인식요소 추출시, 눈과 귀의 거리, 귀의 크기, 귓볼, 귀 모양, 이마 주름 상태, 이마 크기, 이마 모양 중 적어도 어느 하나에 대해서 추가로 추출하는 것을 특징으로 하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템.
  5. 제2항에 있어서,
    상기 인증서버는
    상기 영상획득수단으로부터 획득된 개인별 얼굴 영상 중 개인 얼굴 영상의 얼굴 측면 영상과 얼굴 정면 영상을 합성하여 인증에 활용하거나, 개인별로 악세서리를 착용한 상태의 얼굴 영상과 악세서리를 미착용한 상태의 얼굴 영상을 합성하여 인증에 활용하는 합성부; 및
    개인별 획득된 얼굴 데이터를 기반으로 머신러닝 알고리즘을 활용하여 개인 인증시 인식율 향상을 위해 학습을 수행하는 학습부를 포함하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템.
  6. 제1항에 있어서,
    상기 레이더 센서는
    연속파 기반 레이더 센서를 이용하며,
    상기 연속파 기반 레이더 센서는 연속파를 송수신하여 생체신호에 의한 인체 움직임 변화를 인식하고, 송수신신호를 수집하여 주파수, 시간, 위상 차이를 이용하여 생체 정보인 호흡을 인식하여 심박수를 추정할 수 있는 것을 특징으로 하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템.
  7. 제1항 내지 제6항 중 어느 한 항의 인증서버를 이용한 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법에 있어서,
    상기 영상획득수단은 각 개인마다 악세서리 착용 및 악세서리 미착용시의 얼굴 영상을 촬영하여 획득하는 단계;
    상기 인증서버는 상기 영상획득수단으로부터 수신된 악세서리 착용 및 악세서리 미착용시의 얼굴 영상으로부터 인식요소를 추출하는 단계;
    추출된 인식요소를 포함한 각 개인별 얼굴 데이터 영상을 데이터베이스에 저장하여 등록하는 단계; 및
    상기 데이터베이스에 저장되어 등록된 얼굴 데이터 영상을 새로 획득되는 영상과 매칭하여 개인 인증을 수행하는 단계를 포함하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법.
  8. 제7항에 있어서,
    상기 인증서버는 상기 영상획득수단으로부터 악세서리 착용시 얼굴 영상을 얼굴 정면과 얼굴 측면에서 각각 획득함에 따라 얼굴 정면 영상과 얼굴 측면 영상에 대해서 합성 알고리즘을 이용하여 합성을 수행하는 단계;
    합성된 영상 데이터는 데이터베이스에 등록되어 해당 얼굴을 갖는 사용자의 출입 인증을 수행하는 단계; 및
    출입 인증시 상기 출입 인증에 의한 1차 얼굴 인증 후, 추가 2차 인증을 수행하는 단계를 더 포함하는 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 방법.
PCT/KR2021/012338 2021-09-07 2021-09-10 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법 WO2023038172A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0118957 2021-09-07
KR1020210118957A KR102596462B1 (ko) 2021-09-07 2021-09-07 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2023038172A1 true WO2023038172A1 (ko) 2023-03-16

Family

ID=85502347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012338 WO2023038172A1 (ko) 2021-09-07 2021-09-10 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102596462B1 (ko)
WO (1) WO2023038172A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688365A (zh) * 2023-12-13 2024-03-12 江西鼎通安防科技有限公司 多模态生物识别门禁系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001205886A (ja) * 2000-01-27 2001-07-31 Victor Co Of Japan Ltd 複合画像作成装置及び複合画像選択装置
KR20070077264A (ko) * 2006-01-23 2007-07-26 (주)씨아이피시스템 얼굴인식에 의한 본인 여부의 판단방법
CN111882728A (zh) * 2020-06-30 2020-11-03 同方威视技术股份有限公司 闸机系统以及闸机系统的控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101946756B1 (ko) 2018-06-11 2019-02-11 주식회사 에버정보기술 생체 정보를 이용한 이원화 출입보안 시스템
KR102078705B1 (ko) * 2018-07-20 2020-02-19 주식회사 에스원 얼굴 인증 정보를 이용한 출입문 인증 시스템의 인증 속도 개선방법 및 이를 위한 얼굴 인증 정보를 이용한 출입문 인증 시스템
KR102079952B1 (ko) 2019-05-10 2020-03-24 정원주 얼굴 인식 출입 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001205886A (ja) * 2000-01-27 2001-07-31 Victor Co Of Japan Ltd 複合画像作成装置及び複合画像選択装置
KR20070077264A (ko) * 2006-01-23 2007-07-26 (주)씨아이피시스템 얼굴인식에 의한 본인 여부의 판단방법
CN111882728A (zh) * 2020-06-30 2020-11-03 同方威视技术股份有限公司 闸机系统以及闸机系统的控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISLAM SHEKH MD MAHMUDUL, BORIĆ-LUBECKE OLGA, ZHENG YAO, LUBECKE VICTOR M.: "Radar-Based Non-Contact Continuous Identity Authentication", REMOTE SENSING, vol. 12, no. 14, pages 2279, XP093045630, DOI: 10.3390/rs12142279 *
KANG, HUI JUNG ET AL.: "Development of an Identity Verification System Based on Facial Images", HANKOOK INSTITUTE OF ADVANCED RECOGNITION TECHNOLO.; RESEARCH AND DEVELOPMENT RESULTS REPORT, MINISTRY OF INFORMATION AND COMMUNICATION, 31 August 2000 (2000-08-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688365A (zh) * 2023-12-13 2024-03-12 江西鼎通安防科技有限公司 多模态生物识别门禁系统
CN117688365B (zh) * 2023-12-13 2024-06-11 江西鼎通安防科技有限公司 多模态生物识别门禁系统

Also Published As

Publication number Publication date
KR20230036280A (ko) 2023-03-14
KR102596462B1 (ko) 2023-10-31

Similar Documents

Publication Publication Date Title
CA3105190C (en) System and method for identifying and verifying one or more individuals using facial recognition
US10869620B2 (en) Biometric identification by garments having a plurality of sensors
KR101998112B1 (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR101242390B1 (ko) 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
KR102012672B1 (ko) 얼굴인식 기반의 사람 특징인식을 이용한 방범 시스템 및 방법
KR20090008256A (ko) 얼굴 인식 시스템
Abate et al. On the impact of multimodal and multisensor biometrics in smart factories
WO2023038172A1 (ko) 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법
WO2013151205A1 (ko) 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치
CN111819574A (zh) 生物特征的验证方法及装置、电子设备及存储介质
Wu et al. Safegait: Safeguarding gait-based key generation against vision-based side channel attack using generative adversarial network
Khatri et al. Biometrie based authentication and access control techniques to secure mobile cloud computing
JP2006099687A (ja) 利用者認証装置
JP2012133411A (ja) 顔照合システム、顔照合装置及び顔照合方法
US20040052403A1 (en) High volume mobile identity verification system and method
EP4089254A1 (en) Gate device, server device, immigration inspection system, method for controlling gate device, and method for controlling server device
JP7251874B2 (ja) 顔認証装置、顔認証方法、プログラム、および記録媒体
KR20220008242A (ko) 얼굴을 인식하는 장치
Mitra et al. ◾ Overview of Biometric Authentication
US20230115071A1 (en) Method of verifying target person, and server and program
Zhumazhanova The problem of biometric identification of a subject and subject's changed state: perspectives of new features application in analysis of face and neck thermograms
Hamandi et al. Design a multi biometric system for safe access to buildings
WO2016006949A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
Khandelwal et al. Automated Contact Tracing using Person Tracking and Re-Identification
RU2371763C2 (ru) Способ и устройство для определения аутентичности пользователя системы

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956877

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21956877

Country of ref document: EP

Kind code of ref document: A1