WO2022065649A1 - 딥 러닝 기반 사람 인식 장치 및 방법 - Google Patents

딥 러닝 기반 사람 인식 장치 및 방법 Download PDF

Info

Publication number
WO2022065649A1
WO2022065649A1 PCT/KR2021/008994 KR2021008994W WO2022065649A1 WO 2022065649 A1 WO2022065649 A1 WO 2022065649A1 KR 2021008994 W KR2021008994 W KR 2021008994W WO 2022065649 A1 WO2022065649 A1 WO 2022065649A1
Authority
WO
WIPO (PCT)
Prior art keywords
deep learning
image
region
face
human recognition
Prior art date
Application number
PCT/KR2021/008994
Other languages
English (en)
French (fr)
Inventor
구기도
Original Assignee
주식회사 아하정보통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아하정보통신 filed Critical 주식회사 아하정보통신
Publication of WO2022065649A1 publication Critical patent/WO2022065649A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a deep learning-based human recognition apparatus and method, and more particularly, to a deep learning-based human recognition apparatus and method for recognizing a person by extracting features from a moving image of a person acquired using a visible light camera .
  • the human recognition method can be largely divided into a human face, body, and iris.
  • the human recognition method can be largely divided into a human face, body, and iris.
  • there is a problem in the method of recognizing a human face and iris that is, when acquiring information about a person's face or iris from a distance, damage to the original image may occur due to motion blur caused by the movement of the object and optical blur caused by the camera capturing the object. If a person is recognized due to such damage, there is a significant decrease in performance.
  • the human body is the main recognition target for long-distance human recognition in indoor and outdoor environments.
  • Body-based recognition can be classified into two methods. There are gait recognition, which is based on human gait, and texture and shaped based body recognition using a still image of a human body. In the case of gait recognition, although it can be free from the blur problem, it has a disadvantage in that it takes a lot of time to construct a dataset in that continuous images must be obtained.
  • the present invention provides a deep learning-based person recognition apparatus and method capable of recognizing a person by using an image of a person in motion in an indoor environment.
  • the present invention provides a deep learning-based human recognition apparatus and method having a high recognition rate by performing human recognition after removing blur according to the degree of an image and reconstructing an image.
  • the present invention provides a deep learning-based human recognition apparatus and method for reconstructing and discriminating each image in a multimodal biometric recognition method that distinguishes and recognizes faces and bodies.
  • an apparatus for recognizing a person based on deep learning there is provided an apparatus for recognizing a person based on deep learning.
  • a deep learning-based human recognition apparatus includes a region separator that separates a face region and a body region from an acquired image, and a focus score for calculating a focus score to determine the degree of blur of the image. part, a feature extracting unit for extracting a facial region feature from the face region and a body region feature from the body region, calculating a face matching distance from the facial region feature, and calculating a body region matching distance from the body region feature It may include a determination unit that determines whether the match and the person match or not.
  • a computer-readable recording medium in which a deep learning-based human recognition method and a computer program executing the method are recorded.
  • the deep learning-based human recognition method and a recording medium storing a computer program executing the same include extracting a face region image and a body region image from the acquired image, and determining the degree of blur of the image. calculating a focus score, extracting facial region features from a face region image, extracting body region features from a body region image, calculating a face matching distance using facial region features, and body region It may include calculating a body matching distance using the feature and determining whether a person matches.
  • an apparatus and method for human recognition based on deep learning can solve a problem of lowering human recognition due to blur that occurs when recognizing a moving person in an indoor environment.
  • the deep learning-based human recognition apparatus and method can increase the accuracy of moving person recognition because facial features and body features are separately extracted and used.
  • 1 to 9 are diagrams for explaining a deep learning-based human recognition apparatus according to an embodiment of the present invention.
  • 10 and 11 are examples of a deep learning structure utilized by a deep learning-based human recognition apparatus according to an embodiment of the present invention.
  • FIG. 12 is a view for explaining a deep learning-based human recognition method according to an embodiment of the present invention.
  • 13 to 15 are experimental results for explaining a deep learning-based human recognition apparatus according to an embodiment of the present invention.
  • 1 to 9 are diagrams for explaining a deep learning-based human recognition apparatus according to an embodiment of the present invention.
  • the deep learning-based human recognition apparatus 10 includes a region separation unit 100 , a focus score unit 200 , a restoration unit 300 , a feature extraction unit 400 , a distance calculation unit 500 and and a determination unit 600 .
  • the region separator 100 separates a face region and a body region from an image acquired by the human recognition device 10 using a deep learning-based visible light camera.
  • the region manager 100 includes a face region 110 and a body region 120 .
  • the region separator 100 separates only the face region from the acquired image. For example, the region separator 100 captures a feature point of a face through Adaboost and D-lib among the face acquisition programs in order to find a facial region in the acquired image.
  • the area manager 100 creates the face area unit 110 by resetting the face area based on the captured feature points.
  • the region separator 100 creates the body region 120 in the obtained image except for the face region 110 .
  • the focus score unit 200 calculates a focus score to determine the degree of blur of the image.
  • the focus score unit 200 calculates a focus score to determine the degree of blur of the image of the face region unit 120 .
  • the focus score unit 200 determines that there is blur when the focus score is less than a preset threshold value, and determines that there is no blur when the focus score is greater than the preset threshold value.
  • FIG. 3A is a face region 110 with blur
  • FIG. 3B is a face region 110 without blur.
  • the restoration unit 300 restores the face region 110 and the rest of the body region 120 other than the face region 110, which are determined to have blur because the focus score is less than the threshold value. For example, the restoration unit 300 restores the face region 110 and the body region 120, respectively, by using a deblur GAN among generative adversarial networks (GAN).
  • GAN generative adversarial networks
  • a deblur productive adversarial neural network includes a generator and an identifier (Discriminator).
  • 4(a) and 5(a) are representations of a generator of a deblurgling productive adversarial neural network (deblurGAN), and FIGS. It represents an identifier (Discriminator).
  • the role of the generator is to generate a fake image similar to the real image with Gaussian random noise as input, and the identifier (Discriminator) is the fake image ( The goal is to find a fake image by distinguishing a fake image from a real image. Therefore, the identifier (discriminator) learns in a direction that can easily distinguish the real image from the fake image, and in the case of the generator, the fake image becomes the real image. learn to approach
  • the structure of the generator of the deblur productive adversarial neural network is two convolution blocks (convolution blocks), 9 residual blocks (residual blocks) and two transposed convolution blocks.
  • a discriminator combines an input image with blur with a target image and then passes through a convolution layer to obtain an output image ) is extracted.
  • the restoration unit 300 shows that an image with blur is changed to an image after restoration through a deblurred productive adversarial neural network (DeblurGAN).
  • DeblurGAN deblurred productive adversarial neural network
  • Figure 6 (a) is an image with a blur (input image) that requires restoration because the focus score is less than a threshold value
  • Figure 6 (b) is an image with the blur (blur) restored by the restoration unit 300 It is a target image used when performing an operation
  • FIG. 6( c ) is a result of the image (output image) restored by the restoration unit 300 in FIG. 6( a ).
  • the restoration unit 300 restores the face region 110 and the body region 120 using a deblur productive adversarial neural network (deblurGAN), respectively.
  • deblurGAN deblur productive adversarial neural network
  • the feature extraction unit 400 extracts features of the face region 110 and the body region 120 , respectively.
  • the feature extracting unit 400 includes a facial feature extracting unit 410 and a body feature extracting unit 420 .
  • the facial feature extracting unit 410 extracts features of the face region by combining the facial region unit 110 restored by the restoration unit 300 and the face region unit 110 determined to have no blur.
  • the feature extraction unit 400 may extract the features of the face region unit 110 through a VGG (Visual Geometry Group) face Net-16.
  • the facial feature extractor 410 includes 13 convolutional layers, 5 pooling layers, and 3 fully connected layers.
  • the body feature extraction unit 420 extracts the body region features by combining the body region unit 120 restored by the restoration unit 300 and the body region unit 120 determined to have no blur.
  • the feature extraction unit 400 may extract features of the body region unit 120 through ResNet (Residual Networks)-50.
  • 10 and 11 are examples of a deep learning structure utilized by a deep learning-based human recognition apparatus according to an embodiment of the present invention.
  • the feature extraction unit 410 includes 13 convolutional layers, 5 pooling layers, and 3 fully connected layers.
  • the distance calculator 500 calculates a face matching distance and a body matching distance through the Euclidean distance through each feature extracted from the facial feature calculator 410 and the body feature calculator 420 . Calculate.
  • the distance calculating unit 500 calculates the combined distance of the calculated face matching distance and body matching distance using a score-level fusion method. For example, the distance calculator 300 determines by using a weight in a score-level fusion method.
  • the determination unit 600 uses the calculated coupling distance to determine whether the person matches or not.
  • the determination unit 400 determines that the coupling distance is short and the person is, and if the coupling distance is far, it is determined as the other person.
  • FIG. 12 is a diagram illustrating a deep learning-based human recognition method according to an embodiment of the present invention.
  • Each process described below is a process performed by each functional unit constituting a deep learning-based human recognition device, but for the sake of concise and clear explanation of the present invention, the subject of each step is collectively referred to as a deep learning-based human recognition device.
  • step S1201 the deep learning-based person recognition apparatus 10 acquires and inputs an image of a person walking in an indoor environment for human recognition.
  • the deep learning-based human recognition apparatus 10 distinguishes a face region and a body region from the acquired image.
  • the deep learning-based human recognition apparatus 10 extracts a face region corresponding to a face from the input image.
  • the deep learning-based human recognition apparatus 10 captures a feature point of a face through Adaboost and D-lib among face acquisition programs in order to find a face region in an acquired image.
  • the deep learning-based human recognition device 10 extracts a face region by resetting the face region based on the captured feature points.
  • the deep learning-based human recognition apparatus 10 generates the remaining parts except for the face region as the body region.
  • step S1203 the deep learning-based human recognition apparatus 10 calculates a focus score to determine the degree of blur of the image. For example, in the deep learning-based human recognition apparatus 10, the facial region calculates a focal point.
  • step S1204 the deep learning-based human recognition device 10 determines that there is blur in the extracted face region image if the focus score of the face region is greater than a preset threshold, and in step S1205, the deep learning-based human recognition device 10 removes the blur from the extracted image of the face region and the body region, respectively, and performs restoration.
  • the deep learning-based human recognition device 10 reconstructs a face region and a body region using a deblurGAN among generative adversarial networks (GAN), respectively.
  • GAN generative adversarial networks
  • the deep learning-based human recognition apparatus 10 determines that there is no blur in the extracted face region image when the focus score of the face region is less than a preset threshold value and does not go through a restoration process.
  • step S1206 the deep learning-based human recognition apparatus 10 merges the image determined to have no blur with the face region image and body region image restored in step S1205.
  • the deep learning-based human recognition apparatus 10 extracts facial region features from the face region image and extracts body region features from the body region image.
  • the deep learning-based human recognition apparatus 10 may extract features from a face region image through VGG face Net-16.
  • the deep learning-based human recognition device 10 may extract features from the body region image through ResNet-50.
  • step S1208 the deep learning-based human recognition apparatus 10 calculates the Euclidean distance through the facial region features and the body region features.
  • the deep learning-based person recognition apparatus 10 calculates a face matching distance and a body matching distance through each calculated Euclidean distance.
  • the deep learning-based human recognition apparatus 10 calculates a fusion distance by using the calculated face matching distance and body matching distance in a score-level fusion method. For example, in step S1308, the deep learning-based human recognition device 10 combines the face matching distance and the body matching distance using weights such as a weighted sum and a weighted product among score unit combinations to combine the distance. (fusion distance) is calculated.
  • step S1210 the deep learning-based person recognition apparatus 10 recognizes a person using a fusion distance.
  • 13 to 15 are performance test results of a deep learning-based human recognition apparatus according to an embodiment of the present invention.
  • the deep learning-based human recognition apparatus 10 has better recognition performance after using the DeblurGAN, compared to before using the DeblurGAN.
  • the deep learning-based human recognition apparatus 10 may recognize a face area feature even if the body area features are similar, or may recognize a person according to the body area feature when the face area is blurred.
  • the deep learning-based human recognition method described above may be implemented as a computer-readable code on a computer-readable medium.
  • the computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk).
  • ROM, RAM, computer-equipped hard disk can
  • the computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.

Abstract

본 발명은 딥 러닝 기반 사람 인식 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 딥 러닝 기반 사람 인식 장치 및 방법은 실내 환경에서 움직이는 사람 인식할 때 발생하는 흐림(blur)으로 인한 사람 인식 저하 문제를 해결할 수 있다.

Description

딥 러닝 기반 사람 인식 장치 및 방법
본 발명은 딥 러닝 기반 사람 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 가시광선 카메라를 이용한 획득한 사람이 움직이는 영상에서 특징을 추출하여 사람을 인식하는 딥 러닝 기반 사람 인식 장치 및 방법에 관한 것이다.
현재 사람을 인식하는 방법은 다양하며, 얼굴, 홍채, 지문, 손가락정맥, 몸 등이 있다. 그러나 실내외환경에서의 원거리 사람 인식 방법은 제한된다. 사람 인식 방법은 크게 사람의 얼굴과 몸 그리고 홍채로 구분할 수 있다. 하지만 사람의 얼굴과 홍채로 인식하는 방법은 문제점이 존재한다. 그것은 바로 원거리에서 사람의 얼굴이나 홍채 정보 취득 시, 대상이 움직이면서 생기는 동작 흐림(motion blur)과 카메라가 대상을 찍으면서 생기는 광학 흐림(optical blur)으로 인해 원본 영상의 손상이 발생할 수 있다. 이러한 손상으로 인해 사람을 인식하게 되면 현저히 성능의 저하가 존재한다. 이러한 문제점을 해결하기 위해 실내외환경에서 원거리 사람인식은 사람 몸이 주 인식대상이 된다.
하지만 인식 대상을 사람 몸으로 변경해도 흐림(blur)이 존재하긴 하지만 사람의 얼굴과 홍채에 영향을 미치는 것보다 영향력이 작다. 몸 기반 인식에는 2가지 방법으로 분류할 수 있다. 사람의 걸음걸이 기반인 보행 인식(Gait recognition)과 사람 몸을 정지영상을 이용한 texture and shaped based body recognition이 있다. 보행 인식(Gait recognition)의 경우 흐림(blur) 문제에 자유로울 수 있지만 연속 이미지를 얻어야 한다는 점에서 데이터셋(dataset) 구성에 많은 시간이 소요된다는 단점이 있다.
사람 몸을 정지영상을 이용한 사람 인식의 경우 인식할 대상의 옷 색깔이 인식 성능에 많은 영향을 끼치는 문제점이 있다. 또한 흐림(blur)가 존재하는 영상은 인식율이 크게 떨어지므로 흐림(blur)를 제거(deBlur)하여 영상을 복구(restoration)하는 연구도 필요하다.
본 발명의 배경기술은 대한민국 등록특허 제 10-1515214 호에 게시되어 있다.
본 발명은 실내 환경에서 움직임이 있는 사람의 영상으로 사람 인식이 가능한 딥 러닝 기반 사람 인식 장치 및 방법을 제공한다.
본 발명은 영상의 정도에 따라 흐림(blur)를 제거하고 영상을 복원한 후 사람 인식을 수행하여 인식율이 높은 딥 러닝 기반 사람 인식 장치 및 방법을 제공한다.
본 발명은 얼굴과 몸을 구분하고 각각 인식하는 멀티모달(multimodal) 생체인식 방식으로 각각 이미지를 복원하여 판별하는 딥 러닝 기반 사람 인식 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 딥 러닝 기반 사람 인식 장치를 제공한다.
본 발명의 일 실시예에 따른 딥 러닝 기반 사람 인식 장치는 획득한 영상에서 얼굴 영역과 몸 영역을 구분하는 영역 분리부, 상기 영상의 흐림(blur)정도를 판단하기 위해 초점 점수를 산출하는 초점 점수부, 상기 얼굴 영역에 얼굴 영역 특징과 상기 몸 영역에서 몸 영역 특징을 추출하는 특징 추출부, 상기 얼굴 영역 특징에서 얼굴 매칭 거리를 산출하고, 상기 몸 영역 특징에서 몸 영역 매칭 거리를 산출하는 거리 산출부 및 사람 일치 및 불 일치 여부를 판단하는 판단부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥 러닝 기반 사람 인식 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.
본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 획득한 영상에서 얼굴 영역 영상과 몸 영역 영상을 추출하는 단계, 영상의 흐림(blur)정도를 판단하기 위해 초점 점수(focus score)를 산출하는 단계, 얼굴 영역 영상에서 얼굴 영역 특징을 추출하고, 몸 영역 영상에서 몸 영역 특징을 추출하는 단계, 얼굴 영역 특징을 이용해 얼굴 매칭 거리를 산출하고, 몸 영역 특징을 이용해 몸 매칭 거리를 산출하는 단계 및 사람 일치 여부를 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 사람 인식 장치 및 방법은 실내 환경에서 움직이는 사람 인식할 때 발생하는 흐림(blur)으로 인한 사람 인식 저하 문제를 해결할 수 있다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 사람 인식 장치 및 방법은 얼굴 특징과 몸 특징을 따로 추출하여 이용하므로 움직이는 사람 인식의 정확도를 높일 수 있다.
도 1 내지 도9는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치를 설명하기 위한 도면들.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치가 활용하는 딥 러닝 구조의 예시들.
도12는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 방법을 설명한 도면.
도 13 내지15는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치를 설명하기 위한 실험 결과들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도9는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 딥 러닝 기반 사람 인식 장치(10)는 영역 분리부(100), 초점 점수부(200), 복원부(300), 특징 추출부(400), 거리 산출부(500) 및 판단부(600)를 포함한다.
영역 분리부(100)는 딥 러닝 기반 가시광선 카메라를 이용한 사람 인식 장치(10)가 획득한 영상에서 얼굴 영역과 몸 영역을 구분한다.
도 2를 참조하면, 영역 관리부(100)는 얼굴 영역부(110) 및 몸 영역부(120)를 포함한다.
영역 분리부(100)는 획득한 영상에서 얼굴 영역만을 분리한다. 예를 들면 영역 분리부(100)는 획득 영상에서 얼굴 영역을 찾아내기 위해 얼굴 취득 프로그램 중 Adaboost와 D-lib를 통해 얼굴의 특징 점(feature point)를 포착한다. 영역 관리부(100)는 포착한 특징 점을 기준으로 얼굴 영역을 재설정하여 얼굴 영역부(110)를 생성한다.
영역 분리부(100) 획득한 영상에서 얼굴 영역부(110)를 제외한 나머지 부분을 몸 영역부(120)로 생성한다.
다시 도1을 참조하면, 초점 점수부(200)는 영상의 흐림(blur)정도를 판단하기 위해 초점 점수(focus score)를 산출한다. 초점 점수부(200)는 얼굴 영역부(120)의 영상의 흐림(blur)정도를 판단하기 위해 초점 점수(focus score)를 산출한다.
초점 점수부(200)는 초점 점수가 이미 설정된 임계 값보다 적은 경우 흐림(blur)가 있다고 판단하고 큰 경우 흐림(blur)가 없다고 판단한다.
도 3을 참조하면, 초점 점수에 따라 도3(a)는 흐림(blur)가 있는 얼굴 영역부(110)이고 도 3(b)는 흐림(blur)가 없는 얼굴 영역부(110)이다.
복원부(300)는 초점 점수가 임계 값보다 적어서 흐림(blur)가 있다고 판단된 얼굴 영역부(110)와 얼굴 영역부(110)외 나머지 몸 영역부(120)를 복원한다. 예를 들면 복원부(300)는 생산적 적대 신경망(GAN, Generative adversarial networks) 중 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 얼굴 영역부(110)와 몸 영역부(120)를 각각 복원한다.
도 4 및 도 5를 참조하면, 흐림 제거 생산적 적대 신경망(deblurGAN)은 생성자(Generator) 및 식별자(Discriminator)를 포함한다. 도 4(a) 및 도 5(a)는 흐림 제거 생산적 적대 신경망(deblurGAN)의 생성자(Generator)를 표현한 것이고, 도 4(b) 및 도 5(b)는 흐림 제거 생산적 적대 신경망(deblurGAN)의 식별자(Discriminator)를 표현한 것이다. 생성자(Generator)의 역할은 Gaussian random noise를 input으로 하여 실제 이미지(real image)와 유사한 가짜 이미지(fake image)를 생성하는 것이 목표이며, 식별자(Discriminator)은 생성자(Generator)에서 생성된 가짜 이미지(fake image)와 실제 이미지(real image)를 구별하여 가짜 이미지(fake image)를 찾는 것이 목표이다. 따라서 식별자(discriminator)는 실제 이미지(real image)와 가짜 이미지(fake image)를 쉽게 구분할 수 있는 방향으로 학습을 진행하며, 생성자(Generator)의 경우 가짜 이미지(fake image)가 실제 이미지(real image)에 근접할 수 있도록 학습한다.
도 4(a) 및 도 5(a)를 자세히 설명하면, 흐림 제거 생산적 적대 신경망(deblurGAN)의 생성자(Generator)의 구조는 2개의 합성곱 블록(convolution blocks), 9개의 잔여 블록(residual blocks) 및 2개의 전치 합성곱 블록(transposed convolution blocks)을 포함한다.
도 4(b) 및 도 5(b)를 자세히 설명하면, 식별자(discriminator)는 흐림이 있는 입력 영상(input image)을 목적 영상(target image)과 합친 후 합성곱 층을 통하여 결과 영상(output image)을 추출한다.
도 6을 참조하면, 복원부(300)는 흐림(blur)이 있는 영상을 흐림 제거 생산적 적대 신경망(DeblurGAN)을 통해 복원한 후의 이미지로 바뀌는 것을 나타낸다.
도 6(a)는 초점 점수가 임계 값보다 적어서 복원이 필요한 흐림(blur)이 있는 영상(input image)이고, 도6(b)는 복원부(300)가 흐림(blur)가 있는 영상을 복원할 때 이용되는 목적 영상(target image)이고, 도 6(c)는 도 6(a)가 복원부(300)를 통해 복원된 영상(output image)의 결과이다.
복원부(300)는 얼굴 영역부(110)와 몸 영역부(120)를 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 각각 복원한다.
다시 도 1을 참조하면, 특징 추출부(400)는 얼굴 영역부(110) 및 몸 영역부(120)의 특징을 각각 추출합니다.
도7을 참조하면, 특징 추출부(400)는 얼굴 특징 추출부(410) 및 몸 특징 추출부(420)을 포함한다.
얼굴 특징 추출부(410)는 복원부(300)에서 복원한 얼굴 영역부(110)와 흐림이 없다고 판단된 얼굴 영역부(110)를 합쳐서 얼굴 영역의 특징을 추출한다. 예를 들면 특징 추출부(400)는 VGG(Visual Geometry Group) face Net-16을 통하여 얼굴 영역부(110)의 특징을 추출할 수 있다.
도 8 및 도 9는 얼굴 특징 추출부(410)에 해당하는 딥 러닝 구조의 예시이다.
도 8 및 도 9를 참조하면, 얼굴 특징 추출부(410)는13개의 합성곱 층(convolutional layers), 5개의 pooling layers(풀링 층) 및 3 개의 전체 연결 층(Fully connected layers)을 포함한다.
또한 몸 특징 추출부(420)는 복원부(300)에서 복원한 몸 영역부(120)와 흐림이 없다고 판단된 몸 영역부(120)를 합쳐서 몸 영역의 특징을 추출한다. 예를 들면 특징 추출부(400)는 ResNet(Residual Networks)-50을 통해서 몸 영역부(120)의 특징을 추출할 수 있다.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치가 활용하는 딥 러닝 구조의 예시들이다.
도 10 및 도 11을 참조하면. 특징 추출부(410)는13개의 합성곱 층(convolutional layers), 5개의 풀링 층(pooling layers) 및 3 개의 전연결 층(Fully connected layers)을 포함한다.
다시 도 1을 참조하면, 거리 산출부(500)는 얼굴 특징 산출부(410)와 몸 특징 산출부(420)에서 추출한 각각의 특징을 통해 유클리디안 거리를 통해 얼굴 매칭 거리 및 몸 매칭 거리를 산출한다. 거리 산출부(500)는 산출된 얼굴 매칭 거리 및 몸 매칭 거리를 점수 단위 결합(score-level fusion)방식을 이용하여 결합 거리를 산출한다. 예를 들면, 거리 산출부(300)는 점수 단위 결합(score-level fusion) 방식에 가중치를 사용하여 판단한다.
판단부(600)는 산출된 결합 거리를 이용해 본인 일치 및 타인 여부를 판단한다.
판단부(400)는 결합 거리가 짧으며 본인으로, 먼 경우 타인으로 판단한다.
도 12는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 방법을 설명한 도면이다. 이하 설명하는 각 과정은 딥 러닝 기반 사람 인식 장치를 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 딥 러닝 기반 사람 인식 장치로 통칭하도록 한다.
도 12를 참조하면, 단계 S1201에서 딥 러닝 기반 사람 인식 장치(10)는 사람 인식을 위해 실내 환경에서의 걸어다니는 사람의 영상을 취득하여 입력한다.
단계 S1202에서 딥 러닝 기반 사람 인식 장치(10)는 취득한 영상에서 얼굴 영역과 몸 영역을 구분한다. 딥 러닝 기반 사람 인식 장치(10)는 입력된 영상에서 얼굴에 해당하는 얼굴 영역을 추출한다. 딥 러닝 기반 사람 인식 장치(10)는 획득 영상에서 얼굴 영역을 찾아내기 위해 얼굴 취득 프로그램 중 Adaboost와 D-lib를 통해 얼굴의 특징 점(feature point)를 포착한다. 딥 러닝 기반 사람 인식 장치(10)는 포착한 특징 점을 기준으로 얼굴 영역을 재설정하여 얼굴 영역을 추출한다. 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역을 제외한 나머지 부분을 몸 영역으로 생성한다.
단계 S1203에서 딥 러닝 기반 사람 인식 장치(10)는 영상의 흐림 (blur) 정도를 판단하기 위해 초점 점수(focus score)를 산출한다. 예를 들면, 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역이 초점 점수를 산출한다.
단계 S1204에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역의 초점 점수가 미리 설정된 임계 값보다 크면 추출한 얼굴 영역 영상에 흐림(blur)이 있다고 판단하고 단계 S1205에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역 및 몸 영역을 추출한 영상에서 각각 흐림(blur)를 제거하고 복원을 수행한다. 예를 들면, 딥 러닝 기반 사람 인식 장치(10)는 생산적 적대 신경망(GAN, Generative adversarial networks) 중 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 얼굴 영역 및 몸 영역을 각각 복원한다. 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역의 초점 점수가 미리 설정된 임계 값보다 적으면 추출한 얼굴 영역 영상에 흐림(blur)이 없다고 판단하고 복원과정을 거치지 않는다.
단계 S1206에서 딥 러닝 기반 사람 인식 장치(10)는 단계 S1205에서 복원한 얼굴 영역 영상 및 몸 영역 영상과 흐림(blur)가 없다고 판단한 영상을 합친다.
단계 S1207에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역 영상에 얼굴 영역 특징을 추출하고, 몸 영역 영상에서 몸 영역 특징을 추출한다. 예를 들면, 딥 러닝 기반 사람 인식 장치(10)는 VGG face Net-16을 통하여 얼굴 영역 영상에서 특징을 추출할 수 있다. 또한 딥 러닝 기반 사람 인식 장치(10)는 ResNet-50을 통해서 몸 영역 영상에서 특징을 추출할 수 있다.
단계 S1208에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역 특징과 몸 영역 특징을 통해 유클리디안 거리를 산출한다. 딥 러닝 기반 사람 인식 장치(10)는 산출한 각각의 유클리디안 거리를 통해 얼굴 매칭 거리 및 몸 매칭 거리를 산출한다.
단계 S1209에서 딥 러닝 기반 사람 인식 장치(10)는 산출된 얼굴 매칭 거리 및 몸 매칭 거리를 점수 단위 결합(score-level fusion) 방식으로 결합 거리(fusion distance)를 산출한다. 예를 들면 단계 S1308에서 딥 러닝 기반 사람 인식 장치(10)는 점수 단위 결합 중 가중 합계(weighted sum)과 가중 제품(weighted product)과 같은 가중치를 이용해 얼굴 매칭 거리와 몸 매칭 거리를 결합하여 결합 거리(fusion distance)를 산출한다.
단계 S1210에서 딥 러닝 기반 사람 인식 장치(10)는 결합 거리(fusion distance)를 이용해 사람을 인식한다.
도 13 내지 도 15는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치의 성능 실험 결과들이다.
도 13을 참조하면, 딥 러닝 기반 사람 인식 장치(10)는 흐림 제거 생산적 적대 신경망(DeblurGAN) 사용 후 인식 성능이 사용 전 보다 더 좋은 것을 확인할 수 있다.
도 13(a) 및 도 14(a)를 자세히 설명하면 얼굴 인식율과 몸 인식율의 동일 오류율(ERR)을 추출한 결과 흐림 제거 생산적 적대 신경망(DeblurGAN)을 거친 것의 동일 오류율이 더 낮은 것을 확인할 수 있다. FAR은 오인식률(False acceptance rate, 타인 수락률)은 타인을 본인으로 인식하는 경우이고, GAR은 정인식율(Genuine Acceptance Rate)로 본인으로 제대로 인식하는 경우이다.
도 13(b) 및 도 14(b)를 자세히 설명하면, 산출한 점수 단위 결합을 이용해 산출한 결합 점수의 동일 오류율(ERR)의 결과값이다. 결합 거리를 이용하여도 흐림 제거 생산적 적대 신경망(DeblurGAN)을 거친 것의 동일 오류율이 더 낮은 것을 확인할 수 있다. 오류율이 낮다는 것은 판단 정확도가 높다는 것이다.
도 15를 참조하면, 딥 러닝 기반 사람 인식 장치(10)가 점수 단위 결합하여 결합 거리를 산출할 때 가중치를 가중 제품(weighted product)으로 적용하였을 때 가중 합계(weighted sum) 보다는 조금 더 우수하는 것을 보여준다. 딥 러닝 기반 사람 인식 장치(10)는 몸 영역 특징이 비슷하다 하더라도 얼굴 영역 특징으로 인식할 수 있고, 또는 얼굴 영역이 흐릿한 경우에는 몸 영역 특징에 따라 사람 인식이 가능하다.
상술한 딥 러닝 기반 사람 인식 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (9)

  1. 딥 러닝 기반 사람 인식 장치에 있어서,
    획득한 영상에서 얼굴 영역과 몸 영역을 구분하는 영역 분리부;
    상기 영상의 흐림(blur)정도를 판단하기 위해 초점 점수를 산출하는 초점 점수부;
    상기 얼굴 영역에 얼굴 영역 특징과 상기 몸 영역에서 몸 영역 특징을 추출하는 특징 추출부;
    상기 얼굴 영역 특징에서 얼굴 매칭 거리를 산출하고, 상기 몸 영역 특징에서 몸 영역 매칭 거리를 산출하는 거리 산출부; 및
    사람 일치 및 불 일치 여부를 판단하는 판단부를 포함하는 딥 러닝 기반 사람 인식 장치.
  2. 제1항에 있어서,
    상기 초점 점수부는
    상기 얼굴 영역의 초점 점수를 산출하는 딥 러닝 기반 사람 인식 장치.
  3. 제1항에 있어서,
    상기 거리 산출부는
    상기 얼굴 매칭 거리와 몸 매칭 거리를 이용해 결합 거리를 산출하는 딥 러닝 기반 사람 인식 장치.
  4. 제1항에 있어서,
    상기 초점 점수에 따라 흐림을 제거하고 영상을 복원하는 복원부를 더 포함하는 딥 러닝 기반 사람 인식 장치.
  5. 딥 러닝 기반 사람 인식 장치가 딥 러닝 기반 사람 인식 방법에 있어서,
    획득한 영상에서 얼굴 영역 영상과 몸 영역 영상을 추출하는 단계;
    상기 영상의 흐림(blur)정도를 판단하기 위해 초점 점수(focus score)를 산출하는 단계;
    상기 얼굴 영역 영상에서 얼굴 영역 특징을 추출하고, 상기 몸 영역 영상에서 몸 영역 특징을 추출하는 단계;
    상기 얼굴 영역 특징을 이용해 얼굴 매칭 거리를 산출하고, 상기 몸 영역 특징을 이용해 몸 매칭 거리를 산출하는 단계; 및
    사람 일치 여부를 판단하는 단계를 포함하는 딥 러닝 기반 사람 인식 방법.
  6. 제5항에 있어서,
    상기 초점 점수에 따라 상기 얼굴 영역 영상 및 상기 몸 영역 영상을 복원하는 단계를 더 포함하는 딥 러닝 기반 사람 인식 방법.
  7. 제5항에 있어서,
    상기 얼굴 매칭 거리와 상기 몸 매칭 거리를 이용해 결합 거리를 산출하는 단계를 더 포함하는 딥 러닝 기반 사람 인식 방법.
  8. 제5항에 있어서,
    상기 초점 점수는
    상기 얼굴 영역 영상에서 산출하는 딥 러닝 기반 사람 인식 방법.
  9. 제5항 내지 제8항의 딥 러닝 기반 사람 인식 방법 중 어느 하나를 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
PCT/KR2021/008994 2020-09-22 2021-07-13 딥 러닝 기반 사람 인식 장치 및 방법 WO2022065649A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0122578 2020-09-22
KR1020200122578A KR102410564B1 (ko) 2020-09-22 2020-09-22 딥 러닝 기반 사람 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022065649A1 true WO2022065649A1 (ko) 2022-03-31

Family

ID=80846764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008994 WO2022065649A1 (ko) 2020-09-22 2021-07-13 딥 러닝 기반 사람 인식 장치 및 방법

Country Status (2)

Country Link
KR (2) KR102410564B1 (ko)
WO (1) WO2022065649A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110129789A (ko) * 2010-05-26 2011-12-02 수원대학교산학협력단 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
KR20160119932A (ko) * 2015-04-06 2016-10-17 한국과학기술원 품질 측정 기반의 얼굴 인식 방법 및 장치
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
KR20190129351A (ko) * 2018-05-10 2019-11-20 한국전자통신연구원 얼굴 인식용 등록 영상 선별 장치 및 방법
KR20200013271A (ko) * 2018-07-13 2020-02-07 동국대학교 산학협력단 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110129789A (ko) * 2010-05-26 2011-12-02 수원대학교산학협력단 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
KR20160119932A (ko) * 2015-04-06 2016-10-17 한국과학기술원 품질 측정 기반의 얼굴 인식 방법 및 장치
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
KR20190129351A (ko) * 2018-05-10 2019-11-20 한국전자통신연구원 얼굴 인식용 등록 영상 선별 장치 및 방법
KR20200013271A (ko) * 2018-07-13 2020-02-07 동국대학교 산학협력단 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법

Also Published As

Publication number Publication date
KR102410564B1 (ko) 2022-06-20
KR20220039463A (ko) 2022-03-29
KR20220088653A (ko) 2022-06-28

Similar Documents

Publication Publication Date Title
Kang et al. Real-time sign language fingerspelling recognition using convolutional neural networks from depth map
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
Dagnes et al. Occlusion detection and restoration techniques for 3D face recognition: a literature review
CN110287825B (zh) 一种基于关键骨骼点轨迹分析的摔倒动作检测方法
CN109858467B (zh) 一种基于关键点区域特征融合的人脸识别方法及装置
KR102213494B1 (ko) 행동 인식 장치 및 방법
Chintha et al. Leveraging edges and optical flow on faces for deepfake detection
Wilhelm Towards facial expression analysis in a driver assistance system
Kim et al. Fingerprint generation and presentation attack detection using deep neural networks
Rathgeb et al. Makeup presentation attacks: Review and detection performance benchmark
Urmee et al. Real-time bangla sign language detection using xception model with augmented dataset
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
Huang et al. Deepfake mnist+: a deepfake facial animation dataset
CN111079465A (zh) 一种基于三维成像分析的情绪状态综合判定方法
Alsufyani et al. Biometric presentation attack detection using gaze alignment
Aly et al. Arabic sign language recognition using spatio-temporal local binary patterns and support vector machine
Einy et al. IoT cloud-based framework for face spoofing detection with deep multicolor feature learning model
Zuo et al. Face liveness detection algorithm based on livenesslight network
KR20200119425A (ko) 도메인 적응 기반 객체 인식 장치 및 그 방법
WO2022065649A1 (ko) 딥 러닝 기반 사람 인식 장치 및 방법
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
KR20160033552A (ko) 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
CN111523461A (zh) 基于增强cnn和跨层lstm的表情识别系统与方法
CN108197593B (zh) 基于三点定位方法的多尺寸人脸表情识别方法及装置
CN112613430B (zh) 一种基于深度迁移学习的步态识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872683

Country of ref document: EP

Kind code of ref document: A1