KR102410564B1 - 딥 러닝 기반 사람 인식 장치 및 방법 - Google Patents

딥 러닝 기반 사람 인식 장치 및 방법 Download PDF

Info

Publication number
KR102410564B1
KR102410564B1 KR1020200122578A KR20200122578A KR102410564B1 KR 102410564 B1 KR102410564 B1 KR 102410564B1 KR 1020200122578 A KR1020200122578 A KR 1020200122578A KR 20200122578 A KR20200122578 A KR 20200122578A KR 102410564 B1 KR102410564 B1 KR 102410564B1
Authority
KR
South Korea
Prior art keywords
region
blur
face
deep learning
image
Prior art date
Application number
KR1020200122578A
Other languages
English (en)
Other versions
KR20220039463A (ko
Inventor
박강령
구자형
Original Assignee
(주) 아하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아하 filed Critical (주) 아하
Priority to KR1020200122578A priority Critical patent/KR102410564B1/ko
Priority to PCT/KR2021/008994 priority patent/WO2022065649A1/ko
Publication of KR20220039463A publication Critical patent/KR20220039463A/ko
Priority to KR1020220072461A priority patent/KR20220088653A/ko
Application granted granted Critical
Publication of KR102410564B1 publication Critical patent/KR102410564B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥 러닝 기반 사람 인식 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 딥 러닝 기반 사람 인식 장치 및 방법은 실내 환경에서 움직이는 사람 인식할 때 발생하는 흐림(blur)으로 인한 사람 인식 저하 문제를 해결할 수 있다.

Description

딥 러닝 기반 사람 인식 장치 및 방법 {DEVICE AND METHOD FOR HUMAN RECOGNITION BASED ON DEEP LEARNING}
본 발명은 딥 러닝 기반 사람 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 가시광선 카메라를 이용한 획득한 사람이 움직이는 영상에서 특징을 추출하여 사람을 인식하는 딥 러닝 기반 사람 인식 장치 및 방법에 관한 것이다.
현재 사람을 인식하는 방법은 다양하며, 얼굴, 홍채, 지문, 손가락정맥, 몸 등이 있다. 그러나 실내외환경에서의 원거리 사람 인식 방법은 제한된다. 사람 인식 방법은 크게 사람의 얼굴과 몸 그리고 홍채로 구분할 수 있다. 하지만 사람의 얼굴과 홍채로 인식하는 방법은 문제점이 존재한다. 그것은 바로 원거리에서 사람의 얼굴이나 홍채 정보 취득 시, 대상이 움직이면서 생기는 동작 흐림(motion blur)과 카메라가 대상을 찍으면서 생기는 광학 흐림(optical blur)으로 인해 원본 영상의 손상이 발생할 수 있다. 이러한 손상으로 인해 사람을 인식하게 되면 현저히 성능의 저하가 존재한다. 이러한 문제점을 해결하기 위해 실내외환경에서 원거리 사람인식은 사람 몸이 주 인식대상이 된다.
하지만 인식 대상을 사람 몸으로 변경해도 흐림(blur)이 존재하긴 하지만 사람의 얼굴과 홍채에 영향을 미치는 것보다 영향력이 작다. 몸 기반 인식에는 2가지 방법으로 분류할 수 있다. 사람의 걸음걸이 기반인 보행 인식(Gait recognition)과 사람 몸을 정지영상을 이용한 texture and shaped based body recognition이 있다. 보행 인식(Gait recognition)의 경우 흐림(blur) 문제에 자유로울 수 있지만 연속 이미지를 얻어야 한다는 점에서 데이터셋(dataset) 구성에 많은 시간이 소요된다는 단점이 있다.
사람 몸을 정지영상을 이용한 사람 인식의 경우 인식할 대상의 옷 색깔이 인식 성능에 많은 영향을 끼치는 문제점이 있다. 또한 흐림(blur)가 존재하는 영상은 인식율이 크게 떨어지므로 흐림(blur)를 제거(deBlur)하여 영상을 복구(restoration)하는 연구도 필요하다.
본 발명의 배경기술은 대한민국 등록특허 제 10-1515214 호에 게시되어 있다.
본 발명은 실내 환경에서 움직임이 있는 사람의 영상으로 사람 인식이 가능한 딥 러닝 기반 사람 인식 장치 및 방법을 제공한다.
본 발명은 영상의 정도에 따라 흐림(blur)를 제거하고 영상을 복원한 후 사람 인식을 수행하여 인식율이 높은 딥 러닝 기반 사람 인식 장치 및 방법을 제공한다.
본 발명은 얼굴과 몸을 구분하고 각각 인식하는 멀티모달(multimodal) 생체인식 방식으로 각각 이미지를 복원하여 판별하는 딥 러닝 기반 사람 인식 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 딥 러닝 기반 사람 인식 장치를 제공한다.
본 발명의 일 실시예에 따른 딥 러닝 기반 사람 인식 장치는 획득한 영상에서 얼굴 영역과 몸 영역을 구분하는 영역 분리부, 상기 영상의 흐림(blur)정도를 판단하기 위해 초점 점수를 산출하는 초점 점수부, 상기 얼굴 영역에 얼굴 영역 특징과 상기 몸 영역에서 몸 영역 특징을 추출하는 특징 추출부, 상기 얼굴 영역 특징에서 얼굴 매칭 거리를 산출하고, 상기 몸 영역 특징에서 몸 영역 매칭 거리를 산출하는 거리 산출부 및 사람 일치 및 불 일치 여부를 판단하는 판단부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥 러닝 기반 사람 인식 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.
본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 획득한 영상에서 얼굴 영역 영상과 몸 영역 영상을 추출하는 단계, 영상의 흐림(blur)정도를 판단하기 위해 초점 점수(focus score)를 산출하는 단계, 얼굴 영역 영상에서 얼굴 영역 특징을 추출하고, 몸 영역 영상에서 몸 영역 특징을 추출하는 단계, 얼굴 영역 특징을 이용해 얼굴 매칭 거리를 산출하고, 몸 영역 특징을 이용해 몸 매칭 거리를 산출하는 단계 및 사람 일치 여부를 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 사람 인식 장치 및 방법은 실내 환경에서 움직이는 사람 인식할 때 발생하는 흐림(blur)으로 인한 사람 인식 저하 문제를 해결할 수 있다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반 사람 인식 장치 및 방법은 얼굴 특징과 몸 특징을 따로 추출하여 이용하므로 움직이는 사람 인식의 정확도를 높일 수 있다.
도 1 내지 도9는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치를 설명하기 위한 도면들.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치가 활용하는 딥 러닝 구조의 예시들.
도12는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 방법을 설명한 도면.
도 13 내지15는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치를 설명하기 위한 실험 결과들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도9는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 딥 러닝 기반 사람 인식 장치(10)는 영역 분리부(100), 초점 점수부(200), 복원부(300), 특징 추출부(400), 거리 산출부(500) 및 판단부(600)를 포함한다.
영역 분리부(100)는 딥 러닝 기반 가시광선 카메라를 이용한 사람 인식 장치(10)가 획득한 영상에서 얼굴 영역과 몸 영역을 구분한다.
도 2를 참조하면, 영역 관리부(100)는 얼굴 영역부(110) 및 몸 영역부(120)를 포함한다.
영역 분리부(100)는 획득한 영상에서 얼굴 영역만을 분리한다. 예를 들면 영역 분리부(100)는 획득 영상에서 얼굴 영역을 찾아내기 위해 얼굴 취득 프로그램 중 Adaboost와 D-lib를 통해 얼굴의 특징 점(feature point)를 포착한다. 영역 관리부(100)는 포착한 특징 점을 기준으로 얼굴 영역을 재설정하여 얼굴 영역부(110)를 생성한다.
영역 분리부(100) 획득한 영상에서 얼굴 영역부(110)를 제외한 나머지 부분을 몸 영역부(120)로 생성한다.
다시 도1을 참조하면, 초점 점수부(200)는 영상의 흐림(blur)정도를 판단하기 위해 초점 점수(focus score)를 산출한다. 초점 점수부(200)는 얼굴 영역부(120)의 영상의 흐림(blur)정도를 판단하기 위해 초점 점수(focus score)를 산출한다.
초점 점수부(200)는 초점 점수가 이미 설정된 임계 값보다 적은 경우 흐림(blur)가 있다고 판단하고 큰 경우 흐림(blur)가 없다고 판단한다.
도 3을 참조하면, 초점 점수에 따라 도3(a)는 흐림(blur)가 있는 얼굴 영역부(110)이고 도 3(b)는 흐림(blur)가 없는 얼굴 영역부(110)이다.
복원부(300)는 초점 점수가 임계 값보다 적어서 흐림(blur)가 있다고 판단된 얼굴 영역부(110)와 얼굴 영역부(110)외 나머지 몸 영역부(120)를 복원한다. 예를 들면 복원부(300)는 생산적 적대 신경망(GAN, Generative adversarial networks) 중 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 얼굴 영역부(110)와 몸 영역부(120)를 각각 복원한다.
도 4 및 도 5를 참조하면, 흐림 제거 생산적 적대 신경망(deblurGAN)은 생성자(Generator) 및 식별자(Discriminator)를 포함한다. 도 4(a) 및 도 5(a)는 흐림 제거 생산적 적대 신경망(deblurGAN)의 생성자(Generator)를 표현한 것이고, 도 4(b) 및 도 5(b)는 흐림 제거 생산적 적대 신경망(deblurGAN)의 식별자(Discriminator)를 표현한 것이다. 생성자(Generator)의 역할은 Gaussian random noise를 input으로 하여 실제 이미지(real image)와 유사한 가짜 이미지(fake image)를 생성하는 것이 목표이며, 식별자(Discriminator)은 생성자(Generator)에서 생성된 가짜 이미지(fake image)와 실제 이미지(real image)를 구별하여 가짜 이미지(fake image)를 찾는 것이 목표이다. 따라서 식별자(discriminator)는 실제 이미지(real image)와 가짜 이미지(fake image)를 쉽게 구분할 수 있는 방향으로 학습을 진행하며, 생성자(Generator)의 경우 가짜 이미지(fake image)가 실제 이미지(real image)에 근접할 수 있도록 학습한다.
도 4(a) 및 도 5(a)를 자세히 설명하면, 흐림 제거 생산적 적대 신경망(deblurGAN)의 생성자(Generator)의 구조는 2개의 합성곱 블록(convolution blocks), 9개의 잔여 블록(residual blocks) 및 2개의 전치 합성곱 블록(transposed convolution blocks)을 포함한다.
도 4(b) 및 도 5(b)를 자세히 설명하면, 식별자(discriminator)는 흐림이 있는 입력 영상(input image)을 목적 영상(target image)과 합친 후 합성곱 층을 통하여 결과 영상(output image)을 추출한다.
도 6을 참조하면, 복원부(300)는 흐림(blur)이 있는 영상을 흐림 제거 생산적 적대 신경망(DeblurGAN)을 통해 복원한 후의 이미지로 바뀌는 것을 나타낸다.
도 6(a)는 초점 점수가 임계 값보다 적어서 복원이 필요한 흐림(blur)이 있는 영상(input image)이고, 도6(b)는 복원부(300)가 흐림(blur)가 있는 영상을 복원할 때 이용되는 목적 영상(target image)이고, 도 6(c)는 도 6(a)가 복원부(300)를 통해 복원된 영상(output image)의 결과이다.
복원부(300)는 얼굴 영역부(110)와 몸 영역부(120)를 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 각각 복원한다.
다시 도 1을 참조하면, 특징 추출부(400)는 얼굴 영역부(110) 및 몸 영역부(120)의 특징을 각각 추출합니다.
도7을 참조하면, 특징 추출부(400)는 얼굴 특징 추출부(410) 및 몸 특징 추출부(420)을 포함한다.
얼굴 특징 추출부(410)는 복원부(300)에서 복원한 얼굴 영역부(110)와 흐림이 없다고 판단된 얼굴 영역부(110)를 합쳐서 얼굴 영역의 특징을 추출한다. 예를 들면 특징 추출부(400)는 VGG(Visual Geometry Group) face Net-16을 통하여 얼굴 영역부(110)의 특징을 추출할 수 있다.
도 8 및 도 9는 얼굴 특징 추출부(410)에 해당하는 딥 러닝 구조의 예시이다.
도 8 및 도 9를 참조하면, 얼굴 특징 추출부(410)는13개의 합성곱 층(convolutional layers), 5개의 pooling layers(풀링 층) 및 3 개의 전체 연결 층(Fully connected layers)을 포함한다.
또한 몸 특징 추출부(420)는 복원부(300)에서 복원한 몸 영역부(120)와 흐림이 없다고 판단된 몸 영역부(120)를 합쳐서 몸 영역의 특징을 추출한다. 예를 들면 특징 추출부(400)는 ResNet(Residual Networks)-50을 통해서 몸 영역부(120)의 특징을 추출할 수 있다.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치가 활용하는 딥 러닝 구조의 예시들이다.
도 10 및 도 11을 참조하면. 특징 추출부(410)는13개의 합성곱 층(convolutional layers), 5개의 풀링 층(pooling layers) 및 3 개의 전연결 층(Fully connected layers)을 포함한다.
다시 도 1을 참조하면, 거리 산출부(500)는 얼굴 특징 산출부(410)와 몸 특징 산출부(420)에서 추출한 각각의 특징을 통해 유클리디안 거리를 통해 얼굴 매칭 거리 및 몸 매칭 거리를 산출한다. 거리 산출부(500)는 산출된 얼굴 매칭 거리 및 몸 매칭 거리를 점수 단위 결합(score-level fusion)방식을 이용하여 결합 거리를 산출한다. 예를 들면, 거리 산출부(300)는 점수 단위 결합(score-level fusion) 방식에 가중치를 사용하여 판단한다.
판단부(600)는 산출된 결합 거리를 이용해 본인 일치 및 타인 여부를 판단한다.
판단부(400)는 결합 거리가 짧으며 본인으로, 먼 경우 타인으로 판단한다.
도12는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 방법을 설명한 도면이다. 이하 설명하는 각 과정은 딥 러닝 기반 사람 인식 장치를 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 딥 러닝 기반 사람 인식 장치로 통칭하도록 한다.
도 12를 참조하면, 단계 S1201에서 딥 러닝 기반 사람 인식 장치(10)는 사람 인식을 위해 실내 환경에서의 걸어다니는 사람의 영상을 취득하여 입력한다.
단계 S1202에서 딥 러닝 기반 사람 인식 장치(10)는 취득한 영상에서 얼굴 영역과 몸 영역을 구분한다. 딥 러닝 기반 사람 인식 장치(10)는 입력된 영상에서 얼굴에 해당하는 얼굴 영역을 추출한다. 딥 러닝 기반 사람 인식 장치(10)는 획득 영상에서 얼굴 영역을 찾아내기 위해 얼굴 취득 프로그램 중 Adaboost와 D-lib를 통해 얼굴의 특징 점(feature point)를 포착한다. 딥 러닝 기반 사람 인식 장치(10)는 포착한 특징 점을 기준으로 얼굴 영역을 재설정하여 얼굴 영역을 추출한다. 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역을 제외한 나머지 부분을 몸 영역으로 생성한다.
단계 S1203에서 딥 러닝 기반 사람 인식 장치(10)는 영상의 흐림 (blur) 정도를 판단하기 위해 초점 점수(focus score)를 산출한다. 예를 들면, 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역이 초점 점수를 산출한다.
단계 S1204에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역의 초점 점수가 미리 설정된 임계 값보다 크면 추출한 얼굴 영역 영상에 흐림(blur)이 있다고 판단하고 단계 S1205에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역 및 몸 영역을 추출한 영상에서 각각 흐림(blur)를 제거하고 복원을 수행한다. 예를 들면, 딥 러닝 기반 사람 인식 장치(10)는 생산적 적대 신경망(GAN, Generative adversarial networks) 중 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 얼굴 영역 및 몸 영역을 각각 복원한다. 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역의 초점 점수가 미리 설정된 임계 값보다 적으면 추출한 얼굴 영역 영상에 흐림(blur)이 없다고 판단하고 복원과정을 거치지 않는다.
단계 S1206에서 딥 러닝 기반 사람 인식 장치(10)는 단계 S1205에서 복원한 얼굴 영역 영상 및 몸 영역 영상과 흐림(blur)가 없다고 판단한 영상을 합친다.
단계 S1207에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역 영상에 얼굴 영역 특징을 추출하고, 몸 영역 영상에서 몸 영역 특징을 추출한다. 예를 들면, 딥 러닝 기반 사람 인식 장치(10)는 VGG face Net-16을 통하여 얼굴 영역 영상에서 특징을 추출할 수 있다. 또한 딥 러닝 기반 사람 인식 장치(10)는 ResNet-50을 통해서 몸 영역 영상에서 특징을 추출할 수 있다.
단계 S1208에서 딥 러닝 기반 사람 인식 장치(10)는 얼굴 영역 특징과 몸 영역 특징을 통해 유클리디안 거리를 산출한다. 딥 러닝 기반 사람 인식 장치(10)는 산출한 각각의 유클리디안 거리를 통해 얼굴 매칭 거리 및 몸 매칭 거리를 산출한다.
단계 S1209에서 딥 러닝 기반 사람 인식 장치(10)는 산출된 얼굴 매칭 거리 및 몸 매칭 거리를 점수 단위 결합(score-level fusion) 방식으로 결합 거리(fusion distance)를 산출한다. 예를 들면 단계 S1308에서 딥 러닝 기반 사람 인식 장치(10)는 점수 단위 결합 중 가중 합계(weighted sum)과 가중 제품(weighted product)과 같은 가중치를 이용해 얼굴 매칭 거리와 몸 매칭 거리를 결합하여 결합 거리(fusion distance)를 산출한다.
단계 S1210에서 딥 러닝 기반 사람 인식 장치(10)는 결합 거리(fusion distance)를 이용해 사람을 인식한다.
도 13 내지15는 본 발명의 일 실시 예에 따른 딥 러닝 기반 사람 인식 장치의 성능 실험 결과들이다.
도 13을 참조하면, 딥 러닝 기반 사람 인식 장치(10)는 흐림 제거 생산적 적대 신경망(DeblurGAN) 사용 후 인식 성능이 사용 전 보다 더 좋은 것을 확인할 수 있다.
도 13(a) 및 도 14(a)를 자세히 설명하면 얼굴 인식율과 몸 인식율의 동일 오류율(ERR)을 추출한 결과 흐림 제거 생산적 적대 신경망(DeblurGAN)을 거친 것의 동일 오류율이 더 낮은 것을 확인할 수 있다. FAR은 오인식률(False acceptance rate, 타인 수락률)은 타인을 본인으로 인식하는 경우이고, GAR은 정인식율(Genuine Acceptance Rate)로 본인으로 제대로 인식하는 경우이다.
도 13(b) 및 도 14(b)를 자세히 설명하면, 산출한 점수 단위 결합을 이용해 산출한 결합 점수의 동일 오류율(ERR)의 결과값이다. 결합 거리를 이용하여도 흐림 제거 생산적 적대 신경망(DeblurGAN)을 거친 것의 동일 오류율이 더 낮은 것을 확인할 수 있다. 오류율이 낮다는 것은 판단 정확도가 높다는 것이다.
도 15를 참조하면, 딥 러닝 기반 사람 인식 장치(10)가 점수 단위 결합하여 결합 거리를 산출할 때 가중치를 가중 제품(weighted product)으로 적용하였을 때 가중 합계(weighted sum) 보다는 조금 더 우수하는 것을 보여준다. 딥 러닝 기반 사람 인식 장치(10)는 몸 영역 특징이 비슷하다 하더라도 얼굴 영역 특징으로 인식할 수 있고, 또는 얼굴 영역이 흐릿한 경우에는 몸 영역 특징에 따라 사람 인식이 가능하다.
상술한 딥 러닝 기반 사람 인식 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 딥 러닝 기반 사람 인식 장치
100: 영역 분리부
110: 얼굴 영역부
120: 몸 영역부
200: 초점 점수부
300: 복원부
400: 특징 추출부
410: 얼굴 특징 추출부
420: 몸 특징 추출부
500: 거리 산출부
600: 판단부

Claims (9)

  1. 딥 러닝 기반 사람 인식 장치에 있어서,
    획득한 영상에서 얼굴 영역과 몸 영역을 구분하는 영역 분리부;
    상기 영상의 흐림(blur)정도를 판단하기 위해 상기 얼굴 영역의 초점 점수를 산출하는 초점 점수부;
    상기 초점 점수에 따라 흐림을 제거하고 영상을 복원하는 복원부;
    상기 얼굴 영역에 얼굴 영역 특징과 상기 몸 영역에서 몸 영역 특징을 추출하는 특징 추출부;
    상기 얼굴 영역 특징에서 얼굴 매칭 거리를 산출하고, 상기 몸 영역 특징에서 몸 영역 매칭 거리를 산출하는 거리 산출부; 및
    사람 일치 및 불 일치 여부를 판단하는 판단부;를 포함하고,
    상기 초점 점수부는,
    상기 초점 점수가 이미 설정된 임계 값보다 적은 경우 흐름(blur)이 있다고 판단하고, 큰 경우 흐림(blur)이 없다고 판단하며,
    상기 복원부는,
    생산적 적대 신경망(GAN, Generative adversarial networks) 중 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 상기 초점 점수가 임계 값보다 적어서 흐림(blur)이 있다고 판단된 얼굴 영역부와 얼굴 영역부 외 나머지 몸 영역부를 복원하고,
    상기 특징추출부는
    VGG(Visual Geometry Group) face Net-16을 사용하여, 상기 복원부에서 복원한 얼굴 영역부와 흐림이 없다고 판단된 얼굴 영역부를 합쳐서 얼굴 영역의 특징을 추출하는 얼굴 특징 추출부; 및
    ResNet(Residual Networks)-50을 사용하여, 상기 복원부에서 복원한 몸 영역부와 흐림이 없다고 판단된 몸 영역부를 합쳐서 몸 영역의 특징을 추출하는 몸 특징 추출부;
    를 포함하는 딥 러닝 기반 사람 인식 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 거리 산출부는
    상기 얼굴 매칭 거리와 몸 매칭 거리를 이용해 결합 거리를 산출하는 딥 러닝 기반 사람 인식 장치.
  4. 삭제
  5. 딥 러닝 기반 사람 인식 장치가 딥 러닝 기반 사람 인식 방법에 있어서,
    획득한 영상에서 얼굴 영역 영상과 몸 영역 영상을 추출하는 단계;
    상기 영상의 흐림(blur)정도를 판단하기 위해 상기 얼굴 영역의 초점 점수(focus score)를 산출하는 단계;
    상기 초점 점수에 따라 흐림을 제거하고 영상을 복원하는 단계;
    상기 얼굴 영역 영상에서 얼굴 영역 특징을 추출하고, 상기 몸 영역 영상에서 몸 영역 특징을 추출하는 단계;
    상기 얼굴 영역 특징을 이용해 얼굴 매칭 거리를 산출하고, 상기 몸 영역 특징을 이용해 몸 매칭 거리를 산출하는 단계; 및
    사람 일치 여부를 판단하는 단계;를 포함하고,
    상기 초점 점수를 산출하는 단계는,
    상기 초점 점수가 이미 설정된 임계 값보다 적은 경우 흐름(blur)이 있다고 판단하고, 큰 경우 흐림(blur)이 없다고 판단하며,
    상기 복원하는 단계는,
    생산적 적대 신경망(GAN, Generative adversarial networks) 중 흐림 제거 생산적 적대 신경망(deblurGAN)을 이용해 상기 초점 점수가 임계 값보다 적어서 흐림(blur)이 있다고 판단된 얼굴 영역부와 얼굴 영역부 외 나머지 몸 영역부를 복원하고,
    상기 추출하는 단계는,
    VGG(Visual Geometry Group) face Net-16을 사용하여, 상기 복원하는 단계에서 복원한 얼굴 영역부와 흐림이 없다고 판단된 얼굴 영역부를 합쳐서 얼굴 영역의 특징을 추출하고,
    ResNet(Residual Networks)-50을 사용하여, 상기 복원하는 단계에서 복원한 몸 영역부와 흐림이 없다고 판단된 몸 영역부를 합쳐서 몸 영역의 특징을 추출하는 딥 러닝 기반 사람 인식 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 얼굴 매칭 거리와 상기 몸 매칭 거리를 이용해 결합 거리를 산출하는 단계를 더 포함하는 딥 러닝 기반 사람 인식 방법.
  8. 삭제
  9. 제5항 또는 제7항의 딥 러닝 기반 사람 인식 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
KR1020200122578A 2020-09-22 2020-09-22 딥 러닝 기반 사람 인식 장치 및 방법 KR102410564B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200122578A KR102410564B1 (ko) 2020-09-22 2020-09-22 딥 러닝 기반 사람 인식 장치 및 방법
PCT/KR2021/008994 WO2022065649A1 (ko) 2020-09-22 2021-07-13 딥 러닝 기반 사람 인식 장치 및 방법
KR1020220072461A KR20220088653A (ko) 2020-09-22 2022-06-14 멀티모달 생체인식 방식으로 이미지를 복원하는 인공지능 객체 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122578A KR102410564B1 (ko) 2020-09-22 2020-09-22 딥 러닝 기반 사람 인식 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220072461A Division KR20220088653A (ko) 2020-09-22 2022-06-14 멀티모달 생체인식 방식으로 이미지를 복원하는 인공지능 객체 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220039463A KR20220039463A (ko) 2022-03-29
KR102410564B1 true KR102410564B1 (ko) 2022-06-20

Family

ID=80846764

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200122578A KR102410564B1 (ko) 2020-09-22 2020-09-22 딥 러닝 기반 사람 인식 장치 및 방법
KR1020220072461A KR20220088653A (ko) 2020-09-22 2022-06-14 멀티모달 생체인식 방식으로 이미지를 복원하는 인공지능 객체 인식 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220072461A KR20220088653A (ko) 2020-09-22 2022-06-14 멀티모달 생체인식 방식으로 이미지를 복원하는 인공지능 객체 인식 장치 및 방법

Country Status (2)

Country Link
KR (2) KR102410564B1 (ko)
WO (1) WO2022065649A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101164228B1 (ko) * 2010-05-26 2012-07-10 수원대학교산학협력단 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
KR20160119932A (ko) * 2015-04-06 2016-10-17 한국과학기술원 품질 측정 기반의 얼굴 인식 방법 및 장치
KR102036963B1 (ko) * 2017-01-03 2019-11-29 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
KR20190129351A (ko) * 2018-05-10 2019-11-20 한국전자통신연구원 얼굴 인식용 등록 영상 선별 장치 및 방법
KR102161476B1 (ko) * 2018-07-13 2020-10-06 동국대학교 산학협력단 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법

Also Published As

Publication number Publication date
KR20220039463A (ko) 2022-03-29
KR20220088653A (ko) 2022-06-28
WO2022065649A1 (ko) 2022-03-31

Similar Documents

Publication Publication Date Title
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
Dagnes et al. Occlusion detection and restoration techniques for 3D face recognition: a literature review
US10984225B1 (en) Masked face recognition
CN109063626B (zh) 动态人脸识别方法和装置
CN108280421B (zh) 基于多特征深度运动图的人体行为识别方法
Liu et al. Automatic gait recognition from a distance
KR102213494B1 (ko) 행동 인식 장치 및 방법
JP5879188B2 (ja) 顔表情解析装置および顔表情解析プログラム
Wilhelm Towards facial expression analysis in a driver assistance system
Huang et al. Deepfake mnist+: a deepfake facial animation dataset
Bhavanam et al. On the classification of kathakali hand gestures using support vector machines and convolutional neural networks
Sharma et al. Periocular biometrics and its relevance to partially masked faces: A survey
JP2008009728A (ja) 表情認識方法及び表情認識装置
Joshi et al. Fdeblur-gan: Fingerprint deblurring using generative adversarial network
Carney et al. A multi-finger touchless fingerprinting system: Mobile fingerphoto and legacy database interoperability
CN113785304A (zh) 人脸识别方法和装置
KR102410564B1 (ko) 딥 러닝 기반 사람 인식 장치 및 방법
Towner et al. Reconstruction and recognition of occluded facial expressions using PCA
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
KR102651718B1 (ko) 수정된 생성적 적대 신경망 기반 지정맥 인식 장치 및 방법
Ganguly et al. Depth based occlusion detection and localization from 3D face image
Ramos-Cooper et al. Ear recognition in the wild with convolutional neural networks
HN et al. Detection and Localization of Mask Occluded Faces by transfer learning using Faster RCNN
CN111353353A (zh) 跨姿态的人脸识别方法及装置
CN110785769A (zh) 人脸性别识别方法、人脸性别分类器的训练方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant