KR102643593B1 - 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치 - Google Patents

수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치 Download PDF

Info

Publication number
KR102643593B1
KR102643593B1 KR1020210121796A KR20210121796A KR102643593B1 KR 102643593 B1 KR102643593 B1 KR 102643593B1 KR 1020210121796 A KR1020210121796 A KR 1020210121796A KR 20210121796 A KR20210121796 A KR 20210121796A KR 102643593 B1 KR102643593 B1 KR 102643593B1
Authority
KR
South Korea
Prior art keywords
image
modified
generative adversarial
adversarial network
face
Prior art date
Application number
KR1020210121796A
Other languages
English (en)
Other versions
KR20230039813A (ko
Inventor
박강령
구자형
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020210121796A priority Critical patent/KR102643593B1/ko
Publication of KR20230039813A publication Critical patent/KR20230039813A/ko
Application granted granted Critical
Publication of KR102643593B1 publication Critical patent/KR102643593B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명은 사용자 몸 인식 장치에 관한 것으로, 구체적으로는 수정된 계몽 생성적 적대 신경망 합성곱 신경망 중 비주얼 지오메트리 그룹과 레지듀얼 네트워크를 이용하여 몸 인식하는 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치는 심각한 실내 저조도 환경에서 취득한 영상을 일반 조도 영상으로 개선하여 인식할 수 있다.

Description

수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치{METHOD AND APPARATUS FOR HUMAN RECOGNITION USING MODIFIED ENLIGHTEN GENERATIVE ADVERSARIAL NETWORK}
본 발명은 사용자 몸 인식 장치에 관한 것으로, 구체적으로는 수정된 계몽 생성적 적대 신경망(modiifed EnlightenGAN: modified enlighten generative adversarial network), 합성곱 신경망(CNN: convolutional neural network) 중 비주얼 지오메트리 그룹(VGG: visual geometry group)과 레지듀얼 네트워크(ResNet: residual network)을 이용하여 몸 인식하는 장치 및 방법에 관한 것이다.
현재 사람을 인식하는 방법은 다양하며, 얼굴, 홍채, 지문, 손가락 정맥(finger-vein), 몸 등이 있다. 이를 통해 그러나 실내외환경에서의 원거리 사람 인식 방법은 제한이다. 인식 방법은 크게 사람의 얼굴과 몸 그리고 홍채로 구분할 수 있다. 원거리에서 사람의 얼굴이나 홍채를 데이터로 취득 시 발생하는 오류로 인해 원본 이미지의 손상이 발생할 수 있다. 이러한 손상으로 인해 사람을 인식하게 되면 현저히 성능의 저하가 존재한다.
종래의 기술은 실내외환경에서 원거리 사람인식은 사람 몸이 주 인식대상이 된다. 이를 위해 사람의 걸음걸이 기반인 보행인식(gait recognition)과 사람 몸을 정지영상으로 취득한 질감 및 모양 기반 신체 인식(texture and shaped based body recognition)이 있다. 보행인식(gait recognition)의 경우 흐림 문제(blur problem)에 자유로울 수 있지만 연속 이미지를 얻어야 한다는 점에서 데이터셋(dataset) 구성에 많은 시간이 소요된다는 문제점이 있다.
따라서, 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN),을 사용하여 이미지 강화(image enhancement)를 통해 사람 인식을 하고, 심각한 저조도 환경에서도 인식하기 위해 얼굴과 몸 이미지를 일반 조도 영상으로 개선하는 방법이 필요하다.
1. 한국 공개특허공보 제10-2018-0081356호 “딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법”(공개일자: 2020년 02월 07일)
본 발명은 심각한 실내 저조도 환경에서 취득한 영상을 일반 조도 영상으로 개선하여 사람을 인식하는 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치를 제공한다.
본 발명의 일 실시 예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치는 사용자 이미지를 취득하는 입력부; 상기 사용자 이미지로부터 얼굴의 특징점을 추출하는 특징 추출부; 상기 특징 추출부로부터 취득한 이미지를 수정된 계몽 생성적 적대 신경망을 통해 일반 조도의 이미지로 개선하는 이미지 개선부; 상기 이미지 개선부로부터 취득한 개선된 이미지 특징으로부터 매칭거리를 계산하는 계산부; 및 상기 매칭거리에 기초하여 최종 인식 성능을 판단하는 판단부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 이를 실행하는 컴퓨터 프로그램을 제공한다.
본 발명의 일 실시 예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 이를 실행하는 컴퓨터 프로그램은 사용자 이미지를 취득하는 단계; 상기 사용자 이미지로부터 얼굴의 특징점을 추출하는 단계; 취득한 추출 이미지를 수정된 계몽 생성적 적대 신경망을 통해 일반 조도의 이미지로 개선하는 단계; 상기 개선된 이미지 특징으로부터 매칭거리를 계산하는 단계; 및 상기 매칭거리에 기초하여 최종 인식 성능을 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치는 심각한 실내 저조도 환경에서 취득한 영상을 일반 조도 영상으로 개선하여 인식할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치는 딥러닝 알고리즘을 이용하여 심각한 실내 저조도 환경에서 취득한 이미지를 일반 조도로 개선하여 사용자의 인식 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법을 설명하기 위한 도면들이다.
도2는 본 발명의 일 실시예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법의 저조도 인식 결과를 설명하기 위한 도면들이다.
도3 내지 도6은 본 발명의 일 실시예에 따른 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 구조를 설명하기 위한 도면들이다.
도 7 내지 도8은 본 발명의 일 실시예에 따른 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 이미지 인식성능을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법을 설명하기 위한 도면들이다.
도 1을 참조하면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 심각한 실내 저조도 환경에서 취득한 사용자를 인식하기 위하여, 취득한 사용자의 저조도 이미지를 일반 조도 이미지로 개선 및 개선한 이미지로 사람 인식하는 방법이다.
S10 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 카메라가 취득한 이미지에서 얼굴의 특징점(feature point)을 추출할 수 있다
S20 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 검출된 얼굴의 특징점에 기초하여 얼굴 영역을 설정하여 얼굴 영역의 이미지를 취득할 수 있다.
S30 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 취득한 얼굴 영역의 이미지를 제외한 나머지 영역을 몸 영역으로 설정하여 몸 이미지를 취득할 수 있다.
S40 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 취득한 얼굴과 몸 이미지를 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)을 통하여, 일반 조도의 이미지로 개선할 수 있다.
S50 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 제1 CNN(Convolutional neural network)을 통해 일반 도조로 개선된 얼굴 이미지에서 특징을 추출할 수 있다. 이때, 제1 CNN은 VGG face net-16일 수 있다.
S55 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 제1 CNN을 통해 추출된 특징을 유클리디언 거리(euclidean distance) 계산법을 통해 매칭 거리( matching distance)를 구할 수 있다.
S60 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 제2 CNN(Convolutional neural network)을 통해 일반 도조로 개선된 몸 이미지에서 특징을 추출할 수 있다. 이때, 제2 CNN은 ResNet-50일 수 있다.
S65 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 제2 CNN을 통해 추출된 특징을 유클리디언 거리(euclidean distance) 계산법을 통해 매칭 거리( matching distance)를 구할 수 있다.
S70 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 얼굴과 몸의 매칭거리(matching distance)에 기초하여 스코어-레벨 퓨전(score-level fusion)을 수행할 수 있다. 스코어-레벨 퓨전(score-level fusion)은 가중치 합성(weighted sum), 가중치 곱(weighted product), 서포트 벡터 머신(SVM: support vector machine)을 통해 수행될 수 있다.
S80 단계에서 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 스코어-레벨 퓨전(score-level fusion) 결과에 기초하여 최종 인식성능을 판별할 수 있다.
도2는 본 발명의 일 실시예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법의 저조도 인식 결과를 설명하기 위한 도면들이다.
도2를 참조하면, 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN) 수행 전 이미지와 수행 후 이미지를 도시한다.
도 2(a) 는 제1 목표의 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN) 수행 전 얼굴과 몸 이미지를 나타내고, 도 2(b)는 제1 목표의 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN) 수행에 따라 취득된 일반 조도로 개선한 얼굴과 몸 이미지를 나타낸다.
도 2(c) 는 제2 목표의 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN) 수행 전 얼굴과 몸 이미지를 나타내고, 도 2(d)는 제2 목표의 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN) 수행에 따라 취득된 일반 조도로 개선한 얼굴과 몸 이미지를 나타낸다.
도3 내지 도6은 본 발명의 일 실시예에 따른 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 구조를 설명하기 위한 도면들이다.
도3내지 도 4는 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 생성부(generator)를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 생성부(generator)는 입력이미지(input image), 컨볼루션 블록 (convolution block), 어텐션 모듈(Attention module), 연결된 이미지(Concatenated image), 어텐션 맵(Attention map), 최대 풀링 레이어(Max pooling layer), 출력이미지(output image), 업샘플링 레이어(Upsampling layer), 요소별 곱셈(element-wise multiplication), 요소별 덧셈(element-wise addition)을 포함할 수 있다.
생성부(generator)는 입력이미지(input image)와 어텐션 맵(Attention map)에 따른 연결된 이미지(Concatenated image)를 컨볼루션 레이어에 입력하여 출력이미지(output image)를 생성할 수 있다. 이때, 컨볼루션 레이어는 복수의 컨볼루션 블록 (convolution block), 복수의 어텐션 맵(Attention map), 복수의 최대 풀링 레이어(Max pooling layer), 복수의 업샘플링 레이어(Upsampling layer)로 이루어질 수 있다.
구체적으로 생성부(generator)에서 연결된 이미지(Concatenated image)가 각각의 컨볼루션 블록 (convolution block), 최대 풀링 레이어(Max pooling layer), 어텐션 맵(Attention map), 업샘플링 레이어(Upsampling layer)를 거치고 어텐션 맵(Attention map)의 요소별 곱셈(element-wise multiplication) 및 입력이미지(input image)의 요소별 덧셈(element-wise addition)을 수행하여 출력이미지(output image)를 출력할 수 있다.
도 4를 참조하면, 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 생성부(generator)는 1개의 입력이미지(input image), 1개의 연결된 레이어(Concatenated layer), 18개의 컨볼루션 블록(Convolution block), 3개의 최대 풀링 레이어(Max pooling layer), 4개의 디컨볼루션 블록(Deconvolution block),1개 컨볼루션 레이어(Convolution layer)로 구성될 수 있다.
도5 내지 도 6은 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 판별부(discriminator)를 설명하기 위한 도면이다.
도 5를 참조하면, 판별부는 진실(True)과 거짓(False)을 판별하는 태스크(task)를 진행하는 두 개의 판별부로(discriminator)로 구성될 수 있다. 판별부(discriminator)는 글로벌 판별부(Global discriminator) 및 로컬 판별부(Local discriminator)를 포함할 수 있다.
글로벌 판별부(Global discriminator)은 실제 일반 이미지(Real normal image), 출력이미지(Output image), 복수의 컨볼루션 블록(convolution block) 내지 컨볼루션 레이어(convolution layer)로 이루어질 수 있다.
로컬 판별부(Local discriminator)는 무작위로 자른 실제 일반 이미지(random cropped real normal image),무작위로 자른 출력 이미지(random cropped output image), 복수의 컨볼루션 블록 (convolution block) 내지 컨볼루션 레이어(convolution layer)로 이루어질 수 있다.
도6(a)을 참조하면, 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 글로벌 판별부(global discriminator)는 1개의 입력이미지(input image), 1개의 타겟이미지(Target image), 6개의 컨볼루션 블록(Convolution block) 내지 1개의 컨볼루션 레이어(Convolution layer)로 구성될 수 있다.
도6(b)을 참조하면, 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 로컬 판별부(local discriminator)는 1개의 입력이미지(input image), 1개의 타겟이미지(Target image), 5개의 컨볼루션 블록(Convolution block) 내지 1개의 컨볼루션 레이어(Convolution layer)로 구성될 수 있다.
도 7 내지 도8은 본 발명의 일 실시예에 따른 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)의 이미지 인식성능을 설명하기 위한 도면이다.
도7을 참조하면, 그래프의 가로축은 FAR(False Acceptance Ratio)를 나타내고, 그래프의 세로축은 GAR(Genuine Acceptance Ratio)를 나타낸다.
도7(a)는 수정된 계몽 생성적 적대 신경망이 적용된 얼굴만의 인식성능(with modified EnlightenGAN(face)), 수정된 계몽 생성적 적대 신경망이 적용된 몸만의 인식성능(with modified EnlightenGAN(body)), 수정된 계몽 생성적 적대 신경망이 미적용된 얼굴만의 인식성능(without modified EnlightenGAN(face)), 수정된 계몽 생성적 적대 신경망이 미적용된 몸만의 인식성능(without modified EnlightenGAN(body)) 내지 동일 오류율 라인(ERR(equal error rate) line) 라인을 나타낸다.
도7(b)는 score-level fusion 방법 중 가중치 합성(weighted sum), 가중치 곱(weighted product), 서포트 벡터 머신(SVM:support vector machine) 방법에 따른 인식성능을 나타내며, 그래프는 수정된 계몽 생성적 적대 신경망 적용 가중치 합성 (with modified EnlightenGAN (weighted sum)), 수정된 계몽 생성적 적대 신경망 적용 가중치 곱(with modified EnlightenGAN(weighted product)), 수정된 계몽 생성적 적대 신경망 적용 서포트 벡터 머신(with modified EnlightenGAN (SVM)), 수정된 계몽 생성적 적대 신경망 미적용 가중치 합성 (without modified EnlightenGAN (weighted sum)), 수정된 계몽 생성적 적대 신경망 미적용 가중치 곱(without modified EnlightenGAN(weighted product)), 수정된 계몽 생성적 적대 신경망 미적용 서포트 벡터 머신(without modified EnlightenGAN (SVM)) 내지 ERR(equal error rate) 라인을 나타낸다.
도 8을 참조하면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치는 equal error rate (EER)방법을 이용하여 인식성능 계산을 수행할 수 있다. 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치는 EER로 계산한 인식성능 비교는 총 3가지로 분류할 수 있다.
도 8(a)는 수정된 계몽 생성적 적대 신경망 적용 또는 미적용 얼굴 만의 인식성능과 수정된 계몽 생성적 적대 신경망 적용 또는 미적용 몸만의 인식성능을 각각 나타낸다. 도 8(a)를 보면 수정된 계몽 생성적 적대 신경망이 적용된 얼굴만의 인식성능(with modified EnlightenGAN(face)), 수정된 계몽 생성적 적대 신경망이 적용된 몸만의 인식성능(with modified EnlightenGAN(body))에 의해 원본 이미지와 적용 후 이미지 간의 픽셀변화의 차이가 좁혀지기 때문에 미적용된 결과 값보다 좋은 것을 확인할 수 있다.
도 8(b)는 수정된 계몽 생성적 적대 신경망 적용 또는 미적용 가중치 합성(weighted sum), 가중치 곱(weighted product), 서포트 벡터 머신(SVM:support vector machine) 방법에 따른 인식성능을 각각 나타낸다. 도 8(b)를 보면 수정된 계몽 생성적 적대 신경망 적용 가중치 합성 (with modified EnlightenGAN (weighted sum)), 수정된 계몽 생성적 적대 신경망 적용 가중치 곱(with modified EnlightenGAN(weighted product)), 수정된 계몽 생성적 적대 신경망 적용 서포트 벡터 머신(with modified EnlightenGAN (SVM))에 따른 인식 성능이 미적용된 결과 값보다 좋은 것을 확인할 수 있다. 또한, score-level fusion방법 중에는 가중치 합성(weighted sum)이 가중치 곱(weighted product)방법보다 결과 값이 좋은 것을 확인할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치를 설명하기 위한 도면이다.
도 9를 참조하면, 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치(100)는 입력부(110), 특징 추출부(120), 이미지 개선부(130), 계산부(140) 내지 판단부(150)를 포함할 수 있다.
입력부(110)는 사용자 이미지를 취득할 수 있다. 실시예에 따라 사용자 이미지는 실내 저조도 환경에서 취득한 이미지일 수 있다.
특징 추출부(120)는 사용자 이미지로부터 얼굴의 특징점(feature point)을 검출할 수 있다. 실시예에 따라, 특징 추출부(120)는 얼굴 검출 프로그램인 Adaboost와 D-lib를 통해 얼굴의 특징점을 검출할 수 있다.
특징 추출부(120)는 검출된 얼굴의 특징점에 기초하여 얼굴 영역을 취득할 수 있다. 특징 추출부(120)는 취득한 얼굴 영역의 이미지를 제외한 나머지 영역을 몸 영역으로 설정하여 몸 이미지를 취득할 수 있다.
이미지 개선부(130)는 특징 추출부(120)로부터 취득한 이미지를 수정된 계몽 생성적 적대 신경망(modified EnlightenGAN)을 통해 일반 조도의 이미지로 개선할 수 있다.
이미지 개선부(130)는 수정된 계몽 생성적 적대 신경망의 CNN 모델 중 VGG face net-16을 사용하여 일반 조도의 이미지 중 얼굴의 이미지의 특징을 취득할 수 있다. 이미지 개선부(130)는 수정된 계몽 생성적 적대 신경망의 CNN 모델 중 ResNet-50을 사용하여 일반 조도의 이미지 중 몸의 이미지 특징을 취득할 수 있다. 이때, VGG face net-16는 수정된 계몽 생성적 적대 신경망의 제1CNN 모델이고, ResNet-50는 수정된 계몽 생성적 적대 신경망의 제1CNN 모델일 수 있다.
계산부(140)는 이미지 개선부(130)로부터 취득한 얼굴과 몸 이미지 특징 각각에서 유클리디언 거리(uclidean distance) 계산법을 통해 매칭거리(matching distance)를 계산할 수 있다.
판단부(150)는 계산부(140)로부터 취득한 매칭거리(matching distance)를 스코어 -레벨 퓨전(score-level fusion)방법을 사용하여 최종 인식 성능을 판단할 수 있다.
상술한 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 전이형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 전이식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치
110: 입력부
120: 특징 추출부
130: 이미지 개선부
140: 계산부
150: 판단부

Claims (11)

  1. 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치에 있어서,
    사용자 이미지를 취득하는 입력부;
    상기 사용자 이미지로부터 얼굴의 특징점을 추출하고, 검출된 얼굴의 특징점에 기초하여 얼굴 영역을 설정하여 얼굴 영역 이미지를 취득하고, 취득한 얼굴 영역의 이미지를 제외한 나머지 영역을 몸 영역으로 설정하여 몸 이미지를 취득하는 특징 추출부;
    상기 특징 추출부로부터 취득한 얼굴 이미지 및 몸 이미지를 수정된 계몽 생성적 적대 신경망(modified EnlightGAN)을 통해 일반 조도의 이미지로 개선하되,
    상기 수정된 계몽 생성적 적대 신경망은 입력이미지(input image)와 어텐션 맵(Attention map)에 따른 연결된 이미지(Concatenated image)가 각각의 컨볼루션 블록 (convolution block), 최대 풀링 레이어(Max pooling layer), 어텐션 맵(Attention map), 업샘플링 레이어(Upsampling layer)를 거치고 어텐션 맵(Attention map)의 요소별 곱셈(element-wise multiplication) 및 입력이미지(input image)의 요소별 덧셈(element-wise addition)을 수행하여 이미지를 출력하는 생성부를 포함하고,
    상기 수정된 계몽 생성적 적대 신경망은 실제 일반 이미지(Real normal image), 출력이미지(Output image) 및 하나 이상의 컨볼루션 블록(convolution block) 및 컨볼루션 레이어(convolution layer)로 구성되는 글로벌 판별부(Global discriminator)와
    무작위로 자른 실제 일반 이미지(random cropped real normal image), 무작위로 자른 출력 이미지(random cropped output image) 및 하나 이상의 컨볼루션 블록 (convolution block) 및 컨볼루션 레이어(convolution layer)로 구성되는 로컬 판별부(Local discriminator)를 포함하는 판별부로 진실(True)과 거짓(False)을 판별하는 태스크(task)를 수행하고,
    상기 수정된 계몽 생성적 적대 신경망의 제1 CNN 모델을 사용하여 일반 조도의 이미지로 개선된 얼굴 이미지에서 특징을 취득하고, 제2 CNN 모델을 사용하여 일반 조도의 이미지로 개선된 몸 이미지에서 특징을 취득하는 이미지 개선부;
    상기 이미지 개선부로부터 취득한 개선된 이미지 특징으로부터 상기 제 1 CNN 모델을 통해 추출된 특징을 유클리디언 거리 계산법으로 매칭 거리를 산출하고, 상기 제 2 CNN 모델을 통해 추출된 특징을 유클리디언 거리 계산법으로 매칭 거리를 계산하는 계산부; 및
    상기 산출된 얼굴 및 몸의 매칭거리에 기초하여 가중치 합성, 가중치 곱 및 서포트 벡터 머신 중 적어도 하나로 인식 성능을 판단하는 판단부를 포함하는
    수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 장치가 수정된 계몽 생성적 적대 신경망을 활용하여 사람을 인식하는 방법에 있어서,
    사용자 이미지를 취득하는 단계;
    상기 사용자 이미지로부터 얼굴의 특징점을 추출하고, 검출된 얼굴의 특징점에 기초하여 얼굴 영역을 설정하여 얼굴 영역 이미지를 취득하고, 취득한 얼굴 영역의 이미지를 제외한 나머지 영역을 몸 영역으로 설정하여 몸 이미지를 취득하는 단계;
    상기 특징을 추출하는 단계로부터 취득한 얼굴 이미지 및 몸 이미지를 수정된 계몽 생성적 적대 신경망(modified EnlightGAN)을 통해 일반 조도의 이미지로 개선하되,
    상기 수정된 계몽 생성적 적대 신경망은 입력이미지(input image)와 어텐션 맵(Attention map)에 따른 연결된 이미지(Concatenated image)가 각각의 컨볼루션 블록 (convolution block), 최대 풀링 레이어(Max pooling layer), 어텐션 맵(Attention map), 업샘플링 레이어(Upsampling layer)를 거치고 어텐션 맵(Attention map)의 요소별 곱셈(element-wise multiplication) 및 입력이미지(input image)의 요소별 덧셈(element-wise addition)을 수행하여 이미지를 출력하는 생성 단계를 포함하고,
    상기 수정된 계몽 생성적 적대 신경망은 실제 일반 이미지(Real normal image), 출력이미지(Output image) 및 하나 이상의 컨볼루션 블록(convolution block) 및 컨볼루션 레이어(convolution layer)로 구성되는 글로벌 판별부(Global discriminator)와
    무작위로 자른 실제 일반 이미지(random cropped real normal image), 무작위로 자른 출력 이미지(random cropped output image) 및 하나 이상의 컨볼루션 블록 (convolution block) 및 컨볼루션 레이어(convolution layer)로 구성되는 로컬 판별부(Local discriminator)를 포함하는 판별 단계로 진실(True)과 거짓(False)을 판별하는 태스크(task)를 수행하고,
    상기 수정된 계몽 생성적 적대 신경망의 제1 CNN 모델을 사용하여 일반 조도의 이미지로 개선된 얼굴 이미지에서 특징을 취득하고, 제2 CNN 모델을 사용하여 일반 조도의 이미지로 개선된 몸 이미지에서 특징을 취득하는 단계;
    상기 이미지 개선부로부터 취득한 개선된 이미지 특징으로부터 상기 제 1 CNN 모델을 통해 추출된 특징을 유클리디언 거리 계산법으로 매칭 거리를 산출하고, 상기 제 2 CNN 모델을 통해 추출된 특징을 유클리디언 거리 계산법으로 매칭 거리를 계산하는 단계; 및
    상기 산출된 얼굴 및 몸의 매칭거리에 기초하여 가중치 합성, 가중치 곱 및 서포트 벡터 머신 중 적어도 하나로 인식 성능을 판단하는 단계를 포함하는
    수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
KR1020210121796A 2021-09-13 2021-09-13 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치 KR102643593B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210121796A KR102643593B1 (ko) 2021-09-13 2021-09-13 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210121796A KR102643593B1 (ko) 2021-09-13 2021-09-13 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230039813A KR20230039813A (ko) 2023-03-22
KR102643593B1 true KR102643593B1 (ko) 2024-03-05

Family

ID=86005729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210121796A KR102643593B1 (ko) 2021-09-13 2021-09-13 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102643593B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180081356A (ko) 2017-01-06 2018-07-16 삼성전자주식회사 지문 이미지의 왜곡을 처리하는 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ja Hyung Koo외 3명, "Face and Based Human Recognition by GAN-Based Blur Resoration", Sensors, pp.1~37 (2020.09.14.) 1부.*
Mohit Sarin 외 2명, "Face and Human Detection in Low Light for Surveillance Purposes", 2019 ICCIKE, pp.614-620 (2019.12.11) 1부.*
Yifan Jiang외 5명, "EnlightenGAN: Deep Light Enhancement without Paired Supervision", JOURNAL OF LAXTEX CLASS FILES, Vol. 14, No.8, pp.1-10 (2021.01.24) 1부.*

Also Published As

Publication number Publication date
KR20230039813A (ko) 2023-03-22

Similar Documents

Publication Publication Date Title
US10776470B2 (en) Verifying identity based on facial dynamics
Cao et al. 3D aided duet GANs for multi-view face image synthesis
Lu et al. Feature extraction and fusion using deep convolutional neural networks for face detection
KR101581112B1 (ko) 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
US11403878B2 (en) Apparatus and method with user verification
KR102399025B1 (ko) 개선된 데이터 비교 방법
Ashwin et al. An e-learning system with multifacial emotion recognition using supervised machine learning
KR102111667B1 (ko) 3d 설계도면 데이터 처리를 통한 딥러닝용 2d 이미지 데이터셋 생성 장치 및 이를 이용한 딥러닝 기반의 유사설계도면 검색 시스템
JP2017228224A (ja) 情報処理装置、情報処理方法及びプログラム
Chen et al. Classification of RGB-D and motion capture sequences using extreme learning machine
JP2021136012A (ja) 位相差を使用するライブネス検出方法及び装置
KR20200020107A (ko) 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템
Masi et al. Using 3D models to recognize 2D faces in the wild
KR20200101521A (ko) 시멘틱 매칭 장치 및 방법
JP6003367B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
KR102643593B1 (ko) 수정된 계몽 생성적 적대 신경망을 활용한 사람 인식 방법 및 장치
JP6393495B2 (ja) 画像処理装置および物体認識方法
WO2023124869A1 (zh) 用于活体检测的方法、装置、设备及存储介质
Rajalaxmi et al. Deepfake Detection using Inception-ResNet-V2 Network
KR102212125B1 (ko) 조건부 적대적 생성 신경망을 이용하는 홍채 인식 장치 및 방법
Gao et al. A low dimensionality expression robust rejector for 3d face recognition
Srivastava et al. Face Verification System with Liveness Detection
JP6399651B2 (ja) 登録装置及び検索装置並びに方法及びプログラム
Gharde et al. Detection of morphed face, body, audio signals using deep neural networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant