KR20210057425A - 입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치 - Google Patents

입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치 Download PDF

Info

Publication number
KR20210057425A
KR20210057425A KR1020190144172A KR20190144172A KR20210057425A KR 20210057425 A KR20210057425 A KR 20210057425A KR 1020190144172 A KR1020190144172 A KR 1020190144172A KR 20190144172 A KR20190144172 A KR 20190144172A KR 20210057425 A KR20210057425 A KR 20210057425A
Authority
KR
South Korea
Prior art keywords
learning
encoder
input image
image
output
Prior art date
Application number
KR1020190144172A
Other languages
English (en)
Inventor
노종혁
김석현
김수형
김승현
김영삼
조관태
조상래
조영섭
조진만
황정연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190144172A priority Critical patent/KR20210057425A/ko
Publication of KR20210057425A publication Critical patent/KR20210057425A/ko

Links

Images

Classifications

    • G06K9/00295—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치가 개시된다. 본 발명의 일실시예에 따른 특징 변수 생성 장치는 출력 이미지가 입력 이미지에 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행하는 제1 학습부; 상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행하는 제2 학습부; 및 상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성하는 특징 변수 생성부를 포함한다.

Description

입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치 {METHOD OF RECONSTRUCTING INPUT IMAGE, METHOD OF RECOGNIZING IMAGE AND FEATURE VARIABLE GENERATION APPARATUS FOR THE SAME}
본 발명은 얼굴 인식 기술에 관한 것으로, 특히 머신러닝을 이용한 얼굴 이미지 재구성 및 얼굴 인식 기술에 관한 것이다.
얼굴 인식 또는 안면 인식 기술은 모바일 단말의 잠금 해제나 출입 제어 등 다양한 분야에서 활용되는 기술로, 최근 딥러닝 기술이 소개되며 얼굴 인식 기술의 성능이 비약적으로 향상되었다.
얼굴 이미지를 정확히 인식하여 사용자 식별이나 인증을 수행하기 위해서는 다양한 각도, 다양한 환경 및 다양한 조건에서 촬영된 얼굴 이미지를 처리할 수 있어야 한다. 따라서, 카메라의 종류, 촬영 시간, 주변 배경, 조명, 얼굴 각도 및 표정 변화 등과 무관하게 높은 얼굴 인식률을 제공하기 위한 다양한 연구가 진행되고 있다. 이러한 연구들 중에는 다양한 환경의 얼굴 이미지를 수집하여 빅데이터를 구성한 후, 딥러닝을 이용한 모델 학습을 수행하는 기술이 있다.
그러나, 실제 얼굴 인식이 수행될 때에는 예외 상황이 발생할 수 있다. 즉, 사용자의 얼굴의 일부분이 가려진 이미지가 획득되는 경우가 발생할 수 있다. 예를 들어, 장애물이나 사용자의 신체 일부에 의하여 사용자의 얼굴이 가려질 수도 있고, 사용자가 착용한 마스크나 선글라스 등에 의해 얼굴의 일부분이 가려질 수도 있다.
물론, 얼굴의 일부가 가려진 경우에 다시 완전한 얼굴 이미지를 획득하고 이를 이용하여 얼굴 인식을 수행할 수도 있지만, 완전한 얼굴 이미지를 다시 촬영하는 것이 불가능한 환경이나 조건이 있고 이러한 경우에는 얼굴의 일부가 가려진 이미지를 통해서도 얼굴 인식이 가능하여야 한다.
따라서, 얼굴 일부가 가려진 얼굴 이미지를 이용하여 효과적으로 사용자를 인식할 수 있는 새로운 기술의 필요성이 절실하게 대두된다.
본 발명의 목적은 물체에 의해 일부분이 가려진 이미지로부터 가려지지 않은 이미지를 재구성하는 것이다.
또한, 본 발명의 목적은 물체에 의해 이미지의 일부분이 가려진 경우에도 효과적으로 이미지 인식이 가능하도록 하는 것이다.
또한, 본 발명의 목적은 이미지의 일부가 가려진 경우에도 원본 이미지를 재구성하거나 올바른 이미지 인식이 가능한 특징 변수(feature variable)를 생성하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 특징 변수 생성 장치는, 출력 이미지가 입력 이미지에 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행하는 제1 학습부; 상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행하는 제2 학습부; 및 상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성하는 특징 변수 생성부를 포함한다.
이 때, 상기 제1 학습 및 상기 제2 학습은 번갈아 수행될 수 있다. 이 경우, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용될 수 있다.
이 때, 상기 제1 학습은 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 상기 입력 이미지에 상응하는 클래스를 식별하는 식별층에 대한 학습을 상기 제1 인코더 및 디코더에 대한 학습과 함께 수행할 수 있다.
이 때, 상기 제1 학습은 상기 출력 이미지가 상기 입력 이미지와 가까워지도록 하기 위한 제1 손실 함수 및 상기 거리가 가까워지도록 하기 위한 제2 손실 함수를 이용하여 수행될 수 있다.
이 때, 상기 제1 인코더와 상기 제2 인코더는 동일한 구조일 수 있다.
이 때, 특징 변수는 상기 학습후 입력 이미지에 상응하는 이미지 인식에 사용될 수 있다.
이 때, 특징 변수는 상기 디코더에 대한 입력으로 사용되고, 상기 디코더는 재구성 이미지를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 이미지 재구성 방법은 출력 이미지가 입력 이미지에 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행하는 단계; 상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행하는 단계; 상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성하는 단계; 및 상기 특징 변수를 이용하여 상기 학습후 입력 이미지를 재구성하여 재구성 이미지를 생성하는 단계를 포함한다.
이 때, 상기 제1 학습 및 상기 제2 학습은 번갈아 수행되고, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용될 수 있다.
이 때, 제1 학습은 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 상기 입력 이미지에 상응하는 클래스를 식별하는 식별층에 대한 학습을 상기 제1 인코더 및 디코더에 대한 학습과 함께 수행할 수 있다.
이 때, 제1 학습은 상기 출력 이미지가 상기 입력 이미지와 가까워지도록 하기 위한 제1 손실 함수 및 상기 거리가 가까워지도록 하기 위한 제2 손실 함수를 이용하여 수행될 수 있다. 이 때, 상기 거리는 잠재 벡터 거리일 수 있다.
이 때, 제1 인코더와 제2 인코더는 동일한 구조일 수 있다.
또한, 본 발명의 일실시예에 따른 이미지 인식 방법은 출력 이미지가 입력 이미지에 가까워지고, 상기 입력 이미지에 상응하여 출력되는 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행하는 단계; 상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행하는 단계; 상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성하는 단계; 및 상기 특징 변수를 이용하여 상기 학습후 입력 이미지에 상응하는 이미지 인식 결과를 생성하는 단계를 포함한다.
본 발명에 따르면, 물체에 의해 일부분이 가려진 이미지로부터 가려지지 않은 이미지를 재구성할 수 있다.
또한, 본 발명은 물체에 의해 이미지의 일부분이 가려진 경우에도 효과적으로 이미지 인식이 가능하다.
또한, 본 발명은 이미지의 일부가 가려진 경우에도 원본 이미지를 재구성하거나 올바른 이미지 인식이 가능한 특징 변수(feature variable)를 생성할 수 있다.
또한, 본 발명은 이미지를 재구성하는 모델과 이미지 인식 모델을 함께 학습하도록 하여 재구성되는 이미지의 이미지 식별 가능성을 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 제1 학습을 위한 학습 모델 구조를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 제2 학습을 위한 학습 모델 구조를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 얼굴 재구성 모델 구조를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 특징 변수 생성 장치를 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 입력 이미지 재구성 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명의 일실시예에 따른 이미지 인식 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 특히, 이하에서는 얼굴 이미지를 이용하여 사용자의 얼굴을 인식하는 경우를 중심으로 설명하지만, 본 발명의 기술사상은 얼굴 인식뿐만 아니라 다양한 이미지 인식에 적용될 수 있는 것이다.
도 1은 본 발명의 일실시예에 따른 제1 학습을 위한 학습 모델 구조를 나타낸 도면이다.
도 1에 도시된 모델은 얼굴 이미지로부터 잠재 벡터(latent vector) z를 생성하는 인코더 f, 잠재 벡터 z로부터 얼굴 이미지를 출력하는 디코더 g, 잠재 벡터 z로부터 사용자 얼굴을 식별하도록 하는 식별층 h를 함께 학습하기 위한 구조이다.
이 때, 잠재 벡터 z는 잠재 변수(latent variable)의 일종일 수 있다.
인코더 f는 얼굴 이미지 x를 입력으로 받아서 잠재 벡터 z를 출력할 수 있다.
이 때, 잠재 벡터 z는 디코더 g의 입력으로 연결 되고, 식별층 h의 입력으로 연결될 수 있다.
디코더 g는 잠재 벡터 z를 입력으로 받아서 얼굴 이미지 y를 출력한다.
이 때, 인코더 f와 디코더 g는 하나의 오토인코더로 출력 이미지 y (=g(f(x)))가 입력 이미지 x와 같아지도록 인코더 f와 디코더 g를 학습할 수 있다.
식별층 h는 잠재 벡터 z를 입력으로 받아 학습에 사용되는 얼굴 소유자 클래스를 출력한다. 즉, 식별층 h의 출력 노드들의 개수는 학습에 사용되는 얼굴 소유자들의 수(클래스들의 수) n과 동일하다.
인코더 f와 식별층 h는 얼굴 이미지의 소유자를 식별하고 잠재 벡터 z가 잠재 벡터 공간에서 소유자별로(클래스별로) 벡터 거리가 가까워지도록 인코더 f와 식별층 h를 학습시킨다.
입력 얼굴 이미지 x는 다양한 환경에서도 얼굴을 인식할 수 있도록, 많은 사람들로부터 다양한 조명, 시간, 장소, 배경, 얼굴 각도 등의 환경에서 획득한 이미지를 학습 데이터로 사용할 수 있다.
이 때, 학습을 위한 손실(loss) 함수는 하기 수학식 1 내지 3과 같을 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
상기 수학식 1은 인코더 f와 인코더 g에 대한 손실 함수로, 출력 이미지 y가 입력 이미지 x에 가까워지도록 하는 것이다. 이 때, 제1 학습은 제1 인코더(인코더 f)에 대한 학습에 상응하는 것일 수 있다.
상기 수학식 2는 인코더 f와 식별층 h에 대한 손실 함수로, 얼굴 소유자 n명의 입력 이미지 x를 소유자별로 잘 식별하기 위한 소프트맥스(softmax) 방법과, 잠재 벡터 zi가 잠재 벡터 공간에서 소유자 i별로 중심 ci에 가까워지도록 하는 센터 로스(center loss) 방법이 결합된 것이다. 이 때, λ는 센터 로스의 가중치이다.
상기 수학식 3은 상기 수학식 1 및 수학식 2를 더한 식으로, 가중치 α를 이용하여 상기 수학식 1의 Loss AE 와 상기 수학식 2의 Loss CL 의 경중을 조절한다.
상기 수학식 3을 이용하여 인코더, 디코더 및 식별층을 동시에 학습할 수 있다.
또는, 상기 수학식 1을 이용한 인코더 및 디코더 학습과 상기 수학식 2를 이용한 인코더 및 식별층 학습을 번갈아 가면서 수행할 수도 있다.
손실(loss) 값이 충분히 작아지면 학습을 중단한다.
이 때, 인코더 f, 디코더 g 및 식별층 h의 내부 레이어 구조는 당해 기술분야에 알려진 다양한 방식에 의하여 다양하게 구현될 수 있다.
도 1을 통하여 설명한 제1 학습은 얼굴 생성과 얼굴 인식 학습으로 볼 수 있다.
도 2는 본 발명의 일실시예에 따른 제2 학습을 위한 학습 모델 구조를 나타낸 도면이다.
도 2를 참조하면, 제2 학습에서는 인코더
Figure pat00004
가 사용되는 것을 알 수 있다. 즉, 도 2는 인코더
Figure pat00005
를 학습하기 위한 구조이다.
이 때, 인코더
Figure pat00006
는 도 1에 도시된 제1 학습 과정에서 학습된 인코더 f를 복사하여 생성된 것일 수 있다. 이 때, 인코더 f는 제1 인코더이고, 인코더
Figure pat00007
는 제2 인코더일 수 있다. 따라서, 인코더
Figure pat00008
와 인코더 f는 동일한 구조일 수 있다.
도 2에 도시된 예에서, 학습에 사용되는 입력 얼굴 이미지
Figure pat00009
는 원본 얼굴 이미지 x에서 얼굴 일부가 가려진 가림 이미지(가림 입력 이미지)이다.
도 2에 도시된 제2 학습 과정에서는 얼굴 일부가 가려진 이미지
Figure pat00010
로부터 인코더
Figure pat00011
가 생성한 잠재 벡터
Figure pat00012
가 원본 얼굴 이미지 x로부터 인코더 f가 생성한 잠재 벡터 z에 가까워지도록 인코더
Figure pat00013
를 학습한다.
[수학식 4]
Figure pat00014
상기 수학식 4는 제2 학습을 위한 손실함수로, 인코더
Figure pat00015
의 출력
Figure pat00016
j가 zj에 가까워지도록 한다. 이 때, 제2 학습은 제2 인코더(인코더
Figure pat00017
)에 대한 학습에 상응하는 것일 수 있다.
학습이 충분히 수행되면 학습을 중단한다. 이 때, 학습이 충분히 수행되었음은 손실함수에 의하여 산출한 손실이 기설정된 레벨 이하가 되는 것으로 알 수 있다.
도 1 및 도 2를 통하여 설명한 제1 학습 및 제2 학습은 번갈아 가면서 수행된다.
즉, 제1 학습이 완료된 후, 인코더 f는 제2 학습 과정에서 인코더
Figure pat00018
의 초기값으로 이용된다.
제2 학습이 완료된 후, 인코더
Figure pat00019
는 다시 수행될 제1 학습을 위해 인코더 f의 초기값으로 이용된다.
두 학습 과정 모두의 손실(loss) 값이 충분히 낮아질 때까지, 두 개의 학습 과정들이 번갈아가면서 반복 수행된다.
제1 학습 및 제2 학습이 충분히 수행되면 학습 결과를 바탕으로 얼굴 재구성 모델이나 얼굴 인식 모델을 구성할 수 있다.
도 3은 본 발명의 일실시예에 따른 얼굴 재구성 모델 구조를 나타낸 도면이다.
도 3을 참조하면, 인코더 f와 디코더 g를 결합하여 얼굴 재구성 모델을 구성한 것을 알 수 있다.
즉, 얼굴 재구성 모델은 일부가 가려진 가림 얼굴 이미지
Figure pat00020
가 입력되면, 원본 이미지 x에 가까운 출력 이미지 y를 생성할 수 있다.
나아가, 제1 학습 및 제2 학습 과정이 충분히 수행되면 인코더 f만으로 얼굴 인식 모델을 구성할 수도 있다. 이 때, 인코더 f가 생성하는 잠재 벡터 z는 사용자를 대표하는 벡터 값으로 얼굴 인식에 사용될 수 있는 특징 벡터(feature vector) 값이다. 이 때, 특징 벡터는 특징 변수(feature variable)의 일종일 수 있다.
두 장의 얼굴 이미지들로부터 생성된 특징 벡터들 사이의 거리가 기설정된 임계치보다 작으면 두 장의 얼굴 이미지들은 동일한 사람의 이미지이고, 임계치보다 크면 서로 다른 사람들의 이미지들일 수 있다.
도 4는 본 발명의 일실시예에 따른 특징 변수 생성 장치를 나타낸 블록도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 특징 변수 생성 장치는 제1 학습부(410), 제2 학습부(420), 특징 변수 생성부(430)를 포함한다.
제1 학습부(410)는 출력 이미지가 입력 이미지에 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행한다.
이 때, 제1 학습부(410)는 입력 이미지에 상응하는 클래스별로 벡터 거리가 가까워지도록 상기 제1 인코더 및 식별층에 대한 학습을 함께 수행할 수 있다. 즉, 상기 제1 학습은 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 상기 입력 이미지에 상응하는 클래스를 식별하는 식별층에 대한 학습을 상기 제1 인코더 및 디코더에 대한 학습과 함께 수행할 수 있다.
이 때, 제1 학습은 상기 출력 이미지가 상기 입력 이미지와 가까워지도록 하기 위한 제1 손실 함수 및 상기 거리가 가까워지도록 하기 위한 제2 손실 함수를 이용하여 수행될 수 있다.
상기 수학식 1 내지 3을 이용한 제1 학습 과정에 대해서는 이미 전술한 바와 같다.
제2 학습부(420)는 상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행한다.
이 때, 제1 및 제2 잠재 변수는 잠재 벡터(latent vector)일 수 있다.
이 때, 제1 학습 및 제2 학습은 번갈아 수행되고, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용될 수 있다.
이 때, 제1 인코더와 제2 인코더는 동일한 구조일 수 있다.
특징 변수 생성부(430)는 상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여, 학습후 입력 이미지에 상응하는 특징 변수를 생성한다. 이 때, 특징 변수 생성부(430)는 제1 인코더를 이용하여, 학습후 입력 이미지에 상응하는 특징 변수를 생성할 수 있다.
이 때, 특징 변수는 특징 벡터(feature vector)일 수 있다.
이 때, 특징 변수는 상기 학습후 입력 이미지에 상응하는 이미지 인식에 사용될 수 있다. 이 때, 입력 이미지는 얼굴 이미지일 수 있고, 이미지 인식은 얼굴 인식일 수 있다.
이 때, 특징 변수는 디코더에 대한 입력으로 사용되어, 재구성 이미지 생성에 이용될 수 있다.
결국, 본 발명의 일실시예에 따른 특징 변수 생성 장치는 일부분이 가려진 얼굴 이미지로부터 전체 얼굴 이미지를 재구성하도록 하기 위하여 인코더와 디코더를 이용하고, 가려진 얼굴 이미지를 이용하여 사용자 식별을 위한 특징 변수(특징 벡터) 값을 생성할 수 있다.
얼굴 원본 이미지를 입력으로 인코더가 생성한 잠재 변수(잠재 벡터)를 다시 원본 이미지와 가까운 이미지가 출력되도록 디코더와 인코더(제1 인코더)를 학습한다. 그리고, 일부가 가려진 얼굴 이미지로부터 인코더(제2 인코더)가 생성하는 잠재 벡터 값이 원본 얼굴 이미지로부터 인코더(제1 인코더)가 생성하는 잠재 벡터 값에 가까워지도록 인코더(제2 인코더)를 학습한다. 두 학습 과정은 번갈아 가면서 수행되고, 학습이 완료되면 인코더와 디코더를 결합하여 일부가 가려진 얼굴 이미지로부터 전체 얼굴 이미지를 재구성할 수 있다.
또한, 제1 인코더와 디코더를 학습할 때 식별층을 함께 학습하여 제1 인코더가 생성하는 잠재 벡터가 잠재 공간에 사용자별로 가까운 위치에 모이도록 하여 얼굴 인식이 가능하도록 한다. 모든 과정을 함께 학습하면 얼굴 일부가 가려진 이미지로부터도 사용자 얼굴을 인식할 수 있게 된다.
도 5는 본 발명의 일실시예에 따른 입력 이미지 재구성 방법을 나타낸 동작 흐름도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 입력 이미지 재구성 방법은 먼저 출력 이미지가 입력 이미지에 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행한다(S510).
이 때, 단계(S510)는 입력 이미지에 상응하는 클래스별로 벡터 거리가 가까워지도록 제1 인코더 및 식별층에 대한 학습을 함께 수행할 수 있다. 즉, 상기 제1 학습은 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 상기 입력 이미지에 상응하는 클래스를 식별하는 식별층에 대한 학습을 상기 제1 인코더 및 디코더에 대한 학습과 함께 수행할 수 있다.
이 때, 제1 학습은 상기 출력 이미지가 상기 입력 이미지와 가까워지도록 하기 위한 제1 손실 함수 및 상기 거리가 가까워지도록 하기 위한 제2 손실 함수를 이용하여 수행될 수 있다.
또한, 본 발명의 일실시예에 따른 입력 이미지 재구성 방법은 상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행한다(S520).
이 때, 단계(S510)의 제1 학습과 단계(S520)의 제2 학습은 번갈아 수행되고, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용될 수 있다.
이 때, 제1 인코더와 제2 인코더는 동일한 구조일 수 있다.
또한, 본 발명의 일실시예에 따른 입력 이미지 재구성 방법은 제1 학습 및 제2 학습의 종료 여부를 판단한다(S530).
이 때, 단계(S530)은 전술한 손실함수에 기반하여 제1 학습 및 제2 학습의 종료 여부를 판단할 수 있다.
단계(S530)의 판단 결과, 학습 종료 조건이 만족되지 않은 경우에는 다시 단계(S510)로 돌아가서 제1 학습 및 제2 학습 수행을 반복한다.
단계(S530)의 판단 결과, 학습 종료 조건이 만족된 경우, 본 발명의 일실시예에 따른 입력 이미지 재구성 방법은 상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성한다(S540).
이 때, 단계(S540)는 제1 인코더를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 입력 이미지 재구성 방법은 상기 특징 변수를 이용하여 상기 학습후 입력 이미지를 재구성하여 재구성 이미지를 생성한다(S550).
이 때, 입력 이미지는 얼굴 이미지일 수 있고, 재구성 이미지는 얼굴의 일부가 가려진 이미지를 입력으로 받아서 가려지지 않은 이미지를 생성한 것일 수 있다.
도 6은 본 발명의 일실시예에 따른 이미지 인식 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 이미지 인식 방법은 먼저 출력 이미지가 입력 이미지에 가까워지고, 상기 입력 이미지에 상응하여 출력되는 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 제1 인코더, 디코더 및 식별층에 대한 제1 학습을 수행한다(S610).
이 때, 제1 학습은 상기 제1 인코더, 상기 디코더 및 상기 식별층에 대한 학습을 함께 수행할 수 있다.
이 때, 제1 학습은 상기 출력 이미지가 상기 입력 이미지와 가까워지도록 하기 위한 제1 손실 함수 및 상기 거리가 가까워지도록 하기 위한 제2 손실 함수를 이용하여 수행될 수 있다.
또한, 본 발명의 일실시예에 따른 이미지 인식 방법은 상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행한다(S620).
이 때, 제1 학습 및 제2 학습은 번갈아 수행되고, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용될 수 있다.
이 때, 상기 제1 인코더와 제2 인코더는 동일한 구조일 수 있다.
또한, 본 발명의 일실시예에 따른 이미지 인식 방법은 제1 학습 및 제2 학습의 종료 여부를 판단한다(S630).
이 때, 단계(S630)은 전술한 손실함수에 기반하여 제1 학습 및 제2 학습의 종료 여부를 판단할 수 있다.
단계(S630)의 판단 결과, 학습 종료 조건이 만족되지 않은 경우에는 다시 단계(S610)로 돌아가서 제1 학습 및 제2 학습 수행을 반복한다.
단계(S630)의 판단 결과, 학습 종료 조건이 만족된 경우, 본 발명의 일실시예에 따른 이미지 인식 방법은 상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성한다(S640).
이 때, 단계(S640)는 제1 인코더를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 이미지 인식 방법은 상기 특징 변수를 이용하여 상기 학습후 입력 이미지에 상응하는 이미지 인식 결과를 생성한다(S650).
이 때, 입력 이미지는 얼굴 이미지일 수 있고, 이미지 인식 결과는 얼굴 인식 결과일 수 있다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 특징 변수 생성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(900)에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(900)은 버스(920)를 통하여 서로 통신하는 하나 이상의 프로세서(910), 메모리(930), 사용자 인터페이스 입력 장치(940), 사용자 인터페이스 출력 장치(950) 및 스토리지(960)를 포함할 수 있다. 또한, 컴퓨터 시스템(900)은 네트워크(980)에 연결되는 네트워크 인터페이스(970)를 더 포함할 수 있다. 프로세서(910)는 중앙 처리 장치 또는 메모리(930)나 스토리지(960)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(930) 및 스토리지(960)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(931)이나 RAM(932)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (14)

  1. 출력 이미지가 입력 이미지에 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행하는 제1 학습부;
    상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행하는 제2 학습부; 및
    상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성하는 특징 변수 생성부
    를 포함하는 것을 특징으로 하는 특징 변수 생성 장치.
  2. 청구항 1에 있어서,
    상기 제1 학습 및 상기 제2 학습은 번갈아 수행되고, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용되는 것을 특징으로 하는 특징 변수 생성 장치.
  3. 청구항 2에 있어서,
    상기 제1 학습은
    상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 상기 입력 이미지에 상응하는 클래스를 식별하는 식별층에 대한 학습을 상기 제1 인코더 및 디코더에 대한 학습과 함께 수행하는 것을 특징으로 하는 특징 변수 생성 장치.
  4. 청구항 2에 있어서,
    상기 제1 인코더와 상기 제2 인코더는 동일한 구조인 것을 특징으로 하는 특징 변수 생성 장치.
  5. 청구항 2에 있어서,
    상기 특징 변수는
    상기 학습후 입력 이미지에 상응하는 이미지 인식에 사용되는 것을 특징으로 하는 특징 변수 생성 장치.
  6. 청구항 2에 있어서,
    상기 특징 변수는
    상기 디코더에 대한 입력으로 사용되고, 상기 디코더는 재구성 이미지를 생성하는 것을 특징으로 하는 특징 변수 생성 장치.
  7. 출력 이미지가 입력 이미지에 가까워지도록 제1 인코더 및 디코더에 대한 제1 학습을 수행하는 단계;
    상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행하는 단계;
    상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성하는 단계; 및
    상기 특징 변수를 이용하여 상기 학습후 입력 이미지를 재구성하여 재구성 이미지를 생성하는 단계
    를 포함하는 것을 특징으로 하는 입력 이미지 재구성 방법.
  8. 청구항 7에 있어서,
    상기 제1 학습 및 상기 제2 학습은 번갈아 수행되고, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용되는 것을 특징으로 하는 입력 이미지 재구성 방법.
  9. 청구항 8에 있어서,
    상기 제1 학습은
    상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수가클래스 별로 거리가 가까워지도록 상기 입력 이미지에 상응하는 클래스를 식별하는 식별층에 대한 학습을 상기 제1 인코더 및 디코더에 대한 학습과 함께 수행하는 것을 특징으로 하는 입력 이미지 재구성 방법.
  10. 청구항 8에 있어서,
    상기 제1 인코더와 상기 제2 인코더는 동일한 구조인 것을 특징으로 하는 입력 이미지 재구성 방법.
  11. 출력 이미지가 입력 이미지에 가까워지고, 상기 입력 이미지에 상응하여 출력되는 제1 잠재 변수가 클래스 별로 거리가 가까워지도록 제1 인코더, 디코더 및 식별층에 대한 제1 학습을 수행하는 단계;
    상기 입력 이미지의 일부가 가려진 가림 입력 이미지를 이용하여, 상기 입력 이미지에 상응하여 상기 제1 인코더가 출력한 상기 제1 잠재 변수와 상기 가림 입력 이미지에 상응하여 제2 인코더가 출력한 제2 잠재 변수가 가까워지도록 상기 제2 인코더에 대한 제2 학습을 수행하는 단계;
    상기 제1 인코더 및 상기 제2 인코더 중 어느 하나를 이용하여 학습후 입력 이미지에 상응하는 특징 변수를 생성하는 단계; 및
    상기 특징 변수를 이용하여 상기 학습후 입력 이미지에 상응하는 이미지 인식 결과를 생성하는 단계
    를 포함하는 것을 특징으로 하는 이미지 인식 방법.
  12. 청구항 11에 있어서,
    상기 제1 학습 및 상기 제2 학습은 번갈아 수행되고, 상기 제2 학습이 수행될 때 상기 제1 학습을 마친 상기 제1 인코더가 상기 제2 인코더의 초기값으로 사용되고, 최초가 아닌 상기 제1 학습이 수행될 때 상기 제2 학습을 마친 상기 제2 인코더가 상기 제1 인코더의 초기값으로 사용되는 것을 특징으로 하는 이미지 인식 방법.
  13. 청구항 12에 있어서,
    상기 제1 학습은
    상기 제1 인코더, 상기 디코더 및 상기 식별층에 대한 학습을 함께 수행하는 것을 특징으로 하는 이미지 인식 방법.
  14. 청구항 12에 있어서,
    상기 제1 인코더와 상기 제2 인코더는 동일한 구조인 것을 특징으로 하는 이미지 인식 방법.
KR1020190144172A 2019-11-12 2019-11-12 입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치 KR20210057425A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190144172A KR20210057425A (ko) 2019-11-12 2019-11-12 입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144172A KR20210057425A (ko) 2019-11-12 2019-11-12 입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치

Publications (1)

Publication Number Publication Date
KR20210057425A true KR20210057425A (ko) 2021-05-21

Family

ID=76157609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144172A KR20210057425A (ko) 2019-11-12 2019-11-12 입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치

Country Status (1)

Country Link
KR (1) KR20210057425A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230059430A (ko) * 2021-10-26 2023-05-03 주식회사 씨앤에이아이 이미지 아웃페인팅 방법 및 그를 이용한 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230059430A (ko) * 2021-10-26 2023-05-03 주식회사 씨앤에이아이 이미지 아웃페인팅 방법 및 그를 이용한 장치
WO2023075082A1 (ko) * 2021-10-26 2023-05-04 주식회사 씨앤에이아이 이미지 아웃페인팅 방법 및 그를 이용한 장치

Similar Documents

Publication Publication Date Title
US10417526B2 (en) Object recognition method and device
CN110705392A (zh) 一种人脸图像检测方法及装置、存储介质
CN112926559B (zh) 人脸图像处理方法及装置
CN111753275A (zh) 基于图像的用户隐私保护方法、装置、设备和存储介质
CN113487521A (zh) 自编码器训练方法及组件，异常图像检测方法及组件
KR102437039B1 (ko) 영상 생성을 위한 학습 장치 및 방법
Liu et al. Spoof trace disentanglement for generic face anti-spoofing
CN116188684A (zh) 基于视频序列的三维人体重建方法及相关设备
CN115731505A (zh) 视频显著性区域检测方法、装置、电子设备及存储介质
KR20200014461A (ko) 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치 및 방법
KR20210057425A (ko) 입력 이미지 재구성 방법, 이미지 인식 방법 및 이를 위한 특징 변수 생성 장치
CN114783017A (zh) 基于逆映射的生成对抗网络优化方法及装置
KR102229034B1 (ko) 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치
CN114005170A (zh) 基于视觉对抗重构的DeepFake防御方法和系统
CN105447885B (zh) 计算视差的方法和装置
CN116628742A (zh) 隐私保护模型的训练方法、隐私保护方法及系统
CN115775405A (zh) 图像生成方法、装置、电子设备和介质
CN113793396A (zh) 一种基于对抗生成网络训练图像重构模型的方法
KR20220046324A (ko) 인공 신경망을 이용한 추론을 위한 트레이닝 방법, 인공 신경망을 이용한 추론 방법, 및 추론 장치
CN113838159B (zh) 用于生成卡通图像的方法、计算设备和存储介质
CN112149631A (zh) 图像处理的方法、装置、设备和介质
CN115908962B (zh) 神经网络的训练方法、脉冲信号重构图像生成方法及装置
KR102374069B1 (ko) Hdr 이미지 생성 장치 및 방법
CN113052068B (zh) 图像处理方法、装置、计算机设备和存储介质
KR20230146675A (ko) 미디어 상의 생체 정보 보호 방법 및 그 기록 매체