KR20220168811A - 사람의 고유 정보를 보존하는 생체 인식을 위한 이미지 생성 장치 및 방법 - Google Patents

Abstract

실시예들은 미리 학습된 얼굴 인식 네트워크에 의해 타겟의 얼굴 이미지로부터 상기 타겟의 고유 특징을 산출하고; 제1 인코더에 의해 상기 타겟의 얼굴 이미지로부터 샘플링 특징을 산출하며; 상기 샘플링 특징 및 고유 특징에 기초하여 상기 타겟에 대한 대표 특징을 산출하고; 그리고 제2 디코더에 의해 상기 대표 특징으로부터 상기 타겟의 대표 이미지를 생성하는 이미지 생성 장치 및 방법에 관련된다.

Description

사람의 고유 정보를 보존하는 생체 인식을 위한 이미지 생성 장치 및 방법{DEVICE AND METHOD FOR GENERATING IMAGE FOR BIOMETRICS WHICH PRESERVES UNIQUE INFORATION OF PERSON}

본 출원의 실시예들은 생체 인식을 위한 이미지를 생성하는 기술에 관한 것으로서, 보다 상세하게는 동일한 식별자를 갖는 사람을 다양하게 표현한 복수의 이미지로부터 해당 사람의 고유 정보를 보존하는, 생체 인식을 위한 이미지를 생성하는 장치 및 방법에 관한 것이다.

영상 인식 기술의 발전으로 인해, 신원확인을 위한 수단으로서 얼굴 인식을 이용하는 얼굴 인식 기반 신원확인 기술이 활발히 개발되고 있다. 얼굴 인식의 경우 사용자가 신원확인을 위한 얼굴 인식 기기에 얼굴을 위치시키면 신원확인 동작이 수행되므로, 사용자 편의성이 매우 뛰어난 장점이 있다.

특히, 최근에 인공지능 기술을 얼굴 인식 기반 신원확인 기술에 접목시키려는 시도가 활발해지고 있다. 이러한 접목 시도들은, 예를 들어 특허문헌 1 (공개공보 제 10-2019-0093799호 (2019.08.12.))과 같이, 신원확인 타겟이 나타난 이미지의 데이터와 DB에 미리 저장된 기준 데이터를 비교하여 신원확인 타겟의 신원을 확인한다. 이러한 기준 데이터는 아이디 정보를 보존하는 생체 인식을 위한 이미지로부터 추출한 특징을 포함한다.

사람의 얼굴은, 촬영기기에 대한 시점(view points), 배경 또는 낮/밤 등의 환경, 나이 등의 시간에 따라 다른 이미지로 표현되는 구조적 특성을 가진다. 신원확인의 빈도 측면에서는 촬영기기에 대한 시점이 신원확인 정확성에 가장 큰 영향을 미친다.

따라서, 얼굴 인식 기반 신원확인 기술에서 신원확인 정확성을 높이기 위해서는, 동일한 사람의 얼굴을 임의의 시점에서 바라본 다양한 얼굴 이미지가 입력되어도 동일한 사람으로 결정할 수 있는 기준 데이터가 요구된다.

공개공보 제 10-2019-0093799호 (2019.08.12.)

Goodfellow, Ian J et al., "Generative Adversarial Networks", (2014)

실시예들에 따르면 동일한 식별자를 갖는 사람을 다양하게 표현한 복수의 이미지로부터 해당 사람의 고유 정보를 보존하는, 생체 인식을 위한 이미지를 생성하는 장치 및 방법을 제공하고자 한다.

이 외에도, 상기 방법을 수행하게 하는 명령어들을 기록한 컴퓨터 판독가능한 기록매체를 제공할 수도 있다.

본 출원의 일 측면에 따른 사람의 고유 정보를 보존하는, 생체 인식을 위한 이미지 생성 장치는: 타겟의 얼굴 이미지로부터 상기 타겟의 고유 특징을 산출하는, 미리 학습된 얼굴 인식 네트워크; 상기 타겟의 얼굴 이미지를 다운-샘플링하여 샘플링 특징을 산출하는 제1 인코더; 및 상기 타겟의 샘플링 특징 및 고유 특징에 기초한 대표 특징으로부터 상기 타겟의 고유 정보를 보존한 대표 이미지를 생성하는 제1 디코더를 포함하는, 대표 이미지 생성자를 포함할 수도 있다.

일 실시예에서, 상기 얼굴 인식 네트워크는 타겟의 얼굴 이미지에서 특징(features)을 추출하는 특징 레이어; 및 입력 이미지의 특징맵으로부터 타겟의 고유 특징을 산출하는 분류 레이어를 포함할 수도 있다. 상기 얼굴 인식 네트워크는 입력 이미지의 얼굴을 갖는 사람을 해당 식별자로 분류하도록 미리 학습된다.

일 실시예에서, 상기 제1 인코더는 컨볼루션 레이어를 각각 포함한 복수의 컨볼루션 계층; 및 복수의 풀링 레이어를 포함할 수도 있다. 상기 제1 인코더는 상기 컨볼루션 계층에 의해 타겟의 얼굴 이미지의 특징을 추출하고 상기 풀링 레이어에 의해 샘플링 특징을 산출한다.

일 실시예에서, 상기 타겟에 대한 대표 특징은 상기 샘플링 특징과 고유 특징을 결합하여(concatenate) 대표 특징을 산출할 수도 있다.

일 실시예에서, 상기 고유 특징을 제어하여 변형 특징을 산출하는 특징 트랜스포머; 및 제2 인코더; 및 제2 디코더를 포함한 변형 이미지 생성자를 더 포함하할 수도 있다. 상기 변형 특징 및 대표 이미지를 상기 제2 인코더에 적용하고, 그리고 상기 제2 인코더에 의한 처리 결과를 상기 제2 디코더에 전달하여 상기 변형 특징에 대응한 기하학적 특징이 반영되도록 복원하여 상기 변형 이미지를 생성할 수도 있다.

일 실시예에서, 상기 특징 트랜스포머는 식별자에 대응한 클래스에 인접한 다른 클레스 경계들 사이로 정의되는 인식 범위 내에서 고유 특징을 제어할 수도 있다.

일 실시예에서, 상기 제1 인코더 및 제1 디코더는 1 훈련 데이터 세트(training data set)를 사용하여 학습된 것으로서, 상기 제1 훈련 데이터 세트는 각각의 훈련인별로 서브 세트화되고, 각 서브 세트의 훈련 샘플들은 동일한 레이블 데이터로서 해당 훈련인의 식별자 및 훈련 이미지를 각각 포함할 수도 있다. 동일한 훈련인의 복수의 훈련 이미지 중 일부와 다른 일부는 서로 상이한 이미지이다.

일 실시예에서, 상기 서로 상이한 이미지는 동일한 훈련인에 대해 다른 촬영 시점에서 촬영한 얼굴 이미지일 수도 있다.

본 출원의 다른 일 측면에 따른 사람의 고유 정보를 보존하는, 생체 인식을 위한 이미지 생성 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 이미지 생성 방법은: 미리 학습된 얼굴 인식 네트워크에 의해 상기 타겟의 얼굴 이미지로부터 상기 타겟의 고유 특징을 산출하는 단계; 제1 인코더에 의해 상기 타겟의 얼굴 이미지로부터 샘플링 특징을 산출하는 단계; 상기 샘플링 특징 및 고유 특징에 기초하여 상기 타겟에 대한 대표 특징을 산출하는 단계; 및 제1 디코더에 의해 상기 대표 특징으로부터 상기 타겟의 대표 이미지를 생성하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 타겟의 고유 특징을 산출하는 단계는, 특징 레이어에 의해 타겟의 얼굴 이미지에서 특징맵을 산출하는 단계; 및 분류 레이어에 의해 상기 특징맵으로부터 1차원 벡터 형태의 고유 특징을 산출하는 단계;를 포함할 수도 있다.

일 실시예에서, 상기 타겟에 대한 대표 특징은 샘플링 특징과 고유 특징을 결합하여 산출될 수도 있다.

일 실시예예서, 상기 이미지 생성 방법은: 상기 고유 특징을 제어하여 변형 특징을 산출하는 단계; 상기 변형 특징 및 대표 이미지를 제2 인코더에 적용하는 단계; 및 상기 제2 인코더의 처리 결과를 제2 디코더에 적용하여 상기 변형 이미지를 생성하는 단계를 더 포함할 수도 있다.

본 출원의 또 다른 일 측면에 따른 컴퓨터 판독가능한 기록매체는 상술한 실시예들에 따른 이미지 생성 방법을 수행하게 하는 명령어들을 기록할 수도 있다.

본 발명의 일 측면에 따른 생체 인식을 위한 이미지 생성 장치는 사람의 고유 정보를 보존하는 생체 인식을 위한 대표 이미지를 생성함으로써, 동일한 식별자를 갖는 사람을 임의의 시점으로 촬영한 얼굴 이미지가 입력되어도 정확하게 신원확인할 수 있다. 이로 인해, 얼굴로 생체 인식하는 신원확인 시스템에서 기준 데이터를 보다 편하게 관리할 수 있다.

또한, 상기 생체 인식을 위한 이미지 생성 장치는 상기 대표 이미지를 활용하여 해당 사람의 얼굴을 다양하게 표현한 변형 이미지를 생성할 수도 있다. 이로 인해(hence), 얼굴로 생체 인식하는 신원확인 시스템에서 얼굴 이미지 처리 성능을 개선하기 위한 대용량의 훈련 데이터 세트를 보다 쉽게 준비할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은 본 출원의 일 실시예에 따른, 아이디 정보를 보존하는, 생체 인식을 위한 이미지 생성 장치의 네트워크 개략도이다.
도 2는 본 출원의 일 실시예에 따른, 대표 이미지 생성자를 학습하는 네트워크 개략도이다.
도 3은 본 출원의 일 실시예에 따른, 제1 훈련 데이터 세트를 사용해 대표 이미지 생성자를 학습하는 과정의 개략도이다.
도 4는 본 출원의 일 실시예에 따른, 대표 이미지 생성자 동작의 개략도이다.
도 5는 본 출원의 일 실시예에 따른, 고유 특징으로부터 변형 특징을 생성하는 특징 트랜스포머 동작의 개략도이다.
도 6은 본 출원의 일 실시예에 따른, 변형 이미지 생성자를 학습하는 과정의 개략도이다.
도 7은 본 출원의 일 실시예에 따른, 변형 이미지 생성자 동작의 개략도이다.
도 8은 본 출원의 일 실시예에 따른, 변형 이미지 생성자의 동작 개략도이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

본 출원의 실시예들은 사람의 식별자(즉, 아이디 정보)를 보존하는, 얼굴로 생체 인식하기 위한 대표 이미지(canonical image)를 생성한다. 상기 대표 이미지는 동일한 식별자를 갖는 사람의 다양한 얼굴 이미지로부터 공통적으로 생성된다.

도 1은, 본 출원의 일 실시예에 따른, 아이디 정보를 보존하는, 생체 인식을 위한 이미지 생성 장치의 네트워크 개략도이다.

도 1을 참조하면, 아이디 정보를 보존하는, 생체 인식을 위한 이미지 생성 장치(이하, 이미지 생성 장치)(1)는 얼굴 인식 네트워크(100); 및 대표 이미지 생성자(200)를 포함한다. 상기 대표 이미지 생성자(200)는 인코더(210); 및 디코더(250);를 포함한다.

이미지 생성 장치(1)는 타겟 또는 훈련자의 얼굴을 표현한 얼굴 이미지를 획득한다. 이미지 생성 장치(1)는 동일한 사람을 임의의 시점에서 촬영한, 동일한 사람에 대한 복수의 얼굴 이미지를 획득할 수도 있다.

이미지 생성 장치(1)는 외부의 촬영기기(미도시)로부터 유/무선 통신을 통해 얼굴 이미지 데이터를 획득하거나, 또는 내부 촬영기기에 의해 타겟의 얼굴 이미지 데이터를 획득할 수도 있다.

이미지 생성 장치(1)는 사람에 대한 복수의 다른 얼굴 이미지가 획득되면, 이 사람의 고유 특징을 보존한 단일 대표 이미지를 생성할 수도 있다.

또한, 특정 실시예들에서, 상기 이미지 생성 장치(1)는 특징 트랜스포머(300), 변형 이미지 생성자(400)를 더 포함할 수도 있다. 일부 실시예들에서, 상기 이미지 생성 장치(1)는 학습 단계에서 변형 이미지 생성자(400)와 상호작용하는 판별자(500)를 더 포함할 수도 있다.

이미지 생성 장치(1)는 사람의 단일 대표 이미지로부터 이 사람의 얼굴을 다르게 표현한 변형 이미지를 적어도 하나 생성할 수도 있다.

실시예들에 따른 상기 이미지 생성 장치(1)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 장치는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

대표 이미지(canonical image) 생성

사람의 얼굴은 개개인별 고유한 유전 정보로 인해 고유한 기하학적 표면 및 구조로 구현되기 때문에, 사람의 얼굴로 신원확인하는 동작이 가능하다. 동일한 사람에 대해서 얼굴 이미지로 정확한 신원확인이 수행되려면, 다른 얼굴 형상을 표현한 다수의 얼굴 이미지를 동일한 식별자로 결정하는 얼굴 이미지 처리 결과가 산출되어야 한다.

그러나, 사람의 얼굴은, 촬영 조건에 따라 다른 이미지로 표현되는 구조적 특성을 가진다. 예를 들어, 동일한 사람의 얼굴을 촬영 시점에서 촬영한 얼굴 이미지는 다른 얼굴 형상을 표현한다.

해당 사람의 다양한 얼굴 이미지가 입력되어도 각 얼굴 이미지를 동일한 식별자로 분류되기 위해서는, 사람의 얼굴을 임의의 촬영 시점에서 촬영하더라도 이 사람의 얼굴 구조의 고유한 기하학적 특징을 고유한 식별 정보로 보존하는 기준 데이터를 활용하는 것이 요구된다.

대표 이미지(canonical image)는 객체를 가장 정형화된 촬영 시점에서 바라봤을 때의 영상이다. 사람 얼굴에 대한 대표 이미지는 이 사람의 얼굴에 대한 고유한 기하학적 특징을 보존한 얼굴 이미지이다. 얼굴을 가장 정형화된 촬영 시점에서 촬영된 이미지는 이 사람의 얼굴에 대한 고유한 기하학적 특징이 가장 잘 보존한다.

이미지 생성 장치(1)는 얼굴 이미지를 얼굴 인식 네트워크(100) 및 대표 이미지 생성자(200)로 공급한다.

얼굴 인식 네트워크(100)는 얼굴 인식 분야에서 얼굴 이미지를 처리하는데 사용되는 일반적인 딥러닝 네트워크를 포함한다.

일 예시에서, 얼굴 인식 네트워크(100)는 특징 레이어는 타겟의 얼굴 이미지에서 특징(features)을 추출하여 행렬 형태로 표현 가능한 특징맵(feature-map)을 산출하는 특징 레이어; 및 입력 이미지의 특징맵으로부터 1차원 특징 벡터로 산출하는 분류 레이어를 포함할 수도 있다. 예를 들어, 상기 특징 레이어는, CNN(Convolution Nerual Network), ResNet(Residual Network), 또는 2차원 얼굴 이미지로부터 엣지, 포인트, 및/또는 굴곡(curvates) 등과 같은 기하학적 특징을 추출하는 다양한 NN(Nerual Network)일 수도 있다. 상기 분류 레이어는 완전연결레이어(Full-Connected Layer)를 포함할 수도 있다.

상기 얼굴 인식 네트워크(100)의 파라미터는 대표 이미지를 생성하는데 사용할 얼굴 이미지를 입력하기 이전에, 얼굴 이미지의 사람의 식별자를 분류하도록 미리 학습된다. 상기 얼굴 인식 네트워크(100)의 파라미터는 네트워크(100) 단독으로 학습되거나, 또는 다른 네트워크(예컨대, 대표 이미지 생성자(200), 변형 이미지 생성자(400) 및/또는 판별자(500)와 동시에 학습된다.

즉, 상기 이미지 생성 장치(1)는 사람의 아이디 정보를 클래스로 분류하도록 미리 학습된 얼굴 인식 네트워크(100)를 사용하여 대표 이미지를 생성한다.

상기 얼굴 인식 네트워크는 복수의 얼굴 이미지가 입력되어도 동일한 식별자로 분류하도록 학습된다. 복수의 얼굴 이미지 각각은 동일한 사람을 다른 뷰에서 촬영하여 각각 다른 얼굴 형상을 표현한 이미지이다.

상기 얼굴 인식 네트워크(100)가 인식 가능한 사람의 규모(즉, 클래스 범위)는 훈련 데이터 세트에 의존한다. 이 훈련 데이터 세트는 사람별로 서브 세트화될 수도 있다.

얼굴 인식 네트워크(100)의 파라미터의 학습은 통상적으로 최적화로 지칭된다. 상기 얼굴 인식 네트워크(100)는, 예를 들어 역전파(backpropagation), ADAM(Adaptive Moment Estimation), Momentum, NAG(Nesterov Accelerated Gradient), Adagrad(Adaptive Gradient), RMSProp, 다양한 경사 하강(gradient descent) 방식을 포함한, 다양한 파라미터의 최적화 방식을 통해 학습된다.

이와 같이 학습된 얼굴 인식 네트워크(100)는 입력 이미지의 얼굴을 갖는 사람의 고유 특징을 추출할 수 있다. 상기 고유 특징은 특징맵으로부터 완전연결레이어에 의해 산출되는 1차원 형태의 특징 벡터로 구현될 수도 있다.

그러면, 학습된 얼굴 인식 네트워크(100)는 동일한 대상의 얼굴에 대한 뷰가 각각 다른 복수의 얼굴 이미지가 입력되어도 동일한 대상으로 인식하는데 사용될 고유 특징을 추출한다. 상기 고유 특징은 이 사람의 얼굴 구조의 고유한 기하학적 특징으로서, 예를 들어 엣지, 포인트, 및/또는 굴곡(curvates) 등을 포함한다.

일 실시예에서, 상기 고유 특징은 얼굴 속성에 대응하는 하나 이상의 특징 성분을 포함할 수도 있다. 포함된 특정 성분 중 적어도 하나의 특징 성분에 가중치가 연관될 수도 있다. 얼굴 속성에 대해서는 아래의 도 8을 참조하여 보다 상세하게 서술한다.

일반적인 얼굴 인식 네트워크(100)의 마지막 완전연결레이어에서 출력되는 1차원 특징 벡터는 확률 값으로 변환되나, 아래의 도 2를 참조하여 서술하는 것과 같이, 본 출원의 이미지 생성 장치(1)는 얼굴 인식 네트워크(100)의 마지막 완전연결레이어에서 출력되는 1차원 특징 벡터를 확률 값으로 변환하지 않고 1차원 벡터 형태를 유지한 값으로 대표 이미지를 생성하는데 사용한다.

일 실시예에서, 상기 얼굴 인식 네트워크(100)는 대표 이미지 생성자(200)의 훈련 데이터 세트를 사용하여 학습될 수도 있다. 이에 대해서는 아래의 도 2를 참조하여 보다 상세하게 서술한다.

대표 이미지 생성자(200)는 얼굴 이미지를 인코더(210)에서 처리한 결과 및 얼굴 인식 네트워크(100)에서 처리한 결과(즉, 1차원 벡터 형태의 고유 특징)에 기초하여 대표 이미지를 생성한다.

인코더(210)는 입력되는 얼굴 이미지를 다운-샘플링하는, 이미지 처리 동작을 수행하도록 구성된다. 상기 인코더(210)는 복수의 컨볼루션 레이어로 이루어진 복수의 컨볼루션 계층(level); 및 복수의 풀링 레이어를 포함한다.

인코더(210)에서 컨볼루션 레이어는 입력 데이터에 대해 컨볼루션 연산하도록 구성된다 예를 들어, 컨볼루션 레이어는 입력 데이터에 대해 컨볼루션 연산하는, 복수의 컨볼루션 필터를 포함할 수도 있다.

컨볼루션 레이어의 출력 데이터는 컨볼루션 필터의 수에 따른 채널을 가진다. 상기 인코더(210)는 보다 깊은 계층으로 진행할수록 입력 데이터의 채널을 증가시키도록 구성된 컨볼루션 레이어의 구조를 가진다.

풀링 레이어는 입력 데이터의 사이즈를 축소시키는, 다운-샘플링 동작을 수행하도록 구성된다. 특정 실시예들에서, 상기 풀링 레이어는 입력 해상도를 감소시키는 맥스 풀링 레이어(max pooling layer)일 수도 있다. 예를 들어, 맥스 풀링 레이어는 입력 영상의 해상도를 50% 감소시킬 수도 있다.

풀링 레이어는 계층과 계층 사이에 배치된다. 풀링 레이어는 가장 깊은 계층을 제외한 각 계층에 포함되며, 해당 계층의 끝단에 배치되는 것으로 취급될 수도 있다. 이와 같이 풀링 레이어가 배치됨으로써, 인코더(210)의 입력 데이터는 보다 깊은 계층으로 진행할수록 계속적으로 다운-샘플링된다.

일부 실시예들에서, 적어도 하나의 계층은 배치 레이어 및/또는 활성화 레이어를 더 포함할 수도 있다. 예를 들어, 인코더(210)는 복수의 컨볼루션 레이어; 복수의 배치 레이어 및 복수의 활성화 레이어로 각각 이루어진 복수의 계층을 포함할 수도 있다.

배치 레이어는 배치 정규화(batch normalization) 동작을 수행하도록 구성된 레이어이다. 활성화 레이어는, 예를 들어, Relu(Rectified Linear Unit) 함수를 통한 활성화 동작을 수행하도록 구성될 수도 있으나, 이에 제한되진 않으며 다른 활성화 함수를 통한 활동화 동작을 수행하도록 구성될 수도 있다.

인코더(210) 또한 컨볼루션 레이어를 포함하므로, 인코더(210)의 처리 결과는 이미지로부터 추출한 특징을 포함한다. 고유 특징을 추출하는 얼굴 인식 네트워크(100)와 달리, 인코더(210)는 입력되는 얼굴 이미지 자체의 특징을 추출한다. 상기 특징은 입력된 2차원 이미지로부터 획득 가능한 기하학적 특징(features)이다. 예를 들어, 인코더(210)는 임의의 뷰에서 촬영된 얼굴 이미지의 특징을 추출한다.

설명의 명료성을 위해, 상기 인코더(210)에서 출력되는 특징을 샘플링 특징으로 지칭한다. 이러한 인코더(210)의 샘플링 특징은 대표 이미지를 생성하는데 사용된다.

디코더(250)는 다운-샘플링된 입력 데이터를 복원하여 이미지를 생성한다. 상기 디코더(250)는 복수의 컨볼루션 레이어로 이루어진 복수의 컨볼루션 계층(level); 및 복수의 디컨볼루션 레이어(또는 업샘플링 레이어로 지칭됨)를 포함한다.

상기 디코더의 컨볼루션 레이어는 입력 데이터의 채널을 감소시키도록 구성된다.

디컨볼루션 레이어는 디코더(250)에서 계층과 계층 사이에 배치된다. 디컨볼루션 레이어는 가장 얕은 계층을 제외한 각 계층에 포함되며, 해당 계층의 끝단에 배치되는 것으로 취급될 수도 있다. 이와 같이 디컨볼루션 레이어가 배치됨으로써, 디코더(250)의 입력 데이터는 보다 얕은 계층으로 진행할수록 다운-샘플링된 영상의 해상도를 복원한다.

일부 실시예들에서, 상기 디코더(250)는 확률 레이어 또는 VAE(variational autoencoder)를 더 포함할 수도 있다. 상기 확률 레이어는 복원된 이미지, 즉 대표 이미지의 얼굴이 인코더(210) 및 얼굴 인식 네트워크(100)의 입력 이미지의 사람인지 여부를 가리키는 확률을 계산한다. VAE는 잠재변수(latent variable) z를 사용하여 데이터가 생성되는 과정, 즉 데이터의 확률분포를 계산한다.

이미지 생성 장치(1)는: 동일한 얼굴 이미지에 대해서 얼굴 인식 네트워크(100)에서 추출된 고유 특징 및 인코더(210)에서 추출된 샘플링 특징에 기초하여 디코더(250)를 위한 입력 데이터로서 대표 특징을 산출하고, 그리고 대표 특징을 디코더(250)에 적용하여 얼굴 이미지의 타겟의 아디 정보를 보존하는 대표 이미지를 생성한다.

인코더(210)는 이미지 복원을 위한 샘플링 특징을 추출하도록 학습되고 및/또는 디코더(250)는 샘플링 특징 및 고유 특징에 기초한 대표 특징으로부터 대표 이미지를 생성하도록 학습된다.

학습된 대표 이미지 생성자(200)를 포함한 이미지 생성 장치(1)는 타겟의 얼굴 이미지가 입력되면, 상기 타겟의 고유 특징을 보존한 대표 이미지를 생성할 수 있다. 상기 고유 특징은 임의의 촬영 시점에서 얼굴 이미지 모두가 공유하는 이 사람의 기하학적 특징을 포함하며, 촬영 시점에 비-의존적인 기하학적 특징이다.

도 2는, 본 출원의 일 실시예에 따른, 대표 이미지 생성자를 학습하는 네트워크 개략도이고, 도 3은, 본 출원의 일 실시예에 따른, 제1 훈련 데이터 세트를 사용해 대표 이미지 생성자를 학습하는 과정의 개략도이다.

도 3에서 입력 이미지의 상단의 숫자는 이미지 인덱스(index)를 나타내고, 하단의 숫자는 입력 이미지의 사람인지 가리키는 확률을 나타낸다.

도 2를 참조하면, 상기 대표 이미지 생성자는 복수의 훈련 샘플(training samples)로 이루어진 제1 훈련 데이터 세트(training data set)를 사용하여 학습된다.

상기 제1 훈련 데이터 세트는 각각의 훈련인, 즉 식별자별로 서브 세트화된다. 각 서브 세트의 훈련 샘플들은 동일한 레이블 데이터로서 해당 훈련인의 식별자 및 훈련 이미지를 각각 포함한다.

일 실시예에서, 서브 세트 내 훈련 샘플들에 포함되는 동일한 훈련인의 복수의 훈련 이미지 중 일부와 다른 일부는 서로 상이한 이미지일 수도 있다. 여기서, 다른 이미지는, 촬영 지점으로부터 상기 동일한 ID에 대한 뷰(view)가 다른 이미지를 포함한다. 동일한 훈련인의 복수의 훈련 이미지는 모두 상이한 얼굴 형상을 표현한 상이한 얼굴 이미지일 수도 있다.

예를 들어, 도 3에 도시된 바와 같이, 동일한 식별자별 서브 세트는: 제1 뷰의 훈련 이미지를 포함한 제1 훈련 샘플; 제2 뷰의 훈련 이미지를 포함한 제2 훈련 샘플; 내지 제n 뷰의 훈련 이미지를 포함한 제n 훈련 샘플을 포함할 수도 있다.

일 실시예에서, 상기 얼굴 인식 네트워크(100)도 상기 대표 이미지 생성자(200)의 학습을 위해 사용되는 제1 훈련 데이터 세트를 사용하여 학습될 수도 있다.

학습을 위해, 인코더(210)는 훈련 이미지의 샘플링 특징을 산출한다. 또한, 얼굴 인식 네트워크(100)는 훈련 이미지의 1차원 벡터 형태의 고유 특징을 산출한다.

이미지 생성 장치(1)는 동일한 훈련 이미지에 대한 샘플링 특징 및 고유 특징에 기초한 대표 특징을 훈련 이미지별로 산출한다.

일 실시예에서, 상기 이미지 생성 장치(1)는 동일한 입력 이미지에 대한 샘플링 특징과 고유 특징을 결합하여(concatenate) 대표 특징을 산출할 수도 있다.

상기 디코더(250)는 훈련 데이터 세트로부터 산출된 대표 특징을 사용하여 훈련인별 대표 이미지를 생성하도록 학습된다.

특정 실시예들에서, 상기 대표 이미지 생성자(200)의 파라미터는 대표 이미지 생성자(200)의 손실 함수를 최소화하는 방향으로 학습될 수도 있다. 여기서, 손실 함수는 대표 이미지 생성자(200)가 출력한 결과 값과 실제 결과 값(예컨대, 도 2의 실제 대표 이미지) 간의 차이를 나타낸다. 예를 들어, 상기 손실 함수는 대표 이미지 생성자(200)를 학습하는 도중에 생성된 대표 이미지와 실제 대표 이미지의 밝기 값 간의 L1 거리 또는 L2 거리로 구현될 수도 있다.

일 실시예에서, 상기 인코더(210)의 파라미터는 초구(hypersphere) 상에 분포된 모든 클래스(즉, 아디 정보)에 대해서 클래스 내 다짐도(compactness) 및/또는 클래스들 간의 차이(discrepancy)가 극대화되도록 학습될 수도 있다. 예를 들어, 상기 디코더(250)를 포함한 대표 이미지 생성자(200)의 파라미터는 적어도 하나의 측지 거리 제약(Geodesic Distance constraint)을 고려하여 클래스(즉, 아디 정보) 간의 차이(discrepancy)를 그대화하려는 특성을 갖는, ArcFace 손실 함수를 통해 학습될 수도 있다. 상기 인코더(210)는 ArcFace 손실 함수를 통해 얼굴 인식을 위한 샘플링 기능을 학습한다. 그러면, 상기 인코더(210)는 각 클래스 별로 학습되는 가중치 벡터를 대표 이미지의 클래스 대표 값으로 산출하도록 구성된다.

그러면, 디코더(250)는 대표 특징을 컨볼루션 연산 처리와 디컨볼루션 연산 처리(또는 업샘플링 처리로 지칭됨)를 수행하여 산출되는 결과 값으로부터 복원 손실 함수(reconstruction loss fuction)를 통해 학습된다.

상기 디코더(250)는 예컨대 비특허문헌 1(Goodfellow, Ian J et al., "Generative Adversarial Networks", (2014))에 기재된 GAN 의 손실 함수와 같은 복원 손실 함수를 통해 학습될 수 있으며, 실제 입력 이미지(예컨대, 임의 시점에 촬영된 얼굴 이미지)의 샘플링 특징으로부터 동일한 입력 이미지를 생성하거나 및/또는 인코더(210) 및 얼굴 인식 네트워크(100)에 기초한 대표 특징으로부터 상기 입력 이미지에 대응한 대표 이미지를 생성하도록 학습될 수 있다.

예를 들어, 디코더(250)는 인코더(210)에 사람(B)의 제1 내지 제3 타겟의 얼굴 이미지(B1 내지 B3)가 입력되면, 동일한 대표 이미지(Ac)를 생성하도록 학습될 수 있다. 또한, 디코더(250)는 인코더(210)에 사람(N)의 제1 내지 제3 타겟의 얼굴 이미지(N1 내지 N3)가 입력되면, 동일한 대표 이미지(Nc)를 생성하도록 학습될 수 있다.

도 4는, 본 출원의 일 실시예에 따른, 대표 이미지 생성자 동작의 개략도이다.

도 4를 참조하면, 상기 제1 훈련 데이터 세트를 사용하여 학습된 대표 이미지 생성자(200)는 타겟의 얼굴 이미지를 인코더(210)에 적용하여 타겟의 샘플링 특징을 추출하고; 상기 타겟의 얼굴 이미지를 얼굴 인식 네트워크(100)에 적용하여 타겟의 고유 특징을 추출하며; 타겟의 샘플링 특징과 타겟의 고유 특징에 기초하여 상기 타겟의 대표 특징을 산출하고, 그리고 상기 타겟의 대표 특징을 디코더(250)에 적용하여 상기 타겟의 대표 이미지를 생성한다.

인코더(210)의 처리 결과가 곧바로 디코더(250)로 전달되어 복원 이미지를 생성하는 일반적인 인코더-디코더 네트워크와 달리, 도 2의 학습된 대표 이미지 생성자(200)는 타겟의 얼굴 이미지가 입력되면, 입력 이미지 자체의 샘플링 특징에 이 사람의 고유 특징을 반영한 데이터를 디코더(250)에 입력한다. 그러면, 디코더(250)는 고유 특징이 의미한 아디 정보를 보존하는 대표 이미지를 생성할 수 있다.

대안적인 실시예들에서, 상기 대표 이미지 생성자(200)는, 신규 대표 이미지를 생성하기 위해 이미 학습된 인코더(210), 디코더(250) 및 얼굴 인식 네트워크(100)를 증분 학습(Incremental learning)할 수도 있다.

그러면, 대표 이미지 생성자(200)는 새로운 사람의 얼굴 이미지과 대표 이미지를 매핑하는 이미지 변경(image translation)를 통해 새로운 사람의 신규 식별자에 대한 대표 이미지를 추가적으로 생성할 수도 있다.

변형 이미지(variant image) 생성

또한, 상기 이미지 생성 장치(1)는 사람의 대표 이미지로부터 기인한 이 사람의 다양한 얼굴 형상을 갖는 변형 이미지를 생성할 수도 있다.

다시 도 1을 참조하면, 상기 이미지 생성 장치(1)는 상기 얼굴 인식 네트워크(100)로부터 산출된 고유 특징을 제어하여 변형 특징을 산출할 수도 있다. 상기 이미지 생성 장치(1)는 사람의 대표 이미지 및 이 사람의 변형 특징(variant feature)을 사용하여 이 사람의 변형 이미지를 생성한다.

도 5는, 본 출원의 일 실시예에 따른, 고유 특징으로부터 변형 특징을 생성하는 특징 트랜스포머(feature transformer) 동작의 개략도이다.

도 5를 참조하면, 특징 트랜스포머(300)는 사람에 대한 고유 특징을 상기 사람에 대한 변형 특징으로 변환한다.

상기 변형 특징은 동일한 사람의 식별자로 분류되는 인식 범위 내에 포함되는 샘플링 특징이다. 인식 범위는 식별자에 대응한 클래스에 인접한 다른 클레스 경계들 사이로 정의된다. 고유 특징을 변환하여 산출되는 적어도 하나의 변형 특징에 대응한 입력 이미지는 상기 이미지 생성 장치(1)가 동일한 대표 이미지를 생성하게 한다.

특징 트랜스포머(300)는 미리 학습된 얼굴 인식 네트워크(100)의 마지막 완전연결레이어로부터 출력되는 고유 특징의 1차원 벡터의 채널을 미리 설정된 제어 채널로 변환한다. 일 예시에서, 512-디멘션을 갖는 고유 특징이 얼굴 인식 네트워크(100)로부터 특징 트랜스포머(300)로 공급되면, 상기 특징 트랜스포머(300)는 이 고유 특징을 100-디멘션을 갖는 변형 특징으로 채널 변환할 수도 있다.

여기서, 변형 특징의 차원 값(100-디멘션)은 단지 예시적인 것이르서, 사용자에 의해 다른 값으로 지정될 수도 있다.

다시 도 1을 참조하면, 변형 이미지 생성자(400)는 비특허문헌 1의 GAN(Generative Adversarial Network)의 생성자(generator)에 대응하는 구성요소이다. 상기 변형 이미지 생성자(400)는 입력 이미지에 노이즈를 적용하여 새로운 이미지를 생성하도록 구성된다.

상기 변형 이미지 생성자(400)는 인코더(410); 및 디코더(450)를 포함한다. 상기 인코더(410); 및 디코더(450)의 내부 구성요소는 인코더(210); 및 디코더(250)와 유사하므로, 자세한 설명은 생략하고 차이점을 위주로 서술한다.

상기 변형 이미지 생성자(400)는 대표 이미지; 및 이 대표 이미지로부터 제어된 변형 특징으로부터 상기 대표 이미지의 사람 얼굴에 변형 특징이 표현된 변형 이미지를 생성하도록 학습된다. 상기 변형 이미지 생성자(400)는 판별자(500)와 상호작용하여 학습된다.

도 6은, 본 출원의 일 실시예에 따른, 변형 이미지 생성자를 학습하는 과정의 개략도이다.

도 6을 참조하면, 상기 변형 이미지 생성자(400) 는 판별자(500)가 실제 데이터로 오인할 정도로 유사한 데이터를 생성하는 것을 목표로 가진다. 판별자(500)는 상기 실제 데이터와 변형 이미지 생성자(400)의 출력 데이터를 식별하는 것을 목표로 가진다.

변형 이미지 생성자(400)는 제2 훈련 데이터 세트를 사용하여 학습된다. 상기 제2 훈련 데이터 세트는 사람별로, 즉 식별자별로 서브 세트화된다. 각 서브 세트는 사람의 대표 이미지; 및 이 사람의 고유 특징에 기초한 변형 특징을 각각 포함한 훈련 샘플로 이루어진다.

상기 변형 특징은 대표 이미지로부터 생성될 예정인 변형 이미지의 레이블 데이터로 기능한다. 변형 이미지 생성자(400)의 학습을 위해, 특징 트랜스포머(300)는 대표 이미지와 쌍을 각각 이루도록, 상기 고유 특징을 제어하여 대표 이미지의 사람에 대한 인식 범위에 속하는 복수의 훈련 변형 특징을 산출할 수도 있다.

특징 트랜스포머(300)에서 산출된 각 훈련 제어 벡터와 해당 대표 이미지를 포함한 복수의 훈련 샘플을 사용하여, 변형 이미지 생성자(400)는 입력된 대표 이미지에 변형 특징의 기하학적 특징이 표현되도록 이미지를 복원하도록 학습된다.

학습이 진행되면, 생성자400와 판별자(500)는 각각의 목표를 달성하기 위해 인코더(410) 및/또는 디코더(450) 내 파라미터, 및/또는 판별자(500)의 파라미터를 갱신한다. 생성자400와 판별자(500)는 최소극대화 문제(minimax problem)을 풀기 위해 학습된다. 상기 판별자(500)는 실수할 확률을 낮추기 위해 학습하고, 생성자400는 임의의 노이즈로부터 출력한 데이터에 대해서 판별자(500)가 실수할 확률을 높이기 위해 학습한다.

이러한 학습 과정에서 판별자(500)는 입력 값의 정답(즉, 훈련 데이터)로부터 피드백을 받고, 생성자400는 판별자(500)로부터 피드백을 받는다. 이러한 GAN 을 학습하는 과정은 상기 비특허문헌 1(Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks")에 개시되어 있는 바, 자세한 설명은 생략한다.

이와 같이 학습이 완료된 변형 이미지 생성자(400)는 타겟의 대표 이미지와 변형 특징의 쌍으로부터 타겟의 변형 특징의 기하학적 특징이 얼굴에 표현된 변형 이미지를 생성할 수도 있다. 학습된 디코더(450)는 인코더(410)에서 타겟의 대표 이미지 및 변형 특징을 다운-샘플링한 처리 결과를 전달 받아 상기 타겟 대표 이미지의 타겟 얼굴이 상기 타겟 제어 벡터의 기하학적 특징을 표현하도록 복원하고, 결국 상기 변형 특징에 대응한 변형 이미지를 생성할 수도 있다.

도 7은, 본 출원의 일 실시예에 따른, 변형 이미지 생성자 동작의 개략도이다.

도 7을 참조하면, 디코더(450)가 인코더(410)의 처리 결과만을 수신하여 인코더(410)의 입력 이미지를 복원하는 일반적인 GAN과 달리, 도 7의 학습된 변형 이미지 생성자(400)는 변형 특징을 사용하여 인코더(410)의 입력 이미지에 사용자가 원하는 기하학적 특징을 표현한 변형 이미지를 생성한다.

상기 이미지 생성 장치(1)는 특징 트랜스포머(300)에 의해 상기 얼굴 인식 네트워크(100)로부터 산출된 타겟의 고유 특징을 제어하여 원하는 변형 특징을 산출한다. 제어된 변형 특징 및 이 고유 특징에 대응한 타겟의 대표 이미지는 학습된 변형 이미지 생성자(400)의 인코더(410)로 입력된다

상기 인코더(410)는 입력 받은 제어된 변형 특징 및 이 고유 특징에 대응한 대표 이미지를 다운-샘플링하여 처리한 결과를 디코더(450)로 전달한다.

상기 디코더(450)는 처리한 결과를 업샘플링하여 상기 대표 이미지 내 타겟 얼굴에 상기 타겟의 변형 특징에 대응한 기하학적 특징이 반영되도록 복원함으로써, 상기 변형 특징에 대응한 타겟의 변형 이미지를 생성한다.

예를 들어, 도 7의 타겟에 대한 대표 이미지; 및 동일한 타겟의 고유 특징을 제어하여 산출된 제1 내지 제3 변형 벡터 중 어느 하나를 상기 인코더(410)에 적용하여 처리 결과를 산출하고, 이 산출 결과를 디코더(450)에 적용하면 상기 디코더(450)는 단일 대표 이미지로부터 상기 타겟에 대한 제1 내지 제3 변형 특징의 기하학적 특징이 반영된 제1 내지 제3 변형 이미지 중 어느 하나를 생성할 수도 있다.

대안적인 실시예들에서, 상기 변형 이미지 생성자(400)는, 신규 변형 이미지를 생성하기 위해 이미 학습된 인코더(410), 디코더(450)를 증분 학습할 수도 있다. 그러면, 대표 이미지 생성자(200)는 기존 사람에 대한 대표 이미지와 신규 변형 이미지가 매핑되는 이미지 변경을 통해 기존 대표 이미지에 대한 신규 변형 이미지를 생성할 수도 있다.

대안적인 실시예들에서, 상기 이미지 생성 장치(1)는 얼굴 속성을 조절하여 대표 이미지로부터 변형 이미지를 생성할 수도 있다.

전술한 바와 같이, 고유 특징은 얼굴 속성에 대응하는 특징 성분을 포함한다. 상기 얼굴 속성은 얼굴 각도, 나이, 헤어, 텍스쳐, 및/또는 형상(shape)을 포함할 수도 있다. 이미지 생성 장치(1)는 고유 특징에 포함된 특징 성분을 제어하여 해당 얼굴 속성을 조절한, 변형 이미지를 생성할 수도 있다.

도 8은, 본 출원의 일 실시예에 따른, 변형 이미지 생성자의 동작 개략도이다.

도 8을 참조하면, 이미지 생성 장치(1)는 조절하길 원하는 얼굴 속성에 대응한, 고유 특징 내 특징 성분을 제어한다. 제어된 고유 특징 및 대표 이미지가 인코더(410)로 입력하고, 처리 결과가 디코더(450)로 전달된다. 이어서, 디코더(450)는 처리 결과를 사용하여 대표 이미지에 사용자가 원하는 얼굴 속성이 기하학적으로 반영된 변형 이미지를 생성할 수도 있다.

이러한 이미지 생성 장치(1)는 대표 이미지를 생성함으로써, 얼굴 인식과 같은 생체 인식 이미지 데이터 관리를 용이하게 하고 생체 인식 결과의 정확성을 향상시킨다.

또한, 상기 이미지 생성 장치(1)는 단일 대표 이미지로부터 다양한 변형 이미지를 생성하여 해당 대표 이미지의 사람을 식별하기 위한 학습 이미지 데이터를 손쉽게 생성할 수도 있다. 통상적으로 얼굴 인식 네트워크의 성능은 훈련 데이터 세트의 규모에 의존한다. 사람에 대한 대용량의 변형 이미지를 훈련 데이터 세트로 사용하여 얼굴 인식 네트워크의 성능을 개선할 수도 있다.

상기 이미지 생성 장치(1)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 이미지 생성 장치(1)는 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 아이디 정보를 보존하는, 생체 인식을 위한 이미지 생성 방법(이하, “이미지 생성 방법”)은 프로세서를 포함한 컴퓨팅 장치(예를 들어, 도 1의 이미지 생성 장치(1))에 의해 수행될 수도 있다.

상기 이미지 생성 방법은: 타겟의 얼굴 이미지를 미리 학습된 얼굴 인식 네트워크에 적용하여 상기 타겟의 고유 특징을 산출하는 단계(S100); 상기 타겟의 얼굴 이미지를 대표 이미지 생성자(200)의 인코더(210)에 적용하여 샘플링 특징을 산출하는 단계(S210); 상기 샘플링 특징 및 고유 특징에 기초하여 상기 타겟에 대한 대표 특징을 산출하는 단계(S230); 및 상기 대표 특징을 대표 이미지 생성자(200)의 디코더(250)에 적용하여 상기 타겟의 대표 이미지를 생성하는 단계(S250)를 포함한다.

일 실시예에서, 상기 타겟의 고유 특징을 산출하는 단계(S100)에서 얼굴 인식 네트워크는: 타겟의 얼굴 이미지에서 특징(features)을 추출하는 특징 레이어; 및 입력 이미지의 특징맵으로부터 타겟의 고유 특징을 산출하는 분류 레이어를 포함할 수도 있다.

상기 단계(S100)는: 특징 레이어에 의해 타겟의 얼굴 이미지에서 특징맵을 산출하는 단계; 분류 레이어에 의해 상기 특징맵으로부터 1차원 벡터 형태의 고유 특징을 산출하는 단계;를 포함한다.

일 실시예에서, 상기 인코더는 타겟의 얼굴 이미지에서 특징을 추출하여 샘플링 특징을 추출할 수도 있다.

일 실시예에서, 상기 타겟에 대한 대표 특징은 샘플링 특징과 고유 특징을 결합하여 산출될 수도 있다.

추가적으로, 상기 이미지 생성 방법은: 대표 이미지로부터 변형 이미지를 생성하는 단계를 더 포함할 수도 있다.

일 실시예에서, 상기 이미지 생성 방법은: 변형 이미지를 생성하기 위해, 고유 특징을 제어하여 변형 특징을 산출하는 단계(S300); 상기 변형 특징 및 대표 이미지를 변형 이미지 생성자(400)의 인코더(410)에 적용하는 단계(S410); 인코더(410)의 처리 결과를 디코더(450)에 적용하여 변형 이미지를 생성하는 단계(S450)를 포함할 수도 있다. 여기서, 상기 변형 특징은 동일한 사람의 식별자로 분류되는 인식 범위 내에 포함되는 샘플링 특징이다. 인식 범위는 식별자에 대응한 클래스에 인접한 다른 클레스 경계들 사이로 정의된다.

이상에서 설명한 실시예들에 따른 이미지 생성 장치(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (13)

1. 사람의 고유 정보를 보존하는, 생체 인식을 위한 이미지 생성 장치에 있어서, 상기 이미지 생성 장치는:
   타겟의 얼굴 이미지로부터 상기 타겟의 고유 특징을 산출하는, 미리 학습된 얼굴 인식 네트워크;
   상기 타겟의 얼굴 이미지를 다운-샘플링하여 샘플링 특징을 산출하는 제1 인코더; 및 상기 타겟의 샘플링 특징 및 고유 특징에 기초한 대표 특징으로부터 상기 타겟의 고유 정보를 보존한 대표 이미지를 생성하는 제1 디코더를 포함하는, 대표 이미지 생성자를 포함하는 이미지 생성 장치.
   
2. 제1항에 있어서,
   상기 얼굴 인식 네트워크는 타겟의 얼굴 이미지에서 특징(features)을 추출하는 특징 레이어; 및 입력 이미지의 특징맵으로부터 타겟의 고유 특징을 산출하는 분류 레이어를 포함하고,
   상기 얼굴 인식 네트워크는 입력 이미지의 얼굴을 갖는 사람을 해당 식별자로 분류하도록 미리 학습된 것을 특징으로 하는 이미지 생성 장치.
   
3. 제1항에 있어서, 상기 제1 인코더는 컨볼루션 레이어를 각각 포함한 복수의 컨볼루션 계층; 및 복수의 풀링 레이어를 포함하고,
   상기 제1 인코더는 상기 컨볼루션 계층에 의해 타겟의 얼굴 이미지의 특징을 추출하고 상기 풀링 레이어에 의해 샘플링 특징을 산출하는 것을 특징으로 하는 이미지 생성 장치.
   
4. 제1항에 있어서,
   상기 타겟에 대한 대표 특징은 상기 샘플링 특징과 고유 특징을 결합하여(concatenate) 대표 특징을 산출하는 것을 특징으로 하는 이미지 생성 장치.
   
5. 제1항에 있어서,
   상기 고유 특징을 제어하여 변형 특징을 산출하는 특징 트랜스포머; 및
   제2 인코더; 및 제2 디코더를 포함한 변형 이미지 생성자를 더 포함하고,
   상기 변형 특징 및 대표 이미지를 상기 제2 인코더에 적용하고, 그리고 상기 제2 인코더에 의한 처리 결과를 상기 제2 디코더에 전달하여 상기 변형 특징에 대응한 기하학적 특징이 반영되도록 복원하여 상기 변형 이미지를 생성하는 것을 특징으로 하는 이미지 생성 장치.
   
6. 제5항에 있어서,
   상기 특징 트랜스포머는 식별자에 대응한 클래스에 인접한 다른 클레스 경계들 사이로 정의되는 인식 범위 내에서 고유 특징을 제어하는 것을 특징으로 하는 이미지 생성 장치.
   
7. 제1항에 있어서,
   상기 제1 인코더 및 제1 디코더는 1 훈련 데이터 세트(training data set)를 사용하여 학습된 것으로서, 상기 제1 훈련 데이터 세트는 각각의 훈련인별로 서브 세트화되고, 각 서브 세트의 훈련 샘플들은 동일한 레이블 데이터로서 해당 훈련인의 식별자 및 훈련 이미지를 각각 포함하며,
   동일한 훈련인의 복수의 훈련 이미지 중 일부와 다른 일부는 서로 상이한 이미지인 것을 특징으로 하는 이미지 생성 장치.
   
8. 제7항에 있어서,
   상기 서로 상이한 이미지는 동일한 훈련인에 대해 다른 촬영 시점에서 촬영한 얼굴 이미지인 것을 특징으로 하는 이미지 생성 장치.
   
9. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 사람의 고유 정보를 보존하는, 생체 인식을 위한 이미지 생성 방법에 있어서,
   미리 학습된 얼굴 인식 네트워크에 의해 상기 타겟의 얼굴 이미지로부터 상기 타겟의 고유 특징을 산출하는 단계;
   제1 인코더에 의해 상기 타겟의 얼굴 이미지로부터 샘플링 특징을 산출하는 단계;
   상기 샘플링 특징 및 고유 특징에 기초하여 상기 타겟에 대한 대표 특징을 산출하는 단계; 및
   제1 디코더에 의해 상기 대표 특징으로부터 상기 타겟의 대표 이미지를 생성하는 단계를 포함하는 이미지 생성 방법.
   
10. 제9항에 있어서, 상기 타겟의 고유 특징을 산출하는 단계는,
    특징 레이어에 의해 타겟의 얼굴 이미지에서 특징맵을 산출하는 단계; 및
    분류 레이어에 의해 상기 특징맵으로부터 1차원 벡터 형태의 고유 특징을 산출하는 단계;를 포함하는 것을 특징으로 하는 이미지 생성 방법.
    
11. 제9항에 있어서,
    상기 타겟에 대한 대표 특징은 샘플링 특징과 고유 특징을 결합하여 산출되는 것을 특징으로 하는 이미지 생성 방법.
    
12. 제9항에 있어서,
    상기 고유 특징을 제어하여 변형 특징을 산출하는 단계;
    상기 변형 특징 및 대표 이미지를 제2 인코더에 적용하는 단계; 및
    상기 제2 인코더의 처리 결과를 제2 디코더에 적용하여 상기 변형 이미지를 생성하는 단계를 더 포함하는 이미지 생성 방법.
    
13. 제9항 내지 제12항 중 어느 하나의 항에 따른 이미지 생성 방법을 수행하게 하는, 명령어들을 기록한 컴퓨터 판독가능한 기록매체.
    

Images