KR102356438B1 - 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 요소 특징 추출부, 특징맵에서 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 벡터 위치 및 거리 계산부, 위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 벡터 관계 모델링부, 미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 관계 모델 업데이트부 및 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 얼굴 인식부를 포함하여, 다양한 얼굴 이미지들로부터 정확하게 얼굴을 식별할 수 있을 뿐만 아니라, 적은 학습 데이터로 효율적으로 학습될 수 있는 이종 얼굴 인식 장치 및 방법을 제공할 수 있다.

Description

요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING HETEROGENEOUS FACES BASED ON RELATIONSHIP BETWEEN COMPONENT}

본 발명은 이종 얼굴 인식 장치 및 방법 및 방법에 관한 것으로, 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법에 관한 것이다.

얼굴 인식 분야는 딥러닝(deep learning) 기술의 등장과 함께 급진적으로 발전하였다. 기존에 딥러닝을 이용한 얼굴 인식은 주로 동일 종류의 센서를 이용하여 동일 방식으로 획득된 이미지 사이의 매칭을 통해 수행되었다. 일 예로 기존에는 컬러 이미지간의 얼굴을 매칭을 통해 얼굴을 인식하였다.

그러나 이미지에는 컬러 이미지뿐만 아니라 조명이 열악한 환경에서 적외선(NIR) 또는 열적외선(TIR) 센서 등을 이용하여 취득한 이미지도 있을 뿐만 아니라 경우에 따라서는 몽타주를 그린 스케치 이미지(Sketch) 등과 같이 다양한 센서를 방식으로 획득된 이미지들이 있다. 그리고 각 이미지들은 상황에 따라 칼라 이미지보다 더 유용한 정보를 담고 있는 경우가 있다. 일 예로 적외선-칼라(NIR-to-VIS) 또는 스케치-칼라(Sketch-to-Photo)처럼 서로 다른 방식으로 획득된 이종 얼굴 인식 기술은 밤에 촬영된 CCTV 영상, 범죄자의 몽타주 얼굴 인식 등 실생활 적용에서 매우 유용하게 활용될 수 있다.

이에 최근에는 서로 다른 종류의 센서 및 다양한 방식으로 획득된 이미지 사이에서도 얼굴을 인식할 수 있는 이종 얼굴 인식 분야에 대한 연구가 활발하게 진행되고 있다. 그러나 이종 얼굴 인식은 획득 방식에 따른 이미지 사이의 차이가 크며, 딥러닝 기술을 적용하고자 하여도 네트워크를 충분히 학습시킬 만한 이종 얼굴 데이터셋이 부족하다는 한계가 있다.

한국 공개 특허 제10-2017-0140519호 (2017.12.21 공개)

본 발명의 목적은 서로 다른 방식으로 획득된 다양한 얼굴 이미지들로부터 정확하게 얼굴을 식별할 수 있는 이종 얼굴 인식 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 구성 요소간 관계를 이용하여 가상의 공통 공간에 관계 그래프 모델을 생성함으로써 적은 학습 데이터로 효율적으로 학습될 수 있는 이종 얼굴 인식 장치 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이종 얼굴 인식 장치는 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 요소 특징 추출부; 상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 벡터 위치 및 거리 계산부; 위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 벡터 관계 모델링부; 미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 관계 모델 업데이트부; 및 상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 얼굴 인식부를 포함한다.

상기 벡터 관계 모델링부는 위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 다수의 노드 벡터로서 가상의 공통 공간 상에 투영하고, 상기 다수의 노드 벡터에 따라 상기 다수의 노드 벡터 사이의 관계를 나타내는 다수의 에지를 학습에 의해 획득되는 관계 가중치를 기반으로 설정하여 상기 관계 그래프 모델을 생성할 수 있다.

상기 벡터 관계 모델링부는 설정된 다수의 에지에 따라 각 에지에 연결된 노드 벡터로 관계를 전파하여 다수의 노드 벡터를 다음 상태로 업데이트하고, 업데이트된 노드 벡터의 상태에 따라 다시 에지를 업데이트하는 관계 전파를 기지정된 횟수로 반복 수행할 수 있다.

상기 관계 모델 업데이트부는 기지정된 방식으로 상기 다수의 노드 벡터 각각의 대표값을 획득하여 대표값으로 표현된 대표 그래프 모델을 획득하는 대표값 계산부; 미리 학습된 패턴 추정 방식에 따라 상기 대표 그래프 모델을 인코딩하여 상기 관계 그래프 모델의 다수의 노드 벡터 각각의 중요도를 나타내는 중요도 벡터를 획득하는 인코더; 상기 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여 상기 관계 그래프 모델의 각 노드 벡터의 중요도에 따른 가중치를 노드로 갖는 가중치 관계 모델 그래프를 획득하는 디코더; 및 상기 관계 그래프 모델의 다수의 노드 벡터 각각에 상기 가중치 관계 모델 그래프의 대응하는 노드의 가중치를 가중하여 상기 보정 관계 모델 그래프를 획득하는 업데이트부를 포함할 수 있다.

상기 이종 얼굴 인식 장치는 상기 벡터 관계 모델링부와 상기 관계 모델 업데이트부를 학습시키기 위한 학습부를 더 포함하고, 상기 학습부는 학습 데이터로서 인가되는 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 다른 도메인의 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하고, 상기 공통 공간 상에서 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리를 유사도에 기반하여 계산하며, 계산된 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리 사이의 비를 기반으로 손실을 계산하고 역전파할 수 있다.

상기 학습부는 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s_i ^p)와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s_i ⁿ) 사이의 비에 기지정된 마진(m)을 추가로 적용하여, 수학식

(여기서 []₊ 는 양의 값만을 취하는 포지티브 함수이다.)에 따라 손실(L_{tripletconditional})을 계산할 수 있다.

상기 이종 얼굴 인식 장치는 상기 다수의 기준 관계 그래프 모델이 대상자의 식별자에 맵핑되어 저장되는 얼굴 특징 데이터베이스를 더 포함하고, 상기 얼굴 인식부는 상기 보정 관계 그래프 모델과 기지정된 기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 인식 결과로 출력할 수 있다.

상기 이종 얼굴 인식 장치는 도메인에 따라 컬러 이미지, 적외선 이미지, 열적외선 이미지 또는 스케치 이미지 중 하나를 인가받아 대상자를 인식할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 이종 얼굴 인식 장치 및 방법은 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 단계; 상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 단계; 위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 단계; 미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 단계; 및 상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 단계를 포함한다.

따라서, 본 발명의 실시예에 따른 이종 얼굴 인식 장치 및 방법은 구성 요소간 거리 관계를 이용하여 가상의 공통 공간에 관계 그래프 모델을 생성하고, 생성된 관계 그래프 모델의 노드 벡터 유사도 비교를 통해 서로 다른 방식으로 획득된 다양한 얼굴 이미지들로부터 정확하게 얼굴을 식별할 수 있을 뿐만 아니라, 적은 학습 데이터로 효율적으로 학습될 수 있다.

도 1은 본 발명의 일 실시예에 따른 이종 얼굴 인식 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 요소 특징 추출부의 동작을 설명하기 위한 도면이다.
도 3은 도 1의 벡터 위치 및 거리 계산부의 동작을 설명하기 위한 도면이다.
도 4 및 도 5는 도 1의 벡터 관계 모델링부가 특징 벡터 사이의 관계 그래프 모델을 생성하고 관계 전파하는 동작을 설명하기 위한 도면이다.
도 6은 도 1의 관계 모델 업데이트부의 상세 구성을 나타낸다.
도 7은 도 6의 관계 모델 업데이트부가 관계 그래프 모델을 업데이트하는 개념을 설명하기 위한 도면이다.
도 8 및 도 9은 학습부가 이종 얼굴 인식 장치를 학습시키는 개념을 설명하기 위한 도면이다.
도 10는 마진 적용 학습 여부에 따라 공통 공간에 투영된 특징 벡터의 변화를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 이종 얼굴 인식 방법을 나타낸다.
도 12는 도 11의 관계 그래프 모델 업데이트 단계를 상세하게 나타낸 도면이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 이종 얼굴 인식 장치의 개략적 구조를 나타낸다.

도 1을 참조하면, 본 실시예에 따른 이종 얼굴 인식 장치는 이종 이미지 획득부(100), 요소 특징 추출부(200), 벡터 위치 및 거리 계산부(300), 벡터 관계 모델링부(400), 관계 모델 업데이트부(500), 얼굴 인식부(600) 및 얼굴 특징 데이터베이스(700)를 포함할 수 있다.

이종 이미지 획득부(100)는 다양한 방식으로 획득된 이종 얼굴 이미지를 획득한다. 여기서 얼굴 이미지는 컬러 이미지 센서나, 적외선 및 열적외선 센서와 같은 서로 다른 종류의 센서에서 획득된 이종 얼굴 이미지일 수 있으며, 얼굴을 그린 스케치 이미지와 같이 센서를 이용하지 않고 획득된 이미지일 수도 있다.

여기서 이종 이미지 획득부(100)는 각 얼굴 이미지들이 획득된 방식을 구분하지 않아도 무방하다. 그러나 이종 이미지 획득부(100)는 각 얼굴 이미지들이 획득된 방식에 따라 도메인으로 구분하여 획득할 수도 있다. 즉 이종 이미지 획득부(100)는 이미지 획득 방식에 따라 다수의 얼굴 이미지를 컬러 도메인, 적외선 도메인 열적외선 도메인 및 스케치 도메인 등으로 구분하여 획득할 수 있다.

다만 이종 이미지 획득부(100)는 이종 얼굴 인식 장치의 학습 시에는 서로 다른 방식으로 획득된 얼굴 이미지들을 각 얼굴 이미지들이 획득된 방식에 따라 서로 다른 도메인으로 분류하여 획득한다. 즉 컬러 도메인 이미지와 적외선 도메인 이미지, 열적외선 도메인 이미지 및 스케치 도메인 이미지를 각각 서로 구분하여 획득하고 저장할 수 있다.

뿐만 아니라 이종 이미지 획득부(100)는 이종 얼굴 인식 장치의 학습 시에 도메인별로 구분되어 획득되는 얼굴 이미지의 피사체인 대상자들에 따라 식별자를 맵핑하여 획득하고 저장할 수 있다. 즉 동일하거나 서로 다른 도메인에서 획득된 각각의 얼굴 이미지가 동일한 대상자 대한 얼굴 이미지이면 동일한 식별자를 부여하고 다른 대상자에 대한 얼굴 이미지이면 서로 다른 식별자를 부여하여 저장한다.

그러나 얼굴 이미지의 도메인 구분 및 식별자 맵핑은 이종 얼굴 인식 장치의 학습을 위한 것으로, 본 실시예에 따른 이종 얼굴 인식 장치가 실제 얼굴 인식을 위해 이용되는 경우, 이종 이미지 획득부(100)는 획득되는 얼굴 이미지의 도메인을 구분하지 않으며, 식별자를 맵핑하지 않는다. 이는 본 실시예에 따른 이종 얼굴 인식 장치가 얼굴 이미지의 도메인에 무관하게 얼굴을 인식할 수 있도록 미리 학습되기 때문이다.

요소 특징 추출부(200)는 이종 이미지 획득부(100)에서 획득된 얼굴 이미지 각각에 대해 미리 학습된 패턴 추정 방식에 따라 각 요소 특징을 추출하여 다수의 특징 벡터를 획득한다.

도 2는 도 1의 요소 특징 추출부의 동작을 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 요소 특징 추출부(200)는 얼굴 이미지가 인가되면, 얼굴 이미지의 요소별 특징을 추출하여 특징맵을 획득한다. 요소 특징 추출부(200)는 얼굴 이미지를 기지정된 방식으로 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 특징맵을 획득할 수 있다. 특징맵은 각각의 영역에 대응하여 패턴이 추정된 다수의 특징 벡터로 구성될 수 있으며, 다수의 특징 벡터 각각은 일 예로 도 2와 같이, Z 축 방향의 1차원 벡터로 획득될 수 있다.

얼굴 이미지에서 요소 특징을 추출하여 특징맵을 획득하는 요소 특징 추출부(200)는 인공 신경망으로 구현될 수 있으며, 이종 얼굴 인식 장치의 학습 시에 역전파되는 손실에 따라 학습될 수 있으나, 이미지로부터 특징을 추출하는 인공 신경망은 공개되어 있으므로, 이미 학습된 인공 신경망을 이용할 수도 있다.

벡터 위치 및 거리 계산부(300)는 특징맵을 구성하는 다수의 특징 벡터 각각의 위치를 계산하고, 계산된 특징 벡터들의 위치를 기반으로 다수의 특징 벡터 사이의 상대적 거리를 계산한다.

요소 특징 추출부(200)에 의해 추출되는 특징 벡터 각각은 얼굴 이미지에서 대응하는 영역의 특징을 추출한 것으로, 이는 대상자의 얼굴에서 각각의 구성 요소에 대한 특징을 추출한 것으로 볼 수 있다. 그리고 이러한 구성 요소 사이의 상대적 거리는 각각의 대상자의 얼굴이 갖는 고유한 특성으로 얼굴 이미지를 획득한 방식인 도메인에 무관한 독립적인 특징으로 볼 수 있다. 일 예로 사람의 눈과 눈 사이의 거리와 입과 턱 사이의 거리는 대상자 개개인의 고유 특징으로 볼 수 있다.

이에 본 실시예에서 벡터 위치 및 거리 계산부(300)는 특징맵에서 각 특징 벡터의 위치와 상대적 거리를 계산하고, 계산된 위치와 상대적 거리를 대응하는 특징 벡터에 결합한다.

도 3은 도 1의 벡터 위치 및 거리 계산부의 동작을 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, 벡터 위치 및 거리 계산부(300)는 특징맵의 다수의 특징 벡터 각각에 대해 절대적 위치 정보인 x 좌표(x_i)와 y 좌표(y_j)를 계산하고, 계산된 다수의 특징 벡터 각각의 위치 좌표(x_i, y_j)를 기반으로 수학식 1에 따라 특징맵의 중심(x₀, y₀)을 기준으로 하는 각 특징 벡터의 상대적 거리(r_i,j)를 계산하여 획득한다.

여기서는 벡터 위치 및 거리 계산부(300)가 XY 평면 상에서 각 특징 벡터의 위치 좌표(x_i, y_j)와 상대적 거리(r_i,j)를 계산하는 것으로 설명하였으나, 이는 특징맵의 특징 벡터가 Z축 방향의 1차원 벡터인 것으로 가정하였기 때문이며, 특징 벡터를 구성하는 방향에 따라 위치 좌표와 상대적 거리를 계산하는 평면은 변경될 수 있다.

그리고 벡터 위치 및 거리 계산부(300)는 다수의 특징 벡터 각각의 위치 좌표(x_i, y_j)와 상대적 거리(r_i,j)가 계산되면, 계산된 위치 좌표(x_i, y_j)와 상대적 거리(r_i,j)를 대응하는 특징 벡터에 결합(concatenate)한다. 일 예로 특징맵의 다수의 특징 벡터 각각에 계산된 위치 좌표(x_i, y_j)와 상대적 거리(r_i,j)를 Z축 방향으로 더 추가한다.

다수의 특징 벡터 각각에 위치 좌표(x_i, y_j)와 상대적 거리(r_i,j)가 결합되면, 벡터 관계 모델링부(400)는 위치 좌표(x_i, y_j)와 상대적 거리(r_i,j)가 결합된 다수의 특징 벡터 각각을 노드 벡터(n_i)로 설정하고, 설정된 노드 벡터 사이의 관계를 에지(e_i,j)로 설정하여 특징 벡터 사이의 관계를 가상의 공통 공간 상에 그래프로 나타내는 관계 그래프 모델을 생성한다.

도 4 및 도 5는 도 1의 벡터 관계 모델링부가 특징 벡터 사이의 관계 그래프 모델을 생성하고 관계 전파하는 동작을 설명하기 위한 도면이다.

벡터 관계 모델링부(400)는 우선 도 4와 같이, 다수의 특징 벡터 각각을 가상의 공통 공간에 투영하여 대응하는 노드 벡터(n_i)를 설정한다. 상기한 바와 같이, 특징 벡터들의 위치와 거리는 도메인에 무관하게 대상자의 얼굴이 갖는 고유한 특성을 나타낸 것이므로, 위치 좌표(x_i, y_j)와 상대적 거리(r_i,j)가 결합된 다수의 특징 벡터 각각은 도메인에 제한되지 않는 공통 공간 상의 노드 벡터(n_i)로서 표현될 수 있다.

그리고 설정된 각 노드 벡터(n_i ^t) 사이에 연결되어 노드 벡터 사이의 관계를 나타내는 다수의 에지(e_i,j ^t)를 설정한다. 도 4에서 각 노드 벡터(n_i ^t)와 에지(e_i,j ^t)에 표기된 t는 현재 상태를 나타낸다. 즉 n_i ^t 과 e_i,j ^t 는 현재 상태의 i번째 노드 벡터와 i번째 노드 벡터(n_i ^t)에서 j번째 노드 벡터(n_j ^t)로의 에지를 의미하고, n_i ^t+1 과 e_i,j ^t+1 는 다음 상태의 i번째 노드 벡터와 i번째 노드 벡터(n_i ^t)에서 j번째 노드 벡터(n_j ^t)로의 에지를 의미한다.

특징맵에서 전체 특징 벡터의 개수가 D개일 때, 벡터 관계 모델링부(400)는 그래프 공간에 D개의 노드 벡터(N = {n₁ ^t, n₂ ^t, …, n_D ^t})를 생성하고, 생성된 D개의 노드 벡터 사이를 잇는 다수의 에지(e_i,j ^t)를 수학식 2에 따라 설정할 수 있다.

여기서 σ는 활성화 함수(Activation Function)로서, 일 예로 시그모이드(Sigmoid)일 수 있다. 그리고 W_e 는 관계 가중치로서 학습에 의해 업데이트되며, T는 전치 행렬을 나타낸다.

그리고 벡터 관계 모델링부(400)는 수학식 2에 따라 계산된 현재 상태의 에지(e_i,j ^t)에 연결된 다수의 노드 벡터의 다음 상태(n_i ^t+1)를 수학식 3에 따라 계산하여 업데이트한다.

상기한 바와 같이 다수의 노드 벡터(n_i)와 다수의 에지(e_i,j)는 상호 관계를 가지므로, 다수의 노드 벡터(n_i)와 다수의 에지(e_i,j)가 교대로 반복하여 상태가 업데이트 될 수 있다. 이러한 업데이트 과정을 관계 전파라고 하며, 관계 전파는 기지정된 횟수로 반복 수행될 수 있다.

관계 모델 업데이트부(500)는 벡터 관계 모델링부(400)에서 모델링되고 관계 전파된 관계 그래프 모델을 인가받고, 인가된 관계 그래프 모델의 다수의 노드 벡터(n_i) 중 의미적으로 더욱 가치 있는 노드 벡터(n_i)에 더 높은 관심이 집중되도록 각각의 노드 벡터(n_i)에 대응하는 요소 가중치(w_i)를 미리 학습된 패턴 추정 방식에 따라 획득하여 대응하는 관계 그래프 모델의 각 노드 벡터(n_i)에 가중함으로써 관계 그래프 모델을 업데이트 한다.

도 6은 도 1의 관계 모델 업데이트부의 상세 구성을 나타내고, 도 7은 도 6의 관계 모델 업데이트부가 관계 그래프 모델을 업데이트하는 개념을 설명하기 위한 도면이다.

도 6을 참조하면, 관계 모델 업데이트부(500)는 대표값 계산부(510), 인코더(520), 디코더(530) 및 업데이트부(540)를 포함할 수 있다.

대표값 계산부(510)는 도 7의 (a)와 같이, 벡터 관계 모델링부(400)에서 생성되고 관계 전파되어 업데이트된 관계 그래프 모델을 인가받고, 인가된 관계 그래프 모델에 대해 관계 전파 기법에 따라 업데이트된 노드 벡터(n_i ^t+1)의 대표값(z_i)을 계산하여, (b)와 같이 계산된 노드 벡터(n_i ^t+1)의 대표값(z_i)으로 표현된 대표 그래프 모델을 획득한다.

대표값 계산부(510)는 다양한 방식으로 노드 벡터의 평균값을 대표값(z_i)을 계산할 수 있으나, 여기서는 일 예로 수학식 4에 따라 노드 벡터의 평균값을 대표값(z_i)으로 계산하는 것으로 가정한다.

여기서 C는 노드 벡터의 길이를 나타낸다.

인코더(520)는 미리 학습된 패턴 추정 방식에 따라 대표 그래프 모델을 인코딩하여, (c)와 같이 관계 그래프 모델의 각 노드 벡터(n_i ^t+1) 중요도를 나타내는 중요도 벡터를 획득한다.

그리고 디코더(530)는 인코더(520)에서 획득된 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여, (d)와 같이 관계 그래프 모델의 각 노드 벡터(n_i ^t+1)의 중요도에 따른 가중치(w_i)를 노드로 갖는 가중치 관계 모델 그래프를 획득한다.

업데이트부(540)는 관계 그래프 모델과 가중치 관계 모델 그래프를 인가받고, 관계 그래프 모델의 다수의 노드 벡터(n_i ^t+1) 각각에 가중치 관계 모델 그래프의 대응하는 노드의 가중치(w_i)를 가중하여 관계 모델 그래프를 업데이트 하여, 보정 관계 모델 그래프를 (e)와 같이 획득한다.

얼굴 인식부(600)는 관계 모델 업데이트부(500)로부터 보정 관계 모델 그래프를 인가받고, 인가된 보정 관계 모델 그래프의 다수의 노드 벡터(w_in_i) 각각과 얼굴 특징 데이터베이스(700)에 기저장된 다수의 기준 관계 그래프 모델의 대응하는 노드 벡터 사이의 유사도를 비교하여, 기지정된 기준 유사도 이상인 기준 관계 그래프 모델을 탐색한다. 그리고 기준 유사도 이상인 기준 관계 그래프 모델이 탐색되면, 획득된 관계 그래프 모델의 대상자와 기준 관계 그래프 모델의 대상자가 동일 인물로 판별한다. 이에 얼굴 인식부(600)는 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 특징 데이터베이스(700)로부터 획득하여 출력한다.

즉 얼굴 인식부(600)는 이종 이미지 획득부(100)에 도메인에 무관하게 다양한 방식으로 획득되어 인가된 얼굴 이미지로부터 생성된 보정 관계 그래프 모델의 다수의 노드 벡터(w_in_i)와 얼굴 특징 데이터베이스(700)에 미리 저장된 다수의 기준 관계 그래프 모델 각각의 다수의 노드 벡터 사이의 유사도에 따라 이종 이미지 획득부(100)에 인가된 얼굴 이미지의 대상자가 얼굴 특징 데이터베이스(700)에 기준 관계 그래프 모델로 미리 저장된 대상자인지 여부를 판별하여 얼굴 인식을 수행하고, 얼굴 인식 수행 결과로 얼굴 이미지의 피사체인 대상자의 식별자를 출력한다.

얼굴 특징 데이터베이스(700)는 얼굴 이미지로부터 이전 획득된 보정 관계 그래프 모델을 기준 관계 그래프 모델로서 얼굴 이미지의 피사체인 대상자의 식별자와 맵핑하여 저장하고, 얼굴 인식부(600)의 요청에 따라 보정 관계 그래프 모델을 얼굴 인식부(600)로 전달한다.

얼굴 특징 데이터베이스(700)가 식별자에 맵핑된 다수의 기준 관계 그래프 모델이 미리 저장함에 따라, 얼굴 인식부(600)에서 기준 유사도 이상인 기준 관계 그래프 모델을 탐색하면, 탐색된 기준 관계 그래프 모델에 대응하는 식별자를 전달할 수 있다.

상기한 바와 같이, 본 실시예에 따른 이종 얼굴 인식 장치는 다양한 도메인의 얼굴 이미지가 인가되면, 인가된 얼굴 이미지에서 구성 요소, 즉 얼굴 이미지의 영역별 특징 벡터를 추출하여 특징맵을 획득하고, 획득된 특징맵의 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 결합한 후, 가상의 공통 공간 상에 관계 그래프 모델로 투영하고 중요도에 따라 노드 벡터를 보정함으로써, 얼굴 이미지가 획득된 방식에 따른 얼굴 이미지의 도메인에 무관하게 각 얼굴 이미지의 고유한 특징을 상호 비교하여 얼굴 인식을 수행한다. 따라서 다양한 서로 다른 도메인의 얼굴 이미지가 인가되더라도 정확하게 얼굴 인식을 수행할 수 있다.

다만 상기한 이종 얼굴 인식 장치가 얼굴 인식을 수행하기 위해서는 사전에 미리 학습이 되어야 한다. 특히 인공 신경망으로 구현되는 벡터 관계 모델링부(400)와 관계 모델 업데이트부(500)가 학습되어야 한다. 이에 본 실시예에 따른 이종 얼굴 인식 장치는 학습부(800)를 더 포함할 수 있다.

도 8 및 도 9은 학습부가 이종 얼굴 인식 장치를 학습시키는 개념을 설명하기 위한 도면이다.

본 실시예에 따른 학습부(800)는 도메인에 무관하게 동일 대상자 및 상이한 대상자에 대해 획득된 얼굴 이미지에서 획득된 보정 관계 모델 그래프의 노드 벡터(w_in_i) 사이의 차를 기반으로 손실을 계산하고, 계산된 손실을 역전파하여 벡터 관계 모델링부(400)와 관계 모델 업데이트부(500)를 학습시킬 수 있다.

이하에서는 얼굴 이미지의 도메인에 무관하게 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지를 앵커(Anchor)라 하고, 앵커와 동일한 대상자에 대한 얼굴 이미지를 포지티브(Positive)라 하며, 앵커와 상이한 대상자에 대한 얼굴 이미지를 네거티브(Negative)라 한다.

도 8의 (a)에서 좌측은 적외선 도메인 이미지인 앵커이고, 가운데 얼굴 이미지는 컬러 도메인 이미지이지만 동일한 대상자에 대한 얼굴 이미지이므로 포지티브이며, (c)는 (a)와 마찬가지로 적외선 도메인 이미지이지만 앵커와 상이한 대상자에 대한 얼굴 이미지이므로 네거티브이다.

본 실시예에서 학습부(800)는 앵커를 기준으로 포지티브 및 네거티브를 비교하는 트리플렛 학습 방식을 이용하여 손실을 계산한다. 도 8의 (b)와 같이 트리플렛 학습 방식은 앵커와 포지티브 및 네거티브가 가상의 공통 공간 상에 투영된 보정 관계 모델 그래프의 다수의 노드 벡터(w_in_i) 사이의 거리(유사도)를 비교하여 포지티브의 노드 벡터는 앵커의 대응하는 노드 벡터에 더욱 가깝게 되는 반면, 포지티브의 노드 벡터는 앵커의 대응하는 노드 벡터에 더욱 멀어지도록 손실을 계산하여 학습을 수행하는 방식을 의미한다.

앵커의 노드 벡터를 x_i ^a 라 하고, 포지티브의 노드 벡터를 x_i ^p 라 하며, 네거티브의 노드 벡터를 x_i ⁿ 라 할 때, 공통 공간 상에서 앵커의 노드 벡터(x_i ^a)와 포지티브의 노드 벡터(x_i ^p) 사이의 거리(s_i ^p)는 코사인 유사도(Cosine similarity) 함수(CS)를 사용하여 s_i ^p = CS(x_i ^a, x_i ^p)로 계산될 수 있다. 그리고 앵커의 노드 벡터(x_i ^a)와 네거티브의 노드 벡터(x_i ⁿ) 사이의 거리(s_i ⁿ) 또한 코사인 유사도 함수(CS)를 사용하여 s_i ⁿ = CS(x_i ^a, x_i ⁿ)로 계산될 수 있다.

일예로 앵커와 포지티브 노드 벡터(x_i ^a, x_i ^p) 사이의 거리(s_i ^p)는 도 9의 (a)와 같이 0.2로 계산되는 반면, 앵커와 네거티브 노드 벡터(x_i ^a, x_i ⁿ) 사이의 거리(s_i ⁿ)는 0.6으로 계산될 수 있다.

그리고 학습부(800)는 계산된 앵커와 포지티브 노드 벡터(x_i ^a, x_i ^p) 사이의 거리(s_i ^p)와 앵커와 네거티브 노드 벡터(x_i ^a, x_i ⁿ) 사이의 거리(s_i ⁿ)의 비에 따라 손실을 계산하여 역전파 함으로써, 벡터 관계 모델링부(400)와 관계 모델 업데이트부(500)를 학습시킬 수 있다.

다만, 단순히 앵커와 포지티브 노드 벡터(x_i ^a, x_i ^p) 사이의 거리(s_i ^p)와 앵커와 네거티브 노드 벡터(x_i ^a, x_i ⁿ) 사이의 거리(s_i ⁿ)의 비로만 손실을 계산하여 역전파하는 경우, 학습 후 공통 공간에서 앵커로부터의 거리를 기반으로 포지티브와 네거티브를 구분하는 경계가 선형으로 나타나게 되어 얼굴 인식 결과가 매우 민감하게 변화하게 되는 경우가 발생한다. 즉 인가된 얼굴 이미지의 작은 변화에도 포지티브와 네거티브가 변경되어 판별하게 되는 경우가 발생할 수 있다.

이에 본 실시예에 따른 학습부(800)는 앵커와 포지티브 노드 벡터(x_i ^a, x_i ^p) 사이의 거리(s_i ^p)와 앵커와 네거티브 노드 벡터(x_i ^a, x_i ⁿ) 사이의 거리(s_i ⁿ)의 비에 마진(m)을 추가로 적용하여, 수학식 5에 따라 손실(L_{tripletconditional})을 계산한다.

여기서 []₊ 는 양의 값만을 취하는 포지티브 함수이다.

이와 같이 학습부(800)가 마진(m)을 추가로 적용하면, 도 9의 (b)에 도시된 바와 같이, 마진의 크기에 따라 공통 공간에서 포지티브 영역과 네거티브 영역이 사이에 마진 영역이 생성되어 포지티브와 네거티브를 명확하게 구분할 수 있게 되며, 이로 인해 얼굴 인식 민감도를 둔화시킬 수 있다. 즉 강건한 얼굴 인식을 수행할 수 있도록 한다.

도 10는 마진 적용 학습 여부에 따라 공통 공간에 투영된 특징 벡터의 변화를 나타낸다.

도 10에서 (a)는 학습부(800)가 마진(m)을 적용하지 않고 학습을 수행한 경우, 공통 공간에 투영된 앵커와 포지티브 및 네거티브의 노드 벡터(x_i ^a, x_i ^p, x_i ⁿ)를 나타내고, (b)는 마진(m)을 적용하여 학습을 수행한 경우, 공통 공간에 투영된 앵커와 포지티브 및 네거티브의 노드 벡터(x_i ^a, x_i ^p, x_i ⁿ)를 나타낸다.

(a)와 (b)를 비교하면, 마진(m)을 적용하지 않은 경우에 비해 마진(m)을 적용하여 학습을 수행한 경우, 앵커와 포지티브 노드 벡터(x_i ^a, x_i ^p) 사이의 거리(s_i ^p)는 더 가까워지는데 반해, 앵커와 네거티브 노드 벡터(x_i ^a, x_i ⁿ) 사이의 거리(s_i ⁿ)는 더욱 멀어짐을 알 수 있다. 즉 얼굴 인식 장치가 더욱 효율적으로 학습되어 정확하게 얼굴 인식을 수행할 수 있게 됨을 알 수 있다.

도 11은 본 발명의 일 실시예에 따른 이종 얼굴 인식 방법을 나타내고, 도 12는 도 11의 관계 그래프 모델 업데이트 단계를 상세하게 나타낸 도면이다.

도 11 및 도 12를 참조하면, 본 실시예에 따른 이종 얼굴 인식 방법은 우선 도메인에 무관하게 다양한 방식으로 획득된 얼굴 이미지를 획득한다(S10). 그리고 획득된 얼굴 이미지를 기지정된 방식으로 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 요소별 특징 벡터를 추출하여 특징맵을 획득한다(S20).

특징맵이 획득되면, 특징맵의 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산한다(S30). 그리고 다수의 특징 벡터 각각에 대해 계산된 위치와 상대적 거리를 대응하는 특징 벡터에 결합한다(S40).

이후 위치와 상대적 거리가 결합된 특징맵의 다수의 특징 벡터가 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득한다(S50). 관계 그래프 모델 획득 단계(S50)는 우선 특징맵의 다수의 특징 벡터 각각을 공통 공간에 투영하여 대응하는 노드 벡터(n_i)로 설정하여 관계 그래프 모델을 생성한다(S51). 그리고 설정된 다수의 노드 벡터(n_i ^t)를 서로 연결하여 다수의 노드 벡터(n_i ^t) 사이의 관계를 나타내는 다수의 에지(e_i,j ^t)를 수학식 2에 따라 설정하고, 설정된 다수의 에지(e_i,j ^t)를 기반으로 관계를 전파하여 연결된 다수의 노드 벡터(n_i ^t+1)의 다음 상태를 수학식 3에 따라 계산하여 전파한다(S52). 그리고 관계 전파를 종료할지 여부를 판별한다(S53). 만일 관계 전파를 종료하지 않는 것으로 판별되면, 다음 상태의 노드 벡터(n_i ^t+1)를 다시 다수의 에지(e_i,j ^t+1)로 전파하고, 관계 전파된 다수의 에지(e_i,j ^t+1)를 통해 다시 다음 상태의 노드 벡터(n_i ^t+2)를 획득하는 관계 전파를 반복 수행한다(S52).

관계 전파가 기지정된 횟수로 수행되어 관계 전파를 종료하면, 관계 전파되어 획득된 관계 그래프 모델에서 의미적으로 중요한 노드 벡터(n_i ^t+1)에 주의가 집중되도록 미리 학습된 패턴 추정 방식에 따라 요소 가중치(w_i)를 획득하고, 획득된 요소 가중치(w_i)를 관계 그래프 모델의 각 노드 벡터(n_i ^t+1)에 가중하여 관계 그래프 모델을 업데이트 한다(S60).

도 12를 참조하면, 관계 그래프 모델 업데이트 단계(S60)는 우선 관계 그래프 모델의 다수의 노드 벡터(n_i ^t+1)의 대표값을 기지정된 방식으로 계산하여, 계산된 대표값으로 구성되는 대표 그래프 모델을 획득한다(S61). 여기서 노드 벡터(n_i ^t+1)의 대표값은 일예로 노드 벡터(n_i ^t+1) 원소의 평균값으로 획득될 수 있다.

대표 그래프 모델이 획득되면, 미리 학습된 패턴 추정 방식에 따라 대표 그래프 모델을 인코딩하여 중요도 벡터를 획득한다(S62). 그리고 중요도 벡터를 미리 학습된 패턴 복구 방식에 따라 디코딩하여 관계 그래프 모델의 각 노드 벡터(n_i ^t+1)의 중요도에 따른 가중치(w_i)를 노드로 갖는 가중치 관계 모델 그래프를 획득한다(S63). 가중치 관계 모델 그래프가 획득되면, 관계 그래프 모델의 다수의 노드 벡터(n_i ^t+1) 각각에 가중치 관계 모델 그래프의 대응하는 노드의 가중치(w_i)를 가중하여 보정 관계 모델 그래프를 획득한다(S64).

다시 도 11을 참조하면, 얼굴 인식 장치가 학습되어야 하는지 판별한다(S70). 만일 이미 학습된 것으로 판별되면, 보정 관계 모델 그래프를 얼굴 특징 데이터베이스(700)에 다수의 대상자에 대한 식별자와 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교한다(S81). 그리고 기지정된 기준 유사도 이상의 유사도를 갖는 유사 기준 관계 그래프 모델이 탐색되는지 판별한다(S82). 만일 유사 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 출력하여 얼굴 인식을 수행한다(S83). 그러나 유사 기준 관계 그래프 모델이 탐색되지 않으면, 대응하는 얼굴 이미지를 탐색하지 못한 것으로 판별하여 얼굴 인식 실패를 출력한다(S84).

한편, 얼굴 인식 장치가 학습되어야 하는 것으로 판별되면, 학습을 수행한다(S90). 학습을 수행하는 단계(S90)에서는 우선 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하여 저장한다(S91). 그리고 획득된 공통 공간 상의 앵커와 포지티브 노드 벡터(x_i ^a, x_i ^p) 사이의 거리(s_i ^p)와 앵커와 네거티브 노드 벡터(x_i ^a, x_i ⁿ) 사이의 거리(s_i ⁿ) 각각을 유사도에 기반하여 계산한다(S92). 이후 계산된 앵커와 포지티브 노드 벡터(x_i ^a, x_i ^p) 사이의 거리(s_i ^p)와 앵커와 네거티브 노드 벡터(x_i ^a, x_i ⁿ) 사이의 거리(s_i ⁿ) 사이의 비를 기반으로 손실을 계산하고 역전파하여 얼굴 인식 장치에 대한 학습을 수행한다(S93). 이때 얼굴 인식 장치의 얼굴 인식 민감도를 둔화시켜 강건한 얼굴 인식을 수행할 수 있도록, 마진(m)을 추가로 적용하여, 수학식 5와 같이 손실(L_{tripletconditional})을 계산할 수 있다.

본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 이종 이미지 획득부 200: 요소 특징 추출부
300: 벡터 위치 및 거리 계산부 400: 벡터 관계 모델링부
500: 관계 모델 업데이트부 510: 대표값 계산부
520: 인코더 530: 디코더
540: 업데이트부 600: 얼굴 인식부
700: 얼굴 특징 데이터베이스 800: 학습부

Claims (18)

1. 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 요소 특징 추출부;
   상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 벡터 위치 및 거리 계산부;
   위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 벡터 관계 모델링부;
   미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 관계 모델 업데이트부; 및
   상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 얼굴 인식부를 포함하되,
   상기 벡터 관계 모델링부는
   위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 다수의 노드 벡터로서 가상의 공통 공간 상에 투영하고, 상기 다수의 노드 벡터에 따라 상기 다수의 노드 벡터 사이의 관계를 나타내는 다수의 에지를 학습에 의해 획득되는 관계 가중치를 기반으로 설정하여 상기 관계 그래프 모델을 생성하는 이종 얼굴 인식 장치.
   
2. 삭제
3. 제1 항에 있어서, 상기 벡터 관계 모델링부는
   설정된 다수의 에지에 따라 각 에지에 연결된 노드 벡터로 관계를 전파하여 다수의 노드 벡터를 다음 상태로 업데이트하고, 업데이트된 노드 벡터의 상태에 따라 다시 에지를 업데이트하는 관계 전파를 기지정된 횟수로 반복 수행하는 이종 얼굴 인식 장치.
4. 제3 항에 있어서, 상기 벡터 관계 모델링부는
   현재 상태(t)의 전체 D개의 노드 벡터 중 i번째 노드 벡터(n_i ^t)로부터 j번째 노드 벡터(n_i ^t) 방향으로 연결되는 현재 상태의 에지(e_i,j ^t)를 수학식
   

   

   
   (여기서 σ는 활성화 함수이고, W_e ^T 는 관계 가중치의 전치 행렬이다.)
   에 따라 획득하고,
   i번째 노드 벡터(n_i ^t)에 연결된 현재 상태의 다수의 에지(e_k,i ^t)로부터 다음 상태의 노드 벡터(n_i ^t+1)를 수학식
   

   

   
   에 따라 획득하는 이종 얼굴 인식 장치.
5. 제1 항에 있어서, 상기 관계 모델 업데이트부는
   기지정된 방식으로 상기 다수의 노드 벡터 각각의 대표값을 획득하여 대표값으로 표현된 대표 그래프 모델을 획득하는 대표값 계산부;
   미리 학습된 패턴 추정 방식에 따라 상기 대표 그래프 모델을 인코딩하여 상기 관계 그래프 모델의 다수의 노드 벡터 각각의 중요도를 나타내는 중요도 벡터를 획득하는 인코더;
   상기 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여 상기 관계 그래프 모델의 각 노드 벡터의 중요도에 따른 가중치를 노드로 갖는 가중치 관계 모델 그래프를 획득하는 디코더; 및
   상기 관계 그래프 모델의 다수의 노드 벡터 각각에 상기 가중치 관계 모델 그래프의 대응하는 노드의 가중치를 가중하여 상기 보정 관계 모델 그래프를 획득하는 업데이트부를 포함하는 이종 얼굴 인식 장치.
6. 제5 항에 있어서, 상기 이종 얼굴 인식 장치는
   상기 벡터 관계 모델링부와 상기 관계 모델 업데이트부를 학습시키기 위한 학습부를 더 포함하고,
   상기 학습부는
   학습 데이터로서 인가되는 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 다른 도메인의 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하고, 상기 공통 공간 상에서 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리를 유사도에 기반하여 계산하며, 계산된 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리 사이의 비를 기반으로 손실을 계산하고 역전파하는 이종 얼굴 인식 장치.
7. 제6 항에 있어서, 상기 학습부는
   앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s_i ^p)와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s_i ⁿ) 사이의 비에 기지정된 마진(m)을 추가로 적용하여, 수학식
   

   

   
   (여기서 []₊ 는 양의 값만을 취하는 포지티브 함수이다.)
   에 따라 손실(L_{tripletconditional})을 계산하는 이종 얼굴 인식 장치.
8. 제1 항에 있어서, 상기 이종 얼굴 인식 장치는
   상기 다수의 기준 관계 그래프 모델이 대상자의 식별자에 맵핑되어 저장되는 얼굴 특징 데이터베이스를 더 포함하고,
   상기 얼굴 인식부는
   상기 보정 관계 그래프 모델과 기지정된 기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 인식 결과로 출력하는 이종 얼굴 인식 장치.
9. 제1 항에 있어서, 상기 이종 얼굴 인식 장치는
   도메인에 따라 컬러 이미지, 적외선 이미지, 열적외선 이미지 또는 스케치 이미지 중 하나를 인가받아 대상자를 인식하는 이종 얼굴 인식 장치.
10. 이종 얼굴 인식 장치의 이종 얼굴 인식 방법에 있어서,
    획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 단계;
    상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 단계;
    위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 단계; 및
    상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 단계를 포함하되,
    상기 관계 그래프 모델을 획득하는 단계는
    위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 다수의 노드 벡터로서 가상의 공통 공간 상에 투영하는 단계; 및
    상기 다수의 노드 벡터에 따라 상기 다수의 노드 벡터 사이의 관계를 나타내는 다수의 에지를 학습에 의해 획득되는 관계 가중치를 기반으로 설정하여 상기 관계 그래프 모델을 생성하는 단계를 포함하는 이종 얼굴 인식 방법.
    
11. 삭제
12. 제10 항에 있어서, 상기 관계 그래프 모델을 획득하는 단계는
    기지정된 횟수로 반복하여 설정된 다수의 에지에 따라 각 에지에 연결된 노드 벡터로 관계를 전파하여 다수의 노드 벡터를 다음 상태로 업데이트하고, 업데이트된 노드 벡터의 상태에 따라 다시 에지로 관계 전파하는 단계를 더 포함하는 이종 얼굴 인식 방법.
13. 제12 항에 있어서, 상기 관계 전파하는 단계는
    현재 상태(t)의 전체 D개의 노드 벡터 중 i번째 노드 벡터(n_i ^t)로부터 j번째 노드 벡터(n_i ^t) 방향으로 연결되는 현재 상태의 에지(e_i,j ^t)를 수학식
    

    

    
    (여기서 σ는 활성화 함수이고, W_e ^T 는 관계 가중치의 전치 행렬이다.)
    에 따라 획득하는 단계; 및
    i번째 노드 벡터(n_i ^t)에 연결된 현재 상태의 다수의 에지(e_k,i ^t)로부터 다음 상태의 노드 벡터(n_i ^t+1)를 수학식
    

    

    
    에 따라 획득하는 단계를 포함하는 이종 얼굴 인식 방법.
14. 제10 항에 있어서, 상기 보정 관계 그래프 모델을 획득하는 단계는
    기지정된 방식으로 상기 다수의 노드 벡터 각각의 대표값을 획득하여 대표값으로 표현된 대표 그래프 모델을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 대표 그래프 모델을 인코딩하여 상기 관계 그래프 모델의 다수의 노드 벡터 각각의 중요도를 나타내는 중요도 벡터를 획득하는 단계;
    상기 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여 상기 관계 그래프 모델의 각 노드 벡터의 중요도에 따른 가중치를 노드로 갖는 가중치 관계 모델 그래프를 획득하는 단계; 및
    상기 관계 그래프 모델의 다수의 노드 벡터 각각에 상기 가중치 관계 모델 그래프의 대응하는 노드의 가중치를 가중하여 상기 보정 관계 모델 그래프를 획득하는 단계를 포함하는 이종 얼굴 인식 방법.
15. 제14 항에 있어서, 상기 이종 얼굴 인식 방법은
    학습 단계를 더 포함하고,
    상기 학습 단계는
    학습 데이터로서 인가되는 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 다른 도메인의 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하는 단계;
    상기 공통 공간 상에서 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리를 유사도에 기반하여 계산하는 단계; 및
    계산된 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리 사이의 비를 기반으로 손실을 계산하고 역전파하는 단계를 포함하는 이종 얼굴 인식 방법.
16. 제15 항에 있어서, 상기 역전파하는 단계는
    앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s_i ^p)와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s_i ⁿ) 사이의 비에 기지정된 마진(m)을 추가로 적용하여, 수학식
    

    

    
    (여기서 []₊ 는 양의 값만을 취하는 포지티브 함수이다.)
    에 따라 손실(L_{tripletconditional})을 계산하는 이종 얼굴 인식 방법.
17. 제10 항에 있어서, 상기 대상자를 인식하는 단계는
    얼굴 이미지의 대상자의 식별자에 맵핑되어 저장된 상기 다수의 기준 관계 그래프 모델 중 상기 보정 관계 그래프 모델과 기지정된 기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색하는 단계;
    기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 인식 결과로 출력하는 단계를 포함하는 이종 얼굴 인식 방법.
18. 제10 항에 있어서, 상기 이종 얼굴 인식 방법은
    도메인에 따라 컬러 이미지, 적외선 이미지, 열적외선 이미지 또는 스케치 이미지 중 하나를 인가받아 대상자를 인식하는 이종 얼굴 인식 방법.

Images