KR20200039149A - 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 - Google Patents

Abstract

실시예는, 깊이 영상 내의 얼굴 영역을 검출하여 제1 깊이 영상을 생성하는 단계; 상기 얼굴 영역에 대응하는 제1 적외선 영상을 생성하는 단계; 상기 제1 깊이 영상의 제1 대상 화소와 제1 인접 화소 간의 깊이 값의 비교 결과에 기초하여 상기 제1 깊이 영상을 부호화하는 단계; 상기 제1 적외선 영상에서 제2 대상 화소와 제2 인접 화소 간의 계조값의 비교 결과에 기초하여 상기 제1 적외선 영상을 부호화하는 단계; 부호화된 제1 깊이 영상의 제1 히스토그램 및 부호화된 제1 적외선 영상의 제2 히스토그램을 생성하는 단계; 복수의 인물들 각각의 제2 적외선 영상의 히스토그램과 상기 제2 히스토그램을 비교하여 상기 복수의 인물들 중 적어도 하나를 선정하는 단계; 및 상기 선정된 적어도 하나의 인물의 제2 깊이 영상의 히스토그램과 상기 제1 히스토그램을 비교하여 상기 인물의 신원을 인식하는 단계;를 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

Description

얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체{FACE RECOGNITION METHOD AND DEVICE USING INFRARED AND DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM}

본 발명은 신원 인식 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다. 상세하게는, 얼굴이 촬영된 깊이 영상과 적외선 영상을 이용하여 신원을 인식할 수 있는 기술에 관한 것이다.

생체 인식을 이용한 사용자 인증 및 제어 시스템에 대한 연구와 활용이 점차 늘어가고 있는 가운데 이중에서 얼굴인식이 주목을 받고 있다. 얼굴인식은 비공격적이며 비강압적인 인증 방식으로, 사용자가 따로 인증을 위한 특별한 동작을 할 필요 없이 인증을 할 수 있다는 장점이 있다. 또한 영상 기반의 얼굴인식을 통한 신원인식 기술은 보안, 마케팅 분야 등 다양한 분야에 응용할 수 있다는 장점을 가지고 있어 연구가 활발하게 이루어지고 있다. 하지만 기존 얼굴 인식 방법은 외부 환경에 취약하고 인쇄된 사진 등을 통해 거짓인식이 될 수 있는 보안상의 위험성을 가지는 단점으로 인해 추가적인 인증 수단이 필요하다는 단점이 있다.

얼굴인식을 하기 위한 알고리즘으로는 PCA (Principal Component Analysis), SIFT(Scale Invariant Feature Transform), Haar-like feature, LBP(Local Binary Pattern)등이 쓰인다. PCA를 이용한 얼굴인식 방법은 얼굴인식에는 대상의 특징을 추출하여 그것의 주성분을 분석하는 방법으로 고유 얼굴(Eigenfaces)를 추출하여 이를 얼굴 검출에 사용하는 방법이다. PCA는 고차원의 특징벡터를 저차원의 특징벡터로 정보의 손실이 최소화되도록 차원을 축소시키는 대표적인 알고리즘으로, 훈련용 얼굴 영상들에서 유사성을 찾아 얼굴이미지의 차원을 축소하여 평균 얼굴을 구한 후, 훈련 영상과 비교하고자 하는 영상의 가중치를 구해 NN(Nearest Neighbor)방법을 사용하여 얼굴을 식별한다. PCA는 알고리듬이 단순하고 속도가 빠른 장점이 있지만, 얼굴의 포즈, 조도 등의 영향을 받아 정확도가 낮아지는 문제점이 있다. SIFT를 이용한 얼굴인식 방법은 모서리나 꼭지점과 같이 영상에서 식별이 용이한 특징점들을 선택한 후 벡터성분을 추출하는 알고리즘으로, 특징점 주변의 블록에 속한 픽셀(화소)들의 그라디언트(Gradient) 방향과 크기에 대한 히스토그램을 구한 후 이 히스토그램 값들을 일렬로 쭉 연결한 벡터를 사용하여 얼굴 비교에 사용한다. SIFT는 비교 영상의 크기 변화 또는 회전으로 인한 변형에 대해서도 정확도가 유지되는 장점이 있지만, 대용량의 데이터가 생성되고 반복적으로 이를 연산하는 과정이 많아 실시간으로 얼굴 인식을 하기가 어렵다는 단점이 있다. Haar-like 특징을 이용한 얼굴검출 방법은 영상내의 영역과 영역의 밝기차를 이용한 Haar-like 특징을 이용한 것으로, 사각형 형태의 밝은 영역과 어두운 영역의 사각형들로 구성된 다양한 형태의 Elementary 특징을 정의한 후, 각 영역에 포함된 화소 값들의 차이를 통해 의미있는 특징점을 찾는 방법이다. 여기서 의미있는 특징의 선별은 Boosting등의 자동 학습 알고리듬을 통해 이루어진다. Haar-like 특징을 이용한 방법은 영역 내 형태변화 및 위치변화에 대해서도 정확도가 유지되는 장점이 있지만, 광원이 변화 혹은 회전에 따라 정확도가 떨어지는 단점이 있다.

얼굴인식을 하기 위한 영상으로 주로 색상영상을 이용하고 있다. 색상영상 기반 얼굴인식 방법은 기존 영상을 그대로 사용할 수 있다는 장점이 있다. 하지만 색상영상 기반의 얼굴인식 방법은 조명의 변화 또는 표정의 변화에 취약하다는 단점이 있다. 또한 색상영상 기반 방법은 실제의 얼굴과 인쇄된 색상 사진을 구분하는데 있어 취약하여 보안 분야에 단독으로 사용되지 못한다는 결함이 있다. 이러한 색상영상 기반 방법의 단점을 극복하고자 적외선 영상이나 깊이 영상을 사용하는 방법이 연구되고 있다. 적외선 영상은 색상 영상에 비해 조명의 변화에도 화소의 변화가 적다는 장점이 있지만, 색상영상에 비해 명암대비가 낮다는 단점이 존재한다. 또한 적외선 영상은 색상영상과 같이 인쇄된 색상 사진에 대해 얼굴인식이 되어버리는 문제가 있다. 깊이 영상은 적외선 영상과 비슷하게 조명의 영향을 적게 받고, 색상영상이나 적외선 영상에서 얻을 수 없었던 거리 정보를 얻을 수 있다는 장점이 있다. 하지만 깊이 영상은 영상 내 잡음이 색상 영상이나 적외선 영상에 비해 많이 포함되어있다는 단점이 존재한다.

대한민국등록특허공보 제10-1074953호

본 발명의 일 목적은 전술한 문제점을 해결하기 위하여 적외선 영상과 깊이 영상의 특성을 모두 고려한 신원 인식 방법을 제공할 수 있다.

본 발명의 일 목적은 깊이 영상과 적외선 영상을 같이 이용하여 얼굴을 인식함으로써 두 영상의 장점을 극대화하고, 단점을 최소화함으로써 정확한 신원 인식이 가능한 방법 및 장치를 제공할 수 있다.

본 발명의 일 목적은 색상 사진등과 같은 기존 신원 인식에서 거짓인식을 하게 되는 위험을 줄일 수 있는 방법 및 장치를 제공하는데 있다.

본 발명의 일 목적은 색상 영상이 조명의 영향을 많이 받는 문제를 해결하기 위하여 적외선 영상을 이용하여 신원을 인식하는 방법 및 장치를 제공하는데 있다.

본 발명의 일 목적은 적외선 영상은 색상 사진 등의 잘못된 영상에 대해서도 거짓 인식을 할 수 있는 한계를 보완하기 위하여 색상 사진 등의 잘못된 영상에 대해서 인식을 하지 않는 깊이 영상을 활용함으로써 신원 인식의 정확도를 향상시킬 수 있는 방법 및 장치를 제공하는데 있다.

실시예는, 깊이 영상 내의 얼굴 영역을 검출하여 제1 깊이 영상을 생성하는 단계; 상기 얼굴 영역에 대응하는 제1 적외선 영상을 생성하는 단계; 상기 제1 깊이 영상의 제1 대상 화소와 제1 인접 화소 간의 깊이 값의 비교 결과에 기초하여 상기 제1 깊이 영상을 부호화하는 단계; 상기 제1 적외선 영상에서 제2 대상 화소와 제2 인접 화소 간의 계조값의 비교 결과에 기초하여 상기 제1 적외선 영상을 부호화하는 단계; 부호화된 제1 깊이 영상의 제1 히스토그램 및 부호화된 제1 적외선 영상의 제2 히스토그램을 생성하는 단계; 복수의 인물들 각각의 제2 적외선 영상의 히스토그램과 상기 제2 히스토그램을 비교하여 상기 복수의 인물들 중 적어도 하나를 선정하는 단계; 및 상기 선정된 적어도 하나의 인물의 제2 깊이 영상의 히스토그램과 상기 제1 히스토그램을 비교하여 상기 인물의 신원을 인식하는 단계;를 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

다른 측면에서, 상기 제1 깊이 영상을 부호화하는 단계는, 상기 제1 대상 화소의 깊이 값과 상기 제1 인접 화소 간의 깊이 값의 크기를 비교하여 상기 제1 인접 화소에 0 또는 1을 할당하는 단계; 상기 제1 인접 화소에 할당된 값을 하나의 제1 이진수로 나타낸 레벨 1 할당 정보를 생성하는 단계, 상기 레벨 1 할당 정보에 기초하여 상기 제1 이진수를 제1 십진수값으로 변환하는 단계; 및 상기 제1 대상 화소의 깊이 값을 상기 제1 십진수값으로 부호화하여 제1 레벨 부호화 영상을 생성하는 단계;를 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

또 다른 측면에서, 상기 제1 깊이 영상을 부호화하는 단계는, 상기 제1 대상 화소의 깊이 값과 상기 제1 인접 화소 간의 깊이 값의 크기의 차이 정보에 기초하여 상기 제1 인접 화소에 할당된 값을 하나의 제2 이진수로 나타낸 레벨 2 내지 4 할당 정보를 생성하는 단계; 상기 레벨 2 내지 4 할당 정보 각각에 기초하여 상기 제2 이진수를 제2 십진수값으로 변환하는 단계; 및 상기 제1 대상 화소의 깊이 값을 상기 제2 십진수값으로 부호화하여 제2 내지 제4 레벨 부호화 영상을 생성하는 단계;를 더 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

또 다른 측면에서, 상기 제1 적외선 영상을 부호화하는 단계는, 상기 제2 대상 화소의 계조 값과 상기 제2 인접 화소 간의 계조 값의 크기를 비교하여 상기 제2 인접 화소에 0 또는 1을 할당하는 단계; 상기 제2 인접 화소에 할당된 값을 하나의 제1 이진수로 나타낸 레벨 1 할당 정보를 생성하는 단계; 상기 레벨 1 할당 정보에 기초하여 상기 제1 이진수를 제1 십진수값으로 변환하는 단계; 및 상기 제2 대상 화소의 계조 값을 상기 제1 십진수값으로 부호화하여 제1 레벨 부호화 영상을 생성하는 단계;를 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

또 다른 측면에서, 상기 제1 적외선 영상을 부호화하는 단계는, 상기 제2 대상 화소의 계조 값과 상기 제2 인접 화소 간의 계조 값의 크기의 차이 정보에 기초하여 상기 제2 인접 화소에 할당된 값을 하나의 제2 이진수로 나타낸 레벨 2 내지 4 할당 정보를 생성하는 단계; 상기 레벨 2 내지 4 할당 정보 각각에 기초하여 상기 제2 이진수를 제2 십진수값으로 변환하는 단계; 및 상기 제2 대상 화소의 계조 값을 상기 제2 십진수값으로 부호화하여 제2 내지 제4 레벨 부호화 영상을 생성하는 단계;를 더 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

또 다른 측면에서, 상기 제1 내지 제4 레벨 부호화 영상 중 어느 하나의 부호화 영상의 히스토그램과 미리 저장된 복수의 인물들의 깊이 영상에 대한 히스토그램의 유사도를 측정하는 단계; 및 상기 유사도에 기초하여 상기 복수의 인물들 중 적어도 하나의 인물을 선정하는 단계;를 더 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

또 다른 측면에서, 상기 제1 내지 제4 레벨 부호화 영상 중 어느 하나의 부호화 영상의 히스토그램과 미리 저장된 복수의 인물들의 적외선 영상에 대한 히스토그램의 유사도를 측정하는 단계; 및 상기 유사도에 기초하여 상기 복수의 인물들 중 적어도 하나의 인물을 선정하는 단계;를 더 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

또 다른 측면에서, 상기 레벨 2 내지 4 할당 정보를 생성하는 단계는, 상기 제1 대상 화소의 깊이 값과 상기 제1 인접 화소 간의 깊이 값의 크기의 차이의 절대값 계산하는 단계; 상기 차이의 절대값을 충족하는 이진 변수들을 생성하는 단계; 상기 이진 변수들의 집합으로부터 상기 레벨 2 내지 4 할당 정보를 생성하는 단계;를 포함하는 깊이 영상과 적외선 영상을 통한 신원 인식 방법을 제공할 수 있다.

또 다른 측면에서, 명령들을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고, 상기 동작들은: 깊이 영상 내의 얼굴 영역을 검출하여 제1 깊이 영상을 생성하고, 상기 얼굴 영역에 대응하는 제1 적외선 영상을 생성하고, 상기 제1 깊이 영상의 제1 대상 화소와 제1 인접 화소 간의 깊이 값의 비교 결과에 기초하여 상기 제1 깊이 영상을 부호화하고, 상기 제1 적외선 영상에서 제2 대상 화소와 제2 인접 화소 간의 계조값의 비교 결과에 기초하여 상기 제1 적외선 영상을 부호화하고, 부호화된 제1 깊이 영상의 제1 히스토그램 및 부호화된 제1 적외선 영상의 제2 히스토그램을 생성하고, 복수의 인물들 각각의 제2 적외선 영상의 히스토그램과 상기 제2 히스토그램을 비교하여 상기 복수의 인물들 중 적어도 하나를 선정하며, 상기 선정된 적어도 하나의 인물의 제2 깊이 영상의 히스토그램과 상기 제1 히스토그램을 비교하여 상기 인물의 신원을 인식하는 것을 포함하는 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 장치를 제공할 수도 있다.

실시예는 화소들 간의 크기 비교뿐만 아니라 차이의 크기를 고려하여 영상을 부호화하고 기존의 영상과 비교함으로써 얼굴 인식의 정확도를 향상시킬 수 있다.

또한, 실시예는 깊이 영상 및 적외선 영상에서 인물의 특징을 제일 잘 나타낼 수 있는 레벨의 부호화 영상을 이용함으로써 얼굴 인식의 정확도를 높이고 연산의 복잡도를 낮출 수 있다.

또한, 실시예는 조명변화에 민감성을 낮추고 사진에 대한 오인식을 방지할 수 있는 얼굴 신익 방법을 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 신원 인식 장치를 도시하는 블록도이다.
도 2는 본 발명의 실시예에 따른 신원 인식 방법에 대한 예시적인 흐름도이다.
도 3은 얼굴 영역 검출 방법에 대한 흐름도이다.
도 4는 깊이 영상에서 얼굴 영역을 검출하는 예시도이다.
도 5는 제1 깊이 영상 부호화에 대한 흐름도이다.
도 6은 제1 적외선 영상 부호화에 대한 흐름도이다.
도 7은 R의 변화에 따른 서로 다른 레벨의 영상을 나타낸 것이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 신원 인식 장치를 도시하는 블록도이다.

신원 인식 장치(100)는 영상 데이터를 영상 검출 장치(200)로부터 수신할 수 있다.

영상 검출 장치(200)는 깊이 영상(depth image)을 생성하는 깊이 영상 촬영 디바이스가 될 수 있다. 또한, 영상 검출 장치(200)는 적외선 영상을 생성하는 적외선 촬영 디바이스가 될 수 있다. 또한, 영상 검출 장치(200)는 깊이 영상과 적외선 영상을 생성할 수 있는 촬영 디바이스가 될 수 있다.

일부 구현예에서는, 신원 인식 장치(100)와 영상 검출 장치(200)는 무선 통신을 위한 구성(10)이 갖추어질 수 있다.

일부 구현예에서는, 영상 검출 장치(200)는 검출된 영상 데이터를 영상 처리하여 신원 인식 장치(100)로 전송할 수도 있다.

일부 구현예에서는, 신원 인식 장치(100)는 컴퓨터 판독 가능 매체로부터 영상 처리된 영상 데이터를 수신할 수도 있다.

컴퓨터 판독 가능 매체는 영상 검출 장치(200)로부터 영상처리된 영상 데이터를 신원 인식 장치(100)로 이동시킬 수 있는 임의 유형의 매체 또는 디바이스를 포함할 수 있다. 일 예로, 컴퓨터 판독 가능 매체는 영상 검출 장치(200)가 영상 데이터를 신원 인식 장치(100)로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체, 이를테면 송신 채널을 포함할 수 있다.

영상 처리된 영상 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 신원 인식 장치(100)로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 라디오 주파수 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 신원 인식 장치(100)와 영상 검출 장치(200) 간의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. 몇몇 예들에서 영상 처리된 영상 데이터가 영상 검출 장치(200)의 출력 인터페이스 로부터 컴퓨터 판독 가능 저장 매체, 이를 테면 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체, 즉, 데이터 저장 디바이스로 출력될 수도 있다. 마찬가지로 영상 데이터는 신원 인식 장치(100)의 입력 인터페이스에 의해 저장 디바이스로부터 엑세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 영상 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국부적으로 액세스되는 비일시적 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 영상 검출 장치(200)에 의해 생성된 영상 데이터를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 해당할 수도 있다.

신원 인식 장치(100)는 저장 디바이스로부터의 저장된 영상 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다.

일부 구현예에서, 신원 인식 장치(100)는 영상 소스(110) 및 영상처리부(120)를 포함할 수 있다. 신원 인식 장치(100)는 영상 검출 장치(200)에 의해 촬영된 영상을 수신하고 영상 소스(110)에 저장할 수 있다. 그리고, 영상처리부(120)는 영상 소스(110)에 저장된 촬영 영상을 분석할 수 있다.

다른 예에서, 신원 인식 장치(100)와 영상 검출 장치(200)는 다른 컴포넌트들을 포함할 수 있다.

신원 인식 장치(100)의 영상 소스(110)는 영상 검출 장치(200), 이를테면 카메라, 이전에 촬영된 깊이 영상을 포함하는 아카이브 (archive), 및/또는 깊이 영상과 적외선 영상 콘텐츠 제공자로부터의 깊이 및 적외선 영상을 수신하는 인터페이스를 포함할 수도 있다.

일부 구현예에서 영상 검출 장치(200)는 장면의 깊이 정보를 픽셀당 16비트의 정수형 자료형으로 표현한 깊이 영상을 제공할 수 있다. 깊이 영상의 한 픽셀을 표현하기 위한 비트수는 변경될 수 있다. 영상 검출 장치(200)는 적외선을 이용하여 영상 검출 장치(200)로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.

깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.

신원 인식 장치(100) 및 영상 검출 장치(200) 각각은 하나 이상의 메모리와 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 형태로 구성될 수 있다.

메모리는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.

예를 들어 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 신원을 인식하기 위해 영상을 프로세싱하는 것을 포함하는 동작들을 수행하기 위한 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.

상세하게는, 영상처리부(120)는 명령어들을 저장하는 하나 이상의 메모리(121)와 상기 명령어들을 실행하는 적어도 하나의 프로세서(122)를 포함할 수 있다.

영상처리부(120)의 프로세서(122)는 깊이 및 적외선 영상으로부터 신원을 인식하기 위한 기법들이 적용되도록 구성될 수 있다.

일부 구현예에서, 신원 인식 장치(100)는 영상처리부(120)로부터의 영상 데이터를 외부 장치로 전송, 디스플레이, 분석 등을 수행할 수 있도록 구성될 수 있다.

도 1에 도시되지 않았지만, 몇몇 실시예에서, 신원 인식 장치(100)와 영상 검출 장치(200)는 통합된 장치가 될 수 있다.

도 2는 본 발명의 실시예에 따른 신원 인식 방법에 대한 예시적인 흐름도이다.

도 2를 참조하면, 본 발명의 실시예에 따른 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법(S100)은 깊이 영상 내의 객체 영역을 검출하는 단계(S110), 객체 영역 내의 얼굴 영역을 검출하여 제1 깊이 영상을 생성하는 단계(S120), 얼굴 영역에 대응하는 제1 적외선 영상을 생성하는 단계(S130), 제1 깊이 영상의 제1 대상 화소와 제1 인접 화소 간의 깊이 값의 비교 결과에 기초하여 제1 깊이 영상을 부호화하는 단계(S140), 제1 적외선 영상에서 제2 대상 화소와 제2 인접 화소 간의 계조값의 비교 결과에 기초하여 제1 적외선 영상을 부호화하는 단계(S150), 부호화된 제1 깊이 영상의 제1 히스토그램 및 부호화된 제1 적외선 영상의 제2 히스토그램을 생성하는 단계(S160), 복수의 인물들 각각의 제2 적외선 영상의 히스토그램과 제2 히스토그램을 비교하여 복수의 인물들 중 적어도 하나를 선정하는 단계(S170) 및 선정된 적어도 하나의 인물의 제2 깊이 영상의 히스토그램과 제1 히스토그램을 비교하여 인물의 신원을 인식하는 단계(S180)를 포함할 수 있다.

깊이 영상 내의 객체 영역을 검출하는 단계(S110).

프로세서(122)는 촬영된 깊이 영상 및/또는 적외선 영상 내의 객체 영역을 검출할 수 있다. 예시적으로, 프로세서(122)는 깊이 영상의 화소의 위치 및 깊이 값 및/또는 적외선 영상의 화소의 위치 및 계조 값에 기초하여 객체 영역을 검출할 수 있다. 일부 구현예에서, 객체가 존재하지 않는 상태의 배경 영상이 존재하는 경우, 프로세서(122)는 촬영된 깊이 영상 및/또는 적외선 영상과 미리 저장된 배경 깊이 영상 및/또는 적외선 영상 사이의 차영상을 생성하고, 차영상으로부터 이진화 영상을 생성한 후, 이진화 영상을 레이블링하여 레이블링 영상을 생성할 수 있다. 그리고, 프로세서(122)는 레이블링 영상을 블록화하여 배경, 배경과 객체의 경계 그리고 객체 내부 영역으로 구분할 수 있다. 다만, 이에 제한되는 것은 아니고, 객체를 검출할 수 있는 다양한 기법이 적용될 수 있다.

객체 영역 내의 얼굴 영역을 검출하여 제1 깊이 영상을 생성하는 단계(S120).

도 3은 얼굴 영역 검출 방법에 대한 흐름도이고, 도 4는 깊이 영상에서 얼굴 영역을 검출하는 예시도이다.

도 3 및 도 4를 더 참조하면, 프로세서(122)는 촬영된 깊이 영상 내에서 얼굴 영역을 검출할 수 있다. 일부 구현예에서, 프로세서(122)는 검출된 객체 영역 내에서 얼굴 영역을 검출할 수도 있다.

일부 구현예에서, 프로세서(122)는 얼굴에서 가장 특징점이 될 수 있는 코끝을 기준으로 사람의 얼굴 영역을 검출할 수 있다. 이는 사람의 얼굴에서 코끝이 가장 돌출된 부위이므로 현재 깊이 영상에서 깊이 값이 가장 작은 화소, 즉 영상 검출 장치(200)와 제일 가까이 있는 부분을 탐색할 수 있다. 상세하게, 프로세서(122)는 현재 깊이 영상에서 깊이 값이 가장 작은 화소의 위치인 최소 깊이 값 화소 위치를 검출할 수 있다(S121). 일부 실시예에서, 프로세서(122)는 객체 내부 영역에 대응하는 블록에 대응하는 현재 깊이 영상의 영역 내의 화소들 중 최소 깊이 값 화소 위치를 검출할 수도 있다. 그리고, 프로세서(122)는 최소 깊이 값 화소 위치를 중심으로 미리 설정된 w*(WxH) 크기의 영역인 얼굴 영역을 설정할 수 있다(S122). 여기서의, W, H는 각각 56의 고정된 크기가 될 수 있으나 이에 한정하는 것은 아니다. 또한, w는 깊이 값에 따라 영역이 커지고 작아지는 가중치로써 수학식 1을 통해 계산될 수 있다.

[수학식 1]

수학식 1에서 dnose는 최소 깊이 값 화소의 깊이 값이며, α 및 β는 영상 검출 장치(200)에 따른 상수로 실험적으로 결정될 수 있다. 예시적으로 α 및 β는 2.83, 456이 될 수 있으나 이에 제한되는 것은 아니다.

아울러, 프로세서(122)는 전술한 얼굴 영역을 정규화하여 얼굴의 크기 정보를 유지시킬 수 있다.

일부 실시예에서, 프로세서(122)는 최소 깊이 값 화소 위치를 검출하고, 최소 깊이 값 화소 위치를 중심으로 인접 영역의 복수의 화소 값의 깊이 값을 검출할 수 있다. 그리고, 프로세서(122)는 검출된 깊이 값에 기초하여 최소 깊이 값 화소를 중심으로 인접 화소들의 깊이 값의 제1 분포 정보를 분석할 수 있다. 그리고, 프로세서(122)는 제1 분포 정보를 미리 저장된 얼굴의 영역별 깊이 값 분포 정보들인 제2 분포 정보들과 서로 비교할 수 있다. 그리고, 프로세서(122)는 제2 분포 정보들 중 제1 분포 정보와 기 설정치 이상의 유사도 또는 가장 높은 수치의 유사도를 보이는 제3 분포 정보를 추출할 수 있다. 제3 분포 정보가 코 영역의 분포 정보에 해당하는 경우 프로세서(122)는 최소 깊이 값 화소가 코 끝에 해당한다고 판단할 수 있다. 이와 달리, 제3 분포 정보가 코 영역의 깊이 값 분포 정보 매칭되는지를 판단하여 그렇지 않은 경우 프로세서(122)는 최소 깊이 값 화소 위치로부터 소정의 거리로 특정 방향으로 이격된 영역 내에서의 추가 최소 깊이 값 화소를 재 검출할 수 있다. 여기서의 소정의 거리 및 특정 방향은 제3 분포 정보에 따라 달라질 수 있다. 즉, 제3 분포 정보가 얼굴 영역 중 어느 영역에서의 깊이 값의 분포 정보인지에 따라 상기 소정의 거리 및 특정 방향이 결정될 수 있다. 예시적으로, 신원 식별 대상자가 모자를 착용한 경우, 최소 깊이 값 화소는 모자 끝에 대응하는 화소가 될 수 있다. 그리고, 프로세서(122)는 제1 분포 정보와 가장 유사한 제3 분포 정보로부터 최소 깊이 값 화소가 모자 끝에 대응하는 화소라고 판단할 수 있다. 그리고, 프로세서(122)는 최소 깊이 값 화소를 중심으로 하측 방향으로 소정의 거리로 이격된 영역 내에서 다시 최소 깊이 값 화소를 검출할 수 있다. 여기서의 하측 방향으로 소정의 거리로 이격된 영역 내에는 신원 식별 대상자의 코 영역이 포함될 것이므로 해당 영역 내에서 최소 깊이 값 화소를 다시 검출하면, 코 끝에 대응하는 화소를 검출할 수 있다. 따라서, 신원 식별 대상자가 두부에 모자를 착용하였거나, 기타 악세서리를 착용함으로써 최소 깊이 값의 화소가 코 끝이 되지 않는 상황에서도 코 끝에 대응하는 화소를 검출할 수 있다.

프로세서(122)는 현재 깊이 영상에서 설정된 얼굴 영역에 대응하는 영역을 추출할 수 있다. 그리고, 해당 얼굴 영역과 매칭되는 영역을 현재 적외선 영상으로부터 추출함으로써 얼굴 영역 깊이 영상과 얼굴 영역 적외선 영상을 모두 생성할 수 있다(S123). 또한, 프로세서(122)는 영상 검출 장치(200)로부터 계속해서 수신되는 깊이 영상 및 적외선 영상에서 미리 설정된 얼굴 영역에 대응하는 영역을 추출함으로써 얼굴 영역 깊이 영상과 얼굴 영역 적외선 영상을 생성할 수 있다.

얼굴 영역에 대응하는 제1 적외선 영상을 생성하는 단계(S130).

프로세서(122)는 전술한 바와 같이 얼굴 영역을 검출하면, 촬영된 적외선 영상에서 얼굴 영역과 대응하는 위치의 영역을 크롭(Crop)함으로써 제1 적외선 영상을 생성할 수 있다.

제1 깊이 영상의 제1 대상 화소와 제1 인접 화소 간의 깊이 값의 비교 결과에 기초하여 제1 깊이 영상을 부호화하는 단계(S140).

제1 적외선 영상에서 제2 대상 화소와 제2 인접 화소 간의 계조값의 비교 결과에 기초하여 제1 적외선 영상을 부호화하는 단계(S150).

제1 깊이 영상과 제1 적외선 영상 각각을 부호화하는 단계를 구체적으로 설명한다.

영상 내 어느 대상 화소의 위치를 중심으로 반지름이 R인 원 영역을 정의하면 원 영역 내에는 대상 화소와 인접한 샘플링 포인트 P개의 인접 화소가 존재할 수 있다. 여기서의 반지름 R은 픽셀 거리로 정의될 수 있다. 예시적으로, R이 1이면, 대상 화소와 인접한 인접 화소는 8개가 될 수 있고, R이 2이면 대상 화소와 인접한 인접 화소는 16개가 될 수 있다.

예시적으로, R=1일 때 프로세서(122)는 8개의 인접 화소 중 어느 하나의 화소에서부터 한 방향으로 나머지 인접 화소를 탐색하면서 대상 화소와 비교할 수 있다. 여기서의 한 방향은 시계 방향 또는 반시계 방향이 될 수 있다.

프로세서(122)는 수학식 2 및 3에 따라 인접 화소를 탐색하면서 대상 화소와 인접 화소를 서로 비교하고 그 비교 결과에 따라 대상 화소를 부호화하는 연산 과정을 수행할 수 있다.

[수학식 2]

[수학식 3]

수학식 2에서 EC는 대상 화소의 부호화된 값이고, P는 반지름이 R인 원 영역내에 있는 대상 화소와 인접한 인접 화소의 개수이며, pi는 반지름이 R인 원 영역내에 있는 인접 화소들 각각의 깊이 또는 계조 값이며, pc는 대상 화소의 깊이 또는 계조 값이다.

상세하게는, 도 5를 참조하면, 제1 깊이 영상의 부호화에 있어서, 프로세서(122)는 대상 화소의 깊이 값과 비교 대상인 인접 화소의 깊이 값을 서로 비교(S141)할 수 있다. 인접 화소의 깊이 값이 대상 화소의 깊이 값보다 크거나 같은 경우 인접 화소에 1을 할당하고(S142), 인접 화소의 깊이 값이 대상 화소의 깊이 값보다 작은 경우 인접 화소에 0을 할당할 수 있다(S143). 이와 같은 방식으로, 프로세서(122)는 인접 화소에 1 또는 0을 할당한 후, 모든 인접 화소에 할당된 값을 수집하여 하나의 이진값을 생성할 수 있다(S144). 그리고, 프로세서(122)는 하나의 이진값을 십진수값으로 변환하고, 대상 화소의 깊이 값을 십진수값으로 부호화할 수 있다(S145).

전술한 바와 같이, 프로세서(122)는 제1 깊이 영상 내의 모든 화소의 깊이 값을 부호화함으로써 제1 깊이 영상을 부호화할 수 있다(S147).

또한, 도 6을 참조하면, 제1 적외선 영상의 부호화에 있어서, 프로세서(122)는 대상 화소의 계조 값과 비교 대상인 인접 화소의 계조 값을 서로 비교(S151)할 수 있다. 인접 화소의 계조 값이 대상 화소의 계조 값보다 크거나 같은 경우 인접 화소에 1을 할당하고(S152), 인접 화소의 계조 값이 대상 화소의 계조 값보다 작은 경우 인접 화소에 0을 할당할 수 있다(S153). 이와 같은 방식으로, 프로세서(122)는 인접 화소에 1 또는 0을 할당한 후, 모든 인접 화소에 할당된 값을 수집하여 하나의 이진값을 생성할 수 있다(S154). 그리고, 프로세서(122)는 하나의 이진값을 십진수값으로 변환하고, 대상 화소의 깊이 값을 십진수값으로 부호화(S155)할 수 있다.

전술한 바와 같이, 프로세서(122)는 제1 적외선 영상 내의 모든 화소의 깊이 값을 부호화함으로써 제1 적외선 영상을 부호화할 수 있다(S157).

한편, P 및 R 값을 다르게 설정하여 영상을 부호화할 수 있으며 이 경우 화소의 위치가 정수(예를 들어, (155,245))가 아닌 소수점(예를 들어, (115.4, 244.8))으로 나타날 수 있다. 이러한 소수점의 위치에 있는 픽셀의 값을 유추하기 위하여 양선형 보간법(Bilinear interpolation) 등의 보간법을 적용할 수도 있다.

또한, 프로세서(122)는 수학식 2 및 3에 따라 대상 화소들의 깊이 값이나 계조 값을 십진수 값으로 변환하고 후술하는 일부 특성을 제거하여 부호화를 진행할 수 있다.

상세하게, 프로세서(122)는 제1 및 제2 히스토그램을 생성전 부호화된 값에서 분별력이 없거나 미미한 특성을 제거하여 부호화 과정을 진행할 수 있다. 상세하게, P가 8인 경우 부호화된 영상에 대한 256개의 특성을 얻을 수 있고, P가 16인 경우 부호화된 영상에 대한 65536개의 특성을 얻을 수 있다. 하지만, 특성의 개수가 많을수록 계산의 복잡도가 증가하는 점, 특성들 중 일부는 분별력이 없거나 미미한 특성을 가지는 점을 고려하여 부호화된 영상에 대한 특성의 개수를 줄일 수 있다.

예시적으로, 하나의 이진수에서 각 수들을 순서대로 탐색할 때, 0에서 1로의 변화 또는 1에서 0으로의 변화가 2번 이내인 패턴은 유니폼(uniform) 패턴이라고 정의하고 각각 하나의 라벨을 부여해주고, 변화가 3번 이상인 패턴은 논 유니폼(non uniform) 패턴이라고 정의할 수 있다. 그리고, 한 그룹으로 묶은 다음에 그룹 전체에 단 한 개의 라벨을 부여한다. 예를 들어, 01110000(2번의 변화), 00000001(1번의 변화), 11111111(0번의 변화)와 같은 패턴은 유니폼 패턴이므로 하나씩 모두 개별성을 인정해주는 반면, 00011101(3번의 변화), 11100101(4번의 변화), 10101000(5번의 변화)와 같은 것들은 모두 모아 하나로 취급할 수 있다. 이를 통해, 영상의 화소들의 부호화 값에서 분별력이 없거나 미미한 특성을 가지는 값을 제거할 수 있다. 아울러, P가 8일 때 256개의 bin(십진수로 0부터 255까지)에서, 59개의 bin(58개의 유니폼 패턴을 위한 bin과 1개의 논 유니폼 패턴을 위한 bin)만을 이용할 수 있게 된다.

한편, 얼굴의 코 끝 영역은 얼굴의 다른 영역에 비해 깊이 값이 최소가 될 수 있다. 따라서, 서로 다른 사람의 얼굴이라고 하여도 코 끝의 화소가 대상화소가 되면 대상화소의 깊이 값은 인접 화소의 깊이 값보다 낮은 값을 가진다. 따라서, 인접 화소에 할당되는 값은 모두 동일하게 되므로 최종적으로 서로 다른 얼굴의 코 끝에 대응하는 화소인 대상 블록들의 깊이 값은 서로 동일한 값으로 부호화될 수 있다. 즉, 서로 다른 사람의 얼굴을 분별하는데 한계가 나타난다.

또한, 깊이 영상의 특성 상 깊이 영상 내에 잡음이 많이 포함될 가능성이 높다. 따라서, 대상 화소의 깊이 값과 인접 화소의 깊이 값을 서로 비교하는 과정을 통해 깊이 영상을 부호화한다면 화소의 특징이 잘못 검출될 위험성이 크다.

이러한 한계점을 고려하여, 프로세서(122)는 대상 화소와 이웃 화소 간의 크기 비교뿐만 아니라 이들의 차이의 크기 정보, 즉 대상 화소와 인접 화소 사이의 차이의 크기 또한 부호화할 수 있다. 이는 얼굴면과 같이 3차원 객체에서 서로 다른 깊이 차이가 서로 다른면을 구별할 수 있게 한다.

상세하게, 프로세서(122)는 대상 화소와 인접 화소의 크기 비교에 기초하여 인접 화소에 1 또는 0을 할당한 레벨 1 할당 정보를 생성할 수 있다. 예시적으로, 프로세서(122)는 대상 화소의 깊이 값이나 계조 값이 인접 화소의 그것보다 크면 인접 화소에 0을 할당하고 그렇지 않으면 1을 할당할 수 있다. 그리고, 수학식 2에 따라 레벨 1 할당 정보를 십진수값(EC)로 변환하여 대상 화소를 1차 부호화할 수 있다.

또한, 프로세서(122)는 대상 화소와 인접 화소의 차이의 크기 정보에 기초하여 레벨 2 내지 4 할당 정보를 생성할 수 있다.

상세하게, 실험에 따르면, R이 2일 때 화소들 사이의 깊이 차이의 93% 이상이 7보다 작게 나타난다. 따라서, 세가지 화소들과 그 이웃 사이의 각 깊이 차이의 크기인 절대값 DD를 부호화하기 위한 이진 단위 i2, i3, i4를 정의할 수 있다. 일부 실시예에서, 절대값 DD가 7보다 크면 절대값 DD는 7로 할당될 수 있다.

절대값 DD와 이진 단위는 수학식 4를 충족한다.

[수학식 4]

또한, i1은 대상 화소와 인접 화소의 크기 비교에 기초하여 할당된 1 또는 0의 값으로 정의하고, 이는 수학식 5를 충족한다. 즉, 대상 화소의 깊이 값이나 계조 값과 인접 화소의 깊이 값이나 계조 값의 차이인 DD 값에 따라 i1에 1 또는 0의 값이 할당된다.

[수학식 5]

따라서, 프로세서(122)는 수학식 5에 따라 대상 화소와 인접 화소의 차이의 크기를 나타내는 절대값 DD를 충족하는 레벨 2 내지 4 할당 정보를 생성할 수 있다.

이하, 레벨 1 내지 레벨 4 할당 정보를 생성하는 방법을 예를 들어 구체적으로 설명한다.

사람 얼굴을 촬영한 영상에서 임의의 블록 내의 화소들에 대한 계조 값이 아래 맵(Map)과 같다고 가정한다.

프로세서(122)는 대상 화소의 계조 값(255)과 대상화소와 인접한 8개의 화소의 계조 값들(254, 253, 252, 250 251, 254, 250, 249) 각각의 차이 값을 생성한다. 이러한 차이 값은 아래 맵과 같다.

그리고, 차이 값인 DD를 일렬로 나열하면 다음과 같다.

프로세서(122)는, 대상화소와 인접 화소 사이의 계조 값의 차이인 DD를 수학식 5에 적용하면 아래와 같이 i1 값을 1 또는 0으로 할당할 수 있다. 즉, 프로세서(122)는 레벨 1 할당 정보를 생성할 수 있다.

<레벨 1 할당 정보>

또한, 프로세서(122)는 수학식 4에 따라, 차이 값 DD=-6일 때, |DD|=6을 충족하도록 i2 내지 i4 에 1 또는 0을 할당할 수 있다.

수학식 4에 따르면, i2=1, i3=1, i4=0 일 때 |DD|=6을 충족한다.

따라서, 레벨 2 내지 4 할당 정보를 설명하기 위한 아래의 맵에서 가장 우측의 값이 순서대로 1, 1, 0이 된다.

또한, 수학식 4에 따라, 차이 값 DD=-5일 때, |DD|=5을 충족하도록 i2 내지 i4 에 1 또는 0을 할당할 수 있다.

따라서, 아래의 맵에서 가장 우측에서 두 번째 빈 칸의 값이 순서대로 1, 0, 1이 된다.

이와 같은 방식으로, 프로세서(122)는 대상 화소의 깊이 값 또는 계조 값과 인접 화소의 깊이 값 또는 계조 값과의 차이의 절대값을 충족하는 이진 변수 값을 결정하고 이진 변수들의 집합으로부터 레벨 2 내지 4 할당 정보를 생성할 수 있다.

<레벨 2 할당 정보>

i2에 1 또는 0 할당

<레벨 3 할당 정보>

i3에 1 또는 0 할당

<레벨 4 할당 정보>

i4에 1 또는 0 할당

또한, 프로세서(122)는 레벨 1 내지 4 할당 정보를 하나의 이진수로 변환하고, 이진수로부터 십진수의 값을 생성할 수 있다.

위 맵들을 예로들면, 레벨 1 할당 정보는 하나의 이진수가 00000000이므로 십진수의 값은 0이다.

레벨 2 할당 정보는 하나의 이진수가 00011011이므로 십진수의 값이 27이 된다.

레벨 3 할당 정보는 하나의 이진수가 01100001이므로 십진수의 값이 97이 된다.

마지막으로, 레벨 4 할당 정보는 하나의 이진수가 10110110이므로 십진수의 값이 182가 된다.

따라서, 아래의 맵에서 표시된 바와 같이 대상화소에 대해 4개의 부호화 값을 얻을 수 있고 그에 따라 하나의 영상에 대해서 제1 내지 제4 레벨 부호화 영상을 얻을 수 있다. 여기서의 제1 레벨 부호화 영상은 레벨 1 할당 정보에 기초하여 생성된 것이고, 제2 레벨 부호화 영상은 레벨 2 할당 정보에 기초하여 생성된 것이고, 제3 레벨 부호화 영상은 레벨 3 할당 정보에 기초하여 생성된 것이며, 제4 레벨 부호화 영상은 레벨 4 할당 정보에 기초하여 생성된 것이다.

부호화된 제1 깊이 영상의 제1 히스토그램 및 부호화된 제1 적외선 영상의 제2 히스토그램을 생성하는 단계(S160).

프로세서(122)는 제1 깊이 영상의 모든 화소를 부호화하고, 제1 적외선 영상의 모든 화소를 부호화할 수 있다. 그리고, 프로세서(122)는 부호화된 제1 깊이 영상에 대한 제1 히스토그램 및 부호화된 제1 적외선 영상에 대한 제2 히스토그램을 생성할 수 있다.

예시적으로, P=8인 경우 히스토그램의 bin(히스토그램의 한 구간)은 총 256개가 된다. 즉, 부호화된 영상에 대한 256개의 특성을 얻을 수 있다.

일부 실시예에서, 59개의 bin(58개의 유니폼 패턴을 위한 bin과 1개의 논 유니폼 패턴을 위한 bin)을 가진 히스토그램을 생성할 수 있다. 즉, 부호화된 영상에 대한 59개의 특성을 얻을 수 있다.

일부 실시예에서, 프로세서(122)는 레벨 1 내지 레벨 4 할당 정보에 기초하여 하나의 블록에 대해서 4개의 부호화된 블록을 생성할 수 있고, 이들 각각에 대한 히스토그램을 얻을 수도 있다.

복수의 인물들 각각의 제2 적외선 영상의 히스토그램과 제2 히스토그램을 비교하여 복수의 인물들 중 적어도 하나를 선정하는 단계(S170).

메모리(121)에는 복수의 인물들 각각의 제2 적외선 영상의 히스토그램이 미리 저장될 수 있다. 일부 실시예에서, 복수의 인물들 각각의 제2 적외선 영상의 히스토그램은 전술한 256개의 특성 또는 59개의 특성을 가진 히스토그램이 될 수 있다. 일부 실시예에서, 복수의 인물들 각각의 제2 적외선 영상의 히스토그램은 하나의 적외선 영상들을 레벨 1 내지 4 할당 정보에 따라 부호화한 4개의 부호화된 적외선 영상으로부터의 히스토그램이 될 수도 있다.

프로세서(122)는 촬영된 적외선 영상의 히스토그램인 제2 히스토그램과 미리 저장된 복수의 인물들 각각의 제2 적외선 영상의 히스토그램을 서로 비교할 수 있다.

한편, 일부 실시예에서, 프로세서(122)는 제1 내지 제4 레벨의 부호화 영상 중 어느 하나의 영상에 대해서만 히스토그램을 생성할 수도 있다. 상세하게, 도 7을 참조한다.

도 7은 R의 변화에 따른 서로 다른 레벨의 영상을 나타낸 것이다.

도 7의 영상들은 P=8로 유지하고, 서로 다른 반경 값(R=1, 2, 6)에 따른 여러 레벨의 영상이다.

깊이 영상의 경우 R=2일 때 제1 및 제2 레벨의 부호화 영상이 얼굴 특징을 가장 잘 표현할 수 있다.

또한, 적외선 영상에서는 R=2, R=6에서 제1 레벨의 부호화 영상이 얼굴의 특징을 가장 잘 표현할 수 있다. 따라서, 프로세서(122)는 P=8, R=2일 때의 제1 및 제2 레벨의 부호화 깊이 영상 중 적어도 하나의 부호화 깊이 영상에 대한 히스토그램을 미리 저장된 히스토그램과 비교할 수 있다. 또한, 프로세서(122)는 P=8, R=2 또는 R=6일 때의 제1 레벨의 부호화 적외선 영상 중 적어도 하나의 부호화 적외선 영상에 대한 히스토그램을 미리 저장된 히스토그램과 비교할 수 있다. 이처럼, 실시예는 가장 특징적인 레벨의 부호화 영상을 이용함으로써 특징 차원의 개수를 줄일 수 있고, 그에 따라 연산의 복잡도를 낮출 수 있다.

선정된 적어도 하나의 인물의 깊이 영상의 히스토그램과 제1 히스토그램을 비교하여 인물의 신원을 인식하는 단계(S180).

메모리(121)에는 복수의 인물들 각각의 제2 깊이 영상의 히스토그램이 미리 저장될 수 있다. 일부 실시예에서, 복수의 인물들 각각의 제2 깊이 영상의 히스토그램은 전술한 256개의 특성 또는 59개의 특성을 가진 히스토그램이 될 수 있다. 일부 실시예에서, 복수의 인물들 각각의 제2 깊이 영상의 히스토그램은 하나의 깊이 영상들을 레벨 1 내지 4 할당 정보에 따라 부호화한 4개의 부호화된 깊이 영상으로부터의 히스토그램이 될 수도 있다.

프로세서(122)는 촬영된 깊이 영상의 히스토그램인 제1 히스토그램과 미리 저장된 복수의 인물들 각각의 제2 깊이 영상의 히스토그램을 서로 비교할 수 있다.

일부 실시예에서, 프로세서(122)는 복수의 인물들에 대한 정보를 S170 단계에서 1차 필터링하고, 필터링된 인물들에 대한 깊이 영상의 히스토그램과 제1 히스토그램을 서로 비교하여 최종적으로 촬영된 인물의 신원을 확인할 수도 있다. 즉, 촬영된 적외선 영상을 통해 미리 저장된 얼굴 특징과 비교하여 정확도가 가장 높은 인물을 판별하고, 촬영된 깊이 영상을 이용하여 실제 동일 인물인지를 판별할 수 있다.

한편, 프로세서(122)는 수학식 6을 충족하는 연산에 따라 촬영 영상의 히스토그램과 미리 저장된 히스토그램의 유사도를 측정할 수 있다.

[수학식 6]

보다 상세하게는, 프로세서(122)는 비교 대상의 히스토그램의 각 bin의 값을 수학식 6에 따라 계산하여 두 히스토그램의 유사도를 측정할 수 있다.

수학식 6에서 S는 미리 저장된 히스토그램을 의미할 수 있고, M은 촬영된 영상과 관련된 히스토그램이 될 수 있다. 그리고, n은 히스토그램의 bin의 개수를 의미하고, i는 히스토그램 내의 bin들의 순서를 의미한다.

또한, 프로세서(122)는 적외선 영상과 관련된 히스토그램을 비교하여 촬영된 객체와의 유사도가 높은 후보들을 선정할 수 있다. 그리고, 프로세서(122)는 깊이 영상과 관련된 히스토그램을 비교하여 선정된 후보들 중 촬영된 객체와 매칭되는 후보가 있는지 판별할 수 있다. 이 때, 프로세서(122)는 유사도가 미리 설정된 임계치 이상이면 촬영된 객체의 신원을 파악하게 되고, 그렇지 않은 경우 신원 확인 실패를 표시하고 신원 확인 과정을 종료할 수 있다. 일부 실시예에서, 프로세서(122)는 선정된 후보들 중 촬영된 객체와 매칭되는 후보가 없는 경우, 미선정된 후보들 중 촬영된 객체와 매칭되는 후보가 있는지를 추가로 판별할 수도 있다.

본 발명에 따른 실시예는 휴대장치 잠금제어, 보안시스템, 출입통제, 근퇴 관리 분야 등에 활용 가능하다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (9)

1. 깊이 영상 내의 얼굴 영역을 검출하여 제1 깊이 영상을 생성하는 단계;
   상기 얼굴 영역에 대응하는 제1 적외선 영상을 생성하는 단계;
   상기 제1 깊이 영상의 제1 대상 화소와 제1 인접 화소 간의 깊이 값의 비교 결과에 기초하여 상기 제1 깊이 영상을 부호화하는 단계;
   상기 제1 적외선 영상에서 제2 대상 화소와 제2 인접 화소 간의 계조값의 비교 결과에 기초하여 상기 제1 적외선 영상을 부호화하는 단계;
   부호화된 제1 깊이 영상의 제1 히스토그램 및 부호화된 제1 적외선 영상의 제2 히스토그램을 생성하는 단계;
   복수의 인물들 각각의 제2 적외선 영상의 히스토그램과 상기 제2 히스토그램을 비교하여 상기 복수의 인물들 중 적어도 하나를 선정하는 단계; 및
   상기 선정된 적어도 하나의 인물의 제2 깊이 영상의 히스토그램과 상기 제1 히스토그램을 비교하여 상기 인물의 신원을 인식하는 단계;를 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
2. 제1 항에 있어서,
   상기 제1 깊이 영상을 부호화하는 단계는,
   상기 제1 대상 화소의 깊이 값과 상기 제1 인접 화소 간의 깊이 값의 크기를 비교하여 상기 제1 인접 화소에 0 또는 1을 할당하는 단계;
   상기 제1 인접 화소에 할당된 값을 하나의 제1 이진수로 나타낸 레벨 1 할당 정보를 생성하는 단계,
   상기 레벨 1 할당 정보에 기초하여 상기 제1 이진수를 제1 십진수값으로 변환하는 단계; 및
   상기 제1 대상 화소의 깊이 값을 상기 제1 십진수값으로 부호화하여 제1 레벨 부호화 영상을 생성하는 단계;를 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
3. 제2 항에 있어서,
   상기 제1 깊이 영상을 부호화하는 단계는,
   상기 제1 대상 화소의 깊이 값과 상기 제1 인접 화소 간의 깊이 값의 크기의 차이 정보에 기초하여 상기 제1 인접 화소에 할당된 값을 하나의 제2 이진수로 나타낸 레벨 2 내지 4 할당 정보를 생성하는 단계;
   상기 레벨 2 내지 4 할당 정보 각각에 기초하여 상기 제2 이진수를 제2 십진수값으로 변환하는 단계; 및
   상기 제1 대상 화소의 깊이 값을 상기 제2 십진수값으로 부호화하여 제2 내지 제4 레벨 부호화 영상을 생성하는 단계;를 더 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
4. 제1 항에 있어서,
   상기 제1 적외선 영상을 부호화하는 단계는,
   상기 제2 대상 화소의 계조 값과 상기 제2 인접 화소 간의 계조 값의 크기를 비교하여 상기 제2 인접 화소에 0 또는 1을 할당하는 단계;
   상기 제2 인접 화소에 할당된 값을 하나의 제1 이진수로 나타낸 레벨 1 할당 정보를 생성하는 단계,
   상기 레벨 1 할당 정보에 기초하여 상기 제1 이진수를 제1 십진수값으로 변환하는 단계; 및
   상기 제2 대상 화소의 계조 값을 상기 제1 십진수값으로 부호화하여 제1 레벨 부호화 영상을 생성하는 단계;를 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
5. 제4 항에 있어서,
   상기 제1 적외선 영상을 부호화하는 단계는,
   상기 제2 대상 화소의 계조 값과 상기 제2 인접 화소 간의 계조 값의 크기의 차이 정보에 기초하여 상기 제2 인접 화소에 할당된 값을 하나의 제2 이진수로 나타낸 레벨 2 내지 4 할당 정보를 생성하는 단계;
   상기 레벨 2 내지 4 할당 정보 각각에 기초하여 상기 제2 이진수를 제2 십진수값으로 변환하는 단계; 및
   상기 제2 대상 화소의 계조 값을 상기 제2 십진수값으로 부호화하여 제2 내지 제4 레벨 부호화 영상을 생성하는 단계;를 더 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
6. 제3 항에 있어서,
   상기 제1 내지 제4 레벨 부호화 영상 중 어느 하나의 부호화 영상의 히스토그램과 미리 저장된 복수의 인물들의 깊이 영상에 대한 히스토그램의 유사도를 측정하는 단계; 및
   상기 유사도에 기초하여 상기 복수의 인물들 중 적어도 하나의 인물을 선정하는 단계;를 더 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
7. 제5 항에 있어서,
   상기 제1 내지 제4 레벨 부호화 영상 중 어느 하나의 부호화 영상의 히스토그램과 미리 저장된 복수의 인물들의 적외선 영상에 대한 히스토그램의 유사도를 측정하는 단계; 및
   상기 유사도에 기초하여 상기 복수의 인물들 중 적어도 하나의 인물을 선정하는 단계;를 더 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
8. 제3 항에 있어서,
   상기 레벨 2 내지 4 할당 정보를 생성하는 단계는,
   상기 제1 대상 화소의 깊이 값과 상기 제1 인접 화소 간의 깊이 값의 크기의 차이의 절대값 계산하는 단계;
   상기 차이의 절대값을 충족하는 이진 변수들을 생성하는 단계;
   상기 이진 변수들의 집합으로부터 상기 레벨 2 내지 4 할당 정보를 생성하는 단계;를 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
9. 명령들을 저장하는 적어도 하나의 메모리; 및
   적어도 하나의 프로세서;를 포함하고,
   상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고,
   상기 동작들은:
   깊이 영상 내의 얼굴 영역을 검출하여 제1 깊이 영상을 생성하고,
   상기 얼굴 영역에 대응하는 제1 적외선 영상을 생성하고,
   상기 제1 깊이 영상의 제1 대상 화소와 제1 인접 화소 간의 깊이 값의 비교 결과에 기초하여 상기 제1 깊이 영상을 부호화하고,
   상기 제1 적외선 영상에서 제2 대상 화소와 제2 인접 화소 간의 계조값의 비교 결과에 기초하여 상기 제1 적외선 영상을 부호화하고,
   부호화된 제1 깊이 영상의 제1 히스토그램 및 부호화된 제1 적외선 영상의 제2 히스토그램을 생성하고,
   복수의 인물들 각각의 제2 적외선 영상의 히스토그램과 상기 제2 히스토그램을 비교하여 상기 복수의 인물들 중 적어도 하나를 선정하며,
   상기 선정된 적어도 하나의 인물의 제2 깊이 영상의 히스토그램과 상기 제1 히스토그램을 비교하여 상기 인물의 신원을 인식하는 것을 포함하는
   얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법.
   

Images