KR20190079503A - 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법 - Google Patents

Abstract

얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치는 사용자 얼굴이 포함된 영상에서 상기 사용자 얼굴을 검출하는 얼굴 검출부; 상기 사용자 얼굴의 회전 정도에 기반하여 상기 사용자 얼굴의 얼굴 자세를 인식하는 자세 인식부; 상기 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력하는 등록 인터페이스부 및 상기 인터페이스에 기반하여 상기 사용자의 얼굴의 얼굴 자세가 미등록된 얼굴 자세로 인식된 경우, 상기 사용자 얼굴의 얼굴 자세를 등록하는 얼굴 등록부를 포함한다.

Description

얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법 {APPARATUS AND METHOD FOR REGISTERING FACE POSTURE FOR FACE RECOGNITION}

본 발명은 얼굴 자세를 기반으로 얼굴을 등록하고 인식하는 장치 및 그 방법에 관한 것이다. 상세히, 본 발명은 휴대폰이나 PC등에 장착된 카메라를 이용하여 다양한 자세의 얼굴 영상을 자동으로 등록하고, 이를 기반으로 얼굴을 인식하는 시스템 및 방법 관한 것이다.

종래 카메라를 이용한 얼굴 자세(포즈)에 강인한 얼굴 인식 방식은 주로 정면이나 특정 측면 얼굴 몇 장을 임의로 선택해서 등록하여, 인식 대상 얼굴이 입력되면 복수로 입력된 얼굴 영상 모두와 비교하여 가장 높은 유사도를 가진 얼굴로 인식하거나, 얼굴 등록시 다양한 포즈의 연속적인 측면 얼굴로부터 3D 얼굴을 생성한 후, 입력된 얼굴의 포즈에 맞춰 3D 얼굴로부터 가장 유사한 등록 얼굴의 포즈를 만든 후 인식하는 방식을 취한다.

첫 번째 방법은 복수의 측면 얼굴을 등록하여 인식하는 방식은 등록시 사용자가 사전에 미리 정해진 포즈를 강제로 취해야 하며, 보통 5~10장내외의 정해진 포즈 변화만을 등록하기 때문에 정해진 포즈 이외에는 얼굴 인식 성능이 좋아지지 않는 단점이 있다.

두 번째 방법은 다양한 포즈 변화에 강인한 장점은 있으나, 정밀한 3D 센서를 이용해서 완벽한 3D 얼굴 모델을 생성하지 않는다면 인식을 위해 생성된 등록 얼굴이 실제 얼굴과는 다른 형태를 가지는 단점이 있었다. 또한, 3D 얼굴 모델이 정확히 생성되더라도, 생성된 얼굴로부터 다시 3D 얼굴을 생성하고 이 얼굴로부터 새로 특징을 추출 하는 단점이 있으므로, 등록 영상이 많아질수록 인식 시간이 오래 걸리는 단점이 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라할 수는 없다.

국내 등록특허공보 제10-1089287호

본 발명의 목적은 얼굴 자세를 기반으로 복수의 얼굴 정보를 등록하고 이를 이용하여 얼굴을 인식하는 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법을 제공하는 것이다.

또한, 본 발명의 목적은 사용자가 포함된 입력 영상에서 자동으로 얼굴 자세가 상이한 복수의 얼굴 정보를 등록하는 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법을 제공하는 것이다.

또한, 본 발명의 목적은 등록된 얼굴 정보 중에서 입력 영상에 포함된 사용자의 얼굴 자세와 유사한 얼굴 자세를 갖는 정보를 이용하여 얼굴의 등록 여부를 판단하는 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법을 제공하는 것이다.

상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치는 사용자 얼굴이 포함된 영상에서 상기 사용자 얼굴을 검출하는 얼굴 검출부; 상기 사용자 얼굴의 회전 정도에 기반하여 상기 사용자 얼굴의 얼굴 자세를 인식하는 자세 인식부; 상기 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력하는 등록 인터페이스부 및 상기 인터페이스에 기반하여 상기 사용자의 얼굴의 얼굴 자세가 미등록된 얼굴 자세로 인식된 경우, 상기 사용자 얼굴의 얼굴 자세를 등록하는 얼굴 등록부를 포함한다.

이때, 상기 등록 인터페이스부는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 얼굴 자세 지점들을 상기 인터페이스를 통해 출력할 수 있다.

이때, 상기 등록 인터페이스부는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 기설정된 좌표 간격으로 좌표 평면 상에 상기 얼굴 자세 지점들을 설정할 수 있다.

이때, 상기 등록 인터페이스부는 상기 좌표 평면 상의 상기 얼굴 자세 지점들에 얼굴 자세 등록 여부를 표시하여 상기 인터페이스를 통해 출력할 수 있다.

이때, 상기 등록 인터페이스부는 상기 인터페이스를 통해 상기 얼굴 자세 지점들 중 등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제1 표시 상태로 출력하고, 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제2 표시 상태로 출력할 수 있다.

이때, 상기 등록 인터페이스부는 상기 사용자 얼굴에서 인식된 시선 방향 정보에 기반하여 상기 사용자의 시선 방향에 상응하는 얼굴 자세 지시선을 상기 인터페이스를 통해 출력할 수 있다.

이때, 상기 등록 인터페이스부는 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 경우, 상기 미등록된 얼굴 자세 지점의 표시 상태를 변경할 수 있다.

이때, 상기 얼굴 등록부는 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 상태가 기설정된 시간동안 지속된 경우, 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록할 수 있다.

이때, 상기 얼굴 등록부는 상기 미등록된 얼굴 자세 지점에 등록되는 상기 사용자 얼굴의 얼굴 자세를 상기 등록된 얼굴 자세 지점의 사용자의 얼굴 자세와 유사도를 비교하여 얼굴 자세의 회전 정도의 차이값이 기설정된 값 이상인 경우에만 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록할 수 있다.

이때, 상기 등록 인터페이스부는 상기 미등록된 얼굴 자세 지점에 사용자 얼굴의 얼굴 자세가 등록된 경우, 상기 제2 표시 상태를 상기 제1 표시 상태로 변경할 수 있다.

또한, 상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 방법은 얼굴 인식을 위한 얼굴 자세 등록 장치의 얼굴 인식을 위한 얼굴 자세 등록 방법에 있어서, 사용자 얼굴이 포함된 영상에서 상기 사용자 얼굴을 검출하는 단계; 상기 사용자 얼굴의 회전 정도에 기반하여 상기 사용자 얼굴의 얼굴 자세를 인식하는 단계; 상기 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력하는 단계 및 상기 인터페이스에 기반하여 상기 사용자의 얼굴의 얼굴 자세가 미등록된 얼굴 자세로 인식된 경우, 상기 사용자 얼굴의 얼굴 자세를 등록하는 단계를 포함한다.

이때, 상기 인터페이스를 출력하는 단계는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 얼굴 자세 지점들을 상기 인터페이스를 통해 출력할 수 있다.

이때, 상기 인터페이스를 출력하는 단계는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 기설정된 좌표 간격으로 좌표 평면 상에 상기 얼굴 자세 지점들을 설정할 수 있다.

이때, 상기 인터페이스를 출력하는 단계는 상기 좌표 평면 상의 상기 얼굴 자세 지점들에 얼굴 자세 등록 여부를 표시하여 상기 인터페이스를 통해 출력할 수 있다.

이때, 상기 인터페이스를 출력하는 단계는 상기 인터페이스를 통해 상기 얼굴 자세 지점들 중 등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제1 표시 상태로 출력하고, 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제2 표시 상태로 출력할 수 있다.

이때, 상기 인터페이스를 출력하는 단계는 상기 사용자 얼굴에서 인식된 시선 방향 정보에 기반하여 상기 사용자의 시선 방향에 상응하는 얼굴 자세 지시선을 상기 인터페이스를 통해 출력할 수 있다.

이때, 상기 인터페이스를 출력하는 단계는 상기 좌표 평면 상에 상기 얼굴 자세 지시선이 향하는 목표 지점을 제3 표시 상태로 상기 인터페이스를 통해 출력할 수 있다.

이때, 상기 등록 인터페이스부는 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 근접한 경우, 상기 미등록된 얼굴 자세 지점의 표시 상태를 변경할 수 있다.

이때, 상기 얼굴 자세를 등록하는 단계는 기설정된 시간 동안 상기 목표 지점이 상기 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 상태가 지속된 경우, 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록할 수 있다.

이때, 상기 얼굴 자세를 등록하는 단계는 상기 미등록된 얼굴 자세 지점에 사용자 얼굴의 얼굴 자세가 등록된 경우, 상기 제2 표시 상태를 상기 제1 표시 상태로 변경할 수 있다.

본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치 및 그 방법에 의해, 얼굴 자세를 기반으로 복수의 얼굴 정보를 등록하고 이를 이용하여 얼굴을 인식함으로써, 자세 변화에 강인한 얼굴 인식 기능을 제공할 수 있다.

또한, 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치 및 그 방법에 의해, 사용자가 포함된 입력 영상에서 자동으로 얼굴 자세가 상이한 복수의 얼굴 정보를 등록함으로써, 사용자는 보다 간이하게 연속적으로 얼굴 인식을 위한 복수의 얼굴 정보를 등록할 수 있다.

또한, 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치 및 그 방법에 의해, 등록된 얼굴 정보 중에서 입력 영상에 포함된 사용자의 얼굴 자세와 유사한 얼굴 자세를 갖는 정보를 이용하여 얼굴의 등록 여부를 판단함으로써, 복수의 얼굴 정보를 저장함에도 불구하고 연산량을 효과적으로 감소시켜 효율적이고 다양한 얼굴 자세에도 정확도 높은 얼굴 인식 기능을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 시스템의 구성을 나타낸 도면이다.
도 2는 얼굴 자세에 상응하는 정보의 일 예를 나타낸 도면이다.
도 3는 도 1에 도시된 얼굴 인식을 위한 얼굴 자세 등록 장치의 일 예를 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 방법을 나타낸 동작 흐름도이다.
도 10은 도 9에 도시된 얼굴 등록 절차를 수행하는 단계의 일 예를 나타낸 동작 흐름도이다.
도 11은 도 9에 도시된 얼굴 등록 절차를 수행하는 단계의 일 예를 나타낸 동작 흐름도이다.
도 12는 도 9에 도시된 얼굴 인식 절차를 수행하는 단계의 일 예를 나타낸 동작 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성되어 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는한 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 얼굴 자세 기반의 얼굴 인식 시스템(100)의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 얼굴 자세 기반의 얼굴 인식 시스템(100)에서 얼굴 인식을 위한 얼굴 자세 등록 장치(110)는 영상 촬영 장치(120)와 상호 연결된다.

본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치(110)는 영상 촬영 장치(120)로부터 사용자의 얼굴이 포함된 영상을 입력받고, 영상에서 얼굴을 검출하고, 추출한 얼굴의 자세를 인식하고, 인식한 얼굴 자세를 고려하여 자동으로 얼굴 정보를 등록하거나 이미 등록된 얼굴 정보를 이용하여 얼굴을 인식하는 것을 특징으로 한다.

여기서, 등록되는 얼굴 정보는 검출한 얼굴의 색상 정보, 픽셀 정보, 특징점 정보 등이 포함될 수 있다. 그리고, 얼굴의 인식은 입력받은 영상에 포함된 얼굴이 이미 등록된 얼굴과의 일치 여부를 판단하는 것을 의미할 수 있다. 즉, 얼굴 인식은 얼굴 인증과 동일한 의미를 가질 수 있다.

영상 촬영 장치(120)는 사용자의 얼굴이 포함된 영상을 촬영할 수 있는 장치를 의미한다.

예컨대, 영상 촬영 장치(120)는 카메라, 캠코더 등을 포함할 수 있다.

이때, 영상 촬영 장치(120)는 깊이 정보를 측정할 수 없는 장치일 수도 있고, 깊이 정보를 측정할 수 있는 장치일 수도 있다.

선택적 실시예에서, 영상 촬영 장치(120)는 얼굴 인식을 위한 얼굴 자세 등록 장치(110)에 포함되어 구성될 수 있다.

도 2는 얼굴 자세에 상응하는 정보의 일 예를 나타낸 도면이다.

도 2를 참조하면, 얼굴 자세(포즈)는 3개의 축의 움직임으로 표현할 수 있으며, 이는 상하 회전(Pitch, 210), 좌우 회전(Yaw, 220) 및 좌우 기울임(Roll, 230)으로 구성될 수 있다.

영상 촬영 장치(도 1의 120 참조)를 기준으로 보았을 때, 얼굴의 좌우 기울임(230)은 변화가 발생하더라도 추출되는 얼굴의 영역은 차이가 거의 없으며, 추출한 얼굴 영역을 회전하여 보정하여 좌우 기울임(230)을 상쇄시킬 수 있다. 반면에, 얼굴의 상하 회전(210)과 좌우 회전(220)은 변화가 발생하는 경우 추출되는 얼굴의 영역에 큰 차이가 발생하므로, 얼굴 자세에서 중요한 요소이다.

따라서, 본 발명의 일 실시예에 따른 얼굴 자세 기반 얼굴 인식 장치(110)는 사용자의 얼굴의 상하 회전(210)과 좌우 회전(220)의 정도를 판단하여 얼굴 자세를 인식할 수 있다. 예컨대, 사용자의 얼굴이 포함된 영상에서 얼굴을 검출하고, 검출된 얼굴을 분석하여 사용자의 얼굴이 위로 10도, 오른쪽으로 5도 회전하였음을 인식할 수 있고, 얼굴 자세 정보로서 (10도, 5도)를 저장할 수 있다.

도 3는 도 1에 도시된 얼굴 인식을 위한 얼굴 자세 등록 장치(110)의 일 예를 나타낸 블록도이다.

도 3를 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치(110)는 제어부(310), 통신부(320), 메모리(330), 얼굴 검출부(340), 자세 인식부(350), 얼굴 등록부(360), 얼굴 정보 저장부(370), 얼굴 인식부(380) 및 등록 인터페이스부(390) 등을 포함한다.

상세히, 제어부(310)는 일종의 중앙처리장치로서 얼굴 자세 기반으로 얼굴 인식하는 전체 과정을 제어한다. 즉, 제어부(310)는 얼굴 검출부(340), 자세 인식부(350), 얼굴 등록부(360), 얼굴 정보 저장부(370), 얼굴 인식부(380) 및 등록 인터페이스부(390) 등을 제어하여 다양한 기능을 제공할 수 있다.

여기서, 제어부(310)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신부(320)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)와 영상 촬영 장치(도 1의 120 참조) 간의 송수신 신호를 전송하는데 필요한 통신 인터페이스를 제공한다.

여기서, 통신부(320)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

이때, 통신부(320)는 영상 촬영 장치(도 1의 120 참조)로부터 사용자의 얼굴이 포함된 영상을 수신할 수 있다.

메모리(330)는 제어부(310)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(330)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

얼굴 검출부(340)는 사용자의 얼굴이 포함된 영상으로부터 사용자의 얼굴을 검출한다.

이때, 얼굴 검출부(340)는 영상에서 사용자의 얼굴 영역과 배경을 구분하여 얼굴을 검출할 수 있다.

이때, 얼굴 검출부(340)는 사용자의 얼굴 영역에서 특징점 정보 혹은 랜드마크 정보를 획득할 수 있다. 예컨대, 사용자의 얼굴에서 68개의 랜드마크 정보를 획득할 수 있다.

이때, 얼굴 검출부(340)는 얼굴의 좌우 기울임 정도를 두 눈의 위치를 기반으로 인식할 수 있으며, 회전 보정을 통하여 좌우 기울임이 없도록 사용자의 얼굴을 보정할 수 있다.

자세 인식부(350)는 검출된 얼굴의 자세를 인식하여 자세 정보를 획득한다.

이때, 자세 인식부(350)는 검출된 얼굴의 상하 회전의 정도 및 좌우 회전의 정도를 인식하여 자세 정보를 획득할 수 있다. 예컨대, 상하 회전의 경우에는 위 방향을 +, 아래 방향을 - 로 설정하여 각도의 단위로 상하 회전의 정도를 표현할 수 있고, 좌우 회전의 경우에는 우 방향을 +, 좌 방향을 - 로 설정하여 각도의 단위로 좌우 회전의 정도를 표현할 수 있으며, 순서쌍으로 (상하 회전의 정도, 좌우 회전의 정도)로 표현할 수 있다.

이때, 자세 인식부(350)는 검출된 얼굴의 시선 방향 정보를 고려하여 얼굴 자세를 인식할 수 있다.

얼굴 등록부(360)는 동작 모드가 얼굴 등록 모드일 때, 사용자의 얼굴 정보를 등록한다.

이때, 얼굴 등록부(360)는 미리 설정된 개수만큼의 얼굴 정보를 등록할 수 있고, 각 얼굴 정보는 얼굴 자세가 상이하다.

이때, 얼굴 등록부(360)는 얼굴 자세를 고려하여 얼굴 정보를 등록하고, 얼굴 정보에는 얼굴 자세 정보가 포함될 수 있다.

이때, 얼굴 등록부(360)는 입력된 영상으로부터 자동으로 연속적으로 복수의 얼굴 정보를 등록할 수 있다. 즉, 사용자의 얼굴 자세가 다양하게 변하는 영상에서 사용자의 얼굴 자세를 인식하고, 얼굴 자세를 고려하여 자동으로 복수의 얼굴 정보를 등록할 수 있다. 특히, 등록할 얼굴 정보의 개수는 얼굴 인식 성능의 중요도와 현재 인식 속도, 등록 속도 등의 변수에 따라 가변적으로 설정할 수 있다.

이때, 얼굴 등록부(360)는 얼굴 등록 절차가 수행되는 시간을 기설정된 제한시간으로 한정할 수 있다. 만약, 주어진 제한시간 내에 등록할 얼굴 정보의 개수만큼 얼굴 정보가 등록되지 않은 경우, 해당 얼굴 등록 절차를 종료하고 새로운 얼굴 등록 절차를 수행할 것을 요구할 수 있다. 예컨대, 제한시간을 30초로 설정할 수 있다.

이때, 얼굴 등록부(360)는 자동으로 얼굴 정보를 등록하는 방법으로, 영상에서 현재 사용자의 얼굴 자세와 현재 등록 절차에서 이미 등록된 얼굴 정보의 얼굴 자세를 비교하여, 얼굴 자세의 차이가 기설정된 기준치를 초과하는 경우에 현재의 얼굴 정보를 새로운 얼굴 정보로 등록할 수 있다. 이는, 하기 수도코드 1과 같이 나타낼 수 있다. 예컨대, 상하 회전의 정도가 n도 초과하여 차이나거나 좌우 회전의 정도가 n도 초과하여 차이나는 경우에 새로운 얼굴 정보로 등록할 수 있으며, 차이의 기준값인 n도는 입력되는 영상의 해상도나 프로세서의 프로세싱 성능에 따라서 다양한 값으로 설정할 수 있다.

[수도코드 1]

R_count = 현재 등록된 얼굴 정보의 개수

For(i = 0; i < R_count; i++ ){

Distance_Pitch = abs(Pitch(input) - Pitch(i));

Distance_Yaw = abs(Yaw(input) - Yaw(i));

If (Distance_Pitch > Th_angle or Distance_Yaw > Th_angle) {

Register_New_Face();

R_count++;

}

}

상기 수도코드 1에 따른 알고리즘은 얼굴 영상이 입력되면, 현재 등록된 얼굴 정보의 얼굴 자세와 현재의 얼굴 자세를 비교해서, 상하 회전(Pitch)의 정도나 좌우 회전(Yaw)의 정도가 설정된 임계값/기준값을 초과하여 차이 나는 경우 새로운 얼굴 자세로 판단하여 얼굴 정보를 등록한다. 만일, 위 조건을 만족하지 않으면 계속해서 해당 얼굴 정보를 등록하지 않는다.

이때, 얼굴 등록부(360)는 자동으로 얼굴 정보를 등록하는 방법으로, 미리 설정된 등록 대상이 되는 얼굴 자세들 중에서 미등록된 얼굴 자세들과 영상에서 현재 사용자의 얼굴 자세를 비교하고, 얼굴 자세의 차이가 기설정된 기준값 미만인 경우에 현재의 얼굴 정보를 가장 유사도가 높은 등록 대상 얼굴 자세에 상응하는 얼굴 정보로 등록할 수 있다. 이 경우에는 미리 설정된 등록 대상 얼굴 자세들에 상응하는 얼굴 정보를 등록하는 것이므로, 얼굴 자세 차이에 따라 등록 여부를 판단할 때에 상하 회전의 정도와 좌우 회전의 정도가 모두 기준값 이내인 경우에 얼굴 정보를 등록할 수 있다.

예컨대, 미등록된 등록 대상 얼굴 자세들이 (0도, 0도), (0도, 5도), (0도, -5도), (5도, 0도), (-5도, 0도), (5도, 5도), (-5도, 5도), (5도, -5도) 및 (-5도, -5도)로 9개이고, 얼굴 자세 차이의 기준값이 1도이며, 현재 영상에서의 얼굴 자세가 (4.1도, 0.9도)인 경우에는, 미등록된 등록 대상 얼굴 자세들 중에서 (5도, 0도)가 현재 영상에서의 얼굴 자세 (4.1도, 0.9도)와 가장 유사하며, 상하 회전의 정도와 좌우 회전의 정도의 차이가 모두 1도 이내이므로 현재 영상에서의 얼굴 정보를 얼굴 자세 (5도, 0도)에 상응하는 얼굴 정보로 등록할 수 있다.

얼굴 데이터 저장부(370)는 얼굴 등록부(360)에서 등록한 얼굴 데이터 혹은 얼굴 정보를 저장한다.

이때, 얼굴 데이터 저장부(370)에 저장된 얼굴 정보는 각 사용자별로 구분되어 저장될 수 있다.

이때, 얼굴 데이터 저장부(370)는 얼굴 영상을 저장할 수 있지만, 얼굴 영상을 대신하여 얼굴 영상에서 검출한 랜드마크 정보와 자세 정보만을 저장할 수도 있다.

얼굴 인식부(380)는 동작 모드가 얼굴 인식 모드일 때, 입력된 영상의 사용자의 얼굴을 인식하여 등록된 얼굴 정보와 비교하여 등록된 사용자인지 여부를 판단한다.

이때, 얼굴 인식부(380)는 입력된 영상의 사용자 얼굴에 대한 얼굴 자세 정보를 이용하여 비교 대상 얼굴 정보를 선택하고, 선택한 얼굴 정보에 대하여 얼굴의 유사도 판단을 수행하여 등록된 사용자인지 여부를 판단할 수 있다.

이때, 얼굴 인식부(380)는 얼굴에 상응하는 랜드마크 정보를 이용하여 얼굴의 유사도 판단을 수행할 수 있다.

이때, 얼굴 인식부(380)는 입력된 영상의 사용자 얼굴에 대한 얼굴 자세와의 차이가 기설정된 기준값 또는 임계값 이내인 등록된 얼굴 대상 정보를 비교 대상 얼굴 정보를 선택할 수 있다. 예컨대, 등록된 9개의 얼굴 정보의 얼굴 자세들이 (0도, 0도), (0도, 5도), (0도, -5도), (5도, 0도), (-5도, 0도), (5도, 5도), (-5도, 5도), (5도, -5도) 및 (-5도, -5도)이고, 얼굴 인식을 위한 기준값이 3도이며, 현재 입력된 사용자의 얼굴 자세가 (2.5도, -2.5도)인 경우, 상하 회전의 정도의 차이와 좌우 회전의 정도의 차이가 각각 3도 미만인 (0도, 0도), (5도, 0도), (0도, -5도), (5도, -5도)의 얼굴 자세에 상응하는 얼굴 정보를 비교 대상 얼굴 정보로 선택할 수 있다.

이때, 얼굴 인식부(380)는 하나 이상의 비교 대상 얼굴 정보 각각에 대하여 입력된 사용자 얼굴 정보의 유사도 판단을 수행하고, 각각의 유사도 결과를 이용하여 등록된 사용자 여부인지를 판단할 수 있다. 예컨대, 각각의 유사도 결과에 대한 최대값, 평균값, 중간값, 가중평균값 등을 이용하여 등록된 사용자 여부인지 판단할 수 있다. 예컨대, 비교 대상 얼굴 정보가 4개이며, 각각에 대하여 얼굴 유사도가 97%, 85%, 80% 및 75%로 판단된 경우, 최대값인 97%를 기준으로 등록 여부를 판단할 수 있다. 만약, 등록 사용자인지 여부를 판단하기 위한 기준값이 95%인 경우에는, 유사도의 최대값이 97%이므로 등록 사용자로 판단할 수 있다.

등록 인터페이스부(390)는 동작 모드가 얼굴 등록 모드일 때, 사용자에게 얼굴 등록의 진행도를 나타내기 위한 인터페이스를 생성하고 제공한다.

이때, 등록 인터페이스부(390)는 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력할 수 있다.

이때, 등록 인터페이스부(390)는 현재 등록 과정에서 등록된 사용자의 얼굴 정보에 상응하는 얼굴 자세들을 나타낼 수 있다. 예컨대, 표나 좌표평면의 형식을 이용하여 이미 등록된 (상하 회전, 좌우 회전)의 좌표 정보를 나타낼 수 있다.

이때, 등록 인터페이스부(390)는 등록 대상 얼굴 자세들이 존재하는 경우, 등록 대상 얼굴 자세들을 나타낼 수 있고, 미등록 얼굴 자세와 등록 얼굴 자세를 구분하여 나타낼 수 있다. 마찬가지로, 표나 좌표평면의 형식을 이용하여 미등록된 (상하 회전, 좌우 회전)의 좌표 정보와 등록된 (상하 회전, 좌우 회전)의 좌표 정보를 나타낼 수 있다.

이때, 등록 인터페이스부(390)는 입력 영상 또는 입력 영상에서 검출한 사용자 얼굴을 등록된 자세 정보를 함께 표시할 수 있다. 추가적으로, 입력 영상의 사용자의 얼굴 자세를 좌표 정보로 표시할 수 있다. 예컨대, 좌표평면의 형식으로 얼굴 자세 정보를 표시하는 경우, 현재 사용자의 얼굴 자세도 좌표평면에 함께 표시하고, 해당 얼굴 자세에 상응하는 얼굴 정보가 등록된 경우에는 이를 등록된 얼굴 자세로 표시할 수 있다.

이때, 등록 인터페이스부(390)는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 얼굴 자세 지점들을 상기 인터페이스를 통해 출력할 수 있다.

이때, 등록 인터페이스부(390)는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 기설정된 좌표 간격으로 좌표 평면 상에 상기 얼굴 자세 지점들을 설정할 수 있다.

이때, 등록 인터페이스부(390)는 상기 좌표 평면 상의 상기 얼굴 자세 지점들에 얼굴 자세 등록 여부를 표시하여 상기 인터페이스를 통해 출력할 수 있다.

이때, 등록 인터페이스부(390)는 상기 인터페이스를 통해 상기 얼굴 자세 지점들 중 등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제1 표시 상태로 출력하고, 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제2 표시 상태로 출력할 수 있다.

이때, 표시 상태는 좌표 평면 상의 지점에 표시되는 점이나 마커의 색상, 형태 또는 이펙트에 상응할 수 있고, 제1 표시 상태와 제2 표시 상태는 사용자가 충분히 구별할 수 있는 상이한 색상, 형태 또는 이펙트를 가질 수 있다.

이때, 등록 인터페이스부(390)는 상기 사용자 얼굴에서 인식된 시선 방향 정보에 기반하여 상기 사용자의 시선 방향에 상응하는 얼굴 자세 지시선을 상기 인터페이스를 통해 출력할 수 있다.

이때, 등록 인터페이스부(390)는 상기 좌표 평면 상에 상기 얼굴 자세 지시선이 향하는 목표 지점을 제3 표시 상태로 상기 인터페이스를 통해 출력할 수 있다.

이때, 제3 표시 상태는 제1 표시 상태 및 제2 표시 상태에 대해 사용자가 충분히 구별할 수 있는 상이한 색상, 형태 또는 이펙트를 가질 수 있다.

이때, 등록 인터페이스부(390)는 사용자가 인터페이스를 통해 시선 방향을 움직여서 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 경우, 상기 미등록된 얼굴 자세 지점의 표시 상태를 변경할 수 있다.

이때, 얼굴 등록부(360)는 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 상태가 기설정된 시간동안 지속된 경우, 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록할 수 있다.

이때, 얼굴 등록부(360)는 상기 미등록된 얼굴 자세 지점에 등록되는 상기 사용자 얼굴의 얼굴 자세를 상기 등록된 얼굴 자세 지점의 사용자의 얼굴 자세와 유사도를 비교하여 얼굴 자세의 회전 정도의 차이값이 기설정된 값 이상인 경우에만 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록할 수 있다.

이때, 등록 인터페이스부(390)는 상기 미등록된 얼굴 자세 지점에 사용자 얼굴의 얼굴 자세가 등록된 경우, 상기 제2 표시 상태를 상기 제1 표시 상태로 변경할 수 있다.

이에 따라, 사용자는 얼굴 인식을 위하여 얼굴을 등록할 때 자연스럽게 얼굴 자세를 변화하는 영상을 입력하는 것 만으로도 자동적으로 여러 얼굴 자세에 따른 얼굴 정보를 등록할 수 있다.

도 4는 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)는 얼굴 등록 모드일 때, 얼굴 등록 인터페이스(410)를 제공할 수 있다. 특히, 도 4에 도시된 등록 인터페이스는 입력된 얼굴 자세와 등록된 얼굴 자세와 차이가 기준치를 초과하는 경우에 새로운 얼굴 정보로 등록하는 알고리즘을 적용할 때의 예시를 나타내는 것일 수 있다.

이때, 얼굴 등록 인터페이스(410)는 현재 등록된 얼굴 정보의 개수와 등록할 얼굴 정보의 개수(420)를 함께 나타낼 수 있다.

도 4에 도시된 바와 같이, 얼굴 등록 인터페이스(410)는 화면 우측 상단에 '5/25'를 출력인 것을 알 수 있다. 이때, '5/25'는 얼굴 정보의 개수(420)를 나타낸 것이며, 25개의 얼굴 정보가 등록 가능한 것을 알 수 있고, 현재 5개의 얼굴 정보가 등록 된 것을 알 수 있다.

이때, 얼굴 등록 인터페이스(410)는 좌표평면의 형식으로 등록된 얼굴 정보에 상응하는 얼굴 자세들(450)을 나타낼 수 있다. 여기서, 가로축(430)은 얼굴 자세의 좌우 회전의 정도를 나타내고, 세로축(440)은 얼굴 자세의 상하 회전의 정도를 나타낸다.

즉, 얼굴 등록 인터페이스(410)는 사용자의 얼굴이 상하좌우 방향으로 회전한 정도에 상응하는 지점(좌표)에 기등록된 얼굴 자세들(450)을 점이나 마커로 표시할 수 있다.

이와 같이, 얼굴 등록 인터페이스를 그래픽 유저 인터페이스(GUI)로 제공함으로써, 사용자는 연속적인 영상 입력만으로도 자동으로 다양한 얼굴 자세에 상응하는 얼굴 정보를 등록할 수 있다.

도 5는 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)는 얼굴 등록 모드일 때, 얼굴 등록 인터페이스(510)를 제공할 수 있다. 특히, 도 5에 도시된 등록 인터페이스는 미리 등록 대상 얼굴 자세들이 설정하는 알고리즘을 적용할 때의 예시를 나타내는 것일 수 있다.

이때, 얼굴 등록 인터페이스(510)는 현재 등록된 얼굴 정보의 개수와 등록할 얼굴 정보의 개수(520)를 함께 나타낼 수 있다.

도 5에 도시된 바와 같이, 얼굴 등록 인터페이스(510)는 화면 우측 상단에 '5/25'를 출력인 것을 알 수 있다. 이때, '5/25'는 얼굴 정보의 개수(520)를 나타낸 것이며, 25개의 얼굴 정보가 등록 가능한 것을 알 수 있고, 현재 5개의 얼굴 정보가 등록 된 것을 알 수 있다.

이때, 얼굴 등록 인터페이스(510)는 좌표평면의 형식으로 미등록된 등록 대상 얼굴 자세들(550) 및 등록된 등록 대상 얼굴 자세들(560)을 나타낼 수 있다. 여기서, 가로축(530)은 얼굴 자세의 좌우 회전의 정도를 나타내고, 세로축(540)은 얼굴 자세의 상하 회전의 정도를 나타낸다.

특히, 얼굴 등록 인터페이스(510)는 등록된 등록 대상 얼굴 자세들(560)을 가시적으로 표시하고, 미등록된 등록 대상 얼굴 자세들(550)은 눈에 잘 띄지 않도록 일부 투명하게 표시하거나 아예 보이지 않도록 표시를 제거할 수 있다.

예를 들어, 얼굴 등록 인터페이스(510)는 등록된 등록 대상 얼굴 자세들(560)의 지점을 검은 점이나 마커로 표시할 수 있고, 미등록된 등록 대상 얼굴 자세들(550)의 지점을 흰색 점이나 테두리만 존재하는 투명한 원으로 표시할 수 있다. 즉, 얼굴 등록 인터페이스(510)는 등록된 등록 대상 얼굴 자세들(560)의 지점과 미등록된 등록 대상 얼굴 자세들(550)의 지점을 사용자가 구분할 수 있는 수준으로 상이한 형태 또는 색을 갖는 점 또는 마커로 표현할 수 있다.

예컨대, 특정 등록 대상 얼굴 자세가 미등록 상태인 경우에는 해당 자세에 상응하는 좌표에 점이나 마커를 가시적으로 표시하여 사용자에게 미등록된 등록 대상 얼굴 자세임을 나타내고, 해당 미등록된 등록 대상 얼굴 자세에 상응하는 얼굴 정보가 등록된 경우에는 상응하는 표시를 삭제하거나 표시를 변경하여 사용자에게 해당 등록 대상 얼굴 자세가 등록되었음을 나타낼 수 있다.

도 6은 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.

도 6에 도시된 얼굴 등록 인터페이스(610)는 도 5에 도시된 얼굴 등록 인터페이스(510)에서 입력 영상의 사용자 얼굴(630)을 추가적으로 나타낸다.

이때, 얼굴 등록 인터페이스(610)는 현재 등록된 얼굴 정보의 개수와 등록할 얼굴 정보의 개수(620)를 함께 나타낼 수 있다.

도 6에 도시된 바와 같이, 얼굴 등록 인터페이스(610)는 화면 우측 상단에 '5/25'를 출력인 것을 알 수 있다. 이때, '5/25'는 얼굴 정보의 개수(620)를 나타낸 것이며, 25개의 얼굴 정보가 등록 가능한 것을 알 수 있고, 현재 5개의 얼굴 정보가 등록 된 것을 알 수 있다.

이때, 얼굴 등록 인터페이스(610)는 입력 영상의 사용자 얼굴(630)에 상응하는 얼굴 자세를 좌표평면에 나타낼 수 있다. 예컨대, 현재 사용자의 얼굴 자세가 (1도, 1도)인 경우, 해당 좌표에 점이나 마커를 표시할 수 있다.

도 5에 도시된 등록된 등록 대상 얼굴 자세들(560)의 지점 및 미등록된 등록 대상 얼굴 자세들(550)의 지점은 도 6에서 사용자 얼굴(630)과 함께 나타낸 것을 알 수 있다.

예를 들어, 얼굴 등록 인터페이스(610)는 각 지점들의 좌표가 얼굴 자세들의 각도가 상하좌우 1도 차이로 등록되는 경우, 사용자의 얼굴을 기준으로 할 때, 중앙을 바라보는 얼굴 자세, 윗쪽 방향으로 1도 회전한 얼굴 자세, 윗쪽 방향으로 1도 회전하고 좌측 방향으로 1도 회전한 얼굴 자세, 우측 방향으로 1도 회전한 얼굴 자세, 우측 방향으로 2도 회전한 얼굴 자세가 등록된 것을 알 수 있다.

이와 같이, 얼굴 등록 인터페이스를 제공함에 따라, 사용자는 현재 자신이 등록해야하는 얼굴 자세들과 등록된 얼굴 자세들에 대한 정보를 손쉽게 확인할 수 있으며, 이에 따라 편리하게 얼굴 등록 절차를 수행할 수 있다.

도 7은 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.

도 7에 도시된 얼굴 등록 인터페이스(710)는 도 6에 도시된 얼굴 등록 인터페이스(610)에서 입력 영상의 사용자 얼굴(730)에 상응하는 얼굴 자세 지시선(740)을 추가적으로 나타낸다.

이때, 얼굴 등록 인터페이스(710)는 현재 등록된 얼굴 정보의 개수와 등록할 얼굴 정보의 개수(720)를 함께 나타낼 수 있다.

이때, 얼굴 등록 인터페이스(710)는 입력 영상의 사용자 얼굴(730)에 상응하는 얼굴 자세 지시선(740)을 안구를 중심으로 선분이나 화살표 등을 이용하여 나타낼 수 있다.

이와 같이, 현재 입력되고 있는 얼굴 자세에 상응하는 얼굴 자세 지시선을 시각적으로 나타낸 얼굴 등록 인터페이스를 제공함에 따라, 사용자는 현재 자신이 등록해야하는 얼굴 자세들과 등록된 얼굴 자세들에 대한 정보를 손쉽게 확인할 수 있으며, 현재 자신의 얼굴 자세를 파악하여 보다 용이하게 얼굴 등록 절차를 수행할 수 있다.

도 8은 본 발명의 일 실시예에 따른 얼굴 등록 인터페이스의 예시를 나타낸 도면이다.

도 8에 도시된 얼굴 등록 인터페이스(810)는 도 7에 도시된 얼굴 등록 인터페이스(710)에서 입력 영상의 사용자 얼굴 자세 지시선(840)에 상응하는 좌표평면 상의 마커(850)를 추가적으로 나타낸다.

이때, 얼굴 등록 인터페이스(810)는 현재 등록된 얼굴 정보의 개수와 등록할 얼굴 정보의 개수(820)를 함께 나타낼 수 있다.

이때, 얼굴 등록 인터페이스(810)는 입력 영상의 사용자 얼굴(830)에 상응하는 얼굴 자세 지시선(840)을 안구를 중심으로 선분이나 화살표 등을 이용하여 나타낼 수 있다.

이때, 얼굴 등록 인터페이스(810)는 사용자의 얼굴 자세 지시선(840)에 상응하는 마커(850)를 좌표평면에 나타낼 수 있다.

이때, 얼굴 등록 인터페이스(810)는 사용자의 얼굴 자세에 상응하는 사용자의 얼굴 자세 지시선(840)이 미등록된 등록 대상 얼굴 자세의 지점에 일치 하는 경우, 얼굴 인식을 위한 얼굴 자세 등록 장치는 미등록된 등록 대상 얼굴 자세의 지점에 현재 사용자의 얼굴 자세를 등록할 수 있다.

이와 같이, 현재 입력되고 있는 얼굴 자세에 상응하는 마커를 좌표평면에 시각적으로 나타낸 얼굴 등록 인터페이스를 제공함에 따라, 사용자는 현재 자신이 등록해야하는 얼굴 자세들과 등록된 얼굴 자세들에 대한 정보를 손쉽게 확인할 수 있으며, 현재 자신의 얼굴 자세를 파악하여 보다 용이하게 얼굴 등록 절차를 수행할 수 있다.

도 9는 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 방법을 나타낸 동작 흐름도이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식을 위한 얼굴 자세 등록 방법은 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 동작 모드를 판단한다(S901).

단계(S901)의 판단 결과 동작 모드가 등록 모드인 경우, 얼굴 등록 절차를 수행하여 사용자의 얼굴 정보를 등록한다(S903).

단계(S901)의 판단 결과 동작 모드가 인식 모드인 경우, 얼굴 인식 절차를 수행하여 사용자가 등록된 사용자인지 여부를 판단한다(S905).

도 10은 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)의 일 예를 나타낸 동작 흐름도이다.

도 10을 참조하면, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 입력된 영상에서 사용자의 얼굴을 검출한다(S1001).

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 검출된 얼굴에 대하여 얼굴 자세를 인식한다(S1003).

이때, 얼굴 자세는 얼굴의 좌우 회전의 정도와 상하 회전의 정도를 포함할 수 있다.

이때, 단계(S1003)는 동작 모드가 얼굴 등록 모드일 때, 사용자에게 얼굴 등록의 진행도를 나타내기 위한 인터페이스를 생성하고 제공한다.

이때, 단계(S1003)는 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력할 수 있다.

이때, 단계(S1003)는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 얼굴 자세 지점들을 상기 인터페이스를 통해 출력할 수 있다.

이때, 단계(S1003)는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 기설정된 좌표 간격으로 좌표 평면 상에 상기 얼굴 자세 지점들을 설정할 수 있다.

이때, 단계(S1003)는 상기 좌표 평면 상의 상기 얼굴 자세 지점들에 얼굴 자세 등록 여부를 표시하여 상기 인터페이스를 통해 출력할 수 있다.

이때, 단계(S1003)는 상기 인터페이스를 통해 상기 얼굴 자세 지점들 중 등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제1 표시 상태로 출력하고, 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제2 표시 상태로 출력할 수 있다.

이때, 표시 상태는 좌표 평면 상의 지점에 표시되는 점이나 마커의 색상, 형태 또는 이펙트에 상응할 수 있고, 제1 표시 상태와 제2 표시 상태는 사용자가 충분히 구별할 수 있는 상이한 색상, 형태 또는 이펙트를 가질 수 있다.

이때, 단계(S1003)는 상기 사용자 얼굴에서 인식된 시선 방향 정보에 기반하여 상기 사용자의 시선 방향에 상응하는 얼굴 자세 지시선을 상기 인터페이스를 통해 출력할 수 있다.

이때, 단계(S1003)는 상기 좌표 평면 상에 상기 얼굴 자세 지시선이 향하는 목표 지점을 제3 표시 상태로 상기 인터페이스를 통해 출력할 수 있다.

이때, 제3 표시 상태는 제1 표시 상태 및 제2 표시 상태에 대해 사용자가 충분히 구별할 수 있는 상이한 색상, 형태 또는 이펙트를 가질 수 있다.

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 입력된 얼굴의 얼굴 자세와 현재 얼굴 등록 절차에서 이미 등록된 얼굴 정보에 상응하는 얼굴 자세들 사이의 유사도를 측정한다(S1005). 예컨대, 현재 얼굴 등록 절차에서 이미 5개의 얼굴 정보가 등록된 경우, 5개의 얼굴 정보에 상응하는 얼굴 자세들과 현재 입력된 얼굴의 얼굴 자세의 유사도를 측정할 수 있다.

이때, 단계(S1005)는 사용자가 인터페이스를 통해 시선 방향을 움직여서 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 경우, 상기 미등록된 얼굴 자세 지점의 표시 상태를 변경할 수 있다.

이때, 단계(S1005)는 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 상태가 기설정된 시간동안 지속된 경우, 등록된 얼굴 자세와 유사도를 비교할 수 있다.

이때, 단계(S1007)는 상기 미등록된 얼굴 자세 지점에 등록되는 상기 사용자 얼굴의 얼굴 자세를 상기 등록된 얼굴 자세 지점의 사용자의 얼굴 자세와 유사도를 비교하여 얼굴 자세의 회전 정도의 차이값이 기설정된 값 이상인 경우에만(기준 유사도 미마인 경우), 단계(S1009)에서 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록할 수 있다.

이때, 단계(S1009)는 상기 미등록된 얼굴 자세 지점에 사용자 얼굴의 얼굴 자세가 등록된 경우, 상기 제2 표시 상태를 상기 제1 표시 상태로 변경할 수 있다.

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 단계(S1005)에서 측정한 유사도가 모두 기준 유사도 미만인지 판단한다(S1007). 여기서, 단계(S1005)에서 측정한 유사도는 현재 얼굴 등록 절차에서 등록된 얼굴 정보의 개수만큼 존재하며, 이들 모두가 기준 유사도 미만인지 판단할 수 있다. 즉, 등록된 얼굴 자세들과 일정 수준 이상 차이나는 얼굴 자세에 상응하는 얼굴 정보를 등록하기 위함이다.

단계(S1007)의 판단 결과 측정한 유사도가 모두 기준 유사도 미만이 아닌 경우, 단계(S1001)로 돌아가 얼굴 등록 절차를 다시 수행한다.

단계(S1007)의 판단 결과 측정한 유사도가 모두 기준 유사도 미만인 경우, 현재 입력 영상으로부터 획득한 얼굴 정보를 새로운 얼굴 정보로 등록한다(S1009).

이때, 얼굴 정보에는 얼굴 자세에 대한 정보가 포함될 수 있다.

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 현재 등록된 얼굴 정보의 숫자가 기준 개수에 도달하였는지 판단한다(S1011).

단계(S1011)의 판단 결과 기준 개수만큼 얼굴 정보가 등록되지 않은 경우, 단계(S1001)로 돌아가 얼굴 등록 절차를 다시 수행한다.

단계(S1011)의 판단 결과 기준 개수만큼 얼굴 정보가 등록된 경우, 얼굴 등록 절차를 종료한다.

이에 따라, 사용자의 얼굴이 포함된 영상으로부터 간이하게 자동으로 얼굴 자세가 일정 수준 이상 차이나도록 복수의 사용자 얼굴 정보를 등록할 수 있다.

도 11은 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)의 일 예를 나타낸 동작 흐름도이다.

도 11을 참조하면, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 입력된 영상에서 사용자의 얼굴을 검출한다(S1101).

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 검출된 얼굴에 대하여 얼굴 자세를 인식한다(S1103).

이때, 얼굴 자세는 얼굴의 좌우 회전의 정도와 상하 회전의 정도를 포함할 수 있다.

이때, 단계(S1103)는 동작 모드가 얼굴 등록 모드일 때, 사용자에게 얼굴 등록의 진행도를 나타내기 위한 인터페이스를 생성하고 제공한다.

이때, 단계(S1103)는 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력할 수 있다.

이때, 단계(S1103)는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 얼굴 자세 지점들을 상기 인터페이스를 통해 출력할 수 있다.

이때, 단계(S1103)는 상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 기설정된 좌표 간격으로 좌표 평면 상에 상기 얼굴 자세 지점들을 설정할 수 있다.

이때, 단계(S1103)는 상기 좌표 평면 상의 상기 얼굴 자세 지점들에 얼굴 자세 등록 여부를 표시하여 상기 인터페이스를 통해 출력할 수 있다.

이때, 단계(S1103)는 상기 인터페이스를 통해 상기 얼굴 자세 지점들 중 등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제1 표시 상태로 출력하고, 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제2 표시 상태로 출력할 수 있다.

이때, 표시 상태는 좌표 평면 상의 지점에 표시되는 점이나 마커의 색상, 형태 또는 이펙트에 상응할 수 있고, 제1 표시 상태와 제2 표시 상태는 사용자가 충분히 구별할 수 있는 상이한 색상, 형태 또는 이펙트를 가질 수 있다.

이때, 단계(S1103)는 상기 사용자 얼굴에서 인식된 시선 방향 정보에 기반하여 상기 사용자의 시선 방향에 상응하는 얼굴 자세 지시선을 상기 인터페이스를 통해 출력할 수 있다.

이때, 단계(S1103)는 상기 좌표 평면 상에 상기 얼굴 자세 지시선이 향하는 목표 지점을 제3 표시 상태로 상기 인터페이스를 통해 출력할 수 있다.

이때, 제3 표시 상태는 제1 표시 상태 및 제2 표시 상태에 대해 사용자가 충분히 구별할 수 있는 상이한 색상, 형태 또는 이펙트를 가질 수 있다.

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 기설정된 등록 대상 얼굴 자세들 중에서 현재 얼굴 등록 절차에서 미등록된 얼굴 자세들과 현재 영상에 포함된 사용자의 얼굴 자세 사이의 유사도를 측정한다(S1105). 예컨대, 기설정된 등록 대상 얼굴 자세들의 개수가 9개이고, 현재 4개의 얼굴 정보가 등록된 경우, 미등록된 5개의 등록 대상 얼굴 자세들과 현재 입력된 얼굴의 얼굴 자세의 유사도를 측정할 수 있다.

이때, 단계(S1105)는 사용자가 인터페이스를 통해 시선 방향을 움직여서 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 경우, 상기 미등록된 얼굴 자세 지점의 표시 상태를 변경할 수 있다.

이때, 단계(S1105)는 상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 상태가 기설정된 시간동안 지속된 경우, 등록된 얼굴 자세와 유사도를 비교할 수 있다.

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 단계(S1105)에서 측정한 유사도 중에서 적어도 하나가 기준 유사도를 초과하는지 판단한다(S1107). 여기서, 단계(S1105)에서 측정한 유사도는 현재 얼굴 등록 절차에서 미등록된 얼굴 정보의 개수만큼 존재하며, 각각에 대하여 기준 유사도를 초과하는지 판단할 수 있다. 즉, 미등록된 등록 대상 얼굴 자세와 일정 수준 이상 근접한 얼굴 자세에 상응하는 얼굴 정보를 등록하기 위함이다.

단계(S1107)의 판단 결과 측정한 유사도 중에서 적어도 하나가 기준 유사도를 초과하지 않는 경우, 단계(S1101)로 돌아가 얼굴 등록 절차를 다시 수행한다.

단계(S1107)의 판단 결과 측정한 유사도 중에서 적어도 하나가 기준 유사도를 초과하는 경우, 현재 입력 영상으로부터 획득한 얼굴 정보를 가장 유사도가 높은 기설정된 등록 대상 얼굴 자세에 상응하는 새로운 얼굴 정보로 등록한다(S1109).

이때, 단계(S1107)는 상기 미등록된 얼굴 자세 지점에 등록되는 상기 사용자 얼굴의 얼굴 자세를 상기 등록된 얼굴 자세 지점의 사용자의 얼굴 자세와 유사도를 비교하여 얼굴 자세의 회전 정도의 차이값이 기설정된 값 이상인 경우에만(기준 유사도 미마인 경우), 단계(S1109)에서 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록할 수 있다.

이때, 단계(S1009)는 상기 미등록된 얼굴 자세 지점에 사용자 얼굴의 얼굴 자세가 등록된 경우, 상기 제2 표시 상태를 상기 제1 표시 상태로 변경할 수 있다.

이때, 얼굴 정보에는 얼굴 자세에 대한 정보가 포함될 수 있다.

또한, 도 9에 도시된 얼굴 등록 절차를 수행하는 단계(S903)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 모든 기설정된 등록 대상 얼굴 자세들에 대하여 상응하는 얼굴 정보가 등록되었는지 판단한다(S1111).

단계(S1111)의 판단 결과 모든 기설정된 등록 대상 얼굴 자세들에 대하여 상응하는 얼굴 정보가 등록되지 않은 경우, 단계(S1001)로 돌아가 얼굴 등록 절차를 다시 수행한다.

단계(S1111)의 판단 결과 모든 기설정된 등록 대상 얼굴 자세들에 대하여 상응하는 얼굴 정보가 등록되지 않은 경우, 얼굴 등록 절차를 종료한다.

도 12는 도 9에 도시된 얼굴 인식 절차를 수행하는 단계(S905)의 일 예를 나타낸 동작 흐름도이다.

도 12를 참조하면, 도 9에 도시된 얼굴 인식 절차를 수행하는 단계(S905)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 입력된 영상에서 사용자의 얼굴을 검출한다(S1201).

또한, 도 9에 도시된 얼굴 인식 절차를 수행하는 단계(S905)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 검출된 얼굴에 대하여 얼굴 자세를 인식한다(S1203).

이때, 얼굴 자세는 얼굴의 좌우 회전의 정도와 상하 회전의 정도를 포함할 수 있다.

또한, 도 9에 도시된 얼굴 인식 절차를 수행하는 단계(S905)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 등록된 얼굴 정보와 얼굴 자세의 유사도를 측정한다(S1205).

또한, 도 9에 도시된 얼굴 인식 절차를 수행하는 단계(S905)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 등록된 얼굴 정보와 얼굴 자세의 유사도가 높은 순서대로 기설정된 수만큼의 등록된 얼굴 정보를 비교 대상 얼굴 정보로 선별한다(S1207).

이때, 단계(S1207)에서 기설정된 수만큼의 얼굴 정보를 선별하는 대신, 유사도가 기설정된 기준 유사도 이상인 모든 등록된 얼굴 정보를 선별할 수도 있다.

여기서, 얼굴 정보의 선별은 등록된 각 사용자별로 선별하는 것을 의미한다. 예컨대, 사용자 A와 B가 이미 등록된 경우에는, 사용자 A에 대하여 등록된 얼굴 정보 중에서 비교 대상 얼굴 정보를 선별하고, 사용자 B에 대하여도 등록된 얼굴 정보 중에서 비교 대상 얼굴 정보를 선별한다.

또한, 도 9에 도시된 얼굴 인식 절차를 수행하는 단계(S905)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 선별된 등록 얼굴 정보와 입력된 영상에서 검출된 사용자의 얼굴의 유사도를 측정한다(S1209).

또한, 도 9에 도시된 얼굴 인식 절차를 수행하는 단계(S905)는 얼굴 인식을 위한 얼굴 자세 등록 장치(도 1의 110 참조)가, 검출된 얼굴의 유사도가 기준치를 초과하는지 여부를 판단한다(S1211).

이때, 선별된 등록 얼굴 정보 각각에 대하여 검출된 얼굴의 유사도가 측정되는데, 이 유사도들의 최대값, 평균값, 중간값, 가중평균값, 또는 이들의 조합이 기준치를 초과하는지 여부를 판단할 수 있다.

단계(S1211)의 판단 결과 검출된 얼굴의 유사도가 기준치를 초과하는 경우, 검출된 사용자의 얼굴을 등록된 얼굴로 판단한다(S1213). 예컨대, 현재 검출된 얼굴의 자세에 비추어 3개의 등록 얼굴 정보가 선별되었고, 현재 검출된 얼굴이 각 등록 얼굴 정보와의 유사도가 98%, 85% 및 80%이며, 기준값이 95%인 경우, 유사도의 최대값이 98%로 기준값 95%를 초과하므로, 입력된 영상의 사용자를 등록된 사용자로 판단할 수 있다.

단계(S1211)의 판단 결과 검출된 얼굴의 유사도가 기준치를 초과하지 않는 경우, 검출된 사용자의 얼굴을 미등록된 얼굴로 판단한다(S1215).

이와 같이, 사용자가 어떤 가변적인 얼굴 포즈를 입력하더라도, 현재 등록된 얼굴 포즈 중 유사한 얼굴 자세를 찾아 유사도를 비교하므로 포즈 변화에 강인한 얼굴 인식 결과를 얻을 수 있다.

기존의 얼굴인식 방법은 임의의 정해진 얼굴 개수를 연속적으로 등록하거나, 다양한 얼굴 포즈를 보여주고 이를 기반으로 3차원 얼굴 모델을 생성한 후 등록하였다. 이 중에서, 임의의 정해진 얼굴 개수를 연속적으로 등록하는 방법은 다양한 얼굴 자세의 변화를 반영하지 못하고 비슷한 자세의 얼굴들이 연속적으로 등록되기 때문에 얼굴 자세 변화(포즈 변화)에 강인하지 못했다. 또한 여러 각도에서 얻어진 얼굴 영상으로부터 3차원 모델을 만드는 방법은 정밀한 3D 스캐너를 사용하지 않는 한 완벽한 3차원 모델을 생성하기 어려우며, 입력 영상과 동일한 얼굴 자세로 3차원 모델로 생성했을 때, 실제 자세와와 다른 영상이 생성되는 경우가 많아 얼굴 인식 성능의 하락이 있었다.

하지만, 본 발명은 종래의 기술이 갖던 문제를 해결하기 위해서 얼굴 등록시 사용자가 포함된 영상으로부터 자동으로 다양한 얼굴 자세에 상응하는 얼굴 정보를 복수 개(예컨대, 30장 이상) 등록하고, 미리 특징을 추출해 놓은 후 인식시에는 현재 입력된 얼굴의 자세와 유사한 자세를 가진 특징 정보를 대상으로 인식 유사도를 계산한다. 이를 통해, 종래의 사전에 정해진 포즈 정보를 가진 얼굴 등록 방식에 비해 다양한 포즈 정보를 자연스럽게 반영한 다수의 등록 영상 기반으로 인식할 수 있으며, 합성된 3차원 얼굴 모델에 비해서는 실 영상 대 실 영상 간의 매칭 정보를 계산함으로써 포즈 변화에 보다 강인한 얼굴 인식 결과를 얻을 수 있다. 또한 다양한 얼굴 포즈를 등록함에 따라 생기는 저장 공간의 증가는 한 얼굴당 정면얼굴 외에는 특징 벡터(예컨대, 256차원의 특징값)만을 저장하므로 문제가 없으며, 인식 시 다양한 포즈의 얼굴을 인식하는 처리 시간의 문제도 등록된 모든 포즈와 비교하는 것이 아니라 유사한 얼굴 자세에 상응하는 얼굴 정보만을 선택하여 인식하는 방법을 취함으로써, 처리 시간의 증가도 거의 없는 장점이 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 얼굴 자세 기반의 얼굴 인식 시스템
110: 얼굴 인식을 위한 얼굴 자세 등록 장치
120: 영상 촬영 장치
310: 제어부 320: 통신부
330: 메모리 340: 얼굴 검출부
350: 자세 인식부 360: 얼굴 등록부
370: 얼굴 데이터 저장부 380: 얼굴 인식부
390: 등록 인터페이스부

Claims (20)

1. 사용자 얼굴이 포함된 영상에서 상기 사용자 얼굴을 검출하는 얼굴 검출부;
   상기 사용자 얼굴의 회전 정도에 기반하여 상기 사용자 얼굴의 얼굴 자세를 인식하는 자세 인식부;
   상기 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력하는 등록 인터페이스부; 및
   상기 인터페이스에 기반하여 상기 사용자의 얼굴의 얼굴 자세가 미등록된 얼굴 자세로 인식된 경우, 상기 사용자 얼굴의 얼굴 자세를 등록하는 얼굴 등록부;
   를 포함하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
2. 청구항 1에 있어서,
   상기 등록 인터페이스부는
   상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 얼굴 자세 지점들을 상기 인터페이스를 통해 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
3. 청구항 2에 있어서,
   상기 등록 인터페이스부는
   상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 기설정된 좌표 간격으로 좌표 평면 상에 상기 얼굴 자세 지점들을 설정하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
4. 청구항 3에 있어서,
   상기 등록 인터페이스부는
   상기 좌표 평면 상의 상기 얼굴 자세 지점들에 얼굴 자세 등록 여부를 표시하여 상기 인터페이스를 통해 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
5. 청구항 4에 있어서,
   상기 등록 인터페이스부는
   상기 인터페이스를 통해 상기 얼굴 자세 지점들 중 등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제1 표시 상태로 출력하고, 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제2 표시 상태로 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
6. 청구항 5에 있어서,
   상기 등록 인터페이스부는
   상기 사용자 얼굴에서 인식된 시선 방향 정보에 기반하여 상기 사용자의 시선 방향에 상응하는 얼굴 자세 지시선을 상기 인터페이스를 통해 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
7. 청구항 6에 있어서,
   상기 등록 인터페이스부는
   상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 경우, 상기 미등록된 얼굴 자세 지점의 표시 상태를 변경하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
8. 청구항 7에 있어서,
   상기 얼굴 등록부는
   상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 상태가 기설정된 시간동안 지속된 경우, 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
9. 청구항 8에 있어서,
   상기 얼굴 등록부는
   상기 미등록된 얼굴 자세 지점에 등록되는 상기 사용자 얼굴의 얼굴 자세를 상기 등록된 얼굴 자세 지점의 사용자의 얼굴 자세와 유사도를 비교하여 얼굴 자세의 회전 정도의 차이값이 기설정된 값 이상인 경우에만 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
10. 청구항 9에 있어서,
    상기 등록 인터페이스부는
    상기 미등록된 얼굴 자세 지점에 사용자 얼굴의 얼굴 자세가 등록된 경우, 상기 제2 표시 상태를 상기 제1 표시 상태로 변경하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 장치.
11. 얼굴 인식을 위한 얼굴 자세 등록 장치의 얼굴 인식을 위한 얼굴 자세 등록 방법에 있어서,
    사용자 얼굴이 포함된 영상에서 상기 사용자 얼굴을 검출하는 단계;
    상기 사용자 얼굴의 회전 정도에 기반하여 상기 사용자 얼굴의 얼굴 자세를 인식하는 단계;
    상기 사용자 얼굴의 얼굴 자세들의 등록 여부를 나타내기 위한 인터페이스를 출력하는 단계; 및
    상기 인터페이스에 기반하여 상기 사용자의 얼굴의 얼굴 자세가 미등록된 얼굴 자세로 인식된 경우, 상기 사용자 얼굴의 얼굴 자세를 등록하는 단계;
    를 포함하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
12. 청구항 11에 있어서,
    상기 인터페이스를 출력하는 단계는
    상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 얼굴 자세 지점들을 상기 인터페이스를 통해 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
13. 청구항 12에 있어서,
    상기 인터페이스를 출력하는 단계는
    상기 사용자 얼굴의 얼굴 자세들의 기설정된 회전 정도에 상응하는 기설정된 좌표 간격으로 좌표 평면 상에 상기 얼굴 자세 지점들을 설정하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
14. 청구항 13에 있어서,
    상기 인터페이스를 출력하는 단계는
    상기 좌표 평면 상의 상기 얼굴 자세 지점들에 얼굴 자세 등록 여부를 표시하여 상기 인터페이스를 통해 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
15. 청구항 14에 있어서,
    상기 인터페이스를 출력하는 단계는
    상기 인터페이스를 통해 상기 얼굴 자세 지점들 중 등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제1 표시 상태로 출력하고, 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점의 얼굴 자세 등록 여부를 제2 표시 상태로 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
16. 청구항 15에 있어서,
    상기 인터페이스를 출력하는 단계는
    상기 사용자 얼굴에서 인식된 시선 방향 정보에 기반하여 상기 사용자의 시선 방향에 상응하는 얼굴 자세 지시선을 상기 인터페이스를 통해 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
17. 청구항 16에 있어서,
    상기 인터페이스를 출력하는 단계는
    상기 좌표 평면 상에 상기 얼굴 자세 지시선이 향하는 목표 지점을 제3 표시 상태로 상기 인터페이스를 통해 출력하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
18. 청구항 17에 있어서,
    상기 인터페이스를 출력하는 단계는
    상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 경우, 상기 미등록된 얼굴 자세 지점의 표시 상태를 변경하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
19. 청구항 18에 있어서,
    상기 얼굴 자세를 등록하는 단계는
    상기 목표 지점이 상기 얼굴 자세 지점들 중 미등록된 얼굴 자세 지점에 기설정된 거리 이내로 근접한 상태가 기설정된 시간동안 지속된 경우, 상기 미등록된 얼굴 자세 지점에 상기 사용자 얼굴의 얼굴 자세를 등록하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.
20. 청구항 19에 있어서,
    상기 얼굴 자세를 등록하는 단계는
    상기 미등록된 얼굴 자세 지점에 사용자 얼굴의 얼굴 자세가 등록된 경우, 상기 제2 표시 상태를 상기 제1 표시 상태로 변경하는 것을 특징으로 하는 얼굴 인식을 위한 얼굴 자세 등록 방법.

Images