KR20150007527A

KR20150007527A - 머리 움직임 확인 장치 및 방법

Info

Publication number: KR20150007527A
Application number: KR1020130081572A
Authority: KR
Inventors: 하진수
Original assignee: 하진수
Priority date: 2013-07-11
Filing date: 2013-07-11
Publication date: 2015-01-21

Abstract

본 발명은 얼굴 인식과 귀 인식을 통하여 머리의 움직임을 확인하도록 한 머리 움직임 확인 장치 및 방법에 관한 것으로, 카메라부가 카메라를 통해 촬영된 영상 데이터를 입력하며; 메모리부가 표본 얼굴의 특징 값을 가지는 표본 얼굴 데이터와 표본 귀의 특징 값을 가지는 표본 귀 데이터를 미리 데이터화하여 저장하며; 제어부가 카메라부로부터 입력되는 영상 데이터와 메모리부로부터 판독한 표본 얼굴 데이터를 비교하여 얼굴을 인식하고, 얼굴 인식된 영역의 좌표 값을 확인하며, 카메라부로부터 입력되는 영상 데이터와 메모리부로부터 판독한 표본 귀 데이터를 비교하여 귀를 인식하고, 귀 인식된 영역의 좌표 값을 확인하며, 귀 인식 영역의 좌표 값이 얼굴 인식 영역의 좌표 값에 포함되는지를 확인하여 머리 움직임을 인식한다.

Description

머리 움직임 확인 장치 및 방법{Apparatus and method for recognizing motion of head}

본 발명은 머리 움직임 확인 장치 및 방법에 관한 것으로, 특히 얼굴 인식(Face Recognition)과 귀 인식(Ear Recognition)을 통하여 머리의 움직임을 확인하도록 한 머리 움직임 확인 장치 및 방법에 관한 것이다.

생체 인식 기술은 생체 정보를 이용하여 사람을 식별해 내는 기술로서, 현재까지 가장 많이 사용되는 방법은 신체 일부의 이미지를 획득한 후에 특징을 추출하여 비교하는 방법이다. 생체 인식 기술의 예로는, 지문 인식, 얼굴 인식, 망막 인식, 홍채 인식, 정맥 인식, 장문 인식, 음성 인식 등이 있다. 그 중에서 얼굴 인식 기술은 사람의 식별에 얼굴을 이용하는 기술로서, 개인의 특성을 검증하거나 신원을 확인하기 위해 많이 이용되고 있다.

얼굴 인식 방법은, 카메라 모듈을 통하여 입력되는 이미지에서 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 특징 정보를 추출하고, 해당 추출한 특징 정보를 데이터베이스에 등록된 얼굴의 특징 정보와 비교함으로써, 얼굴을 인식하도록 한다. 이때, 얼굴 인식률을 높이기 위해서는, 이미지 등록 시와 동일한 광도 및 방향의 조명 환경에서 영상을 획득해야 하나, 실제 얼굴 인식 환경에서 카메라 모듈을 통하여 들어오는 영상은 그렇지 못하다.

예를 들어, 아주 밝은 야외에서 사진 촬영을 하면, 얼굴이 하얀 사람도 촬영된 사진에서 어둡게 나올 수 있다. 카메라에서 이미지의 밝기를 결정하는 것은, 이미지 전체의 밝기인데, 이때 얼굴이 들어있는 이미지 전체가 밝거나 어둡다면, 인식해야 할 얼굴의 특징 정보가 오염될 수 있다. 이에, 인식률이 현저하게 떨어질 수 있으므로, 빛이나 배경 등을 포함한 여러 가지 환경에서 얼굴 특징 정보의 오염을 방지할 수 있는 방안이 요구된다.

한국등록특허 제10-0901125호(2009.05.29. 등록)는 카메라 모듈(camera module)을 통하여 입력되는 이미지(image)에서 얼굴을 탐색하여 식별하는 얼굴 인식 방법과 장치에 관하여 기재되어 있는데, 카메라 모듈로부터 입력되는 이미지의 얼굴 인식 방법에 있어서, 카메라 모듈로부터 이미지를 입력받아 얼굴 영역을 탐색하는 탐색 과정과, 탐색된 얼굴 영역의 이미지 내 분포 범위를 산출하는 산출 과정과, 산출된 얼굴 영역의 분포 범위에 대응되는 피사체 부분의 밝기를 측정하는 측광 과정, 및 측정된 밝기에 대응하는 노출 조건을 설정하고 설정된 노출 조건으로 이미지를 입력받아 얼굴을 식별하는 얼굴 인식 과정을 포함한다. 개시된 기술에 따르면, 실제 환경에서 카메라 모듈로부터 들어오는 이미지의 밝기가 얼굴 기준으로 설정되어 얼굴 인식에 필요한 특징 정보의 오염을 최소화할 수 있으며, 이에 얼굴 인식의 정확도와 인식률이 향상되어 관련 어플리케이션 동작이 원활하게 수행될 수 있다.

한국등록특허 제10-0553850호(2006.02.14. 등록)는 영상 캡처에서부터 얼굴 인식/표정 인식까지의 전 처리 과정이 통합적으로 이루어지고 각 처리 과정에 대한 정보를 그래픽 사용자 인터페이스로 표시함으로써, 얼굴 인식/표정 인식을 위한 프로그램을 저가의 웹 카메라와 개인용 컴퓨터 상에서 손쉽게 구현할 수 있는 얼굴 인식/표정 인식 시스템 및 방법에 관하여 기재되어 있다. 개시된 기술에 따르면, 카메라로부터 영상정보를 입력하는 영상입력부와, 영상입력부를 통해 입력되는 영상으로부터 얼굴을 추출하고, 추출된 얼굴로부터 얼굴 요소를 추출하고, 추출된 얼굴 요소로부터 얼굴 인식 및 표정 인식을 위한 특징을 추출하여 얼굴 인식/표정 인식하는 인식프로그램구동부와, 키입력부로부터 입력되는 사용자 명령을 해석하여 인식프로그램구동부에게 전달하고, 인식프로그램구동부가 얼굴 인식/표정 인식하는 각 처리 과정에서의 영상과 각 처리 과정에 대한 정보를 모니터에 표시하는 그래픽사용자인터페이스부를 포함하고, 인식프로그램구동부는 영상입력부를 통해 입력되는 영상의 잡음을 제거하고 컬러 변환 및 부가 연산하여 입력 영상을 얼굴 추출에 용이한 영상으로 전 처리하는 영상전처리기능부와, 전처리된 영상을 정합 비교 및 블롭 해석하여 얼굴을 추출하는 얼굴추출기능부와, 추출된 얼굴을 정합 비교하고 투영 기반 추출 및 기하학적 예측하여 얼굴 요소를 추출하는 얼굴요소추출기능부와, 얼굴요소추출기능부에서 얻어진 얼굴 요소의 기하학적 특징과 변환 특징과 통계적 특징을 추출하여 얼굴 인식/표정 인식을 위한 특징들을 추출하는 얼굴특징추출기능부와, 얼굴특징추출기능부에서 얻어진 얼굴 특징을 이용하여 얼굴 인식을 하거나 표정을 인식하는 고수준인지기능부를 구비한다.

상술한 바와 같은 종래의 얼굴 인식 장치는, 얼굴을 식별하는 용도로서 단순한 한 가지의 기능 밖에 구현하지 못하였다. 다시 말해서, 전자기기에 장착된 카메라를 이용한 얼굴 인식 장치의 경우에는, 사용자가 전자기기의 화면을 보다가 다른 곳을 볼 때에 해당하는 상태나, 다른 곳을 보다가 전자기기의 화면을 볼 때에 해당하는 상태를 확인할 수 없었으며, 또한 사용자의 머리 움직임을 인식하지 못하므로 전자기기 사용함에 있어서 편리함을 제공할 수 없는 단점을 가지고 있다.

한국등록특허 제10-0901125호 한국등록특허 제10-0553850호

본 발명이 이루고자 하는 기술적 과제는, 전술한 바와 같은 단점을 해결하기 위한 것으로, 얼굴 인식과 귀 인식을 통하여 머리의 움직임을 확인하도록 한 머리 움직임 확인 장치 및 방법을 제공한다.

이러한 과제를 해결하기 위해, 본 발명의 한 특징에 따르면, 카메라를 통해 촬영된 영상 데이터를 입력하는 카메라부; 표본 얼굴의 특징 값을 가지는 표본 얼굴 데이터와 표본 귀의 특징 값을 가지는 표본 귀 데이터를 미리 데이터화하여 저장하는 메모리부; 및 상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 얼굴 데이터를 비교하여 얼굴을 인식하고, 얼굴 인식된 영역의 좌표 값을 확인하며, 상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 귀 데이터를 비교하여 귀를 인식하고, 귀 인식된 영역의 좌표 값을 확인하며, 귀 인식 영역의 좌표 값이 얼굴 인식 영역의 좌표 값에 포함되는지를 확인하여 머리 움직임을 인식하는 제어부를 포함하는 머리 움직임 확인 장치를 제공한다.

일 실시 예에서, 상기 제어부는, 상기 카메라부로부터 입력되는 영상 데이터로부터 색깔 비율 정보를 추출하며, 상기 메모리부로부터 얼굴 정면모습의 색깔 비율 및 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율을 판독하며, 추출한 색깔 비율 정보를 판독한 얼굴 정면모습의 색깔 비율 및 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율에 비교하여 얼굴 또는 귀를 인식할 수 있다.

일 실시 예에서, 상기 제어부는, 상기 카메라부로부터 입력되는 영상 데이터가 상기 메모리부로부터 판독한 표본 얼굴 데이터의 표본 얼굴 특징 값을 가지는지의 여부를 확인하여 얼굴을 인식하며, 얼굴 인식된 영역의 좌표 값을 확인하고, 확인된 얼굴 인식 영역 좌표 값을 상기 메모리부에 저장하고 화면에 표시할 수 있다.

일 실시 예에서, 상기 제어부는, 상기 카메라부로부터 입력되는 영상 데이터가 상기 메모리부로부터 판독한 표본 귀 데이터의 표본 귀 특징 값을 가지는지의 여부를 확인하여 귀를 인식하며, 귀 인식된 영역의 좌표 값을 확인하고, 확인된 귀 인식 영역 좌표 값을 상기 메모리부에 저장하고 화면에 표시할 수 있다.

일 실시 예에서, 상기 제어부는, 상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 귀 데이터를 비교하여 귀를 인식하고, 귀 인식된 영역의 좌표 값을 확인하며, 그런 후에 상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 얼굴 데이터를 비교하여 얼굴을 인식하고, 얼굴 인식된 영역의 좌표 값을 확인하며, 귀 인식 영역의 좌표 값이 얼굴 인식 영역의 좌표 값에 포함되는지를 확인하여 고개의 돌아옴을 인식할 수 있다.

본 발명의 다른 한 특징에 따르면, 표본 얼굴의 특징 값을 가지는 표본 얼굴 데이터와 표본 귀의 특징 값을 가지는 표본 귀 데이터를 미리 데이터화하여 메모리에 저장하는 단계; 카메라를 통해 촬영된 영상 데이터를 입력받고 상기 메모리로부터 표본 얼굴 데이터를 판독하는 단계; 상기 영상 데이터와 상기 표본 얼굴 데이터를 비교하여 얼굴을 인식하는 단계; 상기 얼굴 인식 시에 인식된 영역의 좌표 값을 확인하여 상기 메모리에 저장하는 단계; 카메라를 통해 촬영된 영상 데이터를 다시 입력받고 상기 메모리로부터 표본 귀 데이터를 판독하는 단계; 상기 영상 데이터와 상기 표본 귀 데이터를 비교하여 귀를 인식하는 단계; 상기 귀 인식 시에 인식된 영역의 좌표 값을 확인하여 상기 메모리에 저장하는 단계; 및 상기 귀 인식된 영역의 좌표 값이 상기 얼굴 인식된 영역의 좌표 값에 포함되는지를 확인하여 머리 움직임을 인식하는 단계를 포함하는 머리 움직임 확인 방법을 제공한다.

일 실시 예에서, 상기 얼굴을 인식하는 단계는, 상기 영상 데이터로부터 색깔 비율 정보를 추출하는 단계; 상기 메모리로부터 얼굴 정면모습의 색깔 비율을 판독하는 단계; 및 상기 추출한 색깔 비율 정보를 상기 판독한 얼굴 정면모습의 색깔 비율에 비교하여 얼굴을 인식하는 단계를 포함할 수 있다.

일 실시 예에서, 상기 귀를 인식하는 단계는, 상기 영상 데이터로부터 색깔 비율 정보를 추출하는 단계; 상기 메모리로부터 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율을 판독하는 단계; 및 상기 추출한 색깔 비율 정보를 상기 판독한 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율에 비교하여 귀를 인식하는 단계를 포함할 수 있다.

일 실시 예에서, 상기 얼굴을 인식하는 단계는, 상기 영상 데이터가 상기 표본 얼굴 데이터의 표본 얼굴 특징 값을 가지는지의 여부를 확인하여 얼굴을 인식할 수 있다.

일 실시 예에서, 상기 귀를 인식하는 단계는, 상기 영상 데이터가 상기 표본 귀 데이터의 표본 귀 특징 값을 가지는지의 여부를 확인하여 얼굴을 인식할 수 있다.

본 발명에 의하면, 얼굴 인식과 귀 인식을 통하여 머리의 움직임을 확인하도록 함으로써, 즉 사용자의 머리 움직임을 인식하므로, 사용자가 전자기기의 화면을 보다가 다른 곳을 볼 때에 해당하는 상태나, 다른 곳을 보다가 전자기기의 화면을 볼 때에 해당하는 상태를 확인할 수 있으며, 이에 전자기기 사용함에 있어서 사용자의 편리성을 증대할 수 있다.

도 1은 본 발명의 실시 예에 따른 머리 움직임 확인 장치를 설명하는 도면이다.
도 2는 도 1에 있는 디스플레이부를 설명하는 도면이다.
도 3은 본 발명의 실시 예에 따른 머리 움직임 확인 방법을 설명하는 순서도이다.
도 4는 본 발명의 실시 예에 따른 머리 움직임 확인 방법을 다른 예로 설명하는 순서도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

이제 본 발명의 실시 예에 따른 머리 움직임 확인 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 머리 움직임 확인 장치를 설명하는 도면이다.

도 1을 참조하면, 머리 움직임 확인 장치(100)는, 카메라부(110), 디스플레이부(120), 메모리부(130), 제어부(140)를 포함한다.

카메라부(110), 카메라를 통해 사용자의 얼굴이나 귀를 촬영하고 해당 촬영된 영상 데이터를 제어부(140)에 입력한다. 이때, 카메라부(110)는, 일련의 예로, 스마트폰, 핸드폰 등과 같은 이동 통신 단말기의 전면이나, 후면에 구비되어 있는 카메라를 활용할 수 있다. 그러나 본 발명은 이동 통신 단말기의 전면 카메라나 후면 카메라를 이용하는 것에 한정되어 있지 않고, 카메라가 달린 모든 타입의 기기에서 활용 가능하다는 것을 잘 이해해야 한다.

디스플레이부(120)는, 제어부(140)로부터 전달되는 영상 데이터를 LCD 등과 같은 화면에 디스플레이한다.

일 실시 예에서, 디스플레이부(120)는, 제어부(140)로부터 전달되는 얼굴 인식 영역 좌표 값 또는 귀 인식 영역 좌표 값을 화면에 디스플레이할 수 있다.

메모리부(130)는, 제어부(140)의 제어 동작에 필요한 프로그램 및 데이터를 저장하는데, 특히 많은 수의 표본 얼굴 및 표본 귀의 특징점에 대한 머신 러닝(Machine Learning)을 통하여 일련의 얼굴의 특징 값을 가지는 표본 얼굴 데이터와 일련의 귀의 특징 값을 가지는 표본 귀 데이터를 미리 데이터화하여 저장해 둔다.

일 실시 예에서, 메모리부(130)는, 제어부(140)로부터 전달되는 얼굴 인식 영역 좌표 값 또는 귀 인식 영역 좌표 값을 저장할 수 있다.

일 실시 예에서, 메모리부(130)는, 귀의 특정 부분들에 대한 일련의 특징 값을 머신 러닝을 통하여 미리 데이터화하여 저장해 둘 수 있다.

일 실시 예에서, 메모리부(130)는, 얼굴 정면모습의 색깔 비율과, 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율을 머신 러닝을 통하여 미리 데이터화하여 저장해 둘 수 있다.

제어부(140)는, 카메라부(110)로부터 영상 데이터를 입력받아 디스플레이부(120)로 전달하여 화면에 표시시켜 주며, 이때 메모리부(130)로부터 표본 얼굴 데이터를 판독하여 해당 입력받은 영상 데이터와 비교하여 얼굴을 인식하고, 얼굴 인식 시에 인식된 영역의 좌표 값을 확인하며, 그런 후에 메모리부(130)로부터 표본 귀 데이터를 판독하여 해당 입력받은 영상 데이터와 비교하여 귀를 인식하고, 귀 인식 시에 인식된 영역의 좌표 값을 확인하며, 그런 다음에 해당 인식된 귀 영역의 좌표 값이 해당 인식된 얼굴 영역의 좌표 값에 포함되는지를 확인하여 사용자의 고개가 돌아갔음(사용자의 시선이 다른 방향으로 향했음)을 인식한다.

일 실시 예에서, 제어부(140)는, 카메라부(110)로부터 입력받은 영상 데이터로부터 색깔 비율 정보를 추출할 수 있으며, 또한 메모리부(130)에 저장해 둔 얼굴 정면모습의 색깔 비율과, 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율을 판독하며, 해당 추출한 색깔 비율 정보를 해당 판독한 얼굴 정면모습의 색깔 비율과, 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율에 비교하여 얼굴 인식 또는 귀 인식을 할 수도 있다.

일 실시 예에서, 제어부(140)는, 카메라부(110)로부터 입력받은 영상 데이터와 메모리부(130)로부터 판독한 표본 얼굴 데이터를 비교하여, 해당 입력받은 영상 데이터가 해당 판독한 표본 얼굴 데이터의 일련의 얼굴의 특징 값을 가지는지의 여부를 확인하여 얼굴을 인식할 수 있으며, 또한 얼굴을 인식한 경우에 얼굴 인식 시에 인식된 영역의 좌표 값(즉, 얼굴이 인식된 2차원의 좌표 값(x,y))을 확인하고, 해당 확인된 얼굴 인식 영역 좌표 값을 메모리부(130)에 저장하고 디스플레이부(120)로 전달할 수 있다.

일 실시 예에서, 제어부(140)는, 카메라부(110)로부터 입력받은 영상 데이터와 메모리부(130)로부터 판독한 표본 귀 데이터를 비교하여, 해당 입력받은 영상 데이터가 해당 판독한 표본 귀 데이터의 일련의 귀의 특징 값을 가지는지의 여부를 확인하여 귀를 인식할 수 있으며, 또한 귀를 인식한 경우에 귀 인식 시에 인식된 영역의 좌표 값(즉, 귀가 인식된 2차원의 좌표 값(x,y))을 확인하고, 해당 확인된 귀 인식 영역 좌표 값을 메모리부(130)에 저장하고 디스플레이부(120)로 전달할 수 있다.

일 실시 예에서, 제어부(140)는, 귀 인식 시에 귀 전체를 인식하지 않고, 메모리부(130)에 저장해 둔 귀 특정 부분들의 특징 값을 이용하여 귀의 반절만을 인식하거나, 귀의 아랫부분만을 인식하는 등과 같이 귀의 특정 부분을 인식할 수도 있다.

일 실시 예에서, 제어부(140)는, 카메라부(110)로부터 영상 데이터를 입력받아 디스플레이부(120)로 전달하여 화면에 표시시켜 줄 수 있으며, 이때 메모리부(130)로부터 표본 귀 데이터를 판독하여 해당 입력받은 영상 데이터와 비교하여 귀 인식할 수 있고, 귀 인식 시에 인식된 영역의 좌표 값을 확인할 수 있으며, 그런 후에 메모리부(130)로부터 표본 얼굴 데이터를 판독하여 해당 입력받은 영상 데이터와 비교하여 얼굴 인식할 수 있고, 얼굴 인식 시에 인식된 영역의 좌표 값을 확인할 수 있으며, 그런 다음에 해당 인식된 귀 영역의 좌표 값이 해당 인식된 얼굴 영역의 좌표 값에 포함되는지를 확인하여 사용자의 고개가 돌아왔음(사용자의 시선이 다른 방향에서 기기 방향으로 향했음)을 인식할 수 있다.

일 실시 예에서, 제어부(140)는, 태블릿 PC의 전면 카메라를 활용하여 사용자의 고개(머리)가 돌아가는 것을 인식한 경우에, 시청 중인 동영상을 정지시켜 줄 수 있다.

상술한 바와 같은 구성을 가지는 머리 움직임 확인 장치(100)는, 카메라가 달린 전자기기들이 보편화되고 사용자의 편리성이 증대되고 있는 시점에서 조금 더 편리한 기능으로 사용자에게 편리성을 제공하기 위해서, 카메라부(110)로부터 입력받은 영상을 표본 얼굴 데이터 또는 표본 귀 데이터와 비교하여 얼굴 인식 또는 귀 인식을 한 다음에, 귀 인식 시에 인식된 2차원의 좌표 값(x,y)이, 얼굴 인식 시에 인식된 2차원의 좌표 값(x,y)에 포함되는 경우에, 얼굴이 돌아갔음 또는 얼굴이 돌아왔음을 인식함으로써, 사용자가 전자기기의 화면을 보다가 다른 곳을 볼 때에 해당하는 상태나, 다른 곳을 보다가 전자기기의 화면을 볼 때에 해당하는 상태를 확인할 수 있으며, 또한 사용자가 어느 곳을 바라보는지를 알 수 있고, 이에 사용자 중심의 콘텐츠에 활용하거나, 기기를 제어하는 등과 같은 다양한 분야에 활용할 수 있다.

도 2는 도 1에 있는 디스플레이부를 설명하는 도면이다.

도 2를 참조하면, 제어부(140)가 고개의 움직임을 확인함에 따라 디스플레이부(120)를 통해 화면에 표시되는 예를 나타내고 있다.

도 2의 (가)는 얼굴 인식 상태로, 예를 들어 빨간색의 사각형 테두리로 인식된 얼굴 영역을 표시해 줄 수 있다.

도 2의 (나)는 귀 인식 상태로, 예를 들어 파란색의 원형 테두리로 인식된 귀 영역을 표시해 줄 수 있다.

도 2의 (다)는 인식된 얼굴 영역 내에 인식된 귀 영역이 들어올 경우에 고개가 돌아감을 인식하는 상태로, 예를 들어 빨간색의 사각형 테두리 안에 파란색 원형 테두리가 포함되어 있는 경우에 고개의 돌아감을 표시해 줄 수 있다.

도 2의 (라)는 디스플레이부(120)를 통해 화면에 표시하지 않고, 제어부(140)가 고개의 움직임을 확인하는 동작을 백그라운드 상으로 실행한 후에 원하는 기능으로 활용할 수 있음을 나타내고 있다.

상술한 바와 같은 제어부(140)가 귀와 얼굴을 인식하고 인식된 상태를 확인하여 머리가 돌아간 상태를 확인하는 방법을 응용한다면, 사용자의 동작을 인식함에 있어서 하나의 방법으로 사용할 수 있으며, 이에 복잡한 사용자의 동작을 다양하게 인식할 수 있다. 으며, 이에 모든 사용자가 공통점으로 갖는 특징으로 얼굴과 귀를 꼽을 수 있다. 사고로 귀가 없거나 하지 않는다면 모든 사람에게 적용할 수 있다.

도 3은 본 발명의 실시 예에 따른 머리 움직임 확인 방법을 설명하는 순서도이다.

도 3을 참조하면, 우선 머신 러닝을 통해서 많은 수의 표본 얼굴들의 특징점을 데이터화하여 일련의 얼굴의 특징 값을 가지는 표본 얼굴 데이터로 가공하며, 또한 머신 러닝을 통해서 많은 수의 표본 귀들의 특징점을 데이터화하여 일련의 귀의 특징 값을 가지는 표본 귀 데이터로 가공한 후에, 해당 가공된 표본 얼굴 데이터 및 표본 귀 데이터를 메모리부(130)에 미리 저장해 둔다.

카메라가 구비된 전자기기(또는, 카메라가 달린 기기)에 있어서, 카메라부(110)는, 카메라를 통해 사용자의 얼굴이나 귀를 촬영하고, 해당 촬영된 영상을 처리하여 해당 처리된 영상 데이터를 제어부(140)에 입력한다.

제어부(140)는, 카메라부(110)로부터 입력되는 영상 데이터를 확인하는데(S301), 이때 카메라부(110)로부터 영상 데이터를 입력받는 경우에 해당 입력받은 영상 데이터를 디스플레이부(120)로 전달한다. 이에, 디스플레이부(120)는 제어부(140)로부터 전달되는 영상 데이터를 화면에 표시해 준다(S302).

제어부(140)는, 상술한 단계 S302에서 카메라부(110)로부터 입력되는 영상 데이터를 화면에 표시하고 있는 상태에서, 메모리부(130)에 저장해 둔 표본 얼굴 데이터를 판독하고, 해당 입력받은 영상 데이터와 해당 판독한 표본 얼굴 데이터를 비교하여 얼굴 인식 여부를 확인한다(S303). 이때, 제어부(140)는, 해당 입력받은 영상 데이터와 해당 판독한 표본 얼굴 데이터를 비교하는데, 해당 입력받은 영상 데이터가 해당 판독한 표본 얼굴 데이터의 일련의 얼굴의 특징 값을 가지는지의 여부를 확인하여 얼굴 인식을 수행하도록 한다.

상술한 단계 S303에서 얼굴 인식이 이루어진 경우, 제어부(140)는 얼굴 인식 시에 인식된 영역의 좌표 값(즉, 얼굴이 인식된 2차원의 좌표 값(x,y))을 확인하고, 해당 확인된 얼굴 인식 영역 좌표 값을 메모리부(130)에 저장하고 디스플레이부(120)로 전달한다.

메모리부(130)는 제어부(140)로부터 전달되는 얼굴 인식 영역 좌표 값을 저장하며, 또한 디스플레이부(120)는 제어부(140)로부터 전달되는 얼굴 인식 영역 좌표 값을 화면에 표시해 준다(S304).

제어부(140)는, 상술한 단계 S304에서 얼굴 인식 영역 좌표 값을 저장하고 표시한 다음에, 메모리부(130)에 저장해 둔 표본 귀 데이터를 판독하고, 카메라부(110)로부터 입력되는 영상 데이터와 해당 판독한 표본 귀 데이터를 비교하여 귀 인식 여부를 확인한다(S305). 이때, 제어부(140)는, 해당 입력받은 영상 데이터와 해당 판독한 표본 귀 데이터를 비교하는데, 해당 입력받은 영상 데이터가 해당 판독한 표본 귀 데이터의 일련의 귀의 특징 값을 가지는지의 여부를 확인하여 귀 인식을 수행하도록 한다.

상술한 단계 S305에서 귀 인식이 이루어진 경우, 제어부(140)는 귀 인식 시에 인식된 영역의 좌표 값(즉, 귀가 인식된 2차원의 좌표 값(x,y))을 확인하고, 해당 확인된 귀 인식 영역 좌표 값을 메모리부(130)에 저장하고 디스플레이부(120)로 전달한다.

메모리부(130)는 제어부(140)로부터 전달되는 귀 인식 영역 좌표 값을 저장하며, 또한 디스플레이부(120)는 제어부(140)로부터 전달되는 귀 인식 영역 좌표 값을 화면에 표시해 준다(S306).

제어부(140)는, 상술한 단계 S306에서 확인한 귀 인식 영역 좌표 값(즉, 상술한 단계 S306에서 인식된 귀 영역)이 상술한 단계 S304에서 확인한 얼굴 인식 영역 좌표 값(즉, 상술한 단계 S304에서 인식된 얼굴 영역)에 포함되는지를 확인한다(S307).

상술한 단계 S307에서 귀 인식 영역 좌표 값이 얼굴 인식 영역 좌표 값에 포함되는 경우, 제어부(140)는, 사용자의 고개가 돌아갔음(사용자의 시선이 다른 방향으로 향했음)을 인식하여(S308), 이에 대응하는 기능을 수행하도록 제어할 수 있다.

일 실시 예에서, 제어부(140)가 얼굴이 돌아감을 인식함으로써, 이에 대응하는 기능으로는, 카메라가 설비되어 있는 모든 분야에서, 예를 들어, 스마트폰으로 DMB 또는 동영상 시청 중에 다른 곳을 볼 때, 차량 운전 시에 운전자가 다른 곳을 볼 때, 기기를 제어할 때 등과 같이, 사람의 시선(얼굴)이 어디로 향했는지가 중요한 분야에서 활용될 수 있다. 또한, 제어부(140)가 얼굴이 돌아감을 인식하는 것은, 화질이 저하된 카메라의 경우에도 얼굴과 귀의 특징점만 포착한다면 사용 가능하다는 것을 잘 알 수 있다.

일 실시 예에서, 제어부(140)가 고개의 움직임을 확인할 때에, 상술한 단계 S303에서의 얼굴 인식 후 상술한 단계 S305에서의 귀 인식이 필요하다는 것을 알 수 있으며, 만약에 상술한 단계 S303에서의 얼굴 인식 후 상술한 단계 S305에서의 귀 인식을 하지 못하고 일정 시간 이상 경과하였다면, 카메라부(110)로부터 입력받은 영상은 아무런 의미를 갖지 않고, 새로 입력받은 영상 데이터로 얼굴 인식 또는 귀 인식을 다시 시작할 수 있다.

도 4는 본 발명의 실시 예에 따른 머리 움직임 확인 방법을 다른 예로 설명하는 순서도이다.

도 4를 참조하면, 제어부(140)에서 카메라부(110)로부터 입력되는 영상 데이터를 확인하는데(S401), 이때 카메라부(110)로부터 영상 데이터를 입력받는 경우에 해당 입력받은 영상 데이터를 디스플레이부(120)로 전달한다. 이에, 디스플레이부(120)는 제어부(140)로부터 전달되는 영상 데이터를 화면에 표시해 준다(S402).

제어부(140)는, 상술한 단계 S402에서 카메라부(110)로부터 입력되는 영상 데이터를 화면에 표시하고 있는 상태에서, 또는 도 3의 단계 S303에서 얼굴 인식이 이루어지지 않은 경우, 메모리부(130)에 저장해 둔 표본 귀 데이터를 판독하고, 해당 입력받은 영상 데이터와 해당 판독한 표본 귀 데이터를 비교하여 귀 인식 여부를 확인한다(S403).

상술한 단계 S403에서 귀 인식이 이루어진 경우, 제어부(140)는 귀 인식 시에 인식된 영역의 좌표 값(즉, 귀가 인식된 2차원의 좌표 값(x,y))을 확인하고, 해당 확인된 귀 인식 영역 좌표 값을 메모리부(130)에 저장하고 디스플레이부(120)를 통해 화면에 표시해 준다(S404).

제어부(140)는, 상술한 단계 S404에서 귀 인식 영역 좌표 값을 저장하고 표시한 다음에, 메모리부(130)에 저장해 둔 표본 얼굴 데이터를 판독하고, 카메라부(110)로부터 입력되는 영상 데이터와 해당 판독한 표본 얼굴 데이터를 비교하여 얼굴 인식 여부를 확인한다(S405).

상술한 단계 S405에서 얼굴 인식이 이루어진 경우, 제어부(140)는 얼굴 인식 시에 인식된 영역의 좌표 값(즉, 얼굴이 인식된 2차원의 좌표 값(x,y))을 확인하고, 해당 확인된 얼굴 인식 영역 좌표 값을 메모리부(130)에 저장하고 디스플레이부(120)를 통해 화면에 표시해 준다(S406).

제어부(140)는, 상술한 단계 S404에서 확인한 귀 인식 영역 좌표 값(즉, 상술한 단계 S404에서 인식된 귀 영역)이 상술한 단계 S406에서 확인한 얼굴 인식 영역 좌표 값(즉, 상술한 단계 S406에서 인식된 얼굴 영역)에 포함되는지를 확인한다(S407).

상술한 단계 S407에서 귀 인식 영역 좌표 값이 얼굴 인식 영역 좌표 값에 포함되는 경우, 제어부(140)는, 사용자의 고개가 돌아왔음(사용자의 시선이 다른 방향에서 기기 방향으로 향했음)을 인식하여(S408), 이에 대응하는 기능을 수행하도록 제어할 수 있다.

이상, 본 발명의 실시 예는 상술한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 머리 움직임 확인 장치
110: 카메라부
120: 디스플레이부
130: 메모리부
140: 제어부

Claims

카메라를 통해 촬영된 영상 데이터를 입력하는 카메라부;
표본 얼굴의 특징 값을 가지는 표본 얼굴 데이터와 표본 귀의 특징 값을 가지는 표본 귀 데이터를 미리 데이터화하여 저장하는 메모리부; 및
상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 얼굴 데이터를 비교하여 얼굴을 인식하고, 얼굴 인식된 영역의 좌표 값을 확인하며, 상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 귀 데이터를 비교하여 귀를 인식하고, 귀 인식된 영역의 좌표 값을 확인하며, 귀 인식 영역의 좌표 값이 얼굴 인식 영역의 좌표 값에 포함되는지를 확인하여 머리 움직임을 인식하는 제어부를 포함하는 머리 움직임 확인 장치.
제1항에 있어서, 상기 제어부는,
상기 카메라부로부터 입력되는 영상 데이터로부터 색깔 비율 정보를 추출하며, 상기 메모리부로부터 얼굴 정면모습의 색깔 비율 및 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율을 판독하며, 추출한 색깔 비율 정보를 판독한 얼굴 정면모습의 색깔 비율 및 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율에 비교하여 얼굴 또는 귀를 인식하는 것을 특징으로 하는 머리 움직임 확인 장치.
제1항에 있어서, 상기 제어부는,
상기 카메라부로부터 입력되는 영상 데이터가 상기 메모리부로부터 판독한 표본 얼굴 데이터의 표본 얼굴 특징 값을 가지는지의 여부를 확인하여 얼굴을 인식하며, 얼굴 인식된 영역의 좌표 값을 확인하고, 확인된 얼굴 인식 영역 좌표 값을 상기 메모리부에 저장하고 화면에 표시하는 것을 특징으로 하는 머리 움직임 확인 장치.
제1항에 있어서, 상기 제어부는,
상기 카메라부로부터 입력되는 영상 데이터가 상기 메모리부로부터 판독한 표본 귀 데이터의 표본 귀 특징 값을 가지는지의 여부를 확인하여 귀를 인식하며, 귀 인식된 영역의 좌표 값을 확인하고, 확인된 귀 인식 영역 좌표 값을 상기 메모리부에 저장하고 화면에 표시하는 것을 특징으로 하는 머리 움직임 확인 장치.
제1항에 있어서, 상기 제어부는,
상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 귀 데이터를 비교하여 귀를 인식하고, 귀 인식된 영역의 좌표 값을 확인하며, 그런 후에 상기 카메라부로부터 입력되는 영상 데이터와 상기 메모리부로부터 판독한 표본 얼굴 데이터를 비교하여 얼굴을 인식하고, 얼굴 인식된 영역의 좌표 값을 확인하며, 귀 인식 영역의 좌표 값이 얼굴 인식 영역의 좌표 값에 포함되는지를 확인하여 고개의 돌아옴을 인식하는 것을 특징으로 하는 머리 움직임 확인 장치.
표본 얼굴의 특징 값을 가지는 표본 얼굴 데이터와 표본 귀의 특징 값을 가지는 표본 귀 데이터를 미리 데이터화하여 메모리에 저장하는 단계;
카메라를 통해 촬영된 영상 데이터를 입력받고 상기 메모리로부터 표본 얼굴 데이터를 판독하는 단계;
상기 영상 데이터와 상기 표본 얼굴 데이터를 비교하여 얼굴을 인식하는 단계;
상기 얼굴 인식 시에 인식된 영역의 좌표 값을 확인하여 상기 메모리에 저장하는 단계;
카메라를 통해 촬영된 영상 데이터를 다시 입력받고 상기 메모리로부터 표본 귀 데이터를 판독하는 단계;
상기 영상 데이터와 상기 표본 귀 데이터를 비교하여 귀를 인식하는 단계;
상기 귀 인식 시에 인식된 영역의 좌표 값을 확인하여 상기 메모리에 저장하는 단계; 및
상기 귀 인식된 영역의 좌표 값이 상기 얼굴 인식된 영역의 좌표 값에 포함되는지를 확인하여 머리 움직임을 인식하는 단계를 포함하는 머리 움직임 확인 방법.
제6항에 있어서, 상기 얼굴을 인식하는 단계는,
상기 영상 데이터로부터 색깔 비율 정보를 추출하는 단계;
상기 메모리로부터 얼굴 정면모습의 색깔 비율을 판독하는 단계; 및
상기 추출한 색깔 비율 정보를 상기 판독한 얼굴 정면모습의 색깔 비율에 비교하여 얼굴을 인식하는 단계를 포함하는 것을 특징으로 하는 머리 움직임 확인 방법.
제6항에 있어서, 상기 귀를 인식하는 단계는,
상기 영상 데이터로부터 색깔 비율 정보를 추출하는 단계;
상기 메모리로부터 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율을 판독하는 단계; 및
상기 추출한 색깔 비율 정보를 상기 판독한 고개를 돌렸을 때의 얼굴 옆모습의 색깔 비율에 비교하여 귀를 인식하는 단계를 포함하는 것을 특징으로 하는 머리 움직임 확인 방법.
제6항에 있어서, 상기 얼굴을 인식하는 단계는,
상기 영상 데이터가 상기 표본 얼굴 데이터의 표본 얼굴 특징 값을 가지는지의 여부를 확인하여 얼굴을 인식하는 것을 특징으로 하는 머리 움직임 확인 방법.
제6항에 있어서, 상기 귀를 인식하는 단계는,
상기 영상 데이터가 상기 표본 귀 데이터의 표본 귀 특징 값을 가지는지의 여부를 확인하여 얼굴을 인식하는 것을 특징으로 하는 머리 움직임 확인 방법.