KR20120113317A

KR20120113317A - 실시간 눈 검출 장치 및 그 방법

Info

Publication number: KR20120113317A
Application number: KR1020110030955A
Authority: KR
Inventors: 전재욱; 정준희; 진승훈; 김동균; 덩 투이 뉴엔; 김대진; 김문상
Original assignee: 성균관대학교산학협력단
Priority date: 2011-04-05
Filing date: 2011-04-05
Publication date: 2012-10-15
Also published as: KR101211872B1

Abstract

본 발명의 일 예에 따른 실시간 눈 검출 장치(100)는 얼굴 영역이 포함된 영상에서 눈 후보영역을 획득하는 눈 후보영역 획득부(110), 눈 후보영역 획득부(110)에서 획득한 눈 후보영역에 대한 복수 개의 다운스케일링 영상을 생성하는 눈 후보영역 크기 변환부(120), 눈 후보영역 획득부(110)에서 획득된 눈 후보영역의 영상 및 눈 후보영역 크기 변환부(120)에서 생성된 각 영상에 대해 MCT 연산을 수행하는 MCT 변환부(130), MCT 변환부(130)에서 MCT 연산이 수행된 각 영상에 대한 윈도우를 생성하고, 생성된 윈도우를 구성하는 각 픽셀에 대하여 학습데이터 룩업 테이블을 이용하여 각 픽셀에 대한 신뢰도값을 매칭하는 학습데이터 비교부(140) 및 학습데이터 비교부(140)의 윈도우를 구성하는 모든 픽셀의 신뢰도값을 합이 기준값이 이상인 눈 후보영역을 최종 눈 영역으로 검출하는 눈 검출부(150)를 포함한다.

Description

실시간 눈 검출 장치 및 그 방법{APPARATUS AND METHOD FOR REALTIME EYE DETECTION}

본 발명은 영상에서 사람의 눈을 검출하는 장치 및 방법에 관한 것이다. 특히 본 발명은 눈 후보 영상에 대한 다운스케일링 영상을 병렬적으로 생성하여 눈 검출을 수행하는 장치 및 방법에 관한 것이다.

일반적인 얼굴 인식 시스템은 입력된 영상에서 얼굴을 찾고 해당 얼굴의 특징을 분석하는 시스템을 의미하며, 미리 저장된 얼굴 데이터베이스와 비교하여 누구의 얼굴인지를 판단하고 신원을 인식하게 된다. 이러한 얼굴 인식 시스템에서 사용하기 위한 특징점으로 얼굴 영역 내에서 눈 좌표를 사용할 수 있으며, 눈 좌표가 정확하게 검출될수록 얼굴 인식 시스템의 인식 성능이 향상될 수 있다.

일반적인 영상 처리 기법을 적용하는 경우, 촬영된 영상은 다양한 크기와 형태로 나타나게 된다. 이러한 이유로 인해서 얼굴의 위치와 종명의 밝기 등의 제약을 둔 상황에서는 눈 검출을 비교적 간단한 방법으로 구현이 가능하나, 일반적인 환경에서는 얼굴의 크기 및 위치 변화와 조명의 변화에 따라 다양하게 영상이 변형되어 눈 검출을 어렵게 만든다.

이러한 문제를 해결하기 위해 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법(공개번호 10-2008-0114361)에서는 MCT로 변환한 영상에서 AdaBoost 학습 알고리즘을 통해 얻어진 눈 검츨 특징점 데이터를 이용하여 눈후보를 검출하고, MCT 기반의 패턴 상관성을 이용하여 눈후보 검증을 수행하여 조명 변화 및 환경 변화에도 강인하게 눈 검출을 수행할 수 있는 방법을 제시하였다.

그러나 이 방법 역시 소프트웨어를 기반으로 하여 순차적으로 수행되기 때문에, 얼굴 영상을 미리 정해진 몇 개의 크기로 스케일링하고 각 스케일링 된 영상에 대해 MCT를 적용한 후에 각 MCT 데이터에 대해 저장된 학습데이터와 비교하여 눈을 검출을 수행해야 하므로, 수행시간이 매우 길어지게 되어 실시간 처리에는 무리가 따르게 된다.

본 발명에 따른 실시간 눈 검출 장치 및 그 방법은 다음과 같은 해결과제를 목적으로 한다.

첫째, 얼굴 영역 영상에서 눈 위치를 조속하게 검출하고자 한다.

둘째, 오른쪽/왼쪽 눈 후보영역의 스케일 영상을 동시에 생성하고, 생성한 영상에 대해 병렬적으로 MCT를 적용한 후, 각 MCT 적용 데이터에 대하여 Cascade를 병렬적으로 적용하여 영상의 얼굴 영역에서 실시간으로 눈 위치를 검출하고자 한다.

셋째, 오른쪽 또는 왼쪽 눈 후보영역 하나만을 획득하여 눈 검출을 조속하게 수행하고자 한다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

본 발명에 따른 실시간 눈 검출 장치는 얼굴 영역이 포함된 영상에서 눈 후보영역을 획득하는 눈 후보영역 획득부, 눈 후보영역 획득부에서 획득한 눈 후보영역에 대한 복수 개의 다운스케일링 영상을 생성하는 눈 후보영역 크기 변환부, 눈 후보영역 획득부에서 획득된 눈 후보영역의 영상 및 눈 후보영역 크기 변환부에서 생성된 각 영상에 대해 MCT 연산을 수행하는 MCT 변환부, MCT 변환부에서 MCT 연산이 수행된 각 영상에 대한 윈도우를 생성하고, 생성된 윈도우를 구성하는 각 픽셀에 대하여 학습데이터 룩업 테이블을 이용하여 각 픽셀에 대한 신뢰도값을 매칭하는 학습데이터 비교부 및 학습데이터 비교부의 윈도우를 구성하는 모든 픽셀의 신뢰도값을 합이 기준값이 이상인 눈 후보영역을 최종 눈 영역으로 검출하는 눈 검출부를 포함한다.

본 발명에 따른 실시간 눈 검출 장치는 입력된 영상이 프레임 단위로 저장되는 메모리부를 더 포함하되, 메모리부는 눈 후보영역 크기 변환부에서 생성되는 복수 개의 다운스케일링 영상도 저장되는 것을 특징으로 한다.

본 발명에 따른 눈 후보영역 획득부는 오른쪽 또는 왼쪽 눈 후보영역 중 하나를 획득하면, 나머지 하나의 눈 후보영역은 획득한 영상을 좌우 대칭으로 회전시켜 획득하는 것을 특징으로 한다.

본 발명에 따른 실시간 눈 검출 장치는 오른쪽 또는 왼쪽 눈 후보영역 중 하나에 대해서만 눈 후보영역 크기 변환부가 다운스케일링을 수행하고, MCT 변환부가 MCT 연산을 수행하고, 학습데이터 비교부에서 신뢰도값을 매칭하고, 눈 검출부에서 최종 눈 영역으로 검출하는 것을 특징으로 한다.

본 발명에 따른 눈 후보영역 획득부는 메모리부에 저장된 영상에서 오른쪽 및 왼쪽 눈 후보영역에 대한 영상 데이터를 동시에 병렬적으로 획득하는 것을 특징으로 한다.

본 발명에 따른 눈 후보영역 크기 변환부는 눈 후보영역 획득부에서 눈 후보영상을 획득하면, 획득한 눈 후보영상에 대한 다운스케일링 비율이 서로 다른 복수 개의 다운스케일링 영상을 동시에 병렬적으로 생성하는 것을 특징으로 한다.

본 발명에 따른 학습데이터 비교부는 생성된 윈도우에 대해 정보량이 서로 다른 복수 개의 학습데이터 룩업 테이블을 이용하여 신뢰도값을 매칭하는 것을 특징으로 하되, 복수 개의 학습데이터 룩업 테이블을 각각 이용하여 신뢰도값 세트를 병렬적으로 생성하는 것을 특징으로 한다.

본 발명에 따른 눈 검출부는 복수 개의 학습데이터 룩업 테이블을 이용하여 생성된 신뢰도값 세트 각각에 대하여 모든 픽셀의 신뢰도값을 합산한 값이 기준값 이상인 눈 후보영역을 최종 눈 영역으로 검출하는 것을 특징으로 한다.

본 발명에 따른 실시간 눈 검출 방법은 얼굴 영역이 포함된 영상에서 눈 후보 영역이 획득되는 S1 단계, S1 단계에서 획득된 눈후보 영역에 대해 복수 개의 다운스케일링 영상이 생성되는 S2 단계, S1 단계에서 획득한 눈 후보 영역 영상 및 S2 단계에서 생성된 각 영상에 대해 MCT 연산이 수행되는 S3 단계, S3 단계에서 MCT 연산이 수행된 각 영상에 대한 윈도우가 생성되고, 생성된 윈도우를 구성하는 각 픽셀에 대하여 학습데이터 룩업 테이블을 이용하여 각 픽셀에 대한 신뢰도값이 매칭되는 S4 단계 및 S4 단계의 윈도우를 구성하는 모든 픽셀의 신뢰도값을 합산한 값이 기준값 이상인 눈 후보영역이 최종 눈 영역으로 결정되는 S5 단계를 포함한다.

본 발명에 따른 S1 단계는 오른쪽 또는 왼쪽 눈 후보영역 중 하나가 획득되면, 나머지 하나의 눈 후보영역은 획득한 영상을 좌우 대칭으로 회전시켜 획득되는 것을 특징으로 한다.

본 발명에 따른 S1 단계는 얼굴 영역이 포함된 영상에서 오른쪽 및 왼쪽 눈 후보영역에 대한 영상 데이터를 동시에 병렬적으로 획득하는 것을 특징으로 한다.

본 발명에 따른 S2 단계는 S1 단계에서 획득된 눈 후보영상에 대한 다운스케일링 비율이 서로 다른 복수 개의 다운스케일링 영상이 동시에 병렬적으로 생성되는 것을 특징으로 한다.

본 발명에 따른 S4 단계는 생성된 윈도우에 대해 정보량이 서로 다른 복수 개의 학습데이터 룩업 테이블을 이용하여 신뢰도값이 매칭되는 것을 특징으로 하되, 복수 개의 학습데이터 룩업 테이블을 각각 이용하여 신뢰도값 세트가 병렬적으로 생성되는 것을 특징으로 한다.

본 발명에 따른 S5 단계는 복수 개의 학습데이터 룩업 테이블을 이용하여 생성된 신뢰도값 세트 각각에 대하여 모든 픽셀의 신뢰도값을 가산한 값이 기준값 이상인 눈 후보영역이 최종 눈 영역으로 결정되는 것을 특징으로 한다.

본 발명에 따른 실시간 눈 검출 장치 및 그 방법은 다음과 같은 효과를 갖는다.

첫째, 눈 후보 영역에 대한 복수 개의 다운스케일링 영상을 병렬적으로 생성하고, 생성된 영상에 대해 눈 영역인지 여부를 실시간으로 검출가능하다.

둘째, 눈 영역을 실시간으로 파악하여, 카메라 등에서 사용되는 얼굴 인식이 조속하게 수행된다.

셋째, 오른쪽 또는 왼쪽 눈 후보영역 하나만이 정확하게 검출되어도, 영상에서 눈 위치를 검출가능하다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

도 1은 본 발명의 일 예에 따른 실시간 눈 검출 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명에 따른 실시간 눈 검출 장치가 눈 후보 영역의 크기를 변환하는 방법을 나타낸 도면이다.
도 3은 본 발명에 따른 실시간 눈 검출 장치가 입력 영상에 대하여 MCT 변환을 수행하는 방법을 나타낸 도면이다.
도 4는 본 발명에 따른 실시간 눈 검출 장치가 MCT 변환된 다운스케일링 영상으로부터 눈 영역 윈도우를 구성하고 신뢰도 값을 산출하는 방법을 나타낸 도면이다.
도 5는 본 발명에 따른 실시간 눈 검출 장치가 입력 영상으로부터 눈 좌표를 검출한 결과를 나타낸 도면이다.
도 6은 본 발명의 일 예에 따른 실시간 눈 검출 방법의 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

이하에서는 도면을 참조하면서 실시간 눈 검출 장치(100) 및 그 방법에 관하여 구체적으로 설명하겠다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 본 발명의 무선 전력 전송 장치 따른 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 도 1과는 상이해질 수 있음을 명확히 밝혀둔다.

도 1은 본 발명의 일 예에 따른 실시간 눈 검출 장치(100)의 구성을 개략적으로 도시한 블록도이다.

한편 본 발명의 실시간 눈 검출 장치(100)는 입력된 영상이 프레임 단위로 저장되는 메모리부(160)를 더 포함할 수 있다. 또한 다른 구성 예컨대, 눈 후보영역 크기 변환부(120)에서 생성되는 복수 개의 다운스케일링 영상도 임시저장될 수 있다.

메모리부(160)는 카메라로부터 입력되는 영상을 획득하고 한 프레임의 영상을 저장하는 구성 요소이다. 영상을 저장하기 위한 공간으로 무작위 접근이 가능한 메모리가 있어야 하고, 영상을 메모리에 쓰고 있는 동안 다른 쪽 메모리에 저장된 영상 정보를 처리하여 눈 검출을 하기 위해서 더블 버퍼링이 사용되는 것이 바람직하다.

눈 후보영역 획득부(110)는 카메라로부터 입력되는 영상 또는 메모리부(160)에 저장된 영상에서 눈 후보영역을 획득하다. 눈 후보영역 획득을 위해서는 사용되는 영상에서 사람의 얼굴영역을 검출하기 위한 장치 내지 방법이 선행되어야 한다. 얼굴 영역의 좌표 정보가 있다는 이를 바탕으로 대략적으로 눈이 위치할 가능성이 높은 영역을 눈 후보영역으로 획득한다.

눈 후보영역 크기변환부는 얼굴 영역 좌표 정보를 이용하여 눈 검출의 대상이 되는 후보 영역을 미리 정해진 크기로 변환하는 구성 요소이다. 눈 후보영역은 얼굴의 크기에 따라서 크기가 달라지기 때문에 이를 고정된 크기의 영상으로 변환하여 이후 작업을 수행하여야 한다.

만약, 눈 검출을 위해서 15x15의 윈도우를 사용하는 경우, 검출 가능한 눈의 크기는 15x15로 설정된다. 그러나 얼굴 영역에서 눈의 크기에 따라 15x15 윈도우에 눈 영역이 모두 포함되지 않을 수도 있다. 이러한 경우를 대비하여 15x15 윈도우에 눈이 모두 포함될 수 있도록 영상을 다운스케일링 하는 부분이 필요하다. 즉, 눈 후보영역 크기변환부는 우선 눈 후보영역을 미리 정해진 크기로 변환한 다음 변환한 영상을 소정의 비율로 다운스케일링 하는 작업을 수행한다.

여러 비율에 따라 다운스케일링을 하는 경우, 각 다운스케일 영상의 해상도 차이가 발생하게 된다. 따라서 동일한 클럭을 이용하여 얼굴 검출을 수행하는 경우 픽셀 또는 라인별 클럭을 이용하지 않게 되는 공백이 발생한다. 본 발명에 따른 실시간 눈 검출 장치(100)는 학습데이터 비교부(140)에서 얼굴 학습 데이터의 하드웨어 사용량을 줄이기 위해 클럭이 이용되지 않는 공백을 사용할 수 있다.

도 2는 본 발명에 따른 실시간 눈 검출 장치(100)가 눈 후보 영역의 크기를 변환하는 방법을 나타낸 도면이다.

눈 후보영역 획득부(110)는 저장된 영상과 외부의 얼굴 검출 장치로부터 획득한 얼굴 영역의 좌표정보를 입력받는다. 도 2에서 눈 후보영역은 왼쪽 눈 후보영역과 오른쪽 눈 후보영역으로 나뉜다. 왼쪽 눈 후보영역은 얼굴 영역을 상하 밑 좌우로 2분할한 영역 중 좌측 상단 영역이 된다. 오른쪽 눈 후보영역은 상기와 같이 분할한 영역 중에 우측 상단 영역이 된다.

이때 오른쪽 눈 후보영역은 원래 영상영역을 좌우 대칭으로 회전시켜서 얻을 수 있다. 물론 양쪽 눈 후보 영역을 각각 획득할 수 있으나, 한쪽 눈 후보 영역을 이용하는 경우 왼쪽 눈 영역과 오른쪽 눈 영역에 대해 동일한 MCT 변환과 학습데이터 비교를 수행하기 때문에 쪽과 오른쪽에 대해 동일한 학습데이터를 적용하므로 학습데이터를 저장하기 위한 공간을 절약할 수 있다.

도 2에서 입력되는 영상은 메모리부(160)의 메모리에 저장되어 있다. 따라서 메모리에 저장된 영상에서 왼쪽 눈과 오른쪽 눈 후보 영상을 가져오기 위해서는 메모리를 순차적으로 접근해야 한다. 왼쪽 눈 후보 영상을 가져올 때는 얼굴영상의 왼쪽에서 오른쪽으로 메모리를 접근하고, 오른쪽 눈 후보 영상은 얼굴영상에서 오른쪽에서 왼쪽으로 메모리를 접근하여 데이터를 가져 올 수 있다. 즉 오른쪽 눈 후보영상과 왼쪽 눈 후보 영상에 대해 병렬적으로 눈 후보 영역을 획득할 수 있다.

눈 후보 영상은 별도의 레지스터에 저장될 수도 있다. 따라서 일단 메모리 접근이 끝나서 왼쪽과 오른쪽 눈의 후보영상이 생성되면 이후 눈 후보영역 크기 변환부(120)에서 다운스케일링 영상은 병렬적으로 동시에 생성이 가능하다. 도 2에 표현된 것과 같이 왼쪽 눈 후보 영상과 오른쪽 눈 후보영상이 생성되면 나머지 3개의 다운스케일 영상은 동시에 병렬적으로 생성하게 된다.

결국 눈 후보영역 획득부(110)에서 획득한 눈 후보영역 및 눈 후보영역 크기 변환부(120)에서 생성된 다운스케일링 영상에 대해 MCT(Modified Census Transform) 변환을 수행한다. 도 2에서는 총 8개의 눈 후보 영상은 이후 MCT 변환부(130)에 동시에 입력되어 8개의 MCT 영상을 생성하게 된다.

눈 후보영역 크기 변환부(120)는 눈 후보영역 획득부(110)에서 눈 후보영상을 획득하면, 획득한 눈 후보영상에 대한 다운스케일링 비율이 서로 다른 복수 개의 다운스케일링 영상을 동시에 병렬적으로 생성한다.

MCT 변환부(130)는 눈 후보영역 획득부(110)에서 획득한 눈 후보 원본 영상 및 눈 후보영역 크기 변환부(120)에서 다운스케일링된 영상에 대해 MCT 연산을 수행한다. MCT 연산에서는 3x3 윈도우를 생성하여 전체 9개의 픽셀 값의 평균과 각 픽셀 밝기 값을 비교하여 평균보다 작으면 0, 평균보다 크거나 같으면 1로 계산한다. 총 9개의 픽셀에 대하여 계산을 수행하므로 9비트 길이의 코드가 생성된다.

도 3은 본 발명에 따른 실시간 눈 검출 장치(100)가 입력 영상에 대하여 MCT 변환을 수행하는 방법을 나타낸 도면이다.

도 3은 본 발명에 따른 실시간 눈 검출 장치(100)가 입력 영상에 대하여 MCT 변환을 수행하는 방법을 나타낸 도면이다. 도 3에서 도시된 3x3 윈도우 내의 픽셀들의 평균값은 95.11이 된다. 그 평균값과 윈도우 내의 각 픽셀을 비교해서 픽셀값이 작은 경우 0, 크거나 같은 경우는 1로 변환한다. 그리고 변환된 비트를 일정한 순서로 연결하여 9비트의 비트열을 생성해낸다. 이때 획득된 9비트의 비트열이 3x3 윈도우 내의 중심 픽셀의 MCT 비트열 값이 된다. 이와 같은 방법으로 MCT 변환부(130)는 3x3 윈도우 내의 픽셀의 밝기 값을 이용하여 MCT 변환을 수행하게 된다.

이때 생성되는 비트의 조합 순서는 학습데이터 비교부(140)에서 사용되는 학습데이터가 생성되는 과정에서 사용된 순서와 동일해야 한다.

학습데이터 비교부(140)는 각 윈도우 영상과 사전에 준비된 학습데이터를 이용하여 윈도우를 구성하는 각 픽셀에 대한 신뢰도를 결정한다. 학습데이터는 룩업 테이블 형태로 구성된다.

학습데이터 룩업 테이블은 얼굴영역 영상을 구성하는 각 픽셀의 밝기를 기준으로 사전에 학습된 룩업 테이블이다. 눈 주변 얼굴영역은 얼굴을 구성하는 부위의 높낮이 및 굴곡에 따라 영상에 나타나는 밝기가 상이한데, 학습데이터 룩업 테이블은 학습을 위해 사전에 입력되는 영상을 이용하여 각 픽셀별로 밝기에 따라 얼굴영역일 가능성을 확률값으로 저장한 것이다. 신뢰도값은 이 확률값을 의미한다.

예컨대, 얼굴영상에서 특정 픽셀의 밝기가 23이라고 학습된 경우, 비교 대상이 되는 영상에서 해당 픽셀의 밝기가 23이면 신뢰도값은 1이되고, 밝기가 15이면 약 0.68의 신뢰도값을 갖게되고, 밝기가 150이면 약 0.15의 신뢰도값을 갖는 것이다.

학습데이터 비교부(140)는 다운스케일링 된 눈 영상의 MCT 영상을 입력받아 소정의 크기를 가지는 윈도우를 생성한다. 그리고 소정의 크기를 가지는 윈도우는 입력된 MCT 영상을 따라서 순차적으로 움직이며 진행한다. 학습데이터 비교부(140)는 윈도우에 포함된 영상과 이미 생성되어 있는 학습데이터를 비교하여, 상기 윈도우에 포함된 영상이 눈 영역인지를 판별한다.

학습데이터 비교부(140)에서 윈도우는 레지스터를 기반으로 구현되며, 각 윈도우의 픽셀에 동시 접근이 가능하다. 이러한 구조로 인해 윈도우 내 모든 픽셀에 대한 신뢰도 값을 동시에 얻어낼 수 있다. 윈도우 내의 각 위치의 픽셀들은 해당하는 픽셀의 MCT 값에 따른 신뢰도 값을 룩업테이블 형태로 유지하고 있다.

도 4는 본 발명에 따른 실시간 눈 검출 장치(100)가 MCT 변환된 다운스케일링 영상으로부터 눈 영역 윈도우를 구성하고 신뢰도 값을 산출하는 방법을 나타낸 도면이다.

도4는 본 발명에 따른 실시간 눈 검출 장치(100)가 MCT 변환된 다운스케일링 영상으로부터 눈 영역 윈도우를 구성하고 신뢰도 값을 산출하는 방법을 나타낸 도면이다. 도4는 왼쪽 눈에 대한 예시만을 도시하였고 오른쪽 눈도 동일한 방식으로 왼쪽 눈 검출과 동시에 수행된다.

한편, 학습데이터 비교부(140)는 몇 개의 스테이지로 구성될 수 있다. 예를 들어 스테이지 1에서는 15x15 윈도우 내에서 22개의 픽셀을 선정하여 픽셀별 신뢰도 값을 룩업테이블을 통해 뽑아내고 이 신뢰도 값을 모두 더한 신뢰도 값이 일정한 기준값 이상인 경우 상기 입력된 영상이 눈 영상일 수 있다고 판단하여 다음 스테이지(예를 들어 스테이지2)로 진행하는 것이다. 그 후 모든 스테이지를 통과한 영상의 경우 각 스테이지에서 획득한 신뢰도 값의 합이 해당 영상 영역의 최종 신뢰도 값이 된다.

본 발명에 따른 눈 후보영역 크기 변환부(120)는 도 2에서 제시한 방법에 따라 다수의 다운스케일링 영상을 생성한다. 이들 다운스케일링 영상들은 MCT 변환부(130)를 거쳐 MCT 비트열로 이루어진 영상으로 변형된다. 도 4에서 표현한 제1 다운스케일링 영상부터 제4 다운스케일링 영상까지는 모드 MCT 비트열로 변환된 영상이다. 도 4에 도시된 바와 같이, 모든 다운스케일링 영상은 스테이지 1부터 스테이지 3까지 병렬적으로 입력되게 된다. 각각의 스테이지들은 입력받은 하나의 클럭 주기(또는 소정의 클럭 주기) 동안 모든 다운스케일링 영상에 대해서 15x15윈도우가 위치한 영역이 눈 영역인지 아닌지를 판단할 수 있다.

결국 학습데이터 비교부(140)는 생성된 윈도우에 대해 정보량이 서로 다른 복수 개의 학습데이터 룩업 테이블을 이용하여 신뢰도값을 매칭하는 것을 특징으로 하되, 복수 개의 학습데이터 룩업 테이블을 각각 이용하여 신뢰도값 세트를 병렬적으로 생성할 수 있다.

눈 검출부(150)는 학습데이터 비교부(140)에서 얻어진 신뢰도 값을 이용하여 신뢰도 값이 특정한 값 이상인 경우 해당 윈도우의 MCT영상 내에서의 위치와 MCT영상의 전체 영상 내에서의 위치를 고려하여 전체 영상 내에서 눈의 영역을 검출하게 된다. 특히 윈도우가 입력된 MCT 영상을 이동하면서, 동일한 눈 영역이 중복되어 검출될 수 있다. 이와 같이 중복 검출된 눈 영역은 학습데이터에 따라 신뢰도 값이 가장 큰 영역을 최종 눈 영역으로 선정하는 것이 바람직하다.

눈 검출부(150)는 복수 개의 학습데이터 룩업 테이블을 이용하여 생성된 신뢰도값 세트 각각에 대하여 모든 픽셀의 신뢰도값을 합산한 값이 기준값 이상인 눈 후보영역을 최종 눈 영역으로 검출한다. 신뢰도값 세트는 하나의 학습데이터 룩업 테이블을 이용하여 생성된 각 픽셀에 대한 신뢰도값 데이터를 말한다.

도 5는 본 발명에 따른 실시간 눈 검출 장치(100)가 입력 영상으로부터 눈 좌표를 검출한 결과를 나타낸 도면이다.

도 5의 스테이지 1에서 윈도우는 MCT 변환 영상을 따라서 좌에서 우로 위에서 아래로 이동한다. 윈도우가 이동하면서 윈도우 내의 특정 픽셀에 대해서 MCT 값에 따른 신뢰도를 가져온다. 신뢰도 데이터는 룩업테이블에 미리 저장되어 있다. 해당 윈도우 내의 픽셀들에 대한 신뢰도의 합이 현재 윈도우 위치에서의 신뢰도가 되고 이 신뢰도가 기준값 이상(또는 이하)과 같이 기준 조건을 만족하지 못하는 영상들은 얼굴 영역이 아닌 것으로 판단되어 더 이상의 스테이지 진행을 하지 않는다.

스테이지 2에서는 스테이지 1보다 더 많은 정보를 가지고 있는 룩업 테이블을 이용하여 전달된 다운스케일링 영상의 신뢰도를 평가한다. 스테이지 2도 스테이지 1과 마찬가지로 신뢰도 값을 계산하여 이값이 기준값 또는 기준 조건에 따라 다음 스테이지로의 진행 여부를 결정한다. 기준값은 학습데이터를 이용하여 사전에 결정되거나, 시스템 또는 사용자의 설정에 따라 설정될 수 있다.

이후 모든 스테이지를 통과하게 되면 해당 윈도우 영역은 눈 영역으로 판단되게 된다. 본 발명에 따른 실시간 눈 인식 장치는 개별 스테이지를 순차적으로 수행하는 것이 아니라 동시에 수행하고 3개의 스테이지를 모두 통과한 영역을 눈 영역으로 판단한다.

각 스테이지의 윈도우와 룩업테이블은 별도의 레지스터로 구성된다. 윈도우 내의 모든 픽셀들에 대해 순차적인 접근이 아닌 동시에 룩업테이블에서 신뢰도 값을 얻어올 수 있다. 따라서 기존 PC 의 소프트웨어 방식에 비해 메모리 접근 횟수를 줄여서 전체 신뢰도 값을 계산하는 시간을 단축시킬 수 있다.

도 5는 본 발명에 따른 실시간 눈 검출 장치(100)가 입력 영상으로부터 눈 좌표를 검출한 결과를 나타낸 도면이다. 도 5에서는 총 2명의 얼굴이 검출되어 각각의 얼굴에 대하여 왼쪽/오른쪽 눈을 검출하게 된다. 15x15 윈도우 크기로 촬영된 영상 중에서 눈으로 판단되는 영역은 다수가 존재할 수 있다. 예를 들어, ①번 얼굴에서 ⓐ번 눈을 포함하는 윈도우는 모두 눈으로 검출될 확률이 크다. 즉 ⓐ번 눈 근처에서 여러 개의 눈이 검출될 수 있다는 것이다. 이때 본 발명에 따른 눈 검출부(150)는 ⓐ번 눈 근처에서 검출된 눈 후보군들 중에서 눈 영역의 신뢰도 합이 가장 큰 윈도우를 최종 눈 영역으로 선택한다. 도 5의 검출결과에서는 검출된 눈 영역에서 중심점을 붉은 색 점으로 출력해주었다.

이하 본 발명에 따른 실시간 눈 검출 방법에 대해 설명하고자 한다. 전술한 실시간 눈 검출 장치(100)와 중복되는 내용은 간략하게 언급하고자 한다. 도 6은 본 발명의 일 예에 따른 실시간 눈 검출 방법의 순서도이다.

S1 단계는 오른쪽 또는 왼쪽 눈 후보영역 중 하나가 획득되면, 나머지 하나의 눈 후보영역은 획득한 영상을 좌우 대칭으로 회전시켜 획득할 수 있다.

물론 양쪽 눈 후보영역을 모두 각자 획득할 수도 있고, 이때 S1 단계는 얼굴 영역이 포함된 영상에서 오른쪽 및 왼쪽 눈 후보영역에 대한 영상 데이터를 동시에 병렬적으로 획득할 수도 있다.

S2 단계는 S1 단계에서 획득된 눈 후보영상에 대한 다운스케일링 비율이 서로 다른 복수 개의 다운스케일링 영상이 동시에 병렬적으로 생성된다.

S4 단계는 생성된 윈도우에 대해 정보량이 서로 다른 복수 개의 학습데이터 룩업 테이블을 이용하여 신뢰도값이 매칭되는 것을 특징으로 하되, 복수 개의 학습데이터 룩업 테이블을 각각 이용하여 신뢰도값 세트가 병렬적으로 생성된다.

S5 단계는 복수 개의 학습데이터 룩업 테이블을 이용하여 생성된 신뢰도값 세트 각각에 대하여 모든 픽셀의 신뢰도값을 가산한 값이 기준값 이상인 눈 후보영역이 최종 눈 영역으로 결정된다.

본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.

100 : 실시간 눈 검출 장치 110 : 눈 후보영역 획득부
120 : 눈 후보영역 크기 변환부 130 : MCT 변환부
140 : 학습데이터 비교부 150 : 눈 검출부
160 : 메모리부

Claims

영상에서 눈을 검출하는 장치에 있어서,
얼굴 영역이 포함된 영상에서 눈 후보영역을 획득하는 눈 후보영역 획득부;
상기 눈 후보영역 획득부에서 획득한 눈 후보영역에 대한 복수 개의 다운스케일링 영상을 생성하는 눈 후보영역 크기 변환부;
상기 눈 후보영역 획득부에서 획득된 눈 후보영역의 영상 및 상기 눈 후보영역 크기 변환부에서 생성된 각 영상에 대해 MCT 연산을 수행하는 MCT 변환부;
상기 MCT 변환부에서 MCT 연산이 수행된 각 영상에 대한 윈도우를 생성하고, 상기 생성된 윈도우를 구성하는 각 픽셀에 대하여 학습데이터 룩업 테이블을 이용하여 상기 각 픽셀에 대한 신뢰도값을 매칭하는 학습데이터 비교부; 및
상기 학습데이터 비교부의 윈도우를 구성하는 모든 픽셀의 신뢰도값을 합이 기준값이 이상인 눈 후보영역을 최종 눈 영역으로 검출하는 눈 검출부를 포함하는 것을 특징으로 하는 실시간 눈 검출 장치.
제1항에 있어서,
입력된 영상이 프레임 단위로 저장되는 메모리부를 더 포함하되, 상기 메모리부는 상기 눈 후보영역 크기 변환부에서 생성되는 복수 개의 다운스케일링 영상도 저장되는 것을 특징으로 하는 실시간 눈 검출 장치.
제1항에 있어서,
상기 눈 후보영역 획득부는
오른쪽 또는 왼쪽 눈 후보영역 중 하나를 획득하면, 나머지 하나의 눈 후보영역은 상기 획득한 영상을 좌우 대칭으로 회전시켜 획득하는 것을 특징으로 하는 실시간 눈 검출 장치.
제3항에 있어서,
상기 오른쪽 또는 왼쪽 눈 후보영역 중 하나에 대해서만
상기 눈 후보영역 크기 변환부가 다운스케일링을 수행하고, 상기 MCT 변환부가 MCT 연산을 수행하고, 상기 학습데이터 비교부에서 신뢰도값을 매칭하고, 상기 눈 검출부에서 최종 눈 영역으로 검출하는 것을 특징으로 하는 실시간 눈 검출 장치.
제2항에 있어서,
상기 눈 후보영역 획득부는
상기 메모리부에 저장된 영상에서 오른쪽 및 왼쪽 눈 후보영역에 대한 영상 데이터를 동시에 병렬적으로 획득하는 것을 특징으로 하는 실시간 눈 검출 장치.
제1항에 있어서,
상기 눈 후보영역 크기 변환부는
상기 눈 후보영역 획득부에서 눈 후보영상을 획득하면, 획득한 눈 후보영상에 대한 다운스케일링 비율이 서로 다른 복수 개의 다운스케일링 영상을 동시에 병렬적으로 생성하는 것을 특징으로 하는 실시간 눈 검출 장치.
제1항 또는 제6항에 있어서,
상기 학습데이터 비교부는
생성된 윈도우에 대해 정보량이 서로 다른 복수 개의 학습데이터 룩업 테이블을 이용하여 신뢰도값을 매칭하는 것을 특징으로 하되, 복수 개의 학습데이터 룩업 테이블을 각각 이용하여 신뢰도값 세트를 병렬적으로 생성하는 것을 특징으로 하는 실시간 눈 검출 장치.
제7항에 있어서,
상기 눈 검출부는
상기 복수 개의 학습데이터 룩업 테이블을 이용하여 생성된 신뢰도값 세트 각각에 대하여 모든 픽셀의 신뢰도값을 합산한 값이 기준값 이상인 눈 후보영역을 최종 눈 영역으로 검출하는 것을 특징으로 하는 실시간 눈 검출 장치.
영상에서 눈을 검출하는 방법에 있어서,
얼굴 영역이 포함된 영상에서 눈 후보 영역이 획득되는 S1 단계;
상기 S1 단계에서 획득된 눈후보 영역에 대해 복수 개의 다운스케일링 영상이 생성되는 S2 단계;
상기 S1 단계에서 획득한 눈 후보 영역 영상 및 S2 단계에서 생성된 각 영상에 대해 MCT 연산이 수행되는 S3 단계;
상기 S3 단계에서 MCT 연산이 수행된 각 영상에 대한 윈도우가 생성되고, 상기 생성된 윈도우를 구성하는 각 픽셀에 대하여 학습데이터 룩업 테이블을 이용하여 상기 각 픽셀에 대한 신뢰도값이 매칭되는 S4 단계; 및
상기 S4 단계의 윈도우를 구성하는 모든 픽셀의 신뢰도값을 합산한 값이 기준값 이상인 눈 후보영역이 최종 눈 영역으로 결정되는 S5 단계를 포함하는 것을 특징으로 하는 실시간 눈 검출 방법.
제9항에 있어서,
상기 S1 단계는
오른쪽 또는 왼쪽 눈 후보영역 중 하나가 획득되면, 나머지 하나의 눈 후보영역은 상기 획득한 영상을 좌우 대칭으로 회전시켜 획득되는 것을 특징으로 하는 실시간 눈 검출 방법.
제9항에 있어서,
상기 S1 단계는
상기 얼굴 영역이 포함된 영상에서 오른쪽 및 왼쪽 눈 후보영역에 대한 영상 데이터를 동시에 병렬적으로 획득하는 것을 특징으로 하는 실시간 눈 검출 방법.
제9항에 있어서,
상기 S2 단계는
상기 S1 단계에서 획득된 눈 후보영상에 대한 다운스케일링 비율이 서로 다른 복수 개의 다운스케일링 영상이 동시에 병렬적으로 생성되는 것을 특징으로 하는 실시간 눈 검출 방법.
제9항 또는 제12항에 있어서,
상기 S4 단계는
생성된 윈도우에 대해 정보량이 서로 다른 복수 개의 학습데이터 룩업 테이블을 이용하여 신뢰도값이 매칭되는 것을 특징으로 하되, 복수 개의 학습데이터 룩업 테이블을 각각 이용하여 신뢰도값 세트가 병렬적으로 생성되는 것을 특징으로 하는 실시간 눈 검출 방법.
제13항에 있어서,
상기 S5 단계는
상기 복수 개의 학습데이터 룩업 테이블을 이용하여 생성된 신뢰도값 세트 각각에 대하여 모든 픽셀의 신뢰도값을 가산한 값이 기준값 이상인 눈 후보영역이 최종 눈 영역으로 결정되는 것을 특징으로 하는 실시간 눈 검출 방법.