WO2016002986A1

WO2016002986A1 - 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체

Info

Publication number: WO2016002986A1
Application number: PCT/KR2014/005868
Authority: WO
Inventors: 김계영; 이희섭; 이경주; 윤병훈
Original assignee: 숭실대학교산학협력단
Priority date: 2014-06-30
Filing date: 2014-07-01
Publication date: 2016-01-07
Also published as: KR101533686B1; US20170134643A1; US10264176B2

Abstract

시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체가 개시된다. 시선 추적 장치는 시선 추적 장치가 위치한 구역에 있는 사람의 시선을 추적하는 장치로서, 시선 추적 장치의 촬영부를 광각 모드로 설정하고, 촬영부의 광각 시야에 있는 구역을 촬영하고, 촬영한 영상에서 사람을 감지하고, 촬영한 영상에서 사람을 감지하면, 촬영부의 광각 모드를 협각 모드로 전환하여 사람의 시선을 추적하되, 촬영부의 광각 모드를 협각 모드로 전환하여 사람의 시선을 추적하는 것은, 촬영부의 협각 모드에서 사람의 시선을 추적하는 중 협각 모드의 촬영 범위에서 사람이 벗어나면, 촬영부를 협각 모드에서 광각 모드로 전환하여 사람을 재탐색하여 사람의 시선을 추적한다.

Description

시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체

본 발명은 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체에 관한 것으로서, 보다 상세하게는 일정 범위 내에 위치한 사람의 시선을 추적하는 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체에 관한 것이다.

일반적으로 시선 추적 기술은 눈동자의 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 실시간 카메라에 의해 촬영된 영상의 분석을 통해 눈동자의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산함으로써 사람의 시선을 추적한다.

이에 따라, 종래에는 카메라의 촬영범위에 있는 사람의 시선을 추적하였다. 그러나, 카메라의 시선 추적 중 사람이 카메라의 촬영 범위를 벗어나는 경우, 단일 카메라를 사용하는 경우에는 해당 동작을 정지하는 것이 일반적이었고, 복수 개의 카메라를 이용하여 시선을 추적하는 동작을 수행하는 경우에는 사람의 시선을 추적하지 않는 카메라에 의해 사람을 재검출하여 사람의 시선을 추적하였으나, 이러한 시선 추적 기술은 캘리브레이션을 수행하는 단계를 거쳐야하므로 시선 추적 처리단계가 복잡해지며, 복수 개의 카메라를 사용하므로 제품의 단가가 늘어나는 단점이 있다.

본 발명의 일측면에 의하면, 단일의 카메라를 사용하여 사람의 시선 추적 시, 카메라의 광각 모드 또는 협각 모드간의 전환을 통해, 사람의 시선을 추적하는 중 사람이 카메라의 촬영 범위를 벗어나게 되는 경우에도 사람의 시선을 계속적으로 추적할 수 있는 시선 추적 장치를 제공한다.

본 발명의 일측면에 의하면, 안경이나 눈동자에 비친 조명 등의 잡음에 의해 눈동자가 잘못 검출되는 문제를 해결하기 위해, 촬영한 영상에서 1차적으로 눈동자 중심을 검출하고, 검출한 1차 눈동자 중심을 기준으로 2차 눈동자 중심을 검출하여 사람의 시선을 추적하는 시선 추적 방법을 제공한다.

본 발명의 일 측면은 따른 시선 추적 장치는 전환이 가능한 복수의 촬영 모드를 사용하여 사람의 시선을 추적하는 시선 추적 장치로서, 광각 모드로 설정되어 광각 시야에 있는 주변 영상을 촬영하는 촬영부, 상기 광각 모드에서 촬영된 영상에 사람이 검출되면, 상기 사람의 얼굴 영역을 검출하고, 상기 촬영부의 광각 모드를 협각 모드로 전환하여 상기 사람의 시선을 추적하며, 상기 사람의 시선을 추적하는 중 상기 협각 모드에 의한 협각 시야에서 상기 사람이 벗어나면 상기 촬영부를 광각 모드로 전환하고, 상기 광각 모드로 전환된 상태에서 상기 사람이 벗어난 방향으로 이동시켜 상기 사람을 재탐색하도록 제어하는 제어부를 포함한다.

또한, 제어부는, 상기 얼굴 영역을 검출하는 얼굴 영역 검출부, 상기 검출한 얼굴 영역의 확대된 영상을 촬영하도록 상기 촬영부의 광각 모드를 협각 모드로 전환하는 모드 전환부, 상기 광각 모드로 전환된 상태에서 상기 사람을 재탐색하기 위해 상기 사람이 벗어난 방향으로 촬영부가 이동하도록 제어하는 카메라 이동 제어부, 상기 확대된 얼굴 영역 영상에서 눈 영역을 검출하는 눈 영역 검출부, 상기 검출한 눈 영역에서 눈동자를 검출하고, 검출한 눈동자를 추적하도록 상기 촬영부를 제어하는 눈동자 검출부를 포함할 수 있다.

또한, 상기 얼굴 영역 검출부는 상기 촬영한 영상에 얼굴 영역과 얼굴 영역이 아닌 영역을 구분할 수 있는 특징을 사용하여 얼굴 영역을 검출하고, 상기 눈 영역 검출부는 눈 영역과 눈 영역이 아닌 영역을 구분할 수 있는 특징을 사용하여 눈 영역을 검출할 수 있다.

또한, 상기 눈동자 검출부는 상기 검출한 눈 영역에서 1차 눈동자 중심을 산출하고, 상기 산출한 1차 눈동자 중심을 기준으로 원과 에지 정보를 이용하여, 상기 눈동자의 2차 눈동자 중심을 검출하고, 상기 검출한 2차 눈동자 중심을 추적할 수 있다.

또한, 상기 1차 눈동자 중심은 상기 검출한 눈 영역에 VPF(Variance Projection Function)를 적용하여 산출하며, 상기 산출한 1차 눈동자 중심을 기준으로 상기 눈 영역의 에지를 검출하고, 상기 검출한 에지 중 유효점을 산출하여, 상기 산출한 유효점 간의 수직이등분선을 누적하고, 상기 누적한 수직이등분선의 교차점을 상기 눈동자의 2차 눈동자 중심으로 검출하여, 상기 검출한 2차 눈동자 중심을 추적할 수 있다.

본 발명의 다른 측면에 따른 시선 추적 방법은 광각 모드로 설정된 촬영부를 이용하여 광각 시야에 있는 주변 영상을 촬영하고, 상기 촬영한 영상에서 사람을 검출하고, 상기 촬영한 영상에 상기 사람이 검출되면, 상기 사람의 얼굴 영역을 검출하고, 상기 사람의 얼굴 영역에서 시선을 추적하기 위해 상기 촬영부의 광각 모드를 협각 모드로 전환하고, 상기 전환된 협각 모드에서 상기 사람의 시선을 추적하는 중 상기 협각 모드에 의한 협각 시야에서 상기 사람이 벗어나면, 상기 사람을 재탐색하기 위해 상기 촬영부를 광각 모드로 전환하며, 상기 광각 모드에서 상기 사람이 벗어난 방향으로 상기 촬영부를 이동시켜 상기 사람을 재탐색한다.

또한, 상기 촬영한 영상에서 상기 사람을 검출하는 것은, 상기 촬영한 영상에서 상기 사람이 검출되면 상기 사람의 얼굴 영역을 검출하고, 상기 촬영한 영상에서 상기 사람이 검출되지 않으면 미리 정해진 촬영 패턴에 따라 상기 촬영부를 제어하여 상기 사람을 검출할 수 있다.

또한, 상기 사람의 얼굴 영역에서 시선을 추적하기 위해 상기 촬영부의 광각 모드를 협각 모드로 전환하는 것은, 상기 촬영부 렌즈의 초점 거리가 미리 정해진 기준값 이하인 상기 광각 모드에서 상기 촬영부 렌즈의 초점 거리가 미리 정해진 기준값 이상인 상기 협각 모드로 전환하여, 상기 검출한 얼굴 영역을 확대하여 촬영할 수 있다.

또한, 상기 검출한 얼굴 영역에 대한 확대된 영상을 획득하는 것은,

상기 촬영한 광각 시야에 있는 주변 영상의 크기만큼 상기 검출한 얼굴 영역을 확대하여 촬영하도록 상기 협각 모드에 의한 상기 촬영부 렌즈의 초점 거리를 조절할 수 있다.

상술한 본 발명의 일측면에 따르면, 단일 카메라의 광각 모드 및 협각 모드 간의 전환을 통해 촬영 범위에 있는 사람의 시선을 추적할 수 있을 뿐만 아니라, 사람이 촬영 범위를 이탈하는 경우에도 카메라의 광각 모드 및 협각 모드 간의 전환을 통해 사람을 재탐색하여 시선을 추적할 수 있다.

또한, 1차 눈동자 중심을 산출하고, 상기 산출한 1차 눈동자 중심을 기준으로 2차 눈동자 중심을 검출하여 사람의 시선을 추적하므로, 안경이나 눈동자에 비친 조명등의 잡음에 의해 눈동자가 잘못 검출되는 문제를 해결할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 시선 추적 장치의 제어 블록도이다.

도 2 는 도 1 에 도시된 제어부의 세부 블록도이다.

도 3a, 3b 는 도 2 에 도시된 얼굴 영역 검출부의 일 예를 도시한 도면이다.

도 4 는 도 2 에 도시된 모드 전환부의 일 예를 도시한 도면이다.

도 5 는 도 2 에 도시된 눈 영역 검출부의 일 예를 도시한 도면이다.

도 6a, 6b, 6c 는 도 2 에 도시된 1차 눈동자 중심 검출부의 일 예를 도시한 도면이다.

도 7a, 7b, 7c, 7d, 7e, 7f, 7g, 7h 는 도 2 에 도시된 2차 눈동자 중심 검출부의 일 예를 도시한 도면이다.

도 8a, 8b 는 도 2 에 도시된 모드 전환부 및 카메라 이동 제어부의 일 예를 도시한 도면이다.

도 9 는 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도이다.

도 10 은 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도이다.

도 11 은 본 발명의 일 실시예에 따른 얼굴 영역에서 사람의 눈동자 검출 방법을 설명하기 위한 흐름도이다.

도 12 는 본 발명의 일 실시예에 따른 1차 눈동자 중심 검출 방법을 설명하기 위한 흐름도이다.

도 13 은 본 발명의 일 실시예에 따른 2차 눈동자 중심 검출 방법을 설명하기 위한 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

시선 추적 장치(1)는 촬영부(100), 제어부(200), 출력부(300), 메모리부(400)를 포함할 수 있다. 도 1 은 다양한 구성요소를 가지고 있는 시선 추적 장치(1)를 도시하고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 시선 추적 장치(1)가 구현될 수 있고, 그보다 적은 구성요소에 의해 시선 추적 장치(1)가 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 살펴본다.

촬영부(100)는 주변 배경 또는 사람을 촬영할 수 있는 카메라를 포함할 수 있다. 촬영부(100)는 단일의 카메라로 구성되며, 단일의 카메라는 상하좌우 방향으로 이동 및 줌(zoom) 기능을 이용한 영상의 확대/축소 동작 등을 수행할 수 있다.

또한, 촬영부(100)는 제어부(200)에 의해 광각 모드 및 협각 모드로 설정되어 영상을 촬영할 수 있다.

여기서, 광각 모드는 촬영부(100) 렌즈의 초점 거리가 미리 정해진 기준값 이하로 설정되어 상대적으로 넒은 시야를 촬영할 수 있는 모드를 의미하며, 협각 모드는 촬영부(100) 렌즈의 초점 거리가 미리 정해진 기준값 이상으로 설정되어 상대적으로 좁은 시야를 촬영할 수 있는 모드를 의미한다. 예를 들어, 광각 모드는 초점 거리가 50mm 이하로 설정되어, 상하 좌우로 이동하며 넓은 시야를 촬영할 수 있으며, 협각 모드는 초점 거리가 50mm 이상으로 설정되어 특정 영역을 확대하여 촬영할 수 있다. 일반적으로, 광각 모드의 초점 거리는 24~50mm 이며, 협각 모드의 초점 거리는 80~120mm 로 설정될 수 있으며, 설정에 의해 변경될 수 있음은 물론이다.

본 발명의 일 실시예에 따르면, 광각 모드에서는 광각 시야에 있는 주변 영상을 촬영하고, 촬영한 주변 영상에서 사람을 검출할 수 있으며, 검출한 사람의 얼굴 영역을 검출할 수 있다. 또한, 협각 모드에서는 얼굴 영역이 검출되면, 초점 거리를 조절하여 검출한 얼굴 영역을 확대하여 촬영할 수 있다.

제어부(200)는 촬영부(100)를 제어하여 사람의 시선을 추적하도록 제어할 수 있다.

또한, 제어부(200)는 촬영부(100)의 복수 개의 촬영 모드를 조정하여 사람의 시선을 추적할 수 있다. 제어부(200)는 촬영부(100)를 광각 모드 또는 협각 모드 중 어느 하나의 모드로 설정되도록 제어하여 사람의 시선을 추적할 수 있다.

제어부(200)는 촬영부(100)를 광각 모드로 설정하여 광각 시야에 있는 주변 영상을 촬영하도록 제어할 수 있다. 제어부(200)는 광각 시야에 있는 구역을 촬영한 영상에서 사람을 검출할 수 있다. 광각 시야에 있는 주변 영상을 촬영한 영상에서 사람이 검출되면, 검출한 사람의 얼굴 영역을 검출할 수 있으며, 촬영한 영상에서 사람이 검출되지 않으면 미리 정해진 촬영 패턴에 따라 촬영부(100)가 이동하도록 제어하여 사람을 검출할 수 있다.

또한, 제어부(200)는 검출 대상 크기가 작아 검출의 정확도가 떨어지는 문제를 해결하기 위해, 검출한 얼굴 영역에 대한 확대된 영상을 촬영하도록 촬영부(100)를 제어할 수 있다. 제어부(200)는 검출한 얼굴 영역에 대한 확대된 영상을 촬영하기 위해, 촬영부(100)의 광각 모드를 협각 모드로 전환하도록 제어할 수 있다.

이때, 제어부(200)는 촬영부(100)의 촬영 모드를 협각 모드로 전환함으로써, 확대 전 전체 영상 대비 얼굴 영역의 크기 비율에 따라 촬영부(100) 렌즈의 초점 거리를 조절하여 얼굴 영역에 대한 확대된 영상을 촬영할 수 있다.

또한, 제어부(200)는 확대한 얼굴 영역 영상에서 눈 영역을 검출하고, 검출한 눈 영역에서 눈동자를 검출할 수 있으며, 검출한 눈동자 중심의 움직임을 추적함으로써 사람의 시선을 추적할 수 있다.

또한, 제어부(200)는 협각 모드에서 촬영한 영상에서 사람의 시선을 추적하는 중 사람이 협각 모드에서 촬영한 영상의 범위를 이탈하면, 촬영부(100)의 촬영 모드를 협각 모드에서 광각 모드로 전환하여 사람을 재탐색할 수 있다.

이때, 제어부(200)는 사람이 협각 모드에서 촬영한 영상의 범위를 이탈하면 촬영부(100)를 광각 모드로 전환하고, 광각 시야에 사람이 검출되면 사람의 얼굴 영역을 다시 검출하여 시선 추적 과정을 재수행하고, 광각 시야에서 사람이 검출되지 않으면 사람이 이탈한 방향으로 촬영부(100)가 이동하도록 제어하여 사람을 재탐색 할 수 있다.

출력부(300)는 제어부(200)의 제어에 따라 사람의 시선이 추적되는 과정을 나타내는 영상을 출력할 수 있다. 사람의 시선이 추적되는 과정을 나타내는 영상은, 광각 시야에서 촬영한 영상, 사람의 얼굴 영역을 확대한 영상, 사람이 협각 시야의 범위를 이탈하는 영상, 사람의 눈동자를 검출하는 영상 등을 포함할 수 있다. 또한, 출력부(300)는, LCD(Liquid Crystal Display), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 또는 터치스크린 등 다양한 형태의 디스플레이 수단이 사용될 수 있다.

메모리부(400)는 제어부(200)에서 얼굴 영역 및 눈 영역을 검출할 때, 얼굴 영역 및 눈 영역을 검출할 수 있는 정보의 저장을 위한 기능을 수행할 수 있다.

이러한 메모리부(400)는 얼굴 영역을 검출 시, 얼굴 영역 영상 및 얼굴 영역이 아닌 영역의 영상을 저장하고, 얼굴 영역이 아닌 부분과 얼굴 영역인 부분을 구분할 수 있는 얼굴 영역에 대한 특징(feature)들을 저장할 수 있다. 또한, 얼굴 영역을 검출할 때마다 검출한 얼굴 영역에 대한 영상을 업데이트(update)하여 저장할 수 있다.

또한, 메모리부(400)는 검출한 얼굴 영역에서 눈 영역을 검출 시, 눈 영역 영상 및 눈 영역이 아닌 영역의 영상을 저장하고, 눈 영역이 아닌 부분과 얼굴 영역인 부분을 구분할 수 있는 눈 영역에 대한 특징(feature)들을 저장할 수 있다. 또한, 눈 영역을 검출할 때마다 검출한 눈 영역에 대한 영상을 업데이트(update)하여 저장할 수 있다.

도 2 는 도 1 에 도시된 제어부의 세부 블록도이며, 도 3a, 3b 는 도 2 에 도시된 얼굴 영역 검출부의 일 예를 도시한 도면이며, 도 4 는 도 2 에 도시된 모드 전환부의 일 예를 도시한 도면이며, 도 5 는 도 2 에 도시된 눈 영역 검출부의 일 예를 도시한 도면이며, 도 6a, 6b, 6c 는 도 2 에 도시된 1차 눈동자 중심 검출부의 일 예를 도시한 도면이며, 도 7a, 7b, 7c, 7d, 7e, 7f, 7g, 7h 는 도 2 에 도시된 2차 눈동자 중심 검출부의 일 예를 도시한 도면이다.

도 2 를 참조하면, 본 일실시예에 따른 제어부(200)는 얼굴 영역 검출부(210), 모드 전환부(220), 카메라 이동 제어부(230), 눈 영역 검출부(240), 1차 눈동자 중심 검출부(250), 2차 눈동자 중심 검출부(260), 및 눈동자 추적부(270)를 포함한다.

도 2 는 다양한 구성요소를 가지고 있는 제어부(200)를 도시하고 있다. 그러나 도시된 구성요소보다 많은 구성요소에 의해 제어부(200)가 구현될 수 있고, 그보다 적은 구성요소에 의해 제어부(200)가 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 살펴본다.

도 3a, 3b 를 참조하면, 얼굴 영역 검출부(210)는 광각 모드로 설정된 촬영부(100)에 의해 촬영된 광각 시야에 있는 주변 영상에서 사람을 감지하고, 촬영된 영상에서 사람이 감지되면, 사람의 얼굴 영역을 검출할 수 있다.

이때, 촬영한 영상에서 사람이 감지되지 않으면, 카메라 이동 제어부(230)에 의해 미리 정해진 촬영 패턴에 따라 정해진 다음 촬영 구역의 영상을 촬영하도록 촬영부(100)를 제어할 수 있다.

또한, 얼굴 영역 검출부(210)는 메모리부(400)에 기저장된 얼굴로만 이루어진 영상과 얼굴을 제외한 모든 영상을 이용하여 얼굴과 얼굴이 아닌 모든 영상을 구분할 수 있는 특징(feature)을 추출하고, 이를 반복적으로 수행하는 기계학습(machine learning)을 통해 생성된 얼굴 분류기를 사용하여 촬영한 영상에서 얼굴 영역을 검출할 수 있다.

한편, 얼굴 분류기는 아다부스트(Adaboost) 학습 분류기는 포함할 수 있다. 아다부스트(Adaboost) 학습 분류기는 일종의 템플릿 매칭의 한 종류로 특징 값들을 분류하여 물체를 검출하는 방식을 사용하는 분류기이다. 아다부스트(Adaboost) 학습 분류기는 학습단계와 실행단계를 포함할 수 있다. 학습단계에서는 얼굴 영역을 포함하는 영상과 얼굴 영역을 포함하고 있지 않는 영상에서 특징 값들을 추출하고, 추출한 특징 값들을 분류기로 구성하여 얼굴 영역을 검출하는데 사용할 수 있다. 이때, 얼굴 영역의 오검출율을 낮추기 위해 추출한 특징 값들의 매칭 확률에 따라 구성된 다수개의 분류기가 적용될 수 있다. 실행단계에서는 입력된 영상에 학습단계에서 구성한 분류기를 적용하여 얼굴 영역을 검출할 수 있다.

한편, 검출한 얼굴 영역에서 보다 정확하게 사람의 시선을 추적하기 위해, 검출한 얼굴 영역에 대해 고해상도의 영상을 필요로 할 수 있다.

이에 따라, 모드 전환부(220)는 촬영부(100)의 촬영 모드를 광각 모드에서 협각 모드로 전환하도록 제어하여, 도 4 와 같이, 얼굴 영역에 대한 확대한 영상을 획득할 수 있다.

협각 모드는 촬영부(100) 렌즈의 초점 거리를 미리 정해진 기준값 이상으로 조정하여 얼굴 영역을 확대 촬영할 수 있다.

이때, 협각 모드의 초점 거리는 미리 정해진 범위 내에서 가변될 수 있으며, 확대 전 전체 영상 대비 얼굴 영역의 크기 비율에 따라 정해질 수 있다. 또한, 얼굴 영역을 확대하는 것은, 확대 전 전체 영상의 크기만큼 얼굴 영역을 확대할 수 있다.

구체적으로, 확대 전 전체 영상 대비 얼굴 영역의 크기 비율을 산출하고, 산출한 크기 비율에 따라 얼굴 영역의 확대할 확대 배율을 산출하고, 산출한 확대 배율에 따라 협각 모드의 초점 거리를 조절하여 얼굴 영역을 확대 촬영할 수 있다. 예를 들어, 확대 전 전체 영상 대비 얼굴 영역의 크기 비율이 20%로 산출되면, 얼굴 영역의 크기를 확대 전 전체 영상의 크기만큼 확대하기 위한 확대 배율은 5배율로 산출되며, 협각 모드는 5배율에 해당하는 초점 거리를 산출하여 조정함으로써 얼굴 영역을 확대 전 전체 영상의 크기만큼 확대할 수 있다. 한편, 협각 모드로 전환하면서, 얼굴 영역의 크기를 전체 영상의 크기만큼 확대하는 것을 일 예이며, 전체 영상의 50%만큼 확대하는 등 다양한 크기로 확대가 가능함은 물론이다. 즉, 확대되는 얼굴 영역의 크기 비율은 자체적으로 눈동자를 추적할 수 있는 스펙으로 조정될 수 있다.

눈 영역 검출부(240)는 도 5 와 같이, 확대한 얼굴 영역 영상에서 눈 영역을 검출할 수 있다.

구체적으로, 눈 영역 검출부(240)는 눈 분류기를 이용하여 눈 영역을 검출할 수 있다. 눈 분류기는 눈으로만 이루어진 영상과 눈을 제외한 모든 영상을 이용해 눈과 눈이 아닌 모든 영상을 구분할 수 있는 특징(feature)을 추출하여 저장하고, 이를 반복적으로 수행하는 기계학습(machine learning)을 통해 생성될 수 있다.

한편, 눈 분류기는 아다부스트(Adaboost) 학습 분류기를 포함할 수 있다.

이때의 아다부스트(Adaboost) 학습 분류기는 일종의 템플릿 매칭의 한 종류로 특징 값들을 분류하여 물체를 검출하는 방식이다. 아다부스트(Adaboost) 학습 분류기는 학습단계와 실행단계를 포함할 수 있다. 학습단계에서는 눈 영역을 포함하는 영상과 눈 영역을 포함하고 있지 않는 영상에서 특징 값들을 추출하고, 추출한 특징 값들을 분류기로 구성하여 얼굴 영역을 검출하는데 사용할 수 있다. 이때, 얼굴 영역의 오검출율을 낮추기 위해 상기 추출한 특징 값들의 매칭 확률에 따라 구성된 다수개의 분류기가 적용될 수 있다. 실행단계에서는 입력된 영상에 학습단계에서 구성한 약 분류기를 적용하고, 단계적으로 강 분류기를 적용하여 눈 영역을 검출할 수 있다.

1차 눈동자 중심 검출부(250)는 눈 영역에서 1차 눈동자 중심을 검출한다.

한편, 눈 영역에서 1차 눈동자 중심을 검출하는 것은, 공지된 여러가지 방법이 사용될 수 있으며, 이하 일 예인 VPF(Variance Projection Function)를 적용하여 1차 눈동자 중심을 검출하는 방법을 설명한다.

이때, VPF는 명암 변화를 측정하는 함수로, 입력 영상에 VPF를 적용하면 입력된 영상의 픽셀마다 명암값을 측정하고, 전체 픽셀의 평균 명암값과 해당 픽셀의 명암값을 비교하여 전체 픽셀의 평균 명암값 대비 해당 픽셀의 명암값의 차이를 측정할 수 있다. 또한, VPF를 입력 영상에 적용했을 때, 해당 픽셀의 명암값이 전체 픽셀의 평균 명암값과 큰 차이를 보이면 VPF의 값이 크게 나타날 수 있으며, 평균 명암값과 비슷하면 VPF의 값이 작게 나타날 수 있다.

구체적으로, 1차 눈동자 중심 검출부(250)는 눈 영역에 수직 및 수평 방향으로 VPF을 적용하여 눈 영역의 수직 및 수평 방향에 대한 VPF의 값을 검출할 수 있으며, 검출한 수직 및 수평 방향에 대한 VPF의 값에 따라 1차 눈동자 중심을 검출할 수 있다.

이때, 눈 영역에서 눈동자가 위치한 영역은 다른 영역에 비해 상대적으로 어둡기 때문에 상대적으로 VPF의 값이 크게 나타날 수 있다. 이에 따라, 눈 영역에 수직 및 수평 방향으로 VPF를 적용했을 때, 수직 및 수평 방향으로 VPF의 값이 크게 나타난 영역은 눈동자가 위치한 영역을 나타낼 수 있다. 또한, 수직 및 수평 방향에 대해 VPF의 값이 크게 나타나는 영역이 교차하는 영역은 눈동자가 위치한 영역을 나타낼 수 있다.

도 6a 를 참조하면, 눈 영역에 수평 방향으로 VPF를 적용하였을 때, 점선 사이에 위치한 영역에서 VPF의 값이 크게 나타나며, 이 영역은 눈동자가 위치한 영역을 나타낼 수 있다. 도 6b 를 참조하면, 눈 영역에 수직 방향으로 VPF를 적용하였을 때, 점선 사이에 위치한 영역에서 VPF의 값이 크게 나타나며, 이 영역은 눈동자가 위치한 영역을 나타낼 수 있다. 또한, 도 6c 를 참조하면, 수직 및 수평 방향에 대해 VPF의 값이 크게 나온 영역이 교차하는 영역은 눈동자가 위치한 영역을 나타낼 수 있으므로, 교차하는 영역의 중심점을 1차 눈동자 중심으로 검출할 수 있다.

한편, 교차하는 영역의 중심점은 교차하는 영역에 대한 좌표 중심일 수 있으며, 교차하는 영역의 무게 중심일 수 있다.

이때, 수직 및 수평 방향의 VPF의 값은 식 (1), (2)를 통해 계산된다.

(1)

(2)

(3)

(4)

,

는 각각 수직 및 수평 방향의 VPF의 값이며, I는 그레이(gray) 스케일 영상을 의미하고,

는 각 x, y방향의 명암도의 합을 나타낸다. 수직 및 수평 VPF에서 가장 작은 valley를 찾아 1차 눈동자 중심좌표

를 계산한다.

(5)

(6)

,

는 수직 VPF의 Valley이고

,

는 수평 VPF의 Valley이다.

2차 눈동자 중심 검출부(260)는, 도 7a, 7b 와 같이, 검출한 1차 눈동자 중심

을 기준으로 α°씩 회전하면서 직선 방향으로 에지점

을 탐색할 수 있다.(i=1…N, N : 찾아진 에지점의 개수)

(7)

은

을 중심으로 탐색되어지는

번째 직선의 좌표이고,

는 임계값을 의미한다. 해당 위치의 명암값이 임계값보다 클 경우 해당 위치를 에지점으로 한다. 임계값은

로부터 탐색되어지는

까지의 평균 명암값으로 한다.

도 7c, 7d 와 같이, 탐색한 에지점을 시작으로 식 (7)을 이용하여 에지점을 재탐색한다. 상기 재탐색한 에지점

의 평균 위치를 이용해 1차 눈동자 중심인

를 다시 계산한다.

(8)

AVERAGE는 에지점들의 평균 위치를 계산하는 함수이다. 도 7e 와 같이,

을 기준으로 각 에지점들 간의 거리를 계산한 후에 아래의 조건을 만족하는 점을 유효점

으로 걸러낸다.

(9)

는 임계값으로

와

간의 평균 거리로 구한다.

도 7f 와 같이, 걸러진 유효한 점들을 대상으로 원의 현의 수직이등분선은 반드시 원의 중심을 지난다는 법칙을 이용하여, 도 7g 와 같이, 각 점들간의 수직 이등분선을 계산한 후 2차원 배열에 누적할 수 있다.

마지막으로 도 7h 와 같이, 누적 배열의 상위 5%에 해당하는 위치들의 중심을 눈동자의 중심으로 검출할 수 있다.

도 8a 를 참조하면, 협각 모드로 전환된 촬영부에 의해 확대하여 촬영된 얼굴 영역 영상에서 사람이 촬영 범위 밖으로 이탈하면, 모드 전환부(220)는 촬영부(100)를 협각 모드에서 광각 모드로 전환하고, 도 8b 와 같이, 카메라 이동 제어부(230)는 사람이 이탈한 방향으로 촬영부(100)의 촬영 방향을 이동시켜 사람을 재탐색할 수 있다.

눈동자 추적부(270)는 검출한 2차 눈동자 중심을 추적하여 사람의 시선을 추적할 수 있다.

시선 추적 장치(1)는 시선을 추적하는 과정이 시작되면, 촬영부(100)를 광각 모드로 설정한다(510).

광각 모드로 설정된 촬영부(100)는 광각 시야에 있는 주변 영상을 촬영한다(520). 촬영한 영상에서 사람이 있는지 여부를 확인한다(530).

또한, 시선 추적 장치(1)는 촬영한 영상에 사람이 감지되면, 사람의 얼굴 영역을 검출한다(540). 사람의 얼굴 영역이 검출되면, 촬영부(100)의 촬영 모드를 광각 모드에서 협각 모드로 전환한다(550).

한편, 촬영한 영상에서 사람이 감지되지 않으면, 미리 정해진 촬영 패턴에 따라 촬영부(100)를 이동시켜 광각 시야에 있는 주변 영상을 촬영하고, 사람을 검출한다.

협각 모드로 전환된 촬영부(100)는 촬영 배율을 조절하여 검출한 얼굴 영역을 확대 촬영하고, 확대 촬영한 얼굴 영역 영상에서 사람의 눈동자를 검출 및 추적한다(560~570).

한편, 시선 추적 장치(1)는 촬영한 영상에 얼굴 영역을 검출할 수 있는 얼굴 영역 특징(feature)을 매칭하여 얼굴 영역을 검출함으로써, 촬영한 영상에서 얼굴 영역이 검출할 수 있다.

한편, 촬영부(100)의 촬영 모드를 광각 모드에서 협각 모드로 전환하는 것은, 얼굴 영역으로부터 보다 정확하게 사람의 시선을 추적하기 위해 얼굴 영역에 대해 고해상도의 영상이 필요할 수 있다. 이에 따라, 촬영부(100)의 촬영 모드를 광각 모드에서 협각 모드로 전환하여 촬영부(100) 렌즈의 초점 거리를 미리 정해진 기준값 이상으로 조정할 수 있다. 촬영부(100) 렌즈의 초점 거리는 얼굴 영역이 광각 시야에 있는 주변 영상을 촬영한 영상의 크기만큼 확대되도록 조정한다.

시선 추적 장치(1)는 협각 모드의 협각 시야에서 사람의 시선을 추적 시, 협각 모드의 협각 시야에서 사람이 이탈할 경우 촬영부(100) 제어를 통해 사람을 재탐색하여 사람의 시선을 추적할 수 있다.

협각 모드의 협각 시야에서 사람이 이탈하는지 여부를 확인한다(610). 사람이 협각 모드의 협각 시야에서 벗어나지 않으면, 확대하여 촬영한 얼굴 영역 영상에서 사람의 눈동자를 검출 및 추적한다(570).

또한, 사람이 협각 모드의 협각 시야에서 벗어나면, 촬영부(100)의 촬영 모드를 협각 모드에 광각 모드로 전환(630)하고, 광각 모드로 전환된 상태에서 광각 시야에 있는 주변 영상을 촬영한다(640).

또한, 촬영한 광각 시야에 있는 주변 영상에서 사람이 감지(650)되면, 사람의 얼굴 영역을 검출하고, 촬영부(100)의 촬영 모드를 협각 모드로 전환하여 얼굴 영역을 확대 촬영하며, 확대 촬영한 얼굴 영역에서 사람의 눈동자를 검출 및 추적한다(540).

또한, 촬영한 광각 시야에 있는 주변 영상에서 사람이 감지(650)되지 않으면, 사람이 이탈한 방향으로 촬영부(100)를 이동시켜 영상을 촬영(660)하고, 촬영부(100)를 이동시켜 촬영한 영상에서 사람이 감지(670)되면 사람의 얼굴 영역을 검출하고, 촬영부(100)를 협각 모드로 전환하여 얼굴 영역을 확대 촬영하여 사람의 시선을 검출 및 추적한다(540).

또한, 촬영부(100)를 이동시켜 촬영한 영상에서 사람이 감지되지 않으면 시선 추적 과정을 종료한다.

확대 촬영한 얼굴 영역 영상에서 눈 영역을 검출한다(710).

한편, 확대 촬영한 얼굴 영역 영상에서 눈 영역을 검출하는 것은, 확대 촬영한 얼굴 영역 영상에 눈 영역을 검출할 수 있는 눈 영역 특징을 얼굴 영역 영상에 매칭하여 눈 영역을 검출할 수 있다.

또한, 일반적으로 사람이 특정 점을 주시할 때는 특정 점이 눈동자의 중심에 위치하도록 안구가 조절된다. 이에 따라, 검출한 눈 영역에서 사람의 시선을 추적하기 위해 눈동자 중심을 검출한다.

한편, 검출한 눈 영역에서 눈동자 중심을 검출하는 것은, 1, 2차에 걸쳐 눈동자 중심을 검출하는 데, 이는 안경이나 눈동자에 비친 조명 등의 잡음에 의해 눈동자 중심이 잘못 계산되어지는 경우를 고려하는 것이다.

검출한 눈 영역에서 VPF(Variance Projection Function)을 적용하여 1차 눈동자 중심을 검출(720)하고, 검출한 1차 눈동자 중심을 기준으로 2차 눈동자 중심을 검출한다(730). 이후, 검출한 2차 눈동자 중심을 추적(740)함으로써, 사람의 시선을 추적한다.

이때, 픽셀의 명암 변화를 측정하는 함수인 VPF(Variance Projection Function)을 눈 영역에 적용하여 1차 눈동자 중심을 검출할 수 있으며, 보다 정확하게 1차 눈동자 중심을 검출하기 위해 눈 영역에 수직 및 수평 방향으로 VPF(Variance Projection Function)을 적용하여 1차 눈동자 중심을 검출할 수 있다. 또한, VPF(Variance Projection Function)의 해당 픽셀의 명암값이 영상 전체의 평균 명암값과 큰 차이를 보이면 VPF의 값은 크게 나타나며, 평균 명암값과 비슷하면 VPF의 값이 작게 나온다는 것을 이용하여 1차 눈동자 중심을 검출할 수 있다.

검출한 눈 영역에 수직 방향으로 VPF(Variance Projection Function)를 적용하여, 수직 방향에 대한 VPF의 값을 검출한다(711).

또한, 검출한 눈 영역에 수평 방향으로 VPF(Variance Projection Function)를 적용하여, 수평 방향에 대한 VPF의 값을 검출한다(712).

이때, 눈 영역에서 눈동자 영역은 다른 영역에 비해 어둡기 때문에 명암 변화가 크게 나타날 수 있다. 이에 따라, 수직 및 수평 방향에 대한 VPF의 값 중 VPF의 값이 높게 나온 영역은 수직 및 수평 방향에 대한 눈동자가 위치한 영역을 의미할 수 있으며, 수직 및 수평 방향에 대해 VPF의 값이 높게 나온 영역이 교차하는 영역을 눈동자 영역으로 검출할 수 있다.

또한, 수직 및 수평 방향에 대해 VPF의 값이 높게 나온 영역이 교차하는 영역을 검출(713)하고, 교차하는 영역의 중심을 1차 눈동자 중심으로 산출한다(714).

검출한 1차 눈동자 중심을 기준으로 α°씩 회전하면서 직선 방향으로 에지점을 탐색한다(721). 검출한 에지점 중 미리 정해진 방식을 통해 유효점을 걸러낸다(722).

걸러진 유효한 점들을 대상으로 원의 현의 수직이등분선이 반드시 원의 중심을 지난다는 법칙을 이용하여, 각 점들간의 수직 이등분선을 계산한 후 2차원 배열에 누적한다(723).

마지막으로 누적 배열의 상위 5%에 해당하는 위치들을 검출하고, 상위 5%에 해당하는 위치들의 중심을 2차 눈동자의 중심으로 산출한다(724).

이와 같은, 사람의 시선을 추적하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

[부호의 설명]

1: 시선 추적 장치

100: 촬영부

200: 제어부

300: 출력부

400: 메모리부

Claims

광각 모드로 설정되어 광각 시야에 있는 주변 영상을 촬영하는 촬영부;

상기 촬영부의 광각 모드에서 촬영된 영상에 사람이 검출되면, 상기 사람의 얼굴 영역을 검출하고, 상기 촬영부의 광각 모드를 협각 모드로 전환하여 상기 사람의 시선을 추적하며, 상기 사람의 시선을 추적하는 중 상기 협각 모드에 의한 협각 시야에서 상기 사람이 벗어나면 상기 촬영부를 광각 모드로 전환하여 상기 사람을 재탐색하고, 재탐색에 의해 상기 사람이 검출되지 않으면, 상기 광각 모드로 전환된 상태에서 상기 사람이 벗어난 방향으로 이동하여 상기 사람을 재탐색하도록 제어하는 제어부를 포함하는 시선 추적 장치.
제 1 항에 있어서,

상기 제어부는 상기 사람의 얼굴 영역을 검출하는 얼굴 영역 검출부;

상기 얼굴 영역의 확대된 영상을 촬영하도록 상기 촬영부의 광각 모드를 협각 모드로 전환하는 모드 전환부;

상기 광각 모드로 전환된 상태에서 상기 사람을 재탐색하기 위해 상기 사람이 벗어난 방향으로 촬영부가 이동하도록 제어하는 카메라 이동 제어부;

상기 확대 촬영한 얼굴 영역 영상에서 눈 영역을 검출하는 눈 영역 검출부; 및

상기 눈 영역에서 눈동자를 검출하고, 상기 눈동자를 추적하도록 상기 촬영부를 제어하는 눈동자 검출부를 포함하여 상기 사람의 시선을 추적하는 시선 추적 장치.
제 2 항에 있어서,

상기 눈동자 검출부는 상기 눈 영역에서 1차 눈동자 중심을 산출하고, 상기 1차 눈동자 중심을 기준으로 원과 에지 정보를 이용하여, 상기 눈동자의 2차 눈동자 중심을 검출하고, 상기 2차 눈동자 중심을 추적하는 것을 특징으로 하는 시선 추적 장치.
제 3 항에 있어서,

상기 1차 눈동자 중심은 상기 눈 영역에 VPF(Variance Projection Function)를 적용하여 산출하며, 상기 1차 눈동자 중심을 기준으로 상기 눈 영역의 에지점을 검출하고, 상기 에지점 중 유효점을 산출하며, 상기 유효점 간의 수직이등분선을 누적하고, 상기 수직이등분선의 교차점을 상기 눈동자의 2차 눈동자 중심으로 검출하여 상기 2차 눈동자 중심을 추적하는 것을 특징으로 하는 시선 추적 장치.
광각 모드로 설정된 촬영부를 이용하여 광각 시야에 있는 주변 영상을 촬영하고,

상기 광각 시야에 있는 주변 영상에서 사람을 검출하고,

상기 광각 시야에 있는 주변 영상에서 상기 사람이 검출되면, 상기 사람의 얼굴 영역을 검출하고,

상기 얼굴 영역에서 시선을 추적하기 위해 상기 촬영부의 광각 모드를 협각 모드로 전환하고,

상기 협각 모드에서 상기 사람의 시선을 추적하는 중 상기 협각 모드에 의한 협각 시야에서 상기 사람이 벗어나면, 상기 사람을 재탐색하기 위해 상기 촬영부를 광각 모드로 전환하며, 상기 광각 모드에서 상기 사람이 벗어난 방향으로 상기 촬영부를 이동시켜 상기 사람을 재탐색하는 시선 추적 방법.
제 5 항에 있어서,

상기 광각 시야에 있는 주변 영상에서 상기 사람을 검출하는 것은,

상기 광각 시야에 있는 주변 영상에서 상기 사람이 검출되면 상기 사람의 얼굴 영역을 검출하고,

상기 광각 시야에 있는 주변 영상에서 상기 사람이 검출되지 않으면 미리 정해진 촬영 패턴에 따라 상기 촬영부를 제어하여 상기 사람을 검출하는 시선 추적 방법.
제 5 항에 있어서,

상기 사람의 얼굴 영역에서 시선을 추적하기 위해 상기 촬영부의 광각 모드를 협각 모드로 전환하는 것은,

상기 촬영부 렌즈의 초점 거리가 미리 정해진 기준값 이하인 상기 광각 모드에서 상기 촬영부 렌즈의 초점 거리가 미리 정해진 기준값 이상인 상기 협각 모드로 전환하여, 상기 얼굴 영역을 확대하여 촬영하는 시선 추적 방법.
제 7 항에 있어서,

상기 얼굴 영역에 대한 확대된 영상을 획득하는 것은,

상기 광각 시야에 있는 주변 영상의 크기만큼 상기 얼굴 영역을 확대하여 촬영하도록 상기 협각 모드에 의한 상기 촬영부 렌즈의 초점 거리를 조절하는 시선 추적 방법.
제 5 항 내지 제 8 항 중 어느 하나의 항에 따른 시선 추적 방법을 실행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.