KR20230079942A - 시선 추적을 위한 디스플레이 제어 장치 및 그 방법 - Google Patents

Abstract

본 발명은 시선 추적을 위한 디스플레이 제어 장치 및 그 방법에 관한 것으로서, 시선 추적을 위해 N 개의 주시점이 표시된 이벤트 영상 및 각종 화면을 제공하는 디스플레이부; 상기 이벤트 영상의 주시점을 응시하는 사용자가 기 설정된 반응 동작 정보를 입력하는 시점에 상기 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공하고, 상기 디스플레이부에서 제공되는 각종 화면을 시청하는 사용자의 얼굴 영상을 촬영하는 카메라부; 상기 카메라부로부터 상기 캘리브레이션 영상이 제공되면, 상기 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행하고, 상기 카메라부로부터 사용자의 얼굴 영상이 제공되면 사용자의 안구 영역을 검출한 후 검출된 안구 영역에서 동공 위치를 검출하여 동공의 움직임을 추적하는 시선 추적부; 및 상기 시선 추적부에서 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 상기 디스플레이부의 동작을 제어하는 제어부를 포함하는 것이다.

Description

시선 추적을 위한 디스플레이 제어 장치 및 그 방법{Apparatus for display control for eye tracking and method thereof}

본 발명은 시선 추적을 위한 디스플레이 제어 장치 및 그 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

최근, 스마트폰, 태블릿 PC, 상호적인 게임 콘솔 등과 같은 모바일 IT 장치에 멀티터치 인터페이스 기술 및 제스처 인식 등과 같은 다양한 HCI(Human Computer Interaction) 기술들이 적용되고 있다.

이러한 기술들 외에, 사용자의 눈동자 움직임을 이용하는 HCI는 편리성과 높은 속도의 입력을 제공하기 때문에, 컴퓨터를 조작하거나 사용자의 심리적 사실들을 분석하기 위해 눈동자의 움직임을 검출하는 인터페이스 기술 역시 개발되고 있다.

사용자의 시선 추적은 얼굴 이미지에서 눈동자 영역을 검출하여 움직임을 추적함으로써 사용자의 시선, 즉 사용자가 어느 곳을 보고 있는지 계산해내는 기술이다. 이러한 사용자의 시선을 추적하는 장치에는 몇 가지 종류가 있다. 머리 장착 타입 또는 안경 타입의 시선 추적 시스템은 상대적으로 정확한 응시점을 제공할 수 있다. 이러한 장치에 붙어 있는 카메라는 인간 눈동자에 가깝게 위치하기 때문에 눈동자 및 동공을 항상 안정적으로 검출할 수 있다. 그러나 이러한 타입의 장치가 아닌 경우 촬상된 이미지가 사용자의 얼굴뿐만 아니라 눈동자 움직임을 검출하는데 불필요한 부분들까지도 포함하고 있을 수 있기 때문에 사용자의 응시점을 쉽게 측정할 수 없다.

따라서, 대부분의 정확한 시선 추적 장치는 동공을 검출하기 위해 일반적으로 IR(Infrared Ray) 광원과, IR 카메라를 이용한 동공 검출은 시선 추적을 수행하는데 높은 정확도를 제공하고 동공을 더 쉽게 찾을 수 있다. 그러나 IR을 이용한 시선 추적 방법은 사용자의 눈에 직접적으로 에너지를 방출하고, 가동할 때 많은 열을 방출하기 때문에 오랜 시간 사용하는 것은 안정하지 않다.

이러한 이유들로, 스마트폰이나 태블릿 PC와 같은 내장형 장치는 IR 카메라를 사용하는 시선 추적 시스템의 적용이 제한되어 통상적인 USB 카메라 또는 웹캠과 같은 RGB 카메라를 이용하여 사용자의 시선을 추적하는 방법이 요구되고 있다.

RGB 카메라를 이용한 시선 추적 방법에는 동공 각막 반사(pupil-corneal reflection) 방식이 있다. 동공 각막 반사 방식은 동공의 패턴과 각막의 반사광인 글린트(glint) 패턴을 해석하여 눈이 바라보는 방향을 찾는 방식이다. 카메라에 대하여 글린트를 생성하는 광원의 위치가 변하거나, 카메라에 대하여 사용자의 위치 변화가 있는 경우에는 정확한 시선 추적이 되지 않을 수 있다.

RGB 카메라를 이용한 시선 추적의 또 다른 방법에는 눈의 동공이나 홍채의 경계선의 패턴에 대한 영상 분석을 통하여 시선 추적을 하는 방식이 있으나, 주로 2차원 영상을 분석하여 3차원 공간상에서의 주시 방향을 찾게 되므로 이 경우에서도 카메라에 대하여 사용자의 거리나 얼굴의 각도가 변할 경우에 오차를 유발하는 경우가 자주 발생한다.

이와 같이, RGB 카메라를 사용하여 사용자의 시선을 추적하는 방법들은 동공의 위치를 정량화하기 위한 절대 기준 좌표 설정이 난해하여 정확한 시선 추적이 되지 않을 수 있고, 홍채에 반사된 영상을 절대 기준 좌표로 설정하는 경우에 디스플레이에도 동일한 영상이 매번 가시화되어야 하므로 시청자의 몰입감을 저하시킨다는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 시선을 추적하는 동시에 시선 캘리브레이션 과정을 함께 수행할 수 있도록 하는 시선 추적을 위한 디스플레이 제어 장치 및 그 방법을 제공하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 장치는, 시선 추적을 위해 N 개의 주시점이 표시된 이벤트 영상 및 각종 화면을 제공하는 디스플레이부; 상기 이벤트 영상의 주시점을 응시하는 사용자가 기 설정된 반응 동작 정보를 입력하는 시점에 상기 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공하고, 상기 디스플레이부에서 제공되는 각종 화면을 시청하는 사용자의 얼굴 영상을 촬영하는 카메라부; 상기 카메라부로부터 상기 캘리브레이션 영상이 제공되면, 상기 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행하고, 상기 카메라부로부터 사용자의 얼굴 영상이 제공되면 사용자의 안구 영역을 검출한 후 검출된 안구 영역에서 동공 위치를 검출하여 동공의 움직임을 추적하는 시선 추적부; 및 상기 시선 추적부에서 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 상기 디스플레이부의 동작을 제어하는 제어부를 포함하는 것이다.

상기 시선 추적부는, 상기 N 개의 주시점에 대한 사용자의 반응 동작 정보가 입력되는 시점에 촬영된 캘리브레이션 영상을 학습 데이터로 수집하고, 수집된 학습 데이터를 이용하여 딥러닝 모델을 학습시킨 후에, 학습된 딥러닝 모델을 이용하여 사용자의 동공의 움직임을 추적하는 것이다.

상기 이벤트 영상은 상기 디스플레이부의 전체 화면을 N 개로 분할하고, N 개의 분할 영역마다 N 개의 주시점이 각각 할당될 수 있도록 구성되는 것이다.

상기 이벤트 영상은 상기 디스플레이부에서 현재 재생되고 있는 영상의 기설정된 프레임마다에 삽입되고, 기 설정된 패턴을 포함하는 마커 영상인 것이다.

상기 시선 추적부는, 사용자의 동공 위치에 대한 안구 영상과 사용자의 시선 정보를 매핑하는 매핑 매트릭스를 사용하여 시선 캘리브레이션을 수행하는 것이다.

또한, 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 방법은, 시선 추적을 위한 디스플레이 제어 장치에 의해 수행되는 디스플레이 제어 방법에 있어서, a) 디스플레이부에 시선 추적을 위해 N 개의 주시점이 표시된 이벤트 영상을 제공하는 단계; b) 상기 이벤트 영상의 주시점을 응시하는 사용자가 기 설정된 반응 동작 정보를 입력하는 시점에 카메라부에서 상기 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공하는 단계; c) 상기 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행하는 단계; d) 상기 카메라부로부터 상기 디스플레이부에서 제공되는 화면을 시청하는 사용자의 얼굴 영상이 제공되면, 사용자의 얼굴 영상에서 동공 위치를 검출하여 동공의 움직임을 추적하는 단계; 및 e) 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 상기 디스플레이부의 동작을 제어하는 단계를 포함하는 것이다.

상기 c) 단계는, 상기 N 개의 주시점에 대한 사용자의 반응 동작 정보가 입력되는 시점에 촬영된 캘리브레이션 영상을 학습 데이터로 수집하고, 수집된 학습 데이터를 이용하여 딥러닝 모델을 학습시킨 후에, 학습된 딥러닝 모델을 이용하여 사용자의 공공 위치를 검출는 것이다.

상기 이벤트 영상은 상기 디스플레이부의 전체 화면을 N 개로 분할하고, N 개의 분할 영역마다 N 개의 주시점이 각각 할당될 수 있도록 구성되는 것이다.

상기 이벤트 영상은 상기 i(1<i<N)번째 주시점에 대한 동작 반응 정보 입력시, i번째 주시점의 위치에 N-1개의 주시점이 기 설정된 속도로 표시되어 i번째 주시점에 대한 캘리브레이션 영상과 N-1개의 주시점에 대한 캘리브레이션 영상을 동시에 획득하는 것이다.

상기 c) 단계는, 사용자의 동공 위치에 대한 안구 영상과 사용자의 시선 정보를 매핑하는 매핑 매트릭스를 사용하여 시선 캘리브레이션을 수행하는 것이다.

또한, 본 발명의 다른 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 방법은, 시선 추적을 위한 디스플레이 제어 장치에 의해 수행되는 디스플레이 제어 방법에 있어서, a) 디스플레이부에 시선 추적을 위해 기 설정된 패턴을 포함하는 마커 영상이 디스플레이부에서 현재 재생되고 있는 영상의 기설정된 프레임마다 삽입되어 송출되는 단계; b) 카메라부에서 상기 디스플레이부를 시청하는 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공하는 단계; c) 상기 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행하는 단계; d) 상기 카메라부로부터 상기 디스플레이부에서 제공되는 화면을 시청하는 사용자의 얼굴 영상이 제공되면, 사용자의 얼굴 영상에서 동공 위치를 검출하여 동공의 움직임을 추적하는 단계; 및 e) 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 상기 디스플레이부의 동작을 제어하는 단계를 포함하는 것이다.

상기 c) 단계 및 d) 단계는, 상기 안구 영상에서 홍채와 동공을 구분하고, 홍채에 표시된 마커 영상의 위치와 동공의 위치를 기준으로 시선을 추적하는 것이다.

전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 시청자의 몰입감을 저하시키지 않으면서 많은 학습 데이터를 획득할 수 있는 이벤트 영상을 이용하여 시선을 추적하는 동시에 시선 캘리브레이션 과정을 함께 수행할 수 있고, 획득된 학습 데이터를 시선 추적을 위한 딥러닝 모델에 적용함으로써 시선 추적의 정확도를 보다 향상시킬 수 있다.

이러한 본 발명은 온라인 강의 피교육자 및 피시험자 모니터링, 시선 기반 마케팅 정보 수집 등 카메라 기반 시선 추적 기술을 필요로 하는 모든 장치에 적용될 수 있고, 시선 추적을 위한 동공 영상을 이용하여 주의 집중 분석, 인지 상태 분석, 시선에 의한 컴퓨터와 사용자의 인터페이스, 시선에 기반한 그래픽 디스플레이 등 매우 다양한 응용 분야에 활용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 장치를 설명하는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 장치의 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 모델을 이용한 시선 추적부를 설명하는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이벤트 영상에 기초한 반응 동작 정보를 입력하는 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자의 얼굴 영상에서 안구 영상을 검출하는 과정을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 동공의 움직임을 추적하여 사용자의 시선 정보를 판단하는 과정을 설명하는 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 방법을 설명하는 예시도이다.
도 9는 본 발명의 다른 일 실시예에 따른 이벤트 영상을 제공하는 과정을 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.

무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 장치를 설명하는 예시도이고, 도 2는 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 장치의 구성을 설명하는 블록도이며, 도 3은 본 발명의 일 실시예에 따른 딥러닝 모델을 이용한 시선 추적부를 설명하는 예시도이다.

도 1 내지 도 3을 참조하면, 시선 추적을 위한 디스플레이 제어 장치(100)는, 디스플레이부(110), 카메라부(120), 시선 추적부(130) 및 제어부(140)를 포함하지만, 이에 한정되지 않는다.

디스플레이부(110)는 시선 추적을 위해 N 개의 주시점이 표시된 이벤트 영상 및 각종 화면을 제공한다.

카메라부(120)는 디스플레이부(110)에서 제공되는 각종 화면을 시청하는 사용자의 얼굴 영상을 촬영한다. 특히 카메라부(120)는 이벤트 영상의 주시점을 응시하는 사용자가 기 설정된 반응 동작 정보를 입력하는 시점에 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공한다. 이러한 카메라부(120)는 USB 카메라, 웹캠, 캠코더 등이 각종 촬영수단이 될 수 있고, 디스플레이부(110)의 상단 일측에 사용자를 바라보는 방향으로 설치되어 사용자의 얼굴 영상을 획득한다.

시선 추적부(130)는 카메라부(120)로부터 캘리브레이션 영상이 제공되면, 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행한다. 또한, 시선 추적부(130)는 카메라부(120)로부터 사용자의 얼굴 영상이 제공되면 사용자의 안구 영역을 검출한 후 검출된 안구 영역에서 동공 위치를 검출하여 동공의 움직임, 즉 사용자의 시선을 추적한다.

도 3에 도시된 바와 같이, 시선 추적부(130)는 딥러닝 모델을 사용하여 시선 캘리브레이션 및 시선 추적을 수행할 수 있다. 딥러닝 모델은 인간의 신경망(Neural Network) 이론을 이용한 인공신경망(ANN, Artificial Neural Network)의 일종으로서, 계층 구조(Layer Structure)로 구성되어 입력층(Input layer)과 출력층(Output layer) 사이에 하나 이상의 숨겨진 층(Hidden layer)을 갖고 있는 심층 신경망(DNN : Deep Neural Network)을 지칭하는 기계학습(Machine Learning) 모델 또는 알고리즘의 집합을 의미한다.

따라서, 시선 추적부(130)는 N 개의 주시점에 대한 사용자의 반응 동작 정보가 입력되는 시점에 촬영된 캘리브레이션 영상을 학습 데이터로 수집하고, 수집된 학습 데이터를 이용하여 딥러닝 모델을 학습시킨 후에, 학습된 딥러닝 모델을 이용하여 사용자의 동공의 움직임을 추적한다.

시선 추적부(130)는 카메라부(120)에서 사용자의 얼굴이 감지되지 않은 경우에 슬립 모드로 동작하여 시선 추적을 위한 각종 동작을 중지하고, 카메라부(120)에서 사용자의 얼굴이 감지되면 기 설정된 주기로 시선 캘리브레이션 동작을 수행하면서, 시선 추적 동작을 수행한다.

제어부(140)는 시선 추적부(130)에서 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 디스플레이부(110)의 동작을 제어한다.

저장부(150)는 사용자의 얼굴 영상, 안구 영상, 사용자의 시선 정보, 딥러닝 모델에 적용되는 학습 데이터 등을 저장한다.

이러한 시선 추적을 위한 디스플레이 제어 장치(100)는 통신 모듈(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있는데, 스마트폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다.

도 4는 본 발명의 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 방법을 설명하는 순서도이고, 도 5는 본 발명의 일 실시예에 따른 이벤트 영상에 기초한 반응 동작 정보를 입력하는 과정을 설명하는 도면이다. 도 6은 본 발명의 일 실시예에 따른 사용자의 얼굴 영상에서 안구 영상을 검출하는 과정을 설명하는 예시도이고, 도 7은 본 발명의 일 실시예에 따른 동공의 움직임을 추적하여 사용자의 시선 정보를 판단하는 과정을 설명하는 도면이다.

도 4를 참조하면, 시선 추적을 위한 디스플레이 제어 방법은, 시선 캘리브레이션 과정 및 시선 추적 과정을 포함한다.

먼저, 시선 캘리브레이션 과정은 디스플레이부(110)에 시선 추적을 위해 N 개의 주시점이 표시된 이벤트 영상을 제공한다(S1). 도 5에 도시된 바와 같이, 이벤트 영상은 표적이 되는 N 개의 주시점이 순차적으로 표시되는데, 주시점은 원형상의 포인트(Point) 또는 다양한 형태의 표적이 사용될 수 있고, N은 5개 이상~ 수십 개미만이 될 수 있다. 이벤트 영상은 디스플레이부(110)의 전체 화면을 균등하게 N 개로 분할하고, 분할된 N 개의 영역의 중심부에 하나의 주시점이 할당될 수 있도록 이루어진다.

도 5에 도시된 바와 같이, 이벤트 영상에 9개의 주시점이 순차적으로 표시되고, 사용자가 이를 순차적으로 클릭할 경우에, i번째 주시점을 클릭할 때 나머지 N-1(8개)의 주시점이 i번째 주시점의 클릭 위치에 빠르게 송출되고, i번째 주시점을 클릭할 때의 안구 영상이 저장되어 학습 데이터로 이용된다. 즉, 사용자는 i번째 주시점을 1회 클릭하였지만, 시선 추적부(130)는 i번째 주시점에 대한 안구 영상 뿐만 아니라 N-1개의 주시점에 대한 안구 영상을 모두 획득할 수 있다.

이벤트 영상은 적외선 광원을 사용하는 것이 아니라 일반 가시광 영상을 사용하되, 고주사율 영상으로 디스플레이부(110)에 표시되도록 하여 i번째 주시점을 제외한 나머지 주시점 영상을 사용자가 인지하지 못하여 동공의 위치가 변하지 않고, 눈부심 등의 불편함을 느끼지 않도록 한다.

이벤트 영상의 주시점을 응시하는 사용자가 기 설정된 반응 동작 정보를 입력하면(S2), 카메라부(120)는 반응 동작 정보가 입력되는 시점에 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 시선 추적부(130)에 제공한다(S3). 이때, 사용자의 반응 동작 정보는 이벤트 영상의 주시점을 기 설정된 시간(예를 들어, 1~3초) 동안 응시하는 동작, 또는 주시점을 응시하면서 해당 주시점을 클릭하거나 커서를 이동시키는 동작 등이 될 수 있다.

시선 추적부(130)는 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 안구 영상, 즉 동공의 위치와 시선 정보를 매핑하기 위한 매핑 매트릭스를 계산하여 시선 캘리브레이션을 수행한다(S4). 이때, 시선 추적부(130)는 사용자가 주시점 클릭시 주시점을 응시한 시점으로 설정하여 반응 동작 정보가 입력된 시점으로 판단한다.

시선 추적부(130)는 하기 수학식 1을 참조하여 동공의 위치(즉 좌표)를 나타낸 행렬 W와 사용자의 시선 정보를 나타낸 행렬(G)을 이용하여, 변환 매트릭스(T)를 구할 수 있다.

[수학식 1]

도 6에 도시된 바와 같이, 시선 추적부(130)는 이미지 처리 기법을 통해 얼굴 영상에서 안구 영역을 검출하고, 안구 영역에서 홍채와 동공의 위치 좌표를 포함한 안구 영상을 획득할 수 있을 뿐만 아니라, 사용자의 얼굴이 향하는 방향 및 위치 정보 등을 획득할 수 있다. 도 7에 도시된 바와 같이, 시선 추적부(130)는 안구 영상에 기초하여 동공의 움직임, 즉 시선 방향을 추적할 수 있다. 이때, 안구 영상에 표시된 빨간색 원의 크기를 이용하여 사용자가 현재 집중 상태인지, 주의 산만 또는 졸음 상태인지를 추정할 수 있다. 즉, 시선 추적부(130)는 기 설정된 시간 동안의 사용자의 동공에 대한 평균 크기를 계산하고, 동공의 평균 크기에 기초하여 동공 크기 변화를 확인함으로써 동공이 평균 크기보다 커지면 주의집중을 통해 관심 있는 곳을 주시한다고 판단하고, 동공이 평균 크기보다 작아지면 주의를 기울이지 않고 주시하는 경우로 판단하며, 기설정된 시간(수초) 동안에 동공이 감지되면 졸음 상태로 판단할 수 있다.

시선 추적부(130)는 반응 동작 정보가 입력된 시점 전후의 기 설정된 시간 동안 동공 위치 정보들의 빈도치를 계산하여 최고 빈도값을 학습 데이터로 이용한다. 만일, 시선 추적부(130)가 동공 위치 정보들의 평균값을 이용하게 되면 노이즈에 의해 정확한 데이터로 활용되기 어렵다.

이러한 시선 캘리브레이션 과정을 통해 도출된 안구 영상과 실제 시선 정보가 매핑된 매트릭스를 사용하여 동공의 위치를 역환산하는 경우에, 매핑 매트릭스 차원 수(가로/세로 2차원)가 적어 오차가 클 수 있다. 그러나, 본 발명에서는 시선 추적부(130)가 i번째 주시점에 대한 안구 영상 뿐만 아니라 N-1개의 주시점에 대한 안구 영상을 동시에 획득할 수 있어, i번째 주시점과 관련된 N 개의 캘리브레이션 영상의 상대 위치를 사용하여 차원수를 크게 높여 주여 각도 오차를 줄일 수 있다.

매핑 매트릭스를 업데이트 하기 위해, 도 5에 도시된 바와 같이 사용자가 임의 주시점을 클릭하면(S5), 시선 추적부(130)는 해당 주시점에 대한 매핑 정확도가 화면에 표시된다(S6). 이때, 주황색 원형 포인트는 주시점이 되고, 파랑색 원형 포인트는 카메라부(120)에 의해 획득된 동공의 위치를 표시하는 것이다. 이와 같이, 시선 추적부(130)는 주시점과 동공의 위치에 대한 매핑 정확도를 실시간 표시한다.

이때, 매핑 정확도가 기 설정된 설정값(예를 들어, 5%) 미만이면, 매핑 매트릭스를 업데이트하고(S7, S8), 매핑 정확도가 설정값 이상이 되면 시선 추적부(130)의 학습을 종료한다(S9). 매핑 매트릭스 업데이트시, 매핑 정확도가 화면에 표시되므로 시선 추적부(130)는 각도 오차가 큰 위치, 예를 들어 화면의 가장자리 부분이나 카메라부(120)의 사각지대 부분을 의도적으로 더 많이 클릭하도록 주시점으로 유도하고, 시선 추적부(130)는 사용자가 클릭한 지점에 대한 안구 영상을 획득하여 더 많은 학습데이터가 수집되도록 한다. 이렇게 수집된 학습 데이터를 딥러닝 모델에 입력함으로써 시선 추적의 정확도를 보다 향상시킬 수 있다.

다음, 시선 추적 과정은, 시선 추적부(130)가 상기 과정에서 학습된 딥러닝 모델을 이용하여 카메라부(120)로부터 디스플레이부(110)에서 제공되는 화면을 시청하는 사용자의 얼굴 영상이 제공되면, 사용자의 얼굴 영상에서 안구 영역을 검출한 후 안구 영역에서 동공 위치를 검출하여 동공의 움직임을 추적한다.

제어부(140)는 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 디스플레이부(110)의 동작을 제어한다.

한편, 도 4의 단계 S1 내지 S9는 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.

도 8은 본 발명의 다른 일 실시예에 따른 시선 추적을 위한 디스플레이 제어 방법을 설명하는 예시도이고, 도 9는 본 발명의 다른 일 실시예에 따른 이벤트 영상을 제공하는 과정을 설명하는 도면이다.

도 8 및 도 9를 참조하면, 시선 추적을 위한 디스플레이 제어 장치(100)는 사용자가 감지하기 어려운 60Hz 이상의 고주사율 디스플레이부(110)에 이벤트 영상을 N 개의 주시점으로 순차 표시되도록 하는 것이 아니라, 이벤트 영상을 대신하여 현재 디스플레이부(110)에 표시되는 영상 내에 마커 영상이 삽입되어 표시될 수 있다.

도 8에 도시된 바와 같이, 카메라부(120)는 마커 영상을 포함한 캘리브레이션 영상을 시선 추적부(130)에 제공하고, 시선 추적부(130)는 각막 반사에 의해 홍채에 비친 디스플레이부(110)의 화면 영상의 위치와 형태를 기준으로 시선을 추적할 수 있다.

도 9에 도시된 바와 같이, 마커 영상은 기하 패턴, 미리 정의된 임의 객체, 적어도 하나 이상의 색상과 무늬의 패턴 등 다양한 패턴으로 이루어질 수 있고, 현재 재생되고 있는 영상의 프레임마다 위치와 방향을 달리하여 표시될 수 있다.

이러한 마커 영상은 사용자의 눈에 인식되지 않지만, 카메라부(120)에서 촬영한 캘리브레이션 영상을 통해 확인할 수 있고, 시선 추적부(130)는 각막 반사, 즉 홍채에 비친 마커 영상의 위치와 동공의 중심 거리(D1)를 기준으로 시선을 추적할 수 있다.

마커 영상의 밝기와 색상은 현재 재생되고 있는 영상의 평균 밝기와 색상을 반영하여 최대한 사용자의 눈에 인식되지 않도록 자동 조절되고, 동공과의 거리 계산이 쉽도록 가로 /세로무늬가 교차된 십자 형태를 사용할 수 있어, 패턴의 형상에 따라 동공의 위치, 상하좌우 방향 등을 확인할 수 있다.

이와 같이, 본 발명은 온라인 강의 피교육자 및 피시험자 모니터링, 시선 기반 마케팅 정보 수집 등 카메라 기반 시선 추적 기술을 필요로 하는 모든 장치에 적용될 수 있다. 본 발명은 동공의 움직임 뿐만 아니라 동공의 크기 등을 이용하여 주의 집중 분석, 인지 상태 분석, 시선에 의한 컴퓨터와 사용자의 인터페이스, 시선에 기반한 그래픽 디스플레이 등 매우 다양한 응용 분야에 활용될 수 있다.

이상에서 설명한 본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 시선 추적을 위한 디스플레이 제어 장치
110 : 디스플레이부
120 : 카메라부
130 : 시선 추적부
140 : 제어부
150 : 저장부

Claims (12)

1. 시선 추적을 위해 N 개의 주시점이 표시된 이벤트 영상 및 각종 화면을 제공하는 디스플레이부;
   상기 이벤트 영상의 주시점을 응시하는 사용자가 기 설정된 반응 동작 정보를 입력하는 시점에 상기 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공하고, 상기 디스플레이부에서 제공되는 각종 화면을 시청하는 사용자의 얼굴 영상을 촬영하는 카메라부;
   상기 카메라부로부터 상기 캘리브레이션 영상이 제공되면, 상기 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행하고, 상기 카메라부로부터 사용자의 얼굴 영상이 제공되면 사용자의 안구 영역을 검출한 후 검출된 안구 영역에서 동공 위치를 검출하여 동공의 움직임을 추적하는 시선 추적부; 및
   상기 시선 추적부에서 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 상기 디스플레이부의 동작을 제어하는 제어부를 포함하는 것인, 시선 추적을 위한 디스플레이 제어 장치.
2. 제1항에 있어서,
   상기 시선 추적부는,
   상기 N 개의 주시점에 대한 사용자의 반응 동작 정보가 입력되는 시점에 촬영된 캘리브레이션 영상을 학습 데이터로 수집하고, 수집된 학습 데이터를 이용하여 딥러닝 모델을 학습시킨 후에, 학습된 딥러닝 모델을 이용하여 사용자의 동공의 움직임을 추적하는 것인, 시선 추적을 위한 디스플레이 제어 장치.
3. 제1항에 있어서,
   상기 이벤트 영상은 상기 디스플레이부의 전체 화면을 N 개로 분할하고, N 개의 분할 영역마다 N 개의 주시점이 각각 할당될 수 있도록 구성되는 것인, 시선 추적을 위한 디스플레이 제어 장치.
4. 제1항에 있어서,
   상기 이벤트 영상은 상기 디스플레이부에서 현재 재생되고 있는 영상의 기설정된 프레임마다 삽입되고, 기 설정된 패턴을 포함하는 마커 영상인 것인, 시선 추적을 위한 디스플레이 제어 장치.
5. 제1항에 있어서,
   상기 시선 추적부는,
   사용자의 동공 위치에 대한 안구 영상과 사용자의 시선 정보를 매핑하는 매핑 매트릭스를 사용하여 시선 캘리브레이션을 수행하는 것인, 시선 추적을 위한 디스플레이 제어 장치.
6. 시선 추적을 위한 디스플레이 제어 장치에 의해 수행되는 디스플레이 제어 방법에 있어서,
   a) 디스플레이부에 시선 추적을 위해 N 개의 주시점이 표시된 이벤트 영상을 제공하는 단계;
   b) 상기 이벤트 영상의 주시점을 응시하는 사용자가 기 설정된 반응 동작 정보를 입력하는 시점에 카메라부에서 상기 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공하는 단계;
   c) 상기 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행하는 단계;
   d) 상기 카메라부로부터 상기 디스플레이부에서 제공되는 화면을 시청하는 사용자의 얼굴 영상이 제공되면, 사용자의 얼굴 영상에서 동공 위치를 검출하여 동공의 움직임을 추적하는 단계; 및
   e) 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 상기 디스플레이부의 동작을 제어하는 단계를 포함하는 것인, 시선 추적을 위한 디스플레이 제어 방법.
7. 제6항에 있어서,
   상기 c) 단계는,
   상기 N 개의 주시점에 대한 사용자의 반응 동작 정보가 입력되는 시점에 촬영된 캘리브레이션 영상을 학습 데이터로 수집하고, 수집된 학습 데이터를 이용하여 딥러닝 모델을 학습시킨 후에, 학습된 딥러닝 모델을 이용하여 사용자의 공공 위치를 검출는 것인, 시선 추적을 위한 디스플레이 제어 방법.
8. 제6항에 있어서,
   상기 이벤트 영상은 상기 디스플레이부의 전체 화면을 N 개로 분할하고, N 개의 분할 영역마다 N 개의 주시점이 각각 할당될 수 있도록 구성되는 것인, 시선 추적을 위한 디스플레이 제어 방법.
9. 제8항에 있어서,
   상기 이벤트 영상은 상기 i(1<i<N)번째 주시점에 대한 동작 반응 정보 입력시, i번째 주시점의 위치에 N-1개의 주시점이 기 설정된 속도로 표시되어 i번째 주시점에 대한 캘리브레이션 영상과 N-1개의 주시점에 대한 캘리브레이션 영상을 동시에 획득하는 것인, 시선 추적을 위한 디스플레이 제어 방법.
10. 제6항에 있어서,
    상기 c) 단계는,
    사용자의 동공 위치에 대한 안구 영상과 사용자의 시선 정보를 매핑하는 매핑 매트릭스를 사용하여 시선 캘리브레이션을 수행하는 것인, 시선 추적을 위한 디스플레이 제어 방법.
11. 시선 추적을 위한 디스플레이 제어 장치에 의해 수행되는 디스플레이 제어 방법에 있어서,
    a) 디스플레이부에 시선 추적을 위해 기 설정된 패턴을 포함하는 마커 영상이 디스플레이부에서 현재 재생되고 있는 영상의 기설정된 프레임마다 삽입되어 송출되는 단계;
    b) 카메라부에서 상기 디스플레이부를 시청하는 사용자의 얼굴 영상을 촬영하여 캘리브레이션 영상으로 제공하는 단계;
    c) 상기 캘리브레이션 영상으로부터 사용자의 동공 위치에 대한 안구 영상을 검출하여 시선 캘리브레이션을 수행하는 단계;
    d) 상기 카메라부로부터 상기 디스플레이부에서 제공되는 화면을 시청하는 사용자의 얼굴 영상이 제공되면, 사용자의 얼굴 영상에서 동공 위치를 검출하여 동공의 움직임을 추적하는 단계; 및
    e) 추적된 동공의 움직임을 사용자의 시선 정보로 판단하고, 사용자의 시선 정보에 대응되도록 상기 디스플레이부의 동작을 제어하는 단계를 포함하는 것인, 시선 추적을 위한 디스플레이 제어 방법.
12. 제11항에 있어서,
    상기 c) 단계 및 d) 단계는,
    상기 안구 영상에서 홍채와 동공을 구분하고, 홍채에 표시된 마커 영상의 위치와 동공의 위치를 기준으로 시선을 추적하는 것인, 시선 추적을 위한 디스플레이 제어 방법.

Images