KR20130121303A

KR20130121303A - 원거리 시선 추적 시스템 및 방법

Info

Publication number: KR20130121303A
Application number: KR1020120044380A
Authority: KR
Inventors: 이희경; 이인재; 차지훈; 박강령; 조철우; 권수영; 이현창; 이원오
Original assignee: 한국전자통신연구원; 동국대학교 산학협력단
Priority date: 2012-04-27
Filing date: 2012-04-27
Publication date: 2013-11-06
Also published as: US20130285901A1

Abstract

본 발명은 원거리 시선 추적 시스템 및 방법에 관한 것으로서, 본 발명의 일실시예에 따른 원거리 시선 추적 시스템은 사용자의 방향으로 적외선을 조사하는 복수의 적외선 조명을 포함하는 적외선 조명부, 상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 복수의 각막 반사광들 및 안경 렌즈에 의해서 생긴 렌즈 반사광 중에서 적어도 하나의 반사광을 포함하는 눈 영상을 수집하는 시선추적모듈, 및 상기 수집된 눈 영상에서 상기 렌즈 반사광의 크기와 문턱값을 비교하여, 상기 렌즈 반사광의 크기가 상기 문턱값 이하인 경우에 상기 복수의 각막 반사광들의 중심 좌표를 검출하여 시선 위치를 계산하는 프로세서를 포함할 수 있다.

Description

원거리 시선 추적 시스템 및 방법{SYSTEM AND METHOD FOR GAZE TRACKING AT A DISTANCE}

본 발명은 적외선 조명을 이용하여 사용자의 시선을 추적하는 시선 추적 장치에서, 사용자가 안경 착용시, 안경 렌즈에 생기는 적외선 조명의 반사광에 의해 생기는 시선 추적 오차를 제거하기 위하여 안경 렌즈에 생기는 렌즈 반사광을 제거하는 기술적 사상에 관한 것이다.

시선 위치 추적이란 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법이다.

시선 위치 추적의 장점으로는 기존 마우스 작동 방법 프로토콜과의 유사성, 바라보는 곳을 바로 포인팅할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치 역할을 제공할 수 있다는 편의성, 가상현실환경에서 사용자의 시선 방향에 따라 뷰 화면을 조정함으로써 제공하는 몰입감 들이 있을 수 있다.

이와 같은 시선 추적 방법 중 사용자의 머리에 착용하는 방법과는 달리 외부에 카메라와 조명을 장치하여 비착용식으로 응시위치를 계산하는 방법이 있다.

조명을 사용하여 시선을 추적하는 방법은 사용자의 동공 중심 및 도면부호 110과 같이 동공 면에 생긴 각막 반사광들(101, 102, 103, 104)의 중심 위치 좌표 정보를 이용하여 시선 추적을 하게 되는데, 이때 사용자가 안경을 착용하고 있으면 도면부호 120과 같이 안경 렌즈에 생긴 조명에 의한 렌즈 반사광(121)이 사용자의 동공을 가리거나 동공에 생긴 반사광을 가리는 현상이 발생한다.

도면부호 120과 같이 안경 렌즈에 생긴 조명 반사광이 사용자의 동공 혹은 동공에 생긴 반사광을 가리면 시선 위치 계산시 오차가 발생하게 된다.

본 발명의 일실시예에 따른 원거리 시선 추적 시스템은 사용자의 방향으로 적외선을 조사하는 복수의 적외선 조명을 포함하는 적외선 조명부, 상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 복수의 각막 반사광들 및 안경 렌즈에 의해서 생긴 렌즈 반사광 중에서 적어도 하나의 반사광을 포함하는 눈 영상을 수집하는 시선추적모듈, 및 상기 수집된 눈 영상에서 상기 렌즈 반사광의 크기와 문턱값을 비교하여, 상기 렌즈 반사광의 크기가 상기 문턱값 이하인 경우에 상기 복수의 각막 반사광들의 중심 좌표를 검출하여 시선 위치를 계산하는 프로세서를 포함할 수 있다.

본 발명의 일실시예에 따른 원거리 시선 추적 시스템은 사용자의 방향으로 적외선을 조사하는 복수의 적외선 조명을 포함하는 적외선 조명부, 상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 눈 영상을 수집하는 시선추적모듈, 및 상기 수집된 눈 영상에서 렌즈 반사광을 검출하여 상기 사용자의 안경 착용 여부를 판단하는 프로세서를 포함할 수 있다.

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 복수의 적외선 조명을 이용해서, 사용자의 방향으로 적외선을 조사하는 단계, 상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 복수의 각막 반사광들 및 안경 렌즈에 의해서 생긴 렌즈 반사광 중에서 적어도 하나의 반사광을 포함하는 눈 영상을 수집하는 단계, 및 상기 수집된 눈 영상에서 상기 렌즈 반사광의 크기와 문턱값을 비교하여, 상기 렌즈 반사광의 크기가 문턱값 이하인 경우에 상기 복수의 각막 반사광들의 중심 좌표를 검출하여 시선 위치를 계산하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 조명을 이용한 시선 추적 장치에서 안경 착용자 사용시 안경 렌즈에 생기는 조명 반사광으로 인해 발생하는 동공 중심 좌표 및 동공에 생긴 반사광의 중심 좌표 오차를 제거하기 위하여 안경 렌즈에 생긴 조명 반사광을 제거할 수 있다.

도 1은 종래 시선 추적에 있어, 안경을 착용하는 사용자로부터 발생할 수 있는 렌즈 반사광의 문제를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 원거리 시선 추적 시스템을 설명하는 블록도이다.
도 3은 본 발명의 일실시예에 따른 원거리 시선 추적 시스템을 설명하는 실시예이다.
도 4는 본 발명의 일실시예에 따른 원거리 시선 추적 방법을 설명하는 흐름도이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 2는 본 발명의 일실시예에 따른 원거리 시선 추적 시스템(200)을 설명하는 블록도이다.

본 발명의 일실시예에 따른 원거리 시선 추적 시스템(200)은 적외선 조명부(210), 시선추적모듈(220), 및 프로세서(230)를 포함할 수 있다.

본 발명의 일실시예에 따른 적외선 조명부(210)는 사용자의 방향으로 적외선을 조사하는 복수의 적외선 조명을 포함할 수 있다.

본 발명의 일실시예에 따른 적외선 조명부(210)는 상기 복수의 적외선 조명으로서 디스플레이의 왼쪽 상단에 위치하는 적외선 조명, 왼쪽 하단에 위치하는 적외선 조명, 오른쪽 상단에 위치하는 적외선 조명, 및 오른쪽 하단에 위치하는 적외선 조명을 포함할 수 있다.

본 발명의 일실시예에 따른 시선추적모듈(220)은 상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 복수의 각막 반사광들 및 안경 렌즈에 의해서 생긴 렌즈 반사광 중에서 적어도 하나의 반사광을 포함하는 눈 영상을 수집할 수 있다.

본 발명의 일실시예에 따른 프로세서(230)는 상기 수집된 눈 영상에서 상기 렌즈 반사광의 크기와 문턱값을 비교하여, 상기 렌즈 반사광의 크기가 문턱값 이하인 경우에 상기 복수의 각막 반사광들의 중심 좌표를 검출하여 시선 위치를 계산할 수 있다.

일례로, 본 발명의 일실시예에 따른 프로세서(230)는 상기 렌즈 반사광의 크기가 문턱값 이하인 경우에 상기 복수의 적외선 조명을 제어하여, 상기 사용자의 방향으로 조사되는 적외선의 개수를 조절하도록 제어할 수 있다.

구체적으로, 본 발명의 일실시예에 따른 프로세서(230)는 상기 복수의 적외선 조명의 on/off 상태를 제어하여 상기 조사되는 적외선의 개수를 조절하고, 상기 조절된 적외선에 의해서 생성되는 적어도 하나 이상의 렌즈 반사광 중에서, 렌즈 반사광의 크기가 가장 작을 때의 상기 복수의 적외선 조명의 on/off 상태를 이용하여 상기 시선 위치를 계산할 수 있다.

도 3은 본 발명의 일실시예에 따른 원거리 시선 추적 시스템(300)을 설명하는 실시예이다.

본 발명의 일실시예에 따른 원거리 시선 추적 시스템(300)은 본 발명에서 제안한 안경 렌즈에 생긴 조명 반사광 제거 알고리즘을 적용하기 위한 시선 추적 장치의 구성을 설명하는 실시예이다.

본 발명의 일실시예에 따른 시선추적모듈(303)은 광각카메라 및 협각카메라를 포함한다.

먼저, 광각카메라에서는 사용자의 얼굴 위치를 파악하고, 얼굴 위치에 따라 협각 및 광각카메라를 Pan & Tile 한다. 또한, 상기 협각카메라에서는 사용자의 눈 영상을 취득한다.

프로세서(304)에서는 상기 협각카메라에서 취득한 사용자의 눈 영상에서 동공 중심 좌표와 Display에 부착된 4개의 적외선 조명(302)에 의해 생긴 4개의 각막 반사광의 각각 중심 좌표를 검출 한 후, Geometric transform을 이용하여 시선 위치를 계산한다.

하지만 사용자가 안경 착용시 안경 렌즈에 적외선 조명에 의한 반사광이 발생하여 사용자의 동공을 가리거나 동공에 생긴 각막 반사광을 가리는 현상이 발생한다. 이처럼 안경 렌즈에 생긴 렌즈 반사광이 동공 중심 혹은 각막 반사광을 가릴 경우에, 사용자의 시선 위치를 계산하는데 많은 오차가 발생하게 되거나 검출이 불가능한 경우가 발생한다.

본 발명의 일실시예에 따른 프로세서(304)는 이러한 문제점을 해결하기 위한 안경 렌즈에 생긴 반사광을 제거할 수 있다.

도 4는 본 발명의 일실시예에 따른 원거리 시선 추적 방법을 설명하는 흐름도이다.

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 먼저 시선추적모듈을 이용하여, 광각카메라로 얼굴 영상을 입력 받아 얼굴 영상에서 얼굴 위치를 검출 한다. 또한, 본 발명의 일실시예에 따른 원거리 시선 추적 방법은 협각카메라로 눈 영상을 입력 받아 그레이 레벨이 일정값 이상인 픽셀들의 개수를 측정하여, 이 개수를 이용하여 사용자의 안경 착용 여부를 판단한다.

이에, 본 발명의 일실시예에 따른 원거리 시선 추적 방법은 측정된 렌즈 반사광의 크기가 정해진 문턱값과 비교하여, 렌즈 반사광의 크기가 문턱값 보다 작은지 여부를 판단할 수 있다(단계 401).

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 문턱값 보다 렌즈 반사광의 크기가 작으면 안경 렌즈에 생긴 반사광이 시선 위치를 계산하는데 영향이 없는 것으로 판단되어 시선 위치 계산 알고리즘을 통하여 사용자의 최종 관심 시선 위치 좌표를 구한다(단계 415).

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 측정된 렌즈 반사광의 크기가 문턱값 보다 크다면 안경 렌즈에 생긴 조명 반사광이 동공 혹은 동공에 생긴 각막 반사광을 가리는 것으로 판단하여 안경 조명 반사광 제거 알고리즘을 수행할 수 있다.

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 안경 조명 반사광 제거 알고리즘 수행 시, 먼저 좌측 조명 2개(L_U, L_D)를 Off 시키고 우측 조명 2개(R_U, R_D)를 On 시킨다(단계 402).

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 눈 영상 내에 그레이 레벨이 일정값 이상인 픽셀들의 개수를 측정하고 이를 P1 이라고 한다(단계 403). 다음은 우측 조명 2개(R_U, R_D)를 Off 키시고 좌측 조명 2개(R_U, R_D)를 On 시킨다(단계 404).

이후, 본 발명의 일실시예에 따른 원거리 시선 추적 방법은 눈 영상 내에 그레이 레벨이 일정값 이상인 픽셀들의 개수를 측정하고 이를 P2라고 한다(단계 405).

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 P1과 P2를 비교하여(단계 406), P1이 P2에 비해 크다면 반사광을 발생시키는 조명이 우측에 있다고 판단하여 좌측 조명 2개(L_U, L_D)와 우측 상단 조명(R_U)를 On 시키고 우측 하단 조명(R_D)을 Off 시킬 수 있다(단계 407).

그리고 본 발명의 일실시예에 따른 원거리 시선 추적 방법은 안경 렌즈에 생긴 렌즈 반사광의 크기를 측정하여 문턱값과 비교한다(408).

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 상기 렌즈 반사광의 크기가 문턱값 보다 작다면 단계 415에서 시선 위치 추적 알고리즘을 통하여 사용자의 최종 관심 시선 위치 좌표를 구할 수 있다.

만약, 본 발명의 일실시예에 따른 원거리 시선 추적 방법은 상기 렌즈 반사광의 크기가 문턱값 보다 크면 좌측 조명 2개(L_U, L_D)와 우측 하단 조명(R_D)를 On 시키고 우측 상단 조명(R_U)를 Off 시킨다(단계 409).

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 안경 렌즈에 생긴 렌즈 반사광의 크기를 측정하고 문턱값과 비교하는 연산을 수행한다(단계 410). 문턱값 보다 반사광의 크기가 작다면 본 발명의 일실시예에 따른 원거리 시선 추적 방법은 시선 위치 계산 알고리즘을 수행하고 크다면 다시 시선위치모듈을 통하여 초기 얼굴 및 눈 영상 취득 하여 안경 조명 반사광 제거 알고리즘을 다시 수행한다.

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 단계 406에서 P1과 P2를 비교하여, P1이 P2 보다 작은 경우엔 반사광을 발생시키는 조명이 좌측에 있다고 판단한다. 따라서 우측 조명 2개(R_U, R_D)와 좌측 상단 조명(L_U)를 On 시키고 좌측 하단 조명(L_D)를 Off 시킨다(단계 411).

그리고 본 발명의 일실시예에 따른 원거리 시선 추적 방법은 안경 렌즈에 생긴 반사광의 크기를 측정하여 문턱값과 비교한다(412).

조명 반사광이 문턱값보다 작다면 시선 위치 추적 알고리즘(단계 415)을 통하여 사용자의 최종 관심 시선 위치 좌표를 구하고 크다면 우측 조명 2개(R_U, R_D)와 좌측 하단 조명(L_D)를 On 시키고 좌측 상단 조명(L_U)를 Off 시킨다(단계 413).

안경 렌즈에 생긴 반사광의 크기를 측정하고 문턱값과 비교하는 연산을 수행한다(단계 414).

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 문턱값 보다 반사광의 크기가 작다면 시선 위치 계산 알고리즘을 수행하고 크다면 다시 시선위치모듈을 통하여 초기 얼굴 및 눈 영상 취득 하여 안경 조명 반사광 제거 알고리즘을 다시 수행한다.

본 발명의 일실시예에 따른 원거리 시선 추적 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

200: 원거리 시선 추적 시스템
210: 적외선 조명부
220: 시선추적모듈
230: 프로세서

Claims

사용자의 방향으로 적외선을 조사하는 복수의 적외선 조명을 포함하는 적외선 조명부;
상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 복수의 각막 반사광들 및 안경 렌즈에 의해서 생긴 렌즈 반사광 중에서 적어도 하나의 반사광을 포함하는 눈 영상을 수집하는 시선추적모듈; 및
상기 수집된 눈 영상에서 상기 렌즈 반사광의 크기와 문턱값을 비교하여, 상기 렌즈 반사광의 크기가 상기 문턱값 이하인 경우에 상기 복수의 각막 반사광들의 중심 좌표를 검출하여 시선 위치를 계산하는 프로세서
를 포함하는 원거리 시선 추적 시스템.
제1항에 있어서,
상기 프로세서는,
상기 렌즈 반사광의 크기가 문턱값 이하인 경우에 상기 복수의 적외선 조명을 제어하여, 상기 사용자의 방향으로 조사되는 적외선의 개수를 조절하도록 제어하는 것을 특징으로 하는 원거리 시선 추적 시스템.
제2항에 있어서,
상기 프로세서는,
상기 복수의 적외선 조명의 on/off 상태를 제어하여 상기 조사되는 적외선의 개수를 조절하고,
상기 조절된 적외선에 의해서 생성되는 적어도 하나 이상의 렌즈 반사광 중에서, 렌즈 반사광의 크기가 가장 작을 때의 상기 복수의 적외선 조명의 on/off 상태를 이용하여 상기 시선 위치를 계산하는 것을 특징으로 하는 원거리 시선 추적 시스템.
제1항에 있어서,
상기 적외선 조명부는,
상기 복수의 적외선 조명으로서 디스플레이의 왼쪽 상단에 위치하는 적외선 조명, 왼쪽 하단에 위치하는 적외선 조명, 오른쪽 상단에 위치하는 적외선 조명, 및 오른쪽 하단에 위치하는 적외선 조명을 포함하는 원거리 시선 추적 시스템.
사용자의 방향으로 적외선을 조사하는 복수의 적외선 조명을 포함하는 적외선 조명부;
상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 눈 영상을 수집하는 시선추적모듈; 및
상기 수집된 눈 영상에서 렌즈 반사광을 검출하여 상기 사용자의 안경 착용 여부를 판단하는 프로세서
를 포함하는 원거리 시선 추적 시스템.
제5항에 있어서,
상기 프로세서는,
상기 눈 영상의 중심부내에 그레이 레벨이 일정 값 이상인 픽셀들의 개수를 측정하고, 상기 측정된 픽셀들의 개수가 문턱값 이상인 경우에 상기 렌즈 반사광을 검출하며, 상기 렌즈 반사광이 검출되는 경우에 상기 사용자가 안경을 착용하였다고 판단하는 원거리 시선 추적 시스템.
복수의 적외선 조명을 이용해서, 사용자의 방향으로 적외선을 조사하는 단계;
상기 사용자의 얼굴위치를 추적하고, 상기 추적된 얼굴위치에서 상기 조사된 적외선에 의한 복수의 각막 반사광들 및 안경 렌즈에 의해서 생긴 렌즈 반사광 중에서 적어도 하나의 반사광을 포함하는 눈 영상을 수집하는 단계; 및
상기 수집된 눈 영상에서 상기 렌즈 반사광의 크기와 문턱값을 비교하여, 상기 렌즈 반사광의 크기가 문턱값 이하인 경우에 상기 복수의 각막 반사광들의 중심 좌표를 검출하여 시선 위치를 계산하는 단계
를 포함하는 원거리 시선 추적 방법.
제7항에 있어서,
상기 시선 위치를 계산하는 단계는,
상기 렌즈 반사광의 크기가 문턱값 이하인 경우에 상기 복수의 적외선 조명을 제어하여, 상기 사용자의 방향으로 조사되는 적외선의 개수를 조절하도록 제어하는 단계
를 포함하는 원거리 시선 추적 방법.
제7항 및 제8항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.