KR101732618B1

KR101732618B1 - 시선 추적 장치 및 방법

Info

Publication number: KR101732618B1
Application number: KR1020160013095A
Authority: KR
Inventors: 박강령; 홍형길; 방재원; 장제웅; 허환
Original assignee: 동국대학교 산학협력단
Priority date: 2016-02-02
Filing date: 2016-02-02
Publication date: 2017-05-08

Abstract

본 발명은 시선 추적 장치 및 방법에 관한 것으로, 더욱 상세하게는 사용자와 제품 간의 거리 정보 및 방향 정보를 추정하여 사용자의 시선의 위치를 정확하게 추적하는 시적 추적 장치 및 방법에 관한 것이다.

Description

시선 추적 장치 및 방법{DEVICE AND METHOD FOR GAZE TRACKING}

데이터 입력을 위한 컴퓨터 인터페이스 기술에는 마우스, 키보드, 조이스틱, 트랙 볼, 헤드 포인터, 데이터 글러브, 뉴럴 인터페이스, 시선 추적 등 사람의 물리적 행위나 생체 정보를 이용한 방법들이 있다. 특히 시선 추적 기술은, 사람이 응시하는 곳을 포인팅 하는 기술로써 직관적이고 사용이 쉬우며 손발이 불편한 중증장애인들에게도 적용이 가능하다.

한편 사용자가 가전 제품을 바라볼 때 정확한 시선 위치의 캘리브레이션을 위해 사용자와 가전제품 사이의 거리와 방향이 계산되어야 한다.

본 발명의 배경기술은 대한민국 공개특허 제1999-0048338호(1999.07.05 공개, 졸음운전 경보 시스템의 눈 검출방법)에 개시되어 있다.

본 발명은 퍼지 시스템을 기반으로 사용자와 제품 사이의 거리 정보 및 방향 정보를 추정하여 보다 높은 정확성과 민감도를 가진 시선 추적 장치 및 방법을 제공한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면 시선 추적 장치가 제공된다.

본 발명의 일 실시 예에 따른 시선 추적 장치는 입력된 제품 영상의 특징 형태를 이용해 사용자의 눈과 제품 사이의 거리 특징 정보 및 방향 특징 정보를 산출하는 거리 및 방향 특징 정보 산출부, 산출한 거리 특징 정보 및 방향 특징 정보를 입력 값으로 하여 퍼지시스템을 기반으로 사용자의 눈과 제품 사이의 거리와 방향을 추정하여 추정 거리 정보 및 추정 방향 정보를 산출하는 거리 및 방향 정보 추정부, 입력된 눈 영상을 분석하여 시선 추적 정보를 산출하는 시선 추적 정보 산출부 및 시선 추적 정보와 추정 거리 정보 및 추정 방향 정보를 이용하여 제품 위의 시선 위치를 결정하는 시선 위치 결정부를 포함할 수 있다.

본 발명의 다른 일 측면에 따르면 시선 추적 방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다.

본 발명의 일 실시 예에 따른 시선 추적 방법 및 이를 실행하는 컴퓨터 프로그램은 입력된 제품 영상의 특징 형태를 이용해 사용자의 눈과 제품 사이의 거리 특징 정보 및 방향 특징 정보를 산출하는 단계, 산출한 거리 특징 정보 및 방향 특징 정보를 입력 값으로 하여 퍼지시스템을 기반으로 사용자의 눈과 제품 사이의 거리와 방향을 추정하여 추정 거리 정보 및 추정 방향 정보를 산출하는 단계, 입력된 눈 영상을 분석하여 시선 추적 정보를 산출하는 단계 및 시선 추적 정보와 추정 거리 정보 및 추정 방향 정보를 이용하여 제품 위의 시선 위치를 결정하는 단계를 포함할 수 있다.

본 발명은 사용자와 제품 사이의 거리와 방향을 정확히 추정할 수 있어 제품 위의 시선 위치 감지의 정확도 및 민감도를 향상 시킬 수 있다.

도 1 내지 도 3은 본 발명의 일 실시 예에 따른 시선 추적 시스템을 설명하기 위한 도면들.
도 4 내지 도 7은 본 발명의 일 실시 예에 따른 시선 추적 장치를 설명하기 위한 도면들.
도 8 내지 도 15는 본 발명의 일 실시 예에 따른 시선 추적 방법을 설명하기 위한 도면들.
도 16 및 도 17은 본 발명의 일 실시 예에 따른 시선 추적 방법의 효과를 설명하기 위한 도면들.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.

도 1 내지 도 3은 본 발명의 일 실시 예에 따른 시선 추적 시스템을 설명하기 위한 도면들이다.

도 1을 참조하면, 본 발명에 따른 시선 추적 시스템은 시선 추적 장치(100), 눈 영상 입력 장치(200) 및 제품 영상 입력 장치(300)를 포함한다.

시선 추적 장치(100)는 제품 영상을 이용하여 퍼지 시스템을 기반으로 사용자의 눈과 제품 사이의 거리 및 방향을 추정하고, 눈 영상을 분석하여 제품 위의 시선의 위치를 추적한다. 시선 추적 장치(100)는 추출한 거리 특징 정보 및 방향 특징 정보를 퍼지 시스템을 이용하여 사용자의 눈과 제품 사이의 거리 및 방향을 추정한다. 또한, 시선 추적 장치(100)는 검출한 동공 중심 및 각막 반사 중심 사이의 거리 및 방향을 이용하여 제품 위의 시선의 위치를 추적한다. 이에 대해서는 도 2에서 더욱 상세히 설명하기로 한다.

시선 추적 장치(100)는 영상처리를 수행하는 프로세서, 영상데이터의 입출력을 담당하는 입출력 인터페이스 및 데이터 및 프로그램을 저장하는 메모리를 포함한다. 시선 추적 장치(100)는 예를 들면, 서버 컴퓨터, 개인 컴퓨터, 노트북, 태블릿, 패드 및 스마트 폰 등 프로세서, 입출력 인터페이스 및 메모리를 포함하는 전자기기일 수 있다.

눈 영상 입력 장치(200)는 눈 영상을 입력한다. 눈 영상 입력 장치(200)는 예를 들면, 근적외선 카메라(NIR Camera)일 수 있으며, 외부 광의 간섭 방지와 동공과 홍채의 뚜렷한 경계를 위해 참조조명으로 근적외선 엘이디 조사기(NIR LED illuminator)(210)가 더 포함될 수 있다.

제품 영상 입력 장치(300)은 제품 영상을 입력한다. 여기서, 제품(400)은 가전 제품을 포함할 수 있으며 예를 들면, TV, 히터, 스위치 등일 수 있다. 제품은 특징 형태를 나타내기 위하여 부착되는 특징 조명(410)을 포함한다. 특징 조명은 예를 들면, 복수의 근적외선 엘이디일 수 있으며, 특징 형태 예를 들면, 사각형을 나타내기 위하여 제품의 4개의 모서리에서 발광될 수 있다.

도 2를 참조하면, 제품 영상 입력 장치(300)에서 입력한 각 제품별로 거리와 방향의 각도를 달리한 예시 도면들이다. 제품 영상 입력 장치(300)는 TV와 히터의 경우 거리(270, 300cm)를 두 간격으로 촬영할 수 있고 각 방향의 각도에 대해 (18, 20º)로 설정하여 측정하였다. 스위치의 경우 거리(170, 200cm)를 두 간격으로 측정하였고 각 방향의 각도에 대해 (28, 30º)로 설정하여 촬영할 수 있다.

도 3을 참조하면, 제품 영상 입력 장치(300)는 각 제품(TV, 히터, 스위치)의 방향 (왼쪽, 중앙, 오른쪽) 별에 따른 영상을 입력할 수 있다. 여기서, 사각형의 형태는 특징 조명에 의해 표시는 특징 형태로, 이하에서는 사각형의 형태를 예로 설명하지만, 이에 한정되지 않고 다양한 형태의 특징 형태를 구현할 수 있다. 제품 영상 입력 장치(300)는 입력 방향에 따라 사각형의 형태가 틀어진 마름모의 모습을 나타낼 수 있다.

도 4 내지 도 7은 본 발명의 일 실시 예에 따른 시선 추적 장치를 설명하기 위한 도면들이다.

도 4를 참조하면, 시선 추적 장치(100)는 거리 및 방향 특징 정보 산출부(110), 거리 및 방향 정보 추정부(120), 시선 추적 정보 산출부(130) 및 시선 위치 결정부(140)를 포함한다.

거리 및 방향 특징 정보 산출부(110)는 입력된 제품 영상의 특징 형태를 이용해 사용자의 눈과 제품 사이의 거리 특징 정보 및 방향 특징 정보를 산출한다. 여기서, 거리 특징 정보는 특징 형태의 넓이로 정의되는 제1 거리 특징 정보 및 특징 형태의 모든 선분의 길이의 합으로 정의되는 제2 거리 특징 정보를 포함한다. 방향 특징 정보는 특징 형태에서 좌측 최상 단 모서리와 우측 최상 단 모서리의 높이의 차이 값으로 정의되는 제1 방향 특징 정보 및 특징 형태의 내각 중 둔각의 합과 예각의 합의 차이 값으로 정의되는 제2 방향 특징 정보를 포함한다.

도 5를 참조하면, 거리 및 방향 특징 정보 산출부(110)는 TV 제품의 네 모서리 지점으로 나타낸 사각형 형태를 특징 형태로 정의하고 거리 특징 정보 및 방향 특징 정보를 산출할 수 있다. 여기서, 제1 거리 특징 정보는 각 사각형의 합이고, 제2 거리 특징 정보는 4 선분 길이의 합일 수 있다. 또한, 제1 방향 특징 정보는 P1과 P2의 높이의 차이 값이고, 제2 방향 정보는 보통 R1+R3와 R2+R4의 차이 값일 수 있다.

거리 및 방향 정보 추정부(120)는 산출한 거리 특징 정보 및 방향 특징 정보들을 입력 값으로 하여 퍼지시스템을 기반으로 사용자의 눈과 제품 사이의 거리와 방향을 추정하여 추정 거리 정보 및 추정 방향 정보를 산출한다.

도 6을 참조하면, 거리 및 방향 정보 추정부(120)는 특징 정보 정규화부(121), 퍼지 룰 테이블 설정부(123), 퍼지 멤버십 함수 추론부(125) 및 역퍼지화 출력부(127)을 포함한다.

특징 정보 정규화부(121)는 산출한 거리 특징 정보들 및 방향 특징 정보들을 0부터 1사이의 값으로 정규화한다.

퍼지 룰 테이블 설정부(122)는 거리 특징 정보들 및 방향 특징 정보들을 각각 이용하여 거리 특징 퍼지 룰 테이블 및 방향 특징 퍼지 룰 테이블을 각각 설정한다.

퍼지 멤버십 함수 추론부(125)는 거리 특징 정보들 및 방향 특징 정보들에 대한 각각의 퍼지 멤버십 함수를 이용하여 각각의 퍼지 룰 테이블 출력 값에 대한 추론 값을 산출한다.

역퍼지화 출력부(127)은 산출한 각 추론 값을 역퍼지화하여 추정 거리정보 및 추정 방향 정보를 계산한다.

시선 추적 정보 산출부(130)는 입력된 눈 영상을 분석하여 시선 추적 정보를 산출한다.

도 7을 참조하면, 시선 추적 정보 산출부(130)는 동공 검출부(131), 시선 추적부(133)를 포함한다.

동공 검출부(131)는 눈 영상 입력 장치(200)를 통하여 입력된 눈 영상의 동공 영역을 검출한다. 동공 검출부(120)는 눈 영상의 반사광 영역을 검출한다. 여기서, 동공 검출부(120)는 상대적으로 밝은 반사광 후보 영역들에 대해 관심 영역을 설정하고, 눈 영상에서 동공의 밝기 값이 제일 어둡다는 특징을 이용한 서브블록 매칭을 수행하여 동공 후보 영역을 검출한다.

시선 추적부(133)는 검출한 동공 영역 및 반사광 영역을 기초로 사용자의 시선 추적정보를 산출한다. 시선 추적부(133)는 사용자 캘리브레이션(User-Calibration)을 통해 사용자가 응시하는 시선 추적 정보를 계산할 수 있다.

시선 위치 결정부(140)는 시선 추적 정보와 추정 거리 정보 및 추정 방향 정보를 이용하여 제품 위의 시선 위치를 결정한다.

도 8 내지 도 15는 본 발명의 일 실시 예에 따른 시선 추적 방법을 설명하기 위한 도면들이다.

도 8을 참조하면, 단계 S810에서 시선 추적 장치(100)는 제품 영상 입력 장치(300)를 이용해 특징 조명(410)이 부착된 제품(400)의 영상을 입력한다. 여기서, 특징 조명(410)은 예를 들면, 850nm 파장의 소형 근적외선 LED일 수 있으며, 제품 영상에 사각형 형태를 구성하기 위해 제품의 네 모서리에 부착될 수 있다.

단계 S820에서 시선 추적 장치(100)는 사용자의 시선의 정보를 얻기 위해 눈 영상 입력 장치(200)를 이용해 사용자 눈의 영상을 취득한다. 여기서, 눈 영상 입력 장치(200)는 예를 들면, 근적외선 LED 조사기 및 근적외선 통과 필터를 포함한 눈 추적 카메라일 수 있다.

단계 S830에서 시선 추적 장치(100)는 입력된 제품 영상의 거리 특징 정보 및 방향 특징 정보들을 산출한다. 여기서, 거리 특징 정보는 특징 형태의 넓이로 정의되는 제1 거리 특징 정보 및 특징 형태의 모든 선분의 길이의 합으로 정의되는 제2 거리 특징 정보를 포함한다. 방향 특징 정보는 특징 형태에서 좌측 최상 단 모서리와 우측 최상 단 모서리의 높이의 차이 값으로 정의되는 제1 방향 특징 정보 및 특징 형태의 내각 중 둔각의 합과 예각의 합의 차이 값으로 정의되는 제2 방향 특징 정보를 포함한다.

단계 S840에서 시선 추적 장치(100)는 퍼지시스템을 기반으로 사용자의 눈과 제품 사이의 거리 정보와 방향 정보를 추정한다.

도 9를 참조하여 이를 더욱 상세히 설명하면, 단계 S910 및 단계 S920에서 시선 추적 장치(100)는 제1 거리 특징 정보, 제2 거리 특징 정보, 제1 방향 특징 정보 및 제2 방향 특징 정보를 0 에서 1 사이의 범위로 정규화한다.

단계 S930 및 단계 S940에서 시선 추적 장치(100)는 제1 거리 특징 정보, 제2 거리 특징 정보, 제1 방향 특징 정보 및 제2 방향 특징 정보를 이용하여 퍼지 룰 테이블을 설정한다.

도 10의 (a)를 참조하면, 시선 추적 장치(100)는 제1 거리 특징 정보가 낮고, 제2 거리 특징 정보가 낮은 경우는 더 먼 거리를 나타낸다고 가정하여 제1 거리 특징 정보가 L(Low)이고, 제2 거리 특징 정보가 L(Low)일 경우에 출력 값이 H(High)로 될 수 있도록 퍼지 룰을 설정할 수 있다.

도 10의 (b)를 참조하면, 시선 추적 장치(100)는 제1 방향 특징 정보가 작다 할지라도, 제2 방향 특징 정보가 큰 경우는 더 치우쳐진 방향이라고 가정하여 제1 방향 특징 정보가 L(Low)이고, 제2 방향 특징 정보가 H(High)일 경우에 출력 값이 H(High)로 될 수 있도록 퍼지 룰을 정할 수 있다.

단계 S950 및 단계 S960에서 시선 추적 장치(100)는 퍼지 멤버십 함수를 이용하여 산출된 제1 거리 특징 정보 및 제2 거리 특징 정보의 출력 값에 대한 거리 정보 추론 값과, 제1 방향 특징 정보 및 제2 방향 특징 정보에 대한 방향 정보 추론 값을 산출한다

도 11을 참조하면, 시선 추적 장치(100)는 제1 거리 특징 정보 퍼지 멤버십 함수(a) 및 제2 거리 특징 정보 퍼지 멤버십 함수(b)를 통하여 각각의 퍼지 멤버십 함수의 출력 값을 산출할 수 있다. 시선 추적 장치(100)는 제1 거리 특징 정보 퍼지 멤버십 함수(a) 및 제2 거리 특징 정보 퍼지 멤버십 함수(b)를 통하여 입력된 제1 거리 특징 정보 및 제2 거리 특징 정보 각각에 대해 3가지의 퍼지 멤버십 함수의 출력 값들(f1(L), f1(M), 및 f1(H))을 산출한다. 시선 추적 장치(100)는 예를 들면, 제1 거리 특징 정보가 0.615821인 경우, 퍼지 멤버십 함수 출력 값들(f1(L), f1(M), 및 f1(H))은 0.0, 0.768 및 0.232으로 설정할 수 있다. 또한, 시선 추적 장치(100)은 예를 들면, 제2 거리 특징 정보가 0.631579인 경우, 퍼지 멤버십 함수 출력 값들(f2(L), f2(M), 및 f2(H))은 0.0, 0.737 및 0.263로 설정할 수 있다.

도 12를 참조하면, 시선 추적 장치(100)은 도 10의 퍼지 룰 테이블에서 보여지는 바와 같이, 9가지 조합((f1(L), f2(L)), (f1(L), f2(M)), (f1(L), f2(H)), (f1(M), f2(L)), (f1(M), f2(M)), (f1(M), f2(H)), (f1(H), f2(L)), (f1(H), f2(M)), (f1(H), f2(H))을 생성할 수 있다.

이후, 시선 추적 장치(100)는 Min(최소) 룰, Max(최대) 룰 및 도 10의 퍼지 룰 테이블에 기초하여 제1 거리 특징 정보 및 제2 거리 특징 정보의 출력 값에 대한 추론 값을 산출한다. 시선 추적 장치(100)는 예를 들면, (f1(M), f2(H)) 는 0. 768(M) and 0.263(H)이며, 이를 Min 룰과 Max 룰을 사용하면 0.263(L) 및 0.768(L)을 산출할 수 있고, 이를 도 10의 퍼지 룰 테이블을 적용하면, M(Middle) 및 H(High)의 출력 값은 L(Low)이므로 최종적으로 0.0, 0.263(L) 및 0.768(L)의 추론 값(inference values; IV)을 산출할 수 있다. 시선 추적 장치(100)는 상술한 방법을 도 10의 퍼지 룰 테이블의 모든 행에 대해 수행하면, 도 12와 같이 Min(최소) 룰 및 Max(최대) 룰 각각의 9가지의 추론 값을 산출할 수 있다. 이상 도 10 및 도 11에서는 거리 특징 정보들만 예를 들어 설명하였으나, 동일한 과정이 방향 특징 정보들에게 적용될 수 있음은 당업자에게 자명하다.

단계 S970 및 단계 S980에서 시선 추적 장치(100)는 산출한 추론 값을 역퍼지화하여 추정 거리 정보 및 추정 방향 정보를 계산한다.

도 13를 참조하면, 시선 추적 장치(100)는 역퍼지화를 통하여 출력 점수로 FOM(First Of Maxima) 값, LOM(Last Of Maxima) 값, MOM(Middle Of Maxima) 값, MeOM(Mean Of Maxima) 값 및 COG(Center Of Gravity) 값이 사용될 수 있다. 여기서, 도 12의 (a)를 참조하면, FOM(First Of Maxima) 값, LOM(Last Of Maxima) 값, MOM(Middle Of Maxima) 값, MeOM(Mean Of Maxima) 값은 다음과 같이 정의된다.

FOM(First of maxima) 값 =

,

LOM(last of maxima) 값 =

,

MOM(middle of maxima) 값 =

,

MeOM(mean of maxima) 값 =

.

COG(Center of Geometry) 값 =

.

는 다음 수식 (1)을 통하여 산출할 수 있다

수식 (1)

여기서,

은 도 13의 (b)의 F1 영역 및 F2 영역을 합한 영역이고, V 및 S는 각각 수직 축 및 수평 축의 변수임.

시선 추적 장치(100)는 퍼지 시스템의 출력 값에 기초하여 사용자의 눈으로부터 제품까지의 추정 거리정보 및 추정 방향 정보를 획득한다. 시선 추적 장치(100)는 예를 들면, TV 및 히터의 경우, 0에서 1사이의 범위에서 출력 값이 270~300 cm의 범위가 1차적으로 매핑 되는 반면, 스위치의 경우에는 170~200 cm의 범위가 1차적으로 매핑 될 수 있다.

단계 S850에서 시선 추적 장치(100)는 눈 영상을 이용하여 사용자의 시선 추적 정보를 계산한다. 시선 추적 장치(100)는 사용자 의존적인 캘리브레이션 (User-Calibration) 을 수행하여 사용자가 응시하는 시선 추적 정보를 계산할 수 있다. 시선 추적 장치(100)는 제품의 특징 형태, 예를 들면, 4개의 모서리 코너, 에서 시선을 각각 고정할 때 각각의 눈 영상을 획득한다.

도 14를 참조하면, 시선 추적 장치(100)는 사용자가 제품의 (a)좌상측, (b)우상측, (c)좌하측 및 (d)우하측을 바라볼 때, 감지된 동공 영역(1410) 및 반사광 영역(1420)을 포함하는 각각의 눈 영상 및 대응되는 제품 영상들을 획득한다. 시선 추적 장치(100)는 감지된 동공 영역(1410)및 반사광 영역(1420)의 위치 정보 및 방향 정보를 이용하여 제품 위의 시선 추적 정보를 계산할 수 있다.

단계 S860에서 시선 추적 장치(100)는 시선 추적 정보와 퍼지 시스템을 통하여 산출한 추정 거리정보 및 추정 방향 정보를 기반으로 제품 위의 사용자의 시선 위치 정보를 결정한다.

도 15를 참조하면, 시선 추적 장치(100)는 보정된 동공 중심들의 4개의 정보는 사용자가 제품의 4 모서리를 바라볼 때 획득되므로, 동공이 이동 가능한 영역 및 제품의 영역 간의 관계를 정의한 기하학 행렬 변환 식을 산출할 수 있다. 도 15에서 눈 영상에서 정의된

,

및

는 동공이 이동 가능한 영역이며 이 영역들은 제품 이미지에서 정의된 가전의 인식 영역

,

및

과의 기하학 행렬 변환 식 (2)에 의해 연관된다.

수식 (2)

여기서, a, b, … h는 사용자가 제품까지의 거리 및 방향에 대해 캘리브레이션을 수행하는 경우에 산출되는 계수임.

시선 추적 장치(100)는 상술한 연관에 기초하여 다음 수식 (3)을 이용하여 사용자가 바라보는 제품의 특정 위치(GPx, GPy)를 사용자의 동공 영역 및 반사 광 영역의 위치를 이용하여 산출할 수 있다.

수식 (3)

시선 추적 장치(100)는 정확한 기하학 변환식을 산출하기 위하여 사용자와 제품 사이의 거리 및 방향에 대해 캘리브레이션을 수행하여야 하며, 거리 및 방향이 최초 캘리브레이션과 달라진다면 사용자의 시선 위치의 산출 정확성은 낮아지게 된다. 따라서, 시선 추적 장치(100)는 퍼지 시스템을 통하여 측정된 추정 거리 정보 및 추정 방향 정보에 따른 오프 셋 보정에 의해 사용자가 바라보는 제품 위의 시선 위치 정보를 정확하게 산출할 수 있다.

도 16 및 도 17은 본 발명의 일 실시 예에 따른 시선 추적 방법의 효과를 설명하기 위한 도면들이다.

도 16을 참조하면, 퍼지 시스템에 기반하여 산출한 추정 거리 정보 및 추정 방향 정보의 RMS(Root Mean Square) 에러를 측정하였다. COG_MIN 값 및 FOM_MIN 값을 이용하여 산출한 추정 거리 정보 및 추정 방향 정보의 RMS 에러는 각각 2 cm미만, 4 º 미만임을 확인하였다.

도 17을 참조하면, 가전 제품 위의 시선 위치 정보의 정확성을 참 민감도(True Positive rate; TPR) 및 거짓 민감도(True Negative Rate; TNR) 측면에서 측정하였다. 시선 위치 정보는 퍼지 시스템에 의해 계산된 추론 거리 정보 및 추론 방향 정보가 적응된 상술한 수식 (2) 및 수식 (3)을 이용하여 산출하였다. 도 17에서 보여지는 바와 같이 본 발명에 따른 퍼지 시스템에 기반한 시선 추적 방법이 적용된 것(With method)과 적용되지 않은 것(Without method)을 비교하였고, 본 발명에 따른 퍼지 시스템에 기반한 시선 추적 방법이 적용된 참 민감도 및 거짓 민감도가 훨씬 높아서 더욱 효과적이라는 것을 확인할 수 있다.

본 발명의 다양한 실시 예에 따른 시선 추적 방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 시선 추적 방법을 실행하는 프로그램은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 다만, 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 시선 추적 장치
200: 눈 영상 입력 장치
300: 제품 영상 입력 장치

Claims

시선 추적 장치에 있어서,
입력된 제품 영상의 특징 형태를 이용해 사용자의 눈과 제품 사이의 거리 특징 정보 및 방향 특징 정보를 산출하는 거리 및 방향 특징 정보 산출부;
산출한 거리 특징 정보 및 방향 특징 정보를 입력 값으로 하여 퍼지시스템을 기반으로 사용자의 눈과 제품 사이의 거리와 방향을 추정하여 추정 거리 정보 및 추정 방향 정보를 산출하는 거리 및 방향 정보 추정부;
입력된 눈 영상을 분석하여 시선 추적 정보를 산출하는 시선 추적 정보 산출부; 및
상기 시선 추적 정보와 상기 추정 거리 정보 및 상기 추정 방향 정보를 이용하여 제품 위의 시선 위치를 결정하는 시선 위치 결정부를 포함하는 시선 추적 장치.
제1 항에 있어서,
상기 특징 형태는
네 모서리 지점을 포함하는 사각형 형태인 시선 추적 장치.
제1 항에 있어서,
상기 거리 특징 정보는
상기 특징 형태의 넓이로 정의되는 제1 거리 특징 정보; 및
상기 특징 형태의 모든 선분의 길이의 합으로 정의되는 제2 거리 특징 정보를 포함하는 시선 추적 장치.
제1 항에 있어서,
상기 방향 특징 정보는
상기 특징 형태에서 좌측 최상 단 모서리와 우측 최상 단 모서리의 높이의 차이 값으로 정의되는 제1 방향 특징 정보; 및
상기 특징 형태의 내각 중 둔각의 합과 예각의 합의 차이 값으로 정의되는 제2 방향 특징 정보를 포함하는 시선 추적 장치.
제1항에 있어서,
상기 거리 및 방향 정보 추정부는
산출한 거리 특징 정보들 및 방향 특징 정보들을 0부터 1사이의 값으로 정규화하는 특징 정보 정규화부;
거리 특징 정보들 및 방향 특징 정보들을 각각 이용하여 거리 특징 퍼지 룰 테이블 및 방향 특징 퍼지 룰 테이블을 각각 설정하는 퍼지 룰 테이블 설정부;
거리 특징 정보들 및 방향 특징 정보들에 대한 각각의 퍼지 멤버십 함수를 이용하여 각각의 퍼지 룰 테이블 출력 값에 대한 추론 값을 산출하는 퍼지 멤버십 함수 추론부; 및
산출한 각각의 추론 값을 역퍼지화하여 추정 거리정보 및 추정 방향 정보를 계산하는 역퍼지화 출력부를 포함하는 시선 추적 장치.
제1 항에 있어서,
상기 시선 추적 정보 산출부는
입력된 눈 영상의 동공 영역 및 반사광 영역을 검출하는 동공 검출부; 및
검출한 동공 영역 및 반사광 영역을 기초로 사용자의 시선 추적정보를 산출하는 시선 추적부를 포함하는 시선 추적 장치.
제6항에 있어서,
상기 시선추적부는 사용자 캘리브레이션을 통해 사용자가 응시하는 시선 추적 정보를 계산하는 시선 추적 장치.
시선 추적 방법에 있어서,
입력된 제품 영상의 특징 형태를 이용해 사용자의 눈과 제품 사이의 거리 특징 정보 및 방향 특징 정보를 산출하는 단계;
산출한 거리 특징 정보 및 방향 특징 정보를 입력 값으로 하여 퍼지시스템을 기반으로 사용자의 눈과 제품 사이의 거리와 방향을 추정하여 추정 거리 정보 및 추정 방향 정보를 산출하는 단계;
입력된 눈 영상을 분석하여 시선 추적 정보를 산출하는 단계; 및
상기 시선 추적 정보와 상기 추정 거리 정보 및 상기 추정 방향 정보를 이용하여 제품 위의 시선 위치를 결정하는 단계를 포함하는 시선 추적 방법.
제8항에 있어서,
산출한 거리 특징 정보 및 방향 특징 정보를 입력 값으로 하여 퍼지시스템을 기반으로 사용자의 눈과 제품 사이의 거리와 방향을 추정하여 추정 거리 정보 및 추정 방향 정보를 산출하는 단계는
산출한 거리 특징 정보들 및 방향 특징 정보들을 0부터 1사이의 값으로 정규화하는 단계;
거리 특징 정보들 및 방향 특징 정보들을 각각 이용하여 거리 특징 퍼지 룰 테이블 및 방향 특징 퍼지 룰 테이블을 각각 설정하는 단계;
거리 특징 정보들 및 방향 특징 정보들에 대한 각각의 퍼지 멤버십 함수를 이용하여 각각의 퍼지 룰 테이블 출력 값에 대한 추론 값을 산출하는 단계; 및
산출한 각각의 추론 값을 역퍼지화하여 추정 거리정보 및 추정 방향 정보를 계산하는 단계를 포함하는 시선 추적 방법.
제9항에 있어서,
상기 거리 특징 정보는
특징 형태의 넓이로 정의되는 제1 거리 특징 정보; 및
특징 형태의 모든 선분의 길이의 합으로 정의되는 제2 거리 특징 정보를 포함하고,
상기 방향 특징 정보는
특징 형태에서 좌측 최상 단 모서리와 우측 최상 단 모서리의 높이의 차이 값으로 정의되는 제1 방향 특징 정보; 및
특징 형태의 내각 중 둔각의 합과 예각의 합의 차이 값으로 정의되는 제2 방향 특징 정보를 포함하는 시선 추적 방법.
제10항에 있어서,
상기 거리 특징 정보들 및 방향 특징 정보들을 각각 이용하여 거리 특징 퍼지 룰 테이블 및 방향 특징 퍼지 룰 테이블을 각각 설정하는 단계는
상기 제1 거리 특징 정보가 낮고, 상기 제2 거리 특징 정보가 낮은 경우는 더 먼 거리를 나타낸다고 가정하여 제1 거리 특징 정보가 L(Low)이고, 제2 거리 특징 정보가 L(Low)일 경우에 출력 값이 H(High)로 될 수 있도록 거리 특징 퍼지 룰을 설정하는 단계; 및
제1 방향 특징 정보가 작다 할지라도, 제2 방향 특징 정보가 큰 경우는 더 치우쳐진 방향이라고 가정하여 제1 방향 특징 정보가 L(Low)이고, 제2 방향 특징 정보가 H(High)일 경우에 출력 값이 H(High)로 될 수 있도록 방향 특징 퍼지 룰을 설정하는 단계를 포함하는 시선 추적 방법.
제8항에 있어서,
상기 입력된 눈 영상을 분석하여 시선 추적 정보를 산출하는 단계는
입력된 눈 영상의 동공 영역 및 반사광 영역을 검출하는 단계; 및
검출한 동공 영역 및 반사광 영역을 기초로 사용자의 시선 추적정보를 산출하는 단계를 포함하는 시선 추적 방법.
제8항 내지 제12항 중 어느 한 항의 시선 추적 방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.