KR20170090877A - 인터랙티브 사용자 캘리브레이션 장치 및 방법 - Google Patents

Abstract

본 발명은 인터랙티브 사용자 캘리브레이션 장치로, 사용자 인터랙션 입력부와, 상기 사용자 인터랙션 입력부로부터 인터랙션 신호가 입력될 때마다 모니터상에 응시 유도 마커가 하나씩 순차적으로 온/오프되도록 디스플레이하는 응시 유도 마커 디스플레이부와, 사용자의 얼굴을 촬영하는 영상 촬영부와, 사용자 인터랙션 입력부로부터 인터랙션 신호가 입력된 시점을 기반으로 영상 촬영부에서 입력받은 영상들 중 사용자 캘리브레이션에 사용될 영상을 선택하는 캘리브레이션 활용 영상 선택부와, 상기 캘리브레이션 활용 영상 선택부에서 입력받은 영상으로부터 각막반사광의 중심과 동공 중심 간의 벡터를 생성하고, 상기 응시 유도 마커 디스플레이부로부터 입력받은 디스플레이상의 응시 유도 마커의 위치와 상기 생성된 벡터를 이용하여 매핑 함수를 생성하는 응시점 매핑 함수 생성부를 포함한다.

Description

인터랙티브 사용자 캘리브레이션 장치 및 방법{Apparatus and Method for Interactive User Calibration}

본 발명은 시선추적 기술에 관한 것으로, 특히 사용자 캘리브레이션 장치 및 방법에 관한 것이다.

시선추적 기술은 사용자가 어느 곳을 응시하는지를 알아내는 기술이다. 사용자의 시선을 추적하기에 앞서 사용자 캘리브레이션 단계를 거치게 되는데 이는 동일한 지점을 응시하더라도 사용자마다 카파각이 다르기 때문이다. 여기서, 카파각은 동공중심과 안구 중심을 잇는 선분과 시선 사이의 각도를 의미한다.

사용자 캘리브레이션 단계에서는 모니터 화면 여러 지점에 응시 유도 마커를 순차적으로 일정 시간 디스플레이하고 사용자가 각 응시 유도 마커를 바라보도록 유도한다. 응시 유도 마커를 바라보는 동안 시선추적 시스템은 사용자의 눈 영상을 촬영하여 각 응시 유도 마커를 바라볼 때의 동공의 중심과 각막반사광 중심 간의 벡터(pupil center corneal reflection vector : 이하 'PCCR 벡터'로 기재함)를 산출한다. 이와 같이 산출된 PCCR 벡터들과 응시 유도 마커 간의 관계를 이용하여 매핑 함수를 생성함으로써, 캘리브레이션 이후 단계에서 생성되는 PCCR 벡터로 시선을 추적할 수 있게 된다. 따라서, 매핑 함수를 얼마나 정밀하게 생성하느냐가 시선추적 정확도에 큰 영향을 미치게 된다.

그런데, 응시 유도 마커가 디스플레이되는 동안 부주의로 인해 응시를 제대로 하지 못하는 경우 뿐만 아니라, Susana Martinez-Conde 등이 'THE ROLE OF FIXATIONAL EYE MOVEMENTS IN VISUAL PERCEPTION' 논문에서 밝힌 바와 같이 한 곳을 바라보는 동안에도 시선이 계속 떨리는 현상(drift, micro saccade, tremor)이 발생한다. 따라서 응시 유도 마커를 디스플레이하는 동안 촬영된 영상들이 모두 응시 유도 마크를 제대로 응시했다고 하기 어렵다.

또한, 응시 유도 마커를 디스플레이 하는 시간이 길면 어느 시점에 정확히 응시유도 마커를 봤는지 특정하기 어려우며, 응시 유도 마커 시간이 짧으면 해당 시간에 사용자가 응시 유도 마커를 제대로 응시하지 못하는 문제점이 있다.

본 발명은 응시 유도 마커를 디스플레이하는 동안 사용자가 응시 유도 마크를 제대로 응시한 상태에서 촬영된 영상들을 이용한 인터랙티브 사용자 캘리브레이션 장치 및 방법을 제공한다.

본 발명은 인터랙티브 사용자 캘리브레이션 장치로, 사용자 인터랙션 입력부와, 상기 사용자 인터랙션 입력부로부터 인터랙션 신호가 입력될 때마다 모니터상에 응시 유도 마커가 하나씩 순차적으로 온/오프되도록 디스플레이하는 응시 유도 마커 디스플레이부와, 사용자의 얼굴을 촬영하는 영상 촬영부와, 사용자 인터랙션 입력부로부터 인터랙션 신호가 입력된 시점을 기반으로 영상 촬영부에서 입력받은 영상들 중 사용자 캘리브레이션에 사용될 영상을 선택하는 캘리브레이션 활용 영상 선택부와, 상기 캘리브레이션 활용 영상 선택부에서 입력받은 영상으로부터 각막반사광의 중심과 동공 중심 간의 벡터를 생성하고, 상기 응시 유도 마커 디스플레이부로부터 입력받은 디스플레이상의 응시 유도 마커의 위치와 상기 생성된 벡터를 이용하여 매핑 함수를 생성하는 응시점 매핑 함수 생성부를 포함한다.

본 발명은 시선추적 시스템의 사용자 캘리브레이션 과정에서 사용자가 응시하고 있는 시점을 사용자가 직접 전달함으로써 보다 정확한 사용자 캘리브레이션 결과를 가져올 수 있다.

도 1은 비착용형 시선추적 시스템의 구성도이다.
도 2는 각막반사광과 PCCR 벡터의 일 예를 도시한다.
도 3에 일반적인 사용자 캘리브레이션 동작의 시간적 흐름을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 인터랙티브 사용자 캘리브레이션 장치의 블록 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 인터랙티브 사용자 캘리브레이션 동작의 시간적 흐름을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 인터랙티브 사용자 캘리브레이션 방법을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

사용자 캘리브레이션 단계에서는 모니터 화면 여러 지점에 응시 유도 마커를 순차적으로 일정 시간 디스플레이하고 사용자가 각 응시 유도 마커를 바라보도록 유도한다. 응시 유도 마커를 바라보는 동안 시선추적 시스템은 사용자의 눈 영상을 촬영하여 각 응시 유도 마커를 바라볼 때의 동공의 중심과 각막반사광 중심 간의 벡터(pupil center corneal reflection vector : 이하 'PCCR 벡터'로 기재함)를 산출한다. 이와 같이 산출된 CCR 벡터들과 응시 유도 마커 간의 관계를 이용하여 매핑 함수를 생성함으로써, 캘리브레이션 이후 단계에서 생성되는 PCCR 벡터로 시선을 추적할 수 있게 된다. 따라서, 매핑 함수를 얼마나 정밀하게 생성하느냐가 시선추적 정확도에 큰 영향을 미치게 된다.

사용자 캘리브레이션 단계에서는 모니터 화면 여러 지점에 응시 유도 마커를 순차적으로 일정 시간 디스플레이하고 사용자가 각 응시 유도 마커를 바라보도록 유도한다. 응시 유도 마커를 바라보는 동안 시선추적 시스템은 사용자의 눈 영상을 촬영하여 각 응시 유도 마커를 바라볼 때의 동공의 중심과 각막반사광 중심 간의 벡터(pupil center corneal reflection vector : 이하 'PCCR 벡터'로 기재함)를 산출한다. 이와 같이 산출된 CCR 벡터들과 응시 유도 마커 간의 관계를 이용하여 매핑 함수를 생성함으로써, 캘리브레이션 이후 단계에서 생성되는 PCCR 벡터로 시선을 추적할 수 있게 된다. 따라서, 매핑 함수를 얼마나 정밀하게 생성하느냐가 시선추적 정확도에 큰 영향을 미치게 된다.

도 1은 비착용형 시선추적 시스템의 구성도이다.

도 1을 참조하면, 비착용형 시선 추적 시스템은 크게 모니터(110) 및 시선 추적 디바이스(120)로 구성된다.

모니터(110) 상에는 응시 유도 마커를 순차적으로 디스플레이하여 사용자가 응시 유도 마커(111)를 응시하도록 한다. 응시 유도 마커는 특정 시간 동안 디스플레이되며, 해당 응시 유도 마커 재생 시간이 종료되면 다음 응시 유도 마커가 디스플레이된다. 모든 응시 유도 마커가 디스플레이될 동안 이러한 과정이 반복된다.

시선 추적 디바이스(120)는 카메라(121) 및 적외선 조명(122)를 장착하여 사용자 얼굴을 촬영하고, 적외선 조명(122)이 각막에서 반사되는 각막반사광의 중심과 동공의 중심을 검출하여 두 중심이 이루는 PCCR 벡터로 응시점을 계산하게 된다. 즉, 응시 유도 마커(111)가 나타나는 동안 사용자가 응시 유도 마커를 응시한다고 가정하며, 그동안 시선추적 디바이스(120)는 사용자의 얼굴을 촬영하고 촬영된 영상에서 검출된 눈 영역을 분석하여 각 응시 유도 마커에 해당하는 PCCR 벡터를 구한다.

도 2는 각막반사광과 PCCR 벡터의 일 예를 도시한다.

도 2를 참조하면, 사용자의 눈 영상을 촬영하여 각 응시 유도 마커를 바라볼 때의 동공의 중심과 각막반사광(201) 중심 간의 PCCR 벡터(202)를 산출한다.

도 1의 모니터(110)에 도시된 응시 유도 마커들 각각에 해당하는 PCCR 벡터들을 이용하여 매핑 함수가 산출되며, 매핑 함수를 이용함으로써 캘리브레이션 이후 단계에서 사용자가 모니터상의 임의의 점을 응시할 때 생성되는 PCCR 벡터를 모니터상의 한 점으로 매핑할 수 있게 된다.

그런데 시선추적 시스템은 응시 유도 마커를 디스플레이하는 동안 사용자가 가장 잘 응시한 시점이 언제인지 인지할 수 없는 문제가 있으므로, 일반적으로 하나의 응시 유도 마커가 디스플레이되는 동안 촬영된 복수개의 영상에서 PCCR 벡터들을 모두 구하여 평균을 내어 사용한다.

도 3은 일반적인 사용자 캘리브레이션 방법의 시간적 흐름에 따른 동작을 나타내었다.

도 3을 참조하면, T_on 시간 동안 응시 유도 마커가 디스플레이되고, T_off 시간 이후 다음 응시 유도 마커가 T_on 시간 동안 디스플레이되며, 이 과정이 모든 응시 유도 마커 디스플레이될 때까지 순차적으로 반복된다. T_on 시간 동안 사용자는 응시 유도 마커를 잘 응시하고 있으리라 가정하고 시선추적 시스템은 T_cal 시간에 캡쳐된 영상을 모두 캘리브레이션에 사용하거나 T_on 시간 전후로 몇 장의 영상을 제외하고 사용한다. 그러나 사용자가 집중하지 못한 경우의 영상도 포함되므로 사용자 캘리브레이션 결과의 정확도가 떨어지는 문제가 있다.

따라서, 본 발명은 이를 극복하기 위해 사용자 캘리브레이션 과정에서 사용자와 인터랙션함으로써 사용자가 집중하고 있는 시점의 영상만을 활용할 수 있도록 한다.

도 4는 본 발명의 일 실시 예에 따른 인터랙티브 사용자 캘리브레이션 장치의 블록 구성도이다.

도 4를 참조하면, 응시 유도 마커 디스플레이부(401)는 모니터상에 응시 유도 마커를 디스플레이하고 사용자의 인터랙션이 발생할 때까지 대기한다. 사용자의 인터랙션이 있으면 다음 응시 유도 마크를 디스플레이하고 앞선 응시 유도 마커와 동일하게 사용자의 인터랙션이 발생할 때까지 대기한다. 이 과정을 마지막 응시 유도 마커까지 순차적으로 반복한다.

영상 촬영부(402)는 사용자의 얼굴을 촬영하고 촬영된 영상을 캘리브레이션 활용 영상 선택부(404)로 전달한다.

사용자 인터랙션 입력부(403)는 사용자로부터 특정 이벤트를 수신하는 것으로, 마우스, 키보드, 리모콘 등 사용자의 입력을 인지하여 전달할 수 있는 디바이스를 사용할 수 있다. 특히 마우스를 사용할 경우, 사용자가 마우스 커서를 응시 유도 마커의 중심에 맞추게 함으로써 사용자의 집중력을 더 높일 수 있다.

캘리브레이션 활용 영상 선택부(404)는 사용자 인터랙션 입력부(403)에서 전달한 사용자 인터랙션 시점을 기반으로 영상 촬영부(402)에서 입력받은 영상들 중 사용자 캘리브레이션에 사용될 영상을 선택한다.

응시점 매핑 함수 생성부(405)는 캘리브레이션 활용 영상 선택부(404)에서 입력 받은 영상으로부터 각막반사광의 중심과 동공 중심을 검출하여 PCCR 벡터를 생성한다. 그리고 응시 유도 마커 디스플레이부(401)로부터 입력받은 디스플레이 상의 응시 유도 마커의 위치와 생성된 PCCR 벡터를 이용하여 매핑 함수를 생성한다. 매핑 함수 생성 기술은 주지된 기술이므로 여기서는 그 상세한 설명을 생략하기로 한다.

도 5는 본 발명의 일 실시 예에 따른 인터랙티브 사용자 캘리브레이션 동작의 시간적 흐름을 도시한 도면이다.

도 5를 참조하면, 응시 유도 마커가 디스플레이되는 T_on 시간 동안 사용자 인터랙션이 발생하면, 캘리브레이션 활용 영상 선택부(404)는 사용자 인터랙션이 발생한 시점을 기준으로 인터랙션 발생 전의 특정 시간 범위인 T_before와 인터랙션 발생 후의 특정 시간 범위인 T_after 구간에 존재하는 영상만을 선택한다.

T_before와 T_after는 각각 0 이상의 미리 정의한 값으로 적어도 한 프레임의 이미지는 포함할 수 있어야 하며 둘 다 0인 경우는 허용되지 않는다. 선택된 영상들만을 이용하여 획득한 PCCR 벡터의 평균을 사용하여 사용자 캘리브레이션을 수행한다.

도 6은 본 발명의 일 실시 예에 따른 인터랙티브 사용자 캘리브레이션 방법을 설명하기 위한 순서도이다.

도 6을 참조하면, 인터랙티브 사용자 캘리브레이션 장치(이하 '장치'로 기재함)는 모니터상에 응시 유도 마커를 디스플레이하고(S610), 사용자의 얼굴을 촬영한다(S620). 이후, 사용자 인터랙션이 발생되는지를 모니터링한다(S630).

S630의 모니터링 결과 사용자 인터랙션이 발생되면, 장치는 사용자 인터랙션 시점에 촬영된 영상들 중 사용자 캘리브레이션에 사용될 영상을 선택한다(S640). 장치는 이로써, 사용자가 응시 유도 마커를 응시하는데 집중한 상태에서의 사용자 영상을 사용할 수 있다.

그런 후, 장치는 입력받은 영상으로부터 각막반사광의 중심과 동공 중심을 검출하여 PCCR 벡터를 생성한다(S650). 그리고, 장치는 입력받은 디스플레이상의 응시 유도 마커의 위치와 생성된 PCCR 벡터를 이용하여 매핑 함수를 생성한다(S660).

그런 후, 장치는 S610 단계 내지 S660 단계의 과정을 마지막 응시 유도 마커까지 순차적으로 반복한다.

Claims (1)

1. 사용자 인터랙션 입력부와,
   상기 사용자 인터랙션 입력부로부터 인터랙션 신호가 입력될 때마다 모니터상에 응시 유도 마커가 하나씩 순차적으로 온/오프되도록 디스플레이하는 응시 유도 마커 디스플레이부와,
   사용자의 얼굴을 촬영하는 영상 촬영부와,
   사용자 인터랙션 입력부로부터 인터랙션 신호가 입력된 시점을 기반으로 영상 촬영부에서 입력받은 영상들 중 사용자 캘리브레이션에 사용될 영상을 선택하는 캘리브레이션 활용 영상 선택부와,
   상기 캘리브레이션 활용 영상 선택부에서 입력받은 영상으로부터 각막반사광의 중심과 동공 중심 간의 벡터를 생성하고, 상기 응시 유도 마커 디스플레이부로부터 입력받은 디스플레이상의 응시 유도 마커의 위치와 상기 생성된 벡터를 이용하여 매핑 함수를 생성하는 응시점 매핑 함수 생성부를 포함함을 특징으로 하는 인터랙티브 사용자 캘리브레이션 장치.

Images