KR101383235B1 - 시선 추적을 이용한 좌표 입력 장치 및 그 방법 - Google Patents

시선 추적을 이용한 좌표 입력 장치 및 그 방법 Download PDF

Info

Publication number
KR101383235B1
KR101383235B1 KR1020100057396A KR20100057396A KR101383235B1 KR 101383235 B1 KR101383235 B1 KR 101383235B1 KR 1020100057396 A KR1020100057396 A KR 1020100057396A KR 20100057396 A KR20100057396 A KR 20100057396A KR 101383235 B1 KR101383235 B1 KR 101383235B1
Authority
KR
South Korea
Prior art keywords
pupil
camera
user
image
tracking
Prior art date
Application number
KR1020100057396A
Other languages
English (en)
Other versions
KR20110137453A (ko
Inventor
박준석
이전우
원종호
고은진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100057396A priority Critical patent/KR101383235B1/ko
Priority to US13/162,374 priority patent/US20110310238A1/en
Publication of KR20110137453A publication Critical patent/KR20110137453A/ko
Application granted granted Critical
Publication of KR101383235B1 publication Critical patent/KR101383235B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 시선 추적을 이용한 좌표 입력 장치 및 그 방법에 관한 것으로, 제1 카메라에 의해 촬영되는 제1 영상으로부터 사용자의 동공의 움직임을 추적하는 동공 추적부, 제2 카메라에 의해 촬영되는 제2 영상 내에 위치한 디스플레이 장치 영역을 추적하는 디스플레이 추적부, 및 추적된 상기 동공의 움직임을 상기 제2 영상의 상기 디스플레이 장치 영역에 맵핑시키고, 맵핑된 상기 동공의 움직임에 따라 취득된 위치 정보를 상기 제2 영상의 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 공간 좌표 변환부를 포함한다. 본 발명에 따르면, 최소 두 대 이상의 카메라를 이용하여 촬영된 사용자의 동공과 사용자의 전방 영상으로부터 사용자의 가시 영역 내에서 동공의 위치 이동에 따른 시선을 추적하여 공간 좌표로 변환함으로써, 머리 움직임 또는 화면의 해상도에 구애 받지 않고도 사용자가 바라보는 곳을 추적하는 것이 가능한 이점이 있다.

Description

시선 추적을 이용한 좌표 입력 장치 및 그 방법{Apparatus for inputting coordinate using eye tracking and method thereof}
본 발명은 시선 추적을 이용한 좌표 입력 장치 및 그 방법에 관한 것으로, 특히 사용자의 눈 영상을 통해 사용자가 응시하는 점을 알아내기 위한 시선 기반 인터랙션 시스템의 좌표 입력 장치 및 그 방법 방법에 관한 것이다.
시선 추적 기술 및 시선 방향 추출 기술은 HCI 분야에서 새로운 사용자 입력을 위해 꾸준히 연구되고 있는 분야로서, 손이나 발 등의 신체 부위의 움직임이 불편한 장애인이 컴퓨터 등과 같은 장치를 사용할 수 있도록 개발되어 상용화되고 있다.
물론, 시선 추적 기술 및 시선 방향 추출 기술은 장애인뿐만이 아니라 일반 사용자가 응시하는 위치를 추적함으로써 광고의 배치나 텍스트의 배치에 따라서 사용자가 어떠한 시선 궤적을 갖는지를 파악하는 등 여러 가지 데이터 마이닝 분야에도 사용되고 있다.
시선 추적에서 가장 중요한 부분은 동공을 추적하는 것인데, 종래에도 동공을 추적하기 위한 여러 가지 방법이 이용되어 왔다.
예를 들어, 광원이 각막에서 반사되는 점을 이용하는 방식, 광원이 굴절률이 다른 눈의 여러 층을 통과할 때 나타나는 현상을 이용하는 방식, 눈 주의의 전극을 이용하는 EOG 방식, 콘택트 렌즈를 사용하는 써치 코일(search coil) 방식, 광원의 위치에 따라 동공의 밝기가 변함을 이용하는 방식 등이 있다.
또한, 상기의 동공 추적 방식을 이용함에 있어서, 머리 움직임을 보상하기 위해 자기 센서를 이용하여 추출된 머리 움직임의 정보와 카메라를 이용한 안구 (홍채, 동공 등)을 추적한 점의 위치로부터 머리와 눈의 관계를 파악하여 시선을 추출하거나, 투광기와 눈으로부터 반사되는 빛을 입력 받는 소자를 이용하여 시선에 따라 입력되는 빛의 변화로부터 시선을 예측하는 방법 등이 이용된다.
본 발명의 목적은, 최소 두 대 이상의 카메라를 이용하여 사용자의 동공과 사용자의 전방을 촬영하고 사용자의 가시 영역 내에서 동공의 위치 이동에 따른 시선을 추적하여 공간 좌표로 변환함으로써, 머리 움직임에 구애 받지 않고도 사용자가 바라보는 곳을 추적할 수 있는 시선 추적을 이용한 좌표 입력 장치 및 그 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 시선 추적을 이용한 좌표 입력 장치는, 제1 카메라에 의해 촬영되는 제1 영상으로부터 사용자의 동공의 움직임을 추적하는 동공 추적부, 제2 카메라에 의해 촬영되는 제2 영상 내에 위치한 디스플레이 장치 영역을 추적하는 디스플레이 추적부, 및 추적된 상기 동공의 움직임을 상기 제2 영상의 상기 디스플레이 장치 영역에 맵핑시키고, 맵핑된 상기 동공의 움직임에 따라 취득된 위치 정보를 상기 제2 영상의 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 공간 좌표 변환부를 포함하는 것을 특징으로 한다.
상기 제1 카메라는, 상기 사용자의 머리에 착용된 헤드 마운트에 고정되고, 상기 제1 카메라의 렌즈가 상기 사용자의 눈을 향하도록 배치된 것을 특징으로 한다.
상기 제1 카메라는, 1300nm 또는 1900nm 파장 대역의 밴드 패스 필터(band pass filter)를 구비한 적외선 카메라인 것을 특징으로 한다.
상기 제2 카메라는, 상기 사용자의 머리에 착용된 헤드 마운트에 상기 제1 카메라와 나란하게 고정되고, 상기 제2 카메라의 렌즈가 상기 사용자의 시선 방향을 향하도록 배치된 것을 특징으로 한다.
상기 제2 카메라는, 상기 사용자의 머리 움직임에 따라 변경되는 위치에서 상기 사용자의 시선에 따른 상기 제2 영상을 촬영하는 것을 특징으로 한다.
상기 동공 추적부는, 상기 제1 카메라에 의해 촬영되는 제1 영상으로부터 상기 동공의 중심 위치를 추적하는 것을 특징으로 한다.
상기 공간 좌표 변환부는, 상기 제2 영상의 공간상에 상기 동공의 중심 위치를 캘리브레이션(calibration) 하는 것을 특징으로 한다.
상기 공간 좌표 변환부는, 상기 디스플레이 장치 영역과 상기 동공의 중심 위치의 비율에 근거하여, 상기 제2 영역에서 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 것을 특징으로 한다.
상기 디스플레이 추적부는, 상기 제2 영상 내에서 상기 디스플레이 장치에 부착된 하나 이상의 마커의 위치를 추적하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 시선 추적을 이용한 좌표 입력 방법은, 제1 카메라에 의해 촬영되는 제1 영상으로부터 사용자의 동공의 움직임을 추적하는 단계, 제2 카메라에 의해 촬영되는 제2 영상 내에 위치한 디스플레이 장치 영역을 추적하는 단계, 추적된 상기 동공의 움직임을 상기 디스플레이 장치 영역에 맵핑시키는 단계, 및 맵핑된 상기 동공의 움직임에 따라 취득된 위치 정보를 상기 제2 영상의 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 단계를 포함하는 것을 특징으로 한다.
상기 제1 카메라는, 상기 사용자의 머리에 착용된 헤드 마운트에 고정되고, 상기 제1 카메라의 렌즈가 상기 사용자의 눈을 향하도록 배치된 것을 특징으로 한다.
상기 제1 카메라는, 1300nm 또는 1900nm 파장 대역의 밴드 패스 필터(band pass filter)를 구비한 적외선 카메라인 것을 특징으로 한다.
상기 제2 카메라는, 상기 사용자의 머리에 착용된 헤드 마운트에 상기 제1 카메라와 나란하게 고정되고, 상기 제2 카메라의 렌즈가 상기 사용자의 시선 방향을 향하도록 배치된 것을 특징으로 한다.
상기 제2 카메라는, 상기 사용자의 머리 움직임에 따라 변경되는 위치에서 상기 사용자의 시선에 따른 상기 제2 영상을 촬영하는 것을 특징으로 한다.
상기 사용자의 동공의 움직임을 추적하는 단계는, 상기 제1 카메라에 의해 촬영된 제1 영상으로부터 상기 동공의 중심 위치를 추적하는 것을 특징으로 한다.
상기 맵핑시키는 단계는, 상기 제2 영상의 공간상에 상기 동공의 중심 위치를 캘리브레이션(calibration) 하는 단계를 포함하는 것을 특징으로 한다.
상기 공간 좌표로 변환하는 단계는, 상기 디스플레이 장치 영역과 상기 동공의 중심 위치의 비율에 근거하여, 상기 제2 영상에서 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 것을 특징으로 하는 것을 특징으로 한다.
상기 디스플레이 장치 영역을 추적하는 단계는, 상기 제2 영상 내에서 상기 디스플레이 장치에 부착된 하나 이상의 마커의 위치를 추적하는 것을 특징으로 한다.
본 발명에 따르면, 최소 두 대 이상의 카메라를 이용하여 촬영된 사용자의 동공과 사용자의 전방 영상으로부터 사용자의 가시 영역 내에서 동공의 위치 이동에 따른 시선을 추적하여 공간 좌표로 변환함으로써, 머리 움직임 또는 화면의 해상도에 구애 받지 않고도 사용자가 바라보는 곳을 추적하는 것이 가능한 이점이 있다.
또한, 본 발명에 따르면, 한번 캘리브레이션 하면 가시 화면 영역 내 디스플레이 장치가 변경되어도 다시 캘리브레이션 하지 않아도 되는 이점이 있다.
또한, 본 발명에 따르면, 디스플레이 장치에 부착되거나 매립된 마커, 즉, 광원을 직접 카메라로 촬영하므로 광원이 눈에 반사되는 것을 카메라로 촬영하는 방식보다 전력 소모를 줄일 수 있으며, 지표면까지 잘 도달하지 않는 태양의 파장 영역을 활용하기 때문에 실외에서도 강인한 인식을 수행할 수 있는 이점이 있다.
도 1 은 본 발명에 따른 좌표 입력 장치가 적용된 시스템 구성을 도시한 도이다.
도 2 는 본 발명에 따른 좌표 입력 장치를 도시한 도이다.
도 3 은 본 발명에 따른 좌표 입력 장치의 구성을 설명하는데 참조되는 블록도이다.
도 4 는 본 발명에 따른 좌표 입력 장치의 카메라 동작 원리를 설명하는데 참조되는 예시도이다.
도 5 는 본 발명에 따른 가시 화면 영역을 도시한 예시도이다.
도 6 및 도 7 은 본 발명에 따른 가시 화면 영역에서 시선 추적 동작을 설명하는데 참조되는 예시도이다.
도 8 은 본 발명에 따른 좌표 입력 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
일반적으로 시선 추적에서 카메라를 사용하는 방식에는 크게 두 가지가 있다. 하나는 헤드 마운트 형태로써 카메라가 사용자의 눈 주위에 달려있는 방식이고, 다른 한가지는 카메라가 모니터 쪽에 달려서 원거리에서 사용자의 눈을 촬영하는 방식이다.
원거리에서 사용자의 눈을 촬영하는 방식은 사용자의 몸에 아무것도 부착하지 않는다는 장점은 있지만 사용자의 머리 움직임에 제한을 가하거나, 모니터-머리-눈 사이의 관계에서 상대적인 위치를 계산하는 방법이 복잡하기 때문에 그만큼 정확도가 떨어지거나, 카메라의 해상도가 충분히 높아야 한다. 또한, 원거리에서 사용자의 눈을 촬영하는 방식은 카메라가 모니터에 붙어있는 것이기 때문에 정해진 모니터 외에 다른 모니터에 활용을 하려면 카메라와 여러 가지 부가적인 장치들을 다른 모니터에 캘리브레이션 된 상태로 옮겨 부착해야 한다.
따라서, 본 발명에서는 사용자의 시선을 추적함에 있어서 헤드 마운트 형태의 카메라를 사용하는 방식을 적용하도록 한다.
도 1은 본 발명에 따른 좌표 입력 장치가 적용된 시스템 구성을 도시한 도이고, 도 2 는 본 발명에 따른 좌표 입력 장치를 도시한 도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 좌표 입력 장치(100)는 헤드 마운트(50)로 구현되며, 헤드 마운트(50)에는 적어도 둘 이상의 카메라가 배치된다.
이때, 적어도 하나의 카메라는 사용자의 눈 영상을 촬영하고, 또 다른 적어도 하나의 카메라는 사용자의 전방 영상을 촬영한다. 편의상, 적어도 하나의 카메라는 제1 카메라(110), 또 다른 적어도 하나의 카메라는 제2 카메라(120)로 칭하여 설명한다.
제1 카메라(110)는 헤드 마운트(50)에 고정되고, 제1 카메라(110)의 렌즈는 헤드 마운트(50)가 사용자의 머리(10)에 착용 시 사용자의 눈을 향하도록 고정, 배치된다. 즉, 제1 카메라(110)는 사용자의 머리(10) 움직임에 따라 시선 방향이 변경되더라도 고정적으로 사용자의 눈 영상만을 촬영한다.
여기서, 제1 카메라(110)는 1300nm 또는 1900nm 파장 대역의 밴드 패스 필터(band pass filter)를 구비한 적외선 카메라인 것이 바람직하나, 이에 한정되는 것은 아니다.
눈 영상을 촬영함에 있어서 적외선을 이용하는 방법은 주변광을 이용하지 않기 때문에 조명이 눈동자에 반사되는 것을 차단할 수 있으며, 연곽(limbus)이 아니라 동공(pupil)을 바로 추적하기 용이하다.
게다가, 제1 카메라(110)는 1300nm 또는 1900nm 파장 대역의 눈 영상을 촬영함으로써, 실외에서도 적외선 광을 이용하여 동공의 움직임을 추적하는 것이 가능하게 된다. 이에 대한 구체적인 설명은 도 4를 참조하도록 한다.
제2 카메라(120)는 헤드 마운트(50)에 제1 카메라(110)와 나란하게 고정되고, 제2 카메라(120)의 렌즈는 헤드 마운트(50)가 사용자의 머리(10)에 착용 시 사용자 눈의 반대 방향, 즉, 사용자의 시선 방향을 향하도록 고정, 배치된다. 즉, 제2 카메라(120)는 사용자의 머리(10) 움직임에 따라 시선 방향이 변경되면, 변경된 위치에서 사용자의 눈이 향하는 시선 방향의 가시 영역에 대한 전방 영상을 촬영한다.
여기서, 제2 카메라(120)는 제1 카메라(110)와 마찬가지로, 1300nm 또는 1900nm 파장 대역의 밴드 패스 필터(band pass filter)를 구비한 적외선 카메라일 수 있으나, 이에 한정되는 것은 아니다.
구체적으로, 제2 카메라(120)는 사용자 전방에 위치한 디스플레이 장치(200)를 촬영한다. 이때, 사용자 전방에 위치한 디스플레이 장치(200)에는 디스플레이 장치(200)의 위치, 모양 등의 식별이 가능하도록 마커(250)가 부착된다. 물론, 마커(250)는 디스플레이 장치(200)에 내장된 형태로 제공될 수도 있다. 여기서, 마커(250)는 적외선 발광 장치, 예를 들어, LED 등을 활용할 수 있다.
마커(250)는 디스플레이 장치(200)의 네 귀퉁이에 부착하도록 하나, 디스플레이 장치(200)의 위치, 모양 등을 식별하기 위한 것이므로, 마커(250)의 모양이나 숫자 등에는 제한이 없다.
이에, 도 3을 참조하여 본 발명에 따른 좌표 입력 장치의 구성을 보다 상세히 설명하도록 한다. 도 3은 본 발명에 따른 좌표 입력 장치의 구성을 설명하는데 참조되는 블록도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 좌표 입력 장치(100)는, 제1 카메라(110), 제2 카메라(120), 동공 추적부(130), 디스플레이 추적부(140), 제어부(150), 공간 좌표 변환부(160), 저장부(170), 및 공간 좌표 출력부(180)를 포함한다. 이때, 제어부(150)는 제1 카메라(110), 제2 카메라(120), 동공 추적부(130), 디스플레이 추적부(140), 공간 좌표 변환부(160), 저장부(170), 및 공간 좌표 출력부(180)의 동작을 제어한다.
제1 카메라(110) 및 제2 카메라(120)는 도 1 및 도 2의 설명을 참조한다.
한편, 동공 추적부(130)는 제1 카메라(110)에 의해 촬영되는 사용자의 눈 영상(이하 '제1 영상'이라 칭함)으로부터 사용자의 동공의 움직임을 추적한다. 상세하게는, 동공 추적부(130)는 제1 카메라(110)에 의해 촬영되는 제1 영상으로부터 동공의 중심 위치를 추적한다.
디스플레이 추적부(140)는 제2 카메라(120)에 의해 촬영되는 사용자의 전방 영상(이하, '제2 영상'이라 칭함) 내에 위치한 디스플레이 장치(200)의 영역을 추적한다. 이때, 디스플레이 추적부(140)는 제2 영상 내에서 디스플레이 장치(200)에 부착된 마커(250)들의 위치를 추적함으로써, 디스플레이 장치(200)의 영역을 추적한다.
공간 좌표 변환부(160)는 제1 영상으로부터 추적된 동공의 움직임을 제2 영상의 디스플레이 장치(200) 영역에 맵핑시킨다.
또한, 공간 좌표 변환부(160)는 맵핑된 동공의 움직임에 따라 취득된 위치 정보를 제2 영상의 디스플레이 장치(200) 영역에 대응하는 공간 좌표로 변환한다.
이때, 공간 좌표 변환부(160)는 디스플레이 장치(200) 영역과 동공의 중심 위치의 비율에 근거하여, 제2 영상에서 디스플레이 장치(200) 영역에 대응하는 공간 좌표로 변환한다.
여기서, 공간 좌표 변환부(160)는 제2 영상의 공간상에서 동공의 중심 위치에 근거하여 캘리브레이션(calibration) 한다. 공간 좌표 변환부(160)는 사전에 캘리브레이션 작업을 수행하도록 한다.
캘리브레이션이란, 제1 영상으로부터 얻어진 동공 중심의 위치가 제2 영상의 어느 곳을 향하고 있는지 계산하기 위한 함수(fc(x))를 생성하는 작업이다. 이때, fc(x)는 제1 영상으로부터 얻어진 동공의 중심 좌표를 디스플레이 장치(200)상의 좌표로 변환해 주는 함수가 아니라, 제1 영상으로부터 얻어진 동공의 중심 좌표를 제2 영상의 좌표로 변환해 주는 함수이다.
또한, fc(x)는 정해진 함수가 아니라 제1 영상에 의한 동공의 위치와 제2 영상에 따라 달라질 수 있으므로, 본 발명의 실시예에서는 fc(x)에 대한 구체적인 함수 식은 언급하지 않는다.
따라서, 공간 좌표 변환부(160)는 제1 영상으로부터 얻어진 동공 중심 위치와 제2 영상으로부터 얻어진 마커(250)의 위치를 캘리브레이션 된 fc(x)에 적용함으로써, 동공의 움직임에 따라 취득된 위치 정보를 제2 영상의 디스플레이 장치(200) 영역에 대응하는 공간 좌표로 변환하는 것이 가능하게 된다.
저장부(170)에는 제1 카메라(110) 및 제2 카메라(120)를 통해 촬영된 제1 영상 및 제2 영상이 저장된다. 또한, 저장부(170)에는 동공 추적부(130)에 의해 추적된 동공의 중심 위치 정보 및 디스플레이 추적부(140)에 의해 추적된 디스플레이 장치(200) 영역의 위치 정보가 저장된다. 뿐만 아니라, 저장부(170)에는 공간 좌표 변환부(160)의 캘리브레이션 수행 결과로 생성된 함수 fc(x)가 저장되고, 함수 fc(x)에 의해 변환된 공간 좌표값이 저장된다.
공간 좌표 출력부(180)는 공간 좌표 변환부(160)에 의해 변환된 좌표 정보를 본 발명에 따른 좌표 입력 장치(100)와 연결된 제어 장치로 출력한다.
도 4는 본 발명에 따른 좌표 입력 장치의 카메라 동작 원리를 설명하는데 참조되는 예시도이다. 상세하게는, 도 4는 태양 복사 스펙트럼(Solar Radiation Spectrum)을 나타낸 것으로, 태양광의 wavelength 대 Spectral Irradiance에 대한 그래프이다.
도 4의 그래프에서 X축은 파장의 길이로서, 그 단위는 nm이다. 한편, Y축은 분광학적 방사조도로서, 그 단위는 W/m2/nm이다.
또한, 도 4에서 A는 대기 상단의 태양광(Sunlight at Top of the Atmosphere)을 나타낸 스펙트럼이고, B는 5250℃에서의 흑체 스펙트럼(Blackbody Spectrum)을 나타낸 것이다. 또한, C는 해면 복사(Radiation at Sea Level)를 나타낸 스펙트럼이다.
도 4에 도시된 바와 같이, 적외선 대역 중에서 1300nm 파장 대역과 1900nm 파장 대역에서 해면 복사가 이루어지지 않음을 확인할 수 있다. 즉, 적외선은 1300nm 파장 대역과 1900nm 파장 대역에서 지표면까지 잘 도달하지 않음을 확인할 수 있다.
따라서, 본 발명에서는 1300nm와 1900nm 부근의 파장 대역의 적외선을 이용하여 동공 및 마커(250) 등의 위치를 추적하도록 한다. 이 경우, 태양광 아래서도 보다 강인한 영상을 획득할 수 있을 뿐만 아니라, 전력 소모를 줄일 수도 있다.
도 5는 본 발명에 따른 가시 화면 영역을 도시한 예시도이다.
도 5에서 '510'은 헤드 마운트(50)를 머리(10)에 착용한 사용자가 각 모서리에 마커(250)가 부착된 디스플레이 장치(200)를 바라보는 이미지를 나타낸 것이고, '520'은 헤드 마운트(50)에 장착된 제2 카메라(120)에 의해 실제 촬영된 영상을 나타낸 것이다. 이하의 실시예에서는 마커(250)가 디스플레이 장치(200)의 각 모서리에 배치된 것을 예로 하나, 이에 한정되는 것은 아니다.
캘리브레이션을 위해서는 사용자가 가능한 머리(10)를 고정한 상태에서 디스플레이 장치(200)에 부착된 마커(250)를 돌아가며 바라본다. 가능하면 디스플레이 장치(200)가 제2 영상에 가득 차게하는 것이 더욱 유리하다.
물론, 본 발명에 의하면 반드시 사용자가 머리(10)를 고정한 상태에서 마커(250)를 바라보거나 디스플레이 장치(200)가 제2 영상에 가득 찰 필요는 없으나, 정확도를 높이기 위해서는 디스플레이 장치(200)가 제2 영상에 가득 차게하는 것이 바람직하다.
동공 추적부(130)는 사용자가 각 마커(250)를 바라볼 때 눈동자의 중심 위치를 각각 저장부(170)에 저장한다.
예를 들어, 동공 추적부(130)는 도 5의 디스플레이 장치(200)에 부착된 마커(250)를 사용자가 바라보았다고 하면, 동공 중심의 4개 좌표는 가상적인 디스플레이 모양(직사각형)의 네 모서리가 될 것이다.
이와 같이, 공간 좌표 변환부(160)는 네 모서리의 좌표를 알게 되면, 이후 사용자가 마커(250)가 아닌 다른 곳을 응시하더라도 다양한 방법을 이용하여 제2 영상의 어느 곳을 응시하고 있는지 계산해 낼 수 있는 함수 fc(x)를 만들 수 있게 된다.
제2 카메라(120)는 사용자의 머리(10)에 고정되어 있으므로, 사용자의 머리(10) 움직임에 따라 제2 카메라(120)에 의해 촬영되는 제2 영상은 달라지게 된다.
이때, fc(x)는 사용자의 머리(10) 움직임에 따라 달라지는 제2 영상에서 사용자가 어느 곳을 바라보고 있는지 알려준다. 즉, fc(x)는 입력을 제1 영상으로부터 얻어진 사용자의 눈동자 중심의 좌표를 입력으로 하고, 제2 영상의 특정 좌표를 출력으로 하는 공간좌표 변환 함수이다.
이와 같이, fc(x)가 한번 결정되고 나면, 이후 공간 좌표 변환부(160)는 제1 카메라(110) 및 제2 카메라(120)의 위치나 카메라 특성(focal length 등)이 변경되지 않는 이상 다시 구할 필요가 없다.
본 발명의 실시예에서는 디스플레이 장치(200)에 부착된 마커(250)를 이용하여 fc(x)를 구하는 과정을 설명하였지만, 궁극적인 목표는 fc(x)를 구하는 것이기 때문에 어떠한 방법을 사용하여도 무관하다. 즉, 삼각형의 세 점을 이용하여 fc(x)를 구하더라도 본 발명에 의한 동작은 사용자가 디스플레이 장치(200)의 어느 곳을 응시하고 있는지 추적할 수 있게 된다.
도 6 및 도 7 은 본 발명에 따른 가시 화면 영역에서 시선 추적 동작을 설명하는데 참조되는 예시도이다.
먼저, 도 6은 도 5와 같이 제2 카메라(120)에 의해 촬영된 영상에서 마커(250)의 위치 및 동공의 중심 위치를 표시한 것이다.
여기서, a, b, c, d는 각각 마커(250)가 배치된 위치를 나타낸 것이고, P는 동공의 중심 위치를 나타낸 것이다.
이때, a, b, c, d를 각각 연결한 사각형은 디스플레이 장치(200) 영역을 의미한다.
따라서, 공간 좌표 변환부(160)는 사각형 abcd에서 P의 비율을 산출함으로써, 사용자가 실제 디스플레이 장치(200)의 어느 곳을 응시하고 있는지 추정할 수 있다.
물론, 도 6의 실시예는 P의 위치를 산출하는 방법을 간략하게 설명하기 위해 디스플레이 장치(200) 영역이 직사각형인 것을 예로 하여 설명한 것이다.
한편, 디스플레이 장치(200) 영역은 제2 카메라(120)의 촬영 각도에 따라서 직사각형이 아닌 경우가 발생한다. 이 경우 P의 위치를 산출하는 방법은 도 7을 참조한다.
도 7에서 각 점 a,b,c,d와 사용자의 동공 위치인 P는 도 6의 a,b,c,d와 P에 각각 해당한다. 이때, 마커(250)가 배치된 위치 a, b, c, d의 좌표는 a(x1, y1), b(x4, y4), c(x7, y7), d(x8, y8)이라 가정한다. 한편, 도 7에서 e는 a,b,c,d의 중점이다.
이때, a,b,c,d로부터 소실점(vanishing point)을 찾을 수 있으며, 이 소실점과 P를 지나는 직선이
Figure 112010038875231-pat00001
및
Figure 112010038875231-pat00002
와 만나는 점(M2, M3), 그리고 소실점과 e를 지나는 직선이
Figure 112010038875231-pat00003
및
Figure 112010038875231-pat00004
와 만나는 점(M1, M4)을 찾을 수 있다.
여기서, M1, M2, M3, M4의 좌표는 M1(x2, y2), M2(x3, y3), M3(x5, y5), M4(x6, y6)라 가정한다.
따라서, 아래 [수학식 1]을 참조하면, 디스플레이 장치(200)가 평면인 경우의 P의 위치 좌표(XP, YP)를 구할 수 있다.
Figure 112010038875231-pat00005
여기서, [수학식 1]은 fc(x)에 근거한 식이다.
도 8은 본 발명에 따른 좌표 입력 방법에 대한 동작 흐름을 도시한 순서도이다.
도 8을 참조하면, 좌표 입력 장치(100)의 제1 카메라(110) 및 제2 카메라(120)가 구동되면(S300), 동공 추적부(130)는 제1 카메라(110)에 의해 촬영되는 제1 영상으로부터 사용자의 동공 위치를 추적한다(S310). 또한, 디스플레이 추적부(140)는 제2 카메라(120)에 의해 촬영되는 제2 영상으로부터 마커(250)들의 위치를 추적한다(S320). 이때, 디스플레이 추적부(140)는 제2 영상 내에 위치한 마커(250)들의 위치에 근거하여 가시 화면 영역을 결정하고, 가시 화면 영역 내 디스플레이 장치(200)의 영역을 추적한다(S330).
이후, 공간 좌표 변환부(160)는 가시 화면 영역 내에 동공의 위치 추적 결과를 맵핑하고(S340), 맵핑된 동공의 위치를 공간 좌표로 변환한다(S350).
물론, 공간 좌표 변환부(160)는 'S340' 및 'S350' 과정을 수행하기 이전에, 가시 화면 영역 내 동공의 위치에 대한 캘리브레이션을 수행함으로써 함수를 생성한다. 이때, 공간 좌표 변환부(160)는 생성된 함수를 이용하여 가시 화면 영역에 맵핑된 동공의 위치를 공간 좌표로 변환한다.
마지막으로, 공간 좌표 출력부(180)가 'S350' 과정에서 변환된 공간 좌표 정보를 출력함으로써, 시선 추적에 따른 좌표가 입력되게 된다(S360).
물론, 동공의 위치가 변경된 경우(S370), 좌표 입력을 종료하기까지 'S310' 내지 'S360' 과정을 반복하여 수행하도록 한다.
본 발명의 실시예에서는 사용자가 가시 화면 영역 내 디스플레이 장치의 어느 곳을 바라보는지 확인하는 동작을 설명하였으나, 디스플레이 장치가 아니라 하더라도 포스터, 광고판 등 마커가 부착된 것이라면 얼마든지 응용 가능함은 당연한 것이다.
이상과 같이 본 발명에 의한 시선 추적을 이용한 좌표 입력 장치 및 그 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
50: 헤드 마운트 100: 좌표 입력 장치
110: 제1 카메라 120: 제2 카메라
130: 동공 추적부 140: 디스플레이 추적부
150: 제어부 160: 공간 좌표 변환부
170: 저장부 180: 공간 좌표 출력부
200: 디스플레이 장치 250: 마커

Claims (18)

  1. 제1 카메라에 의해 촬영되는 제1 영상으로부터 사용자의 동공의 움직임 및 상기 동공의 중심 위치를 추적하는 동공 추적부;
    제2 카메라에 의해 촬영되는 제2 영상 내에 위치한 디스플레이 장치 영역 및 상기 디스플레이 장치에 부착된 마커(a, b, c, d)의 위치를 추적하는 디스플레이 추적부; 및
    상기 제2 영상의 공간상에 상기 동공의 중심 위치를 캘리브레이션(calibration) 하고, 추적된 상기 동공의 움직임을 상기 제2 영상의 상기 디스플레이 장치 영역에 맵핑시키고, 맵핑된 상기 동공의 움직임에 따라 취득된 위치 정보를 상기 제2 영상의 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 공간 좌표 변환부;를 포함하고,
    상기 공간 좌표 변환부는,
    상기 마커로부터 소실점을 산출하고,
    상기 동공의 중심과 상기 소실점을 지나는 직선, 및 상기 마커를 잇는 선분(
    Figure 112014029683973-pat00014
    및
    Figure 112014029683973-pat00015
    )간 교점(M1, M2, M3, M4)을 산출하고,
    상기 마커의 위치 좌표(a(x1, y1), b(x4, y4), c(x7, y7), d(x8, y8)), 상기 교점의 위치 좌표(M1(x2, y2), M2(x3, y3), M3(x5, y5), M4(x6, y6)) 및 하기 수학식으로부터 동공의 중심 위치의 비율(Cx 및 Cy)을 산출하고,
    상기 디스플레이 장치 영역과 상기 동공의 중심 위치의 비율에 근거하여, 상기 제2 영역에서 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 장치.
    [수학식]
    Figure 112014029683973-pat00016
  2. 청구항 1에 있어서,
    상기 제1 카메라는,
    상기 사용자의 머리에 착용된 헤드 마운트에 고정되고, 상기 제1 카메라의 렌즈가 상기 사용자의 눈을 향하도록 배치된 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 장치.
  3. 청구항 1에 있어서,
    상기 제1 카메라는,
    1300nm 또는 1900nm 파장 대역의 밴드 패스 필터(band pass filter)를 구비한 적외선 카메라인 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 장치.
  4. 청구항 1에 있어서,
    상기 제2 카메라는,
    상기 사용자의 머리에 착용된 헤드 마운트에 상기 제1 카메라와 나란하게 고정되고, 상기 제2 카메라의 렌즈가 상기 사용자의 시선 방향을 향하도록 배치된 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 장치.
  5. 청구항 1에 있어서,
    상기 제2 카메라는,
    상기 사용자의 머리 움직임에 따라 변경되는 위치에서 상기 사용자의 시선에 따른 상기 제2 영상을 촬영하는 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 동공 추적부가 제1 카메라에 의해 촬영되는 제1 영상으로부터 사용자의 동공의 움직임을 추적하는 단계;
    상기 동공 추적부가 상기 동공의 중심 위치를 추적하는 단계;
    디스플레이 추적부가 제2 카메라에 의해 촬영되는 제2 영상 내에 위치한 디스플레이 장치 영역을 추적하는 단계;
    상기 디스플레이 추적부가 상기 디스플레이 장치에 부착된 마커(a, b, c, d)의 위치를 추적하는 단계;
    공간 좌표 변환부가 상기 제2 영상의 공간상에 상기 동공의 중심 위치를 캘리브레이션(calibration) 하는 단계;
    공간 좌표 변환부가 추적된 상기 동공의 움직임을 상기 디스플레이 장치 영역에 맵핑시키는 단계; 및
    공간 좌표 변환부가 맵핑된 상기 동공의 움직임에 따라 취득된 위치 정보를 상기 제2 영상의 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 단계;를 포함하고,
    상기 공간 좌표로 변환하는 단계는
    상기 마커로부터 소실점을 산출하고,
    상기 동공의 중심과 상기 소실점을 지나는 직선, 및 상기 마커를 잇는 선분(
    Figure 112014029683973-pat00017
    및
    Figure 112014029683973-pat00018
    )간 교점(M1, M2, M3, M4)을 산출하고,
    상기 마커의 위치 좌표(a(x1, y1), b(x4, y4), c(x7, y7), d(x8, y8)), 상기 교점의 위치 좌표(M1(x2, y2), M2(x3, y3), M3(x5, y5), M4(x6, y6)) 및 하기 수학식으로부터 동공의 중심 위치의 비율(Cx 및 Cy)을 산출하고,
    상기 디스플레이 장치 영역과 상기 동공의 중심 위치의 비율에 근거하여, 상기 제2 영역에서 상기 디스플레이 장치 영역에 대응하는 공간 좌표로 변환하는 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 방법.
    [수학식]
    Figure 112014029683973-pat00019
  11. 청구항 10에 있어서,
    상기 제1 카메라는,
    상기 사용자의 머리에 착용된 헤드 마운트에 고정되고, 상기 제1 카메라의 렌즈가 상기 사용자의 눈을 향하도록 배치된 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 방법.
  12. 청구항 10에 있어서,
    상기 제1 카메라는,
    1300nm 또는 1900nm 파장 대역의 밴드 패스 필터(band pass filter)를 구비한 적외선 카메라인 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 방법.
  13. 청구항 10에 있어서,
    상기 제2 카메라는,
    상기 사용자의 머리에 착용된 헤드 마운트에 상기 제1 카메라와 나란하게 고정되고, 상기 제2 카메라의 렌즈가 상기 사용자의 시선 방향을 향하도록 배치된 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 방법.
  14. 청구항 10에 있어서,
    상기 제2 카메라는,
    상기 사용자의 머리 움직임에 따라 변경되는 위치에서 상기 사용자의 시선에 따른 상기 제2 영상을 촬영하는 것을 특징으로 하는 시선 추적을 이용한 좌표 입력 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020100057396A 2010-06-17 2010-06-17 시선 추적을 이용한 좌표 입력 장치 및 그 방법 KR101383235B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100057396A KR101383235B1 (ko) 2010-06-17 2010-06-17 시선 추적을 이용한 좌표 입력 장치 및 그 방법
US13/162,374 US20110310238A1 (en) 2010-06-17 2011-06-16 Apparatus and method for inputting coordinates using eye tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100057396A KR101383235B1 (ko) 2010-06-17 2010-06-17 시선 추적을 이용한 좌표 입력 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110137453A KR20110137453A (ko) 2011-12-23
KR101383235B1 true KR101383235B1 (ko) 2014-04-17

Family

ID=45328306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100057396A KR101383235B1 (ko) 2010-06-17 2010-06-17 시선 추적을 이용한 좌표 입력 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20110310238A1 (ko)
KR (1) KR101383235B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216974B2 (en) 2017-12-14 2022-01-04 Samsung Electronics Co., Ltd. Staring distance determination method and device

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374316B1 (ko) * 2012-05-02 2014-03-14 (주) 미디어인터랙티브 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
CN103425626B (zh) * 2012-05-22 2016-08-31 杭州普维光电技术有限公司 一种摄像机间坐标转换方法及装置
KR101878376B1 (ko) * 2012-11-14 2018-07-16 한국전자통신연구원 시선 기반의 제어 장치 및 그것의 기기 제어 방법
KR102079097B1 (ko) 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
KR102012254B1 (ko) * 2013-04-23 2019-08-21 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
JP2016532396A (ja) * 2013-09-03 2016-10-13 シーイング マシーンズ リミテッド 低電力眼追跡システムおよび眼追跡方法
CN103557859B (zh) 2013-10-10 2015-12-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
FR3011952B1 (fr) * 2013-10-14 2017-01-27 Suricog Procede d'interaction par le regard et dispositif associe
WO2015116640A1 (en) * 2014-01-29 2015-08-06 Shazly Tarek A Eye and head tracking device
JP6547268B2 (ja) * 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
US10761601B2 (en) * 2015-03-23 2020-09-01 Controlrad Systems Inc. Eye tracking system including an eye tracker camera and a positioning camera
CN106791673A (zh) * 2016-12-29 2017-05-31 佛山亚图信息技术有限公司 基于poe及红外感应技术的监控系统
CN106686353A (zh) * 2016-12-30 2017-05-17 佛山亚图信息技术有限公司 基于云端的安防控制系统及其方法
KR102016308B1 (ko) * 2017-11-17 2019-08-30 포인드 주식회사 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법
KR102469762B1 (ko) 2018-11-16 2022-11-22 한국전자통신연구원 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법
WO2020116693A1 (ko) * 2018-12-07 2020-06-11 전자부품연구원 시야창이 확장된 증강현실 근안 디스플레이
KR102006281B1 (ko) * 2019-04-19 2019-08-01 한화시스템(주) 전투관리 체계 다기능 콘솔의 경고 표시 장치 및 방법
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11137608B2 (en) 2019-09-25 2021-10-05 Electronics And Telecommunications Research Institute Slim immersive display device, slim visualization device, and user eye-tracking device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040033496A (ko) * 2002-10-14 2004-04-28 현대모비스 주식회사 눈동자 트랙킹을 이용한 디스플레이장치의 입력키 제어방법
KR20090119107A (ko) * 2008-05-15 2009-11-19 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
KR20100006652A (ko) * 2008-07-10 2010-01-21 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
KR100949743B1 (ko) * 2009-03-20 2010-03-25 동국대학교 산학협력단 고글 형태를 갖는 착용형 시선 추적 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448053A (en) * 1993-03-01 1995-09-05 Rhoads; Geoffrey B. Method and apparatus for wide field distortion-compensated imaging
IL138831A (en) * 2000-10-03 2007-07-24 Rafael Advanced Defense Sys An information system is operated by Mabat
US8460103B2 (en) * 2004-06-18 2013-06-11 Igt Gesture controlled casino gaming system
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
JP4781440B2 (ja) * 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ， エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
US8350726B2 (en) * 2009-05-19 2013-01-08 Honeywell International Inc. Gaze-based touchdown point selection system and method
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040033496A (ko) * 2002-10-14 2004-04-28 현대모비스 주식회사 눈동자 트랙킹을 이용한 디스플레이장치의 입력키 제어방법
KR20090119107A (ko) * 2008-05-15 2009-11-19 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
KR20100006652A (ko) * 2008-07-10 2010-01-21 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
KR100949743B1 (ko) * 2009-03-20 2010-03-25 동국대학교 산학협력단 고글 형태를 갖는 착용형 시선 추적 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216974B2 (en) 2017-12-14 2022-01-04 Samsung Electronics Co., Ltd. Staring distance determination method and device

Also Published As

Publication number Publication date
KR20110137453A (ko) 2011-12-23
US20110310238A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
KR101383235B1 (ko) 시선 추적을 이용한 좌표 입력 장치 및 그 방법
US10657704B1 (en) Marker based tracking
US10268290B2 (en) Eye tracking using structured light
CN107209950B (zh) 从现实世界材料自动生成虚拟材料
US9959678B2 (en) Face and eye tracking using facial sensors within a head-mounted display
US20180149863A1 (en) Systems, devices, and methods for laser eye tracking in wearable heads-up displays
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
US9292765B2 (en) Mapping glints to light sources
US9323325B2 (en) Enhancing an object of interest in a see-through, mixed reality display device
US8077914B1 (en) Optical tracking apparatus using six degrees of freedom
EP3252566B1 (en) Face and eye tracking and facial animation using facial sensors within a head-mounted display
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US11348262B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
JP6560463B1 (ja) ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション
CN104094280A (zh) 用于高分辨率视线跟踪的系统和方法
US10430988B2 (en) Facial animation using facial sensors within a head-mounted display
JP6631951B2 (ja) 視線検出装置及び視線検出方法
CN108697321B (zh) 用于在限定操作范围内进行视线跟踪的装置
KR20130107981A (ko) 시선 추적 장치 및 방법
CN110275602A (zh) 人工现实系统和头戴式显示器
CN115715177A (zh) 具有几何危险物检测的盲人辅助眼镜
US11307654B1 (en) Ambient light eye illumination for eye-tracking in near-eye display
US20230333677A1 (en) Optical stylus for optical position determination device
US11454816B1 (en) Segmented illumination display
US20220207922A1 (en) Biometrics imaging device and biometrics imaging method for capturing image data of a body part of a person which enable improved image data quality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee