KR101613091B1 - 시선 추적 장치 및 방법 - Google Patents

시선 추적 장치 및 방법 Download PDF

Info

Publication number
KR101613091B1
KR101613091B1 KR1020140049145A KR20140049145A KR101613091B1 KR 101613091 B1 KR101613091 B1 KR 101613091B1 KR 1020140049145 A KR1020140049145 A KR 1020140049145A KR 20140049145 A KR20140049145 A KR 20140049145A KR 101613091 B1 KR101613091 B1 KR 101613091B1
Authority
KR
South Korea
Prior art keywords
user
gaze
eye
area
side image
Prior art date
Application number
KR1020140049145A
Other languages
English (en)
Other versions
KR20150122952A (ko
Inventor
박지형
이중호
조철우
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140049145A priority Critical patent/KR101613091B1/ko
Priority to US14/325,996 priority patent/US20150309567A1/en
Publication of KR20150122952A publication Critical patent/KR20150122952A/ko
Application granted granted Critical
Publication of KR101613091B1 publication Critical patent/KR101613091B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805—Real-time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

시선 추적 장치는 사용자 얼굴 우측에 설치되어 우측 눈의 측면 영상을 획득하는 제1 영상 취득부; 사용자 얼굴 좌측에 설치되어 좌측 눈의 측면 영상을 획득하는 제2 영상 취득부; 제1 영상 취득부 및 제2 영상 취득부를 고정하는 고정부; 및 우측 눈의 측면 영상 및 좌측 눈의 측면 영상으로부터 동공 및 홍채의 면적과 흰자위의 면적 및 눈꺼풀의 사잇각을 도출하여 사용자의 시선 위치를 추적하는 시선 추적부를 포함한다. 이에 따라, 시선 추적 장치의 소형화 및 경량화를 실현하는 동시에 정밀한 시선 추적이 가능하다.

Description

시선 추적 장치 및 방법{DEVICE AND METHOD FOR TRACKING GAZE}
본 발명은 시선 추적 장치 및 방법에 관한 것으로서, 더욱 상세하게는 헤드 마운티드 디스플레이 장치에 적용할 수 있는 근접 시선 추적 장치 및 방법에 관한 것이다.
시선 위치 추적이란, 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법이다. 시선 위치 추적의 장점으로는 기존 마우스 작동 방법 프로토콜과의 유사성, 바라보는 곳을 바로 포인팅할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치 역할을 제공할 수 있다는 편의성, 가상현실환경에서 사용자의 시선 방향에 따라 뷰 화면을 조정함으로써 제공하는 몰입감 등이 있을 수 있다.
기존의 시선 위치 추적 방법은 아래의 네 가지 방법으로 나눌 수 있다.
1) Skin Electrodes 기반 방법: 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하여 응시위치를 계산한다.
2) Contact Lens 기반 방법: 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산한다.
3) Head Mounted Display 부착 기반 방법: 헤드밴드 또는 헬멧 밑에 작은 카메라를 장착하여 응시위치를 계산하는 방법이다.
4) 데스크탑 기반 방법: 사용자의 몸에 착용하는 기존의 방법들과는 달리 외부에 회전이 가능한 카메라나 줌 기능을 가지는 카메라와 조명을 장치하여 응시위치를 계산하는 방법이다.
　위와 같은 방법은 눈의 정면에 위치한 카메라를 통해 눈 영상을 취득하고 동공 및 각막 반사광의 위치를 이용한 시선 추적 방법으로서, 눈을 촬영하기 위한 카메라가 정면에 위치하기 때문에 장치의 크기가 커진다는 문제점이 있다.
KR 10-0949743 B1
Gaze Detection by Wearable Eye-Tracking and NIR LED-Based Head-Tracking Device Based on SVR(ETRI journal, Chul Woo Cho et al.)
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 착용성이 뛰어난 경량의 시선 추적 장치를 제공하는 것이다.
본 발명의 다른 목적은 측면 영상을 이용하여 사용자의 시선 위치를 계산하는 시선 추적 방법을 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 시선 추적 장치는, 사용자 얼굴 우측에 설치되어 우측 눈의 측면 영상을 획득하는 제1 영상 취득부; 사용자 얼굴 좌측에 설치되어 좌측 눈의 측면 영상을 획득하는 제2 영상 취득부; 상기 제1 영상 취득부 및 상기 제2 영상 취득부를 고정하는 고정부; 및 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 동공 및 홍채의 면적과 흰자위의 면적 및 눈꺼풀의 사잇각을 도출하여 사용자의 시선 위치를 추적하는 시선 추적부를 포함한다.
본 발명의 실시예에서, 상기 시선 추적부는, 상기 동공 및 홍채의 면적과 상기 흰자위의 면적의 비율을 이용하여 사용자의 좌우 시선 위치를 계산하는 좌우 시선 위치 계산부; 및 사용자의 윗 눈꺼풀과 기준선이 이루는 각 및 사용자의 아래 눈꺼풀과 기준선이 이루는 각의 비율을 이용하여 사용자의 상하 시선 위치를 계산하는 상하 시선 위치 계산부를 포함할 수 있다.
본 발명의 실시예에서, 상기 시선 추적부는, 상기 좌우 시선 위치 및 상기 상하 시선 위치를 조합하여 사용자의 최종 시선 위치를 계산하는 최종 시선 위치 계산부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 시선 추적 장치는 상기 사용자의 시선 위치를 방향 정보 또는 입력 정보로 출력하는 위치 정보 출력부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 시선 추적 장치는 헤드 마운티드 디스플레이(HMD, Head Mounted Display) 장치일 수 있다.
본 발명의 실시예에서, 상기 고정부는, 안경 형태의 프레임일 수 있다.
상기한 본 발명의 목적을 실현하기 위한 다른 실시예에 따른 시선 추적 방법은, 사용자 우측 눈의 측면 영상 및 좌측 눈의 측면 영상을 각각 획득하는 단계; 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 동공 및 홍채의 면적과 흰자위의 면적을 검출하는 단계; 상기 동공 및 홍채의 면적과 상기 흰자위의 면적의 비율을 이용하여 사용자의 좌우 시선 위치를 계산하는 단계; 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 눈꺼풀의 사잇각을 측정하는 단계; 사용자의 윗 눈꺼풀과 기준선이 이루는 각 및 사용자의 아래 눈꺼풀과 기준선이 이루는 각의 비율을 이용하여 사용자의 상하 시선 위치를 계산하는 단계; 및 상기 좌우 시선 위치 및 상기 상하 시선 위치로부터 사용자의 최종 시선 위치를 계산하는 단계를 포함한다.
본 발명의 실시예에서, 상기 시선 추적 방법은, 상기 사용자의 시선 위치를 방향 정보 또는 입력 정보로 출력하는 단계를 더 포함할 수 있다.
본 발명의 다른 목적은 상기 시선 추적 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
이와 같은 시선 추적 장치 및 방법에 따르면, 눈의 측면에서 눈 영상을 촬영하고 동공 및 홍채 영역과 흰자위 영역의 비율을 이용하여 좌우 시선 위치를 계산하고, 눈꺼풀의 사잇각 비율 정보를 이용하여 상하 시선 위치를 계산한다. 따라서, 시선 추적 장치를 소형화 및 경량화하여 착용성이 우수한 장치를 제공할 수 있다. 또한, 정밀한 시선 추적이 가능하여 종래의 입력장치를 대신하거나 사용자의 행동패턴을 분석하는 장치 및 시스템에 적용이 가능하다.
도 1은 발명의 일 실시예에 따른 시선 추적 장치의 개념도이다.
도 2는 발명의 일 실시예에 따른 시선 추적 장치의 블록도이다.
도 3은 도 2의 시선 추적부의 상세 블록도이다.
도 4는 좌우 시선 위치 계산을 설명하기 위한 도면이다.
도 5는 상하 시선 위치 계산을 설명하기 위한 도면이다.
도 6은 발명의 일 실시예에 따른 시선 추적 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 발명의 일 실시예에 따른 시선 추적 장치의 개념도이다. 도 2는 발명의 일 실시예에 따른 시선 추적 장치의 블록도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 시선 추적 장치(10, 이하 장치)는 헤드 마운티드 디스플레이(Head Mounted Display, 이하 HMD) 장치일 수 있다. HMD란, 안경처럼 머리에 쓰고 영상을 볼 수 있는 영상표시 장치로서, 휴대하면서 대형 화면을 보거나 수술이나 진단에 사용하는 차세대 영상표시 장치이다. 그러나, 상기 장치(10)의 형태는 일 예에 불과하며 다양한 형태로 제공될 수 있다.
상기 장치(10)는 예를 들어, 비디오 장치, TV, 컴퓨터와 같은 외부의 영상 출력 장치로부터 입력되는 영상을 표시할 수 있고, 사용자는 상기 영상을 눈으로 보면서 마치 일정한 거리에 대형의 스크린을 두고 영상을 보는 것과 같은 효과를 누릴 수 있다. 또한, 상기 장치(10)는 증강현실(Augmented Reality) 또는 가상현실(Virtual Reality) 기술을 사용하기 위하여 활용될 수 있다.
나아가, 상기 장치(10)는 상기 영상에 대한 사용자의 시선을 입력 또는 행동 패턴으로 인식하여 영상을 제어할 수 있다. 이를 위해, 사용자의 시선을 추적하여 정확한 위치를 찾는 것이 우선시된다.
이를 위해, 상기 장치(10)는 고정부(110), 제1 영상 취득부(131), 제2 영상 취득부(132) 및 시선 추적부(150)를 포함한다.
상기 고정부(110)는 상기 제1 영상 취득부(131) 및 상기 제2 영상 취득부(132)를 고정한다. 상기 고정부(110)는 안경 형태의 프레임일 수 있다. 그러나, 상기 고정부(110의 형태는 일 예에 불과하며 다양한 형태로 제공될 수 있다.
상기 제1 영상 취득부(131)는 사용자 얼굴 우측에 설치되어 우측 눈의 측면 영상을 획득하고, 상기 제2 영상 취득부(132)는 사용자 얼굴 좌측에 설치되어 좌측 눈의 측면 영상을 획득한다. 상기 제1 영상 취득부(131) 및 상기 제2 영상 취득부(132)는 사용자 얼굴의 양측면에 각각 근접하게 형성된 카메라일 수 있다.
상기 제1 영상 취득부(131)는 사용자 우측 눈의 측면 영상을 상기 시선 추적부(150)에 제공하고, 상기 제2 영상 취득부(132)는 사용자 좌측 눈의 측면 영상을 상기 시선 추적부(150)에 제공한다.
상기 시선 추적부(150)는 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 동공(Pupil) 및 홍채(Iris)의 면적과 흰자위(sclera)의 면적 및 눈꺼풀의 사잇각을 도출하여 사용자의 시선 위치를 추적한다.
도 3을 참조하면, 상기 시선 추적부(150)는 상기 동공 및 홍채의 면적과 상기 흰자위의 면적 비율을 이용하여 사용자의 좌우 시선 위치를 계산하는 좌우 시선 위치 계산부(151) 및 눈꺼풀의 사잇각을 이용하여 사용자의 상하 시선 위치를 계산하는 상하 시선 위치 계산부(153)를 포함한다.
상기 시선 추적부(150)는 상기 좌우 시선 위치 및 상기 상하 시선 위치를 조합하여 사용자의 최종 시선 위치를 계산하는 최종 시선 위치 계산부(155)를 더 포함할 수 있다.
상기 좌우 시선 위치 계산부(151)는 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 상기 동공 및 홍채 영역과 상기 흰자위 영역을 검출하고 각 영역의 면적을 측정한다.
이후, 상기 동공 및 홍채 영역의 면적(Area(P&I))과 상기 흰자위 영역의 면적(Area(S))의 비율을 이용하여, 아래의 수학식 1과 같이 사용자의 좌우 시선 위치를 계산한다.
[수학식 1]
Figure 112014039044953-pat00001
도 4(a)를 참조하면, 좌측을 응시할 때, 좌측 눈의 경우, 중앙을 응시할 때보다 동공 및 홍채 영역이 흰자위 영역보다 크다. 다시 말해, 좌측을 응시할 때, 좌측 눈은 동공 및 홍채 영역과 흰자위 영역의 비율이 크다. 이 경우, 사용자가 더 좌측을 응시할수록 좌측 눈은 동공 및 홍채 영역과 흰자위 영역의 비율도 함께 커질 것이다.
반대로, 좌측을 응시할 때, 우측 눈의 경우, 동공 및 홍채 영역과 흰자위 영역의 비율이 작다.
도 4(b)를 참조하면, 중앙을 응시할 때, 좌측 눈의 경우나 우측 눈의 경우나, 동공 및 홍채 영역과 흰자위 영역은 비슷하다.
도 4(c)를 참조하면, 우측을 응시할 때, 우측 눈의 경우, 중앙을 응시할 때보다 동공 및 홍채 영역이 흰자위 영역보다 커진다. 다시 말해, 우측을 응시할 때, 우측 눈은 동공 및 홍채 영역과 흰자위 영역의 비율이 커진다. 이 경우, 사용자가 더 우측을 응시할수록 우측 눈은 동공 및 홍채 영역과 흰자위 영역의 비율도 함께 커질 것이다.
반대로, 우측을 응시할 때, 좌측 눈의 경우, 동공 및 홍채 영역과 흰자위 영역의 비율이 작다.
이처럼 동공 및 홍채 영역과 흰자위 영역의 비율 변화를 이용하여 사용자의 좌우 시선 위치(GH)를 계산할 수 있다. 상기 좌우 시선 위치(GH)는, 수평면과 평행하며, 사용자의 우측 눈과 좌측 눈의 동공의 중심을 지나는 선을 기준선으로 설정할 수 있다. 즉, 동공 및 홍채 영역과 흰자위 영역의 비율에 따라, 상기 기준선을 기준으로 좌측으로 또는 우측으로 얼마만큼의 시선이 이동하였는지 계산할 수 있다.
상기 상하 시선 위치 계산부(153)는 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 눈꺼풀의 사잇각을 측정한다. 상기 눈꺼풀의 사잇각은 사용자의 윗 눈꺼풀과 기준선이 이루는 각(θT) 및 사용자의 아래 눈꺼풀과 기준선이 이루는 각(θB )이다.
상기 상하 시선 위치 계산부(153)는 사용자의 윗 눈꺼풀과 기준선이 이루는 각(θT) 및 사용자의 아래 눈꺼풀과 기준선이 이루는 각(θB)의 비율을 이용하여 아래의 수학식 2와 같이 사용자의 상하 시선 위치를 계산한다.
[수학식 2]
Figure 112014039044953-pat00002
상기 상하 시선 위치(Gv)는 수평면과 평행하며 사용자의 눈초리를 지나는 선을 기준선으로 설정할 수 있다. 이러한 기준선은 본 발명의 캘리브레이션 단계에서 미리 설정할 수 있다.
도 5(a)를 참조하면, 위쪽을 응시할 때, 중앙을 응시할 때보다 윗 눈꺼풀과 기준선이 이루는 각(θT)과 아래 눈꺼풀과 기준선이 이루는 각(θB)의 비율이 크다. 다시 말해, 위쪽을 응시할 때, 윗 눈꺼풀과 기준선이 이루는 각(θT)이 아래 눈꺼풀과 기준선이 이루는 각(θB)보다 크다. 이 경우, 사용자가 더 위쪽을 응시할수록 눈꺼풀과 기준선이 이루는 각(θT)과 아래 눈꺼풀과 기준선이 이루는 각(θB)의 비율도 함께 커질 것이다.
도 5(b)를 참조하면, 중앙을 응시할 때, 때보다 윗 눈꺼풀과 기준선이 이루는 각(θT)과 아래 눈꺼풀과 기준선이 이루는 각(θB)은 비슷할 것이다.
도 5(c)를 참조하면, 아래쪽을 응시할 때, 중앙을 응시할 때보다 윗 눈꺼풀과 기준선이 이루는 각(θT)과 아래 눈꺼풀과 기준선이 이루는 각(θB)의 비율이 작다. 다시 말해, 아래쪽을 응시할 때, 윗 눈꺼풀과 기준선이 이루는 각(θT)이 아래 눈꺼풀과 기준선이 이루는 각(θB)보다 작다. 이 경우, 사용자가 더 아래쪽을 응시할수록 윗 눈꺼풀과 기준선이 이루는 각(θT)과 아래 눈꺼풀과 기준선이 이루는 각(θB)의 비율도 함께 작아질 것이다.
이처럼 눈꺼풀의 사잇각의 변화를 이용하여, 사용자의 상하 시선 위치(Gv)를 계산할 수 있다. 즉, 윗 눈꺼풀과 기준선이 이루는 각(θT)과 아래 눈꺼풀과 기준선이 이루는 각(θB)의 비율에 따라, 상기 기준선을 기준으로 위쪽으로 또는 아래쪽으로 얼마만큼의 시선이 이동하였는지 계산할 수 있다.
상기 최종 시선 위치 계산부(155)는 상기 좌우 시선 위치 계산부(151)로부터 제공되는 사용자의 좌우 시선 위치(GH) 및 상기 상하 시선 위치 계산부(153)로부터 제공되는 사용자의 상하 시선 위치(Gv)를 조합하여 사용자의 최종 시선 위치를 계산한다.
상기 장치(10)는 상기 사용자의 시선 위치를 방향 정보 또는 입력 정보로 출력하는 위치 정보 출력부(170)를 더 포함할 수 있다. 이 경우, 상기 장치(10)는 상기 사용자의 시선 위치를 입력 신호 또는 제어 신호로 활용할 수 있다.
본 발명은, 종래에 눈의 정면 영상에서 동공의 위치 정보를 이용한 시선 추적 방법이 아닌 눈의 측면 영상을 이용하여 동공 및 홍채 영역과 흰자위 영역의 비율과 눈꺼풀의 사잇각 비율 정보를 이용하여 사용자의 시선 위치를 계산한다. 이에 따라, 사용자의 시선 위치를 간단하면서도 정확하게 추적할 수 있으므로, 장치의 성능을 향상시킬 수 있으며, 장치의 소형화 및 경량화에도 기여할 수 있다.
도 6은 발명의 일 실시예에 따른 시선 추적 방법의 흐름도이다.
본 실시예에 따른 시선 추적 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또는, 본 실시예에 따른 시선 추적 방법은 시선 추적을 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 6을 참조하면, 본 실시예에 따른 시선 추적 방법은, 사용자 우측 눈의 측면 영상 및 좌측 눈의 측면 영상을 각각 획득한다(단계 S100).
이어, 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 동공 및 홍채의 면적과 흰자위의 면적을 계산하고(단계 S210), 이로부터 사용자의 좌우 시선 위치를 계산한다(단계 S230).
구체적으로, 상기 동공 및 홍채 영역의 면적(Area(P&I))과 상기 흰자위 영역의 면적(Area(S))의 비율을 계산하여, 그 비율에 따라 기준선을 기준으로 좌우의 시선 위치를 계산한다.
한편, 상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 눈꺼풀의 사잇각을 측정하고(단계 S310), 이로부터 사용자의 상하 시선 위치를 계산한다(단계 S330).
구체적으로, 사용자의 윗 눈꺼풀과 기준선이 이루는 각(θT) 및 사용자의 아래 눈꺼풀과 기준선이 이루는 각(θB)의 비율을 계산하여, 그 비율에 따라 기준선을 기준으로 상하시선 위치를 계산한다.
상기 사용자의 좌우 시선 위치를 계산하는 단계(단계 S230) 및 상기 사용자의 상하 시선 위치를 계산하는 단계(단계 S330)는, 동시에, 순차적으로 또는 임의의 순서로 수행될 있다.
상기 좌우 시선 위치 및 상기 상하 시선 위치가 계산되면, 상기 좌우 시선 위치 및 상기 상하 시선 위치로부터 사용자의 최종 시선 위치를 계산한다(단계 S400).
또한, 상기 사용자의 시선 위치를 방향 정보로 출력하여, 상기 시선 위치를 입력 신호로 활용하여 장치를 제어할 수 있다.
이와 같은, 시선 추적 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
최근 구글 글라스와 같은 착용형 컴퓨터 장치에서 시선 추적을 위한 신기술 보급이 요구되고 있으므로, 본 발명에 따른 시선 추적 장치 및 방법을 폭넓게 활용할 수 있을 것으로 기대된다. 또한, 본 발명을 통해 종래의 시선 추적 장치로는 실현 불가능했던 장치의 소형화 및 경량화가 가능하여 관련 제품의 기술적 파급효과가 매우 높을 것으로 예상된다.
10: 시선 추적 장치 110: 고정부
131: 제1 영상 취득부 132: 제2 영상 취득부
150: 시선 추적부 151: 좌우 시선 위치 계산부
153: 상하 시선 위치 계산부 155: 최종 시선 위치 계산부
170: 위치 정보 출력부

Claims (9)

  1. 사용자 얼굴 우측에 설치되어 우측 눈의 측면 영상을 획득하는 제1 영상 취득부;
    사용자 얼굴 좌측에 설치되어 좌측 눈의 측면 영상을 획득하는 제2 영상 취득부;
    상기 제1 영상 취득부 및 상기 제2 영상 취득부를 고정하는 고정부; 및
    상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 동공 및 홍채의 면적과 흰자위의 면적 및 눈꺼풀의 사잇각을 도출하여 사용자의 시선 위치를 추적하는 시선 추적부를 포함하고, 상기 시선 추적부는,
    상기 동공 및 홍채의 면적과 상기 흰자위의 면적의 비율로부터 사용자의 좌우 시선 위치를 계산하는 좌우 시선 위치 계산부;
    사용자의 윗 눈꺼풀과 기준선이 이루는 각 및 사용자의 아래 눈꺼풀과 기준선이 이루는 각의 비율로부터 사용자의 상하 시선 위치를 계산하는 상하 시선 위치 계산부; 및
    상기 좌우 시선 위치 및 상기 상하 시선 위치를 조합하여 사용자의 최종 시선 위치를 계산하는 최종 시선 위치 계산부를 포함하는, 시선 추적 장치.
  2. 제1항에 있어서,
    상기 좌우 시선 위치 계산부는, 아래의 수학식 1에 따라 사용자의 좌우 시선 위치(GH)를 계산하고,
    상기 상하 시선 위치 계산부는, 아래의 수학식 2에 따라 사용자의 상하 시선 위치(Gv)를 계산하는,
    [수학식 1]
    Figure 112015127761004-pat00009

    [수학식 2]
    Figure 112015127761004-pat00010
    ,
    여기서, Area(P&I)는 동공 및 홍채 영역의 면적이고, Area(S)는 흰자위 영역의 면적이고, θT는 사용자의 윗 눈꺼풀과 기준선이 이루는 각이고, θB는 사용자의 아래 눈꺼풀과 기준선이 이루는 각인, 시선 추적 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 사용자의 시선 위치를 방향 정보 또는 입력 정보로 출력하는 위치 정보 출력부를 더 포함하는, 시선 추적 장치.
  5. 제1항에 있어서,
    헤드 마운티드 디스플레이(HMD, Head Mounted Display) 장치인, 시선 추적 장치.
  6. 제1항에 있어서, 상기 고정부는,
    안경 형태의 프레임인, 시선 추적 장치.
  7. 사용자 우측 눈의 측면 영상 및 좌측 눈의 측면 영상을 각각 획득하는 단계;
    상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 동공 및 홍채의 면적과 흰자위의 면적을 검출하는 단계;
    상기 동공 및 홍채의 면적과 상기 흰자위의 면적의 비율로부터 사용자의 좌우 시선 위치를 계산하는 단계;
    상기 우측 눈의 측면 영상 및 상기 좌측 눈의 측면 영상으로부터 눈꺼풀의 사잇각을 측정하는 단계;
    사용자의 윗 눈꺼풀과 기준선이 이루는 각 및 사용자의 아래 눈꺼풀과 기준선이 이루는 각의 비율로부터 사용자의 상하 시선 위치를 계산하는 단계; 및
    상기 좌우 시선 위치 및 상기 상하 시선 위치로부터 사용자의 최종 시선 위치를 계산하는 단계를 포함하는, 시선 추적 방법.
  8. 제7항에 있어서,
    상기 사용자의 시선 위치를 방향 정보 또는 입력 정보로 출력하는 단계를 더 포함하는, 시선 추적 방법.
  9. 제7항 및 제8항 중 어느 하나의 항에 따른 시선 추적 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020140049145A 2014-04-24 2014-04-24 시선 추적 장치 및 방법 KR101613091B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140049145A KR101613091B1 (ko) 2014-04-24 2014-04-24 시선 추적 장치 및 방법
US14/325,996 US20150309567A1 (en) 2014-04-24 2014-07-08 Device and method for tracking gaze

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140049145A KR101613091B1 (ko) 2014-04-24 2014-04-24 시선 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150122952A KR20150122952A (ko) 2015-11-03
KR101613091B1 true KR101613091B1 (ko) 2016-04-20

Family

ID=54334728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140049145A KR101613091B1 (ko) 2014-04-24 2014-04-24 시선 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US20150309567A1 (ko)
KR (1) KR101613091B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
KR20180045644A (ko) * 2016-10-26 2018-05-04 삼성전자주식회사 머리 착용형 디스플레이 장치 및 그의 제어 방법
US20180373327A1 (en) * 2017-06-26 2018-12-27 Hand Held Products, Inc. System and method for selective scanning on a binocular augmented reality device
CN107291238B (zh) * 2017-06-29 2021-03-05 南京粤讯电子科技有限公司 一种数据处理方法与装置
WO2019228633A1 (en) * 2018-05-31 2019-12-05 Tobii Ab Zero delay gaze filter
CN109044263A (zh) * 2018-07-13 2018-12-21 北京七鑫易维信息技术有限公司 眼睛视线的检测方法、装置、设备及存储介质
CN111309142A (zh) * 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
CN109656373B (zh) * 2019-01-02 2020-11-10 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
GB2596300A (en) * 2020-06-23 2021-12-29 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
KR20230053215A (ko) * 2021-10-14 2023-04-21 삼성전자주식회사 바이저의 투과율과 디스플레이의 밝기를 조절하는 웨어러블 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240551A (ja) * 2008-03-31 2009-10-22 Panasonic Corp 視線検出装置
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8299979B2 (en) * 2003-05-14 2012-10-30 Broadcom Corporation Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
GB2412431B (en) * 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
JP4845611B2 (ja) * 2006-06-30 2011-12-28 オリンパス株式会社 撮像装置
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
FR2928745B1 (fr) * 2008-03-14 2012-03-02 Essilor Int Realisation d'un nouveau verre de lunettes progressif.
US20130057553A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Font Management
WO2013008305A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
JP5345660B2 (ja) * 2011-09-08 2013-11-20 本田技研工業株式会社 車載機器特定装置
US20140341441A1 (en) * 2013-05-20 2014-11-20 Motorola Mobility Llc Wearable device user authentication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240551A (ja) * 2008-03-31 2009-10-22 Panasonic Corp 視線検出装置
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박강령, "안구의 구조적 특성 분석을 통한 3차원 시선 위치 및 시각피로도 측정 연구," 동국대학교 일반연구자지원사업 최종보고서(초안), 2010.*

Also Published As

Publication number Publication date
US20150309567A1 (en) 2015-10-29
KR20150122952A (ko) 2015-11-03

Similar Documents

Publication Publication Date Title
KR101613091B1 (ko) 시선 추적 장치 및 방법
US11016301B1 (en) Accommodation based optical correction
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
US20210271091A1 (en) Display systems and methods for determining registration between a display and eyes of a user
US9867532B2 (en) System for detecting optical parameter of eye, and method for detecting optical parameter of eye
JP6507241B2 (ja) ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法
US10048750B2 (en) Content projection system and content projection method
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
US20200372678A1 (en) Systems and techniques for estimating eye pose
CN111869200A (zh) 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位
EP3228072B1 (en) Virtual focus feedback
CN112567287A (zh) 具有帧调制功能的增强现实显示
CN112805659A (zh) 通过用户分类为多深度平面显示系统选择深度平面
US20150003819A1 (en) Camera auto-focus based on eye gaze
JP2016502120A (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
KR101467529B1 (ko) 착용형 정보 제공 시스템
JP2022540675A (ja) １つ以上の眼追跡カメラを用いた眼回転中心の決定
TWI761930B (zh) 頭戴式顯示裝置以及距離量測器
US11983310B2 (en) Gaze tracking apparatus and systems
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
KR101554412B1 (ko) 시선 추적 및 뇌파 측정을 이용하여 사용자가 주시하는 물체에 대한 사용자의 의도를 추출하는 웨어러블 디바이스
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
US11743447B2 (en) Gaze tracking apparatus and systems
US20220035449A1 (en) Gaze tracking system and method
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 4