KR20210117062A - 시선 추적 방법 및 장치 - Google Patents

시선 추적 방법 및 장치 Download PDF

Info

Publication number
KR20210117062A
KR20210117062A KR1020200033399A KR20200033399A KR20210117062A KR 20210117062 A KR20210117062 A KR 20210117062A KR 1020200033399 A KR1020200033399 A KR 1020200033399A KR 20200033399 A KR20200033399 A KR 20200033399A KR 20210117062 A KR20210117062 A KR 20210117062A
Authority
KR
South Korea
Prior art keywords
center
light
gaze
pattern
light source
Prior art date
Application number
KR1020200033399A
Other languages
English (en)
Inventor
추현곤
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200033399A priority Critical patent/KR20210117062A/ko
Publication of KR20210117062A publication Critical patent/KR20210117062A/ko

Links

Images

Classifications

    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G06K9/00617—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

시선 추적 장치에서, 회절 광학 소자가 광원 앞에 장착되어 있으며, 광원으로부터의 광에 따라 회절 패턴을 생성한다. 카메라는 회절 패턴에 따른 광이 사용자의 안구에 반사되는 상태에서 안구를 촬영한다. 프로세서는 카메라가 촬영한 안구의 영상으로부터 동공의 중심의 위치를 검출하고, 영상으로부터 회절 패턴의 중심의 위치를 검출하며, 동공의 중심의 위치와 회절 패턴의 중심의 위치에 기초해서 사용자의 시선의 위치를 검출한다.

Description

시선 추적 방법 및 장치{METHOD AND APPARATUS FOR TRACKING GAZE}
본 발명은 시선 추적 방법 및 장치에 관한 것이다.
시선 추적 기술은 사람의 눈동자 또는 눈동자 내의 맺힌 영상 정보를 이용하여 그 사람이 어디를 보고 있는지를 알아내는 기술을 의미한다. 시선 추적 기술은 사람의 시선을 파악함으로써 사람이 외부의 시각적인 자극에 어떻게 반응하는지를 알아낼 수 있을 뿐만 아니라 기계와 사람 사이의 새로운 인터페이스를 가능하게 하기 때문에 다양한 응용 분야에서 사용되고 있다.
일반적으로 시선 추적 기술에는 근적외선 광원과 근적외선 카메라를 이용하여 사람의 얼굴 또는 눈동자를 촬영하는 방식을 많이 사용한다. 근적외선 광원과 근적외선 카메라를 사용하는 경우, 정확한 시선의 위치를 파악하기 위해서는 많은 광원이 필요할 수 있다. 여러 개의 광원을 사용하지 않기 위해서, 프로젝터와같은 구조광(structured light) 발생기를 추가적인 광원으로 사용할 수 있다. 이 경우, 구조광 발생기의 입력으로 추가적인 정보가 요구되며, 전력의 소모도 높아질 수 있다.
KR 10-1962302
본 발명이 이루고자 하는 과제는 광원의 개수를 줄일 수 있는 시선 추적 장치 및 시선 추적 방법을 제공하는 것이다.
본 발명의 한 실시예에 따르면, 광원, 회절 광학 소자, 카메라 및 프로세서를 포함하는 시선 추적 장치가 제공된다. 상기 회절 광학 소자는 상기 광원 앞에 장착되어 있으며, 상기 광원으로부터의 광에 따라 회절 패턴을 생성한다. 상기 카메라는 상기 회절 패턴에 따른 광이 사용자의 안구에 반사되는 상태에서, 상기 안구를 촬영한다. 상기 프로세서는 상기 카메라가 촬영한 상기 안구의 영상으로부터 동공의 중심의 위치를 검출하고, 상기 영상으로부터 상기 회절 패턴의 중심의 위치를 검출하며, 상기 동공의 중심의 위치와 상기 회절 패턴의 중심의 위치에 기초해서 상기 사용자의 시선의 위치를 검출한다.
상기 회절 패턴에 따른 광은 상기 회절 패턴의 중심을 기준으로 대칭되는 광을 포함할 수 있다.
상기 회절 광학 소자는 상기 안구가 소정 방향을 바라보는 상태에서 상기 동공의 중심과 상기 회절 패턴의 중심이 일치하도록 설정되어 있을 수 있다.
상기 회절 광학 소자의 격자 주기는
Figure pat00001
의 조건을 만족하도록 설정되어 있을 수 있다. 여기서, θ는 상기 회절 광학 소자에서의 출사각이며, λ는 상기 광원에서 투사되는 광의 파장이고, d는 상기 격자 주기이다.
상기 프로세서는 상기 회절 패턴에서 1차 성분과 -1차 성분의 중앙 지점을 상기 회절 패턴의 중심의 위치로 검출할 수 있다.
상기 프로세서는 상기 회절 패턴의 중심의 위치에서 상기 안구의 중심의 위치로의 벡터를 계산하고, 상기 벡터로 2차원에서의 시선 방향을 결정할 수 있다.
상기 프로세서는 상기 벡터를 캘리브레이션하여서대상 영역에서의 시선의 위치를 결정할 수 있다.
상기 프로세서는 상기 벡터를 변수로 사용하는 복수의 파라미터를 가지는 제1 다항식과 제2 다항식을 이용해서 상기 대상 영역에서의 시선의 위치를 결정할 수 있다.
상기 대상 영역에 미리 지정되어 있는 복수의 지점을 각각 상기 사용자가 바라볼 때 계산된 상기 벡터와 상기 복수의 지점에 기초해서 상기 파라미터가 결정되어 있을 수 있다.
상기 광원은 근적외선 대역의 광을 투사하는 광원을 포함할 수 있으며, 상기 카메라는 근적외선 대역을 촬영하는 카메라를 포함할 수 있다.
상기 회절 광학 소자는 홀로그래픽 광학 소자를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 광원, 광학 소자, 카메라 및 프로세서를 포함하는 시선 추적 장치가 제공된다. 상기 광학 소자는 상기 광원 앞에 장착되어 있으며, 상기 광원으로부터의 광에 따라 중심을 기준으로 소정 방향으로 대칭되는 패턴의 광을 생성한다. 상기 카메라는 상기 회절 패턴에 따른 광이 사용자의 안구에 반사되는 상태에서, 상기 안구를 촬영한다. 상기 프로세서는 상기 카메라가 촬영한 상기 안구의 영상으로부터 동공의 중심의 위치를 검출하고, 상기 영상으로부터 상기 패턴의 중심의 위치를 검출하며, 상기 동공의 중심의 위치와 상기 패턴의 중심의 위치에 기초해서 상기 사용자의 시선의 위치를 검출한다.
본 발명의 또 다른 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 사용자의 시선 추적 방법이 제공된다. 상기 컴퓨팅 장치는 광원의 광으로부터 중심을 기준으로 소정 방향으로 대칭되는 패턴의 광을 생성하고, 상기 패턴에 따른 광을 상기 사용자의 안구로 투사하고, 상기 패턴에 따른 광이 상기 사용자의 안구에 반사되는 상태에서, 상기 안구를 촬영하고, 상기 카메라가 촬영한 상기 안구의 영상으로부터 동공의 중심의 위치를 검출하고, 상기 영상으로부터 상기 패턴의 중심의 위치를 검출하고, 상기 동공의 중심의 위치와 상기 패턴의 중심의 위치에 기초해서 상기 사용자의 시선의 위치를 검출한다.
본 발명의 한실시예에 따르면, 회절 광학 소자를 사용함으로써 하나의 광원으로 정확한 시선의 위치를 추적할 수 있다.
도 1 및 도 2는 근적외선 기반 시선 추적 방법을 설명하는 도면이다.
도 3은 본 발명의 한 실시예에 따른 시선 추적 장치를 설명하는 도면이다.
도 4a, 도 4b, 도 4c, 도 4d 및 도 4e는 본 발명의 한 실시예에 따른 시선 추적 장치에서 생성되는 회절 패턴의 다양한 예를 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따른 시선 추적 방법을 나타내는 흐름도이다.
도 6 및 도 7은 본 발명의 한 실시예에 따른 시선 추적 방법에서 회절 패턴의 중심과 동공의 중심 사이의 관계를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
먼저 일반적인 시선 추적 방법에 대해서 도 1 및 도 2를 참고로 하여 설명한다.
도 1 및 도 2는 근적외선 기반 시선 추적 방법을 설명하는 도면이다.
도 1을 참고하면, 근적외선 기반 시선 추적 장치는 근적외선 광원(110) 및 근적외선 카메라(120)를 포함한다.
근적외선 광원(110)은 사용자의 눈(130) 영역의 촬영을 위한 조명으로 동작하며, 시선 방향을 측정하기 위한 정보를 계산하기 위해 사용된다. 높은 정확도의 시선 추적을 위해서 두 개 이상의 광원(110)이 사용될 수 있다.
이 경우, 시선 추적 장치는 근적외선 광원(110)이 사용자의 눈(130) 영역에 투사된 상태에서, 근적외선 카메라(120)가 눈(130) 영역을 촬영한 근적외선 영상으로부터 동공(131) 및 근적외선 광원(110)의 반사광(glint)를 검출한다. 다음, 시선 추적 장치는 검출된 동공(131)과 근적외선 반사광을 이용하여서 사용자의 시선의 위치를 추정한다.
구체적으로, 사용자가 정면을 바라볼 때 동공(131)의 중심에 반사광(111)이 위치하게 설계된 경우, 시선(140)이 다른 방향으로 이동하면, 시선(140)이 이동한만큼 반사광(111)의 위치도 동공(131)의 중심에서 옮겨져서 나타난다. 따라서 시선 추적 장치는 근적외선 반사광(111)이 동공(131)의 중심에서 옮겨진 크기(150)에 기초해서 시선(140)의 방향을 추정할 수 있다.
근적외선 기반 시선 추적 방법에서는 근적외선 광원(110)이 하나만 존재하는 경우에는 눈(130), 즉 안구(130)가 직선 상의 어느 지점에 위치하는 지까지는 파악할 수 없다. 그러나 두 개의 근적외선 광원을 사용하는 경우, 카메라(120)에는 두 개의 반사광이 맺히고, 시선 추적 장치는 두 반사광을 잇는 직선들로부터 3차원 공간 상의 눈(130)의 위치를 정확히 파악할 수 있다.
시선 추적 장치는 3차원 공간 상의 안구(130)의 위치를 파악한 후에는 동공(131)의 중심점이 카메라(120)에 맺힌 위치를 찾는다. 이를 통해 다시 3차원 공간 상에서 동공(131)의 위치를 파악할 수 있다. 반사광을 통해 파악한 안구(130)의 위치와 3차원 상의 동공(131)의 중심점의 위치를 이용하면 안구(130)가 3차원 공간 상에서 어느 방향으로 회전되어 있는지를 파악할 수 있다. 즉, 시선 추적 장치는 안구(130)의 위치로부터 안구(130)의 방향으로 직선을 그은 후, 3차원 공간 상의 대상 영역(예를 들면, 디스플레이)과 만나는 지점을 찾는다. 이 지점이 바로 사용자가 바라보는 시선의 위치가 된다.
이러한 경우, 근적외선 광원에서의 오차 등을 고려하여 도 2에서 도시한 것처럼 동공을 중심으로 많은 광원을 배치하여 오류를 줄일 수도 있다. 도 2에는 동공을 중심으로 광원을 방사형으로 배치한 경우가 도시되어 있다.
그러나 많은 광원을 배치하는 경우, 공간적으로 광원을 배치하기 위한 기구물 및 회로가 요구되는 문제가 발생한다.
이제 본 발명의 한 실시예에 따른 시선 추적 장치 및 시선 추적 방법에 대해서 도면을 참고로 하여 설명한다.
도 3은 본 발명의 한 실시예에 따른 시선 추적 장치를 설명하는 도면이다.
도 3을 참고하면, 시선 추적 장치는 광원(310), 카메라(320), 회절 광학 소자(diffractive optical element)(330) 및 프로세서(340)를 포함한다.
광원(310)은 사용자의 눈(350) 영역의 촬영을 위한 조명으로 동작하며, 시선 방향을 측정하기 위한 정보를 계산하기 위해 사용된다. 어떤 실시예에서, 광원(310)은 근적외선(near infrared, near IR) 대역의 광을 투사할 수 있는 근적외선 광원일 수 있다. 어떤 실시예에서, 광원(310)은 근적외선 대역의 광 및 적외선 대역의 광을 투사할 수 있는 IR LED(light emitting diode)를 포함할 수 있다.
카메라(320)는 눈(350) 영역을 촬영하고, 광원(310)에서 투사된 광(311)이 눈(350)에서 반사된 광(312)을 촬영하는데 사용된다. 어떤 실시예에서, 카메라(320)는 근적외선 대역을 촬영할 수 있는 카메라일 수 있다.
회절 광학 소자(330)는 광원(310) 앞에 장착되어 있으며, 광원(310)과 함께 광원부를 형성한다. 회절 광학 소자(330)는 광원(310)에서 투사되는 광을 복제하거나 분할하여서 광을 패턴화한다. 즉, 회절 광학 소자(330)에 기록된 정보에 의해 결정되는 회절 패턴에 따라 광원(310)으로부터의 광(311)이 투사된다. 어떤 실시예에서, 회절 패턴은 회절 패턴의 중심을 기준으로 수직 방향으로 대칭되고 수평 방향으로 대칭되는 광 패턴을 형성할 수 있는 패턴일 수 있다. 어떤 실시예에서, 회절 광학 소자(330)에 기록된 정보는 회절 광학 소자(330)를 형성하는 소자의 패턴일 수 있다. 어떤 실시예에서, 회절 광학 소자(330)에 기록된 정보는 회절 패턴을 생성하기 위한 정보일 수 있다.
예를 들면, 도 4a, 도 4b, 도 4c, 도 4d 및 도 4e에 도시한 것처럼, 다양한 회절 패턴이 사용될 수 있다. 도 4a에 도시한 것처럼, 광원(310)으로부터의 광이 복제되어서 수평 방향 및 수직 방향에서 일정 간격으로 반복되는 광이 투사되는 회절 패턴이 사용될 수 있다. 도 4b에 도시한 것처럼, 광원(310)으로부터의 광이 분할되어서 격자 무늬의 광이 투사되는 회절 패턴이 사용될 수 있다. 도 4c에 도시한 것처럼, 광원(310)으로부터의 광이 분할되어서 교차하는 수직선과 수평선 형태의 광이 투사되는 회절 패턴이 사용될 수 있다. 도 4d에 도시한 것처럼, 광원(310)으로부터의 광이 분할되어서 도 4c에 도시한 광에 추가로 원 형태의 광이 투사되는 회절 패턴이 사용될 수 있다. 도 4e에 도시한 것처럼, 광원(310)으로부터의 광이 복제되어서 일정 패턴으로 방사되는 형태로 광이 투사되는 회절 패턴이 사용될 수 있다.
프로세서(340)는 광원(310)으로부터의 광(311)이 회절 광학 소자(330)를 통해 사용자의 안구(350)로 투사되도록 광원(310)을 제어하고, 안구(350)에서 회절 패턴에 따라 반사되는 반사광(312)을 촬영하도록 카메라(320)를 제어한다. 프로세서(340)는 카메라(320)가 촬영한 반사광(312)의 회절 패턴에 기초해서 사용자의 시선을 추적한다.
도 5, 도 6 및 도 7을 참고로 하여 시선 추적 방법에 대해서 설명한다.
도 5는 본 발명의 한 실시예에 따른 시선 추적 방법을 나타내는 흐름도이며, 도 6 및 도 7은 본 발명의 한 실시예에 따른 시선 추적 방법에서 회절 패턴의 중심과 동공의 중심 사이의 관계를 나타내는 도면이다.
도 5를 참고하면, 프로세서(도 3의 340)의 제어에 따라 광원(도 3의 310)에서 광을 투사하고, 투사된 광이 회절 광학 소자(도 3의 330)에 기록된 정보에 따른 회절 패턴으로 안구에 투사된다(S510). 예를 들면, 도 6에 도시한 것처럼, 광원(310)으로부터 광이 복제되어서 광이 수평 방향 및 수직 방향에서 일정 간격으로 반복되는 회절 패턴으로 안구에 투사될 수 있다.
어떤 실시예에서, 도 6에 도시한 것처럼, 프로세서(340)는 사용자가 소정 방향(예를 들면, 정면)을 바라볼 때 회절 패턴의 DC 성분(0차 광점)이 동공의 중심으로 비추도록 회절 광학 소자(330)가 설정될 수 있다. 이 경우, 회절 패턴의 중심(610)과 동공의 중심은 일치한다. 어떤 실시예에서, 도 6에 도시한 것처럼, 회절 패턴의 1차 성분(621, 622)과 -1차 성분(623, 624)이 동공(620)의 영역에 맺히도록 회절 광학 소자(330)의 격자(grating) 주기(d)를 수학식 1과 같이 조절할 수 있다.
Figure pat00002
수학식 1에서 λ는 광원(310)에서 투사되는 광의 파장이고, θ는 회절 광학 소자(330)에서의 출사각이다.
다음, 광원(310)으로부터의 광이 회절 광학 소자(320)를 통해 안구에 투사되는 상태에서, 프로세서(340)의 제어에 따라 카메라(도 3의 320)는 안구를 촬영한다(S520).
프로세서(340)는 촬영된 영상에서 동공(620)의 중심의 위치(710)와 반사광의 회절 패턴의 중심(610)의 위치를 검출한다(S530). 어떤 실시예에서, 프로세서(340)는 도 7에 도시한 것처럼 회절 패턴에서 1차 성분(621, 622)과 -1차 성분(623, 624)의 중앙 지점을 회절 패턴의 중심의 위치(610)로 검출할 수 있다.
사용자의 시선이 이동해서 동공이 회전한 경우, 도 7에 도시한 것처럼 동공의 중심의 위치(710)와 반사광의 회절 패턴의 중심(610)의 위치가 어긋나게 된다. 프로세서(340)는 회절 패턴의 중심(610)에서 동공의 중심(710)의 위치로의 벡터(720)로 2차원에서의 시선 방향을 결정한다(S540). 이러한 2차원 벡터(720)는 동공의 상대적인 위치를 나타낼 수 있다. 어떤 실시예에서, 동공의 중심의 위치를 (x,y)라 하고, 반사광의 회절 패턴의 중심의 위치를 (xg,yg)라 하면, 2차원 벡터(v=(vx,vy))는 수학식 2와 같이 표현될 수 있다.
Figure pat00003
다음, 프로세서(340)는 캘리브레이션(calibration) 절차를 통해 2차원 벡터로부터 대상 영역에서의 시선의 위치를 결정한다(S550). 예를 들면, 사용자가 디스플레이(대상 영역)를 보는 경우, 프로세서(340)는 2차원 벡터를 통해 디스플레이에서의 사용자의 시선의 위치를 결정할 수 있다.
어떤 실시예에서, 캘리브레이션 절차는 2차원 벡터를 대상 영역에서의 좌표로 매핑하는 절차로, 다양한 파라미터에 의해 정의되는 다항식을 통해 2차원 벡터를 대상 영역에서의 좌표로 매핑할 수 있다. 한 실시예에서, 수학식 3과 같이, 대상 영역에서의 시선의 위치를 나타내는 좌표(sx,sy)와 같이 정의될 수 있다.
Figure pat00004
예를 들면, 수학식 3의 다항식은 수학식 4 또는 수학식 5와 같이 정의될 수 있다. 수학식 4 또는 5의 다항식은 하나의 예에 불과하며, 다양한 다항식이 사용될 수 있다.
Figure pat00005
Figure pat00006
어떤 실시예에서, 프로세서(340)는 캘리브레이션을 위한 다항식의 파라미터를 미리 계산하여 둘 수 있다. 예를 들면, 대상 영역의 복수의 지점을 미리 지정하여 두고, 사용자가 각 지점(sx,sy)을 바라볼 때(즉, 대상 영역에서의 시선의 위치가 각 지점에 해당할 때), 계산된 2차원 벡터(vx,vy)에 기초해서 파라미터가 미리 계산될 수 있다.
이와 같이, 본 발명의 한 실시예에 따르면, 회절 광학 소자를 사용함으로써 하나의 광원으로 정확한 시선의 위치를 추적할 수 있다. 또한 여러 개의 광원이나 능동 소자인 프로젝터를 사용하지 않고 회절 광학 소자를 광원에 장착하여서 시선 추적 장치를 구현할 수 있으므로, 제조 단가를 낮출 수 있다.
어떤 실시예에서, 회절 광학 소자는 홀로그래픽 광학 소자(holographic optical element, HOE)일 수 있다. 홀로그래픽 광학 소자는 홀로그램에 기록된 파형을 재생시키거나 변형시켜서 투과되는 광의 형태를 원하는 형태로 만들 수 있다. 한 실시예에서, 홀로그래픽 광학 소자를 사용함으로써, 1차 성분의 위치에 계산을 위해 필요한 부가적인 정보(예를 들면, 화살표)를 표현할 수 있다.
어떤 실시예에서, 회절 광학 소자는 필름 타입으로 형성되어 광원에 부착하여 하나의 광원 형태로 제작될 수 있다.
어떤 실시예에서, 시선 추적 장치는 머리 착용 디스플레이(head mounted display, HMD) 내에 결합될 수 있다. 이 경우, 사용자가 바라보는 대상 영역은 HMD의 디스플레이일 수 있다.
다음, 본 발명의 한 실시예에 따른 시선 추적 방법 또는 시선 추적 장치를 구현할 수 있는 예시적인 컴퓨팅 장치에 대하여 도 8을 참고로 하여 설명한다.
도 8은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 한 예를 나타내는 도면이다.
도 8을 참고하면, 컴퓨팅 장치는 프로세서(810), 메모리(820), 저장 장치(830), 통신 인터페이스(840) 및 버스(850)를 포함한다. 컴퓨팅 장치는 다른 범용적인 구성 요소를 더 포함할 수 있다.
프로세서(810)는 컴퓨팅 장치의 각 구성의 전반적인 동작을 제어한다. 프로세서(810)는 CPU(central processing unit), MPU(microprocessor unit), MCU(micro controller unit), GPU(graphic processing unit) 등의 다양한 프로세싱 유닛 중 적어도 하나로 구현될 수 있으며, 병렬 프로세싱 유닛으로 구현될 수도 있다. 또한, 프로세서(810)는 위에서 설명한 시선 추적 방법을 실행하기 위한 프로그램에 대한 연산을 수행할 수 있다.
메모리(820)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(820)는 위에서 설명한 시선 추적 방법을 실행하기 위하여 저장 장치(830)로부터 컴퓨터 프로그램을 로드할 수 있다. 저장 장치(830)는 프로그램을 비임시적으로 저장할 수 있다. 저장 장치(830)는 비휘발성 메모리로 구현될 수 있다.
통신 인터페이스(840)는 컴퓨팅 장치의 무선 통신을 지원한다.
버스(850)는 컴퓨팅 장치의 구성 요소간 통신 기능을 제공한다. 버스(850)는 주소 버스(address bus), 데이터 버스(data bus) 및 제어 버스(control bus) 등 다양한 형태의 버스로 구현될 수 있다.
컴퓨터 프로그램은 메모리(820)에 로드될 때 프로세서(810)로 하여금 시선 추적 방법을 수행하도록 하는 명령어(instructions)를 포함할 수 있다. 즉, 프로세서(810)는 명령어를 실행함으로써, 시선 추적 방법을 위한 동작을 수행할 수 있다.
어떤 실시예에서, 컴퓨팅 장치는 도 5를 참고로 하여 설명한 광원(510), 카메라(520) 및 회절 격자 소자(530)를 더 포함할 수 있다. 한실시예에서, 광원(510), 카메라(520) 또는 회절 격자 소자(530)는 통신 인터페이스(840) 또는 버스(850)를 통해 프로세서(810)에 연결될 수 있다.
어떤 실시예에서, 컴퓨팅 장치는 HMD 내에 구현되거나 HMD로 구현될 수 있다.
위에서 설명한 본 발명의 한 실시예에 따른 시선 추적 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현될 수 있다. 한 실시예에서, 컴퓨터가 읽을 수 있는 매체는 이동형 기록 매체이거나 고정식 기록 매체일 수 있다. 다른 실시예에서, 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 다른 컴퓨팅 장치에 설치되어 실행될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 광원,
    상기 광원 앞에 장착되어 있으며, 상기 광원으로부터의 광에 따라 회절 패턴을 생성하는 회절 광학 소자,
    상기 회절 패턴에 따른 광이 사용자의 안구에 반사되는 상태에서, 상기 안구를 촬영하는 카메라, 그리고
    상기 카메라가 촬영한 상기 안구의 영상으로부터 동공의 중심의 위치를 검출하고, 상기 영상으로부터 상기 회절 패턴의 중심의 위치를 검출하며, 상기 동공의 중심의 위치와 상기 회절 패턴의 중심의 위치에 기초해서 상기 사용자의 시선의 위치를 검출하는 프로세서
    를 포함하는 시선 추적 장치.
  2. 제1항에서,
    상기 회절 패턴에 따른 광은 상기 회절 패턴의 중심을 기준으로 대칭되는 광을 포함하는 시선 추적 장치.
  3. 제2항에서,
    상기 회절 광학 소자는 상기 안구가 소정 방향을 바라보는 상태에서 상기 동공의 중심과 상기 회절 패턴의 중심이 일치하도록 설정되어 있는 시선 추적 장치.
  4. 제3항에서,
    상기 회절 광학 소자의 격자 주기는
    Figure pat00007
    의 조건을 만족하도록 설정되어 있으며,
    θ는 상기 회절 광학 소자에서의 출사각이며, λ는 상기 광원에서 투사되는 광의 파장이고, d는 상기 격자 주기인
    시선 추적 장치.
  5. 제2항에서,
    상기 프로세서는 상기 회절 패턴에서 1차 성분과 -1차 성분의 중앙 지점을 상기 회절 패턴의 중심의 위치로 검출하는, 시선 추적 장치.
  6. 제1항에서,
    상기 프로세서는 상기 회절 패턴의 중심의 위치에서 상기 안구의 중심의 위치로의 벡터를 계산하고, 상기 벡터로 2차원에서의 시선 방향을 결정하는, 시선 추적 장치.
  7. 제6항에서,
    상기 프로세서는 상기 벡터를 캘리브레이션하여서 대상 영역에서의 시선의 위치를 결정하는, 시선 추적 장치.
  8. 제7항에서,
    상기 프로세서는 상기 벡터를 변수로 사용하는 복수의 파라미터를 가지는 제1 다항식과 제2 다항식을 이용해서 상기 대상 영역에서의 시선의 위치를 결정하는, 시선 추적 장치.
  9. 제8항에서,
    상기 대상 영역에 미리 지정되어 있는 복수의 지점을 각각 상기 사용자가 바라볼 때 계산된 상기 벡터와 상기 복수의 지점에 기초해서 상기 파라미터가 결정되어 있는, 시선 추적 장치.
  10. 제1항에서,
    상기 광원은 근적외선 대역의 광을 투사하는 광원을 포함하며,
    상기 카메라는 근적외선 대역을 촬영하는 카메라를 포함하는
    시선 추적 장치.
  11. 제1항에서,
    상기 회절 광학 소자는 홀로그래픽 광학 소자를 포함하는 시선 추적 장치.
  12. 광원,
    상기 광원 앞에 장착되어 있으며, 상기 광원으로부터의 광에 따라 중심을 기준으로 소정 방향으로 대칭되는 패턴의 광을 생성하는 광학 소자,
    상기 회절 패턴에 따른 광이 사용자의 안구에 반사되는 상태에서, 상기 안구를 촬영하는 카메라, 그리고
    상기 카메라가 촬영한 상기 안구의 영상으로부터 동공의 중심의 위치를 검출하고, 상기 영상으로부터 상기 패턴의 중심의 위치를 검출하며, 상기 동공의 중심의 위치와 상기 패턴의 중심의 위치에 기초해서 상기 사용자의 시선의 위치를 검출하는 프로세서
    를 포함하는 시선 추적 장치.
  13. 제12항에서,
    상기 프로세서는 상기 패턴에서 대칭되는 광의 중앙 지점을 상기 패턴의 중심의 위치로 검출하는, 시선 추적 장치.
  14. 제12항에서,
    상기 프로세서는 상기 패턴의 중심의 위치에서 상기 안구의 중심의 위치로의 벡터를 계산하고, 상기 벡터에 기초해서 대상 영역에서의 상기 사용자의 시선의 위치를 결정하는, 시선 추적 장치.
  15. 제14항에서,
    상기 프로세서는, 상기 벡터를 미리 결정되어 있는 복수의 파라미터를 가지는 다항식으로 캘리브레이션하여서 상기 대상 영역에서의 시선의 위치를 결정하는, 시선 추적 장치.
  16. 컴퓨팅 장치에 의해 수행되는 사용자의 시선 추적 방법으로서,
    광원의 광으로부터 중심을 기준으로 소정 방향으로 대칭되는 패턴의 광을 생성하는 단계,
    상기 패턴에 따른 광을 상기 사용자의 안구로 투사하는 단계,
    상기 패턴에 따른 광이 상기 사용자의 안구에 반사되는 상태에서, 상기 안구를 촬영하는 단계,
    상기 카메라가 촬영한 상기 안구의 영상으로부터 동공의 중심의 위치를 검출하는 단계,
    상기 영상으로부터 상기 패턴의 중심의 위치를 검출하는 단계, 그리고
    상기 동공의 중심의 위치와 상기 패턴의 중심의 위치에 기초해서 상기 사용자의 시선의 위치를 검출하는 단계
    를 포함하는 시선 추적 방법.
KR1020200033399A 2020-03-18 2020-03-18 시선 추적 방법 및 장치 KR20210117062A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200033399A KR20210117062A (ko) 2020-03-18 2020-03-18 시선 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200033399A KR20210117062A (ko) 2020-03-18 2020-03-18 시선 추적 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210117062A true KR20210117062A (ko) 2021-09-28

Family

ID=77923412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200033399A KR20210117062A (ko) 2020-03-18 2020-03-18 시선 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210117062A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239072A1 (ko) * 2022-06-09 2023-12-14 삼성전자 주식회사 부호화 이미지로부터 특징점을 획득하는 전자 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962302B1 (ko) 2015-11-02 2019-03-26 페이스북 테크놀로지스, 엘엘씨 구조화 광을 사용한 안구 추적

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962302B1 (ko) 2015-11-02 2019-03-26 페이스북 테크놀로지스, 엘엘씨 구조화 광을 사용한 안구 추적

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239072A1 (ko) * 2022-06-09 2023-12-14 삼성전자 주식회사 부호화 이미지로부터 특징점을 획득하는 전자 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
JP6902075B2 (ja) 構造化光を用いた視線追跡
JP6546349B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
US11908434B2 (en) Image correction due to deformation of components of a viewing device
JP6621836B2 (ja) 光パターンの強度変動を利用した体積内の物体の深さマッピング
US9599462B2 (en) Three-dimensional shape measurement apparatus and control method thereof
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
US20160327385A1 (en) Distance sensor
JP6238521B2 (ja) ３次元計測装置およびその制御方法
JP2009531655A (ja) スペックルパターンを用いた三次元検出
EP3349643B1 (en) Methods, systems and computer program products for determining object distances and target dimensions using light emitters
KR20130037152A (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
WO2014174109A1 (en) Computer graphics presentation system and method
KR20210117062A (ko) 시선 추적 방법 및 장치
US20200229969A1 (en) Corneal topography mapping with dense illumination
US10657665B2 (en) Apparatus and method for generating three-dimensional information
US10691203B2 (en) Image sound output device, image sound output method and image sound output program
EP3462382A1 (en) Eye tracking system using dense structured light patterns
CN112292577A (zh) 三维测量装置以及方法
US20200380776A1 (en) Mesh model generation method, mesh model generation device, and program
KR102433837B1 (ko) 3차원 정보 생성 장치
KR20220030007A (ko) 이미지 생성 장치 및 방법
WO2021262807A1 (en) Displaying a three-dimensional image of a user using an array of infrared illuminators
KR20190136592A (ko) 다수 조명을 이용한 3차원 데이터 획득 방법 및 장치
WO2021170222A1 (en) Depth estimation system for an electronic device