KR20130133127A - Gaze tracking system at a distance using stereo camera and narrow angle camera - Google Patents

Gaze tracking system at a distance using stereo camera and narrow angle camera Download PDF

Info

Publication number
KR20130133127A
KR20130133127A KR1020130043956A KR20130043956A KR20130133127A KR 20130133127 A KR20130133127 A KR 20130133127A KR 1020130043956 A KR1020130043956 A KR 1020130043956A KR 20130043956 A KR20130043956 A KR 20130043956A KR 20130133127 A KR20130133127 A KR 20130133127A
Authority
KR
South Korea
Prior art keywords
camera
stereo camera
gaze
user
tracking system
Prior art date
Application number
KR1020130043956A
Other languages
Korean (ko)
Other versions
KR101739768B1 (en
Inventor
이희경
이인재
김현철
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20130133127A publication Critical patent/KR20130133127A/en
Application granted granted Critical
Publication of KR101739768B1 publication Critical patent/KR101739768B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

A remote gaze tracking system using a stereo camera and an included angle camera is provided. The gaze tracking system may include a stereo camera for calculating a user's 3D location, an included angle camera for obtaining the user's eye image based on the 3D location information calculated by the stereo camera, and a control unit for calculating the user's gaze information based on the obtained eye image and tracking the user's gaze based on the calculated gaze information. [Reference numerals] (100) Gaze tracking system;(110) Stereo camera;(120) Included angle camera;(130) Controller

Description

스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템{GAZE TRACKING SYSTEM AT A DISTANCE USING STEREO CAMERA AND NARROW ANGLE CAMERA}Long-distance gaze tracking system using stereo camera and narrow angle camera {GAZE TRACKING SYSTEM AT A DISTANCE USING STEREO CAMERA AND NARROW ANGLE CAMERA}

본 발명의 실시예들은 스테레오 카메라와 협각 카메라를 이용하여 사용자의 시선을 추적하는 시스템에 관한 것이다.Embodiments of the present invention relate to a system for tracking the eyes of a user using a stereo camera and a narrow angle camera.

현재, 넓은 영역에서 눈의 위치를 찾기 위한 광각(wide view field) 카메라와 찾아진 눈의 위치로 팬(Pan)-틸트(Tilt)-포커싱(Focusing)하여 고화질의 눈 영상을 획득하기 위한 협각(narrow view field) 카메라를 이용한 시선 추적 방법이 제공되고 있다.Currently, a wide view field camera for locating the eye in a wide area and a narrow angle for pan-tilt-focusing with the found eye position to obtain a high quality eye image ( Narrow view field) A gaze tracking method using a camera is provided.

일 예로, 한국공개특허공보 제10-2009-0108792호(공개일 2009년 10월 12일) "광각 카메라를 사용한 타인 인증용 홍채 인식 장치 및 방법"에는 조명부를 이용하여 정보 제공자의 안구를 향해 적외선을 조명한 후 협각 영상 수집부를 이용하여 조명된 안구의 영상을 수집하고, 광각 영상 수집부를 이용하여 조명된 안구를 포함하는 얼굴 전체의 영상을 수집하여 수집한 영상들을 표시하고, 협각 영상 수집부가 수집한 영상을 통해 홍채 인식을 수행하는 것이 기재되어 있다.For example, Korean Patent Laid-Open Publication No. 10-2009-0108792 (published October 12, 2009) includes a wide angle camera and an iris recognition device and method for verifying others using an illuminator to illuminate the eye of an information provider. After illuminating the light, collect the image of the illuminated eye using the narrow image collector, display the images collected by collecting the entire image including the illuminated eye using the wide angle image collector, and collect the narrow image collector Performing iris recognition through an image is described.

그러나, 이와 같이 단일 광각 카메라를 사용할 경우 사용자의 위치 정보를 획득하는 과정에 한계가 있어 협각 카메라의 팬-틸트 시 협각 카메라가 엉뚱한 위치의 영상을 획득하거나, 포커싱을 자주 놓쳐 시선 추적이 끊기거나 정확도가 떨어지는 문제가 발생한다.However, when using a single wide-angle camera as described above, the process of acquiring the user's position information is limited, so when the narrow-angle camera pan-tilts, the narrow-angle camera acquires the wrong position, or frequently misses the focus, so that the line of sight is lost or accurate. Falling problem occurs.

따라서, 보다 정확하고 안정적으로 사용자의 시선을 추적할 수 있는 방법이 요구되고 있다.Therefore, there is a demand for a method that can more accurately and stably track the eyes of the user.

본 발명의 기술적 과제는 스테레오 카메라와 협각 카메라를 이용한 시선 추적을 통해 보다 정확하고 안정적인 사용자의 시선 변이 정보를 획득할 수 있는 스테레오 카메라와 협각 카메라를 이용한 원거리 시선추적 시스템을 제공함에 있다.An object of the present invention is to provide a long-range gaze tracking system using a stereo camera and a narrow-angle camera capable of obtaining more accurate and stable gaze variation information of the user through gaze tracking using a stereo camera and a narrow angle camera.

본 발명의 일 양태에 따르면, 시선 추적 시스템은 사용자의 3차원 위치를 계산하기 위한 스테레오 카메라, 상기 스테레오 카메라를 이용하여 계산된 3차원 위치 정보를 기초로 상기 사용자의 눈 영상을 획득하는 협각 카메라 및 상기 획득한 눈 영상을 기초로 상기 사용자의 시선 정보를 계산하고 상기 계산된 시선 정보를 이용하여 상기 사용자의 시선을 추적하는 제어기를 포함할 수 있다.According to an aspect of the present invention, a gaze tracking system includes a stereo camera for calculating a three-dimensional position of a user, a narrow angle camera for obtaining an eye image of the user based on the three-dimensional position information calculated using the stereo camera; And a controller that calculates the gaze information of the user based on the obtained eye image and tracks the gaze of the user by using the calculated gaze information.

일 실시예로서, 상기 제어기는 상기 스테레오 카메라로부터 입력되는 영상과 상기 협각 카메라로부터 입력되는 영상을 기초로 상기 스테레오 카메라의 캘리브레이션과 랙티피케이션 및 상기 스테레오 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행할 수 있다.As an embodiment, the controller may perform calibration and validation of the stereo camera and calibration between the stereo camera and the narrow angle camera based on the image input from the stereo camera and the image input from the narrow angle camera. .

다른 실시예로서, 상기 제어기는 상기 스테레오 카메라로부터 입력된 영상 각각에서 상기 사용자의 눈 영역을 검출하고, 상기 검출된 눈 영역의 2차원 좌표와 상기 스테레오 카메라의 캘리브레이션을 통해 획득한 상기 사용자의 위치 정보를 기초로 상기 사용자의 눈 영역에 대한 3차원 위치 정보를 계산할 수 있다.In another embodiment, the controller detects the eye region of the user from each of the images input from the stereo camera, and the two-dimensional coordinates of the detected eye region and position information of the user obtained through calibration of the stereo camera. Based on the 3D location information for the eye area of the user can be calculated.

또 다른 실시예로서, 상기 제어기는 상기 3차원 위치 정보를 기초로 상기 협각 카메라를 제어하여 상기 눈 영상을 획득하고, 상기 눈 영상으로부터 동공 중심을 검출하고 적외선 조명에 의해 눈에 반사된 각막 반사광을 검출하며, 상기 동공 중심에 대한 정보와 상기 각막 반사광에 대한 정보를 기초로 상기 사용자의 시선 정보를 계산할 수 있다.In another embodiment, the controller controls the narrow angle camera based on the three-dimensional position information to obtain the eye image, detects the pupil center from the eye image, and reflects the corneal reflected light reflected by the eye by infrared light. The eye gaze information of the user may be calculated based on the information on the pupil center and the information on the corneal reflected light.

또 다른 실시예로서, 상기 스테레오 카메라는 상기 협각 카메라로부터 분리되어 상기 시선 정보를 제공받는 디스플레이 장치에 포함될 수 있다.In another embodiment, the stereo camera may be included in a display device that is separated from the narrow angle camera and receives the gaze information.

또 다른 실시예로서, 상기 스테레오 카메라는 상기 디스플레이 장치에 외장 또는 내장된 형태의 모션 추적 장치에 포함될 수 있다.In another embodiment, the stereo camera may be included in a motion tracking device that is external or embedded in the display device.

또 다른 실시예로서, 상기 스테레오 카메라는 적어도 두 개의 깊이 카메라를 포함할 수 있다.In another embodiment, the stereo camera may include at least two depth cameras.

또 다른 실시예로서, 상기 스테레오 카메라는 듀얼 광각 카메라일 수 있다.In another embodiment, the stereo camera may be a dual wide angle camera.

스테레오 카메라와 협각 카메라를 이용하여 시선을 추적함으로써 보다 정확하고 안정적인 사용자의 시선 정보 획득이 가능하며, 획득한 시선 정보는 웹페이지 UI, 광고 및 상품에 대한 사용자 심리 분석을 통해 마케팅 분야에 활용 가능하다. 또한 의료, 운전, TV 메뉴 제어 등 새로운 사용자 경험을 제공할 수 있는 서비스에도 활용 가능하다.By tracking the gaze using a stereo camera and narrow angle camera, it is possible to obtain more accurate and stable gaze information of the user, and the gaze information obtained can be utilized in marketing through user psychological analysis of web page UI, advertisements, and products. . It can also be used for services that can provide new user experiences such as medical, driving, and TV menu control.

도 1은 본 발명의 일실시예에 있어서, 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 시선 추적 시스템이 사용자의 시선을 추적하는 과정을 나타내는 도면이다.
도 3 내지 도 5는 본 발명에 따른 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추척 시스템을 나타내는 예시도이다.1 is a block diagram illustrating a far-field eye tracking system using a stereo camera and a narrow angle camera according to an embodiment of the present invention.
2 is a view illustrating a process of tracking the gaze of a user by the gaze tracking system according to an exemplary embodiment of the present invention.
3 to 5 are exemplary views showing a far line tracking system using a stereo camera and a narrow angle camera according to the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "??quot; 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the term "" etc. in the specification refers to a unit for processing at least one function or operation, which may be implemented by hardware, software, or a combination of hardware and software.

도 1은 본 발명의 일실시예에 있어서, 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템을 나타내는 블록도이다.1 is a block diagram illustrating a far-field eye tracking system using a stereo camera and a narrow angle camera according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템(100)은 보다 정확하고 안정적인 사용자의 시선 정보를 획득하기 위하여 도 1에 도시된 것과 같이 스테레오 카메라(110), 협각 카메라(120) 및 제어기(130)를 포함한다.The long-range gaze tracking system 100 using the stereo camera and the narrow angle camera according to an embodiment of the present invention is a stereo camera 110, a narrow angle camera as shown in FIG. 1 to obtain more accurate and stable gaze information of the user. 120 and controller 130.

스테레오 카메라(110)는 사용자의 3차원 위치를 계산하기 위한 것으로 일 예로 적어도 두 개의 깊이 카메라를 포함할 수 있다.The stereo camera 110 calculates a three-dimensional position of the user and may include, for example, at least two depth cameras.

협각 카메라(120)는 스테레오 카메라(110)를 이용하여 계산된 3차원 위치 정보를 기초로 사용자의 눈 영상을 획득한다.The narrow angle camera 120 acquires an eye image of the user based on the 3D position information calculated using the stereo camera 110.

이를 위하여 제어기(130)는 스테레오 카메라(110)의 캘리브레이션을 통해 사용자의 정확한 3차원 위치 정보를 계산하는 한편, 스테레오 카메라(110)로부터 입력되는 영상에서 사용자의 얼굴 영역 및 눈 영역을 검출한다. 이 때, 제어기(130)는 스테레오 카메라(110)로부터 입력되는 영상들을 기초로 스테레오 카메라(110)의 캘리브레이션(Calibration)과 랙티피케이션(Rectification)을 수행할 수 있다. 한편, 제어기(130)는 스테레오 카메라(110)와 협각 카메라(120)로부터 입력되는 영상들을 기초로 스테레오 카메라(110)와 협각 카메라(120) 간의 캘리브레이션을 수행할 수 있다.To this end, the controller 130 calculates accurate 3D location information of the user through calibration of the stereo camera 110 and detects the user's face area and eye area from the image input from the stereo camera 110. In this case, the controller 130 may perform calibration and validation of the stereo camera 110 based on the images input from the stereo camera 110. Meanwhile, the controller 130 may perform calibration between the stereo camera 110 and the narrow camera 120 based on the images input from the stereo camera 110 and the narrow camera 120.

사용자의 3차원 위치 정보와 사용자의 눈 영역이 검출되면, 제어기(130)는 상기 사용자의 3차원 위치 정보와 상기 눈 영역에 대한 정보를 기초로 협각 카메라(120)가 팬, 틸트, 포커스를 수행하도록 제어함으로써 이를 통해 고화질의 눈 영상을 획득한다.When the 3D location information of the user and the eye area of the user are detected, the controller 130 performs pan, tilt, and focus on the narrow angle camera 120 based on the 3D location information of the user and the information about the eye area. By controlling so as to obtain a high quality eye image through this.

이와 같은 과정을 통해 사용자의 눈 영상이 획득되면, 제어기(130)는 획득한 눈 영상을 기초로 눈의 동공 중심과 조명 반사광을 검출하여 사용자의 시선 정보를 계산하고, 계산된 시선 정보를 이용하여 사용자의 시선을 추적한다.
When the eye image of the user is obtained through the above process, the controller 130 detects the pupil center of the eye and the reflected light of the eye based on the acquired eye image, calculates the gaze information of the user, and uses the calculated gaze information. Track your eyes.

도 2는 본 발명의 일실시예에 있어서, 시선 추적 시스템이 사용자의 시선을 추적하는 과정을 나타내는 도면이다.2 is a view illustrating a process of tracking the gaze of a user by the gaze tracking system according to an exemplary embodiment of the present invention.

본 발명에 따른 시선 추적 시스템은 시선 추적을 시작하기 전에 먼저 스테레오 카메라의 캘리브레이션과 랙티피케이션을 수행하고, 스테레오 카메라와 협각 카메라 간의 캘리브레이션을 수행하며, 사용자 캘리브레이션을 수행할 수 있다.The gaze tracking system according to the present invention may first perform calibration and validation of a stereo camera, perform calibration between a stereo camera and a narrow angle camera, and perform user calibration before starting gaze tracking.

시선 추적 시스템은 각 캘리브레이션의 수행이 완료되면, 스테레오 카메라로부터 영상들을 입력 받고 입력된 각 영상들에서 얼굴 영역 및 눈 영역을 검출할 수 있다. 상기 과정은 시선을 추적하는 과정 중에 지속적으로 수행될 수 있다.The gaze tracking system may receive images from a stereo camera and detect a face region and an eye region in each of the input images when the calibration is completed. The process may be continuously performed during the process of tracking the line of sight.

이후, 시선 추적 시스템은 검출해 낸 눈의 2차원 좌표와 캘리브레이션을 통해 획득한 사용자 위치 정보(예를 들어, 랙티피케이션 맵, 재투영 행렬 등)를 기반으로 해당 사용자의 눈 영역에 대한 3차원 위치 정보를 계산한다.Then, the eye tracking system is based on the two-dimensional coordinates of the detected eye and the user position information obtained through calibration (for example, a mapping map, a reprojection matrix, etc.) Calculate the location information.

시선 추적 시스템은 계산된 눈 영역에 대한 3차원 위치 정보를 기반으로 협각 카메라에 대한 패닝(Panning), 틸팅(Tilting), 오토포커스(Auto-Focus)를 수행하고, 이를 통해 고화질의 눈 영상을 획득한다. 그리고, 획득된 고화질의 눈 영상으로부터 동공 중심을 검출하고, 적외선 조명에 의해 눈에 반사된 각막 반사광을 검출한다.The eye tracking system performs panning, tilting, and auto-focus on the narrow angle camera based on the calculated 3D position information of the eye area, and obtains high-quality eye images through the eye tracking system. do. The pupil center is detected from the obtained high-quality eye image, and the corneal reflected light reflected by the eye by infrared illumination is detected.

시선 추적 시스템은 이와 같은 과정을 통해 검출된 동공 중심에 대한 정보와 각막 반사광에 대한 정보로부터 시선 위치 정보를 계산해 낼 수 있다.
The gaze tracking system may calculate gaze position information from information on the center of the pupil detected through the process and information on the corneal reflected light.

도 3 내지 도 5는 본 발명에 따른 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추척 시스템을 나타내는 예시도이다.3 to 5 are exemplary views showing a far line tracking system using a stereo camera and a narrow angle camera according to the present invention.

본 발명에 따른 시선 추적 시스템에서 스테레오 카메라는 도 3 내지 도 5에 도시된 것과 같이 다양한 형태로 구현될 수 있다. 도 3에는 일 예로, 스테레오 카메라(320)가 시선 추적 시스템(300)으로부터 분리되어 TV, 모니터 등과 같이 시선 정보를 제공 받는 디스플레이 장치(310)에 거치된 형태가 도시되어 있다. 이 경우, 본 발명에 따른 시선 추적 시스템(300)의 길이(크기)는 최소화될 수 있다. 또한, Z축 방향 오차가 4mm로 높은 정확도를 낼 수 있다. 그러나, 이 경우 디스플레이 장치(310)의 팬, 틸트 등으로 인하여 디스플레이 장치(310)에 거치된 스테레오 카메라(320)의 위치가 변화되면 캘리브레이션의 재수행이 필요하다.In the eye tracking system according to the present invention, the stereo camera may be implemented in various forms as shown in FIGS. 3 to 5. 3 illustrates an example in which the stereo camera 320 is detached from the eye tracking system 300 and mounted on a display device 310 that receives eye information such as a TV or a monitor. In this case, the length (size) of the gaze tracking system 300 according to the present invention can be minimized. In addition, the Z-axis direction error is 4mm, high accuracy can be achieved. However, in this case, if the position of the stereo camera 320 mounted on the display device 310 is changed due to the pan, tilt, etc. of the display device 310, it is necessary to perform calibration again.

도 3에는 일 예로 스테레오 카메라(320)가 디스플레이 장치(310)에 거치된 형태가 도시되어 있으나, 스테레오 카메라(320)는 디스플레이 장치(310)에 내장될 수도 있다.3 illustrates an example in which the stereo camera 320 is mounted on the display apparatus 310, but the stereo camera 320 may be embedded in the display apparatus 310.

한편, 도 4에는 본 발명에 따른 시선 추적 시스템(400)의 스테레오 카메라가 디스플레이 장치(410)와 연결된 키넥트(Kinect)와 같은 사용자의 깊이를 인식하고 모션을 추적하는 장치로 대체되는 경우가 도시되어 있다. 이 경우, 본 발명에 따른 시선 추적 시스템(400)은 시선 추적 인터페이스와 모션 추적 장치로부터 제공되는 제스처 인터페이스를 이용하여 멀티모달 인터페이스(Multimodal interface)를 제공할 수 있다. 그러나, 이 경우, Z축 방향의 정확도 오차가 1cm 정도로 커질 수 있다.Meanwhile, FIG. 4 illustrates a case in which the stereo camera of the gaze tracking system 400 according to the present invention is replaced with a device that recognizes a user's depth and tracks motion such as Kinect connected to the display device 410. It is. In this case, the gaze tracking system 400 according to the present invention may provide a multimodal interface using the gaze tracking interface and the gesture interface provided from the motion tracking device. In this case, however, the accuracy error in the Z-axis direction may be about 1 cm.

따라서, 본 발명에 따른 시선 추적 시스템은 도 5에 도시된 것과 같이 스테레오 카메라가 듀얼 광각 카메라로 시선 추적 시스템(500)에 일체형으로 구현될 수 있다. 이 때, 각 광각 카메라는 사용자의 위치를 정확하게 계산하기 위하여 기 설정된 거리만큼 이격될 수 있다. 또한, 상기 스테레오 카메라는 외장 또는 내장된 형태의 임의의 깊이 카메라로 대체될 수 있다.Therefore, the gaze tracking system according to the present invention may be implemented integrally in the gaze tracking system 500 as a dual wide-angle camera as shown in FIG. At this time, each wide-angle camera may be spaced apart by a predetermined distance in order to accurately calculate the position of the user. In addition, the stereo camera can be replaced with any depth camera of the external or embedded type.

이 경우, z축 방향의 오차가 4mm로 정확도가 높으며 주변의 다른 장치에 영향을 받지 않고도 자체적으로 시선을 추적할 수 있다. 시선 추적 시스템(500)에 의해 추적된 시선에 대한 정보는 디스플레이 장치(510)로 제공될 수 있다.In this case, the accuracy in the z-axis direction is 4mm, which is high accuracy, and it can track the eyes on its own without being affected by other devices nearby. Information on the gaze tracked by the gaze tracking system 500 may be provided to the display device 510.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

100: 시선 추적 시스템
110: 스테레오 카메라
120: 협각 카메라
130: 제어기100: eye tracking system
110: stereo camera
120: narrow angle camera
130: controller

Claims (1)

사용자의 3차원 위치를 계산하기 위한 스테레오 카메라;
상기 스테레오 카메라를 이용하여 계산된 3차원 위치 정보를 기초로 상기 사용자의 눈 영상을 획득하는 협각 카메라; 및
상기 획득한 눈 영상을 기초로 상기 사용자의 시선 정보를 계산하고 상기 계산된 시선 정보를 이용하여 상기 사용자의 시선을 추적하는 제어기
를 포함하고,
상기 스테레오 카메라는,
상기 협각 카메라로부터 분리되어 상기 시선 정보를 제공받는 디스플레이 장치에 포함되거나, 외장 또는 내장된 형태의 모션 추적 장치 또는 깊이 카메라로 대체되거나, 듀얼 광각 카메라로 구성되는 것을 특징으로 하는 시선 추적 시스템.A stereo camera for calculating a three-dimensional position of a user;
A narrow angle camera for acquiring an eye image of the user based on three-dimensional position information calculated using the stereo camera; And
A controller for calculating gaze information of the user based on the acquired eye image and tracking the gaze of the user by using the calculated gaze information.
Lt; / RTI >
The stereo camera,
A gaze tracking system, which is separated from the narrow angle camera and included in a display device receiving the gaze information, replaced by an external or embedded motion tracking device or a depth camera, or configured as a dual wide-angle camera.
KR1020130043956A 2012-05-24 2013-04-22 Gaze tracking system at a distance using stereo camera and narrow angle camera KR101739768B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120055566 2012-05-24
KR1020120055566 2012-05-24

Publications (2)

Publication Number Publication Date
KR20130133127A true KR20130133127A (en) 2013-12-06
KR101739768B1 KR101739768B1 (en) 2017-05-26

Family

ID=49981287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130043956A KR101739768B1 (en) 2012-05-24 2013-04-22 Gaze tracking system at a distance using stereo camera and narrow angle camera

Country Status (1)

Country Link
KR (1) KR101739768B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150085418A (en) 2014-01-15 2015-07-23 주식회사 아이리시스 The iris acquisition apparatus and its method using the second camera in mobile device
KR20150090775A (en) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 Camera module
CN105138215A (en) * 2014-05-26 2015-12-09 联想(北京)有限公司 Information processing method and electronic device
KR20170090881A (en) * 2016-01-29 2017-08-08 한국전자통신연구원 Apparatus and method for eye tracking based on multi array
KR20170091467A (en) * 2016-02-01 2017-08-09 한국전자통신연구원 Gaze tracking apparatus and gaze tracking method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5713624B2 (en) 2009-11-12 2015-05-07 キヤノン株式会社 3D measurement method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150085418A (en) 2014-01-15 2015-07-23 주식회사 아이리시스 The iris acquisition apparatus and its method using the second camera in mobile device
KR20150090775A (en) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 Camera module
CN105138215A (en) * 2014-05-26 2015-12-09 联想(北京)有限公司 Information processing method and electronic device
CN105138215B (en) * 2014-05-26 2018-12-14 联想(北京)有限公司 A kind of information processing method and electronic equipment
KR20170090881A (en) * 2016-01-29 2017-08-08 한국전자통신연구원 Apparatus and method for eye tracking based on multi array
KR20170091467A (en) * 2016-02-01 2017-08-09 한국전자통신연구원 Gaze tracking apparatus and gaze tracking method

Also Published As

Publication number Publication date
KR101739768B1 (en) 2017-05-26

Similar Documents

Publication Publication Date Title
CN107004275B (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least a part of a physical object
US9961335B2 (en) Pickup of objects in three-dimensional display
KR101471488B1 (en) Device and Method for Tracking Sight Line
WO2013179427A1 (en) Display device, head-mounted display, calibration method, calibration program, and recording medium
KR20120057033A (en) Gaze tracking system and method for controlling internet protocol tv at a distance
JP2013054661A (en) Information display system, information display method and program for information display
JP2014230019A (en) Viewer with focus variable lens and image display system
KR101739768B1 (en) Gaze tracking system at a distance using stereo camera and narrow angle camera
JP6631951B2 (en) Eye gaze detection device and eye gaze detection method
KR20140141319A (en) Augmented Reality Information Providing Apparatus and the Method
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
KR102093953B1 (en) Method for helping determine the vision parameters of a subject
US20160247322A1 (en) Electronic apparatus, method and storage medium
KR101467529B1 (en) Wearable system for providing information
US11054659B2 (en) Head mounted display apparatus and distance measurement device thereof
US20160170482A1 (en) Display apparatus, and control method for display apparatus
KR20130099808A (en) Face authenticating sensor
KR101526557B1 (en) Apparatus and method for gaze tracking based on multiple camera
KR101564967B1 (en) System and method to identify user interest using eye tracking
KR101817436B1 (en) Apparatus and method for displaying contents using electrooculogram sensors
KR20160038476A (en) Apparatus and Method for calibrating Gaze
CN107884930B (en) Head-mounted device and control method
KR20210150881A (en) Electronic apparatus and operaintg method thereof
KR20180116044A (en) Augmented reality device and method for outputting augmented reality therefor
JP6496917B2 (en) Gaze measurement apparatus and gaze measurement method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant