KR101213596B1 - Line of sight tracking system integrated with head tracker and eye tracker and mehtod thereof - Google Patents
Line of sight tracking system integrated with head tracker and eye tracker and mehtod thereof Download PDFInfo
- Publication number
- KR101213596B1 KR101213596B1 KR1020100036073A KR20100036073A KR101213596B1 KR 101213596 B1 KR101213596 B1 KR 101213596B1 KR 1020100036073 A KR1020100036073 A KR 1020100036073A KR 20100036073 A KR20100036073 A KR 20100036073A KR 101213596 B1 KR101213596 B1 KR 101213596B1
- Authority
- KR
- South Korea
- Prior art keywords
- helmet
- tracker
- direction information
- gaze
- eye
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/22—Aiming or laying means for vehicle-borne armament, e.g. on aircraft
- F41G3/225—Helmet sighting systems
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
- A42B3/0433—Detecting, signalling or lighting devices
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템에 관한 것으로서, 사용자의 헬멧의 구조를 인식한 후 상기 헬멧의 동작을 추정하여 제1 삼차원 좌표계 상에서 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 산출된 헬멧 위치 정보 및 헬멧 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 헤드 트랙커와, 상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 아이 트랙커와, 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 통합 제어기를 포함하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템을 구성한다. 이에 따르면, 헬멧의 위치 및 방향 그리고 사용자의 시선 방향을 모두 추적하여 사용자의 응시 방향을 산출함으로써, 정확하고 신속한 응시 방향을 추정할 수 있는 효과가 있다. 그리고 헤드 트랙킹이나 아이 트랙킹 시에 다양한 알고리즘들을 통합하여 이용함으로써, 어느 하나의 알고리즘을 이용할 때 생기는 단점들을 보완하여 보다 정확하고 신속하게 헤드 트랙킹이나 아이 트랙킹을 할 수 있는 효과가 있다.The present invention relates to an eye tracking system in which a head tracker and an eye tracker are integrated, and after recognizing a structure of a user's helmet, estimating the operation of the helmet, calculating helmet position information and helmet direction information on a first three-dimensional coordinate system, A head tracker for synchronizing and transmitting the calculated helmet position information and helmet direction information according to the received synchronization signal, and calculating the gaze direction information on a second three-dimensional coordinate system by tracking the gaze direction of the user, and calculating the calculated gaze direction information. Receives the eye tracker to synchronize and transmit according to the received synchronization signal, and the helmet position information, helmet direction information and gaze direction information, gaze of the user using the received helmet position information, helmet direction information and gaze direction information A third three-dimensional direction in which the first three-dimensional coordinate system and the second three-dimensional coordinate system are integrated; A head tracker including an integrated controller for calculating and displaying on a coordinate system and an eye tracker constitute an integrated eye tracking system. According to this, by tracking the position and direction of the helmet and the direction of the user's gaze to calculate the gaze direction of the user, there is an effect that can estimate the precise and rapid gaze direction. In addition, by integrating and using various algorithms at the time of head tracking or eye tracking, it is possible to compensate for the shortcomings of using any one algorithm and to perform head tracking or eye tracking more accurately and quickly.
Description
본 발명은 시선 추적 시스템 및 그 방법에 관한 것으로서, 좀 더 상세하게는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법에 관한 것이다.The present invention relates to a gaze tracking system and a method thereof, and more particularly, to a gaze tracking system and a method incorporating a head tracker and an eye tracker.
일명 아파치 헬기와 같은 무기 체계에서는 표적을 조준하기 위한 시선 추적 시스템이 이용되고 있다. 시선 추적 시스템은 조종사의 시선을 추적하여 표적을 빠르고 신속하게 조준할 수 있게 해준다.In weapons systems such as Apache helicopters, eye tracking systems are used to aim the target. The eye tracking system tracks the pilot's line of sight so that the target can be aimed quickly and quickly.
기존의 시선 추적 시스템은 조종사의 머리의 움직임만을 추적하거나 눈동자의 시선만을 추적하여 조종사의 응시 방향을 추정한다. 그런데, 머리의 움직임으로 목표물을 조준하는 헤드 트랙커(head tracker)의 경우에는 눈동자의 움직임을 고려하지 못하므로 민첩하게 응시점을 변경할 수 없다는 문제점이 있다. 그리고 눈동자의 움직임만을 추적하여 목표물을 조준하는 아이 트랙커(eye tracker)의 경우에는 헬멧에 장착된 장비를 이용하여 조종사의 시선을 추적할 수 있지만 머리가 움직이는 경우에는 응시점 역시 변경되는 문제가 있다.The conventional gaze tracking system tracks only the movement of the pilot's head or tracks the eyes of the pupil to estimate the pilot's gaze direction. However, in the case of the head tracker aiming the target by the movement of the head, there is a problem that the gaze point cannot be changed quickly because the eye movement is not considered. In the case of an eye tracker aiming at a target by tracking only the movement of the pupil, the eye of the pilot can be tracked using the equipment mounted on the helmet, but the gaze point also changes when the head moves.
한편, 기존 헤드 트랙커의 종류에는 광학 방식 헤드 트랙커와 관성 방식 헤드 트랙커가 있다. 광학 방식 헤드 트랙커는 헬멧에 부착된 특징점들의 거리를 광학적으로 인식하여 헬멧의 위치 및 방향을 추정하는 방식으로 운용되며, 비교적 정확하게 헬멧의 위치와 방향을 산출할 수 있다는 장점이 있다. 그러나, 산출 속도는 비교적 느린편이다. 이에 비해, 광학 방식 헤드 트랙커는 헬멧의 움직임을 관성 센서에 의해 감지하여 헬멧의 위치 및 방향을 미리 추정하는 방식으로 운용되기 때문에, 이로 인해 헬멧의 위치와 방향을 비교적 빠르게 추정할 수 있는 장점이 있다. 그러나, 헬멧의 위치와 방향의 산출에서 정확도는 떨어지는 편이다.On the other hand, conventional head trackers include optical head trackers and inertial head trackers. The optical head tracker operates by estimating the position and direction of the helmet by optically recognizing the distance between the feature points attached to the helmet, and has the advantage of calculating the position and direction of the helmet relatively accurately. However, the output speed is relatively slow. On the contrary, since the optical head tracker is operated in a manner of estimating the position and direction of the helmet by detecting the movement of the helmet by an inertial sensor, this has the advantage of estimating the position and direction of the helmet relatively quickly. . However, the accuracy in calculating the position and orientation of the helmet is poor.
이처럼 양 방식은 서로 장단점을 보유하고 있지만, 기존에는 양 방식의 장점을 모두 취하는 그러한 방식은 공지되어 있지 않다.As described above, both methods have advantages and disadvantages, but there is no known method that takes advantage of both methods.
다른 한편, 기존 아이 트랙커 역시 어느 하나의 아이 트랙킹 알고리즘에 따라 시선 방향을 산출함으로써, 각 아이 트랙킹 알고리즘의 장점들을 모두 취하지는 못하고 있다.On the other hand, the existing eye tracker also does not take all the advantages of each eye tracking algorithm by calculating the gaze direction according to any one eye tracking algorithm.
본 발명의 목적은 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템를 제공하는 데 있다.It is an object of the present invention to provide a gaze tracking system incorporating a head tracker and an eye tracker.
본 발명의 다른 목적은 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법을 제공하는 데 있다.Another object of the present invention is to provide a gaze tracking method using an integrated head tracker and an eye tracker.
상술한 본 발명의 목적을 달성하기 위한 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템은, 사용자의 헬멧의 구조를 인식한 후 상기 헬멧의 동작을 추정하여 제1 삼차원 좌표계 상에서 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 산출된 헬멧 위치 정보 및 헬멧 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 헤드 트랙커와, 상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 아이 트랙커와, 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 통합 제어기를 포함하도록 구성될 수 있다. 여기에서, 상기 헤드 트랙커는, 상기 헬멧에 장착된 관성 센서를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 그리고 상기 헤드 트랙커는, 상기 헬멧에 부착된 복수의 적외선 LED로 구성되는 특징점들을 적외선 카메라를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 한편, 상기 헤드 트랙커는, 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 다른 한편, 상기 아이 트랙커는, 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 아이 트랙커는, 상기 다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다.The eye tracking system incorporating the head tracker and the eye tracker for achieving the above object of the present invention, after recognizing the structure of the user's helmet, estimates the operation of the helmet, helmet position information and helmet direction on the first three-dimensional coordinate system Information is calculated, the head tracker which synchronizes and transmits the calculated helmet position information and helmet direction information according to the received synchronization signal, and tracks the gaze direction of the user to calculate gaze direction information on a second three-dimensional coordinate system, and calculates An eye tracker for synchronizing the transmitted gaze direction information according to the received synchronization signal, and receiving the helmet position information, the helmet direction information, and the gaze direction information, and using the received helmet position information, the helmet direction information, and the gaze direction information. The gaze direction of the user through the first three-dimensional coordinate system and the second three-dimensional coordinate system The claim can be configured to include an integrated controller for calculating the three-dimensional coordinate system and displayed. Here, the head tracker is configured to estimate the operation of the helmet by using an inertial sensor mounted on the helmet, and to use information on the estimated operation of the helmet to calculate the helmet position information and helmet direction information. Can be. The head tracker may be configured to recognize the feature points of the plurality of infrared LEDs attached to the helmet through an infrared camera to calculate the helmet position information and helmet direction information. The feature points may be configured to form a plurality of triangular patterns. The head tracker may be configured to calculate helmet position information and helmet direction information by recognizing a distance between feature points forming the triangle pattern. On the other hand, the eye tracker calculates the gaze direction information by using an infrared pupil image acquisition method, a multiple pupil recognition technique, and a gaze point estimation method, but the infrared pupil image acquisition method, a multiple pupil recognition technique, and a gaze point estimation method The eye gaze direction information may be calculated by proportionally summing according to a ratio of the amount of each measured value by. The eye tracker may be configured to recognize the infrared rays of the object reflected from the dichroic filter through an infrared camera to track the eye gaze of the user.
상술한 본 발명의 다른 목적을 달성하기 위한 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법은, 통합 제어기가 소정의 동기 신호를 생성하고, 생성된 동기 신호를 헤드 트랙커 및 아이 트랙커로 각각 송신하는 단계와, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계와, 상기 헤드 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 헬멧 위치 정보 및 헬멧 방향 정보를 상기 통합 제어기로 송신하고, 상기 아이 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 시선 방향 정보를 상기 통합 제어기로 송신하는 단계와, 상기 통합 제어기가 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 단계를 포함하도록 구성될 수 있다. 여기에서, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 헤드 트랙커가 상기 헬멧에 장착된 관성 센서를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 그리고 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 헤드 트랙커가 상기 헬멧에 부착된 복수의 적외선 LED로 구성되는 특징점들을 적외선 카메라를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 한편, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 헤드 트랙커가 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 다른 한편, 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는, 상기 아이 트랙커가 상기 다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다.In the eye tracking method using an integrated head tracker and an eye tracker for achieving the above object of the present invention, the integrated controller generates a predetermined synchronization signal and transmits the generated synchronization signal to the head tracker and the eye tracker, respectively. The head tracker calculating helmet position information and helmet direction information of the user's helmet on a first three-dimensional coordinate system, and the eye tracker calculating eye gaze direction information of the user on a second three-dimensional coordinate system; The tracker receives the sync signal and transmits the helmet position information and helmet direction information to the integrated controller according to the received sync signal, and the eye tracker receives the sync signal and the eye direction information according to the received sync signal. Sending the to the unified controller, wherein the unified controller Receive helmet position information, helmet direction information and eye gaze direction information, and the first three-dimensional coordinate system and the second three-dimensional coordinate system integrate the gaze direction of the user by using the received helmet position information, helmet direction information and gaze direction information Calculating and displaying on the third, three-dimensional coordinate system. Here, the head tracker calculates the helmet position information and helmet direction information of the user's helmet on the first three-dimensional coordinate system, and the eye tracker calculating the gaze direction information of the user on the second three-dimensional coordinate system, the head The tracker may be configured to estimate the operation of the helmet using an inertial sensor mounted on the helmet, and use information on the estimated operation of the helmet to calculate the helmet position information and the helmet direction information. The head tracker calculates helmet position information and helmet direction information of the user's helmet on a first three-dimensional coordinate system, and the eye tracker calculates the gaze direction information of the user on a second three-dimensional coordinate system. It may be configured to recognize the feature points consisting of a plurality of infrared LED attached to the helmet through an infrared camera to calculate the helmet position information and helmet direction information. The feature points may be configured to form a plurality of triangular patterns. The head tracker may calculate helmet position information and helmet direction information of the user's helmet on a first three-dimensional coordinate system, and the eye tracker calculates the gaze direction information of the user on a second three-dimensional coordinate system. Recognize the distance between the feature points forming the triangular pattern may be configured to calculate the helmet position information and helmet direction information. On the other hand, the head tracker to calculate the helmet position information and helmet direction information of the user's helmet on the first three-dimensional coordinate system, the eye tracker calculating the eye gaze direction information of the user on the second three-dimensional coordinate system, the infrared pupil The gaze direction information is calculated using an image acquisition method, a multiple pupil recognition method, and a gaze point estimation method, and according to a ratio of the amount of each measurement value by the infrared pupil image acquisition method, the multiple pupil recognition method, and the gaze point estimation method. The proportional sum may be configured to calculate the gaze direction information. The head tracker calculates helmet position information and helmet direction information of the user's helmet on a first three-dimensional coordinate system, and the eye tracker calculates the gaze direction information of the user on a second three-dimensional coordinate system. The infrared ray of the object reflected from the dichroic filter may be recognized through an infrared camera to track the user's gaze direction.
상기와 같은 시선 추적 시스템 및 그 방법에 관한 것으로서, 좀 더 상세하게는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법에 따르면, 헬멧의 위치 및 방향 그리고 사용자의 시선 방향을 모두 추적하여 사용자의 응시 방향을 산출함으로써, 정확하고 신속한 응시 방향을 추정할 수 있는 효과가 있다. 그리고 헤드 트랙킹이나 아이 트랙킹 시에 다양한 알고리즘들을 통합하여 이용함으로써, 어느 하나의 알고리즘을 이용할 때 생기는 단점들을 보완하여 보다 정확하고 신속하게 헤드 트랙킹이나 아이 트랙킹을 할 수 있는 효과가 있다.Regarding the eye tracking system and the method as described above, in more detail, according to the eye tracking system and method integrated with the head tracker and the eye tracker, the position and direction of the helmet and the direction of the user's eye gaze to track the user By calculating the gaze direction of, the gaze direction can be estimated accurately and quickly. In addition, by integrating and using various algorithms at the time of head tracking or eye tracking, it is possible to compensate for the shortcomings of using any one algorithm and to perform head tracking or eye tracking more accurately and quickly.
도 1은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 헤드 트랙커의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 아이 트랙커의 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 시선 추적 시스템의 실물도이다.
도 5는 본 발명의 일 실시예에 따른 헬멧의 전방 이동 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이다.
도 6은 본 발명의 일 실시예에 따른 헬멧의 요(yaw) 45° 회전 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이다.
도 7은 본 발명의 일 실시예에 따른 아이 트랙커의 동작 개념도이다.
도 8은 본 발명의 일 실시예에 따른 아이 트랙커의 실물도이다.
도 9는 본 발명의 일 실시예에 따른 아이 트랙커의 동공 인식과 시선 방향 추정 결과도이다.
도 10은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법의 흐름도이다.1 is a block diagram of an eye tracking system incorporating a head tracker and an eye tracker according to an exemplary embodiment of the present invention.
2 is a block diagram of a head tracker according to an embodiment of the present invention.
3 is a block diagram of an eye tracker according to an embodiment of the present invention.
4 is a physical view of an eye tracking system according to an exemplary embodiment of the present invention.
5 is an estimation diagram of helmet position information and helmet direction information when the helmet moves forward according to an embodiment of the present invention.
FIG. 6 is an estimation diagram of helmet position information and helmet direction information when a yaw is rotated by 45 ° according to an embodiment of the present invention. FIG.
7 is a conceptual diagram illustrating the operation of an eye tracker according to an embodiment of the present invention.
8 is a physical view of an eye tracker according to an embodiment of the present invention.
9 is a diagram illustrating a pupil recognition and a gaze direction estimation result of an eye tracker according to an exemplary embodiment of the present invention.
10 is a flowchart of a gaze tracking method using an integrated head tracker and an eye tracker according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템의 블록 구성도이다. 좀 더 세부적인 구성을 나타내는 도면으로서, 도 2는 본 발명의 일 실시예에 따른 헤드 트랙커의 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 아이 트랙커의 블록 구성도이다.1 is a block diagram of an eye tracking system incorporating a head tracker and an eye tracker according to an exemplary embodiment of the present invention. 2 is a block diagram illustrating a head tracker according to an embodiment of the present invention, and FIG. 3 is a block diagram illustrating an eye tracker according to an embodiment of the present invention.
도 1 내지 도 3을 참조하면, 본 발명에 따른 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템(100)(이하 '시선 추적 시스템'이라 함)은 헤드 트랙커(110), 아이 트랙커(120), 통합 제어기(130)를 포함하도록 구성될 수 있다. 여기에서, 통합 제어기(130)는 동기 신호 발생부(131), 신호 검출부(132), 정보 취합부(133)및 정보 출력부(134)를 포함하도록 구성될 수 있다. 그리고 헤드 트랙커(110)는 헬멧 외부에 부착된 적외선 LED(111), 헬멧 내부에 장착된 관성 센서(112), 제1 적외선 카메라(113), 제2 적외선 카메라(114) 및 헬멧 위치 및 방향 산출부(115)를 포함하도록 구성될 수 있다. 그리고 아이 트랙커(120)는 헬멧의 사용자 눈 앞 위치에 장착된 다이크로익 필터(121), 헬멧 앞쪽면에 장착된 적외선 카메라(122) 및 시선 방향 산출부(123)를 포함하도록 구성될 수 있다.1 to 3, the eye tracker system 100 (hereinafter, referred to as an eye tracker system) incorporating a head tracker and an eye tracker according to the present invention may include a
시선 추적 시스템(100)은 헤드 트랙커(110) 및 아이 트랙커(120)의 출력치를 통합하여 이용함으로써, 보다 정확하고 신속하게 사용자의 응시 방향을 추정한다.한편, 헤드 트랙커(110)는 기존과 달리 광학 방식에 의한 헤드 트랙킹과 관성 센서에 의한 헤드 트랙킹을 모두 수행하여 이용할 수 있도록 하고, 아이 트랙커(120) 역시 다양한 아이 트랙킹 기법을 모두 수행하여 이용할 수 있도록 함을 특징으로 한다. 이하, 각 구성에 대하여 좀 더 상세하게 설명한다.The
먼저, 헤드 트랙커(110)는 사용자의 헬멧의 구조를 인식한 후 상기 헬멧의 동작을 추정하여 제1 삼차원 좌표계 상에서 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 산출된 헬멧 위치 정보 및 헬멧 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하도록 구성될 수 있다. 헤드 트랙커(110)는 사용자(조종사)가 착용한 헬멧의 위치와 방향을 추정하기 위한 장치이다. 이때, 광학 방식과 관성 센서에 의한 방식 모두 이용된다. 광학 방식은 헤드 트랙커(110)의 외부에 부착된 복수 개의 적외선 LED(111)의 위치와 거리를 계산하여 헬멧의 위치 및 방향을 인식하는 방식이다. 그러므로, 헬멧에 부착된 적외선 LED(111)들은 특징점들로서, 미리 그 위치가 지정되어 있어야 한다. 한편, 관성 센서에 의한 방식은 헬멧 내부에 장착된 관성 센서가 헬멧의 움직임을 감지하여 헬멧의 동작을 미리 추정하는 방식이다. 광학 방식은 그 결과치의 정확도에서 우수한 반면, 계산량이 많아 복잡하고 속도가 느리다. 그러나, 관성 센서에 의한 방식은 계산량이 적고 계산 속도는 빠르나 정확도는 비교적 떨어지는 편이다.First, the
본 발명에서는 양 방식을 접목하여 이용한다. 즉, 상기 헤드 트랙커(110)는, 상기 헬멧에 장착된 관성 센서(112)를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 다시 말하면, 최초에는 광학 방식에 의해 헬멧의 구조를 인식하지만, 이후에는 관성 센서에 의한 방식에 의해 헬멧의 동작을 감지하여 헬멧의 위치와 방향을 추정하는데 이용할 수 있도록 한다. 즉, 헬멧 위치 정보와 헬멧 방향 정보를 광학 방식에 의해 산출하지만, 관성 센서에 의한 방식에 따라 헬멧의 동작을 추정함으로써 광학 방식에 의한 계산량을 줄이고 계산 속도를 높일 수 있다.In the present invention, both methods are combined and used. That is, the
한편, 상기 동기 신호는 주기적으로 미리 수신되고 있어야 한다. 후술하겠지만, 동기 신호는 통합 제어기(130)로부터 수신되며, 산출된 헬멧 위치 정보 및 헬멧 방향 정보는 수신된 동기 신호에 따라 동기화되어 통합 제어기(130)로 송신된다.Meanwhile, the sync signal should be periodically received in advance. As will be described later, the synchronization signal is received from the
여기에서, 상기 헤드 트랙커(110)는 상기 헬멧에 부착된 복수의 적외선 LED(111)로 구성되는 특징점들을 제1 적외선 카메라(113) 및 제2 적외선 카메라(114)를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 헬멧 외부에는 전체적으로 적외선 LED(111)가 분포되도록 하여 헬멧의 위치나 방향의 변화에도 제1 적외선 카메라(113) 및 제2 적외선 카메라(114)가 헬멧의 구조를 인식할 수 있어야 한다.Here, the
이때, 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 바람직하게는, 하나의 헬멧에 총 15개의 특징점 즉, 적외선 LED(111)가 부착되도록 구성될 수 있으며, 특징점들은 모두 5개의 삼각형 패턴을 형성하도록 구성될 수 있다.In this case, the feature points may be configured to form a plurality of triangular patterns. Preferably, a total of 15 feature points, that is, the
그리고 헤드 트랙커(110)는 제1 적외선 카메라(113)와 제2 적외선 카메라(114)에 의해 인식된 특징점들을 이용하여 헬멧의 구조를 인식한다. 특히, 특히, 헬멧 위치 및 방향 산출부(115)는 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 특징점들은 다양한 형상의 패턴으로 분포되도록 구성될 수 있으나, 삼각형 패턴의 경우 특징점들 간의 거리 계산을 위한 계산량이 적기 때문에 매우 유용하다.The
다음으로, 아이 트랙커(120)는 상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하도록 구성될 수 있다. 아이 트랙커(120)는 다양한 아이 트랙킹 알고리즘을 모두 이용하여 사용자의 시선 방향을 추적하도록 구성될 수 있다.Next, the
예를 들면, 아이 트랙커(120)는 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하도록 구성될 수 있으며, 이때, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 각 아이 트랙킹 알고리즘은 각각의 장단점이 있으며, 각각 특이한 조건에서 효율성이 달라질 수 있다. 이에, 아이 트랙커(120) 좀 더 상세하게는 시선 방향 산출부(123)는 위 3가지 아이 트랙킹 알고리즘을 모두 적용하되, 가장 측정이 잘된 알고리즘에 의한 측정치 순으로 칼만 필터에 의해 비례 합산하여 시선 방향 정보를 산출하도록 구성될 수 있다. 이에, 좀 더 정확한 시선 방향 정보를 얻을 수 있다.For example, the
한편, 상기 동기 신호 역시 주기적으로 미리 수신되고 있어야 한다. 이 동기 신호는 앞서 설명한 헤드 트랙커(110)에서 수신하는 동기 신호와 동일한 동기 신호이다. 이 동기 신호는 통합 제어기(130)로부터 수신되며, 산출된 시선 방향 정보 역시 수신된 동기 신호에 따라 동기화되어 통합 제어기(130)로 송신된다. 이에, 통합 제어기(130)는 동기화된 헤드 트랙커(110)의 출력 신호 및 아이 트랙커(120)의 출력 신호를 수신할 수 있다.Meanwhile, the synchronization signal should also be periodically received in advance. This sync signal is the same sync signal as that received by the
다른 한편, 상기 아이 트랙커(120)는, 다이크로익 필터(121)로부터 반사된 대상체의 적외선을 적외선 카메라(122)를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다. 적외선은 사용자의 눈에 자극을 주지 않고 시야를 방해하지 않으므로 유용하다.On the other hand, the
다음으로, 통합 제어기(130)는 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하도록 구성될 수 있다. 즉, 통합 제어기(130)는 기존과 달리 헤드 트랙커(110)에 의한 출력치와 아이 트랙커(120)에 의한 출력치를 모두 반영하여 사용자의 응시 방향을 산출 내지는 추정함으로써, 보다 정확하게 표적을 조준할 수 있도록 한다. 좀 더 구체적으로 설명한다.Next, the
통합 제어기(130)의 동기 신호 발생부(131)는 동기 신호를 발생시켜 헤드 트랙커(110)와 아이 트랙커(120)에 주기적으로 송신한다. 동기 신호 발생부(131)는 실시간 운영 체제의 경우에는 기본적으로 동기 신호 생성이 지원되지만, 비실시간 운영 체제의 경우에는 통신 담당 스레드(thread), 정보 취합 스레드, 동기화 신호 전송 스레드 등의 스레드 별로 정해진 순서에 따라 구동되도록 구성될 수 있다.The
헤드 트랙커(110)와 아이 트랙커(120)가 동기 신호에 따라 동기화하여 출력 신호를 송신하면, 통합 제어기(130)의 신호 검출부(132)가 출력 신호를 수신한다. 그리고 수신된 출력 신호가 제대로 수신되었는지 확인한다. 체크섬(checksum)을 이용하여 전송 오류를 체크하도록 구성될 수 있다.When the
한편, 통합 제어기(130)의 정보 취합부(133)는 헤드 트랙커(110)의 헬멧 위치 정보 및 헬멧 방향 정보 그리고 아이 트랙커(120)의 시선 방향 정보를 하나의 동일한 삼차원 공간 좌표계에서 통합한다. 이에, 사용자의 응시 방향이 정확하게 추정된다.Meanwhile, the
그리고 통합 제어기(130)의 정보 출력부(134)는 사용자의 응시 방향을 출력하여 사용자가 표적을 조준할 수 있도록 한다.The
도 4는 본 발명의 일 실시예에 따른 시선 추적 시스템의 실물도이다.4 is a physical view of an eye tracking system according to an exemplary embodiment of the present invention.
도 4의 (a)는 헬멧과 헬멧의 외부에 부착된 다수의 적외선 LED(111), 헬멧 앞쪽에 장착된 다이크로익 필터(121)와 적외선 카메라(122)를 나타낸다. 도 4의 (b)는 조종석의 전방에 조종석을 향해 설치된 제1 적외선 카메라(113)와 제2 적외선 카메라(114)를 나타낸다. 그리고 도 4의 (c)는 조종석을 나타낸다.4 (a) shows a helmet and a plurality of
도 5는 본 발명의 일 실시예에 따른 헬멧의 전방 이동 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이고, 도 6은 본 발명의 일 실시예에 따른 헬멧의 요(yaw) 45° 회전 시 헬멧 위치 정보 및 헬멧 방향 정보의 추정도이다.5 is an estimation diagram of helmet position information and helmet direction information when the helmet moves forward according to an embodiment of the present invention, and FIG. 6 is a helmet during rotation of yaw 45 ° of the helmet according to the embodiment of the present invention. It is an estimation figure of position information and helmet direction information.
도 5를 참조하면, 헬멧이 병진 운동하는 경우 시선 추적의 결과 그래프가 도시되어 있음을 알 수 있다. 여기에서, 녹색 점선은 산출되어야 할 사용자의 응시 방향에 대한 정보를 나타낸다. 그리고 붉은색 점섬은 광학 방식에 의해 산출된 사용자의 응시 방향에 대한 정보를 나타내고, 파란색 실선은 광학 방식 및 관성 센서에 의한 방식이 모두 적용되었을 때 산출되는 사용자의 응시 방향에 대한 정보를 나타낸다. 도 5를 통해서 알 수 있듯이, 기존의 광학 방식에만 의존할 때보다 관성 센서에 의한 방식이 가미되었을 때 더 빠르고 정확하게 사용자의 응시 방향을 산출해 낼 수 있음을 알 수 있다.Referring to FIG. 5, it can be seen that a result graph of eye tracking is shown when the helmet translates. Here, the green dotted line indicates information about the gaze direction of the user to be calculated. The red dot islands indicate information on the gaze direction of the user calculated by the optical method, and the blue solid lines indicate information about the gaze direction of the user calculated when both the optical method and the method by the inertial sensor are applied. As can be seen from FIG. 5, it can be seen that the user's gaze direction can be calculated more quickly and accurately when the inertial sensor is added than when only the conventional optical method is used.
도 6을 참조하면, 헬멧이 회전 운동하는 경우 시선 추적의 결과 그래프가 도시되어 있음을 알 수 있다. 도 5와 마찬가지로 녹색 점선은 산출되어야 할 사용자의 응시 방향에 대한 정보를 나타낸다. 그리고 붉은색 점섬은 광학 방식에 의해 산출된 사용자의 응시 방향에 대한 정보를 나타내고, 파란색 실선은 광학 방식 및 관성 센서에 의한 방식이 모두 적용되었을 때 산출되는 사용자의 응시 방향에 대한 정보를 나타낸다. 도 6에서도 광학 방식과 관성 센서에 의한 방식이 통합되었을 때 더 정확하고 빠르게 사용자의 응시 방향을 산출할 수 있음을 알 수 있다. 롤(Roll) 그래프에서, 파란 실선의 진동은 관성 보정 동작을 나타낸다.Referring to FIG. 6, it can be seen that a result graph of eye tracking is shown when the helmet rotates. As shown in FIG. 5, the green dotted line indicates information on the gaze direction of the user to be calculated. The red dot islands indicate information on the gaze direction of the user calculated by the optical method, and the blue solid lines indicate information about the gaze direction of the user calculated when both the optical method and the method by the inertial sensor are applied. In FIG. 6, it can be seen that the user's gaze direction can be calculated more accurately and quickly when the optical method and the method by the inertial sensor are integrated. In the Roll graph, the blue solid line oscillation represents the inertia correction operation.
도 7은 본 발명의 일 실시예에 따른 아이 트랙커의 동작 개념도이다.7 is a conceptual diagram illustrating the operation of an eye tracker according to an embodiment of the present invention.
도 7을 참조하면, 다이크로익 필터는 사용자의 전방 가시성을 확보하며, 적외선만을 반사하여 적외선 카메라에서 사용자의 시선 방향을 추적할 수 있도록 한다.Referring to FIG. 7, the dichroic filter secures the front visibility of the user, and reflects only infrared rays so that the infrared camera can track the direction of the user's eyes.
도 8은 본 발명의 일 실시예에 따른 아이 트랙커의 실물도이다.8 is a physical view of an eye tracker according to an embodiment of the present invention.
도 8의 (a) 및 (b)는 사용자의 아이 트랙커(120) 착용 모습을 나타낸다. 그리고 도 8의 (c)는 사용자가 아이 트랙커(120)의 착용 후 각 응시점을 응시하여 응시점 보정 실험을 하는 모습을 나타낸다.8A and 8B illustrate a user's wearing of the
도 9는 본 발명의 일 실시예에 따른 아이 트랙커의 동공 인식과 시선 방향 추정 결과도이다.9 is a diagram illustrating a pupil recognition and a gaze direction estimation result of an eye tracker according to an exemplary embodiment of the present invention.
도 9에는 도 8의 (c)에서 한 실허메서 아이 트랙커(120)가 사용자의 동공의 방향을 인식하여 시선 방향을 추적한 결과가 도시되어 있다.FIG. 9 illustrates a result of tracking the eyeline direction by recognizing the direction of the pupil of the user in FIG. 8 (c).
도 10은 본 발명의 일 실시예에 따른 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법의 흐름도이다. 상기 시선 추적 방법은 도 1의 시선 추적 시스템을 이용하여 구현될 수 있다. 이하, 세부적인 구성에 대하여 설명한다.10 is a flowchart of a gaze tracking method using an integrated head tracker and an eye tracker according to an embodiment of the present invention. The gaze tracking method may be implemented using the gaze tracking system of FIG. 1. Hereinafter, the detailed configuration will be described.
먼저, 통합 제어기(130)가 소정의 동기 신호를 생성하고, 생성된 동기 신호를 헤드 트랙커(110) 및 아이 트랙커(120)로 각각 송신하도록 구성될 수 있다(S110).First, the
다음으로, 상기 헤드 트랙커(110)가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커(120)가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하도록 구성될 수 있다(S120). 여기에서, 상기 헤드 트랙커(110)가 상기 헬멧에 장착된 관성 센서를 이용하여 상기 헬멧의 동작을 추정하고, 추정된 헬멧의 동작에 대한 정보를 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 데 이용하도록 구성될 수 있다. 그리고 상기 헤드 트랙커(110)가 상기 헬멧에 부착된 복수의 적외선 LED(111)로 구성되는 특징점들을 제1 적외선 카메라(113) 및 제2 적외선 카메라(114)를 통해 인식하여 상기 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 이때, 상기 특징점들은 다수의 삼각형 패턴을 형성하도록 구성될 수 있다. 그리고 상기 헤드 트랙커(110)는 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하도록 구성될 수 있다. 한편, 아이 트랙커(120)는 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하도록 구성될 수 있다. 그리고 상기 아이 트랙커(120)가 상기 다이크로익 필터(121)로부터 반사된 대상체의 적외선을 적외선 카메라(122)를 통해 인식하여 상기 사용자의 시선 방향을 추적하도록 구성될 수 있다.Next, the
다음으로, 상기 헤드 트랙커(110)가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 헬멧 위치 정보 및 헬멧 방향 정보를 상기 통합 제어기(130)로 송신하고, 상기 아이 트랙커(120)가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 시선 방향 정보를 상기 통합 제어기(130)로 송신하도록 구성될 수 있다(S130).Next, the
다음으로, 상기 통합 제어기(130)가 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하도록 구성될 수 있다(S140).Next, the
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.
100: 시선 추적 시스템 110: 헤드 트랙커
111: 적외선 LED 112: 관성 센서
113: 제1 적외선 카메라 114: 제2 적외선 카메라
115: 헬멧 위치 및 방향 산출부 120: 아이 트랙커
121: 다이크로익 필터 122: 적외선 카메라
123: 시선 방향 산출부 130: 통합 제어기
131: 동기 신호 발생부 132: 신호 검출부
133: 정보 취합부 134: 정보 출력부100: eye tracking system 110: head tracker
111: infrared LED 112: inertial sensor
113: first infrared camera 114: second infrared camera
115: helmet position and direction calculation unit 120: eye tracker
121: dichroic filter 122: infrared camera
123: gaze direction calculator 130: integrated controller
131: synchronization signal generator 132: signal detector
133: information collecting unit 134: information output unit
Claims (14)
상기 사용자의 시선 방향을 추적하여 제2 삼차원 좌표계 상에서 시선 방향 정보를 산출하고, 산출된 시선 방향 정보를 수신된 동기 신호에 따라 동기화하여 송신하는 아이 트랙커와,
상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 통합 제어기를 포함하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.The position information and posture information of the helmet calculated by recognizing feature points composed of a plurality of infrared LEDs attached to the helmet of the user, and the operation of the helmet detected using the inertial sensor mounted on the helmet A head tracker which calculates helmet position information and helmet direction information on the first three-dimensional coordinate system and synchronizes the calculated helmet position information and helmet direction information according to the received synchronization signal;
An eye tracker that tracks the gaze direction of the user to calculate gaze direction information on a second three-dimensional coordinate system, and synchronizes the calculated gaze direction information according to the received synchronization signal;
Receiving the helmet position information, helmet direction information and gaze direction information, the gaze direction of the user using the received helmet position information, helmet direction information and gaze direction information to the first three-dimensional coordinate system and the second three-dimensional coordinate system An eye tracking system incorporating a head tracker and an eye tracker comprising an integrated controller for calculating and displaying on an integrated third three-dimensional coordinate system.
상기 특징점들은 다수의 삼각형 패턴을 형성하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.The method of claim 1,
And the feature points form a plurality of triangular patterns, wherein the eye tracker and eye tracker are integrated.
상기 헤드 트랙커는,
상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.5. The method of claim 4,
The head tracker is,
And a head tracker and an eye tracker integrated with each other to calculate helmet position information and helmet direction information by recognizing a distance between the feature points forming the triangle pattern.
상기 아이 트랙커는,
적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.The method of claim 5,
The eye tracker is,
The gaze direction information is calculated using an infrared pupil image acquisition method, a multiple pupil recognition method, and a gaze point estimation method, and the ratio of the amount of each measurement value by the infrared pupil image acquisition method, the multiple pupil recognition method, and the gaze point estimation method. The eye tracker integrated with the head tracker and the eye tracker, characterized in that to calculate the eye gaze direction information by proportional summing.
상기 아이 트랙커는,
다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템.The method according to claim 6,
The eye tracker is,
An eye tracking system incorporating a head tracker and an eye tracker, which tracks the gaze direction of the user by recognizing infrared rays of an object reflected from a dichroic filter through an infrared camera.
상기 헤드 트랙커가 사용자의 헬멧에 부착된 복수의 적외선 LED로 구성되는 특징점들을 적외선 카메라를 통해 인식하여 산출된 상기 헬멧의 위치 정보 및 자세 정보와, 상기 헬멧에 장착된 관성 센서를 이용하여 추정된 상기 헬멧의 동작을 이용하여 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계와,
상기 헤드 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 헬멧 위치 정보 및 헬멧 방향 정보를 상기 통합 제어기로 송신하고, 상기 아이 트랙커가 상기 동기 신호를 수신하여 수신된 동기 신호에 따라 상기 시선 방향 정보를 상기 통합 제어기로 송신하는 단계와,
상기 통합 제어기가 상기 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 수신하고, 수신된 헬멧 위치 정보, 헬멧 방향 정보 및 시선 방향 정보를 이용하여 상기 사용자의 응시 방향을 상기 제1 삼차원 좌표계 및 상기 제2 삼차원 좌표계가 통합된 제3 삼차원 좌표계 상에서 산출하고 표시하는 단계를 포함하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.Generating, by the integrated controller, a predetermined synchronization signal, and transmitting the generated synchronization signal to the head tracker and the eye tracker, respectively;
The head tracker estimated position information and posture information of the helmet calculated by recognizing the feature points consisting of a plurality of infrared LEDs attached to the user's helmet through an infrared camera, and the inertial sensor mounted on the helmet Calculating helmet position information and helmet direction information of the user's helmet on a first three-dimensional coordinate system by using an operation of the helmet, and the eye tracker calculating the gaze direction information of the user on a second three-dimensional coordinate system;
The head tracker receives the sync signal and transmits the helmet position information and helmet direction information to the integrated controller according to the received sync signal, and the eye tracker receives the sync signal and the gaze according to the received sync signal. Transmitting direction information to the unified controller;
The integrated controller receives the helmet position information, helmet direction information and gaze direction information, and uses the received helmet position information, helmet direction information and gaze direction information to determine the gaze direction of the user in the first three-dimensional coordinate system and the first direction. 2. A gaze tracking method integrating and using a head tracker and an eye tracker, comprising calculating and displaying on a third three-dimensional coordinate system having an integrated two-dimensional coordinate system.
상기 특징점들은 다수의 삼각형 패턴을 형성하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.9. The method of claim 8,
And the feature points form a plurality of triangular patterns, wherein the eye tracker and eye tracker are integrated.
상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는,
상기 헤드 트랙커가 상기 삼각형 패턴을 형성하는 특징점들 간의 거리를 인식하여 헬멧 위치 정보 및 헬멧 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.The method of claim 11,
The head tracker calculates the helmet position information and helmet direction information of the user's helmet on the first three-dimensional coordinate system, and the eye tracker calculates the gaze direction information of the user on the second three-dimensional coordinate system,
And a head tracker and an eye tracker integrated by using the head tracker to calculate the helmet position information and the helmet direction information by recognizing the distance between the feature points forming the triangle pattern.
상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는,
적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법을 이용하여 상기 시선 방향 정보를 산출하되, 상기 적외선 동공 영상 획득 방법, 다중 동공 인식 기법 및 응시점 추정 방법에 의한 각 측정치의 양의 비율에 따라 비례 합산하여 상기 시선 방향 정보를 산출하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.The method of claim 12,
The head tracker calculates the helmet position information and helmet direction information of the user's helmet on the first three-dimensional coordinate system, and the eye tracker calculates the gaze direction information of the user on the second three-dimensional coordinate system,
The gaze direction information is calculated using an infrared pupil image acquisition method, a multiple pupil recognition method, and a gaze point estimation method, and the ratio of the amount of each measurement value by the infrared pupil image acquisition method, the multiple pupil recognition method, and the gaze point estimation method. And calculating the gaze direction information by proportionally summing according to the gaze tracking method.
상기 헤드 트랙커가 제1 삼차원 좌표계 상에서 사용자의 헬멧의 헬멧 위치 정보 및 헬멧 방향 정보를 산출하고, 상기 아이 트랙커가 제2 삼차원 좌표계 상에서 상기 사용자의 시선 방향 정보를 산출하는 단계는,
상기 아이 트랙커가 다이크로익 필터로부터 반사된 대상체의 적외선을 적외선 카메라를 통해 인식하여 상기 사용자의 시선 방향을 추적하는 것을 특징으로 하는 헤드 트랙커 및 아이 트랙커를 통합하여 이용하는 시선 추적 방법.
The method of claim 13,
The head tracker calculates the helmet position information and helmet direction information of the user's helmet on the first three-dimensional coordinate system, and the eye tracker calculates the gaze direction information of the user on the second three-dimensional coordinate system,
The eye tracker recognizes the infrared rays of the object reflected from the dichroic filter through an infrared camera and tracks the eye gaze of the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100036073A KR101213596B1 (en) | 2010-04-19 | 2010-04-19 | Line of sight tracking system integrated with head tracker and eye tracker and mehtod thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100036073A KR101213596B1 (en) | 2010-04-19 | 2010-04-19 | Line of sight tracking system integrated with head tracker and eye tracker and mehtod thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110116580A KR20110116580A (en) | 2011-10-26 |
KR101213596B1 true KR101213596B1 (en) | 2012-12-24 |
Family
ID=45030830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100036073A KR101213596B1 (en) | 2010-04-19 | 2010-04-19 | Line of sight tracking system integrated with head tracker and eye tracker and mehtod thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101213596B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102019217B1 (en) | 2019-05-08 | 2019-09-06 | 노순석 | Visual disturbance system based on eye image information |
RU2730727C1 (en) * | 2019-12-03 | 2020-08-25 | Акционерное общество "Научно-производственное объединение Русские базовые информационные технологии" | Combined-arms helmet-mounted information display, control and target designation system |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8929589B2 (en) * | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
CN103336580B (en) * | 2013-07-16 | 2016-08-24 | 卫荣杰 | A kind of cursor control method of head-wearing device |
CN106132284B (en) | 2013-11-09 | 2019-03-22 | 深圳市汇顶科技股份有限公司 | The tracking of optics eye movement |
KR101855196B1 (en) * | 2013-11-27 | 2018-06-08 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | Eye tracking and user reaction detection |
EP3371973B1 (en) * | 2015-11-06 | 2023-08-09 | Facebook Technologies, LLC | Eye tracking using a diffraction pattern of coherent light on the surface of the eye |
KR20190109720A (en) | 2019-09-06 | 2019-09-26 | 엘지전자 주식회사 | Method and apparatus for driving guide of vehicle |
KR102331256B1 (en) * | 2020-01-29 | 2021-11-24 | 금오공과대학교 산학협력단 | Helmet azimuth tracking device and Helmet Azimuth Tracking Method using thereof |
CN112633128A (en) * | 2020-12-18 | 2021-04-09 | 上海影创信息科技有限公司 | Method and system for pushing information of interested object in afterglow area |
CN115111964A (en) * | 2022-06-02 | 2022-09-27 | 中国人民解放军东部战区总医院 | MR holographic intelligent helmet for individual training |
-
2010
- 2010-04-19 KR KR1020100036073A patent/KR101213596B1/en active IP Right Grant
Non-Patent Citations (2)
Title |
---|
헤드/아이 통합 트랙커 개발 및 통합성능 검증 (제어?로봇?시스템학회 논문지 제16권, 제1호 2010.1) |
헤드/아이 트랙커를 위한 항공기와 목표물과의 관계해석(한국군사과학기술학회지 2007) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102019217B1 (en) | 2019-05-08 | 2019-09-06 | 노순석 | Visual disturbance system based on eye image information |
RU2730727C1 (en) * | 2019-12-03 | 2020-08-25 | Акционерное общество "Научно-производственное объединение Русские базовые информационные технологии" | Combined-arms helmet-mounted information display, control and target designation system |
Also Published As
Publication number | Publication date |
---|---|
KR20110116580A (en) | 2011-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101213596B1 (en) | Line of sight tracking system integrated with head tracker and eye tracker and mehtod thereof | |
US10679360B2 (en) | Mixed motion capture system and method | |
US10094910B2 (en) | Location estimation system | |
CN105850113B (en) | The calibration of virtual reality system | |
US9747697B2 (en) | System and method for tracking | |
Foxlin et al. | Flighttracker: A novel optical/inertial tracker for cockpit enhanced vision | |
JP2020034919A (en) | Eye tracking using structured light | |
CN110023884B (en) | Wearable motion tracking system | |
US20080048931A1 (en) | Helmet System for Information or Weapon Systems | |
US9489045B2 (en) | Methods and apparatus for providing a snapshot truthing system for a tracker | |
US10802606B2 (en) | Method and device for aligning coordinate of controller or headset with coordinate of binocular system | |
US11567528B2 (en) | LED synchronization for virtual and augmented reality devices | |
JP7319303B2 (en) | Radar head pose localization | |
CN107014378A (en) | A kind of eye tracking aims at control system and method | |
CN104685541A (en) | Method and an apparatus for determining a gaze point on a three-dimensional object | |
EP3631600B1 (en) | Dynamic control of performance parameters in a six degrees-of-freedom sensor calibration subsystem | |
JP6555279B2 (en) | Moving image processing apparatus for head mounted display, moving image processing method for head mounted display, and head mounted display system | |
WO2007140155A2 (en) | Beacon-augmented pose estimation | |
US11712619B2 (en) | Handle controller | |
KR101438948B1 (en) | Apparatus and method for gaze tracking control | |
US20220107415A1 (en) | Light direction detector systems and methods | |
TWI697811B (en) | Tracking system, scanning device, head mounted display, computing device and related positioning and calibration methods | |
EP2544039A1 (en) | Display system | |
CN107344019B (en) | Virtual reality system | |
JP5292725B2 (en) | Motion tracker device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160519 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161202 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20171204 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20181204 Year of fee payment: 7 |