KR20120057443A - A gaze tracking system having a gaze correcting function - Google Patents

A gaze tracking system having a gaze correcting function Download PDF

Info

Publication number
KR20120057443A
KR20120057443A KR1020100119179A KR20100119179A KR20120057443A KR 20120057443 A KR20120057443 A KR 20120057443A KR 1020100119179 A KR1020100119179 A KR 1020100119179A KR 20100119179 A KR20100119179 A KR 20100119179A KR 20120057443 A KR20120057443 A KR 20120057443A
Authority
KR
South Korea
Prior art keywords
user
vehicle
gaze
module
direction information
Prior art date
Application number
KR1020100119179A
Other languages
Korean (ko)
Inventor
노희진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020100119179A priority Critical patent/KR20120057443A/en
Publication of KR20120057443A publication Critical patent/KR20120057443A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/02—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in position
    • B60J3/0204—Sun visors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18166—Overtaking, changing lanes

Abstract

PURPOSE: An eye line position tracking system having an eye line position correction function is provided to correct the eye line position of each user based on the eye line position of an actual user. CONSTITUTION: An eye line position tracking system comprises the following: a first database(10) for saving direction information between at least one object and the specific seat position inside a vehicle; a second database(20) saving a face model per users; a user grasping module(30) and an eye line position tracking module(40) grasping the eye line direction of a user on a seat; a control module(50) grasping the operation of vehicle devices regarding objects used by the user; a correction module(60) grasping the face of the user for comparing the face with the face model for deciding the user; and a third database(70) saving the correction value obtained from the difference between the direction information of the object per users and the eye line direction. The eye line position tracking module applies the correction value for correcting the eye line position for grasping the eye line direction of the user.

Description

시선 위치 보정 기능을 갖는 시선 위치 추적 시스템{A gaze tracking system having a gaze correcting function}A gaze tracking system having a gaze correcting function}

본 발명은 사용자 시선의 위치를 파악해주는 시스템에 관한 것이다.
The present invention relates to a system for identifying the position of a user's gaze.

시선 위치 추적 기술은 사람의 동공의 움직임을 파악하여 사람의 시선이 어느 곳에 가장 많이 머무르는지 여부를 파악하는 기술이다. Gaze position tracking technology is to determine the movement of the human pupil to determine where the human eye stays the most.

도 1은 일반적인 시선 위치 추적 모습을 나타내는 사진이다.1 is a photograph showing a general gaze position tracking state.

이러한 시선 위치 추적 기술은 인터넷 포털 화면 구성이나 게임 사용자 화면 등을 설계할 때 시선 위치 추적 결과를 반영하여 사용자들의 시선이 가장 많이 머무는 곳에 검색 결과, 광고 배너들을 배치하는 등 각종 분야에서 많이 활용하고 있다. 그러나 이러한 시선 위치 추적 기술은 추적한 시선 위치와 실제 시선 위치 간에 사용자별 동공의 크기나 움직임의 정도, 광학축과 실제 시선축 간의 구조적인 차이 등에 따라 오차가 많이 발생하는 문제점이 있다. 이에 사용자별로 추적한 시선 위치를 실제 시선 위치를 이용하여 보정한다면 더욱 정확한 시선 위치 추적이 가능하므로 연구 개발의 필요성이 대두된다.
The eye position tracking technology is widely used in various fields such as placing search results and advertisement banners where the eyes of the users stay the most by reflecting the eye position tracking results when designing an Internet portal screen composition or a game user screen. . However, such a gaze tracking technology has a problem that a lot of errors occur depending on the size of the pupil or movement of each user between the tracked gaze position and the actual gaze position, and the structural difference between the optical axis and the actual gaze axis. Therefore, if the gaze position tracked by the user is corrected by using the actual gaze position, more accurate gaze position tracking is possible, which necessitates the need for research and development.

본 발명은 사용자별로 추적한 시선 위치를 실제 사용자의 시선 위치를 이용하여 보정해주는 시선 위치 추적을 위한 시선 위치 보정 시스템을 제공하고자 한다.
The present invention is to provide a gaze position correction system for gaze position tracking to correct the gaze position tracked for each user by using the gaze position of the actual user.

본 발명의 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템은 차량에 존재하는 적어도 하나의 물체와 특정 좌석의 위치 간의 방향 정보가 저장된 제1데이터베이스; 상기 좌석에 착석한 사용자의 시선 방향을 파악하는 시선 위치 추적 모듈; 상기 차량에서 상기 사용자에 의한 각종 물체와 연관된 차량 장치의 동작 여부를 파악하는 제어 모듈; 및 동작이 발생한 차량 장치와 대응되는 물체와 상기 좌석 간의 방향 정보와 상기 차량 장치의 동작이 발생한 시점에서 일정 시간 내에 파악된 상기 시선 방향을 서로 비교하여 상기 시선 방향을 상기 방향 정보를 이용하여 보정하는 보정 모듈을 포함하는 것을 특징적 구성으로 한다.The gaze position tracking system having a gaze position correction function according to an embodiment of the present invention includes a first database storing direction information between at least one object present in a vehicle and a position of a specific seat; A gaze position tracking module for identifying a gaze direction of a user seated in the seat; A control module configured to determine whether an operation of a vehicle device associated with various objects by the user in the vehicle is performed; And correcting the gaze direction by using the direction information by comparing the direction information between the object corresponding to the vehicle apparatus in which the operation occurred and the seat and the gaze direction identified within a predetermined time at the time when the operation of the vehicle device occurs. It is characterized by including a correction module.

여기서 본 발명의 상기 물체는 룸 미러로 구성되고 상기 차량 장치는 차량의 후진 기어로 구성되며, 상기 물체는 사이드 미러로 구성되고 상기 차량 장치는 차량의 차선 변경 감지 장치로 구성되며, 상기 물체는 차량의 계기판으로 구성되고 상기 차량 장치는 차량의 시동 감지 장치로 구성되며, 상기 물체는 차량의 표시 모듈로 구성되고 상기 차량 장치는 차량의 멀티미디어 장치로 구성되며, 상기 물체는 차량의 선바이저 거울로 구성되고 상기 차량 장치는 선바이저 거울의 동작 감지 장치로 구성된다.Wherein the object of the present invention is composed of a room mirror and the vehicle device is composed of a reverse gear of the vehicle, the object is composed of a side mirror and the vehicle device is composed of a lane change detection device of the vehicle, the object is a vehicle The vehicle device is configured as a vehicle start detection device, the object is configured as a display module of the vehicle, the vehicle device is configured as a multimedia device of the vehicle, and the object is configured as a sun visor mirror of the vehicle. The vehicle device is composed of a motion detection device of the sun visor mirror.

한편 본 발명은 사용자별 안면 모델이 저장된 제2데이터베이스; 및 상기 사용자의 안면의 형상을 파악하고 파악한 안면의 형상을 상기 안면 모델과 비교하여 사용자를 파악하는 사용자 파악 모듈을 더 포함한다.On the other hand the present invention is a second database for storing the user-specific face model; And a user identification module for identifying the user by identifying the shape of the face of the user and comparing the detected face shape with the face model.

한편 본 발명은 사용자별 상기 물체에 대한 방향 정보 및 상기 시선 방향 간의 차이 값인 보정 값이 저장된 제3데이터베이스를 더 포함하고, 상기 시선 위치 추적 모듈은 파악한 사용자에 대응하는 보정 값을 반영하여 상기 사용자의 시선 방향을 파악한다.The present invention further includes a third database in which a correction value, which is a difference value between the direction information on the object for each user and the gaze direction, is stored, and the gaze position tracking module reflects the correction value corresponding to the identified user. Know the line of sight.

한편 본 발명의 상기 제1데이터베이스에 저장된 방향 정보는 사용자별로 구분되어 저장되고, 상기 보정 모듈은 상기 파악한 사용자에 해당하는 방향 정보를 상기 시선 방향과 서로 비교하여 상기 시선 방향을 상기 방향 정보를 이용하여 보정한다.
Meanwhile, the direction information stored in the first database of the present invention is divided and stored for each user, and the correction module compares the direction information corresponding to the identified user with the eye gaze direction to use the eye gaze direction using the direction information. Correct.

본 발명의 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템은 동작이 발생한 차량 장치와 대응되는 물체와 좌석 간의 방향 정보와 상기 차량 장치의 동작이 발생한 시점에 파악된 상기 시선 방향을 서로 비교하여 상기 시선 방향을 상기 방향 정보를 이용하여 보정한다. 이에 시선 위치 추적 시스템의 시선 추적 오차를 별도의 오차 보정 절차 및 사용자의 개입 없이 차량의 각종 물체와 연관된 차량 장치의 동작 중에 편리하게 보정할 수 있다는 효과를 제공한다.
The gaze position tracking system having a gaze position correction function according to an embodiment of the present invention compares the direction information between an object and a seat corresponding to a vehicle device in which an operation occurs and the gaze direction determined at the time when the operation of the vehicle device occurs, and the gaze direction. Is corrected using the direction information. Accordingly, the gaze tracking error of the gaze tracking system may be conveniently corrected during operation of a vehicle device associated with various objects of the vehicle without a separate error correction procedure and user intervention.

도 1은 일반적인 시선 위치 추적 모습을 나타내는 사진.
도 2는 본 발명에 따른 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템의 구성을 나타내는 블록도.
도 3은 본 발명의 차량의 물체의 모습을 나타내는 구성도.
도 4는 본 발명에 따른 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템의 동작의 순서를 나타내는 순서도.1 is a photograph showing a general gaze position tracking state.
2 is a block diagram showing the configuration of a gaze position tracking system having a gaze position correction function according to the present invention;
Figure 3 is a block diagram showing the appearance of the object of the vehicle of the present invention.
Figure 4 is a flow chart showing the sequence of operation of the gaze position tracking system having a gaze position correction function according to the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention;

도 2는 본 발명에 따른 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템(이하 '시선 위치 추적 시스템(100)')의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of a gaze position tracking system having a gaze position correction function according to the present invention (hereinafter, 'gaze position tracking system 100').

본 발명에 따른 시선 위치 추적 시스템(100)은 제1데이터베이스(10), 제2데이터베이스(20), 사용자 파악 모듈(30), 시선 위치 추적 모듈(40), 제어 모듈(50), 보정 모듈(60), 제3데이터베이스(70) 등을 포함한다.The gaze position tracking system 100 according to the present invention includes a first database 10, a second database 20, a user grasp module 30, a gaze position tracking module 40, a control module 50, and a correction module ( 60), third database 70, and the like.

제1데이터베이스(10)에는 차량에 존재하는 적어도 하나의 물체(후술하는 룸미러, 계기판 등)와 특정 좌석의 위치(구체적으로는 특정 좌석에 사용자가 착석한 것을 가정한 상기 사용자의 눈의 위치) 간의 방향 정보(벡터 값)가 저장된다. 이러한 방향 정보는 사용자의 앉은 키, 눈의 위치 등에 따라 상이하므로 사용자별로 구분되어 상기 제1데이터베이스(10)에 저장된다. The first database 10 includes at least one object (room mirror, instrument panel, etc.) present in the vehicle and a position of a specific seat (specifically, the position of the user's eyes assuming that the user is seated in a specific seat). The direction information (vector value) of the liver is stored. Since the direction information differs according to a user's sitting height, eye position, and the like, the direction information is divided into users and stored in the first database 10.

제2데이터베이스(20)에는 사용자별 안면의 각 부위의 형상, 각 부위 간의 거리 등을 포함하는 안면 모델이 저장된다.The second database 20 stores a face model including a shape of each part of a face for each user, a distance between each part, and the like.

사용자 파악 모듈(30)은 통상의 안면인식센서로 마련되어 상기 사용자의 안면의 형상을 파악하고 파악한 안면의 형상을 상기 안면 모델과 비교하여 사용자를 파악한다.The user identification module 30 is provided with a conventional face recognition sensor to identify the shape of the user's face and compare the identified face shape with the face model to identify the user.

시선 위치 추적 모듈(40)은 통상의 시선 위치 추적 장치로 마련되어 상기 좌석에 착석한 사용자의 동공의 움직임을 이용하여 상기 사용자의 시선 방향(벡터 값)을 파악한다.The gaze position tracking module 40 is provided with a general gaze position tracking device to grasp the gaze direction (vector value) of the user by using the movement of the pupil of the user seated in the seat.

도 3은 본 발명의 차량의 물체의 모습을 나타내는 구성도이다.Figure 3 is a block diagram showing the appearance of the object of the vehicle of the present invention.

제어 모듈(50)은 상기 차량에서 상기 사용자에 의한 각종 물체와 연관된 차량 장치의 동작 여부를 파악한다. 예를 들어 상기 물체는 룸 미러(1)로 구성되고 상기 차량 장치는 차량의 후진 기어로 구성될 수 있다. 즉 사용자가 차량의 후진 기어를 동작시켰다는 것은 차량을 후진하겠다는 것을 의미하고 사용자는 룸 미러를 통해 차량의 후방을 파악할 가능성이 높으므로 사용자가 차량의 후진 기어를 동작시킨 시점에서는 상기 사용자는 룸 미러를 바라보고 있을 확률이 높다. 이에 사용자가 특정 차량 장치를 동작시키면 특정 물체를 바라보게 되므로 본 발명은 후술하는 보정 모듈(60)을 통해 상기 특정 차량 장치의 동작에 따라 상기 특정 차량 장치의 동작과 연관된 물체와 좌석 간의 방향 정보를 상기 사용자의 실제 시선 방향과 서로 비교하여 보정한다. 한편 상기 차량 장치는 차량의 차선 변경 감지 장치로 구성되고 상기 물체는 사용자가 상기 차선 변경 감지 장치를 작동할 때 바라볼 확률이 높은 사이드 미러(2)로 구성된다. 한편 상기 차량 장치는 차량의 시동 감지 장치로 구성되고 상기 물체는 사용자가 상기 차량의 시동 감지 장치를 작동할 때 바라볼 확률이 높은 계기판(3)으로 구성된다. 한편 상기 차량 장치는 차량의 멀티미디어 장치로 구성되고 상기 물체는 사용자가 상기 차량의 멀티미디어 장치를 작동할 때 바라볼 확률이 높은 차량의 표시 모듈(4)로 구성된다. 여기서 상기 제1데이터베이스(10)에는 표시 모듈의 좌표 별로 특정 좌석의 위치 간의 방향 정보가 저장된다. 이에 표시 모듈에서 사용자에 의해 키 이벤트(터치, 글자 입력 등)가 발생하면 후술하는 보정 모듈(60)이 키 이벤트가 발생한 좌표를 파악하고 파악한 좌표에 대응하는 상기 특정 좌석의 위치 간의 방향 정보를 상기 제1데이터베이스(10)에서 추출할 수 있다. 한편 상기 차량 장치는 선바이저 거울의 동작 감지 장치로 구성되고 상기 물체는 사용자가 상기 선바이저 거울의 동작 감지 장치를 작동(사용자가 선바이저 거울을 열은 경우)할 때 바라볼 확률이 높은 차량의 선바이저 거울(5)로 구성된다.The control module 50 determines whether the vehicle device associated with various objects by the user in the vehicle is operated. For example, the object may consist of a room mirror 1 and the vehicle device may consist of a reverse gear of the vehicle. In other words, when the user operates the reverse gear of the vehicle, it means that the vehicle is to be reversed and the user is likely to know the rear of the vehicle through the room mirror. Most likely you are looking. Accordingly, when the user operates the specific vehicle device, the user looks at the specific object. Accordingly, the present invention provides the direction information between the object and the seat associated with the operation of the specific vehicle device through the correction module 60 to be described later. Compensation is performed by comparing with the actual gaze direction of the user. Meanwhile, the vehicle apparatus is configured as a lane change detection apparatus of a vehicle, and the object is configured as a side mirror 2 having a high probability of looking at when the user operates the lane change detection apparatus. On the other hand, the vehicle device is composed of a vehicle start detection device and the object is composed of an instrument panel 3 having a high probability of viewing when the user operates the vehicle start detection device. On the other hand, the vehicle device is constituted by a multimedia device of the vehicle, and the object is constituted by a display module 4 of the vehicle having a high probability of being viewed by the user when operating the multimedia device of the vehicle. Here, the first database 10 stores direction information between positions of specific seats for each coordinate of the display module. When a key event (touch, text input, etc.) is generated by the user in the display module, the correction module 60, which will be described later, grasps the coordinates at which the key event occurs, and provides direction information between the positions of the specific seats corresponding to the determined coordinates. It can be extracted from the first database (10). On the other hand, the vehicle device is configured as a motion detection device of the sun visor mirror and the object is a vehicle having a high probability of viewing when the user operates the motion detection device of the sun visor mirror (when the user opens the sun visor mirror). It consists of the sun visor mirror 5.

제어 모듈(50)은 상기 차량에서 상기 사용자에 의한 각종 물체와 연관된 차량 장치의 동작 여부를 파악한다.The control module 50 determines whether the vehicle device associated with various objects by the user in the vehicle is operated.

보정 모듈(60)은 사용자 파악 모듈(30)에 의해 파악된 사용자에 대응하며 동작이 발생한 차량 장치와 대응되는 물체와 상기 좌석 간의 방향 정보를 상기 차량 장치의 동작이 발생한 시점에서 일정 시간 내에 파악된 상기 시선 방향과 서로 비교한다. 그리고 상기 보정 모듈(60)은 상기 시선 방향을 상기 방향 정보를 이용하여 보정 예컨대 상기 시선 방향을 상기 방향 정보로 대체한다.The correction module 60 corresponds to the user identified by the user identification module 30 and grasps the direction information between the object and the seat corresponding to the vehicle apparatus in which the operation occurs within a predetermined time at the time when the operation of the vehicle apparatus occurs. It compares with the said visual direction. The correction module 60 replaces the gaze direction with the direction information, for example, by using the direction information.

제3데이터베이스(70)에는 상기 보정 모듈(60)에 의해 사용자별로 파악된 물체별 방향 정보 및 상기 시선 방향 간의 차이 값인 보정 값이 저장된다. 이에 이후에는 상기 시선 위치 추적 모듈(40)이 파악한 사용자에 대응하는 보정 값을 반영하여 상기 사용자의 시선 방향을 파악할 수 있다.
The third database 70 stores object-specific direction information identified by the correction module 60 for each user and a correction value that is a difference between the gaze directions. Thereafter, the gaze direction tracking module 40 may determine the gaze direction of the user by reflecting the correction value corresponding to the user.

이하 본 발명의 시선 위치 추적 시스템(100)의 동작을 설명한다.Hereinafter, the operation of the gaze position tracking system 100 of the present invention will be described.

도 4는 본 발명에 따른 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템(100)의 동작의 순서를 나타내는 순서도이다.4 is a flow chart showing the procedure of operation of the gaze position tracking system 100 having a gaze position correction function according to the present invention.

우선 시선 위치 추적 시스템(100)의 사용자 파악 모듈(30)은 상기 사용자의 안면의 형상을 파악하여 사용자를 파악한다(S100).First, the user grasp module 30 of the gaze position tracking system 100 grasps the shape of the face of the user to grasp the user (S100).

이어서 시선 위치 추적 모듈(40)은 상기 좌석에 착석한 사용자의 시선 방향을 파악한다(S102).Subsequently, the gaze position tracking module 40 determines the gaze direction of the user seated in the seat (S102).

이어서 제어 모듈(50)은 상기 차량에서 상기 사용자에 의한 각종 물체와 연관된 차량 장치의 동작 여부를 파악한다(S104).Subsequently, the control module 50 determines whether the vehicle device associated with various objects by the user in the vehicle is operated (S104).

이어서 보정 모듈(60)은 동작이 발생한 차량 장치와 대응되는 물체와 상기 좌석 간의 상기 사용자에 대응하는 방향 정보와 상기 차량 장치의 동작이 발생한 시점에 파악된 상기 시선 방향을 서로 비교한다(S106).Subsequently, the correction module 60 compares the direction information corresponding to the user between the object corresponding to the vehicle apparatus in which the operation occurs and the seat and the gaze direction detected at the time when the operation of the vehicle apparatus occurs (S106).

이어서 상기 보정 모듈(60)은 상기 시선 방향을 상기 방향 정보를 이용하여 보정하고 그 보정 값을 상기 사용자에 대한 보정 값으로서 제3데이터베이스(70)에 저장한다(S108).Subsequently, the correction module 60 corrects the gaze direction by using the direction information and stores the correction value in the third database 70 as a correction value for the user (S108).

이어서 상기 시선 위치 추적 모듈(40)은 파악한 사용자에 대응하는 보정 값을 반영하여 이후 상기 사용자의 시선 방향을 파악한다(S110).Subsequently, the gaze position tracking module 40 reflects the correction value corresponding to the identified user and then determines the gaze direction of the user (S110).

이상, 본 발명은 비록 한정된 구성과 도면에 의해 설명되었으나, 본 발명의 기술적 사상은 이러한 것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해, 본 발명의 기술적 사상과 하기 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형 실시가 가능할 것이다.As mentioned above, although the present invention has been described by means of a limited configuration and drawings, the technical idea of the present invention is not limited to the above, and by those skilled in the art to which the present invention pertains, Various modifications and variations may be made without departing from the scope of the appended claims.

100: 시선 위치 추적 시스템
10: 제1데이터베이스
20: 제2데이터베이스
30: 사용자 파악 모듈
40: 시선 위치 추적 모듈
50: 제어 모듈
60: 보정 모듈
70: 제3데이터베이스100: eye position tracking system
10: first database
20: second database
30: User Identification Module
40: eye position tracking module
50: control module
60: calibration module
70: third database

Claims (5)

시선 위치 보정 기능을 갖는 시선 위치 추적 시스템으로서,
차량에 존재하는 적어도 하나의 물체와 특정 좌석의 위치 간의 방향 정보가 저장된 제1데이터베이스;
상기 좌석에 착석한 사용자의 시선 방향을 파악하는 시선 위치 추적 모듈;
상기 차량에서 상기 사용자에 의한 각종 물체와 연관된 차량 장치의 동작 여부를 파악하는 제어 모듈; 및
동작이 발생한 차량 장치와 대응되는 물체와 상기 좌석 간의 방향 정보와 상기 차량 장치의 동작이 발생한 시점에서 일정 시간 내에 파악된 상기 시선 방향을 서로 비교하여 상기 시선 방향을 상기 방향 정보를 이용하여 보정하는 보정 모듈을 포함하는 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템.
A gaze position tracking system having a gaze position correction function,
A first database storing direction information between at least one object present in the vehicle and a position of a specific seat;
A gaze position tracking module for identifying a gaze direction of a user seated in the seat;
A control module configured to determine whether an operation of a vehicle device associated with various objects by the user in the vehicle is performed; And
Compensation for correcting the gaze direction by using the direction information by comparing the direction information between the object corresponding to the vehicle device in which the operation occurs and the seat and the gaze direction determined within a predetermined time when the operation of the vehicle device occurs. A gaze position tracking system having a gaze position correction function including a module.
청구항 1에 있어서,
상기 물체는 룸 미러로 구성되고 상기 차량 장치는 차량의 후진 기어로 구성되며,
상기 물체는 사이드 미러로 구성되고 상기 차량 장치는 차량의 차선 변경 감지 장치로 구성되며,
상기 물체는 차량의 계기판으로 구성되고 상기 차량 장치는 차량의 시동 감지 장치로 구성되며,
상기 물체는 차량의 표시 모듈로 구성되고 상기 차량 장치는 차량의 멀티미디어 장치로 구성되며,
상기 물체는 차량의 선바이저 거울로 구성되고 상기 차량 장치는 선바이저 거울의 동작 감지 장치로 구성되는 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템.
The method according to claim 1,
The object consists of a room mirror and the vehicle device consists of a reversing gear of the vehicle,
The object is configured as a side mirror and the vehicle device is configured as a lane change detection device of a vehicle,
The object is composed of the instrument panel of the vehicle and the vehicle device is composed of the start detection device of the vehicle,
The object is composed of the display module of the vehicle and the vehicle device is composed of the multimedia device of the vehicle,
And the object is composed of a sun visor mirror of a vehicle and the vehicle apparatus is a motion detection device of a sun visor mirror.
청구항 1에 있어서,
사용자별 안면 모델이 저장된 제2데이터베이스; 및
상기 사용자의 안면의 형상을 파악하고 파악한 안면의 형상을 상기 안면 모델과 비교하여 사용자를 파악하는 사용자 파악 모듈을 더 포함하는 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템.
The method according to claim 1,
A second database storing a user-specific face model; And
A gaze position tracking system having a gaze position correction function, further comprising a user identification module configured to identify a user by identifying the shape of the face of the user and comparing the figure of the face with the face model.
청구항 3에 있어서,
사용자별 상기 물체에 대한 방향 정보 및 상기 시선 방향 간의 차이 값인 보정 값이 저장된 제3데이터베이스를 더 포함하고,
상기 시선 위치 추적 모듈은 파악한 사용자에 대응하는 보정 값을 반영하여 상기 사용자의 시선 방향을 파악하는 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템.
The method according to claim 3,
And a third database in which a correction value, which is a difference between the direction information of the object for each user and the gaze direction, is further stored.
The line of sight position tracking module has a line of sight position correction function to determine a line of sight of the user by reflecting a correction value corresponding to the identified user.
청구항 4에 있어서,
상기 제1데이터베이스에 저장된 방향 정보는 사용자별로 구분되어 저장되고,
상기 보정 모듈은 상기 파악한 사용자에 해당하는 방향 정보를 상기 시선 방향과 서로 비교하여 상기 시선 방향을 상기 방향 정보를 이용하여 보정하는 시선 위치 보정 기능을 갖는 시선 위치 추적 시스템.The method of claim 4,
Direction information stored in the first database is divided and stored for each user,
The gaze position tracking system having a gaze position correction function of compensating the gaze direction by using the direction information by comparing direction information corresponding to the identified user with the gaze direction.
KR1020100119179A 2010-11-26 2010-11-26 A gaze tracking system having a gaze correcting function KR20120057443A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100119179A KR20120057443A (en) 2010-11-26 2010-11-26 A gaze tracking system having a gaze correcting function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100119179A KR20120057443A (en) 2010-11-26 2010-11-26 A gaze tracking system having a gaze correcting function

Publications (1)

Publication Number Publication Date
KR20120057443A true KR20120057443A (en) 2012-06-05

Family

ID=46609316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100119179A KR20120057443A (en) 2010-11-26 2010-11-26 A gaze tracking system having a gaze correcting function

Country Status (1)

Country Link
KR (1) KR20120057443A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150009121A (en) * 2013-07-15 2015-01-26 엘지전자 주식회사 Mobile terminal and control method thereof
CN109501807A (en) * 2018-08-15 2019-03-22 初速度（苏州）科技有限公司 Automatic Pilot pays attention to force detection system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150009121A (en) * 2013-07-15 2015-01-26 엘지전자 주식회사 Mobile terminal and control method thereof
CN109501807A (en) * 2018-08-15 2019-03-22 初速度（苏州）科技有限公司 Automatic Pilot pays attention to force detection system and method

Similar Documents

Publication Publication Date Title
US10817067B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
US20200272234A1 (en) Method for controlling device on the basis of eyeball motion, and device therefor
US10082940B2 (en) Text functions in augmented reality
US9952665B2 (en) Eye vergence detection on a display
US10915170B2 (en) Eye-protection display device and method
US20180218545A1 (en) Virtual content scaling with a hardware controller
US20150185835A1 (en) Eye tracking method and apparatus
US20100287500A1 (en) Method and system for displaying conformal symbology on a see-through display
CN104714301B (en) Head-up display that can be conformal
US20130024047A1 (en) Method to map gaze position to information display in vehicle
US9324134B2 (en) Display apparatus and control method thereof
US9779552B2 (en) Information processing method and apparatus thereof
CN102880290A (en) Display control method, device and terminal
US10241571B2 (en) Input device using gaze tracking
AU2015296666B2 (en) Reflection-based control activation
WO2018208464A1 (en) Parallax correction for touch-screen display
CN110555426A (en) Sight line detection method, device, equipment and storage medium
US20190332244A1 (en) Controlling content displayed in a display
CN108749732A (en) Middle control display screen angle adjusting method, device, storage medium and middle control display screen
US11061471B2 (en) Screen estimation
WO2019050605A1 (en) Techniques for compensating variable display device latency in image display of virtual reality
US9582074B2 (en) Controlling method and electronic apparatus utilizing the controlling method
KR20120057443A (en) A gaze tracking system having a gaze correcting function
Kang et al. Do you see what I see: towards a gaze-based surroundings query processing system
US20230199297A1 (en) Selectively using sensors for contextual data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application