KR20160064388A - Vehicle having gaze recognizing function and controlling method thereof, and gaze recognizing system - Google Patents

Vehicle having gaze recognizing function and controlling method thereof, and gaze recognizing system Download PDF

Info

Publication number
KR20160064388A
KR20160064388A KR1020140167938A KR20140167938A KR20160064388A KR 20160064388 A KR20160064388 A KR 20160064388A KR 1020140167938 A KR1020140167938 A KR 1020140167938A KR 20140167938 A KR20140167938 A KR 20140167938A KR 20160064388 A KR20160064388 A KR 20160064388A
Authority
KR
South Korea
Prior art keywords
signal
visual
driver
vehicle
sight
Prior art date
Application number
KR1020140167938A
Other languages
Korean (ko)
Other versions
KR101648021B1 (en
Inventor
오광명
사성진
박성민
이희승
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140167938A priority Critical patent/KR101648021B1/en
Publication of KR20160064388A publication Critical patent/KR20160064388A/en
Application granted granted Critical
Publication of KR101648021B1 publication Critical patent/KR101648021B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • B60R25/255Eye recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • B60Y2300/12Lane keeping

Abstract

The present invention relates to a vehicle having a gaze recognizing function, a control method thereof, and a gaze recognizing system. The vehicle having a gaze recognizing function comprises a transmitting device, a receiving device and a control part. The transmitting device is detachably installed on the clothes of a driver as well as glasses of the driver and generates a gaze recognizing signal having at least differentiated one among a pattern, a wavelength, strength and a light emitting time. The receiving device includes multiple signal detection sensors, receives a gaze recognizing signal transmitted from the transmitting device to analyze the received gaze recognizing signal, and detects a change in the gaze of the driver to determine the direction of the gaze of the driver. The control part performs the function of a device in the vehicle, which matches the direction of the gaze of the driver, the direction detected by the receiving device. Compared to a conventional technique, the gaze of the driver can be recognized with low costs.

Description

시선 인식 기능을 갖는 차량 및 그 제어방법과 시선 인식 시스템{VEHICLE HAVING GAZE RECOGNIZING FUNCTION AND CONTROLLING METHOD THEREOF, AND GAZE RECOGNIZING SYSTEM}[0001] VEHICLE HAVING GAZE RECOGNIZING FUNCTION AND CONTROLLING METHOD THEREOF, AND GAS RECOGNIZING SYSTEM [0002]

시선 인식 기능을 갖는 차량 및 그 제어방법과 시선 인식 시스템에 관한 것이다.
A vehicle having a sight line recognition function, a control method thereof, and a sight line recognition system.

차량은 운전자의 편의성과 안정성을 고려하여 다양한 차량 안전 장치가 개발되고 있는 추세이다.A variety of vehicle safety devices have been developed in consideration of the convenience and stability of the driver.

보다 구체적으로, 차량 안전 장치는 차량의 도로 주행 시, 운전자의 핸들조작을 보조하여 주행차선으로부터의 이탈을 방지하는 차선이탈 경보 장치와 운전자에 의해서 선택된 목적지까지의 경로 및 경로에 따른 주변 정보를 안내하는 내비게이션을 포함할 수 있다.More specifically, the vehicle safety device informs a lane departure warning device that assists a driver's steering operation and prevents departure from the driving lane, and peripheral information along a route and a route to a destination selected by the driver, Lt; / RTI >

상기 내비게이션은 단순히 경로 정보를 제공하는 것 이외에도 운전자가 운전 중에 음악을 듣고 영상을 볼 수 있도록 오디오 장치와 비디오 장치를 포함하는 것이 일반적이다. 최근에는 오디오 장치, 비디오 장치 및 내비게이션 장치가 일체화된 AVN(Audio Video Navigation) 장치가 차량에 설치되고 있는 추세이다.In addition to simply providing route information, the navigation system includes an audio device and a video device so that the driver can listen to music while driving and view the video. In recent years, an AVN (Audio Video Navigation) device in which an audio device, a video device, and a navigation device are integrated is installed in a vehicle.

한편, 상술한 AVN 장치는 차량의 대시 보드에 위치하기 때문에, 운전자가 AVN 장치에서 표시되는 정보를 확인하기 위해 시선 방향을 바꾸게 되어 차량 운행 중에는 위험을 초래할 수 있다.On the other hand, since the AVN device is located on the dashboard of the vehicle, the driver changes the direction of the sight line in order to confirm the information displayed on the AVN device, which may cause danger during vehicle operation.

이러한 문제점을 개선하기 위해 운전자의 시선 방향을 인식하여 차량 내 구비된 AVN 장치를 비롯한 장치들을 제어할 수 있도록 하는 서비스가 개발되고 있는 추세이다. 상술한 운전자의 시선 방향을 인식하는 방법은 차량 내부에 카메라를 설치하여 운전자의 시선을 인식하거나, 또는 운전의 동공 움직임을 판단하여 시선을 추적하기 위한 카메라를 부착한 안경을 장착하는 등의 방법을 적용하고 있는 실정이다.In order to solve such a problem, there is a tendency to develop a service for recognizing the direction of a driver's gaze and controlling devices including the AVN device installed in the vehicle. The above-described method of recognizing the driver's gaze direction includes a method of recognizing the driver's gaze by installing a camera in the vehicle, or attaching glasses with a camera for tracking the gaze by determining the pupil movement of the driver .

그러나, 상술한 방법들은 운전자의 정확한 시선인식이 어렵고, 외광 조건에 의해 운전자의 얼굴에 그늘이 발생하거나 광량이 변경될 경우 오인식률이 높으며, 운전자의 얼굴과 배경을 구분하는데 시간과 차량 내 소프트웨어 구동을 위한 자원을 소모하는 알고리즘을 적용하게 되고, 카메라를 비롯한 관련 부품이 장착된 카메라 부착형 안경을 착용해야 하는 부담이 존재하며, 차량 내부 카메라 방식의 비용 부담으로 인하여 양산이 원활하지 않은 문제점이 제기되고 있다.However, in the above-described methods, it is difficult for the driver to accurately recognize the eyesight, and the recognition accuracy is high when the shadow of the driver's face is changed or the amount of light is changed due to the external light condition. , There is a burden to wear a camera attaching type eyeglass equipped with a camera and related parts and there is a problem that mass production is not smooth due to the cost burden of the camera in the vehicle .

이에, 관련 운용자는 저비용의 운전자 시선의 인식률을 향상시킬 수 있는 방법을 모색하게 되었다.
Accordingly, the related operator sought a way to improve the recognition rate of the low-cost driver's gaze.

개시된 발명은 운전자의 안경에 착탈 가능한 신호 발생 장치를 장착하여, 발생 장치로부터 전달되는 신호를 기초로 운전자의 시선 방향을 인식하기 위한 시선 인식 기능을 갖는 차량 및 그 제어방법과 시선 인식 시스템을 제공하기 위한 것이다.
The disclosed invention provides a vehicle having a visual recognition function for recognizing the direction of a driver's eyes based on a signal transmitted from a generator, a control method thereof, and a visual-recognition system, .

일 측면의 시선 인식 기능을 갖는 차량은, 운전자의 안경을 비롯하여 의복에 착탈 가능하도록 설치되어 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화한 시선 인식용 신호를 발생시키는 발신 장치; 복수 개의 신호 감지 센서를 포함하고, 상기 발신 장치로부터 전송되는 상기 시선 인식용 신호를 수신하여, 수신된 상기 시선 인식용 신호를 분석하고 운전자의 시선 변화를 감지하여 운전자의 시선 방향을 파악하는 수신 장치; 및 상기 수신 장치에 의해서 감지된 상기 운전자의 시선 방향에 매칭되는 차량 내 장치의 기능을 실행시키는 제어부;를 포함할 수 있다.A vehicle having a visual recognition function of one side is installed to be detachably attached to clothing including glasses of a driver and generates a visual recognition signal that differentiates at least one of a pattern, a wavelength, an intensity, and a light emission time; A receiver for receiving the line of sight recognition signal transmitted from the transmission apparatus, analyzing the received line-of-sight recognition signal, detecting a change in the line of sight of the driver, ; And a control unit for executing functions of the in-vehicle apparatus matching the sight line direction of the driver sensed by the receiving apparatus.

상기 발신 장치는, 상황에 따라 상기 시선 인식용 신호의 패턴을 차별화하여 발생시키거나, 상기 안경의 좌측과 우측의 파장을 각각 상이하게 발생시키거나, 상기 안경의 좌측과 우측의 점등 간격을 상이하게 발생시키거나, 또는 강도를 차별화하여 발생시킬 수 있다.The transmitting device may be configured to differentiate the pattern of the line-of-sight recognition signal according to the situation, to generate the left and right wavelengths of the glasses differently, or to differentiate the left and right lighting intervals of the glasses Or by differentiating the strength.

상기 수신 장치는, 상기 복수 개의 신호 감지 센서를 통해 상기 상황에 따라 차별화되어 발생되는 상기 시선 인식용 신호를 감지하여, 감지된 상기 시선 인식용 신호를 분석하고 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.The receiving apparatus senses the visual-recognition signal differentiated according to the situation through the plurality of signal-detecting sensors, analyzes the sensed visual-recognition signal, detects a relative displacement of the glasses, The direction of the gaze can be grasped.

상기 수신 장치는, 거리에 따른 상기 시선 인식용 신호의 강도 변화 및 패턴의 변화를 기초로 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.The receiving apparatus can sense the direction of the driver's sight by sensing the relative displacement of the spectacles based on a change in the intensity of the visual-recognition signal and a change in the pattern depending on the distance.

상기 수신 장치는, 상기 복수 개의 신호 감지 센서 중 특정 신호 감지 센서의 상기 시선 인식용 신호의 감지여부를 이용하여 상기 안경의 상대적 변위를 감지할 수 있다.The receiving apparatus can detect the relative displacement of the spectacles by using the presence or absence of the sight recognition signal of the specific signal sensor among the plurality of signal sensors.

상기 차량 내 장치는, AVN(Audio Video Navigation) 장치, 디스플레이, 경고 장치 및 전자식 사이드 미러 중 어느 하나일 수 있다.The in-vehicle apparatus may be any one of an AVN (Audio Video Navigation) apparatus, a display, a warning apparatus, and an electronic side mirror.

상기 차량 내 장치가 AVN(Audio Video Navigation) 장치 또는 디스플레이이고, 상기 운전자의 시선 방향이 상기 ANV 장치 또는 상기 디스플레이의 위치와 일치하는 경우, 상기 제어부는, 상기 ANV 장치 또는 상기 디스플레이를 준비모드로 전환시킬 수 있다.When the in-vehicle apparatus is an AVN (Audio Video Navigation) apparatus or a display, and the direction of the driver's sight coincides with the position of the ANV apparatus or the display, the control unit switches the ANV apparatus or the display to the preparation mode .

상기 제어부는, 상기 운전자의 시선 방향이 기 설정된 시간 동안 동일한 경우, 졸음 경보를 음성 또는 문자 형태로 발생시킬 수 있다.The controller may generate a drowsiness alert in the form of voice or letter when the driver's sight line direction is the same for a predetermined time.

상기 차량 내 장치가 경고 장치이고, 상기 경고 장치를 통해 차선 이탈 및 근접 차량 경보를 발생시킨 경우, 상기 제어부는, 상기 차선 이탈 및 근접 차량 경보 발생 이후 상기 운전자의 시선 변화가 기 설정된 시간 동안 감지되지 않으면, 상기 차선 이탈 및 근접 차량 경보를 음성 또는 문자 형태로 발생시킬 수 있다.When the in-vehicle device is a warning device and the lane departure and close-up vehicle alarms are generated through the warning device, the control unit detects that the driver's gaze change has not been detected for a preset time after the occurrence of the lane departure and proximity vehicle alarms , The lane departure and the proximity vehicle alarm may be generated in voice or text form.

상기 차량 내 장치가 전자식 사이드 미러이고, 상기 운전자의 시선 방향이 상기 전자식 사이드 미러의 위치와 일치하는 경우, 상기 제어부는, 상기 전자식 사이드 미러를 동작시켜 차량 외부 정보를 표시할 수 있다.When the in-vehicle apparatus is an electronic side mirror and the direction of the driver's sight coincides with the position of the electronic side mirror, the control unit can operate the electronic side mirror to display outside information of the vehicle.

상기 제어부는, 상기 수신 장치에 의해서 감지된 상기 운전자의 시선 방향이 기 설정된 헤드 제스처(Head Gesture)의 동의 의사 방향 또는 거부 의사 방향과 일치하는지 여부를 확인하고, 확인 결과에 따라, 상기 차량 내 장치의 기능을 실행시키거나 또는 실행시키지 않을 수 있다.Wherein the control unit confirms whether or not the visual direction of the driver detected by the receiving apparatus matches the motion pseudo direction or the reject pseudo direction of a predetermined head gesture, Or not.

상기 시선 인식용 신호는, 적외선 신호 또는 초음파 신호일 수 있다.The visual-recognition signal may be an infrared signal or an ultrasonic signal.

다른 측면의 시선 인식 기능을 갖는 차량의 제어방법은, 차량이 운전자의 안경을 비롯하여 의복에 착탈 가능하도록 설치된 발신 장치로부터 발생되는 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화한 시선 인식용 신호를 수신하는 단계; 복수 개의 신호 감지 센서를 이용하여 상기 발신 장치로부터 전송되는 상기 시선 인식용 신호를 수신하는 단계; 수신된 상기 시선 인식용 신호를 분석하여 운전자의 시선 변화를 감지하는 단계; 및 감지된 상기 운전자의 시선 변화에 따른 운전자의 시선 방향에 매칭되는 차량 내 장치의 기능을 실행시키는 단계;를 포함할 수 있다.A method of controlling a vehicle having a visual recognition function on the other side includes a step of recognizing at least one of a pattern, a wavelength, an intensity, and a light emission time generated from a transmitting device installed in the clothes, Receiving a signal; Receiving the visual-recognition signal transmitted from the originating apparatus using a plurality of signal-detecting sensors; Analyzing the received line-of-sight recognition signal to detect a driver's visual line change; And executing a function of the in-vehicle apparatus matching the sight line direction of the driver according to the change of the driver's gaze sensed.

상기 시선 인식용 신호를 수신하는 단계 이전에, 상기 발신 장치는 상황에 따라 상기 시선 인식용 신호의 패턴을 차별화하여 발생하거나, 상기 안경의 좌측과 우측의 파장을 각각 상이하게 발생하거나, 상기 안경의 좌측과 우측의 점등 간격을 상이하게 발생하거나, 또는 강도를 차별화하여 발생하는 단계;를 더 포함할 수 있다.Before the step of receiving the line-of-sight recognition signal, the source apparatus may generate the line-of-sight recognition signal by differentiating the pattern of the line-of-sight recognition signal or generate the left and right wavelengths of the glasses differently, Generating the left and right lighting intervals differently, or differentiating the intensity.

상기 운전자의 시선 변화를 감지하는 단계에서, 상기 차량은 상기 복수 개의 신호 감지 센서를 통해 상기 상황에 따라 차별화되어 발생되는 상기 시선 인식용 신호를 감지하여 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.In the step of sensing the driver's gaze change, the vehicle senses the gaze recognition signal generated by differentiating through the plurality of signal sensors, detects the relative displacement of the glasses, .

상기 차량은 거리에 따른 상기 시선 인식용 신호의 강도 변화 및 패턴의 변화를 기초로 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.The vehicle can sense the direction of the driver's sight by sensing the relative displacement of the glasses based on a change in the intensity of the visual-recognition signal and a change in the pattern depending on the distance.

상기 차량은 상기 복수 개의 신호 감지 센서 중 특정 신호 감지 센서의 상기 시선 인식용 신호의 감지여부를 이용하여 상기 안경의 상대적 변위를 감지할 수 있다.The vehicle can detect the relative displacement of the glasses by using the detection of the sight recognition signal of the specific signal sensor among the plurality of signal sensors.

상기 차량 내 장치는, AVN(Audio Video Navigation) 장치, 디스플레이, 경고 장치 및 전자식 사이드 미러 중 어느 하나일 수 있다.The in-vehicle apparatus may be any one of an AVN (Audio Video Navigation) apparatus, a display, a warning apparatus, and an electronic side mirror.

상기 시선 인식용 신호는, 적외선 신호 또는 초음파 신호일 수 있다.The visual-recognition signal may be an infrared signal or an ultrasonic signal.

또 다른 측면의 시선 인식 시스템은, 사용자의 안경을 비롯하여 의복에 착탈 가능하도록 설치되어, 시선 인식용 신호를 발생시키는 발신 장치; 및 복수 개의 신호 감지 센서를 포함하고, 상기 발신 장치로부터 전송되는 상기 시선 인식용 신호를 수신하여, 수신된 상기 시선 인식용 신호를 분석하고 사용자의 시선 변화를 감지하여 사용자의 시선 방향을 파악하는 수신 장치;를 포함할 수 있다.Another aspect of the visual-recognition system includes a sending device that is detachably attached to clothes including glasses of a user and generates a visual-recognition signal; And a plurality of signal detecting sensors for receiving the visual-recognition signal transmitted from the originating device, analyzing the received visual-recognition signal, detecting a change in a user's visual acuity, Device.

상기 발신 장치는, 제어부의 제어에 따라 시선 인식용 신호를 발생시키는 신호 전송 센서; 및 상황별 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화하여 상기 시선 인식용 신호를 발생시키도록 상기 신호 전송 센서를 제어하는 제어부;를 포함할 수 있다.The transmitting device includes: a signal transmission sensor for generating a visual-recognition signal under the control of the control unit; And a controller for controlling the signal transmission sensor to differentiate at least one of a pattern, a wavelength, an intensity, and a light emission time according to a situation to generate the visual recognition signal.

상기 발신 장치가 상기 안경에 설치되는 경우, 상기 제어부는, 상황에 따라 상기 시선 인식용 신호의 패턴을 차별화하여 발생시키거나, 상기 안경의 좌측과 우측의 파장을 각각 상이하게 발생시키거나, 상기 안경의 좌측과 우측의 점등 간격을 상이하게 발생시키거나, 또는 강도를 차별화하여 발생시킬 수 있다.When the transmitting device is installed in the spectacles, the control unit may cause the pattern of the visual-recognition signal to be differentiated according to the situation, generate the left and right wavelengths of the spectacles differently, The lighting intervals of the left side and the right side of the light source may be generated differently or the intensity may be differentiated.

상기 시선 인식용 신호는, 적외선 신호 또는 초음파 신호일 수 있다.
The visual-recognition signal may be an infrared signal or an ultrasonic signal.

개시된 발명은 착탈 가능한 발신 장치를 안경에 설치하고, 발신 장치로부터 발생되는 시선 인식용 신호를 수신할 수 있는 수신 장치를 차량 내 구비하여, 종래에 비해 저가의 비용으로 운전자의 시선을 인식할 수 있다는 것이다.The disclosed invention provides a detachable sending device in a spectacle and a receiving device capable of receiving a visual recognition signal generated from a sending device is provided in the vehicle so that the driver's gaze can be recognized at a lower cost than in the past will be.

또한, 시선 인식용 신호를 감지할 수 있는 수신 장치의 위치가 차량 내 고정되어 있기 때문에, 발신 장치로부터 전달된 시선 인식용 신호를 기초로 운전자의 시선 변화를 정확하게 파악하는 것이 가능하다는 것이다.
In addition, since the position of the receiving device capable of sensing the visual-recognition signal is fixed in the vehicle, it is possible to accurately grasp the driver's line of sight change based on the visual-recognition signal transmitted from the transmitting device.

도 1은 차량 외관을 도시하는 도면이다.
도 2는 차량 내부를 도시하는 도면이다.
도 3은 일 실시예에 의한 운전자의 시선 방향을 감지하기 위한 차량의 구성을 상세하게 나타내는 제어 블럭도이다.
도 4는 다른 실시예에 의한 시선 인식 시스템의 구성을 상세하게 나타내는 제어 블럭도이다.
도 5는 발신 장치로부터의 운전자 시선 인식용 신호를 감지하는 방법을 설명하기 위한 도면이다.
도 6 및 7은 운전자의 시선 방향을 감지하기 위한 방법을 설명하기 위한 예시도이다.
도 8은 운전자의 시선 방향을 감지하기 위한 차량의 제어방법을 설명하기 위한 흐름도이다.
1 is a view showing a vehicle exterior.
2 is a view showing the interior of the vehicle.
3 is a control block diagram illustrating in detail a configuration of a vehicle for sensing a driver's gaze direction according to an exemplary embodiment.
FIG. 4 is a control block diagram showing in detail the configuration of a line-of-sight recognition system according to another embodiment.
5 is a diagram for explaining a method of detecting a signal for recognizing a driver's gaze from a calling apparatus.
FIGS. 6 and 7 are diagrams for explaining a method for detecting the driver's gaze direction.
8 is a flowchart for explaining a control method of a vehicle for detecting the driver's gaze direction.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서에서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.BRIEF DESCRIPTION OF THE DRAWINGS The objectives, specific advantages, and novel features of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. It should be noted that, in the present specification, the reference numerals are added to the constituent elements of the drawings, and the same constituent elements have the same numerical numbers as much as possible even if they are displayed on different drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. In this specification, the terms first, second, etc. are used to distinguish one element from another, and the element is not limited by the terms.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 차량 외관을 도시하는 도면이고, 도 2는 차량 내부를 도시하는 도면이다.Fig. 1 is a view showing the appearance of the vehicle, and Fig. 2 is a view showing the interior of the vehicle.

도 1을 참조하면, 차량(1)의 외관은 차량(1)의 외관을 형성하는 본체(10), 운전자에게 차량(1) 전방의 시야를 제공하는 윈드 스크린(windscreen)(11), 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(12), 차량(1) 내부를 외부로부터 차폐시키는 도어(13) 및 차량의 전방에 위치하는 앞바퀴(21), 차량의 후방에 위치하는 뒷바퀴(22)를 포함하여 차량(1)을 이동시키기 위한 바퀴를 포함할 수 있다.Referring to Fig. 1, the exterior of the vehicle 1 includes a body 10 forming the exterior of the vehicle 1, a windscreen 11 providing the driver with a view of the front of the vehicle 1, A side mirror 12 for providing a view of the rear of the vehicle 1, a door 13 for shielding the interior of the vehicle 1 from the outside and a front wheel 21 located in front of the vehicle, 22) for moving the vehicle (1).

윈드 스크린(11)은 본체(10)의 전방 상측에 마련되어 차량(1) 내부의 운전자가 차량(1) 전방의 시각 정보를 획득할 수 있도록 한다. 또한, 사이드 미러(12)는 본체(10)의 좌측에 마련되는 좌측 사이드 미러 및 우측에 마련되는 우측 사이드 미러를 포함하며, 차량(1) 내부의 운전자가 차량(1) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.The windscreen 11 is provided on the front upper side of the main body 10 so that a driver inside the vehicle 1 can obtain time information in front of the vehicle 1. [ The side mirrors 12 include left side mirrors provided on the left side of the main body 10 and right side mirrors provided on the right side so that the driver inside the vehicle 1 can see the time information .

도어(13)는 본체(10)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킬 수 있다. The door 13 is rotatably provided on the left and right sides of the main body 10 so that the driver can ride on the inside of the vehicle 1 at the time of opening the door and the inside of the vehicle 1 is shielded from the outside .

도 2를 참조하면, 차량(1)의 내부는 운전자가 차량(1)을 조작하기 위한 각종 기기가 설치되는 대시 보드(dashboard)(14), 차량(1)의 운전자가 착석하기 위한 운전석(15), 차량(1)의 동작 정보 등을 표시하는 클러스터 표시부(51, 52), 운전자의 조작 명령에 따라 경로 안내 정보를 제공하는 내비게이션 기능뿐만 아니라 오디오 및 비디오 기능까지 제공하는 AVN 장치(Audio Video Navigation)(170a)을 포함할 수 있다.2, the interior of the vehicle 1 includes a dashboard 14 in which various devices for the driver to operate the vehicle 1 are installed, a driver's seat 15 for the driver of the vehicle 1 to sit on A cluster display section 51 or 52 for displaying operation information of the vehicle 1, a navigation function for providing route guidance information in accordance with an operation instruction of a driver, an AVN device (Audio Video Navigation ) 170a.

대시 보드(14)는 윈드 스크린(11)의 하부로부터 운전자를 향하여 돌출되게 마련되며, 운전자가 전방을 주시한 상태로 대시 보드(14)에 설치된 각종 기기를 조작할 수 있도록 한다.The dashboard 14 protrudes from the lower portion of the windscreen 11 toward the driver so that the driver can operate various devices installed on the dashboard 14 while looking forward.

운전석(15)은 대시 보드(14)의 후방에 마련되어 운전자가 안정적인 자세로 차량(1)의 전방과 대시 보드(14)의 각종 기기를 주시하며 차량(1)을 운행할 수 있도록 한다.The driver's seat 15 is provided behind the dashboard 14 so that the driver can look ahead to the front of the vehicle 1 and various devices of the dashboard 14 in a stable posture so that the driver can operate the vehicle 1. [

클러스터 표시부(51, 52)는 대시 보드(14)의 운전석(15) 측에 마련되며, 차량(1)의 운행 속도를 표시하는 주행 속도 게이지(51), 동력 장치(미도시)의 회전 속도를 표시하는 알피엠(rpm) 게이지(52)를 포함할 수 있다. The cluster display units 51 and 52 are provided on the driver's seat 15 side of the dashboard 14 and are provided with a running speed gauge 51 for indicating the running speed of the vehicle 1 and a rotational speed of the power unit (not shown) (Rpm) gauge 52 that indicates the position of the gauge.

AVN 장치(170a)는 차량(1)이 주행하는 도로의 정보 또는 운전자가 도달하고자 하는 목적지까지의 경로를 표시하는 디스플레이 및 운전자의 조작 명령에 따라 음향을 출력하는 스피커(41)를 포함할 수 있다. 상기 AVN 장치(170a)는 센터페시아(center fascia)에 설치될 수 있다. 이때, 센터페시아는 대시 보드(14) 중에서 운전석과 조수석 사이에 있는 컨트롤 패널 부분을 의미하는 것으로, 대시 보드(14)와 시프트레버가 수직으로 만나는 영역이며, 이곳에는 AVN 장치(170)를 비롯하여 에어콘, 히터의 컨트롤러, 송풍구, 시거잭과 재떨이, 컵홀더 등을 설치할 수 있다. 또한, 센터페시아는 센터콘솔과 함께 운전석과 조수석을 구분하는 역할도 할 수 있다.The AVN apparatus 170a may include a display for displaying information on a road on which the vehicle 1 travels or a route to a destination that the driver desires to reach and a speaker 41 for outputting sound in response to a driver's operation command . The AVN device 170a may be installed in a center fascia. In this case, the center fascia means a portion of the dashboard 14 between the driver's seat and the front passenger's seat where the dashboard 14 and the shift lever meet vertically. The center fascia 14 includes an AVN device 170, , Heater controller, tuyere, cigar jack and ashtray, cup holder, etc. can be installed. The center fascia can also be used to distinguish between the driver's seat and the passenger's seat with the center console.

차량(1)은 상술한 구성 이외에도 바퀴(21, 22)을 회전시키는 동력 장치(미도시), 차량(1)의 이동 방향을 변경하는 조향 장치(미도시), 바퀴(21, 22)의 이동을 정지시키는 제동 장치(미도시)를 포함할 수 있다.The vehicle 1 includes a power unit (not shown) for rotating the wheels 21 and 22, a steering unit (not shown) for changing the moving direction of the vehicle 1, (Not shown) for stopping the vehicle.

상기 동력 장치는 본체(10)가 전방 또는 후방으로 이동하도록 앞바퀴(21) 또는 뒷바퀴(22)에 회전력을 제공한다. 이와 같은 동력 장치는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 포함할 수 있다.The power unit provides rotational force to the front wheel 21 or the rear wheel 22 so that the body 10 moves forward or backward. Such a power unit may include an engine for generating a rotational force by burning the fossil fuel, or a motor for generating a rotational force by receiving power from a capacitor (not shown).

조향 장치는 운전자로부터 주행 방향을 입력받는 조향 핸들(42), 조향 핸들(42)의 회전 운동을 왕복 운동으로 전환하는 조향 기어(미도시), 조향 기어(미도시)의 왕복 운동을 앞바퀴(21)에 전달하는 조향 링크(미도시)를 포함할 수 있다. 이와 같은 조향 장치는 바퀴(21, 22)의 회전축의 방향을 변경함으로써 차량(1)의 주행 방향을 변경할 수 있다.The steering apparatus includes a steering wheel 42 that receives a driving direction from the driver, a steering gear (not shown) that converts the rotational motion of the steering wheel 42 into a reciprocating motion, and a reciprocating motion of the steering gear (Not shown) that transmits the steering link (not shown). Such a steering apparatus can change the traveling direction of the vehicle 1 by changing the direction of the rotation axis of the wheels 21,

제동 장치는 운전자로부터 제동 조작을 입력받는 제동 페달(미도시), 바퀴(21, 22)과 결합된 브레이크 드럼(미도시), 마찰력을 이용하여 브레이크 드럼(미도시)의 회전을 제동시키는 브레이크 슈(미도시) 등을 포함할 수 있다. 이와 같은 제동 장치는 바퀴(21, 22)의 회전을 정지시킴으로써 차량(1)의 주행을 제동할 수 있다.
The braking device includes a braking pedal (not shown) for receiving a braking operation from a driver, a brake drum (not shown) coupled to the wheels 21 and 22, a brake shoe (not shown) for braking the rotation of the brake drum (Not shown), and the like. Such a braking device can brak the running of the vehicle 1 by stopping the rotation of the wheels 21 and 22. [

도 3은 일 실시예에 의한 운전자의 시선 방향을 감지하기 위한 차량의 구성을 상세하게 나타내는 제어 블럭도이다.3 is a control block diagram illustrating in detail a configuration of a vehicle for sensing a driver's gaze direction according to an exemplary embodiment.

이하에서는, 발신 장치로부터의 운전자 시선 인식용 신호를 감지하는 방법을 설명하기 위한 도 5, 운전자의 시선 방향을 감지하기 위한 방법을 설명하기 위한 예시도인 도 6 및 7을 참조하여 설명하기로 한다. 이때, 도 6 및 도 7은 설명의 편의를 위해 운전자가 안경을 미착용한 경우로 도시하였으나, 발신 장치가 장착된 안경을 착용한 것으로 간주하기로 한다.Hereinafter, FIG. 5 for explaining a method of sensing a driver's visual line recognition signal from a transmission apparatus, and FIGS. 6 and 7 illustrating an example of a method for sensing a driver's gaze direction will be described below . 6 and 7 illustrate the case where the driver does not wear glasses for the sake of convenience of explanation, but it is assumed that the glasses equipped with the sending device are worn.

도 3에서 도시하는 바와 같이, 차량(100)은 발신 장치(110), 수신 장치(130) 및 제어부(150)를 포함할 수 있다.3, the vehicle 100 may include a transmitting apparatus 110, a receiving apparatus 130, and a control unit 150. [

또한, 차량(100)은 차량 내 구비되는 각종 장치(170), 예를 들어, AVN(Audio Video Navigation) 장치(170a), 디스플레이(170b), 경고 장치(170c) 및 전자식 사이드 미러(170d) 중 어느 하나를 포함할 수 있으며, 이에 한정되지 않는다.The vehicle 100 may also include various devices 170 provided in the vehicle such as an AVN (Audio Video Navigation) device 170a, a display 170b, a warning device 170c and an electronic side mirror 170d But it is not limited thereto.

발신 장치(110)는 운전자의 안경을 비롯하여 의복에 착탈 가능하도록 설치되어 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화한 시선 인식용 신호를 발생시킬 수 있다. 이때, 시선 인식용 신호는 적외선 신호 또는 초음파 신호일 수 있으며, 이에 한정되지 않는다. 또한, 발신 장치(110)가 운전자의 안경에 설치되는 경우, 안경의 좌측 및 우측에 각각 장착되거나, 또는 한측에만 장착되는 것도 가능하다 할 것이다.The originating device 110 may be installed detachably to the clothes including the glasses of the driver and may generate a visual recognition signal that differentiates at least one of a pattern, a wavelength, an intensity, and a light emission time. At this time, the visual-recognition signal may be an infrared signal or an ultrasonic signal, but is not limited thereto. In addition, when the transmission apparatus 110 is installed in the glasses of the driver, it may be mounted on the left and right sides of the glasses, respectively, or only on one side.

상술한 안경은 운전자가 눈에 착용하는 구성으로, 운전자가 시력을 교정하기 위하여 착용하는 일반적인 안경뿐만아니라, 바람, 먼지, 햇빛 등을 차단하기 위하여 착용하는 선글라스도 포함함은 당연하다 할 것이다.It will be appreciated that the above-described glasses include sunglasses worn by the driver in order to shield the wind, dust, sunlight and the like as well as the general glasses worn by the driver to correct vision.

또한, 의복은 안경을 비롯하여 사용자가 착용할 수 있는 것을 의미하는 것으로, 귀걸이, 모자, 상의, 하의 등 사용자의 인체에 걸치는 모든 것을 포함하는 것으로 정의하기로 한다.In addition, the clothing means a thing which a user can wear including glasses, and it is defined as including everything that the user puts on the user's body such as an earring, a cap, a top, and a bottom.

발신 장치(110)는 상황에 따라 시선 인식용 신호의 패턴을 차별화하여 발생시키거나, 안경의 좌측과 우측의 파장을 각각 상이하게 발생시키거나, 안경의 좌측과 우측의 점등 간격을 상이하게 발생시키거나, 또는 강도를 차별화하여 발생시킬 수 있다. 발신 장치(110)의 시선 인식용 신호의 발신 형태는 상술한 경우에 한정되지 않고, 수신 장치(130)에서 운전자의 시선 방향을 인지할 수 있는 형태라면 모두 가능하다 할 것이다.The originating device 110 may generate a differentiated pattern of the line of sight recognition signal depending on the situation, generate the left and right wavelengths of the glasses differently, or generate the left and right lighting intervals of the glasses differently Or may be generated by differentiating the strength. The transmission mode of the visual recognition signal of the transmission apparatus 110 is not limited to the above-described case, and any form can be used as long as it can recognize the direction of the driver's eyes in the reception apparatus 130.

도 5를 참조하면, 발신 장치(110)는 안경의 좌측(A1)과 우측(A2)에 각각 설치될 수 있으며, 각각이 서로 동일 또는 상이한 패턴의 신호를 발생시키거나, 또는 좌측과 우측이 서로 동일 또는 다른 파장의 신호를 발생시키거나, 또는 좌측과 우측이 서로 동일 또는 서로 다른 점등 간격으로 신호를 발생시킬 수 있다. 이때, 신호 감지 센서(131)(도 5의 센서 1, 센서 2, 센서 3, 센서 4)는 차량 내 특정 위치(예를 들어, 대시 보드(14))에 설치되되, 운전자의 시선 방향 구분을 용이하게 할 수 있도록 배치될 수 있다. 상술한 신호 감지 센서(131)는 고정된 상태이기 때문에 차량 내 자신의 확정된 좌표를 가질 수 있다. 상기 신호 감지 센서(131)의 확정된 좌표는 운전자의 시선 방향을 파악할 때 이용될 수 있다.5, the transmitting apparatus 110 may be installed on the left side A1 and the right side A2 of the eyeglasses, respectively, and may generate signals having the same or different patterns from each other, It is possible to generate signals of the same or different wavelengths or to generate signals at the same or different lighting intervals on the left and right sides. At this time, the signal detection sensor 131 (sensor 1, sensor 2, sensor 3, sensor 4 in FIG. 5) is installed in a specific position (for example, the dashboard 14) in the vehicle, So that it can be easily arranged. Since the above-described signal detection sensor 131 is in a fixed state, it can have its own determined coordinates in the vehicle. The determined coordinates of the signal detecting sensor 131 can be used to grasp the driver's gaze direction.

수신 장치(130)는 복수 개의 신호 감지 센서(131)를 포함하고, 발신 장치(110)로부터 전송되는 시선 인식용 신호를 수신하여, 수신된 시선 인식용 신호를 분석하고 운전자의 시선 변화를 감지하여 운전자의 시선 방향을 파악할 수 있다.The receiving apparatus 130 includes a plurality of signal detecting sensors 131. The receiving apparatus 130 receives a line-of-sight recognizing signal transmitted from the transmitting apparatus 110, analyzes the received line-of-sight recognizing signal, The direction of the driver's gaze can be grasped.

도 3에서 도시하는 바와 같이, 수신 장치(130)는 신호 감지 센서(131), 시선 방향 인식부(133) 및 시선 정보 제공부(135)를 포함할 수 있다.3, the receiving apparatus 130 may include a signal detecting sensor 131, a gaze direction recognizing unit 133, and a gaze information providing unit 135. [

신호 감지 센서(131)는 도 5와 같이 차량(100) 내 다수 개가 배치(센서 1, 센서 2, 센서 3, 센서 4)되어 발신 장치(110)로부터 전송되는 시선 인식용 신호(예를 들어, 적외선, 초음파 형태)를 수신할 수 있다. 5, a plurality of signal detection sensors 131 are arranged in the vehicle 100 (sensor 1, sensor 2, sensor 3, and sensor 4) to generate a visual recognition signal (for example, Infrared, ultrasound).

이때, 신호 감지 센서(131)가 차량(100) 내 설치되는 위치는 대시 보드(14)에 한정되지 않으며, 발신 장치(110)로부터 전송되는 시선 인식용 신호를 수신할 수 있는 위치라면 어디든 가능하다 할 것이다.At this time, the position where the signal detection sensor 131 is installed in the vehicle 100 is not limited to the dashboard 14, and may be any position that can receive the sight recognition signal transmitted from the transmission device 110 something to do.

시선 방향 인식부(133)는 복수 개의 신호 감지 센서(131)를 통해 상황에 따라 차별화되어 발생되는 시선 인식용 신호를 감지하여, 감지된 시선 인식용 신호를 분석하고 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.The visual-direction recognizing unit 133 senses a visual-recognition signal generated by differentiating the situation through the plurality of signal-detecting sensors 131, analyzes the sensed visual-recognition signal, senses the relative displacement of the glasses, The direction of the eyes of the user can be grasped.

시선 방향 인식부(133)는 거리에 따른 시선 인식용 신호의 강도 변화 및 패턴의 변화를 기초로 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.The gaze direction recognizing unit 133 can sense the direction of the driver's gaze by sensing the relative displacement of the spectacles based on the intensity change of the gaze recognition signal depending on the distance and the change in the pattern.

시선 방향 인식부(133)는 복수 개의 신호 감지 센서(131) 중 특정 신호 감지 센서(131)의 시선 인식용 신호의 감지여부를 이용하여 안경의 상대적 변위를 감지할 수 있다.The gaze direction recognizing unit 133 can detect the relative displacement of the glasses using the detection of the gaze recognition signal of the specific signal sensor 131 among the plurality of signal sensors 131. [

예를 들어, 시선 방향 인식부(133)는 센서 2 및 센서 3를 통해 시선 인식용 신호를 감지한 경우, 도 6과 같이, 운전자가 정면을 응시한다고 판단하고, 이후, 센서 4에서만 시선 인식용 신호를 감지한 경우, 안경의 상대적 변위를 파악하여, 도 7과 같이 운전자가 우측으로 시선을 이동시켰다고 판단할 수 있는 것이다.For example, when the gaze direction recognizing unit 133 senses the gaze recognition signal through the sensor 2 and the sensor 3, it determines that the driver gazes the front face as shown in Fig. 6, When the signal is sensed, the relative displacement of the spectacles is grasped and it can be judged that the driver has moved his gaze to the right as shown in Fig.

이때, 신호 감지 센서(131) 중 특정 센서에서 감지되는 신호의 강도에 따라서도 안경의 상대적 변위를 파악할 수 있다.At this time, the relative displacement of the spectacles can be grasped according to the intensity of the signal detected by the specific sensor among the signal sensors 131.

예를 들어, 도 7을 참조하여, 시선 방향 인식부(133)가 센서 4를 통해서만 시선 인식용 신호를 수신한 것이 아니라, 센서 3에서도 센서 4에 비해 강도만 약할뿐만 시선 인식용 신호를 수신한 경우, 운전자의 시선 방향이 센서 3과 센서 4 사이이되, 센서 4측으로 더 이동되었다고 판단할 수 있는 것이다.For example, referring to Fig. 7, it is assumed that the visual-direction recognizing unit 133 receives not only the visual-recognition signal through the sensor 4 but also the visual- , It can be determined that the direction of the driver's gaze is between the sensor 3 and the sensor 4 and further shifted to the sensor 4 side.

시선 정보 제공부(135)는 시선 방향 인식부(133)에 의해서 파악된 운전자의 시선 방향을 제어부(150)로 전달할 수 있다.The gaze direction information providing unit 135 can transmit the gaze direction of the driver identified by the gaze direction recognizing unit 133 to the control unit 150. [

제어부(150)는 수신 장치(130)에 의해서 감지된 운전자의 시선 방향에 매칭되는 차량 내 장치(170a, 170b, 170c, 170d : 이하 170이라고 하기로 함)의 기능을 실행시킬 수 있다.The control unit 150 can execute the functions of the in-vehicle apparatuses 170a, 170b, 170c, and 170d (hereinafter referred to as 170) that match the sight line direction of the driver sensed by the receiving apparatus 130. [

차량 내 장치가 AVN(Audio Video Navigation) 장치(170a) 또는 디스플레이(170b)이고, 운전자의 시선 방향이 ANV 장치(170a) 또는 디스플레이(170b)의 위치와 일치하는 경우, 제어부(150)는 ANV 장치(170a) 또는 디스플레이(170b)를 준비모드로 전환시킬 수 있다. 이때, 준비모드는 해당 장치의 기능을 실행시킬 수 있는 상태로 전환하는 모드를 의미하는 정의하기로 한다.If the in-vehicle device is an AVN (Audio Video Navigation) device 170a or a display 170b and the direction of the driver's sight coincides with the position of the ANV device 170a or the display 170b, (170a) or the display (170b) to the ready mode. In this case, the ready mode means a mode for switching to a state capable of executing the function of the corresponding device.

또한, 제어부(150)는 운전자의 시선 방향이 기 설정된 시간 동안 동일한 경우, 졸음 경보를 음성 또는 문자 형태로 발생시킬 수 있다.In addition, the controller 150 may generate a drowsiness alarm in the form of voice or letter when the driver's sight line direction is the same for a predetermined period of time.

예를 들어, 주행 중에는 차량(100)의 주변 교통상황을 확인하거나, 또는 차량 내 장치(170)의 조작하거나, 또는 차량(100) 내 다른 탑승자와 대화를 위해 시선을 변경해야 하는 경우가 종종 발생하는 데, 수신 장치(130)로부터 전달되는 운전자의 시선 방향이 기 설정된 동안 동일한 경우, 제어부(150)는 운전자가 졸음 운전을 수행하고 있다고 판단하여 경고를 출력하는 것이다.For example, it sometimes happens that while driving, it is necessary to change the line of sight to check the surrounding traffic situation of the vehicle 100, to operate the in-vehicle device 170, or to talk with other passengers in the vehicle 100 The controller 150 determines that the driver is performing the drowsy operation and outputs a warning when the direction of the driver's eyes transmitted from the receiver 130 is the same.

차량 내 장치가 경고 장치(170c)이고, 경고 장치(170c)를 통해 차선 이탈 및 근접 차량 경보를 발생시킨 경우, 제어부(150)는 차선 이탈 및 근접 차량 경보 발생 이후 운전자의 시선 변화가 기 설정된 시간 동안 감지되지 않으면, 차선 이탈 및 근접 차량 경보를 음성 또는 문자 형태로 발생시킬 수 있다.When the in-vehicle device is the warning device 170c and the lane departure and close-up vehicle alarms are generated via the warning device 170c, the controller 150 determines whether or not the driver's line- The lane departure and proximity vehicle alarms can be generated in voice or text form.

예를 들어, 경고 장치(170c)를 통해 차선 이탈 및 근접 차량 경보를 발생시킨 경우, 운전자는 해당 정보를 확인하기 위해 시선을 변경한다는 가정 하에 운전자의 시선이 고정된 경우, 제어부(150)는 차선 이탈 및 근접 차량 경보를 재 안내하여 운전자가 인지할 수 있도록 하는 것이다.For example, when the lane departure and the close-up vehicle alarm are generated through the warning device 170c, if the driver's gaze is fixed on the assumption that the driver changes the line of sight in order to confirm the information, Departure and proximity vehicle alarms to be recognized by the driver.

차량 내 장치가 전자식 사이드 미러(170d)이고, 운전자의 시선 방향이 전자식 사이드 미러(170d)의 위치와 일치하는 경우, 제어부(150)는 전자식 사이드 미러(170d)를 동작시켜 차량 외부 정보를 표시할 수 있다. 이로 인해, 전자식 사이드 미러(170d)가 차량 외부 정보를 계속 표시하는 것에 비해 배터리 소모를 줄이고, 전자식 사이드 미러(170d)의 수명을 향상시킬 수 있다.When the in-vehicle apparatus is the electronic side mirror 170d and the direction of the driver's sight coincides with the position of the electronic side mirror 170d, the control unit 150 operates the electronic side mirror 170d to display the vehicle outside information . As a result, the battery consumption can be reduced and the lifetime of the electronic side mirror 170d can be improved as compared with the case where the electronic side mirror 170d continuously displays outside information of the vehicle.

또한, 제어부(150)는 수신 장치(130)에 의해서 감지된 운전자의 시선 방향이 기 설정된 헤드 제스처(Head Gesture)의 동의 의사 방향 또는 거부 의사 방향과 일치하는지 여부를 확인하고, 확인 결과에 따라, 상기 차량 내 장치의 기능을 실행시키거나 또는 실행시키지 않을 수 있다.In addition, the controller 150 checks whether the driver's gaze direction detected by the receiving apparatus 130 coincides with the pseudo-direction or the reject pseudo-direction of the predetermined head gesture, The function of the in-vehicle apparatus can be executed or not executed.

예를 들어, 운전자의 시선인식을 통해 헤드 제스처 인터페이스로 활용하는 것이다. AVN(Audio Video Navigation)의 경우, 정보안내 동의여부, 목적지 변경 확인 여부, 안내 지속 확인 여부 등을 운전자에게 수시로 문의하며, 더 나아가 주행 루트에 매칭되는 광고 정보의 수신여부나 선택여부를 수시로 문의한다. 이러한 경우, 간단한 예 또는 아니오 선택을 하는 것임에도 불구하고 주행 중에는 운전자의 주의력을 분산시키며, 비 주행중이라하더라도 손을 뻗어서 특정 위치에 포인팅하여 터치해야 함으로 불편함을 초래할 수 있다. 개시된 발명은 운전자의 시선인식이 가능하고 나아가 전체 머리의 지향 방향이 파악되기 때문에, 운전자의 좌우 또는 상하 움직임 등을 헤드 제스처 인터페이스로 활용하여 운전자의 편의를 증대시킬 수 있는 것이다.For example, it can be used as a head gesture interface through driver's sight recognition. In case of AVN (Audio Video Navigation), the driver is inquired to the driver from time to time whether he or she agrees with the information guidance, confirms whether the destination is changed, whether or not to continue the guidance, and inquires about whether or not to receive the advertisement information matched to the traveling route . In such a case, the driver's attention is dispersed during driving, even if the driver is not traveling while the driver is driving the vehicle, and the driver must touch the driver by pointing the driver at a specific position. The disclosed invention can recognize the driver's gaze and further grasp the heading direction of the entire head. Therefore, the driver's convenience can be increased by utilizing the left / right or upward / downward movement of the driver as a head gesture interface.

상술한 제어부(150)는 프로그램의 명령을 해독하여 그에 따라 실행하는 장치인 CPU(central processing unit), 특정 시스템을 제어하기 위한 전용 프로세서인MCU(micro controller unit) 등을 포함할 수 있다.
The controller 150 may include a central processing unit (CPU), which decodes a program command and executes the program, and a micro controller unit (MCU), which is a dedicated processor for controlling a specific system.

도 4는 다른 실시예에 의한 시선 인식 시스템의 구성을 상세하게 나타내는 제어 블럭도이다.FIG. 4 is a control block diagram showing in detail the configuration of a line-of-sight recognition system according to another embodiment.

도 4에서 도시하는 바와 같이, 시선 인식 시스템(200)은 사용자의 안경을 비롯하여 의복에 착탈 가능하도록 설치되어, 시선 인식용 신호를 발생시키는 발신 장치(210) 및 복수 개의 신호 감지 센서를 포함하고, 상기 발신 장치로부터 전송되는 상기 시선 인식용 신호를 수신하여, 수신된 상기 시선 인식용 신호를 분석하고 사용자의 시선 변화를 감지하여 사용자의 시선 방향을 파악하는 수신 장치(230)를 포함할 수 있다. 이때, 수신 장치(230)는 도 3의 설명과 중복되어 상세한 설명은 생략하기로 한다.4, the line of sight recognition system 200 includes a transmitter 210 detachably attached to clothes, including eyeglasses of a user, for generating a line recognition signal, and a plurality of signal detection sensors, And a receiving device 230 for receiving the line of sight recognition signal transmitted from the calling device, analyzing the received line of sight recognition signal, and detecting a change in the line of sight of the user and grasping the direction of the line of sight of the user. At this time, the receiving apparatus 230 is overlapped with the description of FIG. 3, and a detailed description thereof will be omitted.

발신 장치(210)는 신호 전송 센서(211), 제어부(213) 및 배터리(battery)(215)를 포함하여, 안경을 비롯하여 의복에 착탈 가능하도록 설치될 수 있다.The transmitting device 210 may be detachably attached to the clothes including the glasses, including the signal transmission sensor 211, the control unit 213 and the battery 215. [

이때, 의복은 안경을 비롯하여 사용자가 착용할 수 있는 것을 의미하는 것으로, 귀걸이, 모자, 상의, 하의 등 사용자의 인체에 걸치는 모든 것을 포함하는 것으로 정의하기로 한다.In this case, the clothes means that the user can wear the glasses, including the earphones, hats, tops, bottoms, and the like.

신호 전송 센서(211)는 제어부(213)의 제어에 따라 시선 인식용 신호를 발생시킬 수 있다. 시선 인식용 신호는, 적외선 신호 또는 초음파 신호인 착탈 가능한 발신 장치.The signal transmission sensor 211 may generate a visual-recognition signal under the control of the control unit 213. [ Wherein the visual-recognition signal is an infrared signal or an ultrasonic signal.

제어부(213)는 상황별 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화하여 시선 인식용 신호를 발생시키도록 신호 전송 센서(211)를 제어할 수 있다.The control unit 213 may control the signal transmission sensor 211 to differentiate at least one of the pattern, wavelength, intensity, and light emission time for each situation to generate a visual recognition signal.

상기 발신 장치(210)가 안경에 설치되는 경우, 제어부(213)는 상황에 따라 시선 인식용 신호의 패턴을 차별화하여 발생시키거나, 안경의 좌측과 우측의 파장을 각각 상이하게 발생시키거나, 안경의 좌측과 우측의 점등 간격을 상이하게 발생시키거나, 또는 강도를 차별화하여 발생시킬 수 있으며, 이에 한정되지 않고, 차별화하지 않고 동일한 시선 인식용 신호를 발생시키는 것도 가능하다 할 것이다.When the transmitting device 210 is installed in the spectacles, the controller 213 differentiates and generates the pattern of the visual-recognition signal according to the situation, generates the left and right wavelengths of the spectacles differently, It is possible to generate the left and right lighting intervals of the left eye and the right of the right eye differently or to differentiate the intensity, and it is also possible to generate the same eye recognition signal without differentiating it.

배터리(215)는 발신 장치(210)가 구동되기 위한 연료를 공급하기 위한 구성일 수 있다.
The battery 215 may be a configuration for supplying fuel for driving the transmission device 210.

도 8은 운전자의 시선 방향을 감지하기 위한 차량의 제어방법을 설명하기 위한 흐름도이다.8 is a flowchart for explaining a control method of a vehicle for detecting the driver's gaze direction.

먼저, 운전자의 안경을 비롯하여 의복에 착탈 가능하도록 설치된 발신 장치(110)는 상황에 따라 시선 인식용 신호의 패턴을 차별화하여 발생하거나, 상기 안경의 좌측과 우측의 파장을 각각 상이하게 발생하거나, 상기 안경의 좌측과 우측의 점등 간격을 상이하게 발생하거나, 또는 강도를 차별화하여 발생할 수 있다(S101).First, a transmitting apparatus 110 installed to be detachable from a wearer's eyeglasses, including a driver's eye, may generate a differentiated pattern of a visual-recognition signal depending on the situation, or may generate different wavelengths on the left and right sides of the glasses, It may occur that the lighting intervals of the left and right glasses are different from each other, or the intensity is differentiated (S101).

상기 시선 인식용 신호는 적외선 신호 또는 초음파 신호일 수 있다.The visual-recognition signal may be an infrared signal or an ultrasonic signal.

다음, 차량(100)은 발신 장치(110)로부터 발생되는 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화한 시선 인식용 신호를 복수 개의 신호 감지 센서(131)를 이용하여 수신할 수 있다(S103).Next, the vehicle 100 can receive a line-of-sight recognition signal that differentiates at least one of a pattern, a wavelength, an intensity, and a light emission time generated from the transmission apparatus 110 by using a plurality of signal detection sensors 131 (S103).

다음, 차량(100)은 수신된 시선 인식용 신호를 분석하여 운전자의 시선 변화를 감지할 수 있다(S105, S107).Next, the vehicle 100 may analyze the received line-of-sight recognition signal to detect a change in the line of sight of the driver (S105, S107).

이때, 차량(100)은 복수 개의 신호 감지 센서(131)를 통해 상황에 따라 차별화되어 발생되는 시선 인식용 신호를 감지하여 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.At this time, the vehicle 100 can sense the visual direction of the driver by detecting the relative displacement of the glasses by sensing the visual recognition signal generated by differentiating through the plurality of signal detection sensors 131.

또한, 차량(100)은 거리에 따른 시선 인식용 신호의 강도 변화 및 패턴의 변화를 기초로 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악할 수 있다.Also, the vehicle 100 can sense the direction of the driver's gaze by sensing the relative displacement of the glasses based on the intensity change of the visual-recognition signal depending on the distance and the change in the pattern.

또한, 차량(100)은 복수 개의 신호 감지 센서(131) 중 특정 신호 감지 센서(131)의 시선 인식용 신호의 감지여부를 이용하여 안경의 상대적 변위를 감지할 수 있다.In addition, the vehicle 100 can detect the relative displacement of the glasses by using the detection of the sight recognition signal of the specific signal detection sensor 131 among the plurality of signal detection sensors 131.

다음, 차량(100)은 감지된 운전자의 시선 변화에 따른 운전자의 시선 방향에 매칭되는 차량 내 장치의 기능을 실행시킬 수 있다(S109, S111).Next, the vehicle 100 can execute the function of the in-vehicle apparatus matching the sight line direction of the driver according to the change in the line of sight of the sensed driver (S109, S111).

상기 차량 내 장치는 AVN(Audio Video Navigation) 장치(170a), 디스플레이(170b), 경고 장치(170c) 및 전자식 사이드 미러(170d) 중 어느 하나일 수 있다.
The in-vehicle apparatus may be any one of an AVN (Audio Video Navigation) device 170a, a display 170b, a warning device 170c, and an electronic side mirror 170d.

개시되는 발명의 시선 인식 시스템의 기술은 차량 내에서 구현되는 것에 한정되지 않으며, 스마트 텔레비전이나, 가전 등에 수신 장치를 구비하고, 별도의 시선 인식용 신호를 발생하는 발신 장치를 구비하여 댁내를 비롯하여 다양한 장소 및 분야에서 적용하는 것이 가능하다 할 것이다.The technology of the line-of-sight recognition system of the invention disclosed in the present invention is not limited to the one implemented in a vehicle, and it is provided with a transmitting apparatus for receiving a smart-television, a home appliance, It is possible to apply in places and fields.

이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the same is by way of illustration and example only and is not to be construed as limiting the present invention. It is obvious that the modification or improvement is possible.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

1, 100 : 차량 110 : 발신 장치
130, 230 : 수신 장치 131 : 신호 감지 센서
133 : 시선 방향 인식부 135 : 시선 정보 제공부
150, 213 : 제어부 200 : 시선 인식 시스템
211 : 신호 전송 센서 215 : 배터리
1, 100: vehicle 110:
130, 230: receiving device 131: signal detecting sensor
133: gaze direction recognition unit 135: gaze direction information providing unit
150, 213: control unit 200: eye recognition system
211: Signal transmission sensor 215: Battery

Claims (23)

운전자의 안경을 비롯하여 의복에 착탈 가능하도록 설치되어 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화한 시선 인식용 신호를 발생시키는 발신 장치;
복수 개의 신호 감지 센서를 포함하고, 상기 발신 장치로부터 전송되는 상기 시선 인식용 신호를 수신하여, 수신된 상기 시선 인식용 신호를 분석하고 운전자의 시선 변화를 감지하여 운전자의 시선 방향을 파악하는 수신 장치; 및
상기 수신 장치에 의해서 감지된 상기 운전자의 시선 방향에 매칭되는 차량 내 장치의 기능을 실행시키는 제어부;
를 포함하는 시선 인식 기능을 갖는 차량.
A sending device which is installed to be detachably attached to the clothes including glasses of the driver and generates a visual recognition signal that differentiates at least one of a pattern, a wavelength, an intensity, and a light emitting time;
A receiver for receiving the line of sight recognition signal transmitted from the source apparatus, analyzing the received line-of-sight recognition signal, detecting a change in the line of sight of the driver, ; And
A control unit for executing a function of the in-vehicle apparatus matching the sight line direction of the driver detected by the receiving apparatus;
And a visual recognition function.
제1항에 있어서,
상기 발신 장치는,
상황에 따라 상기 시선 인식용 신호의 패턴을 차별화하여 발생시키거나, 상기 안경의 좌측과 우측의 파장을 각각 상이하게 발생시키거나, 상기 안경의 좌측과 우측의 점등 간격을 상이하게 발생시키거나, 또는 강도를 차별화하여 발생시키는 시선 인식 기능을 갖는 차량.
The method according to claim 1,
The transmitting apparatus includes:
Differentiate the pattern of the line-of-sight recognition signal according to the situation, generate the left and right wavelengths of the spectacles differently, or generate the lighting spaces of the left and right glasses differently, or A vehicle having a line-of-sight recognition function which generates differentiated intensity.
제2항에 있어서,
상기 수신 장치는,
상기 복수 개의 신호 감지 센서를 통해 상기 상황에 따라 차별화되어 발생되는 상기 시선 인식용 신호를 감지하여, 감지된 상기 시선 인식용 신호를 분석하고 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악하는 시선 인식 기능을 갖는 차량.
3. The method of claim 2,
The receiving apparatus includes:
The signal recognizing signal generated by differentiating according to the situation is analyzed through the plurality of signal detecting sensors, the sensed signal for recognizing the sight is analyzed, and the relative direction of the glasses is detected to grasp the direction of the driver's gaze A vehicle having a visual recognition function.
제3항에 있어서,
상기 수신 장치는,
거리에 따른 상기 시선 인식용 신호의 강도 변화 및 패턴의 변화를 기초로 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악하는 시선 인식 기능을 갖는 차량.
The method of claim 3,
The receiving apparatus includes:
A visual recognition function for sensing a relative displacement of the spectacles based on a change in the intensity of the visual-recognition signal and a change in the pattern according to the distance to grasp the direction of the driver's gaze.
제3항에 있어서,
상기 수신 장치는,
상기 복수 개의 신호 감지 센서 중 특정 신호 감지 센서의 상기 시선 인식용 신호의 감지여부를 이용하여 상기 안경의 상대적 변위를 감지하는 시선 인식 기능을 갖는 차량.
The method of claim 3,
The receiving apparatus includes:
And a visual recognition function for sensing a relative displacement of the spectacles using the presence or absence of the sight recognition signal of the specific signal sensor among the plurality of signal sensors.
제1항에 있어서,
상기 차량 내 장치는, AVN(Audio Video Navigation) 장치, 디스플레이, 경고 장치 및 전자식 사이드 미러 중 어느 하나인 시선 인식 기능을 갖는 차량.
The method according to claim 1,
The in-vehicle apparatus has a visual-recognition function, which is any one of an AVN (Audio Video Navigation) device, a display, a warning device, and an electronic side mirror.
제1항에 있어서,
상기 차량 내 장치가 AVN(Audio Video Navigation) 장치 또는 디스플레이이고, 상기 운전자의 시선 방향이 상기 ANV 장치 또는 상기 디스플레이의 위치와 일치하는 경우,
상기 제어부는, 상기 ANV 장치 또는 상기 디스플레이를 준비모드로 전환시키는 시선 인식 기능을 갖는 차량.
The method according to claim 1,
Wherein if the in-vehicle apparatus is an AVN (Audio Video Navigation) apparatus or a display and the direction of the driver's sight coincides with the position of the ANV apparatus or the display,
Wherein the control unit has a visual recognition function for switching the ANV apparatus or the display into a preparation mode.
제1항에 있어서,
상기 제어부는,
상기 운전자의 시선 방향이 기 설정된 시간 동안 동일한 경우, 졸음 경보를 음성 또는 문자 형태로 발생시키는 시선 인식 기능을 갖는 차량.
The method according to claim 1,
Wherein,
And a visual recognition function for generating a drowsiness alert in voice or text form when the driver's gaze direction is the same for a predetermined period of time.
제1항에 있어서,
상기 차량 내 장치가 경고 장치이고, 상기 경고 장치를 통해 차선 이탈 및 근접 차량 경보를 발생시킨 경우,
상기 제어부는,
상기 차선 이탈 및 근접 차량 경보 발생 이후 상기 운전자의 시선 변화가 기 설정된 시간 동안 감지되지 않으면, 상기 차선 이탈 및 근접 차량 경보를 음성 또는 문자 형태로 발생시키는 시선 인식 기능을 갖는 차량.
The method according to claim 1,
Wherein when the in-vehicle apparatus is a warning apparatus and the lane departure and proximity vehicle alarms are generated through the warning apparatus,
Wherein,
And a visual recognition function for generating the lane departure and proximity vehicle alarms in the form of a voice or a character if a change in the line of sight of the driver after the occurrence of the lane departure and the proximity vehicle alarm is not detected for a predetermined time.
제1항에 있어서,
상기 차량 내 장치가 전자식 사이드 미러이고, 상기 운전자의 시선 방향이 상기 전자식 사이드 미러의 위치와 일치하는 경우,
상기 제어부는,
상기 전자식 사이드 미러를 동작시켜 차량 외부 정보를 표시하는 시선 인식 기능을 갖는 차량.
The method according to claim 1,
Wherein when the in-vehicle apparatus is an electronic side mirror and the direction of the driver's sight coincides with the position of the electronic side mirror,
Wherein,
And a visual recognition function for operating the electronic side mirror to display outside information of the vehicle.
제1항에 있어서,
상기 제어부는,
상기 수신 장치에 의해서 감지된 상기 운전자의 시선 방향이 기 설정된 헤드 제스처(Head Gesture)의 동의 의사 방향 또는 거부 의사 방향과 일치하는지 여부를 확인하고, 확인 결과에 따라, 상기 차량 내 장치의 기능을 실행시키거나 또는 실행시키지 않는 시선 인식 기능을 갖는 차량.
The method according to claim 1,
Wherein,
Whether or not the driver's gaze direction sensed by the receiving apparatus coincides with a consent pseudo direction or a reject pseudo direction of a predetermined head gesture (Head Gesture), and executes a function of the in-vehicle apparatus Or has a visual recognition function that does not execute the visual recognition function.
제1항에 있어서,
상기 시선 인식용 신호는, 적외선 신호 또는 초음파 신호인 시선 인식 기능을 갖는 차량.
The method according to claim 1,
Wherein the visual-recognition signal has a visual-line recognition function, which is an infrared signal or an ultrasonic signal.
차량이 운전자의 안경에 착탈 가능하도록 설치된 발신 장치로부터 발생되는 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화한 시선 인식용 신호를 수신하는 단계;
복수 개의 신호 감지 센서를 이용하여 상기 발신 장치로부터 전송되는 상기 시선 인식용 신호를 수신하는 단계;
수신된 상기 시선 인식용 신호를 분석하여 운전자의 시선 변화를 감지하는 단계; 및
감지된 상기 운전자의 시선 변화에 따른 운전자의 시선 방향에 매칭되는 차량 내 장치의 기능을 실행시키는 단계;
를 포함하는 시선 인식 기능을 갖는 차량의 제어방법.
Receiving a visual-recognition signal that differentiates at least one of a pattern, a wavelength, an intensity, and a light emission time generated from a transmitting apparatus installed in a vehicle so that the vehicle is detachably attached to the driver's glasses;
Receiving the visual-recognition signal transmitted from the originating apparatus using a plurality of signal-detecting sensors;
Analyzing the received line-of-sight recognition signal to detect a driver's visual line change; And
Executing a function of the in-vehicle apparatus matching the sight line direction of the driver according to the perceived change of the driver's gaze;
And a visual recognition function including a visual recognition function.
제13항에 있어서,
상기 시선 인식용 신호를 수신하는 단계 이전에,
상기 발신 장치는 상황에 따라 상기 시선 인식용 신호의 패턴을 차별화하여 발생하거나, 상기 안경의 좌측과 우측의 파장을 각각 상이하게 발생하거나, 상기 안경의 좌측과 우측의 점등 간격을 상이하게 발생하거나, 또는 강도를 차별화하여 발생하는 단계;
를 더 포함하는 시선 인식 기능을 갖는 차량의 제어방법.
14. The method of claim 13,
Before the step of receiving the visual-recognition signal,
The originating device may generate a pattern of the visual-recognition signal differently depending on the situation, generate different wavelengths on the left and right sides of the glasses, generate different lighting intervals on the left and right sides of the glasses, Or intensity differentiating;
And a visual recognition function including a visual recognition function.
제14항에 있어서,
상기 운전자의 시선 변화를 감지하는 단계에서,
상기 차량은 상기 복수 개의 신호 감지 센서를 통해 상기 상황에 따라 차별화되어 발생되는 상기 시선 인식용 신호를 감지하여 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악하는 시선 인식 기능을 갖는 차량의 제어방법.
15. The method of claim 14,
In the step of detecting the driver's gaze change,
Wherein the vehicle has a visual recognition function for sensing a visual direction of a driver by detecting a relative displacement of the spectacle by sensing the visual recognition signal generated by differentiating the visual sense through the plurality of signal detection sensors, Way.
제15항에 있어서,
상기 차량은 거리에 따른 상기 시선 인식용 신호의 강도 변화 및 패턴의 변화를 기초로 상기 안경의 상대적 변위를 감지하여 운전자의 시선 방향을 파악하는 시선 인식 기능을 갖는 차량의 제어방법.
16. The method of claim 15,
Wherein the vehicle has a visual line recognition function for sensing a relative direction of the eyeglasses by sensing a relative displacement of the eyeglasses based on a change in intensity of the visual line recognition signal and a change in a pattern according to the distance.
제15항에 있어서,
상기 차량은 상기 복수 개의 신호 감지 센서 중 특정 신호 감지 센서의 상기 시선 인식용 신호의 감지여부를 이용하여 상기 안경의 상대적 변위를 감지하는 시선 인식 기능을 갖는 차량의 제어방법.
16. The method of claim 15,
Wherein the vehicle has a sight recognition function for sensing a relative displacement of the spectacles by using the presence or absence of the sight recognition signal of the specific signal sensor among the plurality of signal sensors.
제13항에 있어서,
상기 차량 내 장치는, AVN(Audio Video Navigation) 장치, 디스플레이, 경고 장치 및 전자식 사이드 미러 중 어느 하나인 시선 인식 기능을 갖는 차량의 제어방법.
14. The method of claim 13,
The in-vehicle apparatus has a visual recognition function, which is any one of an AVN (Audio Video Navigation) apparatus, a display, a warning apparatus, and an electronic side mirror.
제13항에 있어서,
상기 시선 인식용 신호는, 적외선 신호 또는 초음파 신호인 시선 인식 기능을 갖는 차량의 제어방법.
14. The method of claim 13,
Wherein the visual-recognition-use signal has a visual-line recognition function, which is an infrared signal or an ultrasonic signal.
사용자의 안경을 비롯하여 의복에 착탈 가능하도록 설치되어, 시선 인식용 신호를 발생시키는 발신 장치; 및
복수 개의 신호 감지 센서를 포함하고, 상기 발신 장치로부터 전송되는 상기 시선 인식용 신호를 수신하여, 수신된 상기 시선 인식용 신호를 분석하고 사용자의 시선 변화를 감지하여 사용자의 시선 방향을 파악하는 수신 장치;
를 포함하는 시선 인식 시스템.
A sending device which is detachably attached to clothes including a user's eyeglasses and which generates a visual-recognition signal; And
A receiver for receiving the line of sight recognition signal transmitted from the source apparatus, analyzing the received line-of-sight recognition signal, detecting a change in the line of sight of the user, ;
And a visual recognition system.
제20항에 있어서,
상기 발신 장치는,
제어부의 제어에 따라 시선 인식용 신호를 발생시키는 신호 전송 센서; 및
상황별 패턴, 파장, 강도 및 발광 시간 중 적어도 하나 이상을 차별화하여 상기 시선 인식용 신호를 발생시키도록 상기 신호 전송 센서를 제어하는 제어부;
를 포함하는 시선 인식 시스템.
21. The method of claim 20,
The transmitting apparatus includes:
A signal transmission sensor for generating a visual recognition signal under the control of the control unit; And
A controller for controlling the signal transmission sensor to differentiate at least one of a pattern, a wavelength, an intensity, and a light emission time by a situation to generate the visual recognition signal;
And a visual recognition system.
제21항에 있어서,
상기 발신 장치가 상기 안경에 설치되는 경우,
상기 제어부는,
상황에 따라 상기 시선 인식용 신호의 패턴을 차별화하여 발생시키거나, 상기 안경의 좌측과 우측의 파장을 각각 상이하게 발생시키거나, 상기 안경의 좌측과 우측의 점등 간격을 상이하게 발생시키거나, 또는 강도를 차별화하여 발생시키는 시선 인식 시스템.
22. The method of claim 21,
When the transmission device is installed in the eyeglasses,
Wherein,
Differentiate the pattern of the line-of-sight recognition signal according to the situation, generate the left and right wavelengths of the spectacles differently, or generate the lighting spaces of the left and right glasses differently, or A gaze recognition system that generates differentiated intensity.
제20항에 있어서,
상기 시선 인식용 신호는, 적외선 신호 또는 초음파 신호인 시선 인식 시스템.
21. The method of claim 20,
Wherein the visual-recognition signal is an infrared signal or an ultrasonic signal.
KR1020140167938A 2014-11-28 2014-11-28 Vehicle having gaze recognizing function and controlling method thereof, and gaze recognizing system KR101648021B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140167938A KR101648021B1 (en) 2014-11-28 2014-11-28 Vehicle having gaze recognizing function and controlling method thereof, and gaze recognizing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140167938A KR101648021B1 (en) 2014-11-28 2014-11-28 Vehicle having gaze recognizing function and controlling method thereof, and gaze recognizing system

Publications (2)

Publication Number Publication Date
KR20160064388A true KR20160064388A (en) 2016-06-08
KR101648021B1 KR101648021B1 (en) 2016-08-23

Family

ID=56193399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140167938A KR101648021B1 (en) 2014-11-28 2014-11-28 Vehicle having gaze recognizing function and controlling method thereof, and gaze recognizing system

Country Status (1)

Country Link
KR (1) KR101648021B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144130A1 (en) * 2017-02-03 2018-08-09 Qualcomm Incorporated Maintaining occupant awareness in vehicles
CN108928318A (en) * 2018-06-28 2018-12-04 信利光电股份有限公司 A kind of intelligent automobile
CN109177922A (en) * 2018-08-31 2019-01-11 北京七鑫易维信息技术有限公司 Vehicle starting method, device, equipment and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230013407A (en) * 2021-07-19 2023-01-26 삼성전자주식회사 Electronic device and operation method of electronic device for controlling external electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022935A (en) * 2004-09-08 2006-03-13 한민홍 Drowsiness detection method and apparatus based on eye image
JP2006308674A (en) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp Image display device
JP2008232912A (en) * 2007-03-22 2008-10-02 Denso It Laboratory Inc Navigation device, navigation method, and program
KR20100105293A (en) * 2009-03-19 2010-09-29 현대자동차일본기술연구소 Handling device for vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022935A (en) * 2004-09-08 2006-03-13 한민홍 Drowsiness detection method and apparatus based on eye image
JP2006308674A (en) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp Image display device
JP2008232912A (en) * 2007-03-22 2008-10-02 Denso It Laboratory Inc Navigation device, navigation method, and program
KR20100105293A (en) * 2009-03-19 2010-09-29 현대자동차일본기술연구소 Handling device for vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144130A1 (en) * 2017-02-03 2018-08-09 Qualcomm Incorporated Maintaining occupant awareness in vehicles
US10082869B2 (en) 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
CN108928318A (en) * 2018-06-28 2018-12-04 信利光电股份有限公司 A kind of intelligent automobile
CN109177922A (en) * 2018-08-31 2019-01-11 北京七鑫易维信息技术有限公司 Vehicle starting method, device, equipment and storage medium

Also Published As

Publication number Publication date
KR101648021B1 (en) 2016-08-23

Similar Documents

Publication Publication Date Title
US8253589B2 (en) Vehicle to entity communication
JP6540663B2 (en) Vehicle system
US10019070B2 (en) Vehicle-wearable device interface and methods for using the same
US10569649B2 (en) In-vehicle control apparatus
JP6369487B2 (en) Display device
KR101648021B1 (en) Vehicle having gaze recognizing function and controlling method thereof, and gaze recognizing system
US9753535B2 (en) Visual line input apparatus
CN105128862A (en) Vehicle terminal eyeball identification control method and vehicle terminal eyeball identification control system
US9969266B2 (en) Display control device, projection device, and non-transitory storage medium for vehicle speed limit notifications
EP2644430B1 (en) Vehicular glance lighting apparatus and a method for controlling the same
KR101567194B1 (en) Glass for indicating vehicle information and method for indicating vehicle information using the same
KR20140058312A (en) Electronic apparatus for vehicle
JP4916755B2 (en) Vehicle driving support device
US9495871B2 (en) Display control device, display control method, non-transitory recording medium, and projection device
US11881054B2 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
KR20170006483A (en) Pedestrian recognizing device, and vehicle and pedestrian recognizing system using the same
KR20130076215A (en) Device for alarming image change of vehicle
KR20210079525A (en) Near-field rear sensing helmet device
JP2010173492A (en) Vehicle speed transmission device and vehicle speed transmitting method
KR101742399B1 (en) Apparatus and method for adjusting side mirror in vehicle using vehicle state
KR101704524B1 (en) Vehicle and method for controlling thereof
WO2021085371A1 (en) Driving assistance device, driving assistance method, and driving assistance program
JP5862154B2 (en) Information presentation device for vehicles
JP5857579B2 (en) Information presentation device for vehicles
JP7372381B2 (en) Traffic safety support system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 4