KR20230028688A - Apparatus and method for controlling vehicle - Google Patents

Apparatus and method for controlling vehicle Download PDF

Info

Publication number
KR20230028688A
KR20230028688A KR1020210110543A KR20210110543A KR20230028688A KR 20230028688 A KR20230028688 A KR 20230028688A KR 1020210110543 A KR1020210110543 A KR 1020210110543A KR 20210110543 A KR20210110543 A KR 20210110543A KR 20230028688 A KR20230028688 A KR 20230028688A
Authority
KR
South Korea
Prior art keywords
icon
processor
target icon
function
detected
Prior art date
Application number
KR1020210110543A
Other languages
Korean (ko)
Other versions
KR102644877B1 (en
Inventor
조길제
Original Assignee
주식회사 경신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 경신 filed Critical 주식회사 경신
Priority to KR1020210110543A priority Critical patent/KR102644877B1/en
Publication of KR20230028688A publication Critical patent/KR20230028688A/en
Application granted granted Critical
Publication of KR102644877B1 publication Critical patent/KR102644877B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60K2370/119—
    • B60K2370/785—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention comprises: a recognition module recognizing sight and movement of a driver; an output module outputting at least one icon on a windshield of a vehicle; and a processor determining sight coordinates on the windshield based on the sight of the driver recognized through the recognition module, determining one among at least one icon outputted through the output module based on the sight coordinates as a target icon, activating the determined target icon, and outputting a control signal for controlling a function corresponding to the activated target icon.

Description

차량 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING VEHICLE}Vehicle control device and method {APPARATUS AND METHOD FOR CONTROLLING VEHICLE}

본 발명은 차량 제어 장치 및 방법에 관한 것으로서, 더욱 상세하게는 운전자의 시선 및 움직임을 인식하여 차량 내 기능을 제어하는 차량 제어 장치 및 방법에 관한 것이다.The present invention relates to a vehicle control apparatus and method, and more particularly, to a vehicle control apparatus and method for controlling in-vehicle functions by recognizing a driver's gaze and movement.

차량에는 주행과 관련된 장치 외에도 에어컨 및 히터와 같이 차량 내 환경을 제어하기 위한 장치와, 오디오, 디스플레이 및 내비게이션과 같이 운전자에게 엔터테인먼트를 제공하기 위한 장치가 구비된다. 일반적으로, 전술한 장치들은 차량 내 컨트롤 패널 또는 해당 장치에 구비된 버튼을 통해 제어되므로, 해당 장치를 제어하기 위해서는 운전자가 육안으로 해당 버튼의 위치를 확인하여 버튼을 조작할 필요가 있다. 그러나, 전술한 방법은 운전자의 주의 분산을 야기할 수 있으며, 운전자의 주의 분산은 사고로 이어질 수 있다. 이에 따라, 운전자의 주의 분산을 최소화하며 차량 내 각종 기능을 제어할 수 있는 방법이 요구되고 있다.In addition to devices related to driving, vehicles are equipped with devices for controlling an in-vehicle environment, such as air conditioners and heaters, and devices for providing entertainment to drivers, such as audio, display, and navigation. In general, since the aforementioned devices are controlled through a control panel in a vehicle or a button provided in the corresponding device, a driver needs to visually check the position of the corresponding button and operate the button in order to control the corresponding device. However, the above method may cause the driver's distraction, and the driver's distraction may lead to an accident. Accordingly, there is a demand for a method capable of controlling various functions in a vehicle while minimizing driver's distraction.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2021-0063596호(2021.06.02.)의 '차량용 음성인식 시스템 및 그 방법'에 개시되어 있다.The background art of the present invention is disclosed in 'vehicle voice recognition system and method' of Korean Patent Publication No. 10-2021-0063596 (2021.06.02.).

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 일 측면에 따른 목적은 운전자의 시선 및 움직임을 인식하고, 인식된 운전자의 시선 및 움직임에 기반하여 차량 내 기능을 제어할 수 있는 차량 제어 장치 및 방법을 제공하는 것이다.The present invention has been devised to solve the above problems, and an object according to an aspect of the present invention is to recognize a driver's gaze and movement, and to control in-vehicle functions based on the recognized driver's gaze and movement. It is to provide a vehicle control device and method.

본 발명의 일 측면에서 따른 차량 제어 장치는 운전자의 시선 및 움직임을 인식하는 인식 모듈; 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 출력 모듈; 및 상기 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하고, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하고, 상기 결정된 대상 아이콘을 활성화하고, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 프로세서;를 포함하는 것을 특징으로 한다.A vehicle control device according to an aspect of the present invention includes a recognition module for recognizing a driver's gaze and movement; an output module outputting at least one icon on a windshield of a vehicle; and determining gaze coordinates on the windshield based on the driver's gaze recognized through the recognition module, and determining one of at least one icon output through the output module as a target icon based on the gaze coordinates; and a processor that activates the determined target icon and outputs a control signal for controlling a function corresponding to the activated target icon.

본 발명에 있어 상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하고, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 한다.As at least part of the operation of determining the target icon in the present invention, the processor detects an icon corresponding to the gaze coordinates from among the at least one icon, and the time at which the gaze coordinates are located on the detected icon is determined by the processor. It is characterized in that it is determined whether it is longer than a preset first set time, and if it is determined that the time at which the gaze coordinates are located is longer than the first set time, the detected icon is determined as a target icon.

본 발명에 있어 상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되는지 여부를 판단하고, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 한다.As at least part of the operation of determining the target icon in the present invention, the processor detects an icon corresponding to the gaze coordinates from among the at least one icon, and determines whether a preset first motion is recognized through the recognition module. and determining whether the first motion is recognized, and determining the detected icon as the target icon when it is determined that the first motion is recognized.

본 발명에 있어 상기 활성화하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 것을 특징으로 한다.As at least part of the activating operation in the present invention, the processor changes the size of the target icon or causes the target icon to move so that the target icon is distinguished from other icons.

본 발명에 있어 상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 대상 아이콘에 대응하는 기능을 검출하고, 상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하고, 상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하는 것을 특징으로 한다.As at least part of the operation of outputting the control signal in the present invention, the processor detects a function corresponding to the target icon, determines whether the detected function is a function requiring intensity adjustment, When it is determined that the function is not a function requiring intensity adjustment, a first control signal for controlling on/off of the detected function is output in response to the driver's gaze or movement recognized through the recognition module. do.

본 발명에 있어 상기 제1 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 것을 특징으로 한다.As at least part of the operation of outputting the first control signal in the present invention, the processor determines whether the gaze coordinates stay on the target icon for a predetermined second predetermined time or longer, or a predetermined through the recognition module. When the second motion is recognized, the first control signal is output.

본 발명에 있어 상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하는 것을 특징으로 한다.As at least part of the operation of outputting the control signal in the present invention, the processor responds to the driver's gaze or movement recognized through the recognition module when it is determined that the detected function is a function requiring intensity adjustment. It is characterized by outputting a second control signal for adjusting the intensity of the detected function.

본 발명에 있어 상기 프로세서는, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 것을 특징으로 한다.In the present invention, the processor outputs a gauge bar image related to the intensity adjustment of the detected function on the windshield through the output module when it is determined that the detected function is a function requiring intensity adjustment. to be

본 발명에 있어 상기 프로세서는, 상기 대상 아이콘이 활성화된 시점으로부터 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 것을 특징으로 한다.In the present invention, the processor may cancel activation of the target icon when the control signal is not output within a preset third set time from when the target icon is activated.

본 발명에 있어 상기 프로세서는, 상기 대상 아이콘이 활성화된 직후에, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 것을 특징으로 한다.In the present invention, the processor may output a cancel icon for canceling the activation of the target icon on the windshield through the output module immediately after the target icon is activated.

본 발명의 일 측면에 따른 차량 제어 방법은 프로세서가, 출력 모듈을 통해 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 단계; 상기 프로세서가, 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하는 단계; 상기 프로세서가, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하는 단계; 상기 프로세서가, 상기 대상 아이콘을 활성화하는 단계; 및 상기 프로세서가, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 한다.A vehicle control method according to an aspect of the present invention includes outputting, by a processor, at least one icon on a windshield of a vehicle through an output module; determining, by the processor, gaze coordinates on the windshield based on the driver's gaze recognized through the recognition module; determining, by the processor, one of at least one icon output through the output module as a target icon based on the gaze coordinates; activating, by the processor, the target icon; and outputting, by the processor, a control signal for controlling a function corresponding to the activated target icon.

본 발명에 있어 상기 대상 아이콘으로 결정하는 단계는, 상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계; 상기 프로세서가, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하는 단계; 및 상기 프로세서가, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, the determining of the target icon may include: detecting, by the processor, an icon corresponding to the gaze coordinates from among the at least one icon; determining, by the processor, whether a time at which the gaze coordinates are located on the detected icon is greater than or equal to a first preset time; and determining, by the processor, the detected icon as the target icon when it is determined that the time at which the gaze coordinates are located is greater than or equal to the first set time.

본 발명에 있어 상기 대상 아이콘으로 결정하는 단계는, 상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계; 상기 프로세서가, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되었는지 여부를 판단하는 단계; 및 상기 프로세서가, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, the determining of the target icon may include: detecting, by the processor, an icon corresponding to the gaze coordinates from among the at least one icon; determining, by the processor, whether a preset first motion is recognized through the recognition module; and determining, by the processor, the detected icon as a target icon when it is determined that the first motion is recognized.

본 발명에 있어 상기 활성화하는 단계는, 상기 프로세서가, 상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 단계;를 포함하는 것을 특징으로 한다.In the present invention, the activating step may include, by the processor, changing the size of the target icon or generating motion to the target icon so that the target icon is distinguished from other icons. do.

본 발명에 있어 상기 제어 신호를 출력하는 단계는, 상기 대상 아이콘에 대응하는 기능을 검출하는 단계; 상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하는 단계; 및 상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, the outputting of the control signal may include: detecting a function corresponding to the target icon; determining whether the detected function is a function requiring intensity adjustment; and when it is determined that the detected function is not a function requiring intensity adjustment, a first control signal for controlling on/off of the detected function is outputted in response to the driver's gaze or movement recognized through the recognition module. It is characterized in that it includes; the step of doing.

본 발명에 있어 상기 제1 제어 신호를 출력하는 단계는, 상기 프로세서가, 상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, the step of outputting the first control signal may include, by the processor, the gaze coordinates remaining on the target icon for a predetermined second predetermined time or longer, or a predetermined second motion through the recognition module. When it is recognized, outputting the first control signal; characterized in that it comprises a.

본 발명에 있어 상기 제어 신호를 출력하는 단계는, 상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, the step of outputting the control signal may include, when the processor determines that the detected function is a function requiring intensity adjustment, in response to the driver's gaze or movement recognized through the recognition module, the detected function It is characterized in that it further includes; outputting a second control signal for adjusting the strength of the function.

본 발명에 있어 상기 제어 신호를 출력하는 단계는, 상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, the outputting of the control signal may include, when the processor determines that the detected function is a function requiring intensity adjustment, the processor outputs a gauge bar image related to the intensity adjustment of the detected function through the output module. It is characterized in that it further comprises; outputting on the windshield.

본 발명에 있어 상기 활성화하는 단계 이후에, 상기 프로세서가, 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, after the activating step, if the control signal is not output within a preset third set time, canceling the activation of the target icon; characterized in that it further comprises.

본 발명에 있어 상기 활성화하는 단계 이후에, 상기 프로세서가, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 한다.The present invention may further include, after the activating step, outputting, by the processor, a cancel icon for canceling the activation of the target icon on the windshield through the output module.

본 발명의 일 측면에 따르면 차량의 기능과 관련된 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하고, 운전자의 시선 및 움직임에 따라 윈드실드 상에 출력된 적어도 하나의 아이콘 중 하나를 선택하고, 선택된 아이콘의 기능을 실행시킴으로써 운전자의 편의성을 향상시킬 수 있다.According to an aspect of the present invention, at least one icon related to a vehicle function is output on a windshield of the vehicle, one of the at least one icon displayed on the windshield is selected according to the driver's gaze and movement, and the selected icon is selected. By executing the function of the icon, driver's convenience can be improved.

도 1은 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.1 is a block diagram illustrating a vehicle control device according to an embodiment of the present invention.
2 is an exemplary view for explaining a vehicle control device according to an embodiment of the present invention.
3 is a flowchart illustrating a vehicle control method according to an embodiment of the present invention.

이하에서는 본 발명의 실시예에 따른 차량 제어 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, a vehicle control apparatus and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In this process, the thickness of lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of description. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, definitions of these terms will have to be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 예시도이다.1 is a block configuration diagram for explaining a vehicle control device according to an embodiment of the present invention, and FIG. 2 is an exemplary diagram for explaining a vehicle control device according to an embodiment of the present invention.

도 1을 참고하면, 본 발명의 일 실시예에 따른 차량 제어 장치는 인식 모듈(100), 출력 모듈(200), 메모리(300) 및 프로세서(400)를 포함할 수 있다.Referring to FIG. 1 , a vehicle control device according to an embodiment of the present invention may include a recognition module 100 , an output module 200 , a memory 300 and a processor 400 .

인식 모듈(100)은 운전자의 시선을 인식할 수 있다. 일 실시예에 따르면, 인식 모듈(100)은 운전자의 안면 이미지를 촬영하고, 촬영된 안면 이미지에서 사용자의 안구 영역을 검출하고, 검출된 안구 영역을 분석하여 동공의 위치 및 각도를 산출하고, 산출된 동공의 위치 및 각도에 기반하여 운전자의 시선을 결정할 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 주지된 다양한 시선 인식 알고리즘이 채용될 수 있다. 한편, 운전자의 시선 인식에 대한 정확도를 향상시키기 위해, 운전자의 시선 인식 시 운전자의 양안 각각에 대한 동공의 위치 및 각도가 함께 이용될 수 있다.The recognition module 100 may recognize the driver's gaze. According to an embodiment, the recognition module 100 captures a facial image of the driver, detects an eyeball region of the user in the photographed facial image, analyzes the detected eyeball region, and calculates a pupil position and an angle, and calculates The driver's line of sight may be determined based on the position and angle of the pupil. However, it is not limited to the above-described embodiment, and various well-known gaze recognition algorithms may be employed. Meanwhile, in order to improve the accuracy of the driver's gaze recognition, the position and angle of the pupils of both eyes of the driver may be used together when recognizing the driver's gaze.

인식 모듈(100)은 운전자의 움직임을 인식할 수 있다. 일 실시예에 따르면, 인식 모듈(100)은 운전자의 눈에 깜빡임이 발생하였는지 여부를 판단하고, 운전자의 눈에 깜빡임이 발생한 경우 운전자에게 움직임이 발생한 것으로 인식할 수 있다. 또한, 인식 모듈(100)은 운전자의 머리에 회전이 발생하였는지 여부, 고개의 끄덕임이 발생하였는지 여부, 또는 머리의 기울기가 변화하였는지 여부를 판단하고, 운전자의 머리에 회전이 발생하거나, 고개의 끄덕임이 발생하거나 또는 운전자의 머리의 기울기가 변화한 경우 운전자에게 움직임이 발생한 것으로 판단할 수 있다. 다만, 운전자의 움직임이 전술한 실시예에 한정되는 것은 아니며, 인식 모듈(100)은 운전자에 의해 발생할 수 있는 신체의 위치 또는 각도 변화를 운전자의 움직임으로 인식할 수 있다. 인식 모듈(100)은 영상 처리 알고리즘을 통해 운전자의 움직임을 인식할 수 있다.The recognition module 100 may recognize a driver's movement. According to an embodiment, the recognition module 100 determines whether the driver's eyes blink, and when the driver's eyes blink, recognizes that the driver has moved. In addition, the recognition module 100 determines whether the driver's head rotates, the head nods, or the head tilt changes, and determines whether the driver's head rotates or the head nods. When this occurs or the tilt of the driver's head changes, it may be determined that the movement of the driver has occurred. However, the driver's movement is not limited to the above-described embodiment, and the recognition module 100 may recognize a change in body position or angle that may occur by the driver as the driver's movement. The recognition module 100 may recognize a driver's movement through an image processing algorithm.

출력 모듈(200)은 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력할 수 있다. 일 실시예에 따르면, 출력 모듈(200)은 헤드업 디스플레이일 수 있다. 아이콘은 차량 내 기능을 작동시키거나 제어하기 위한 것일 수 있다. 예를 들어, 아이콘은 에어컨, 히터 및 AVN 등을 작동시키거나, 에어컨의 온도, 히터의 온도, 스피커의 음량 등을 제어하기 위한 것일 수 있다. 다만, 아이콘이 전술한 실시예에 한정되는 것은 아니며, 사용자에 의해 작동되거나 제어될 수 있는 다양한 차량 내 기능과 관련된 아이콘이 출력 모듈(200)을 통해 차량의 윈드실드 상에 출력될 수 있다. 도 2는 출력 모듈을 통해 차량의 윈드실드 상에 아이콘을 출력하는 일 실시예를 도시하고 있다.The output module 200 may output at least one icon on the windshield of the vehicle. According to one embodiment, the output module 200 may be a heads-up display. The icon may be for activating or controlling an in-vehicle function. For example, icons may be used to operate air conditioners, heaters, and AVNs, or to control the temperature of air conditioners, heaters, and volume of speakers. However, icons are not limited to the above-described embodiments, and icons related to various in-vehicle functions that can be operated or controlled by a user may be output on the windshield of the vehicle through the output module 200 . 2 illustrates an embodiment of outputting an icon on a windshield of a vehicle through an output module.

메모리(300)에는 후술하는 프로세서(400)가 작동하기 위해 필요한 각종 데이터가 미리 저장되어 있을 수 있다. 또한, 메모리(300)에는 프로세서(400)가 작동하는 과정에서 산출되는 각종 데이터가 저장될 수 있다.Various data necessary for the operation of the processor 400 to be described later may be previously stored in the memory 300 . In addition, the memory 300 may store various data calculated in the process of operating the processor 400 .

프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하고, 시선 좌표에 기반하여 출력 모듈(200)을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하고, 대상 아이콘을 활성화하고, 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력할 수 있다.The processor 400 determines the coordinates of the driver's gaze on the windshield based on the gaze of the driver recognized through the recognition module 100, and selects one of at least one icon output through the output module 200 based on the coordinates of the gaze of the driver. may be determined as a target icon, the target icon may be activated, and a control signal for controlling a function corresponding to the activated target icon may be output.

이하에서는 프로세서(400)가 제어 신호를 출력하는 과정을 구체적으로 살펴보도록 한다.Hereinafter, a process of the processor 400 outputting a control signal will be described in detail.

먼저, 프로세서(400)는 출력 모듈(200)을 통해 적어도 하나의 아이콘을 윈드실드 상에 출력할 수 있다. 프로세서(400)는 운전자로부터 윈드실드 상에 출력될 아이콘의 목록 및 위치를 입력받을 수 있으며, 입력받은 아이콘의 목록 및 위치에 기반하여 윈드실드 상에 적어도 하나의 아이콘을 출력할 수 있다. 즉, 윈드실드 상에 출력되는 아이콘의 개수, 종류 및 위치는 운전자에 의해 변경될 수 있다. 프로세서(400)는 인식 모듈(100)을 통해 운전자의 눈 높이를 검출할 수 있으며, 검출된 운전자의 눈 높이에 따라 윈드실드 상에 출력되는 아이콘의 위치를 조절할 수도 있다. 프로세서(400)는 운전의 편의를 위해 평상시에는 아이콘을 윈드실드 상에 출력하지 않고, 인식 모듈(100)을 통해 운전자로부터 특정 움직임이 인식되는 경우 아이콘을 윈드실드 상에 출력할 수도 있다.First, the processor 400 may output at least one icon on the windshield through the output module 200 . The processor 400 may receive a list and location of icons to be displayed on the windshield from the driver, and output at least one icon on the windshield based on the list and location of the input icon. That is, the number, type, and location of icons displayed on the windshield may be changed by the driver. The processor 400 may detect the driver's eye height through the recognition module 100 and may adjust the position of an icon displayed on the windshield according to the detected eye height of the driver. For convenience of driving, the processor 400 does not normally output an icon on the windshield, but may output an icon on the windshield when a specific movement is recognized by the driver through the recognition module 100.

한편, 윈드실드 상에 출력되는 아이콘 각각의 크기는 동일할 수도 있고, 상이할 수도 있다. 프로세서(400)는 아이콘별 실행 빈도를 산출하고, 산출된 아이콘별 실행 빈도에 따라 아이콘의 크기를 조절할 수도 있다. 즉, 프로세서(400)는 운전자에 의해 자주 이용되는 아이콘을 다른 아이콘보다 더 크게 함으로써 운전자의 편의를 향상시킬 수 있다. 프로세서(400)는 아이콘 실행 기록을 저장할 수 있으며, 실행 기록을 분석하여 아이콘별 실행 빈도를 산출할 수 있다. Meanwhile, the size of each icon output on the windshield may be the same or different. The processor 400 may calculate an execution frequency for each icon and adjust the size of the icon according to the calculated execution frequency for each icon. That is, the processor 400 may improve the driver's convenience by making an icon frequently used by the driver larger than other icons. The processor 400 may store icon execution records and analyze the execution records to calculate an execution frequency for each icon.

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선에 기반하여 윈드 실드 상에서의 시선 좌표를 결정할 수 있다. 일 실시예에 따르면, 프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선과 윈드실드의 표면이 만나는 점의 좌표를 산출하고, 산출된 좌표를 운전자의 시선 좌표로 결정할 수 있다. Subsequently, the processor 400 may determine coordinates of the driver's gaze on the windshield based on the driver's gaze recognized through the recognition module 100 . According to an embodiment, the processor 400 may calculate coordinates of a point where the driver's line of sight recognized through the recognition module 100 and the surface of the windshield meet, and determine the calculated coordinates as the driver's line of sight coordinates.

이어서, 프로세서(400)는 시선 좌표에 기반하여 출력 모듈(200)을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정할 수 있다. Subsequently, the processor 400 may determine one of the at least one icon output through the output module 200 as a target icon based on the gaze coordinates.

일 실시예에 따르면, 프로세서(400)는 윈드실드 상에 출력된 적어도 하나의 아이콘 중 시선 좌표에 대응하는 아이콘을 검출하고, 검출된 아이콘 상에 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하고, 시선 좌표가 위치한 시간이 제1 설정 시간 이상인 것으로 판단되는 경우 앞서 검출된 아이콘을 대상 아이콘으로 결정할 수 있다. 즉, 프로세서(400)는 특정 아이콘에 시선 좌표가 제1 설정 시간 이상 머무르는 경우 해당 아이콘을 대상 아이콘으로 결정할 수 있다. 여기서, 제1 설정 시간은 운전자에 의해 변경될 수도 있다.According to an embodiment, the processor 400 detects an icon corresponding to the gaze coordinates from among at least one icon output on the windshield, and the time at which the gaze coordinates are located on the detected icon is equal to or longer than a first preset time. , and if it is determined that the time at which the gaze coordinates are located is greater than or equal to the first set time, the previously detected icon may be determined as the target icon. That is, the processor 400 may determine the icon as the target icon when gaze coordinates stay on the specific icon for a first set time or longer. Here, the first set time may be changed by the driver.

다른 실시예에 따르면, 프로세서(400)는 윈드실드 상에 출력된 적어도 하나의 아이콘 중 시선 좌표에 대응하는 아이콘을 검출하고, 인식 모듈(100)을 통해 기 설정된 제1 움직임이 인식되는지 여부를 판단하고, 제1 움직임이 인식된 것으로 판단되는 경우 앞서 검출된 아이콘을 대상 아이콘으로 결정할 수 있다. 즉, 프로세서(400)는 특정 아이콘에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 기 설정된 제1 움직임이 인식되는 경우 해당 아이콘을 대상 아이콘으로 결정할 수 있다. 여기서, 제1 움직임은 눈 깜빡임, 머리 회전, 머리 기울기 변화 또는 고개 끄덕임 중 하나일 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 운전자에 의해 발생될 수 있는 다양한 움직임이 제1 움직임으로 채용될 수 있다. 제1 움직임은 운전자에 의해 변경될 수도 있다.According to another embodiment, the processor 400 detects an icon corresponding to gaze coordinates from among at least one icon output on the windshield, and determines whether a preset first motion is recognized through the recognition module 100. And, when it is determined that the first motion is recognized, the previously detected icon may be determined as the target icon. That is, the processor 400 may determine the icon as the target icon when a preset first motion is recognized through the recognition module 100 in a state where gaze coordinates are located on a specific icon. Here, the first movement may be one of eye blinking, head rotation, head tilt change, or head nodding. However, it is not limited to the above-described embodiment, and various motions that may be generated by a driver may be employed as the first motion. The first movement may be changed by the driver.

이어서, 프로세서(400)는 대상 아이콘을 활성화할 수 있다. 여기서, 활성화는 대상 아이콘을 다른 아이콘과 구별하여 표시하는 것을 의미할 수 있다. 일 실시예에 따르면, 프로세서(400)는 대상 아이콘이 다른 아이콘과 구별되도록, 대상 아이콘의 크기를 변경하거나, 또는 대상 아이콘에 움직임을 발생시킬 수 있다. 즉, 프로세서(400)는 대상 아이콘을 확대시킴으로써 대상 아이콘이 다른 아이콘과 구별되도록 하거나, 대상 아이콘에 움직임(예를 들어, 흔들림)을 발생시킴으로써 대상 아이콘이 다른 아이콘과 구별되도록 할 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 대상 아이콘을 다른 아이콘과 구별하여 표시하기 위한 다양한 방법이 채용될 수 있다.Subsequently, the processor 400 may activate the target icon. Here, activation may mean distinguishing a target icon from other icons and displaying the target icon. According to an embodiment, the processor 400 may change the size of the target icon or cause motion to the target icon to differentiate the target icon from other icons. That is, the processor 400 may distinguish the target icon from other icons by enlarging the target icon or by generating motion (eg, shaking) of the target icon to distinguish the target icon from other icons. However, it is not limited to the above-described embodiment, and various methods for distinguishing and displaying a target icon from other icons may be employed.

이어서, 프로세서(400)는 대상 아이콘에 대응하는 기능을 검출할 수 있다. 일 실시예에 따르면, 대상 아이콘에 대응하는 기능이 저장된 룩업 테이블이 메모리(300)에 미리 저장되어 있으며, 프로세서(400)는 룩업 테이블을 참고하여, 대상 아이콘에 대응하는 기능을 검출할 수 있다. Subsequently, the processor 400 may detect a function corresponding to the target icon. According to an embodiment, a lookup table in which functions corresponding to target icons are stored is previously stored in the memory 300, and the processor 400 may detect functions corresponding to the target icons by referring to the lookup table.

한편, 차량 내 기능은 에어콘 작동 및 중지, 히터 작동 및 중지, AVN 작동 및 중지 등과 같이 온오프 제어가 필요한 기능과, 에어콘 온도 조절, 히터 온도 조절, 윈도우 높이 조절, 스피커 음량 조절 등과 같이 세기 조절이 필요한 기능으로 구분될 수 있다. 온오프 제어가 필요한 기능의 경우 온오프에 대응하는 제어 신호를 출력함으로써 해당 기능의 제어가 종료되는 반면, 세기 조절이 필요한 기능의 경우 운전자로부터 세기에 대한 정보를 추가적으로 입력받아 처리할 필요가 있을 뿐만 아니라, 운전자가 용이하게 해당 기능의 세기 조절을 수행할 수 있도록 현재 설정된 세기에 대한 정보를 제공할 필요가 있다. 따라서, 프로세서(400)는 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단할 필요가 있다.On the other hand, in-vehicle functions include functions that require on/off control, such as air conditioner operation and stop, heater operation and stop, AVN operation and stop, and intensity control, such as air conditioner temperature control, heater temperature control, window height control, and speaker volume control. It can be divided into necessary functions. In the case of a function requiring on/off control, the control of the corresponding function is terminated by outputting a control signal corresponding to the on/off, whereas in the case of a function requiring intensity control, it is necessary to additionally receive information about intensity from the driver and process it. Rather, it is necessary to provide information on the currently set intensity so that the driver can easily adjust the intensity of the corresponding function. Accordingly, the processor 400 needs to determine whether the detected function is a function requiring intensity adjustment.

프로세서(400)는 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단할 수 있다. 메모리(300)에 저장된 룩업 테이블에는 해당 기능이 온오프 제어가 필요한 기능인지 또는 세기 제어가 필요한 기능인지 여부가 매칭되어 있으며, 프로세서(400)는 룩업 테이블을 참고하여 해당 기능이 세기 조절이 필요한 기능인지 여부를 판단할 수 있다.The processor 400 may determine whether the detected function is a function requiring intensity adjustment. In the lookup table stored in the memory 300, whether the corresponding function is a function requiring on-off control or a function requiring intensity control is matched, and the processor 400 refers to the lookup table to determine whether the corresponding function is a function requiring intensity control It can be judged whether or not

검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우(즉, 검출된 기능이 온오프 제어가 필요한 기능인 것으로 판단되는 경우), 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여, 해당 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력할 수 있다. When it is determined that the detected function is not a function requiring intensity adjustment (ie, when it is determined that the detected function is a function requiring on/off control), the processor 400 determines the driver's information recognized through the recognition module 100. In response to gaze or movement, a first control signal for controlling on/off of a corresponding function may be output.

일 실시예에 따르면, 프로세서(400)는 대상 아이콘 상에 시선 좌표가 위치한 시간이 기 설정된 제2 설정 시간 이상인지 여부를 판단하고, 시선 좌표가 위치한 시간이 제2 설정 시간 이상인 것으로 판단되는 경우 제1 제어 신호를 출력할 수 있다. 예를 들어, 검출된 기능이 에어컨을 작동시키는 기능인 경우, 프로세서(400)는 시선 좌표가 제2 설정 시간 이상 대상 아이콘에 머무르는 경우, 에어컨을 작동시키기 위한 제어 신호를 차량 내 에어컨으로 출력할 수 있다. 여기서, 제2 설정 시간은 운전자에 의해 변경될 수 있다. According to an embodiment, the processor 400 determines whether the time at which the gaze coordinates are located on the target icon is greater than or equal to a second set time, and if it is determined that the time at which the gaze coordinates are located is greater than or equal to the second set time, 1 control signal can be output. For example, when the detected function is the function of operating the air conditioner, the processor 400 may output a control signal for operating the air conditioner to the air conditioner in the vehicle when the gaze coordinates stay on the target icon for a second set time or longer. . Here, the second set time may be changed by the driver.

다른 실시예에 따르면, 프로세서(400)는 인식 모듈(100)을 통해 기 설정된 제2 움직임이 인식되는지 여부를 판단하고, 제2 움직임이 인식된 것으로 판단되는 경우 제1 제어 신호를 출력할 수 있다. 여기서, 제2 움직임은 눈 깜빡임, 머리 회전, 머리 기울기 변화 또는 고개 끄덕임 중 하나일 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 운전자에 의해 발생될 수 있는 다양한 움직임이 제2 움직임으로 채용될 수 있다. 제2 움직임은 운전자에 의해 변경될 수도 있다. 제2 움직임은 제1 움직임과 동일한 움직임일 수도 있고, 제1 움직임과 다른 움직임일 수도 있다. According to another embodiment, the processor 400 may determine whether a preset second motion is recognized through the recognition module 100, and output a first control signal when it is determined that the second motion is recognized. . Here, the second motion may be one of eye blinking, head rotation, head tilt change, or head nodding. However, it is not limited to the above-described embodiment, and various motions that may be generated by the driver may be employed as the second motion. The second movement may be changed by the driver. The second motion may be the same as the first motion or may be different from the first motion.

프로세서(400)는 출력 모듈(200)을 통해 해당 기능을 작동시키기 위한 실행 아이콘을 윈드실드 상에 출력하고, 실행 아이콘 상에 시선 좌표가 제2 설정 시간 이상 머무르거나, 또는 실행 아이콘 상에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 제2 움직임이 인식되는 경우 제1 제어 신호를 출력할 수도 있다.The processor 400 outputs an execution icon for operating a corresponding function on the windshield through the output module 200, and gaze coordinates stay on the execution icon for a second set time or longer, or gaze on the execution icon. When the second motion is recognized through the recognition module 100 in a state where the coordinates are located, the first control signal may be output.

한편, 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 프로세서(400)는 출력 모듈(200)을 통해 해당 기능의 세기 조절에 관한 게이지바 이미지를 윈드실드 상에 출력할 수 있다. 즉, 프로세서(400)는 해당 기능의 세기 조절이 용이하도록, 해당 기능의 세기에 관한 정보를 게이지바 이미지로 표현하여 윈드실드 상에 출력할 수 있다.Meanwhile, when it is determined that the detected function is a function requiring intensity adjustment, the processor 400 may output a gauge bar image related to the intensity adjustment of the corresponding function on the windshield through the output module 200 . That is, the processor 400 may express information about the intensity of a corresponding function as a gauge bar image and output the information on the windshield so as to easily adjust the intensity of the corresponding function.

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 대상 아이콘에 대응하는 기능의 세기 조절을 위한 제2 제어 신호를 출력할 수 있다. 여기서, 제2 제어 신호는 해당 기능의 세기를 증가시키기 위한 제어 신호 또는 해당 기능의 세기를 감소시키기 위한 제어 신호일 수 있다. Subsequently, the processor 400 may output a second control signal for adjusting the intensity of a function corresponding to the target icon in response to the driver's gaze or movement recognized through the recognition module 100 . Here, the second control signal may be a control signal for increasing the intensity of the corresponding function or a control signal for decreasing the intensity of the corresponding function.

일 실시예에 따르면, 프로세서(400)는 세기 조절을 위한 세기조절 아이콘(예를 들어, 세기를 증가시키기 위한 플러스 아이콘 및 세기를 감소시키기 위한 마이너스 아이콘)을 윈드실드 상에 출력하고, 세기조절 아이콘 상에 시선 좌표가 기 설정된 제3 설정 시간 이상 머무르거나, 또는 세기조절 아이콘 상에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 제3 움직임이 인식되는 경우 제2 제어 신호를 출력할 수 있다. 이때, 프로세서(400)는 세기조절 아이콘 상에 시선 좌표가 위치한 시간에 비례하여 기능의 세기를 제어할 수도 있다. 여기서, 제3 움직임은 눈 깜빡임, 머리 회전, 머리 기울기 변화 또는 고개 끄덕임 중 하나일 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 운전자에 의해 발생될 수 있는 다양한 움직임이 제3 움직임으로 채용될 수 있다. 제3 설정 시간 및 제3 움직임은 운전자에 의해 변경될 수도 있다.According to an embodiment, the processor 400 outputs an intensity control icon (eg, a plus icon for increasing the intensity and a minus icon for decreasing the intensity) on the windshield for adjusting the intensity, and the intensity control icon A second control signal may be output when the third movement is recognized through the recognition module 100 in a state where the gaze coordinates stay on the image for a predetermined third set time or longer, or when the gaze coordinates are located on the intensity control icon. there is. At this time, the processor 400 may control the strength of the function in proportion to the time at which gaze coordinates are positioned on the strength control icon. Here, the third motion may be one of eye blinking, head rotation, head tilt change, or head nodding. However, it is not limited to the above-described embodiment, and various motions that may be generated by the driver may be employed as the third motion. The third set time and the third motion may be changed by the driver.

한편, 프로세서(400)는 대상 아이콘이 활성화된 시점으로부터 기 설정된 제4 설정 시간 이내에 제어 신호가 출력되지 않는 경우, 대상 아이콘의 활성화를 취소할 수 있다. 즉, 프로세서(400)는 대상 아이콘의 활성화 후 제4 설정 시간 이내에 제어 신호가 출력되지 않는 경우, 운전자의 의사에 반하여 대상 아이콘이 결정된 것으로 판단하고, 대상 아이콘의 활성화를 취소할 수 있다.Meanwhile, the processor 400 may cancel the activation of the target icon when the control signal is not output within a fourth preset time from when the target icon is activated. That is, if the control signal is not output within a fourth set time after activation of the target icon, the processor 400 may determine that the target icon has been determined against the driver's intention and cancel the activation of the target icon.

또한, 프로세서(400)는 대상 아이콘이 활성화된 직후에, 출력 모듈(200)을 통해 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 윈드실드 상에 출력할 수 있다. 즉, 운전자의 의사에 반하여 아이콘이 활성화된 경우에 곧바로 활성화의 취소가 가능하도록, 프로세서(400)는 대상 아이콘이 활성화된 직후 취소 아이콘을 윈드실드 상에 출력할 수 있다. 프로세서(400)는 취소 아이콘 상에 시선 좌표가 기 설정된 시간 이상 머무르거나, 또는 취소 아이콘 상에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 특정 움직임이 인식되는 경우 대상 아이콘의 활성화를 취소할 수 있다. 프로세서(400)는 대상 아이콘의 활성화가 취소되거나, 또는 대상 아이콘에 대응하는 기능을 실행하기 위한 제어 신호가 출력된 경우에는 취소 아이콘 제거할 수 있다.Also, the processor 400 may output a cancel icon for canceling the activation of the target icon on the windshield through the output module 200 immediately after the target icon is activated. That is, when an icon is activated against the driver's intention, the processor 400 may output a cancel icon on the windshield immediately after the target icon is activated so that the activation can be canceled immediately. The processor 400 cancels the activation of the target icon when the gaze coordinates stay on the cancel icon for a predetermined time or longer, or when a specific movement is recognized through the recognition module 100 while the gaze coordinates are located on the cancel icon. can do. The processor 400 may remove the cancel icon when activation of the target icon is canceled or a control signal for executing a function corresponding to the target icon is output.

전술한 바와 같이, 본 발명은 차량의 기능과 관련된 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하고, 운전자의 시선 및 움직임에 따라 윈드실드 상에 출력된 적어도 하나의 아이콘 중 하나를 선택하고, 선택된 아이콘의 기능을 실행시킴으로써 운전자의 편의성을 향상시킬 수 있다.As described above, the present invention outputs at least one icon related to the function of the vehicle on the windshield of the vehicle, selects one of the at least one icon displayed on the windshield according to the driver's gaze and movement, Driver's convenience can be improved by executing the function of the selected icon.

도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a vehicle control method according to an embodiment of the present invention.

이하에서는 도 3을 참고하여, 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하도록 한다.Hereinafter, a vehicle control method according to an embodiment of the present invention will be described with reference to FIG. 3 .

먼저, 프로세서(400)는 출력 모듈(200)을 통해 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력할 수 있다.(S100 단계) First, the processor 400 may output at least one icon on the windshield of the vehicle through the output module 200 (step S100).

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정할 수 있다.(S200 단계)Subsequently, the processor 400 may determine coordinates of the driver's gaze on the windshield based on the driver's gaze recognized through the recognition module 100 (step S200).

이어서, 프로세서(400)는 시선 좌표에 기반하여 출력 모듈(200)을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정할 수 있다.(S300 단계)Subsequently, the processor 400 may determine one of the at least one icon output through the output module 200 as the target icon based on the gaze coordinates (step S300).

이어서, 프로세서(400)는 대상 아이콘을 활성화할 수 있다.(S400 단계)Subsequently, the processor 400 may activate the target icon (step S400).

이어서, 프로세서(400)는 대상 아이콘에 대응하는 기능을 검출할 수 있다.(S500 단계)Subsequently, the processor 400 may detect a function corresponding to the target icon (step S500).

이어서, 프로세서(400)는 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단할 수 있다.(S600 단계)Subsequently, the processor 400 may determine whether the detected function is a function requiring intensity adjustment (step S600).

검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우(즉, 검출된 기능이 온오프 제어가 필요한 기능인 것으로 판단되는 경우), 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여, 해당 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력할 수 있다.(S700 단계)When it is determined that the detected function is not a function requiring intensity adjustment (ie, when it is determined that the detected function is a function requiring on/off control), the processor 400 determines the driver's information recognized through the recognition module 100. In response to gaze or movement, a first control signal for controlling on/off of a corresponding function may be output (step S700).

이어서, 프로세서(400)는 대상 아이콘의 활성화를 취소할 수 있다(S800 단계). 한편, 프로세서(400)는 대상 아이콘의 활성화 후 기 설정된 제4 설정 시간 이내에 제1 제어 신호가 출력되지 않는 경우에도 대상 아이콘의 활성화를 취소할 수 있다. Subsequently, the processor 400 may cancel the activation of the target icon (step S800). Meanwhile, the processor 400 may cancel the activation of the target icon even when the first control signal is not output within a preset fourth set time after activation of the target icon.

반면, 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 프로세서(400)는 출력 모듈(200)을 통해 해당 기능의 세기 조절에 관한 게이지바 이미지를 윈드실드 상에 출력할 수 있다.(S900 단계)On the other hand, if it is determined that the detected function is a function requiring intensity adjustment, the processor 400 may output a gauge bar image related to the intensity adjustment of the corresponding function on the windshield through the output module 200 (S900). step)

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 해당 기능의 세기 조절을 위한 제2 제어 신호를 출력할 수 있다.(S1000 단계)Subsequently, the processor 400 may output a second control signal for adjusting the intensity of the corresponding function in response to the driver's gaze or movement recognized through the recognition module 100 (step S1000).

이어서, 프로세서(400)는 제2 제어 신호를 출력한 후 소정의 시간 이내에 제2 제어 신호가 출력되지 않는 경우 대상 아이콘의 활성화를 취소할 수 있다(S1100 단계). 즉, 세기 조절은 연속적으로 이루어질 수 있으므로, 제2 제어 신호가 출력된다고 하여 바로 대상 아이콘의 활성화를 취소하지 않고, 일정 시간동안 대상 아이콘의 활성화를 유지할 수 있다. 한편, 프로세서(400)는 대상 아이콘의 활성화 후 기 설정된 제4 설정 시간 이내에 제2 제어 신호가 출력되지 않는 경우에도 대상 아이콘의 활성화를 취소할 수 있다. Subsequently, when the second control signal is not output within a predetermined time after outputting the second control signal, the processor 400 may cancel the activation of the target icon (step S1100). That is, since the intensity adjustment may be continuously performed, the activation of the target icon may be maintained for a predetermined period of time without canceling the activation of the target icon immediately when the second control signal is output. Meanwhile, the processor 400 may cancel the activation of the target icon even when the second control signal is not output within a preset fourth set time after activation of the target icon.

상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 제어 장치 및 방법은 차량의 기능과 관련된 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하고, 운전자의 시선 및 움직임에 따라 윈드실드 상에 출력된 적어도 하나의 아이콘 중 하나를 선택하고, 선택된 아이콘의 기능을 실행시킴으로써 운전자의 편의성을 향상시킬 수 있다.As described above, the vehicle control apparatus and method according to an embodiment of the present invention outputs at least one icon related to a function of the vehicle on the windshield of the vehicle, and outputs the icon on the windshield according to the driver's gaze and movement. Driver's convenience may be improved by selecting one of the at least one selected icon and executing the function of the selected icon.

본 명세서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(Application-Specific Integrated Circuit)의 형태로 구현될 수 있다.The term “module” used in this specification may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit. A module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an Application-Specific Integrated Circuit (ASIC).

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Implementations described herein may be embodied in, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Even if discussed only in the context of a single form of implementation (eg, discussed only as a method), the implementation of features discussed may also be implemented in other forms (eg, an apparatus or program). The device may be implemented in suitable hardware, software and firmware. The method may be implemented in an apparatus such as a processor, which is generally referred to as a processing device including, for example, a computer, microprocessor, integrated circuit or programmable logic device or the like. Processors also include communication devices such as computers, cell phones, personal digital assistants ("PDAs") and other devices that facilitate communication of information between end-users.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, it should be noted that this is only exemplary and various modifications and equivalent other embodiments are possible from those skilled in the art to which the technology pertains. will understand Therefore, the true technical protection scope of the present invention should be defined by the claims below.

100: 인식 모듈
200: 출력 모듈
300: 메모리
400: 프로세서100: recognition module
200: output module
300: memory
400: processor

Claims (20)

운전자의 시선 및 움직임을 인식하는 인식 모듈;
적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 출력 모듈; 및
상기 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하고, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하고, 상기 결정된 대상 아이콘을 활성화하고, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 프로세서;를 포함하는 것을 특징으로 하는 차량 제어 장치.
A recognition module for recognizing a driver's gaze and movement;
an output module outputting at least one icon on a windshield of a vehicle; and
Determines gaze coordinates on the windshield based on the driver's gaze recognized through the recognition module, determines one of at least one icon output through the output module as a target icon based on the gaze coordinates, and A vehicle control device comprising: a processor that activates the determined target icon and outputs a control signal for controlling a function corresponding to the activated target icon.
 제 1항에 있어서,
상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하고, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 하는 차량 제어 장치.
According to claim 1,
As at least part of the operation of determining the target icon, the processor,
An icon corresponding to the gaze coordinates is detected from among the at least one icon, it is determined whether a time at which the gaze coordinates are located on the detected icon is equal to or longer than a first set time, and a time at which the gaze coordinates are located is determined. and determining the detected icon as a target icon when it is determined that the time is longer than the first set time.
 제 1항에 있어서,
상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되는지 여부를 판단하고, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 하는 차량 제어 장치.
According to claim 1,
As at least part of the operation of determining the target icon, the processor,
An icon corresponding to the gaze coordinates is detected from among the at least one icon, it is determined whether a preset first motion is recognized through the recognition module, and when it is determined that the first motion is recognized, the detected icon A vehicle control device characterized in that for determining a target icon.
 제 1항에 있어서,
상기 활성화하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 것을 특징으로 하는 차량 제어 장치.
According to claim 1,
As at least part of the activating, the processor:
The vehicle control device of claim 1 , wherein a size of the target icon is changed or motion is generated to the target icon so that the target icon is distinguished from other icons.
 제 1항에 있어서,
상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 대상 아이콘에 대응하는 기능을 검출하고, 상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하고, 상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하는 것을 특징으로 하는 차량 제어 장치.
According to claim 1,
As at least part of the operation of outputting the control signal, the processor,
A function corresponding to the target icon is detected, it is determined whether the detected function is a function requiring intensity adjustment, and when it is determined that the detected function is not a function requiring intensity adjustment, recognition is performed through the recognition module. and outputting a first control signal for controlling on/off of the detected function in response to the driver's line of sight or movement.
 제 5항에 있어서,
상기 제1 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 것을 특징으로 하는 차량 제어 장치.
According to claim 5,
As at least part of the operation of outputting the first control signal, the processor,
and outputting the first control signal when the gaze coordinates stay on the target icon for a second preset time or longer or when a preset second motion is recognized through the recognition module. Device.
 제 5항에 있어서,
상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하는 것을 특징으로 하는 차량 제어 장치.
According to claim 5,
As at least part of the operation of outputting the control signal, the processor,
When it is determined that the detected function is a function requiring intensity adjustment, a second control signal for adjusting the intensity of the detected function is output in response to the driver's gaze or movement recognized through the recognition module. vehicle controls.
 제 5항에 있어서,
상기 프로세서는, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 것을 특징으로 하는 차량 제어 장치.
According to claim 5,
Wherein the processor outputs a gauge bar image related to the intensity adjustment of the detected function on the windshield through the output module when it is determined that the detected function is a function requiring intensity adjustment. Device.
 제 1항에 있어서,
상기 프로세서는, 상기 대상 아이콘이 활성화된 시점으로부터 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 것을 특징으로 하는 차량 제어 장치.
According to claim 1,
The vehicle control device, wherein the processor cancels the activation of the target icon when the control signal is not output within a predetermined third set time from when the target icon is activated.
 제 1항에 있어서,
상기 프로세서는, 상기 대상 아이콘이 활성화된 직후에, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 것을 특징으로 하는 차량 제어 장치.
According to claim 1,
The vehicle control device according to claim 1 , wherein the processor outputs a cancel icon for canceling the activation of the target icon on the windshield through the output module immediately after the target icon is activated.
 프로세서가, 출력 모듈을 통해 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 단계;
상기 프로세서가, 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하는 단계;
상기 프로세서가, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하는 단계;
상기 프로세서가, 상기 대상 아이콘을 활성화하는 단계; 및
상기 프로세서가, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
outputting, by a processor, at least one icon on a windshield of a vehicle through an output module;
determining, by the processor, gaze coordinates on the windshield based on the driver's gaze recognized through the recognition module;
determining, by the processor, one of at least one icon output through the output module as a target icon based on the gaze coordinates;
activating, by the processor, the target icon; and
and outputting, by the processor, a control signal for controlling a function corresponding to the activated target icon.
 제 11항에 있어서,
상기 대상 아이콘으로 결정하는 단계는,
상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계;
상기 프로세서가, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하는 단계; 및
상기 프로세서가, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 11,
The step of determining the target icon is,
detecting, by the processor, an icon corresponding to the gaze coordinates from among the at least one icon;
determining, by the processor, whether a time at which the gaze coordinates are located on the detected icon is greater than or equal to a first preset time; and
and determining, by the processor, the detected icon as a target icon when it is determined that the time at which the gaze coordinates are located is greater than or equal to the first set time.
 제 11항에 있어서,
상기 대상 아이콘으로 결정하는 단계는,
상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계;
상기 프로세서가, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되었는지 여부를 판단하는 단계; 및
상기 프로세서가, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 11,
The step of determining the target icon is,
detecting, by the processor, an icon corresponding to the gaze coordinates from among the at least one icon;
determining, by the processor, whether a preset first motion is recognized through the recognition module; and
and determining, by the processor, the detected icon as a target icon when it is determined that the first motion is recognized.
 제 11항에 있어서,
상기 활성화하는 단계는,
상기 프로세서가, 상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 11,
The activating step is
and changing, by the processor, a size of the target icon or generating motion to the target icon so that the target icon is distinguished from other icons.
 제 11항에 있어서,
상기 제어 신호를 출력하는 단계는,
상기 대상 아이콘에 대응하는 기능을 검출하는 단계;
상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하는 단계; 및
상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 11,
The step of outputting the control signal,
detecting a function corresponding to the target icon;
determining whether the detected function is a function requiring intensity adjustment; and
Outputting a first control signal for controlling on/off of the detected function in response to the driver's gaze or movement recognized through the recognition module when it is determined that the detected function is not a function requiring intensity adjustment. A vehicle control method comprising the steps;
 제 15항에 있어서,
상기 제1 제어 신호를 출력하는 단계는,
상기 프로세서가, 상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 15,
The step of outputting the first control signal,
outputting, by the processor, the first control signal when the gaze coordinates stay on the target icon for a second preset time or longer or when a preset second motion is recognized through the recognition module; A vehicle control method comprising a.
 제 15항에 있어서,
상기 제어 신호를 출력하는 단계는,
상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 15,
The step of outputting the control signal,
outputting a second control signal for adjusting the intensity of the detected function in response to the driver's gaze or movement recognized through the recognition module, when the processor determines that the detected function is a function requiring intensity adjustment Step; vehicle control method characterized in that it further comprises.
 제 15항에 있어서,
상기 제어 신호를 출력하는 단계는,
상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 15,
The step of outputting the control signal,
Outputting, by the processor, a gauge bar image related to the intensity adjustment of the detected function on the windshield through the output module when it is determined that the detected function is a function requiring intensity adjustment. A vehicle control method, characterized in that.
 제 11항에 있어서,
상기 활성화하는 단계 이후에,
상기 프로세서가, 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 단계;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
According to claim 11,
After the activation step,
The vehicle control method further comprising canceling activation of the target icon when the control signal is not output within a third preset time by the processor.
 제 11항에 있어서,
상기 활성화하는 단계 이후에,
상기 프로세서가, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.According to claim 11,
After the activation step,
and outputting, by the processor, a cancellation icon for canceling the activation of the target icon on the windshield through the output module.
KR1020210110543A 2021-08-20 2021-08-20 Apparatus and method for controlling vehicle KR102644877B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210110543A KR102644877B1 (en) 2021-08-20 2021-08-20 Apparatus and method for controlling vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210110543A KR102644877B1 (en) 2021-08-20 2021-08-20 Apparatus and method for controlling vehicle

Publications (2)

Publication Number Publication Date
KR20230028688A true KR20230028688A (en) 2023-03-02
KR102644877B1 KR102644877B1 (en) 2024-03-08

Family

ID=85509115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210110543A KR102644877B1 (en) 2021-08-20 2021-08-20 Apparatus and method for controlling vehicle

Country Status (1)

Country Link
KR (1) KR102644877B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526078A (en) * 2014-05-09 2017-09-07 グーグル インコーポレイテッド System and method for biomechanics-based ocular signals for interacting with real and virtual objects
KR20170141484A (en) * 2016-06-15 2017-12-26 엘지전자 주식회사 Control device for a vehhicle and control metohd thereof
KR20200140110A (en) * 2019-06-05 2020-12-15 한국전자기술연구원 Method of determining augmented reality information in vehicle and apparatus thereof
KR20200145825A (en) * 2019-06-17 2020-12-30 구글 엘엘씨 Vehicle occupant participation using 3D gaze vector
JP2021075219A (en) * 2019-11-12 2021-05-20 株式会社デンソー Display control device and display control program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526078A (en) * 2014-05-09 2017-09-07 グーグル インコーポレイテッド System and method for biomechanics-based ocular signals for interacting with real and virtual objects
KR20170141484A (en) * 2016-06-15 2017-12-26 엘지전자 주식회사 Control device for a vehhicle and control metohd thereof
KR20200140110A (en) * 2019-06-05 2020-12-15 한국전자기술연구원 Method of determining augmented reality information in vehicle and apparatus thereof
KR20200145825A (en) * 2019-06-17 2020-12-30 구글 엘엘씨 Vehicle occupant participation using 3D gaze vector
JP2021075219A (en) * 2019-11-12 2021-05-20 株式会社デンソー Display control device and display control program

Also Published As

Publication number Publication date
KR102644877B1 (en) 2024-03-08

Similar Documents

Publication Publication Date Title
US10324527B2 (en) Gaze driven interaction for a vehicle
CN111163968B (en) Display system in a vehicle
US10725655B2 (en) Operation apparatus
JP6935164B2 (en) Gesture-based input system with tactile feedback in the vehicle
US9346471B2 (en) System and method for controlling a vehicle user interface based on gesture angle
US9383579B2 (en) Method of controlling a display component of an adaptive display system
US6668221B2 (en) User discrimination control of vehicle infotainment system
US20110310001A1 (en) Display reconfiguration based on face/eye tracking
JP6464869B2 (en) Operation system
KR20180091732A (en) User interface, means of transport and method for distinguishing a user
EP3776159A1 (en) Information processing apparatus, information processing system, information processing method, and program
EP3734502B1 (en) Display method
JP2021509988A (en) Gesture recognition using mobile devices
KR102644877B1 (en) Apparatus and method for controlling vehicle
KR20200056187A (en) Apparatus and method for driver distraction warning control
US11881035B2 (en) Calibration device, calibration method, drive recorder, vehicle, and storage medium
US11667196B2 (en) Vehicle and method of controlling the same
CN110850975B (en) Electronic system with palm recognition, vehicle and operation method thereof
US20230373496A1 (en) Vehicle control device and vehicle control method
US20200218347A1 (en) Control system, vehicle and method for controlling multiple facilities
US20220392320A1 (en) Tactile presentation device and tactile presentation method
WO2022168696A1 (en) Display system for displaying gesture operation result
US20240013576A1 (en) User interface device, vehicle having the user interface device and method for controlling the vehicle
KR20100011069A (en) Finger operation and indication device for vehicle
WO2022097185A1 (en) Drowsiness detection device and drowsiness detection method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant