KR20220060627A - 차량 제어 시스템 및 차량 제어 방법 - Google Patents

차량 제어 시스템 및 차량 제어 방법 Download PDF

Info

Publication number
KR20220060627A
KR20220060627A KR1020200146280A KR20200146280A KR20220060627A KR 20220060627 A KR20220060627 A KR 20220060627A KR 1020200146280 A KR1020200146280 A KR 1020200146280A KR 20200146280 A KR20200146280 A KR 20200146280A KR 20220060627 A KR20220060627 A KR 20220060627A
Authority
KR
South Korea
Prior art keywords
vehicle
symbol
processor
sign
query
Prior art date
Application number
KR1020200146280A
Other languages
English (en)
Inventor
이경철
조재민
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200146280A priority Critical patent/KR20220060627A/ko
Priority to US17/490,171 priority patent/US20220134880A1/en
Priority to DE102021211359.1A priority patent/DE102021211359A1/de
Priority to CN202111253244.7A priority patent/CN114435131A/zh
Publication of KR20220060627A publication Critical patent/KR20220060627A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/119—Icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

개시된 차량 제어 시스템은, 디스플레이; 사용자의 음성을 획득하는 마이크; 차량 내 기호(Sign)에 관한 대화 모델을 저장하는 메모리; 및 상기 사용자의 음성에서 상기 차량 내 기호에 관한 질의를 식별하고, 상기 대화 모델을 이용하여 상기 기호에 관한 질의에 대응하는 응답을 결정하고, 상기 결정된 응답을 출력하도록 상기 디스플레이를 제어하는 프로세서;를 포함한다.

Description

차량 제어 시스템 및 차량 제어 방법{VEHICLE CONTROL SYSTEM AND VEHICLE CONTROL METHOD}
개시된 발명은 음성 인식 기술을 이용하여 사용자에게 차량 내 기호에 관한 정보를 제공하는 차량 제어 시스템 및 차량 제어 방법에 관한 것이다.
일반 운전자는 자동차가 제공하는 많은 정보 및 기능에 대해서 정확하게 알지 못하는 경우가 많다. 특히 운전 중에 차량의 각종 경고에 대한 정보를 인지하고 대처하기는 쉽지 않다.
차량에 관한 많은 정보가 차량의 계기판 또는 AVN 장치를 통해 제공된다. 예를 들면, 많은 기호들이 계기판과 AVN 장치에 표시되고 있다. 그런데 많은 운전자들은 기호들의 이름 또는 의미를 명확히 알지 못한다. 운전자가 기호의 의미를 파악하기 위해서는 매뉴얼을 참고하거나 별도의 검색을 해야 한다.
음성 인식 기술이 개발되어 있으나 차량 정보에 관한 음성 인식 기술은 많지 않고, 제한적인 서비스만을 제공하고 있다. 또한, 사용자가 차량 내부에 존재하는 기호들의 정확한 명칭을 모를 경우 음성 인식 기술을 통해 정확한 답변을 얻기에는 어려운 상황이다.
개시된 발명은 음성 인식 기술을 이용하여 사용자에게 차량 내 기호에 관한 정보를 효율적이고 정확하게 제공할 수 있는 차량 제어 시스템 및 차량 제어 방법을 제공한다.
일 실시예에 따른 차량 제어 시스템은, 디스플레이; 사용자의 음성을 획득하는 마이크; 차량 내 기호(Sign)에 관한 대화 모델을 저장하는 메모리; 및 상기 사용자의 음성에서 상기 차량 내 기호에 관한 질의를 식별하고, 상기 대화 모델을 이용하여 상기 기호에 관한 질의에 대응하는 응답을 결정하고, 상기 결정된 응답을 출력하도록 상기 디스플레이를 제어하는 프로세서;을 포함할 수 있다.
상기 프로세서는 상기 기호에 관한 질의에서 기호에 관한 특징 단어를 식별하고, 상기 대화 모델을 이용하여 상기 특징 단어에 매칭되는 상기 응답을 결정할 수 있다.
일 실시예에 따른 차량 제어 시스템은, 상기 차량 내 기호(Sign)에 관한 이미지를 획득하는 카메라;를 더 포함하고, 상기 프로세서는 상기 이미지로부터 상기 기호를 식별하고, 상기 식별된 기호 및 상기 메모리에 저장된 차량 정보 데이터베이스를 이용하여 상기 차량 내 기호에 관한 상기 대화 모델을 생성할 수 있다.
상기 프로세서는, 상기 식별된 기호의 특징을 추출하고, 상기 차량 정보 데이터베이스로부터 상기 기호의 특징에 대응하는 차량 정보를 추출할 수 있다.
상기 프로세서는, 상기 추출된 기호의 특징을 나타내는 텍스트를 생성하고, 상기 차량 정보 데이터베이스에서 상기 기호의 특징을 나타내는 상기 텍스트와 연관된 상기 차량 정보를 검색할 수 있다.
상기 프로세서는, 상기 기호의 특징을 나타내는 상기 텍스트 및 상기 검색된 차량 정보에 기초하여 상기 차량 내 기호에 관한 상기 대화 모델을 생성할 수 있다.
상기 프로세서는 상기 기호의 특징으로서 상기 식별된 기호의 색상, 모양, 위치 또는 경계 중 적어도 하나를 추출할 수 있다.
상기 프로세서는 상기 기호에 관한 질의 및 상기 응답에 기초하여 상기 대화 모델을 업데이트 할 수 있다.
상기 차량 정보 데이터베이스는, 클러스터 정보 데이터베이스, AVN 설정 데이터베이스 및 차량 매뉴얼 데이터베이스;를 포함할 수 있다.
일 실시예 따른 차량 제어 방법은, 차량 내에 마련되는 마이크를 통해 사용자의 음성을 획득하고; 프로세서에 의해, 상기 사용자의 음성에서 상기 차량 내 기호에 관한 질의를 식별하고; 상기 프로세서에 의해, 상기 대화 모델을 이용하여 상기 기호에 관한 질의에 대응하는 응답을 결정하고; 및 상기 프로세서에 의해, 상기 결정된 응답을 출력하도록 상기 차량 내에 마련되는 디스플레이를 제어하는 것;을 포함할 수 있다.
상기 대화 모델을 이용하여 상기 기호에 관한 질의에 대응하는 응답을 결정하는 것은, 상기 기호에 관한 질의에서 기호에 관한 특징 단어를 식별하고; 및 상기 대화 모델을 이용하여 상기 특징 단어에 매칭되는 상기 응답을 결정하는 것;을 포함할 수 있다.
일 실시예 따른 차량 제어 방법은, 상기 차량 내에 마련되는 카메라에 의해 상기 차량 내 기호(Sign)에 관한 이미지를 획득하고; 상기 이미지로부터 상기 기호를 식별하고; 상기 식별된 기호 및 메모리에 저장된 차량 정보 데이터베이스를 이용하여 상기 차량 내 기호에 관한 상기 대화 모델을 생성하는 것;을 더 포함할 수 있다.
상기 대화 모델을 생성하는 것은, 상기 식별된 기호의 특징을 추출하고; 및 상기 차량 정보 데이터베이스로부터 상기 기호의 특징에 대응하는 차량 정보를 추출하는 것;을 포함할 수 있다.
상기 기호의 특징에 대응하는 차량 정보를 추출하는 것은, 상기 추출된 기호의 특징을 나타내는 텍스트를 생성하고; 및 상기 차량 정보 데이터베이스에서 상기 기호의 특징을 나타내는 상기 텍스트와 연관된 상기 차량 정보를 검색하는 것;을 포함할 수 있다.
상기 대화 모델을 생성하는 것은, 상기 기호의 특징을 나타내는 상기 텍스트 및 상기 검색된 차량 정보에 기초하여 수행될 수 있다.
상기 식별된 기호의 특징을 추출하는 것은, 상기 식별된 기호의 색상, 모양, 위치 또는 경계중 적어도 하나를 추출하는 것;을 포함할 수 있다.
일 실시예 따른 차량 제어 방법은, 상기 기호에 관한 질의 및 상기 응답에 기초하여 상기 대화 모델을 업데이트 하는 것;을 더 포함할 수 있다.
상기 차량 정보 데이터베이스는, 클러스터 정보 데이터베이스, AVN 설정 데이터베이스 및 차량 매뉴얼 데이터베이스;를 포함할 수 있다.
개시된 차량 제어 시스템 및 차량 제어 방법은 음성 인식 기술을 이용하여 사용자에게 차량 내 기호에 관한 정보를 효율적이고 정확하게 제공할 수 있다.
개시된 차량 제어 시스템 및 차량 제어 방법은 차량의 사용자가 차량 내 기호의 명칭을 모르더라도 자유로운 발화를 통해 차량 내 기호에 관한 정보를 제공할 수 있다. 따라서 사용자의 차량에 관한 이해도 및 서비스 만족도가 향상될 수 있다.
도 1은 차량의 내부를 나타낸 도면이다.
도 2는 클러스터에 표시되는 기호들의 예를 도시한다.
도 3은 AVN 장치에 표시되는 기호들의 예를 도시한다.
도 4는 입력 장치에 표시되는 기호들의 예를 도시한다.
도 5는 일 실시예에 따른 차량 제어 시스템의 구성에 관한 블록도이다.
도 6은 일 실시예에 따른 프로세서에 의해 수행되는 기능 블록들을 도시한다.
도 7은 일 실시예에 따른 메모리에 저장되는 데이터베이스들의 예를 도시한다.
도 8은 일 실시예에 따른 차량 제어 방법의 순서도이다.
도 9는 일 실시예에 따른 차량 제어 시스템에서 이용되는 대화 모델의 생성에 관한 순서도이다.
도 10은 차량 내 기호의 특징을 추출하는 것을 설명하는 표이다.
도 11은 클러스터 정보 데이터베이스에 저장되는 정보의 예를 도시한다.
도 12는 AVN 정보 데이터베이스에 저장되는 정보의 예를 도시한다.
도 13은 차량 매뉴얼 데이터베이스에 저장되는 정보의 예를 도시한다.
도 14는 대화 모델 데이터베이스에 저장되는 정보의 예를 도시한다.
도 15는 일 실시예에 따른 차량 제어 방법에 의해 디스플레이에 표시되는 화면의 예를 도시한다.
도 16은 일 실시예에 따른 차량 제어 방법에 의해 디스플레이에 표시되는 화면의 다른 예를 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 상기 용어들은 전기 회로(Electrical Circuit)을 의미할 수 있고, 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수도 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예가 상세하게 설명된다.
도 1은 차량의 내부를 나타낸 도면이다.
도 1을 참조하면, 차량(1)의 내장은, 시트, 대시 보드, 계기판(클러스터, 130)를 포함할 수 있다. 계기판(클러스터, 130)은 대시 보드에 배치되고, 다양한 지시등과 경고등을 포함할 수 있다. 예를 들면, 클러스터(130)는 타코미터, 속도계, 냉각수 온도계, 연료계, 방향 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등 및 연료부족 경고등을 포함할 수 있다. 또한, 클러스터(130)는 디스플레이를 포함할 수 있고, 디지털 방식으로 구현될 수 있다. 디지털 방식으로 구현되는 클러스터(130)는 차량 상태 정보 및 주행 정보를 이미지로 표시할 수 있다.
또한, 차량(1)은 AVN 장치(140: 141, 142) 및 입력 장치(150)를 포함할 수 있다. AVN 장치(140)와 입력 장치(150)는 센터페시아에 마련될 수 있다.
AVN 장치(140)는 차량(1)의 기능 및 상태와 관련된 각종 정보를 출력할 수 있다. AVN 장치(140)는 스피커(141) 및 디스플레이(142)를 포함할 수 있다. 스피커(141)는 대시보드, 도어 등에 설치되는 적어도 하나의 스피커를 포함할 수 있다. 디스플레이(142)는 발광 다이오드(Light Emitting Diode: LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 또는 액정 디스플레이(Liquid Crystal Display) 패널일 수 있다. 또한, 디스플레이(142)는 터치 스크린을 포함할 수 있다. 디스플레이(142)는 차량 내 다양항 위치에 마련될 수 있다.
입력 장치(150)는 센터페시아, 헤드 유닛 및 스티어링 휠 등에 마련되는 차량(1)의 각종 기능과 관련된 버튼, 다이얼 또는 터치패드 중 적어도 하나를 포함할 수 있다. 예를 들면, 입력 장치(150)는 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등으로 구현될 수 있다.
차량(1)은 동력 발생 장치, 동력 전달 장치, 주행 보조 장치, 조향 장치, 제동 장치, 가속 장치, 현가 장치, 변속 장치, 연료 장치, 휠 및 배터리를 더 포함할 수 있다.
도 2는 클러스터에 표시되는 기호들의 예를 도시한다.
도 2를 참조하면, 클러스터(131)는 차량 상태를 나타내는 지시기를 포함할 수 있다. 클러스터(131)에 포함된 지시기는 각종 기호들(131)로 표시된다. 클러스터(131)에 표시되는 각 기호의 의미는 다음과 같다.
1번은 전면 안개등, 2번은 파워 스티어링 경고, 3번은 후면 안개등, 4번은 워셔액 부족 경고, 5번은 브레이크 패드 경고, 6번은 정속 주행 켜짐, 7번은 방향 지시등, 8번은 빗방울 및 빛 감지기, 9번은 동절기 모드, 10번은 정보 표시기, 11번은 예열 플러그/디젤 예열 경고, 12번은 서리 주의, 13번은 점화 스위치 경고, 14번은 차내 열쇠 없음, 15번은 전자키 배터리 부족, 16번은 차간 거리 경보, 17번은 클러치 페달 밟기, 18번은 브레이크 페달 밟기, 19번은 스티어링 잠금, 20번은 전조등, 21번은 타이어 공기압 부족, 22번은 차폭등 정보, 23번은 외부 경관등 결함, 24번은 브레이크 등 경보, 25번은 디젤 배기가스 후처리 장치 경보, 26번은 트레일러 견인 장치 경고, 27번은 공기 현가 장치 경고, 28번은 차선 이탈 경고, 29번은 촉매 변환 장치 경고, 30번은 안전 벨트 미착용 경고, 31번은 주차 브레이크등, 32번은 배터리 경고, 33번은 주차 보조 장치 켜짐, 34번은 오일 교환 등 서비스 요망, 35번은 자동 전조등, 36번은 전조등 범위 조정기, 37번은 후방 스포일러 경고, 38번은 컨버터블 천장 경고, 39번은 에어백 경고, 40번은 핸드 브레이크 경고, 41번은 연료필터에 물 있음, 42번은 에어백 비활성화, 43번은 결함문제, 44번은 전조등 하향, 45번은 에어필터 더러움, 46번은 에코 운전 지시기, 47번은 내리막길 주행 제어, 48번은 온도주의, 49번은 ABS(Anti-lock Brake System) 경고, 50번은 연료 필터 주의, 51번은 문 열림, 52번은 보닛 열림, 53번은 연료부족, 54번은 자동 기어 박스 경고, 55번은 속도제한기, 56번은 현가장치 조절기, 57번은 엔진오일 압력 부족, 58번은 앞유리 성에 제거, 59번은 트렁크 열림, 60번은 ESP(Electronic Stability Program), 61번은 레인 센서, 62번은 엔진 배출 경고, 63번은 뒷유리 성에 제거, 64번은 자동 와이퍼 작동을 의미한다.
또한, 빨간색 기호는 위험 경고를 알리는 것으로서 탑승자의 안전과 직결된 경고를 의미한다. 예를 들면, 브레이크 이상 시 또는 엔진오일 부족 시 빨간색 경고등이 켜진다. 노란색 기호는 주행 가능한 상태이나 장시간 방치할 경우 위험하다는 것을 의미한다. 녹색 또는 파란색 기호는 차량의 현재 상태를 나타내는 것으로서, 현재 어떤 기능이 수행되고 있는지 알려준다.
도 3은 AVN 장치에 표시되는 기호들의 예를 도시한다.
도 3을 참조하면, AVN 장치(140)의 디스플레이(142)는 차량(1)의 여러 기능을 실행시키거나 설정하기 위한 아이콘과 같은 기호를 포함하는 화면(143)을 출력할 수 있다. 디스플레이(142)의 화면(143)에는 아이콘 이미지와 함께 해당 아이콘의 명칭이 표시될 수 있다. 예를 들면, 디스플레이(142)는 전화 기능, 운행 정보 표시 기능, USB 비디오 기능, 경로 검색 기능, 즐겨찾기, 후석 대화 기능, A/S 서비스 연결 기능, 안드로이트 오토 기능, 지도 표시 기능, 환경 설정, 음성 메모 기능 및 후석 취침 모드를 나타내는 아이콘을 표시할 수 있다.
도 4는 입력 장치에 표시되는 기호들의 예를 도시한다.
도 4를 참조하면, 입력 장치(150)는 다이얼로 예시된다. 사용자는 입력 장치(150)를 돌려서 원하는 기능 또는 모드를 선택할 수 있다. 입력 장치(150)에는 차량(1)의 기능 또는 모드와 관련된 기호가 표시될 수 있다. 예를 들면, 입력 장치(150)에는 차량(1)의 주행 모드와 관련된 기호로서 컴포트 모드 기호, 에코 모드 기호, 스포츠 모드 기호, 스노우 모드 기호, 진흙 모드 기호 및 모래 모드 기호가 표시될 수 있다.
도 2, 도 3 및 도 4에 도시된 바와 같이, 차량(1) 내부의 장치에는 수많은 기호들이 표시될 수 있다. 그러나 사용자가 이러한 기호들을 보고 직관적으로 이해하기 어려운 문제가 있다. 본 발명은 음성 인식 기술을 이용하여 사용자에게 차량 내 기호에 관한 정보를 효율적이고 정확하게 제공하고자 한다.
도 5는 일 실시예에 따른 차량 제어 시스템의 구성에 관한 블록도이다.
도 5를 참조하면, 차량 제어 시스템(10)은 카메라(110), 마이크(120), 클러스터(130), AVN 장치(140), 입력 장치(150) 및 제어부(200)를 포함할 수 있다. 제어부(200)는 차량 제어 시스템(10)의 구성들과 전기적으로 연결되고, 각 구성들을 제어할 수 있다.
카메라(110)는 차량(1) 내부에 마련되고, 차량(1) 내부에 존재하는 기호(Sign)에 관한 이미지를 획득할 수 있다. 예를 들면, 카메라(110)는 차량(1)의 천장에 설치될 수 있다. 카메라(110)는 클러스터(130), AVN 장치(140) 및 입력 장치(150)에 표시되는 기호를 촬영하고, 이미지를 획득할 수 있다. 제어부(200)는 미리 정해진 시간마다 주기적으로 이미지를 획득하도록 카메라(110)를 제어할 수 있다. 또한, 제어부(200)는 마이크(120)를 통해 사용자 음성이 입력되는 경우 이미지를 획득하도록 카메라(110)를 제어할 수도 있다.
마이크(120)는 차량(1) 내부에 마련되고, 사용자의 음성을 획득할 수 있다. 마이크(120)는 차량(1) 내 다양한 위치에 마련될 수 있다. 예를 들면, 마이크(120)는 스티어링 휠, 좌석의 헤드 레스트 등에 설치될 수 있다.
클러스터(130)는 다양한 지시등과 경고등을 포함할 수 있다. 클러스터(130)는 차량 상태 정보 및 주행 정보를 표시할 수 있다.
AVN 장치(140)는 차량(1)의 기능 및 상태와 관련된 각종 정보를 출력할 수 있다. AVN 장치(140)는 스피커(141) 및 디스플레이(142)를 포함할 수 있다.
입력 장치(150)는 차량(1)의 각종 기능과 관련된 버튼, 다이얼 또는 터치패드 중 적어도 하나를 포함할 수 있다.
제어부(200)는 프로세서(210) 및 메모리(220)를 포함할 수 있다. 메모리(220)는 차량 제어 시스템(10)의 작동과 관련된 프로그램, 인스트럭션 및/또는 어플리케이션을 저장할 수 있다. 또한, 메모리(220)는 차량 정보를 저장할 수 있다. 프로세서(210)는 메모리(220)에 저장된 프로그램을 실행시킬 수 있다. 프로세서(210)와 메모리(220)는 하나의 칩에 집적될 수 있다. 또한, 프로세서(210)와 메모리(220)는 물리적으로 분리된 위치에 마련될 수도 있다. 또한, 프로세서(210)와 메모리(220)는 각각 복수 개로 마련될 수도 있다.
메모리(220)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자를 포함할 수 있다. 또한, 메모리(220)는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자를 포함할 수 있고, 하드디스크 드라이브(Hard Disk Drive, HDD), CD-ROM과 같은 저장 매체를 포함할 수도 있다. 메모리(220)의 종류는 예시된 것으로 한정되지 않는다.
차량(1)은 통신부(미도시)를 더 포함할 수 있다. 통신부는 외부 장치와 데이터를 송수신할 수 있다. 예를 들면, 통신부는 서버와 통신하여 데이터를 송수신할 수 있다. 통신부는 다양한 통신 기술이 적용 가능한 통신 회로일 수 있다. 통신부는 차량 간(Vehicle-to-Vehicle, V2V) 통신, Wi-Fi, 무선 근거리 통신망(WLAN), 초광대역 이동 통신(Ultra-mobile broadband, UMB), GPS, LTE(Long Term Evolution) 등의 무선 통신 기술을 이용하여 외부로부터 데이터를 수신할 수 있다.
이외에도 차량 제어 시스템(10)은 다양한 구성을 더 포함할 수 있다.
이하에서는 차량 제어 시스템(10)의 동작이 구체적으로 설명된다.
도 6은 일 실시예에 따른 프로세서에 의해 수행되는 기능 블록들을 도시한다. 도 7은 일 실시예에 따른 메모리에 저장되는 데이터베이스들의 예를 도시한다.
도 6을 참조하면, 제어부(200)의 프로세서(210)는 정보 수집 모듈(210), 이미지 분석 모듈(212), 음성 인식 모듈(213), 대화 생성 모듈(214) 및 UI 생성 모듈(215)을 포함할 수 있다.
도 7을 참조하면, 제어부(200)의 메모리(220)는 클러스터 정보 데이터베이스(221), AVN 설정 데이터베이스(222), 차량 매뉴얼 데이터베이스(223) 및 대화 모델 데이터베이스(224)를 포함할 수 있다. 클러스터 정보 데이터베이스(221), AVN 설정 데이터베이스(222), 차량 매뉴얼 데이터베이스(223)는 차량 정보 데이터베이스에 포함되는 것으로 정의될 수 있다.
클러스터 정보 데이터베이스(221)는 클러스터(130)에 표시되는 기호의 정보를 포함할 수 있다. 기호의 정보는 분류, 이미지, 명칭, 색상 및 모양에 관한 정보를 포함할 수 있다. AVN 설정 데이터베이스(222)는 AVN 장치(140)의 디스플레이(142)에 표시되는 기호들의 이미지, 명칭, 색상 및 모양에 관한 정보를 포함할 수 있다. 차량 매뉴얼 데이터베이스(223)는 차량(1) 내부의 기호에 대한 설명을 포함할 수 있다. 대화 모델 데이터베이스(224)는 대화 모델을 저장할 수 있다. 대화 모델은 차량 내 기호에 관한 질의 및 질의에 대응하는 응답을 포함할 수 있다.
다시 도 6을 참조하면, 정보 수집 모듈(210)은 차량 내 기호(Sign)에 관한 이미지 또는 기호에 관한 텍스트를 수집할 수 있다. 정보 수집 모듈(210)은 카메라(110)로부터 차량 내 기호(Sign)에 관한 이미지를 획득할 수 있다. 정보 수집 모듈(210)은 메모리(220)에 저장된 데이터베이스로부터 기호에 관한 텍스트를 획득할 수 있다. 정보 수집 모듈(210)은 미리 정해진 시간마다 주기적으로 이미지 또는 텍스트를 수집할 수 있다. 또한, 정보 수집 모듈(210)은 마이크(120)를 통해 사용자 음성이 입력되는 경우 이미지 또는 텍스트를 획득할 수도 있다.
이미지 분석 모듈(212)은 카메라(110)에 의해 획득된 이미지로부터 기호를 식별할 수 있다. 이미지 분석 모듈(212)은 식별된 기호의 특징을 추출할 수 있다. 또한, 이미지 분석 모듈(212)은 추출된 기호의 특징을 나타내는 텍스트를 생성할 수 있다. 이미지 분석 모듈(212)은 기호의 특징으로서 식별된 기호의 색상, 모양, 위치 또는 경계 중 적어도 하나를 추출할 수 있다.
음성 인식 모듈(213)은 마이크(120)를 통해 입력되는 사용자의 음성을 분석하고, 사용자 음성에 포함된 차량 내 기호에 관한 질의를 식별할 수 있다. 구체적으로, 음성 인식 모듈(213)은 기호에 관한 질의에서 기호에 관한 특징 단어를 식별할 수 있다. 또한, 음성 인식 모듈(213)은 차량 내 기호에 관한 질의를 텍스트로 변환할 수 있다.
대화 생성 모듈(214)은 메모리(220)에 저장된 대화 모델을 이용하여 기호에 관한 질의에 대응하는 응답을 결정할 수 있다. 대화 생성 모듈(214)은 사용자의 음성에 포함된 특징 단어에 매칭되는 응답을 결정할 수 있다. 또한, 대화 생성 모듈(214)은 음성 인식 모듈(213)에 의해 분석된 내용 및 차량 정보 데이터베이스에 기초하여 대화 모델을 생성할 수 있다. 대화 생성 모듈(214)은 기호에 관한 질의 및 응답에 기초하여 메모리(220)에 저장된 대화 모델을 업데이트 할 수 있다.
UI(User Interface) 생성 모듈(215)은 결정된 응답을 출력하도록 디스플레이(142)를 제어할 수 있다. UI 생성 모듈(215)은 결정된 응답에 적절한 GUI(Graphical User Interface)를 생성할 수 있다. UI 생성 모듈(215)에 의해 생성되는 GUI(Graphical User Interface)는 이미지 또는 텍스트 중 적어도 하나를 포함할 수 있다. 디스플레이(142)는 생성된 GUI를 출력할 수 있다.
도 8은 일 실시예에 따른 차량 제어 방법의 순서도이다.
도 8을 참조하면, 일 실시예에 따른 차량 제어 시스템(10)의 마이크(120)는 사용자의 음성을 획득할 수 있다(301). 차량 제어 시스템(10)의 프로세서(210)는, 사용자의 음성에서 상기 차량 내 기호에 관한 질의를 식별할 수 있다(302). 프로세서(210)는 대화 모델을 이용하여 기호에 관한 질의에 대응하는 응답을 결정할 수 있다(303). 프로세서(210)는 기호에 관한 질의에서 기호에 관한 특징 단어를 식별하고, 대화 모델을 이용하여 특징 단어에 매칭되는 응답을 결정할 수 있다. 또한, 프로세서(210)는 결정된 응답을 출력하도록 AVN 장치(140)를 제어할 수 있다.
도 9는 일 실시예에 따른 차량 제어 시스템에서 이용되는 대화 모델의 생성에 관한 순서도이다.
도 9를 참조하면, 차량 제어 시스템(10)의 카메라(110)는 차량 내 기호(Sign)에 관한 이미지를 획득할 수 있다(401). 프로세서(210)는 이미지로부터 기호를 식별할 수 있다(402). 프로세서(210)는 식별된 기호 및 메모리(220)에 저장된 차량 정보 데이터베이스를 이용하여 차량 내 기호에 관한 상기 대화 모델을 생성할 수 있다.
프로세서(210)는 식별된 기호의 특징을 추출할 수 있다(403). 프로세서(210)는 기호의 특징으로서 식별된 기호의 색상, 모양, 위치 또는 경계 중 적어도 하나를 추출할 수 있다. 프로세서(210)는 추출된 기호의 특징을 나타내는 텍스트를 생성할 수 있다(404).
프로세서(210)는 메모리(220)에 저장된 차량 정보 데이터베이스로부터 기호의 특징에 대응하는 차량 정보를 추출할 수 있다. 차량 정보는 클러스터(130)에 표시되는 기호의 정보, AVN 장치(140)의 디스플레이(142)에 표시되는 기호의 정보, AVN 장치(140)와 관련된 키워드 정보 및 차량 매뉴얼 정보를 포함할 수 있다. 구체적으로, 프로세서(210)는 차량 정보 데이터베이스에서 기호의 특징을 나타내는 텍스트와 연관된 차량 정보를 검색할 수 있다(405).
프로세서(210)는 기호의 특징을 나타내는 텍스트 및 검색된 차량 정보에 기초하여 차량 내 기호에 관한 대화 모델을 생성할 수 있다(406). 프로세서(210)는 기호에 관한 질의 및 응답에 기초하여 대화 모델을 업데이트 할 수 있다.
도 10은 차량 내 기호의 특징을 추출하는 것을 설명하는 표이다.
도 10의 표(500)를 참조하면, 차량 제어 시스템(10)의 프로세서(210)는 카메라(110)에 의해 획득된 이미지에서 기호를 식별하고, 기호의 특징을 추출할 수 있다. 예를 들면, 61번은 레인 센서, 62번은 엔진 배출 경고, 63번은 뒷유리 성에 제거, 64번은 자동 와이퍼 작동을 의미한다. 프로세서(210)는 레인 센서 기호(61)의 특징으로서 노란색, 창문 모양 및 바늘 모양을 추출할 수 있다. 프로세서(210)는 노란색, 창문 모양 및 바늘 모양을 나타내는 텍스트를 생성하고, 생성한 텍스트를 레인 센서 기호(61)에 연관시켜 메모리(220)에 저장할 수 있다.
프로세서(210)는 엔진 배출 경고 기호(62)의 특징으로서 빨간색 및 환풍기 모양을 추출할 수 있다. 프로세서(210)는 빨간색 및 환풍기 모양을 나타내는 텍스트를 생성하고, 생성한 텍스트를 엔진 배출 경고 기호(62)에 연관시켜 메모리(220)에 저장할 수 있다.
또한, 프로세서(210)는 뒷유리 성에 제거 기호(63)의 특징으로서 주황색, 화살표 모양 및 화살표 3개를 추출할 수 있다. 프로세서(210)는 주황색, 화살표 모양 및 화살표 3개를 나태는 생성하고, 생성한 텍스트를 뒷유리 성에 제거 기호(63)에 연관시켜 메모리(220)에 저장할 수 있다.
또한, 프로세서(210)는 자동 와이퍼 작동 기호(64)의 특징으로서 노란색, 오토(AUTO) 문자, 바늘 모양 및 창문 모양을 추출할 수 있다. 프로세서(210)는 노란색, 오토(AUTO) 문자, 바늘 모양 및 창문 모양을 나타내는 텍스트를 생성하고, 생성한 텍스트를 자동 와이퍼 작동 기호(64)에 연관시켜 메모리(220)에 저장할 수 있다.
도 10에서 설명된 것은 예시에 해당하고, 프로세서(210)는 다른 기호의 특징을 추출하여 텍스트로 저장할 수 있다. 프로세서(210)는 텍스트로 저장된 기호의 특징과 매칭되는 차량 정보를 메모리(220)의 데이터베이스에서 찾을 수 있다. 프로세서(210)는 기호의 특징과 차량 정보를 연관시켜 대화 모델을 생성할 수 있다.
도 11은 클러스터 정보 데이터베이스에 저장되는 정보의 예를 도시한다. 도 12는 AVN 정보 데이터베이스에 저장되는 정보의 예를 도시한다. 도 13은 차량 매뉴얼 데이터베이스에 저장되는 정보의 예를 도시한다. 도 14는 대화 모델 데이터베이스에 저장되는 정보의 예를 도시한다.
도 11을 참조하면, 클러스터 정보 데이터베이스(221)는 클러스터(130)에 표시되는 기호의 정보(600)를 포함할 수 있다. 기호의 정보는 분류, 이미지, 명칭, 색상 및 모양에 관한 정보를 포함할 수 있다. 클러스터(130)에 표시되는 기호들의 분류, 명칭, 색상 및 모양에 관한 정보는 텍스트로 저장될 수 있다. 예를 들면, 엔진 오일 경고를 나타내는 기호에 관한 정보는 위험 신호, 엔진 오일 경고, 빨강(레드), 램프 및 모양/물방울 모양/주전자 모양으로 저장될 수 있다. 냉각수 과열 기호, 워셔액 기호, ESP 기호, ECO 모드 기호, 오토 스톱/스타트 기호에 관한 정보도 도 11과 같이 저장될 수 있다.
도 12를 참조하면, AVN 설정 데이터베이스(222)는 각종 기능들에 관련된 키워드 정보(700)를 포함할 수 있다. 마이크(120)를 통해 특정 키워드를 포함하는 사용자의 음성이 수신되는 경우, 프로세서(210)는 사용자의 음성에 포함된 키워드를 추출하고, 추출된 키워드에 대응하는 차량의 기능을 실행할 수 있다. 예를 들면, 설정 검색 기능에 관련된 키워드는 '설정 검색'일 수 있고, 차량 설정 기능에 관련된 키워드는 '차량 설정'일 수 있다. 또한, 헤드업 디스플레이 설정 기능에 관련된 키워드는 '헤드업 디스플레이 설정', '헤드업 디스플레이', '헤드업', '디스플레이' 및 '허드'를 포함할 수 있다. 또한, 영상 조정 기능, 운전자 보조 기능, 스마트 크루즈 기능, 주행 보조 기능 각각에 관한 키워드도 도 12와 같이 예시될 수 있다.
또한, AVN 설정 데이터베이스(222)는 AVN 장치(140)에 표시되는 기호의 이미지, 명칭, 색상 및 모양에 관한 정보를 포함할 수 있다. AVN 장치(140)에 표시되는 기호들의 명칭, 색상 및 모양에 관한 정보는 텍스트로 저장될 수 있다. 예를 들면, 전화 기능의 기호에 관한 정보는 흰색, 전화기 모양을 포함할 수 있다.
도 13을 참조하면, 차량 매뉴얼 데이터베이스(223)는 차량(1) 내부의 기호에 대한 설명(800)을 포함할 수 있다. 기호에 대한 설명(800)은 텍스트로 저장될 수 있다. 예를 들면, 차량 매뉴얼 데이터베이스(223)에는 엔진 오일 경고등에 관한 설명이 "엔진 오일 경고등은 엔진 오일 압력이 낮은 경우에 발생할 수 있음"과 같이 저장될 수 있다. 냉각수 과열에 관한 설명은 "냉각수 온도가 120
Figure pat00001
이상으로 상승했을 경우에 점등됨"과 같이 저장될 수 있다. ESP 경고에 관한 설명, 워셔액 경고에 관한 설명, 에코 모드에 관한 설명, 오도 스톱/스타트에 관한 설명도 도 13과 같이 저장될 수 있다. 이외에도, 차량 매뉴얼 데이터베이스(223)는 차량(1)에 관한 모든 정보가 포함되어 있다.
도 14를 참조하면, 대화 모델 데이터베이스(224)는 대화 모델(900)을 저장할 수 있다. 대화 모델(900)은 차량 내 기호에 관한 질의 및 질의에 대응하는 응답을 포함할 수 있다. 대화 모델(900)은 텍스트로 저장될 수 있다. 프로세서(210)는 클러스터 정보 데이터베이스(221), AVN 설정 데이터베이스(222) 및 차량 매뉴얼 데이터베이스(223)를 포함하는 차량 정보 데이터베이스를 이용하여 대화 모델(900)을 생성할 수 있다. 또한, 프로세서(210)는 대화 모델(900)을 이용하여 기호에 관한 질의에 대응하는 응답을 결정할 수 있다.
예를 들면, 대화 모델(900)은 차량 내 기호에 관한 질의로서 "엔진 경고등이 뭐야?"를 포함하고, 이에 대한 응답으로서 "빨간색 주전자 모양의 경고등으로 표시됩니다. 엔진 오일의 압력이 낮은 경우 엔진 오일 경고등이 점등됩니다."를 포함할 수 있다. 마이크(120)를 통해 입력된 사용자의 음성이 "엔진 경고등이 뭐야?"라는 질의를 포함하는 경우, 프로세서(210)는 "빨간색 주전자 모양의 경고등으로 표시됩니다. 엔진 오일의 압력이 낮은 경우 엔진 오일 경고등이 점등됩니다."라는 응답이 출력되도록 AVN 장치(140)를 제어할 수 있다.
사용자의 음성이 "온도계 모양은 뭐야?"라는 질의를 포함하는 경우, 프로세서(210)는 "냉각수 과열 경고등입니다. 냉각수 과열 경고를 무시하고 계속 주행하면 엔진 오버 히트가 발생하고 엔진 헤드 변형으로 인한 고장의 원인이 될 수 있습니다."라는 응답이 출력되도록 AVN 장치(140)를 제어할 수 있다.
사용자의 음성이 "차량 미끄러지는 모양은 뭐야?"라는 질의를 포함하는 경우, 프로세서(210)는 "ESP 경고등입니다. ESP 경고들이 깜빡일 경우, 각각의 바퀴가 미끄러져서 ESP 장치가 개입한 상황입니다."라는 응답이 출력되도록 AVN 장치(140)를 제어할 수 있다.
사용자의 음성이 "분수 그림 뭐야?"라는 질의를 포함하는 경우, 프로세서(210)는 "워셔액 경고등입니다. 워셔액이 부족한 상태이므로 워셔액을 채워주세요."라는 응답이 출력되도록 AVN 장치(140)를 제어할 수 있다.
사용자의 음성이 "에코 기능 뭐야?"라는 질의를 포함하는 경우, 프로세서(210)는 "경제 운전을 위해 급가속 급제동의 출력을 제어하고 연비 위주의 기어 단수를 조절해주는 기능입니다."라는 응답이 출력되도록 AVN 장치(140)를 제어할 수 있다.
사용자의 음성이 "A모양에 화살표 기호는 뭐야?"라는 질의를 포함하는 경우, 프로세서(210)는 "오토 스탑/스타트 기능입니다. 공회전을 막아 연료 소비를 줄여주는 것으로, 차량이 멈추면 시동이 꺼지는 기능입니다."라는 응답이 출력되도록 AVN 장치(140)를 제어할 수 있다.
도 14에 기재된 질문과 답변은 예시에 불과하고, 대화 모델은 수많은 질문과 답변을 포함할 수 있다. 또한, 대화 모델은 학습될 수 있다. 즉, 프로세서(210)는 대화 모델을 지속적으로 업데이트 할 수 있다.
도 15는 일 실시예에 따른 차량 제어 방법에 의해 AVN 장치에 표시되는 화면의 예를 도시한다. 도 16은 일 실시예에 따른 차량 제어 방법에 의해 AVN 장치에 표시되는 화면의 다른 예를 도시한다.
도 15에 도시된 AVN 장치(140)의 화면(1000)을 참조하면, AVN 장치(140)는 마이크(120)를 통해 입력된 "에어컨 옆에 있는 아이콘 설명해줘"와 같은 질의를 포함하는 사용자 음성을 텍스트로 표시할 수 있다. 즉, 질의 대상이 되는 기호의 주변 특징(ex. 주변 장치, 주변 기호)을 설명하는 사용자 음성이 입력될 수 있다. 프로세서(210)는 질의 대상이 되는 기호의 주변 특징에 기초하여 질의 대상이 되는 기호의 위치를 추정할 수 있다. 또한, 차량 제어 시스템(10)의 프로세서(210)는 기호의 상세 특징을 요구하는 응답을 출력하도록 AVN 장치(140)를 제어할 수 있다. 이에 대해 사용자는 "주황색 네모 화살표가 3개 있네"와 같이 발화할 수 있다. 차량 제어 시스템(10)의 프로세서(210)는 사용자의 발화로부터 기호에 관한 특징 단어인 "주황색", "네모" 및 "화살표 3개"를 식별할 수 있다. 프로세서(210)는 메모리(220)에 저장된 대화 모델을 참조하여 특징 단어에 매칭되는 기호의 이미지와 함께 안내 메시지를 출력하도록 AVN 장치(140)를 제어할 수 있다.
도 16에 도시된 AVN 장치(140)의 화면(1100)을 참조하면, AVN 장치(140)는 마이크(120)를 통해 입력된 " 계기판에서 부채꼴 모양 안에 바늘이 있는 표시는 뭐야?"와 같은 질의를 포함하는 사용자 음성을 텍스트로 표시할 수 있다. 차량 제어 시스템(10)의 프로세서(210)는 사용자의 발화로부터 기호에 관한 특징 단어인 "부채꼴 모양" 및 "바늘"을 식별할 수 있다. 프로세서(210)는 메모리(220)에 저장된 대화 모델을 참조하여 특징 단어에 매칭되는 기호를 찾을 수 있다. 매칭되는 기호가 복수인 경우, 프로세서(210)는 매칭된 각 기호의 이미지와 각 기호에 대응하는 설명을 모두 출력하도록 AVN 장치(140)를 제어할 수 있다.
개시된 차량 제어 시스템 및 차량 제어 방법은 음성 인식 기술을 이용하여 사용자에게 차량 내 기호에 관한 정보를 효율적이고 정확하게 제공할 수 있다.
개시된 차량 제어 시스템 및 차량 제어 방법은 차량의 사용자가 차량 내 기호의 명칭을 모르더라도 자유로운 발화를 통해 차량 내 기호에 관한 정보를 제공할 수 있다. 따라서 사용자의 차량에 관한 이해도 및 서비스 만족도가 향상될 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 프로그램 및/또는 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량
110: 카메라
120: 마이크
130: 클러스터
140: AVN 장치
150: 입력 장치
200: 제어부
210: 프로세서
220: 메모리

Claims (18)

  1. 디스플레이;
    사용자의 음성을 획득하는 마이크;
    차량 내 기호(Sign)에 관한 대화 모델을 저장하는 메모리; 및
    상기 사용자의 음성에서 상기 차량 내 기호에 관한 질의를 식별하고, 상기 대화 모델을 이용하여 상기 기호에 관한 질의에 대응하는 응답을 결정하고, 상기 결정된 응답을 출력하도록 상기 디스플레이를 제어하는 프로세서;을 포함하는 차량 제어 시스템.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 기호에 관한 질의에서 기호에 관한 특징 단어를 식별하고, 상기 대화 모델을 이용하여 상기 특징 단어에 매칭되는 상기 응답을 결정하는, 차량 제어 시스템.
  3. 제1항에 있어서,
    상기 차량 내 기호(Sign)에 관한 이미지를 획득하는 카메라;를 더 포함하고,
    상기 프로세서는
    상기 이미지로부터 상기 기호를 식별하고, 상기 식별된 기호 및 상기 메모리에 저장된 차량 정보 데이터베이스를 이용하여 상기 차량 내 기호에 관한 상기 대화 모델을 생성하는, 차량 제어 시스템.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 식별된 기호의 특징을 추출하고, 상기 차량 정보 데이터베이스로부터 상기 기호의 특징에 대응하는 차량 정보를 추출하는, 차량 제어 시스템.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 추출된 기호의 특징을 나타내는 텍스트를 생성하고, 상기 차량 정보 데이터베이스에서 상기 기호의 특징을 나타내는 상기 텍스트와 연관된 상기 차량 정보를 검색하는, 차량 제어 시스템.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 기호의 특징을 나타내는 상기 텍스트 및 상기 검색된 차량 정보에 기초하여 상기 차량 내 기호에 관한 상기 대화 모델을 생성하는, 차량 제어 시스템.
  7. 제4항에 있어서,
    상기 프로세서는
    상기 기호의 특징으로서 상기 식별된 기호의 색상, 모양, 위치 또는 경계 중 적어도 하나를 추출하는, 차량 제어 시스템.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 기호에 관한 질의 및 상기 응답에 기초하여 상기 대화 모델을 업데이트 하는, 차량 제어 시스템.
  9. 제3항에 있어서,
    상기 차량 정보 데이터베이스는,
    클러스터 정보 데이터베이스, AVN 설정 데이터베이스 및 차량 매뉴얼 데이터베이스;를 포함하는, 차량 제어 시스템.
  10. 차량 내에 마련되는 마이크를 통해 사용자의 음성을 획득하고;
    프로세서에 의해, 상기 사용자의 음성에서 상기 차량 내 기호에 관한 질의를 식별하고;
    상기 프로세서에 의해, 상기 대화 모델을 이용하여 상기 기호에 관한 질의에 대응하는 응답을 결정하고; 및
    상기 프로세서에 의해, 상기 결정된 응답을 출력하도록 상기 차량 내에 마련되는 디스플레이를 제어하는 것;을 포함하는 차량 제어 방법.
  11. 제10항에 있어서,
    상기 대화 모델을 이용하여 상기 기호에 관한 질의에 대응하는 응답을 결정하는 것은,
    상기 기호에 관한 질의에서 기호에 관한 특징 단어를 식별하고; 및
    상기 대화 모델을 이용하여 상기 특징 단어에 매칭되는 상기 응답을 결정하는 것;을 포함하는 차량 제어 방법.
  12. 제10항에 있어서,
    상기 차량 내에 마련되는 카메라에 의해 상기 차량 내 기호(Sign)에 관한 이미지를 획득하고;
    상기 이미지로부터 상기 기호를 식별하고;
    상기 식별된 기호 및 메모리에 저장된 차량 정보 데이터베이스를 이용하여 상기 차량 내 기호에 관한 상기 대화 모델을 생성하는 것;을 더 포함하는 차량 제어 방법.
  13. 제12항에 있어서,
    상기 대화 모델을 생성하는 것은,
    상기 식별된 기호의 특징을 추출하고; 및
    상기 차량 정보 데이터베이스로부터 상기 기호의 특징에 대응하는 차량 정보를 추출하는 것;을 포함하는 차량 제어 방법.
  14. 제13항에 있어서,
    상기 기호의 특징에 대응하는 차량 정보를 추출하는 것은,
    상기 추출된 기호의 특징을 나타내는 텍스트를 생성하고; 및
    상기 차량 정보 데이터베이스에서 상기 기호의 특징을 나타내는 상기 텍스트와 연관된 상기 차량 정보를 검색하는 것;을 포함하는 차량 제어 방법.
  15. 제14항에 있어서,
    상기 대화 모델을 생성하는 것은,
    상기 기호의 특징을 나타내는 상기 텍스트 및 상기 검색된 차량 정보에 기초하여 수행되는, 차량 제어 방법.
  16. 제13항에 있어서,
    상기 식별된 기호의 특징을 추출하는 것은,
    상기 식별된 기호의 색상, 모양, 위치 또는 경계중 적어도 하나를 추출하는 것;을 포함하는 차량 제어 방법.
  17. 제10항에 있어서,
    상기 기호에 관한 질의 및 상기 응답에 기초하여 상기 대화 모델을 업데이트 하는 것;을 더 포함하는 차량 제어 방법.
  18. 제12항에 있어서,
    상기 차량 정보 데이터베이스는,
    클러스터 정보 데이터베이스, AVN 설정 데이터베이스 및 차량 매뉴얼 데이터베이스;를 포함하는 차량 제어 방법.
KR1020200146280A 2020-11-04 2020-11-04 차량 제어 시스템 및 차량 제어 방법 KR20220060627A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200146280A KR20220060627A (ko) 2020-11-04 2020-11-04 차량 제어 시스템 및 차량 제어 방법
US17/490,171 US20220134880A1 (en) 2020-11-04 2021-09-30 Vehicle Control System and Control Method of Vehicle
DE102021211359.1A DE102021211359A1 (de) 2020-11-04 2021-10-08 Fahrzeugsteuerungssystem und steuerungsverfahren für ein fahrzeug
CN202111253244.7A CN114435131A (zh) 2020-11-04 2021-10-27 车辆控制系统和车辆的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146280A KR20220060627A (ko) 2020-11-04 2020-11-04 차량 제어 시스템 및 차량 제어 방법

Publications (1)

Publication Number Publication Date
KR20220060627A true KR20220060627A (ko) 2022-05-12

Family

ID=81184568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146280A KR20220060627A (ko) 2020-11-04 2020-11-04 차량 제어 시스템 및 차량 제어 방법

Country Status (4)

Country Link
US (1) US20220134880A1 (ko)
KR (1) KR20220060627A (ko)
CN (1) CN114435131A (ko)
DE (1) DE102021211359A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720680B2 (en) * 2004-06-17 2010-05-18 Robert Bosch Gmbh Interactive manual, system and method for vehicles and other complex equipment
US20190027147A1 (en) * 2017-07-18 2019-01-24 Microsoft Technology Licensing, Llc Automatic integration of image capture and recognition in a voice-based query to understand intent
US10942966B2 (en) * 2017-09-22 2021-03-09 Pinterest, Inc. Textual and image based search
KR102414456B1 (ko) * 2017-10-23 2022-06-30 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
US11227592B1 (en) * 2019-06-27 2022-01-18 Amazon Technologies, Inc. Contextual content for voice user interfaces

Also Published As

Publication number Publication date
US20220134880A1 (en) 2022-05-05
DE102021211359A1 (de) 2022-05-05
CN114435131A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110114810B (zh) 信息处理系统、信息处理方法以及存储介质
US10107888B1 (en) Vehicle status monitoring system and vehicle
EP3738854B1 (en) Driving assistance method, driving assistance device using same, automatic driving control device, vehicle, and driving assistance program
CN104731854B (zh) 语音识别查询响应系统
CN106461938B (zh) 控制显示器亮度的系统和方法以及使用该系统的显示器
US9274337B2 (en) Methods and apparatus for configuring and using an enhanced driver visual display
US20150109756A1 (en) Apparatus and method for displaying cluster
CN106448221B (zh) 一种在线辅助驾驶信息推送系统的推送方法及其应用
US20200191588A1 (en) System and method for providing optimal-fuel-efficiency driving pattern according to travel route
US8988206B2 (en) In-vehicle informing device and informing method
WO2018170406A1 (en) Handheld mobile device for adaptive vehicular operations
US11126871B2 (en) Advanced warnings for drivers of vehicles for upcoming signs
US20150070195A1 (en) Method and system to reduce braking for stop lights
CN111986502A (zh) 行车提醒方法、车载终端、计算机可读存储介质及车辆
US8200418B2 (en) Screen formation system, screen formation method, and program
JP4858094B2 (ja) ディスプレイ表示システム
CN110873176A (zh) 基于语音控制的汽车换挡控制方法、设备、介质及系统
KR101339527B1 (ko) 추가적인 차량정보를 제공하기 위한 무선 업데이트장치 및 방법
US11221228B2 (en) Vehicle, and method of controlling the same
CN106945671B (zh) 具有多个设定点的车辆巡航控制
US20220134880A1 (en) Vehicle Control System and Control Method of Vehicle
KR20170002087A (ko) 디스플레이 장치 및 이를 포함하는 차량
WO2005093683A1 (de) Verfahren zur information über geschwindigkeitsbeschränkungen
CN111511599A (zh) 用于运行辅助系统的方法和汽车用辅助系统
CN112793419B (zh) 一种车辆限速显示方法、装置和汽车