KR102036606B1 - System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition - Google Patents

System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition Download PDF

Info

Publication number
KR102036606B1
KR102036606B1 KR1020160110589A KR20160110589A KR102036606B1 KR 102036606 B1 KR102036606 B1 KR 102036606B1 KR 1020160110589 A KR1020160110589 A KR 1020160110589A KR 20160110589 A KR20160110589 A KR 20160110589A KR 102036606 B1 KR102036606 B1 KR 102036606B1
Authority
KR
South Korea
Prior art keywords
information
voice recognition
driver
driving
hud
Prior art date
Application number
KR1020160110589A
Other languages
Korean (ko)
Other versions
KR20180025379A (en
Inventor
박선홍
오영달
류동운
Original Assignee
자동차부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자동차부품연구원 filed Critical 자동차부품연구원
Priority to KR1020160110589A priority Critical patent/KR102036606B1/en
Publication of KR20180025379A publication Critical patent/KR20180025379A/en
Application granted granted Critical
Publication of KR102036606B1 publication Critical patent/KR102036606B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Abstract

본 발명은 음성 인식률을 고려하여, 운전자 및 주행상황 맞춤형 정보를 헤드 업 디스플레이(HUD, Head Up Display)를 통해 제공하는 시스템 및 방법에 관한 것이다.
본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보와 주행 상황 정보를 획득하는 정보 획득부 및 운전자의 상태 정보와 주행 상황 정보를 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD를 통해 제시하는 음성 인식 후보 명령어 제시부를 포함하는 것을 특징으로 한다. The present invention relates to a system and method for providing a driver and driving situation customized information through a head up display (HUD) in consideration of a voice recognition rate.
The HUD information providing system for the driver and the driving situation in consideration of the voice recognition rate according to the present invention is provided to the driver by comprehensively considering the driver's status information and the driving status information and the information acquisition unit for acquiring the driver's status information and the driving status information. A voice recognition candidate command presentation unit for presenting a voice recognition candidate command through the HUD is included according to a result of considering a recognition rate for words included in the voice recognition candidate command list for executing the function and extracting a function determined to be necessary. Characterized in that.

Description

음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVISION OF HEAD UP DISPLAY INFORMATION ACCORDING TO DRIVER'S CONDITION AND DRIVING CONDITION BASED ON SPEECH RECOGNITION}SYSTEM AND METHOD FOR PROVISION OF HEAD UP DISPLAY INFORMATION ACCORDING TO DRIVER'S CONDITION AND DRIVING CONDITION BASED ON SPEECH RECOGNITION}

본 발명은 음성 인식률을 고려하여, 운전자 및 주행상황 맞춤형 정보를 헤드 업 디스플레이(HUD, Head Up Display)를 통해 제공하는 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for providing a driver and driving situation customized information through a head up display (HUD) in consideration of a voice recognition rate.

자동차 유리(Windshield, 윈드실드)는 단순히 외부를 보여주고 비바람을 막아주는 역할에서 벗어나 첨단 전자 기술이 적용된 스마트 윈도로 거듭나고 있다. Windshields are emerging as smart windows with cutting-edge electronics, rather than simply showing the outside and blocking the weather.

대표적인 스마트 윈도 기술인 헤드 업 디스플레이는 차량의 현재 속도, 연료 잔량, 내비게이션 길 안내 정보 등을 표시하는 정도에 그치고 있어, 운전자 상태 또는 주행 상황에 입각한 기능 추천 등은 수행하지 못하는 한계가 있다. Head-up display, a representative smart window technology, displays only the current speed of the vehicle, fuel level, navigation road guide information, and the like, and there is a limit in that it cannot perform a function recommendation based on a driver's condition or driving condition.

또한, 차량 내 기기를 실행하기 위한 수단으로서 음성 인식 기술이 제안되고 있으나, 운전자는 미리 지정된 음성인식 단어 집합을 외워야 하는 번거로움이 있고, 사투리 및 방언 등 운전자의 특성과 주행소음(풍절음)에 따른 음성 인식의 한계가 있는 문제점이 있다. In addition, voice recognition technology has been proposed as a means for executing in-vehicle devices, but the driver has to memorize a predetermined set of speech recognition words, and according to the characteristics of the driver such as dialect and dialect, and driving noise (wind sound) There is a problem with the limitation of speech recognition.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 운전자의 상태 및 주행 상황을 동시에 종합적으로 고려하여, 운전자에게 제공함이 필요하다고 판단되는 차량 내 기기의 기능을 선별하여 그 기능을 실행하는 음성 인식 후보 명령어를 HUD를 통해 표출하여 추천하되, 음성 인식률을 고려하여 추천하는 것이 가능한 HUD 정보 제공 시스템 및 방법을 제공하는 데 목적이 있다. The present invention has been proposed to solve the above-described problems, and in consideration of the driver's state and driving conditions simultaneously, a voice recognition for selecting a function of an in-vehicle device which is determined to be provided to the driver and executing the function. It is an object of the present invention to provide a HUD information providing system and method capable of recommending a candidate command by expressing it through a HUD and considering the speech recognition rate.

본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보와 주행 상황 정보를 획득하는 정보 획득부 및 운전자의 상태 정보와 주행 상황 정보를 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD를 통해 제시하는 음성 인식 후보 명령어 제시부를 포함하는 것을 특징으로 한다. The HUD information providing system for the driver and the driving situation in consideration of the voice recognition rate according to the present invention is provided to the driver by comprehensively considering the driver's status information and the driving status information and the information acquisition unit for acquiring the driver's status information and the driving status information. A voice recognition candidate command presentation unit for presenting a voice recognition candidate command through the HUD according to a result of considering a recognition rate for each word included in the voice recognition candidate command list for executing the function and extracting a function determined to be necessary Characterized in that.

본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법은 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계와, 운전자의 상태 정보, 주행 상황 정보 및 그에 따른 음성 인식률을 고려하여, 주행 차량 기기에 대한 음성 인식 후보 명령어를 추출하는 단계 및 음성 인식 후보 명령어를 HUD를 통해 디스플레이하는 단계를 포함하는 것을 특징으로 한다. According to an embodiment of the present disclosure, a method of providing HUD information customized to a driver and a driving situation in consideration of a voice recognition rate may include obtaining driver's state information and driving situation information, and considering driving state information, driving situation information, and a voice recognition rate according thereto. And extracting the voice recognition candidate command for the vehicle device and displaying the voice recognition candidate command through the HUD.

본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템 및 방법은, 주행 중 운전자의 피로도, 졸음 등 운전자 상태와, 차속, 주행소음, 진동 등 주행 상황을 동시에 종합적으로 고려하며, 상황별 음성 인식률을 고려하여 차량 내 기능을 실행하기 위한 음성 인식 후보 명령어를 추천 제공하는 것이 가능한 효과가 있다. The system and method for providing customized HUD information and driving conditions in consideration of the voice recognition rate according to the present invention simultaneously considers the driving conditions such as fatigue, drowsiness of the driver while driving, and driving conditions such as vehicle speed, driving noise, and vibration at the same time. It is possible to recommend a voice recognition candidate command for executing an in-vehicle function in consideration of the respective voice recognition rate.

본 발명에 따르면 운전자는 별도의 사전 학습 없이도 현재 자신에게 제공됨이 필요한 추천 명령에 대하여 음성 인식률을 고려한 후보 명령어 리스트를 직관적으로 확인할 수 있어, 주행 중 필요한 기능에 대한 실행을 원활히 명령할 수 있는 효과가 있다. According to the present invention, the driver can intuitively check a list of candidate commands considering a voice recognition rate for a recommendation command that is currently required to be provided to the user without any prior learning, so that the driver can smoothly command the execution of necessary functions while driving. have.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템이 적용된 차량 내부를 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 창문 개방 명령 선택을 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 창문 개방을 위한 음성 인식 후보 명령어 표출 상태를 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법을 나타내는 순서도이다. 1 is a block diagram illustrating a system for providing HUD information customized to a driver and a driving situation in consideration of a voice recognition rate according to an exemplary embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating an interior of a vehicle to which a driver and a driving situation customized HUD information providing system considering a voice recognition rate according to an exemplary embodiment of the present invention are applied.
3 is a conceptual diagram illustrating a window opening command selection according to an embodiment of the present invention.
4 is an exemplary view illustrating a voice recognition candidate command expression state for opening a window according to an embodiment of the present invention.
5 is a flowchart illustrating a method of providing HUD information customized to a driver and a driving situation in consideration of a voice recognition rate according to an exemplary embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only the following embodiments are provided to those skilled in the art to which the present invention pertains. It is merely provided to easily inform the configuration and effects, the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and / or “comprising” refers to the presence of one or more other components, steps, operations and / or devices in which the mentioned components, steps, operations and / or devices are described. Or does not exclude addition.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보와 주행 상황 정보를 획득하는 정보 획득부(100) 및 운전자의 상태 정보와 주행 상황 정보를 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD(300)를 통해 제시하는 음성 인식 후보 명령어 제시부(200)를 포함하는 것을 특징으로 한다. 1 and 2, the HUD information providing system for a driver and a driving situation in consideration of a voice recognition rate according to an embodiment of the present invention may include an information acquisition unit 100 and driver information for acquiring driver status information and driving situation information. Extracts a function determined to be provided to the driver by comprehensively considering the status information and driving situation information, and recognizes the voice according to a result of considering each recognition rate for words included in the voice recognition candidate command list for executing the function. And a voice recognition candidate command presenter 200 for presenting the candidate command through the HUD 300.

본 발명의 실시예에 따른 정보 획득부(100)는 대표적으로 카메라(100a)를 포함하여 구성되어, 운전자의 상태 정보(운전 충실도에 대한 운전 상태 정보 및 졸음, 피로도에 대한 운전자의 컨디션 정보)를 획득한다. Information acquisition unit 100 according to an embodiment of the present invention is typically configured to include a camera (100a), the driver's state information (driving state information on driving fidelity and driver's condition information on drowsiness, fatigue) Acquire.

예컨대, 운전자의 동공 인식, 졸음 운전 시 발생하는 고개의 끄덕거림, 운전자의 팔 동작(눈을 부비거나 목 또는 어깨를 주무르는 동작) 인식을 통해, 운전자의 상태 정보를 획득하여 운전자가 졸음 운전을 하는 상황인지 여부를 판별하게 된다. For example, the driver acquires the driver's status information through the driver's pupil recognition, the nodding of the head during the drowsiness driving, and the driver's arm motion (swelling of the eyes or the neck or shoulder). It is determined whether or not the situation.

본 발명의 상세한 설명에서는 당업자의 이해를 돕기 위하여 운전자가 졸음 운전을 하는 상황을 가정하여 그 대표적인 실시예를 설명한다. In the detailed description of the present invention, a representative embodiment will be described assuming a situation in which a driver makes a drowsy driving to help a person skilled in the art understand.

본 발명에 따르면 졸음 운전이 발생하는 경우 차량 내 기기(창문, 오디오, 공조기 등)를 제어함에 그치지 아니하고, 운전자의 상태 정보(졸음 운전), 주행 상황 정보 및 음성 인식률을 동시에 종합적으로 고려하여 운전자에게 제공됨이 필요하다고 판단되는 기능을 실행하는 음성 인식 후보 명령어를 추출하는 것을 그 기술적 요지로 한다. According to the present invention, when drowsy driving occurs, not only the control of devices in the vehicle (window, audio, air conditioner, etc.) but also the driver's status information (drowsy driving), driving situation information, and voice recognition rate are simultaneously considered. The technical gist of the present invention is to extract a speech recognition candidate command for executing a function that is determined to be provided.

즉, 졸음 운전 시 이를 해결하기 위한 차량 내 기기 제어 정보로는 창문 개방을 통한 환기, 공조기 제어를 통한 차량 내 온도 또는 내/외기 순환 방식 변경, 오디오 제어를 통한 음악 플레이 등이 가능하다 할 것인데, 운전자의 상태, 주행 상황 정보 및 음성 인식률을 종합적으로 고려하는 본 발명의 실시예에 따르면 현 상황에서 가장 적절한 기능을 실행하는 후보 명령어를 HUD를 통해 제시하는 것이 가능하다.In other words, the device control information in the vehicle to solve the drowsy driving can be ventilated through the window opening, changing the temperature or the inside / outside circulation method of the vehicle through the air conditioner control, music play through the audio control, etc. According to an exemplary embodiment of the present invention which comprehensively considers a driver's state, driving situation information, and voice recognition rate, it is possible to present a candidate command for executing the most appropriate function in the current situation through the HUD.

운전자 전방 유리에는 헤드업디스플레이(300)를 통해 그래픽 이미지가 투영되는 HUD 영역(300a)이 배치되며, 정보 획득부(100)는 전술한 운전자의 상태 정보 외에 차량 ECU로부터 주행 상황 정보를 획득하게 되는데, 크게 차량 내 온도, 산소 포화도, 차속, 소음, 진동에 관한 내부 환경 정보와, 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보에 관한 외부 환경 정보를 획득한다. The HUD area 300a, through which the graphic image is projected through the head-up display 300, is disposed on the driver windshield, and the information acquisition unit 100 acquires driving situation information from the vehicle ECU in addition to the driver's state information. In addition, it acquires largely internal environmental information about vehicle temperature, oxygen saturation, vehicle speed, noise and vibration, and external environment information about driving route information, construction section information, weather information and road surface information.

본 발명의 실시예에 따른 음성 인식 후보 명령어 제시부(200)는 운전 습관 이력 데이터베이스를 참조하여, 현재 운전자 상태가 졸음운전인 경우, 이전에 졸음 운전 시 운전자가 주로 사용하였던 기능이 무엇인지를 조회한다. The voice recognition candidate command presenter 200 according to an embodiment of the present invention refers to the driving habit history database to query what function the driver mainly used during drowsy driving when the current driver state is drowsy driving. .

예컨대 운전자가 졸음 운전 시 차량 개방을 통해 환기를 주로 한 경우, 도 3 (a)에 도시한 바와 같이 창문 개방에 대한 후보 명령을 추출하여 제시하며, 도 3 (b)에 도시한 바와 같이 그 외의 기기(공조기 제어, 오디오)에 대한 후보 명령을 함께 표출하는 것 역시 가능하다.For example, when the driver mainly ventilates through vehicle opening during drowsy driving, a candidate command for opening the window is extracted and presented as shown in FIG. 3 (a), and as shown in FIG. It is also possible to present candidate commands for the device (air conditioner control, audio) together.

본 발명에 따른 음성 인식 후보 명령어 제시부(200)는 운전자의 상태 정보와 주행 상황 정보를 동시에 종합적으로 고려하므로, 주행 상황 정보에 따라 현재 비가 오는 날씨이거나, 전방 공사 구간이 있는 경우 등에는 창문 개방이 적절하지 않으므로, 도 3에 도시한 창문 개방에 관한 명령어와 달리, 공조기 제어를 통해 내기 순환을 외기 순환으로 변경하는 등으로 음성 인식 후보 명령어를 추천 제시하게 된다. Since the voice recognition candidate command presenter 200 according to the present invention comprehensively considers the driver's status information and driving situation information at the same time, the window opening may be performed in the case of the current rainy weather or the ahead construction section according to the driving situation information. Since it is not appropriate, unlike the command for opening the window shown in FIG. 3, the voice recognition candidate command is suggested by changing the bet cycle to the outside cycle through the air conditioner control.

음성 인식 후보 명령어 제시부(200)가 "창문 개방"에 대한 후보 명령어를 제시하는 것을 예로 들면, 도 4에 도시한 바와 같이, 운전자의 방언 사용 여부, 발음 상태 정보 및 주행 소음을 고려하여 음성 인식 후보 명령어에 대한 인식률을 산출하고, 산출 결과에 따라 인식률이 가장 높은 음성 인식 후보 명령어를 제시한다. For example, when the voice recognition candidate command presenter 200 presents a candidate command for “opening a window”, as shown in FIG. 4, the voice recognition candidate is considered in consideration of whether the driver uses dialect, pronunciation state information, and driving noise. The recognition rate for the command is calculated, and the voice recognition candidate command having the highest recognition rate is presented according to the calculation result.

즉, 창문 개방을 실행하는 음성 인식 후보 명령어 세트(set) 중, 도 4에 도시한 바와 같이 "1) 창문 열어, 2) 윈도우 오픈, 3) 창문 열겠습니다"를 추출하여 제시하게 된다. That is, in the speech recognition candidate command set for executing the window opening, as shown in FIG. 4, "1) window opening, 2) window opening, and 3) window opening" are extracted and presented.

이 때, 음성 인식 후보 명령어 제시부(200)는 주행 상황 정보에 따라 동일 기능(창문 개방)을 실행하는 복수의 음성 인식 후보 명령어 중 전체 발화 단어의 개수가 적은 음성 인식 후보 명령어를 우선적으로 제시하는 것이 바람직하다. In this case, the voice recognition candidate command presenter 200 may preferentially present a voice recognition candidate command having a small number of all spoken words among a plurality of voice recognition candidate commands that execute the same function (opening a window) according to driving status information. desirable.

또한, 음성 인식 후보 명령어 제시부(200)는 동승자 탑승 여부를 고려하여, 명령어 형식의 음성 인식 후보 명령어(예: 창문 열어) 외에, 완곡한 표현의 음성 인식 후보 명령어(예: 창문 열겠습니다)를 함께 표출하는 것이 가능하다. In addition, the voice recognition candidate command presenter 200 may include a voice recognition candidate command (eg, a window) in a smooth form in addition to the voice recognition candidate command (eg, window open) in the form of a command in consideration of whether or not a passenger is riding. It is possible to express.

삭제delete

또한, 음성 인식 후보 명령어 제시부(200)는 음성 인식 후보 명령어의 해당 기능을 실행하는 기기의 현재 설정 정보를 함께 표출한다. In addition, the voice recognition candidate command presentation unit 200 expresses current setting information of a device that executes a corresponding function of the voice recognition candidate command.

음성 인식 후보 명령어 제시부(200)는 창문의 현재 개폐 상태를 HUD를 통해 표출함으로써, "창문 열어"의 입력에 따른 창문의 변경된 상태 정보를 실시간으로 대응시켜 표출하게 되어, 운전자가 HUD를 통해 이를 확인하고 창문의 개폐 정도를 조절하는 것이 가능하다. The voice recognition candidate command presentation unit 200 expresses the current opening / closing state of the window through the HUD, and displays the changed state information of the window according to the input of “open the window” in real time, and the driver confirms it through the HUD. It is possible to adjust the opening and closing of the window.

본 발명에 따르면 운전자가 음성 인식 후보 명령어 중 정확한 선택을 하지 않은 경우에도, 운전자가 발화한 단어를 분석하여 해당 명령을 실행한다. According to the present invention, even when the driver does not make an accurate selection among the voice recognition candidate commands, the driver analyzes the spoken word and executes the command.

즉, 도 4에 도시한 "1) 창문 열어, 2) 윈도우 오픈, 3) 창문 열겠습니다"이 HUD 영역을 통해 표출되고, 운전자가 "창문 오픈"이라고 발화한 경우에도, 그 단어 조합을 통해 음성 인식 후보 명령어 세트를 검색하여 운전자의 의도에 부합하는 기능(창문 개방)을 실행하는 것이 가능하다. That is, even when "1) window opening, 2) window opening, 3) window opening" shown in FIG. 4 is expressed through the HUD area, and the driver speaks "window opening", the word combination is used. It is possible to search the recognition candidate instruction set and execute a function (opening the window) in accordance with the driver's intention.

본 발명에 따르면 운전자는 창문 개방을 수행하기 위해 스티어링휠을 조작하는 양 손 중 어느 한 손을 이용하여 창문 개폐 조작 버튼을 조작하지 아니하고도, HUD 영역(300a)에 표출되는 음성 인식 후보 명령어에 대한 발화를 수행함으로써 창문 개방 기능을 실행시키는 것이 가능하다. According to the present invention, the driver does not operate the window opening / closing operation button by using one of both hands for manipulating the steering wheel to perform the window opening. It is possible to execute the window opening function by performing the ignition.

또한, 운전자의 상태 정보 및 주행 상황 정보를 종합적으로 고려하여, 운전자가 먼저 해당 기기(창문)의 기능 실행을 명령하지 않는 경우에도, 운전자에게 창문 개방을 통한 환기가 필요하다고 알려주어, 졸음 운전을 자각하고 이를 해결하기 위한 차량 내 기기 제어에 대한 후보 명령어를 HUD를 통해 제시함으로써, 사전 학습 없이도 원활히 그 기능을 실행시키는 것이 가능한 효과가 있다. In addition, taking into account the driver's status information and driving situation information comprehensively, even if the driver does not first command the execution of the function of the device (window), the driver is informed that the ventilation is necessary through the opening of the window, so that drowsy driving is performed. By presenting candidate commands for in-vehicle device control to recognize and solve them through the HUD, it is possible to execute the function smoothly without prior learning.

또한, 동일한 기능을 실행시키는 음성 인식 후보 명령어 세트 중, 현재 주행 상황, 운전자의 언어 사용 습관 및 동승자 탑승 여부 등을 종합적으로 고려하여, 음성 인식률에 기반한 음성 인식 후보 명령어 추천 제시가 가능한 효과가 있다. In addition, among the voice recognition candidate command sets that execute the same function, the voice recognition candidate command recommendation based on the voice recognition rate may be presented in consideration of the current driving situation, the driver's language usage habit, and whether or not the passenger is riding.

도 5는 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법을 나타내는 순서도이다. 5 is a flowchart illustrating a method of providing HUD information customized to a driver and a driving situation in consideration of a voice recognition rate according to an exemplary embodiment of the present invention.

본 발명에 따르면, 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계(S100)와, 운전자의 상태 정보, 주행 상황 정보 및 그에 따른 음성 인식률을 고려하여, 주행 차량 기기에 대한 음성 인식 후보 명령어를 추출하는 단계(S200) 및 음성 인식 후보 명령어를 HUD를 통해 디스플레이하는 단계(S300)를 포함한다. According to the present invention, the step of obtaining the driver's status information and driving situation information (S100), and in consideration of the driver's status information, driving situation information and the voice recognition rate accordingly, extracts a voice recognition candidate command for the driving vehicle device And a step (S300) of displaying the voice recognition candidate command through the HUD.

S100 단계는 차량 내 영상 분석 및 생체 정보 획득 결과 중 적어도 어느 하나를 고려하여 운전자의 운전 상태와 졸음운전 여부에 대한 상태 정보를 획득한다. In operation S100, state information regarding a driving state of a driver and whether a drowsy driving is obtained may be obtained in consideration of at least one of an in-vehicle image analysis and biometric information acquisition results.

또한, S100 단계는 이러한 운전자의 상태 정보와 더불어, 차량 내/외부 환경 정보에 대한 주행 상황 정보를 획득한다. In addition, the step S100 obtains the driving status information on the inside / outside environment information in addition to the state information of the driver.

전술한 바와 같이 내부 환경 정보는 차량 내 온도, 산소 포화도, 차속, 소음, 진동 등을 포함하며, 외부 환경 정보는 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 등을 포함한다. As described above, the internal environment information includes vehicle temperature, oxygen saturation, vehicle speed, noise, vibration, and the like, and the external environment information includes driving route information, construction section information, weather information, road surface information, and the like.

S200 단계는 운전자의 이력 데이터베이스, 현재 획득된 운전자의 상태 정보 및 주행 상황 정보를 종합적으로 고려하여, 운전자가 조작을 희망할 것으로 예상되는 해당 기능(예: 졸음 운전 시 창문을 여는 동작을 주로 수행한 운전자의 경우, 창문 개방)을 수행하는 후보 명령어를 표출한다. In step S200, the driver's history database, the currently acquired driver's status information, and driving situation information are comprehensively considered to perform a corresponding function (eg, opening a window during drowsy driving) that the driver is expected to manipulate. In the case of a driver, it displays a candidate command for performing a window opening).

이 때, S200 단계는 현재 운전자의 상태 정보와 더불어 주행 상황 정보를 동시에 종합적으로 고려하므로, 현재 비가 오고 있거나, 전방 공사 구간이 있거나, 노면의 포장상태가 불량하여 창문 개방 시 빗물 또는 먼지가 유입될 것으로 예상되는 경우에는, 창문 개방에 대한 후보 명령어를 배제시키고 공조기 제어에 대한 후보 명령어를 우선적으로 표출시킨다. At this time, since the step S200 comprehensively considers the driving status information together with the current driver's status information, rain or dust may flow when the window is opened due to rain or road construction, or poor pavement. If expected, it excludes candidate commands for window opening and preferentially displays candidate commands for air conditioner control.

S200 단계는 음성 인식 후보 명령어를 추출함에 있어 운전자의 방언 사용 여부, 발음 상태 및 주행 소음을 고려하여 데이터베이스 내에 기저장된 음성 인식 후보 명령어 각각에 대한 인식률을 산출하고, 그 산출 결과에 따라 인식률이 가장 높은 음성 인식 후보 명령어를 순서대로 제시함이 바람직하다. In step S200, in extracting a voice recognition candidate command, a recognition rate is calculated for each of the voice recognition candidate commands pre-stored in the database in consideration of driver's dialect use, pronunciation state, and driving noise, and the recognition rate is highest according to the calculation result. It is preferable to present the speech recognition candidate commands in order.

또한, S200 단계는 주행 상황에 따라 전체 발화 단어의 개수가 적은 음성 인식 후보 명령어를 우선 추천하도록 선별한다. In operation S200, the voice recognition candidate command having a small number of all spoken words is first selected according to driving conditions.

S300 단계는 음성 인식 후보 명령어를 HUD를 통해 디스플레이함으로써, 운전자로 하여금 어떠한 사전 학습 없이도 현재 안전 운행을 위하여 필요한 기능(예: 졸음 운전 시 환기를 위한 창문 개방)을 실행시키는 음성 인식 후보 명령어를 직관적으로 파악하고 이에 대한 발화를 수행함으로써 기능을 원활히 실행시키도록 한다. In step S300, the voice recognition candidate command is displayed through the HUD, thereby intuitively executing the voice recognition candidate command that allows the driver to execute a function necessary for safe driving (eg, opening a window for ventilation during drowsy driving) without any prior learning. Identify and perform utterances to ensure that the function runs smoothly.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far I looked at the center of the embodiments of the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

100: 정보 획득부 200: 음성 인식 후보 명령어 제시부
300: 헤드업디스플레이 400: 내비게이션
500: 오디오 600: 공조기
700: 스티어링 휠 조작 버튼 100: information acquisition unit 200: speech recognition candidate command presentation unit
300: head up display 400: navigation
500: Audio 600: Air conditioner
700: steering wheel operation button

Claims (18)

운전자의 상태 정보 및 상기 운전자의 주행 상황 정보를 획득하는 정보 획득부; 및
상기 운전자의 상태 정보 및 주행 상황 정보를 종합적으로 고려하여 상기 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 상기 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD를 통해 제시하는 음성 인식 후보 명령어 제시부를 포함하고,
상기 음성 인식 후보 명령어 제시부는 상기 주행 상황에 따라 동일 기능을 실행하는 복수의 음성 인식 후보 명령어 중 인식률이 상대적으로 높은 음성 인식 후보 명령어를 인식률 순서에 따라 제시하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
An information obtaining unit obtaining state information of the driver and driving state information of the driver; And
Extracting a function determined to be provided to the driver by comprehensively considering the driver's state information and driving situation information, and considering each recognition rate for words included in a voice recognition candidate command list for executing the function. In accordance with the present invention, the voice recognition candidate command presentation unit for presenting the speech recognition candidate command via the HUD,
The voice recognition candidate command presenter is to present a voice recognition candidate command having a relatively high recognition rate in order of recognition rate among a plurality of voice recognition candidate commands that execute the same function according to the driving situation.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
제1항에 있어서,
상기 정보 획득부는 상기 운전자의 운전 충실도에 대한 운전 상태 정보 및 졸음 정도 또는 피로도에 관한 운전자의 컨디션 정보 중 적어도 어느 하나에 대한 상기 운전자의 상태 정보를 획득하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 1,
The information obtaining unit obtains the driver's state information on at least one of driving state information on the driver's driving fidelity and driver's condition information on the degree of sleepiness or fatigue.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
제1항에 있어서,
상기 정보 획득부는 차량의 내부 환경 정보 및 외부 환경 정보 중 적어도 어느 하나에 대한 상기 주행 상황 정보를 획득하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 1,
The information obtaining unit obtains the driving situation information on at least one of the internal environment information and the external environment information of the vehicle.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
제3항에 있어서,
상기 정보 획득부는 차량 내 온도, 산소 포화도, 차속, 소음, 진동, 탑승자 정보 중 적어도 어느 하나에 관한 상기 내부 환경 정보를 획득하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 3,
The information obtaining unit obtains the internal environment information about at least one of the vehicle temperature, oxygen saturation, vehicle speed, noise, vibration, occupant information.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
제3항에 있어서,
상기 정보 획득부는 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 중 적어도 어느 하나에 관한 상기 외부 환경 정보를 획득하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 3,
The information obtaining unit obtains the external environment information regarding at least one of driving route information, construction section information, weather information, and road surface information.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
삭제delete 제1항에 있어서,
상기 음성 인식 후보 명령어 제시부는 상기 주행 상황 정보에 따라 동일 기능을 실행하는 복수의 음성 인식 후보 명령어 중 전체 발화 단어의 개수가 적은 음성 인식 후보 명령어를 상기 HUD를 통해 제시하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 1,
The voice recognition candidate command presenter may present, through the HUD, a voice recognition candidate command having a small number of all spoken words among a plurality of voice recognition candidate commands that execute the same function according to the driving situation information.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
삭제delete 제1항에 있어서,
상기 음성 인식 후보 명령어 제시부는 상기 운전자의 방언 사용 여부, 발음 상태 정보 및 주행 소음을 종합적으로 고려하여 데이터베이스 내에 기저장된 상기 음성 인식 후보 명령어에 대한 인식률을 산출하고, 그 산출 결과에 따라 인식률이 가장 높은 상기 음성 인식 후보 명령어를 제시하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 1,
The voice recognition candidate command presenter calculates a recognition rate for the voice recognition candidate command pre-stored in the database by comprehensively considering whether the driver uses dialect, pronunciation state information, and driving noise, and has the highest recognition rate according to the calculation result. Presenting the speech recognition candidate command
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
삭제delete 제1항에 있어서,
상기 음성 인식 후보 명령어 제시부는 상기 음성 인식 후보 명령어의 해당 기능을 실행하는 기기의 현재 설정 정보를 함께 표출하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 1,
The voice recognition candidate command presentation unit expresses the current setting information of a device that executes a corresponding function of the voice recognition candidate command together.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
제1항에 있어서,
상기 음성 인식 후보 명령어 제시부는 상기 음성 인식 후보 명령어의 입력에 따라, 해당 기능을 실행하는 기기의 변경된 상태 정보를 상기 음성 인식 후보 명령어 입력에 실시간으로 대응시켜 표출하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 1,
The voice recognition candidate command presenter displays the changed state information of the device executing the corresponding function in real time corresponding to the voice recognition candidate command input according to the input of the voice recognition candidate command.
HUD information providing system tailored to the driver and driving situation considering the voice recognition rate.
(a) 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계;
(b) 상기 운전자의 상태 정보, 주행 상황 정보 및 그에 따른 음성 인식률을 고려하여, 주행 차량 기기에 대한 음성 인식 후보 명령어를 추출하는 단계;
(c) 상기 음성 인식 후보 명령어를 HUD를 통해 디스플레이하는 단계를 포함하고,
상기 (b) 단계는 주행 상황에 따라 동일 기능을 실행하는 복수의 음성 인식 후보 명령어 중 인식률이 상대적으로 높은 음성 인식 후보 명령어를 인식률 순서에 따라 추출하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
(a) obtaining driver's status information and driving status information;
(b) extracting a voice recognition candidate command for a driving vehicle device in consideration of the driver's state information, driving situation information, and voice recognition rate according thereto;
(c) displaying the speech recognition candidate command on a HUD;
In the step (b), extracting a voice recognition candidate command having a relatively high recognition rate from among a plurality of voice recognition candidate commands for executing the same function according to driving conditions in order of recognition rate.
How to provide HUD information customized to the driver and driving situation considering the voice recognition rate.
제13항에 있어서,
상기 (a) 단계는 상기 운전자의 운전 상태 정보 및 컨디션 정보 중 적어도 어느 하나에 대한 상태 정보를 획득하고, 차량 내 공기 정보, 차속, 소음, 진동, 탑승자 정보, 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 중 적어도 어느 하나에 대한 상기 주행 상황 정보를 획득하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
The method of claim 13,
In the step (a), the driver acquires state information on at least one of driving state information and condition information of the driver, and includes air information, vehicle speed, noise, vibration, occupant information, driving route information, construction section information, and weather information in the vehicle. Acquiring the driving situation information on at least one of information and road surface information;
How to provide HUD information customized to the driver and driving situation considering the voice recognition rate.
제13항에 있어서,
상기 (b) 단계는 상기 주행 상황 정보에 따라 동일 기능을 실행하는 복수의 음성 인식 후보 명령어 중 전체 발화 단어의 개수가 적은 명렁어를 추출하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
The method of claim 13,
In the step (b), extracting a small word of small number of spoken words among a plurality of voice recognition candidate commands for executing the same function according to the driving situation information.
How to provide HUD information customized to the driver and driving situation considering the voice recognition rate.
삭제delete 제13항에 있어서,
상기 (c) 단계는 상기 음성 인식 후보 명령어의 해당 기능을 실행하는 기기의 현재 설정 정보를 함께 디스플레이하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
The method of claim 13,
In step (c), the current setting information of the device executing the corresponding function of the voice recognition candidate command is displayed together.
How to provide HUD information customized to the driver and driving situation considering the voice recognition rate.
제13항에 있어서,
상기 (c) 단계는 상기 음성 인식 후보 명령어의 발화에 따라, 해당 기능을 실행하는 기기의 변경된 정보를 실시간으로 매핑하여 디스플레이하는 것
인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
The method of claim 13,
In step (c), the changed information of the device executing the corresponding function is mapped and displayed in real time according to the utterance of the voice recognition candidate command.
How to provide HUD information customized to the driver and driving situation considering the voice recognition rate.
KR1020160110589A 2016-08-30 2016-08-30 System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition KR102036606B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160110589A KR102036606B1 (en) 2016-08-30 2016-08-30 System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160110589A KR102036606B1 (en) 2016-08-30 2016-08-30 System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition

Publications (2)

Publication Number Publication Date
KR20180025379A KR20180025379A (en) 2018-03-09
KR102036606B1 true KR102036606B1 (en) 2019-10-28

Family

ID=61727807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160110589A KR102036606B1 (en) 2016-08-30 2016-08-30 System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition

Country Status (1)

Country Link
KR (1) KR102036606B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102508511B1 (en) * 2018-05-24 2023-03-09 한국자동차연구원 System for automatic driving
KR20230001056A (en) * 2021-06-25 2023-01-04 삼성전자주식회사 The electronic device mounted on vehicle and the method operating the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141315A (en) * 2003-11-04 2005-06-02 Denso Corp Snooze drive prevention device
JP2005283646A (en) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd Speech recognition rate estimating apparatus
WO2010128560A1 (en) * 2009-05-08 2010-11-11 パイオニア株式会社 Voice recognition device, voice recognition method, and voice recognition program
JP2012078449A (en) * 2010-09-30 2012-04-19 Kddi Corp Speech recognition device and control program for the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957943B1 (en) * 2012-08-31 2019-07-04 삼성전자주식회사 Method and vehicle for providing information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141315A (en) * 2003-11-04 2005-06-02 Denso Corp Snooze drive prevention device
JP2005283646A (en) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd Speech recognition rate estimating apparatus
WO2010128560A1 (en) * 2009-05-08 2010-11-11 パイオニア株式会社 Voice recognition device, voice recognition method, and voice recognition program
JP2012078449A (en) * 2010-09-30 2012-04-19 Kddi Corp Speech recognition device and control program for the same

Also Published As

Publication number Publication date
KR20180025379A (en) 2018-03-09

Similar Documents

Publication Publication Date Title
US11243613B2 (en) Smart tutorial for gesture control system
KR102426171B1 (en) Dialogue processing apparatus, vehicle having the same and dialogue service processing method
JP2008058409A (en) Speech recognizing method and speech recognizing device
JP2017090613A (en) Voice recognition control system
JP7235441B2 (en) Speech recognition device and speech recognition method
US20200152203A1 (en) Agent device, agent presentation method, and storage medium
JP2017090612A (en) Voice recognition control system
US11450316B2 (en) Agent device, agent presenting method, and storage medium
Gaffar et al. Minimalist design: An optimized solution for intelligent interactive infotainment systems
KR102036606B1 (en) System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition
US20200286452A1 (en) Agent device, agent device control method, and storage medium
US11608076B2 (en) Agent device, and method for controlling agent device
US11325605B2 (en) Information providing device, information providing method, and storage medium
JP7239359B2 (en) AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM
KR102487669B1 (en) Dialogue processing apparatus, vehicle having the same and dialogue processing method
US20200320997A1 (en) Agent apparatus, agent apparatus control method, and storage medium
US11542744B2 (en) Agent device, agent device control method, and storage medium
KR101977342B1 (en) System and method for provision of head up display information according to driver's condition and driving condition
US11518398B2 (en) Agent system, agent server, method of controlling agent server, and storage medium
KR20230090510A (en) Terminal device and Vehicle
KR102371513B1 (en) Dialogue processing apparatus and dialogue processing method
CN111798842A (en) Dialogue system and dialogue processing method
US20220208213A1 (en) Information processing device, information processing method, and storage medium
JP7280074B2 (en) AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM
KR20230001056A (en) The electronic device mounted on vehicle and the method operating the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant