KR20180025379A - 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법 - Google Patents

음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20180025379A
KR20180025379A KR1020160110589A KR20160110589A KR20180025379A KR 20180025379 A KR20180025379 A KR 20180025379A KR 1020160110589 A KR1020160110589 A KR 1020160110589A KR 20160110589 A KR20160110589 A KR 20160110589A KR 20180025379 A KR20180025379 A KR 20180025379A
Authority
KR
South Korea
Prior art keywords
information
driver
speech recognition
hud
recognition candidate
Prior art date
Application number
KR1020160110589A
Other languages
English (en)
Other versions
KR102036606B1 (ko
Inventor
박선홍
오영달
류동운
Original Assignee
자동차부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자동차부품연구원 filed Critical 자동차부품연구원
Priority to KR1020160110589A priority Critical patent/KR102036606B1/ko
Publication of KR20180025379A publication Critical patent/KR20180025379A/ko
Application granted granted Critical
Publication of KR102036606B1 publication Critical patent/KR102036606B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 음성 인식률을 고려하여, 운전자 및 주행상황 맞춤형 정보를 헤드 업 디스플레이(HUD, Head Up Display)를 통해 제공하는 시스템 및 방법에 관한 것이다.
본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보와 주행 상황 정보를 획득하는 정보 획득부 및 운전자의 상태 정보와 주행 상황 정보를 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD를 통해 제시하는 음성 인식 후보 명령어 제시부를 포함하는 것을 특징으로 한다.

Description

음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVISION OF HEAD UP DISPLAY INFORMATION ACCORDING TO DRIVER'S CONDITION AND DRIVING CONDITION BASED ON SPEECH RECOGNITION}
본 발명은 음성 인식률을 고려하여, 운전자 및 주행상황 맞춤형 정보를 헤드 업 디스플레이(HUD, Head Up Display)를 통해 제공하는 시스템 및 방법에 관한 것이다.
자동차 유리(Windshield, 윈드실드)는 단순히 외부를 보여주고 비바람을 막아주는 역할에서 벗어나 첨단 전자 기술이 적용된 스마트 윈도로 거듭나고 있다.
대표적인 스마트 윈도 기술인 헤드 업 디스플레이는 차량의 현재 속도, 연료 잔량, 내비게이션 길 안내 정보 등을 표시하는 정도에 그치고 있어, 운전자 상태 또는 주행 상황에 입각한 기능 추천 등은 수행하지 못하는 한계가 있다.
또한, 차량 내 기기를 실행하기 위한 수단으로서 음성 인식 기술이 제안되고 있으나, 운전자는 미리 지정된 음성인식 단어 집합을 외워야 하는 번거로움이 있고, 사투리 및 방언 등 운전자의 특성과 주행소음(풍절음)에 따른 음성 인식의 한계가 있는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 운전자의 상태 및 주행 상황을 동시에 종합적으로 고려하여, 운전자에게 제공함이 필요하다고 판단되는 차량 내 기기의 기능을 선별하여 그 기능을 실행하는 음성 인식 후보 명령어를 HUD를 통해 표출하여 추천하되, 음성 인식률을 고려하여 추천하는 것이 가능한 HUD 정보 제공 시스템 및 방법을 제공하는 데 목적이 있다.
본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보와 주행 상황 정보를 획득하는 정보 획득부 및 운전자의 상태 정보와 주행 상황 정보를 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD를 통해 제시하는 음성 인식 후보 명령어 제시부를 포함하는 것을 특징으로 한다.
본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법은 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계와, 운전자의 상태 정보, 주행 상황 정보 및 그에 따른 음성 인식률을 고려하여, 주행 차량 기기에 대한 음성 인식 후보 명령어를 추출하는 단계 및 음성 인식 후보 명령어를 HUD를 통해 디스플레이하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템 및 방법은, 주행 중 운전자의 피로도, 졸음 등 운전자 상태와, 차속, 주행소음, 진동 등 주행 상황을 동시에 종합적으로 고려하며, 상황별 음성 인식률을 고려하여 차량 내 기능을 실행하기 위한 음성 인식 후보 명령어를 추천 제공하는 것이 가능한 효과가 있다.
본 발명에 따르면 운전자는 별도의 사전 학습 없이도 현재 자신에게 제공됨이 필요한 추천 명령에 대하여 음성 인식률을 고려한 후보 명령어 리스트를 직관적으로 확인할 수 있어, 주행 중 필요한 기능에 대한 실행을 원활히 명령할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템이 적용된 차량 내부를 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 창문 개방 명령 선택을 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 창문 개방을 위한 음성 인식 후보 명령어 표출 상태를 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법을 나타내는 순서도이다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보와 주행 상황 정보를 획득하는 정보 획득부(100) 및 운전자의 상태 정보와 주행 상황 정보를 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD(300)를 통해 제시하는 음성 인식 후보 명령어 제시부(200)를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 정보 획득부(100)는 대표적으로 카메라(100a)를 포함하여 구성되어, 운전자의 상태 정보(운전 충실도에 대한 운전 상태 정보 및 졸음, 피로도에 대한 운전자의 컨디션 정보)를 획득한다.
예컨대, 운전자의 동공 인식, 졸음 운전 시 발생하는 고개의 끄덕거림, 운전자의 팔 동작(눈을 부비거나 목 또는 어깨를 주무르는 동작) 인식을 통해, 운전자의 상태 정보를 획득하여 운전자가 졸음 운전을 하는 상황인지 여부를 판별하게 된다.
본 발명의 상세한 설명에서는 당업자의 이해를 돕기 위하여 운전자가 졸음 운전을 하는 상황을 가정하여 그 대표적인 실시예를 설명한다.
본 발명에 따르면 졸음 운전이 발생하는 경우 차량 내 기기(창문, 오디오, 공조기 등)를 제어함에 그치지 아니하고, 운전자의 상태 정보(졸음 운전), 주행 상황 정보 및 음성 인식률을 동시에 종합적으로 고려하여 운전자에게 제공됨이 필요하다고 판단되는 기능을 실행하는 음성 인식 후보 명령어를 추출하는 것을 그 기술적 요지로 한다.
즉, 졸음 운전 시 이를 해결하기 위한 차량 내 기기 제어 정보로는 창문 개방을 통한 환기, 공조기 제어를 통한 차량 내 온도 또는 내/외기 순환 방식 변경, 오디오 제어를 통한 음악 플레이 등이 가능하다 할 것인데, 운전자의 상태, 주행 상황 정보 및 음성 인식률을 종합적으로 고려하는 본 발명의 실시예에 따르면 현 상황에서 가장 적절한 기능을 실행하는 후보 명령어를 HUD를 통해 제시하는 것이 가능하다.
운전자 전방 유리에는 헤드업디스플레이(300)를 통해 그래픽 이미지가 투영되는 HUD 영역(300a)이 배치되며, 정보 획득부(100)는 전술한 운전자의 상태 정보 외에 차량 ECU로부터 주행 상황 정보를 획득하게 되는데, 크게 차량 내 온도, 산소 포화도, 차속, 소음, 진동에 관한 내부 환경 정보와, 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보에 관한 외부 환경 정보를 획득한다.
본 발명의 실시예에 따른 음성 인식 후보 명령어 제시부(200)는 운전 습관 이력 데이터베이스를 참조하여, 현재 운전자 상태가 졸음운전인 경우, 이전에 졸음 운전 시 운전자가 주로 사용하였던 기능이 무엇인지를 조회한다.
예컨대 운전자가 졸음 운전 시 차량 개방을 통해 환기를 주로 한 경우, 도 3 (a)에 도시한 바와 같이 창문 개방에 대한 후보 명령을 추출하여 제시하며, 도 3 (b)에 도시한 바와 같이 그 외의 기기(공조기 제어, 오디오)에 대한 후보 명령을 함께 표출하는 것 역시 가능하다.
본 발명에 따른 음성 인식 후보 명령어 제시부(200)는 운전자의 상태 정보와 주행 상황 정보를 동시에 종합적으로 고려하므로, 주행 상황 정보에 따라 현재 비가 오는 날씨이거나, 전방 공사 구간이 있는 경우 등에는 창문 개방이 적절하지 않으므로, 도 3에 도시한 창문 개방에 관한 명령어와 달리, 공조기 제어를 통해 내기 순환을 외기 순환으로 변경하는 등으로 음성 인식 후보 명령어를 추천 제시하게 된다.
음성 인식 후보 명령어 제시부(200)가 "창문 개방"에 대한 후보 명령어를 제시하는 것을 예로 들면, 도 4에 도시한 바와 같이, 운전자의 방언 사용 여부, 발음 상태 정보 및 주행 소음을 종합적으로 고려하여 음성 인식 후보 명령어에 대한 인식률을 산출하고, 산출 결과에 따라 인식률이 가장 높은 음성 인식 후보 명령어를 제시한다.
즉, 창문 개방을 실행하는 음성 인식 후보 명령어 세트(set) 중, 도 4에 도시한 바와 같이 "1) 창문 열어, 2) 윈도우 오픈, 3) 창문 열겠습니다"를 추출하여 제시하게 된다.
이 때, 음성 인식 후보 명령어 제시부(200)는 주행 상황 정보에 따라 동일 기능(창문 개방)을 실행하는 복수의 음성 인식 후보 명령어 중 전체 발화 단어의 개수가 적은 음성 인식 후보 명령어를 우선적으로 제시하는 것이 바람직하다.
또한, 음성 인식 후보 명령어 제시부(200)는 동승자 탑승 여부를 고려하여, 명령어 형식의 음성 인식 후보 명령어(예: 창문 열어) 외에, 완곡한 표현의 음성 인식 후보 명령어(예: 창문 열겠습니다)를 함께 표출하는 것이 가능하다.
본 발명의 실시예에 따른 음성 인식 후보 명령어 제시부(200)는 전방 경로 정보 또는 미래 날씨 정보를 고려하여 음성 인식률을 사전에 산출한다.
또한, 음성 인식 후보 명령어 제시부(200)는 음성 인식 후보 명령어의 해당 기능을 실행하는 기기의 현재 설정 정보를 함께 표출한다.
음성 인식 후보 명령어 제시부(200)는 창문의 현재 개폐 상태를 HUD를 통해 표출함으로써, "창문 열어"의 입력에 따른 창문의 변경된 상태 정보를 실시간으로 대응시켜 표출하게 되어, 운전자가 HUD를 통해 이를 확인하고 창문의 개폐 정도를 조절하는 것이 가능하다.
본 발명에 따르면 운전자가 음성 인식 후보 명령어 중 정확한 선택을 하지 않은 경우에도, 운전자가 발화한 단어를 분석하여 해당 명령을 실행한다.
즉, 도 4에 도시한 "1) 창문 열어, 2) 윈도우 오픈, 3) 창문 열겠습니다"이 HUD 영역을 통해 표출되고, 운전자가 "창문 오픈"이라고 발화한 경우에도, 그 단어 조합을 통해 음성 인식 후보 명령어 세트를 검색하여 운전자의 의도에 부합하는 기능(창문 개방)을 실행하는 것이 가능하다.
본 발명에 따르면 운전자는 창문 개방을 수행하기 위해 스티어링휠을 조작하는 양 손 중 어느 한 손을 이용하여 창문 개폐 조작 버튼을 조작하지 아니하고도, HUD 영역(300a)에 표출되는 음성 인식 후보 명령어에 대한 발화를 수행함으로써 창문 개방 기능을 실행시키는 것이 가능하다.
또한, 운전자의 상태 정보 및 주행 상황 정보를 종합적으로 고려하여, 운전자가 먼저 해당 기기(창문)의 기능 실행을 명령하지 않는 경우에도, 운전자에게 창문 개방을 통한 환기가 필요하다고 알려주어, 졸음 운전을 자각하고 이를 해결하기 위한 차량 내 기기 제어에 대한 후보 명령어를 HUD를 통해 제시함으로써, 사전 학습 없이도 원활히 그 기능을 실행시키는 것이 가능한 효과가 있다.
또한, 동일한 기능을 실행시키는 음성 인식 후보 명령어 세트 중, 현재 주행 상황, 운전자의 언어 사용 습관 및 동승자 탑승 여부 등을 종합적으로 고려하여, 음성 인식률에 기반한 음성 인식 후보 명령어 추천 제시가 가능한 효과가 있다.
도 5는 본 발명의 실시예에 따른 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법을 나타내는 순서도이다.
본 발명에 따르면, 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계(S100)와, 운전자의 상태 정보, 주행 상황 정보 및 그에 따른 음성 인식률을 고려하여, 주행 차량 기기에 대한 음성 인식 후보 명령어를 추출하는 단계(S200) 및 음성 인식 후보 명령어를 HUD를 통해 디스플레이하는 단계(S300)를 포함한다.
S100 단계는 차량 내 영상 분석 및 생체 정보 획득 결과 중 적어도 어느 하나를 고려하여 운전자의 운전 상태와 졸음운전 여부에 대한 상태 정보를 획득한다.
또한, S100 단계는 이러한 운전자의 상태 정보와 더불어, 차량 내/외부 환경 정보에 대한 주행 상황 정보를 획득한다.
전술한 바와 같이 내부 환경 정보는 차량 내 온도, 산소 포화도, 차속, 소음, 진동 등을 포함하며, 외부 환경 정보는 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 등을 포함한다.
S200 단계는 운전자의 이력 데이터베이스, 현재 획득된 운전자의 상태 정보 및 주행 상황 정보를 종합적으로 고려하여, 운전자가 조작을 희망할 것으로 예상되는 해당 기능(예: 졸음 운전 시 창문을 여는 동작을 주로 수행한 운전자의 경우, 창문 개방)을 수행하는 후보 명령어를 표출한다.
이 때, S200 단계는 현재 운전자의 상태 정보와 더불어 주행 상황 정보를 동시에 종합적으로 고려하므로, 현재 비가 오고 있거나, 전방 공사 구간이 있거나, 노면의 포장상태가 불량하여 창문 개방 시 빗물 또는 먼지가 유입될 것으로 예상되는 경우에는, 창문 개방에 대한 후보 명령어를 배제시키고 공조기 제어에 대한 후보 명령어를 우선적으로 표출시킨다.
S200 단계는 음성 인식 후보 명령어를 추출함에 있어 운전자의 방언 사용 여부, 발음 상태 및 주행 소음을 종합적으로 고려하여 데이터베이스 내에 기저장된 음성 인식 후보 명령어 각각에 대한 인식률을 산출하고, 그 산출 결과에 따라 인식률이 가장 높은 음성 인식 후보 명령어를 순서대로 제시함이 바람직하다.
또한, S200 단계는 주행 상황에 따라 전체 발화 단어의 개수가 적은 음성 인식 후보 명령어를 우선 추천하도록 선별한다.
S300 단계는 음성 인식 후보 명령어를 HUD를 통해 디스플레이함으로써, 운전자로 하여금 어떠한 사전 학습 없이도 현재 안전 운행을 위하여 필요한 기능(예: 졸음 운전 시 환기를 위한 창문 개방)을 실행시키는 음성 인식 후보 명령어를 직관적으로 파악하고 이에 대한 발화를 수행함으로써 기능을 원활히 실행시키도록 한다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 정보 획득부 200: 음성 인식 후보 명령어 제시부
300: 헤드업디스플레이 400: 내비게이션
500: 오디오 600: 공조기
700: 스티어링 휠 조작 버튼

Claims (18)

  1. 운전자의 상태 정보 및 상기 운전자의 주행 상황 정보를 획득하는 정보 획득부; 및
    상기 운전자의 상태 정보 및 주행 상황 정보를 종합적으로 고려하여 상기 운전자에게 제공함이 필요하다고 판단되는 기능을 추출하고, 상기 기능을 실행하는 음성 인식 후보 명령어 리스트에 포함되는 단어에 대한 각각의 인식률을 고려한 결과에 따라, 음성 인식 후보 명령어를 HUD를 통해 제시하는 음성 인식 후보 명령어 제시부
    를 포함하는 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  2. 제1항에 있어서,
    상기 정보 획득부는 상기 운전자의 운전 충실도에 대한 운전 상태 정보 및 졸음 정도 또는 피로도에 관한 운전자의 컨디션 정보 중 적어도 어느 하나에 대한 상기 운전자의 상태 정보를 획득하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  3. 제1항에 있어서,
    상기 정보 획득부는 차량의 내부 환경 정보 및 외부 환경 정보 중 적어도 어느 하나에 대한 상기 주행 상황 정보를 획득하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  4. 제3항에 있어서,
    상기 정보 획득부는 차량 내 온도, 산소 포화도, 차속, 소음, 진동, 탑승자 정보 중 적어도 어느 하나에 관한 상기 내부 환경 정보를 획득하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  5. 제3항에 있어서,
    상기 정보 획득부는 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 중 적어도 어느 하나에 관한 상기 외부 환경 정보를 획득하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  6. 제1항에 있어서,
    상기 음성 인식 후보 명령어 제시부는 운전자의 운전 습관 이력 데이터베이스를 기반으로 상기 운전자의 상태 정보 및 그에 따른 실시간 잠재 의도를 파악하여 카테고리 분류화된 상태 정보로서 인식하고, 이를 상기 주행 상황 정보와 매칭하여 동시에 종합적으로 고려하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  7. 제1항에 있어서,
    상기 음성 인식 후보 명령어 제시부는 상기 주행 상황 정보에 따라 동일 기능을 실행하는 복수의 음성 인식 후보 명령어 중 전체 발화 단어의 개수가 적은 음성 인식 후보 명령어를 상기 HUD를 통해 제시하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  8. 제1항에 있어서,
    상기 음성 인식 후보 명령어 제시부는 상기 주행 상황에 따라 동일 기능을 실행하는 복수의 음성 인식 후보 명령어 중 인식률이 상대적으로 높은 언어의 음성 인식 후보 명령어를 인식률 순서에 따라 제시하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  9. 제1항에 있어서,
    상기 음성 인식 후보 명령어 제시부는 상기 운전자의 방언 사용 여부, 발음 상태 정보 및 주행 소음을 종합적으로 고려하여 데이터베이스 내에 기저장된 상기 음성 인식 후보 명령어에 대한 인식률을 산출하고, 그 산출 결과에 따라 인식률이 가장 높은 상기 음성 인식 후보 명령어를 제시하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  10. 제1항에 있어서,
    상기 음성 인식 후보 명령어 제시부는 전방 경로 정보 또는 미래 날씨 정보를 고려하여, 상기 음성 인식 후보 명령어에 대한 인식률을 사전에 산출하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  11. 제1항에 있어서,
    상기 음성 인식 후보 명령어 제시부는 상기 음성 인식 후보 명령어의 해당 기능을 실행하는 기기의 현재 설정 정보를 함께 표출하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  12. 제1항에 있어서,
    상기 음성 인식 후보 명령어 제시부는 상기 음성 인식 후보 명령어의 입력에 따라, 해당 기능을 실행하는 기기의 변경된 상태 정보를 상기 음성 인식 후보 명령어 입력에 실시간으로 대응시켜 표출하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
  13. (a) 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계;
    (b) 상기 운전자의 상태 정보, 주행 상황 정보 및 그에 따른 음성 인식률을 고려하여, 주행 차량 기기에 대한 음성 인식 후보 명령어를 추출하는 단계;
    (c) 상기 음성 인식 후보 명령어를 HUD를 통해 디스플레이하는 단계
    를 포함하는 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
  14. 제13항에 있어서,
    상기 (a) 단계는 상기 운전자의 운전 상태 정보 및 컨디션 정보 중 적어도 어느 하나에 대한 상태 정보를 획득하고, 차량 내 공기 정보, 차속, 소음, 진동, 탑승자 정보, 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 중 적어도 어느 하나에 대한 상기 주행 상황 정보를 획득하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
  15. 제13항에 있어서,
    상기 (b) 단계는 상기 주행 상황 정보에 따라 동일 기능을 실행하는 복수의 음성 인식 후보 명령어 중 전체 발화 단어의 개수가 적은 명렁어를 추출하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
  16. 제13항에 있어서,
    상기 (b) 단계는 상기 운전자의 방언 사용 여부, 발음 상태 정보 및 주행 소음을 종합적으로 고려하여 상기 음성 인식 후보 명령어의 인식률을 산출하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
  17. 제13항에 있어서,
    상기 (c) 단계는 상기 음성 인식 후보 명령어의 해당 기능을 실행하는 기기의 현재 설정 정보를 함께 디스플레이하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
  18. 제13항에 있어서,
    상기 (c) 단계는 상기 음성 인식 후보 명령어의 발화에 따라, 해당 기능을 실행하는 기기의 변경된 정보를 실시간으로 매핑하여 디스플레이하는 것
    인 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법.
KR1020160110589A 2016-08-30 2016-08-30 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법 KR102036606B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160110589A KR102036606B1 (ko) 2016-08-30 2016-08-30 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160110589A KR102036606B1 (ko) 2016-08-30 2016-08-30 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180025379A true KR20180025379A (ko) 2018-03-09
KR102036606B1 KR102036606B1 (ko) 2019-10-28

Family

ID=61727807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160110589A KR102036606B1 (ko) 2016-08-30 2016-08-30 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102036606B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190140499A (ko) * 2018-05-24 2019-12-20 한국자동차연구원 자율주행 시스템
WO2022270731A1 (ko) * 2021-06-25 2022-12-29 삼성전자 주식회사 차량에 탑재된 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141315A (ja) * 2003-11-04 2005-06-02 Denso Corp 居眠り運転予防装置
JP2005283646A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 音声認識率推定装置
WO2010128560A1 (ja) * 2009-05-08 2010-11-11 パイオニア株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
JP2012078449A (ja) * 2010-09-30 2012-04-19 Kddi Corp 音声認識装置およびその制御プログラム
KR20140031466A (ko) * 2012-08-31 2014-03-13 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141315A (ja) * 2003-11-04 2005-06-02 Denso Corp 居眠り運転予防装置
JP2005283646A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 音声認識率推定装置
WO2010128560A1 (ja) * 2009-05-08 2010-11-11 パイオニア株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
JP2012078449A (ja) * 2010-09-30 2012-04-19 Kddi Corp 音声認識装置およびその制御プログラム
KR20140031466A (ko) * 2012-08-31 2014-03-13 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190140499A (ko) * 2018-05-24 2019-12-20 한국자동차연구원 자율주행 시스템
WO2022270731A1 (ko) * 2021-06-25 2022-12-29 삼성전자 주식회사 차량에 탑재된 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102036606B1 (ko) 2019-10-28

Similar Documents

Publication Publication Date Title
US9165280B2 (en) Predictive user modeling in user interface design
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
US11176948B2 (en) Agent device, agent presentation method, and storage medium
US10994612B2 (en) Agent system, agent control method, and storage medium
US10901503B2 (en) Agent apparatus, agent control method, and storage medium
US11450316B2 (en) Agent device, agent presenting method, and storage medium
JP2017090613A (ja) 音声認識制御システム
JP7235441B2 (ja) 音声認識装置及び音声認識方法
GB2529997A (en) Communication system and related method
US10198696B2 (en) Apparatus and methods for converting user input accurately to a particular system function
Gaffar et al. Minimalist design: An optimized solution for intelligent interactive infotainment systems
JP2022540965A (ja) ユーザの運転の好みに適応した自動運転車の制御
US20200286452A1 (en) Agent device, agent device control method, and storage medium
US20200320997A1 (en) Agent apparatus, agent apparatus control method, and storage medium
KR20180025379A (ko) 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법
WO2021258671A1 (zh) 基于车载数字人的辅助驾驶交互方法及装置、存储介质
US11325605B2 (en) Information providing device, information providing method, and storage medium
US11542744B2 (en) Agent device, agent device control method, and storage medium
JP7266418B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP7239359B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
US11485368B2 (en) System and method for real-time customization of presentation features of a vehicle
US11437035B2 (en) Agent device, method for controlling agent device, and storage medium
JP7175221B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
KR101977342B1 (ko) 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법
JP2021089360A (ja) エージェント装置、エージェント方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant