KR102441067B1 - 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법 - Google Patents

차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법 Download PDF

Info

Publication number
KR102441067B1
KR102441067B1 KR1020170132157A KR20170132157A KR102441067B1 KR 102441067 B1 KR102441067 B1 KR 102441067B1 KR 1020170132157 A KR1020170132157 A KR 1020170132157A KR 20170132157 A KR20170132157 A KR 20170132157A KR 102441067 B1 KR102441067 B1 KR 102441067B1
Authority
KR
South Korea
Prior art keywords
operation command
command
execution
operation instruction
user
Prior art date
Application number
KR1020170132157A
Other languages
English (en)
Other versions
KR20190041109A (ko
Inventor
박성수
김비호
윤현진
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170132157A priority Critical patent/KR102441067B1/ko
Priority to US15/829,471 priority patent/US10754615B2/en
Priority to CN201711261739.8A priority patent/CN109658922B/zh
Publication of KR20190041109A publication Critical patent/KR20190041109A/ko
Application granted granted Critical
Publication of KR102441067B1 publication Critical patent/KR102441067B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 장치는 사용자 음성으로부터 제 1 의미 프레임을 인식하여 제 1 동작 명령을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령을 생성하는 동작 명령 생성부, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행 시퀀스를 결정하는 시퀀스 결정부, 및 상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 제어부를 포함할 수 있다.

Description

차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법{APPARATUS AND METHOD FOR PROCESSING USER INPUT FOR VEHICLE}
본 발명은 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법에 관한 것이다.
일반적으로 차량에는 많은 장치들이 설치되어 있으며 최근에는 운전자나 탑승객들의 편의를 위한 장치들이 꾸준히 개발되어 설치되고 있다. 일 예로 오디오 장치나 공조 장치 등이 있으며, 더 나아가 인공위성 등을 통해 자동차의 위치를 파악하여 목적지까지의 경로를 안내해주는 내비게이션이 거의 모든 차량에 설치되고 있다.
그러나 이와 같은 편의 장치들은 운전자와 탑승객에게 여러가지 편리함을 제공해주지만, 운전자가 운전 중에 편의 장치들을 조작하는 과정에서 운전에 대한 집중도가 저하되고 주의가 산만해져 사고가 발생할 위험이 높아지는 문제점이 있다. 이러한 문제점을 해결하기 위해서 최근에는 운전자가 편의 장치들을 직접 조작할 필요없이 음성으로 명령하면 운전자의 음성을 인식하여 운전자의 음성 명령에 따라 각종 편의 장치들을 제어하는 차량용 음성 인식 장치가 개발되고 있다.
차량용 음성 인식 장치는 운전자로부터 음성 명령을 수신하고, 수신된 음성 명령에 대응되는 동작을 실행한다. 그러나 운전자의 음성 명령이 복수의 동작을 의도하는 경우, 각 동작들 간의 관련성을 고려하지 않고 운전자의 음성 명령이 입력된 순서대로 혹은 임의의 순서대로 동작을 실행하기 때문에 사용자의 불필요한 조작을 유도하게 되어 사용자의 편의성이 떨어지는 문제가 있다.
본 발명의 일 목적은 사용자 입력을 효율적으로 처리하여 사용자 편의성을 향상시킬 수 있는 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 장치는 사용자 음성으로부터 제 1 의미 프레임을 인식하여 제 1 동작 명령을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령을 생성하는 동작 명령 생성부, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행 시퀀스를 결정하는 시퀀스 결정부, 및 상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 제어부를 포함할 수 있다.
일 실시예에서, 상기 제 1 동작 명령과 상기 제 2 동작 명령이 실행 가능한지를 판단하는 판단부를 더 포함할 수 있다.
일 실시예에서, 상기 제어부는 상기 제 1 동작 명령과 상기 제 2 동작 명령이 관련성이 있는 경우 상기 판단부의 판단 결과에 기초하여 상기 제 1 동작 명령 및 제 2 동작 명령의 실행을 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행을 취소할 수 있다.
일 실시예에서, 상기 제어부는 상기 제 2 동작 명령의 실행이 취소되는 경우 상기 제 2 동작 명령의 실행 상태 정보를 표시하기 위한 피드백 정보를 생성할 수 있다.
일 실시예에서, 상기 제어부는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행 시에 상기 제 1 동작 명령의 실행 상태 정보가 반영되도록 상기 제 2 동작 명령을 변경하고, 변경된 제 2 동작 명령을 실행할 수 있다.
일 실시예에서, 상기 제 1 의미 프레임을 해석하여 사용자의 제 1 의도를 분석하고, 상기 제 2 의미 프레임을 해석하여 사용자의 제 2 의도를 분석하는 사용자 의도 분석부를 더 포함할 수 있다.
일 실시예에서, 상기 제어부는 상기 판단부의 판단 결과에 따라 상기 제 1 동작 명령의 실행이 불가능한 경우 상기 제 1 의도에 기초하여 제 3 동작 명령을 생성 및 실행할 수 있다.
일 실시예에서, 상기 제어부는 상기 제 3 동작 명령의 실행 결과에 대한 사용자 응답에 기초하여 상기 제 2 동작 명령을 실행할 수 있다.
일 실시예에서, 상기 제어부는 상기 판단부의 판단 결과 상기 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 가능한 경우 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령 및 제 2 동작 명령을 실행할 수 있다.
일 실시예에서, 상기 시퀀스 결정부는 기 설정된 동작 처리 순서에 기초하여 상기 제 1 동작 명령 및 제 2 동작 명령의 실행 시퀀스를 결정할 수 있다.
일 실시예에서, 상기 기 설정된 동작 처리 순서는 차량의 안전 제어와 관련된 동작, 실시간 처리와 관련된 동작, 정보 확인과 관련된 동작, 타차량과의 정보 공유와 관련된 동작의 순서로 정의될 수 있다.
일 실시예에서, 상기 시퀀스 결정부는 상기 기 설정된 동작 처리 순서에 따라 상기 제 1 동작 명령 및 제 2 동작 명령의 실행 시퀀스가 동일한 경우 상기 제 1 동작 명령에 대응되는 상기 제 1 의미 프레임 및 상기 제 2 동작 명령에 대응되는 상기 제 2 의미 프레임 중 시간적으로 먼저 입력된 의미 프레임에 대응되는 동작 명령이 먼저 실행되도록 상기 실행 시퀀스를 결정할 수 있다.
일 실시예에서, 상기 사용자 음성으로부터 상기 제 1 의미 프레임 및 상기 제 2 의미 프레임을 식별하는 의미 프레임 식별부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법은 사용자 음성으로부터 제 1 의미 프레임을 인식하여 제 1 동작 명령을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령을 생성하는 단계, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행 시퀀스를 결정하는 단계, 및 상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 1 동작 명령과 상기 제 2 동작 명령이 실행 가능한지를 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제 1 동작 명령과 상기 제 2 동작 명령이 실행 가능한지를 판단하는 단계는 상기 제 1 동작 명령과 상기 제 2 동작 명령이 관련성이 있는 경우 수행될 수 있다.
일 실시예에서, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행을 취소하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 2 동작 명령의 실행이 취소되는 경우 상기 제 2 동작 명령의 실행 상태 정보를 표시하기 위한 피드백 정보를 생성하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행 시에 상기 제 1 동작의 실행 상태 정보가 반영되도록 상기 제 2 동작 명령을 변경하고, 변경된 제 2 동작 명령을 실행하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법에 따르면 사용자 입력을 효율적으로 처리하여 사용자 편의성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 내부를 예시적으로 보여준다.
도 2는 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 장치를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 장치의 실행 시퀀스 결정 동작을 설명하기 위한 도면이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법을 보여주는 흐름도이다.
도 7은 도 4 내지 도 6에 따른 차량의 사용자 입력 처리 방법을 개념적으로 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 차량의 사용자 입력 처리 장치를 보여주는 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 차량의 사용자 입력 처리 방법을 보여주는 흐름도이다.
도 10은 도 9에 따른 차량의 사용자 입력 처리 방법을 개념적으로 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 내부를 예시적으로 보여준다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(10)은 사용자 입력 처리 장치(100)를 비롯하여 입력부(11), 표시부(12), 통신부(13), 처리부(14), 저장부(15), 및 스피커(16)를 포함할 수 있다.
입력부(11)는 사용자 음성을 입력받을 수 있다. 예를 들어, 입력부(11)는 마이크를 포함할 수 있으며, 사용자의 음성이 입력되는 경우 이를 전기적인 신호로 변환하여 사용자 입력 처리 장치(100)에 전달할 수 있다. 입력부(11)는 차량의 대시보드의 센터페시아 영역(C) 또는 스티어링 휠에 배치될 수 있으나, 이에 한정되는 것은 아니며, 사용자 음성을 용이하게 입력받을 수 있는 위치이면 차량 내부의 어떠한 위치에나 배치될 수 있다.
표시부(12)는 차량(10)의 동작 상태를 보여주는 화면, 내비게이션 화면, 인포테인먼트 프로그램 화면 등을 표시할 수 있다. 예를 들어, 표시부(12)는 입력된 사용자 음성에 따른 차량(10)의 동작 수행 결과 화면을 표시할 수 있다. 표시부(12)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등 다양한 디스플레이 장치를 포함할 수 있다. 한편, 표시부(12)가 터치 스크린으로 마련되는 경우 표시부(12)는 사용자로부터 터치 입력을 수신할 수도 있다.
통신부(13)는 외부 기기(ex. 타차량, 인프라, 서버 등)와 통신할 수 있다. 예를 들어, 통신부(13)는 외부 기기와 메시지를 송수신할 수 있다.
처리부(14)는 차량(10)의 전반적인 동작을 제어할 수 있다. 예를 들어, 처리부(14)는 차량의 주행 제어와 관련된 동작, 엔터테인먼트 관련 동작, 통신 관련 동작, 내비게이션 관련 동작, 오디오 및 비디오 관련 동작, 공조 관련 동작 등 다양한 동작들을 제어할 수 있다. 예를 들어, 처리부(14)는 사용자 입력 처리 장치(100)로부터 전달되는 동작 명령에 기초하여 차량(10) 내부에 배치된 구성들의 동작을 제어할 수 있다.
저장부(15)는 차량(10)과 관련된 데이터, 차량(10)의 사용자와 관련된 데이터 등을 저장할 수 있다. 예를 들어, 저장부(15)는 차량(10)의 주행이력 데이터, 네비게이션 관련 데이터, 사용자의 일정, 개인정보와 관련된 데이터 등을 저장할 수 있다.
스피커(16)는 처리부(14)의 제어에 따라 음원을 출력할 수 있다. 예를 들어, 스피커(16)는 오디오 기능, 내비게이션 기능 등이 구현되는 경우 필요한 음원을 출력할 수 있다.
본 발명의 일 실시예에 따른 차량(10)은 입력되는/입력된 사용자 음성을 인식하고 인식된 음성에 대응되는 동작 명령을 실행함으로써 입력되는 사용자 음성에 대응되는 동작을 수행할 수 있다. 예를 들어, 차량(10)은 사용자 음성의 인식 결과에 대응하여 목적지 이용 예약, 내비게이션 목적지 설정, 메시지 송수신, 질의응답, 정보 검색 등의 동작을 실행할 수 있으며, 이에 한정되는 것은 아니다.
위와 같은 차량(10)의 동작들 중 전부 또는 일부는 서로 관련성이 있을 수 있다. 예를 들어, 목적지 이용 예약 동작 및 그 이용 예약한 목적지를 내비게이션 목적지로 설정하는 동작의 경우, 목적지 이용 예약 동작의 실행이 불가능하다면(ex. 목적지 이용 예약이 실패한다면) 내비게이션 목적지 설정 동작의 실행은 불필요할 수 있다. 이에 본 발명의 일 실시예에 따른 차량(10)은 인식된 사용자 음성에 대응되는 동작들의 관련성에 기초하여 동작들의 실행을 제어함으로써 사용자 편의성을 향상시킬 수 있다. 이는 이하의 도 2 내지 도 를 참조하여 더욱 구체적으로 설명될 것이다.
도 2는 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 장치를 보여주는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 장치(100)는 의미 프레임 식별부(110), 동작 명령 생성부(120), 시퀀스 결정부(130), 판단부(140), 및 제어부(150)를 포함할 수 있다.
의미 프레임 식별부(110)는 입력되는/입력된 사용자 음성으로부터 의미 프레임을 식별할 수 있다. 예를 들어, 의미 프레임 식별부(110)는 사용자 음성을 분석하여 제 1 의미 프레임 및 제 2 의미 프레임을 식별할 수 있다. 여기서, 의미 프레임은 사용자 음성을 인식하고 인식된 음성에 대응되는 명령을 실행하는 데 필요한 최소 단위의 서술어를 포함할 수 있고, 또한 서술어(predicate)를 중심으로 주어, 목적어, 부사어 등을 포함하는 각 의존소를 인자로 가지는 프레임 구조로 정의될 수 있다. 예를 들어, 의미 프레임 식별부(110)는 "A레스토랑 예약하고, 길 안내해주고, 예약 내용을 B에서 문자 메시지로 보내줘"라는 사용자 음성 입력으로부터 제 1 의미 프레임(A레스토랑 이용 예약), 제 2 의미 프레임(A레스토랑 길안내), 제 3 의미 프레임(A레스토랑 예약 내용을 B에게 문자 메시지 전송)을 식별할 수 있다.
동작 명령 생성부(120)는 사용자 음성으로부터 의미 프레임을 인식하여 동작 명을 생성할 수 있다. 예를 들어, 동작 명령 생성부(120)는 제 1 의미 프레임을 인식하여 제 1 동작 명령(ex. 목적지 이용 예약)을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령(ex. 내비게이션 목적지 설정)을 생성할 수 있다. 여기서, 제 1 동작 명령은 제 1 의미 프레임에 대응하여 차량의 각 구성들을 동작시키기 위한 명령이고, 제 2 동작 명령은 제 2 의미 프레임에 대응하여 차량의 각 구성들을 동작시키기 위한 명령일 수 있다.
시퀀스 결정부(130)는 동작 명령 생성부(120)에 의해 생성된 동작 명령들(ex. 제 1 동작 명령 및 제 2 동작 명령)의 실행 시퀀스를 결정할 수 있다. 시퀀스 결정부(130)는 기 설정된 동작 처리 순서에 기초하여 제 1 동작 명령 및 제 2 동작 명령의 실행 시퀀스를 결정할 수 있다.
여기서, 기 설정된 동작 처리 순서는 차량의 안전 제어와 관련된 동작, 실시간 처리와 관련된 동작, 정보 확인과 관련된 동작, 타차량과의 정보 공유와 관련된 동작의 순서로 정의될 수 있으며, 이에 한정되는 것은 아니다. 도 3을 참조하면, 차량의 안전 제어와 관련된 동작은 차량 주행 제어, 경고등 안내, 부품 교체 안내 등의 동작 명령을 포함할 수 있고, 실시간 처리와 관련된 동작은 목적지 설정, 전화 걸기, 브로드캐스팅 등의 동작을 포함할 수 있으며, 일반 처리 동작은 목적지 이용 예약, 일정 등록, 알림 등록 등의 동작을 포함할 수 있고, 정보 확인과 관련된 동작은 날씨, 부재중 전화, 일정 확인 등의 동작을 포함할 수 있으며, 정보 공유와 관련된 동작은 문자 메시지 송신, SNS 등록, 음악 공유 등의 동작을 포함할 수 있다.
예를 들어, 제 1 동작 명령이 목적지 이용 예약과 관련된 동작 명령이고, 제 2 동작 명령이 내비게이션 목적지 설정과 관련된 동작 명령인 경우, 시퀀스 결정부(130)는 목적지 이용 예약과 관련된 동작 명령, 내비게이션 목적지 설정과 관련된 동작 명령의 순서로 실행 시퀀스를 결정할 수 있다.
한편, 시퀀스 결정부(130)는 기 설정된 동작 처리 순서에 따라 제 1 동작 명령 및 제 2 동작 명령의 실행 시퀀스가 동일한 경우 제 1 동작 명령에 대응되는 제 1 의미 프레임 및 제 2 동작 명령에 대응되는 제 2 의미 프레임 중 시간적으로 먼저 입력된 의미 프레임에 대응되는 동작 명령이 먼저 실행되도록 실행 시퀀스를 결정할 수 있다.
다시 도 2를 참조하면, 판단부(140)는 동작 명령이 실행 가능한지를 판단할 수 있다. 예를 들어, 판단부(140)는 제 1 동작 명령에 대응되는 제 1 동작과 제 2 동작 명령에 대응되는 제 2 동작이 각각 실행 가능한지를 판단할 수 있다. 여기서, 동작이 실행 가능한지 여부는 동작 명령에 대응되는 동작을 완료할 수 있는지의 의미를 가질 수 있다. 판단부(140)는 동작 명령에 대응되는 동작을 완료할 수 없는 경우 동작 명령의 실행이 불가능한 것으로 판단할 수 있다.
제어부(150)는 동작 명령들 간의 관련성 및 실행 시퀀스에 기초하여 동작 명령들의 실행을 제어할 수 있다. 예를 들어, 제어부(150)는 제 1 동작 명령(ex. 목적지 이용 예약과 관련된 동작 명령)과 제 2 동작 명령(ex. 내비게이션 목적지 설정과 관련된 동작 명령)의 관련성 및 실행 시퀀스에 기초하여 제 1 동작 명령과 제 2 동작 명령의 실행을 제어할 수 있다.
제어부(150)는 제 1 동작 명령과 제 2 동작 명령이 관련성이 있는 경우 판단부(140)의 판단 결과에 기초하여 제 1 동작 명령 및 제 2 동작 명령의 실행을 제어할 수 있다. 예를 들어, 제어부(150)는 제 1 동작 명령과 제 2 동작 명령의 생성 시점, 동작 내용에 공통된 정보(ex. 동일한 목적지와 관련된 동작인 경우)가 포함되는지 등에 기초하여 제 1 동작 명령과 제 2 동작 명령이 관련성이 있는 것으로 판단할 수 있다.
제어부(150)는 판단부(140)의 판단 결과에 따라 제 1 동작 명령의 실행이 불가능한 경우 제 1 동작 명령과 관련성이 있는 제 2 동작 명령의 실행을 취소할 수 있다. 예를 들어, 제 1 동작 명령이 A레스토랑 이용 예약과 관련된 동작 명령이고, 제 2 동작 명령이 A레스토랑 목적지 설정과 관련된 동작 명령인데, 제 1 동작 명령의 실행이 불가능한 경우(ex. A레스토랑에 예약이 불가능한 경우) 제어부(150)는 제 2 동작 명령의 실행을 취소할 수 있다. 이와 같은 동작 명령의 실행 취소는 사용자의 의도에 부합할 수 있다. 따라서, 사용자의 차량 이용 편의성이 향상될 수 있다.
제어부(150)는 제 2 동작 명령의 실행을 취소하는 경우 제 2 동작 명령의 실행 상태 정보를 표시하기 위한 피드백 정보를 생성할 수 있다. 예를 들어, 제어부(150)는 A레스토랑 목적지 설정 동작의 실행을 취소하는 경우 '실행 취소'를 사용자에게 안내하기 위한 피드백 정보를 생성할 수 있다. 상기 피드백 정보는 표시부(12, 도 1 참조)를 통해 표시됨으로써 사용자의 편의성이 더욱 향상될 수 있다.
또한, 제어부(150)는 제 2 동작 명령의 실행을 취소하는 경우 제 2 동작 명령의 기본 설정값에 따라 변경된 제 2 동작 명령을 실행할 수도 있다. 예를 들어, 제어부(150)는 A레스토랑 목적지 설정 동작 명령의 실행을 취소하는 경우 목적지를 기본 설정값인 '집' 또는 '회사' 등으로 설정하는 동작 명령을 실행할 수 있다.
또한, 제어부(150)는 제 1 동작 명령의 실행이 불가능한 경우 제 2 동작 명령을 변경하고, 변경된 제 2 동작 명령을 실행할 수 있다. 예를 들어, 제어부(150)는 제 2 동작 명령의 실행 시에 제 1 동작 명령의 실행 상태 정보가 반영되도록 제 2 동작 명령을 변경할 수 있다. 예를 들어, 제 1 동작 명령이 A레스토랑 이용 예약과 관련된 동작 명령이고, 제 2 동작 명령이 타차량으로 A레스토랑 예약 안내 문자 메시지를 전송하는 문자 메시지 전송과 관련된 동작 명령인데, 제 1 동작 명령의 실행이 불가능한 경우(ex. A레스토랑에 예약이 불가능한 경우) 제어부(150)는 제 2 동작 명령을 변경하여 'A레스토랑 예약 실패 문자 메시지를 전송하는 문자 메시지 전송과 관련된 동작 명령'을 실행할 수 있다.
한편, 제어부(150)는 판단부(140)의 판단 결과에 따라 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 가능한 경우 실행 시퀀스에 따라 제 1 동작 명령 및 제 2 동작 명령을 실행할 수 있다. 또한, 제어부(150)는 판단부(140)의 판단 결과 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 불가능한 경우 제 1 동작 명령 및 제 2 동작 명령의 실행을 취소하고 사용자에게 안내하거나 대안적 성격을 갖는 다른 동작의 실행을 제안할 수 있다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법을 보여주는 흐름도이다. 도 7은 도 4 내지 도 6에 따른 차량의 사용자 입력 처리 방법을 개념적으로 설명하기 위한 도면이다.
먼저, 도 4를 참조하면, 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법은 사용자 음성으로부터 제 1 의미 프레임을 인식하여 제 1 동작 명령을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령을 생성하는 단계(S110), 제 1 동작 명령과 제 2 동작 명령의 실행 시퀀스를 결정하는 단계(S120), 및 제 1 동작 명령과 제 2 동작 명령의 관련성 및 실행 시퀀스에 기초하여 제 1 동작 명령과 제 2 동작 명령의 실행을 제어하는 단계(S130)를 포함할 수 있다.
이하에서는 상술한 S110 단계 내지 S130 단계가 도 2를 참조하여 더욱 구체적으로 설명될 것이다.
S110 단계에서, 동작 명령 생성부(120)는 사용자 음성으로부터 의미 프레임을 인식하여 동작 명령을 생성할 수 있다. 예를 들어, 동작 명령 생성부(120)는 제 1 의미 프레임을 인식하여 제 1 동작 명령(ex. 목적지 이용 예약)을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령(ex. 내비게이션 목적지 설정)을 생성할 수 있다.
S120 단계에서, 시퀀스 결정부(130)는 동작 명령 생성부(120)에 의해 생성된 동작 명령들(ex. 제 1 동작 명령 및 제 2 동작 명령)의 실행 시퀀스를 결정할 수 있다. 시퀀스 결정부(130)는 기 설정된 동작 처리 순서에 기초하여 제 1 동작 명령 및 제 2 동작 명령의 실행 시퀀스를 결정할 수 있다.
S130 단계에서, 제어부(150)는 동작 명령들 간의 관련성 및 실행 시퀀스에 기초하여 동작 명령들의 실행을 제어할 수 있다. 예를 들어, 제어부(150)는 제 1 동작 명령(ex. 목적지 이용 예약과 관련된 동작 명령)과 제 2 동작 명령(ex. 내비게이션 목적지 설정과 관련된 동작 명령)의 관련성 및 실행 시퀀스에 기초하여 제 1 동작 명령과 제 2 동작 명령의 실행을 제어할 수 있다.
도 5를 참조하면, S130 단계는 제 1 동작 명령과 제 2 동작 명령이 실행 가능한지를 판단하는 단계(S131), 제 1 동작 명령의 실행이 불가능한 경우 제 2 동작의 실행을 취소하는 단계(S132), 피드백 정보를 생성하는 단계(S133), 제 1 동작 명령 및 제 2 동작 명령 모두 실행 가능한 경우 실행 시퀀스에 따라 제 1 동작 명령 및 제 2 동작 명령을 실행하는 단계(S134), 및 제 1 동작 명령 및 제 2 동작 명령 모두 실행 불가능한 경우 제 1 동작 명령 및 제 2 동작 명령의 실행을 취소하는 단계(S135)를 포함할 수 있다. 여기서, 제 1 동작 명령과 제 2 동작 명령은 관련성이 있는 동작 명령인 것으로 가정된다.
S131 단계에서, 판단부(140)는 제 1 동작 명령에 대응되는 제 1 동작과 제 2 동작 명령에 대응되는 제 2 동작이 각각 실행 가능한지를 판단할 수 있다. 여기서, 동작이 실행 가능한지 여부는 동작 명령에 대응되는 동작을 완료할 수 있는지의 의미를 가질 수 있다. 판단부(140)는 동작 명령에 대응되는 동작을 완료할 수 없는 경우 동작 명령의 실행이 불가능한 것으로 판단할 수 있다.
S132 단계에서, 제어부(150)는 판단부(140)의 판단 결과에 따라 제 1 동작 명령의 실행이 불가능한 경우 제 1 동작 명령과 관련성이 있는 제 2 동작 명령의 실행을 취소할 수 있다. 이와 같은 동작 명령의 실행 취소는 사용자의 의도에 부합할 수 있다. 따라서, 사용자의 편의성이 향상될 수 있다.
S133 단계에서, 제어부(150)는 제 2 동작 명령의 실행 상태 정보를 표시하기 위한 피드백 정보를 생성할 수 있다. 상기 피드백 정보는 표시부(12, 도 1 참조)를 통해 표시됨으로써 사용자의 편의성이 더욱 향상될 수 있다.
S134 단계에서, 제어부(150)는 판단부(140)의 판단 결과에 따라 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 가능한 경우 실행 시퀀스에 따라 제 1 동작 명령 및 제 2 동작 명령을 실행할 수 있다.
S135 단계에서, 제어부(150)는 판단부(140)의 판단 결과에 따라 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 불가능한 경우 제 1 동작 명령 및 제 2 동작 명령의 실행을 취소하고 사용자에게 안내하거나 대안적 성격을 갖는 다른 동작의 실행을 제안할 수 있다.
도 6을 참조하면, 또 다른 실시예로서 S130 단계는 제 1 동작 명령과 제 2 동작 명령이 실행 가능한지를 판단하는 단계(S231), 제 1 동작 명령의 실행이 불가능한 경우 제 2 동작 명령을 변경하고 변경된 제 2 동작 명령을 실행하는 단계(S232), 제 1 동작 명령 및 제 2 동작 명령 모두 실행 가능한 경우 실행 시퀀스에 따라 제 1 동작 명령 및 제 2 동작 명령을 실행하는 단계(S233), 및 제 1 동작 명령 및 제 2 동작 명령 모두 실행 불가능한 경우 제 1 동작 명령 및 제 2 동작 명령의 실행을 취소하는 단계(S234)를 포함할 수 있다.
S231 단계에서, 판단부(140)는 제 1 동작 명령에 대응되는 제 1 동작과 제 2 동작 명령에 대응되는 제 2 동작이 각각 실행 가능한지를 판단할 수 있다.
S232 단계에서, 제어부(150)는 제 1 동작 명령의 실행이 불가능한 경우 제 2 동작 명령을 변경하고, 변경된 제 2 동작 명령을 실행할 수 있다.
S233 단계에서, 제어부(150)는 판단부(140)의 판단 결과에 따라 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 가능한 경우 실행 시퀀스에 따라 제 1 동작 명령 및 제 2 동작 명령을 실행할 수 있다.
S234 단계에서, 제어부(150)는 판단부(140)의 판단 결과에 따라 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 불가능한 경우 제 1 동작 명령 및 제 2 동작 명령의 실행을 취소하고 사용자에게 안내하거나 대안적 성격을 갖는 다른 동작의 실행을 제안할 수 있다.
도 7을 참조하여 도 4 내지 도 6에 도시된 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법을 더욱 구체적으로 설명한다.
먼저 제 1 동작 명령이 목적지 이용 예약과 관련된 동작 명령이고, 제 2 동작 명령이 내비게이션 목적지 설정과 관련된 동작 명령인 경우가 설명된다.
제 1 동작 명령은 기 설정된 동작 처리 순서에 따라 2순위로 실행 시퀀스가 결정될 수 있다. 제 2 동작 명령은 기 설정된 동작 처리 순서에 따라 1순위로 실행 시퀀스가 결정될 수 있다. 제 1 동작 명령과 제 2 동작 명령은 동일한 목적지와 관련된 동작 명령으로서 관련성이 있는 동작 명령들일 수 있다.
예를 들어, 제어부(150)는 제 1 동작 명령이 A레스토랑 이용 예약과 관련된 동작 명령이고, 제 2 동작 명령이 A레스토랑을 내비게이션 목적지로 설정하는 동작 명령인데, 제 1 동작 명령의 실행이 불가능한 경우(ex. A레스토랑에 예약이 불가능한 경우) 제어부(150)는 제 2 동작 명령의 실행을 취소할 수 있다. 즉, 제 2 동작 명령은 제 1 동작 명령보다 실행 시퀀스가 앞섬에도 불구하고 실행이 취소될 수 있다. 또한, 제어부(150)는 A레스토랑 목적지 설정 동작의 실행을 취소하는 경우 '실행 취소'를 사용자에게 안내하기 위한 피드백 정보를 생성할 수 있다.
다음으로 제 1 동작 명령이 목적지 이용 예약과 관련된 동작 명령이고, 제 2 동작 명령이 문자메시지 송신과 관련된 동작 명령인 경우가 설명된다.
제 1 동작 명령은 기 설정된 동작 처리 순서에 따라 제 2 동작 명령과의 관게에서 1순위로 실행 시퀀스가 결정될 수 있다. 제 2 동작 명령은 기 설정된 동작 처리 순서에 따라 제 1 동작 명령과의 관계에서 2순위로 실행 시퀀스가 결정될 수 있다. 제 1 동작 명령과 제 2 동작 명령은 동일한 목적지와 관련된 동작 명령으로서 관련성이 있는 동작 명령들일 수 있다.
예를 들어, 제어부(150)는 제 1 동작 명령의 실행이 불가능한 경우(ex. A레스토랑에 예약이 불가능한 경우) 제어부(150)는 제 2 동작 명령을 변경하여 'A레스토랑 예약 실패 문자 메시지를 전송하는 문자 메시지 전송과 관련된 동작 명령'을 실행할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 차량의 사용자 입력 처리 장치를 보여주는 블록도이다.
도 8을 참조하면, 본 발명의 다른 실시예에 따른 차량의 사용자 입력 처리 장치(200)는 의미 프레임 식별부(210), 사용자 의도 분석부(220), 동작 명령 생성부(230), 시퀀스 결정부(240), 판단부(250), 및 제어부(260)를 포함할 수 있다.
의미 프레임 식별부(210), 동작 명령 생성부(230), 시퀀스 결정부(240), 및 판단부(250)는 도 2를 참조하여 설명한 의미 프레임 식별부(110), 동작 명령 생성부(120), 시퀀스 결정부(130), 및 판단부(140)와 각각 실질적으로 동일할 수 있으므로 설명의 중복을 피하기 위해 생략될 수 있다. 이하에서는 사용자 의도 분석부(220) 및 제어부(260)를 중심으로 설명한다.
사용자 의도 분석부(220)는 의미 프레임을 해석하여 사용자의 의도를 분석할 수 있다. 예를 들어, 사용자 의도 분석부(220)는 제 1 의미 프레임을 해석하여 사용자의 제 1 의도를 분석하고, 제 2 의미 프레임을 해석하여 사용자의 제 2 의도를 분석할 수 있다. 예를 들어, 제 1 의미 프레임이 "A레스토랑 이용 예약"인 경우 사용자 의도 분석부(220)는 사용자의 제 1 의도를 '레스토랑 이용 예약'으로 분석할 수 있다.
제어부(260)는 판단부(250)의 판단 결과에 따라 제 1 동작 명령의 실행이 불가능한 경우 상기 제 1 의도에 기초하여 제 3 동작 명령을 생성 및 실행할 수 있다. 예를 들어, 제어부(260)는 저장부(15, 도 1 참조)에 저장된 사용자 주행 이력 등을 참조하여 A레스토랑과 다른 K레스토랑의 이용을 추천하는 추천 화면을 표시하는 동작 명령을 생성 및 실행할 수 있다.
제어부(260)는 제 3 동작 명령의 실행 결과에 대한 사용자 응답에 기초하여 제 2 동작 명령을 실행할 수 있다. 예를 들어, 제어부(260)는 K레스토랑의 이용을 추천하는 화면을 표시하고, 사용자가 그에 응답하여 K레스토랑 이용 예약을 선택하는 경우 제 2 동작 명령(ex. K레스토랑을 내비게이션 목적지로 설정)을 실행할 수 있다.
따라서, 차량의 사용자 입력 처리 장치(200)는 입력된 사용자 음성에 대응되는 동작 명령의 실행이 불가능한 경우, 사용자의 이력 데이터를 참조하여 대안적인 성격의 동작 명령을 생성 및 실행함으로써 사용자의 편의성을 더욱 향상시킬 수 있다.
도 9는 본 발명의 다른 실시예에 따른 차량의 사용자 입력 처리 방법을 보여주는 흐름도이다. 도 10은 도 9에 따른 차량의 사용자 입력 처리 방법을 개념적으로 설명하기 위한 도면이다.
먼저 도 9를 참조하면, 본 발명의 다른 실시예에 따른 차량의 사용자 입력 처리 방법은 사용자 음성으로부터 제 1 의미 프레임을 인식하여 제 1 동작 명령을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령을 생성하는 단계(S310), 제 1 의미 프레임을 해석하여 사용자의 제 1 의도를 분석하고, 제 2 의미 프레임을 해석하여 사용자의 제 2 의도를 분석하는 단계(S320), 제 1 동작 명령과 제 2 동작 명령의 실행 시퀀스를 결정하는 단계(S120), 및 제 1 동작 명령과 제 2 동작 명령의 관련성 및 실행 시퀀스와 상기 제 1 의도 또는 제 2 의도에 기초하여 제 1 동작 명령과 제 2 동작 명령의 실행을 제어하는 단계(S340)를 포함할 수 있다.
이하에서는 상술한 S310 단계 내지 S340 단계가 도 8을 참조하여 더욱 구체적으로 설명될 것이다.
S310 단계에서, 동작 명령 생성부(230)는 사용자 음성으로부터 의미 프레임을 인식하여 동작 명령을 생성할 수 있다. 예를 들어, 동작 명령 생성부(120)는 제 1 의미 프레임을 인식하여 제 1 동작 명령(ex. 목적지 이용 예약)을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령(ex. 내비게이션 목적지 설정)을 생성할 수 있다.
S320 단계에서, 사용자 의도 분석부(220)는 의미 프레임을 해석하여 사용자의 의도를 분석할 수 있다. 예를 들어, 사용자 의도 분석부(220)는 제 1 의미 프레임을 해석하여 사용자의 제 1 의도를 분석하고, 제 2 의미 프레임을 해석하여 사용자의 제 2 의도를 분석할 수 있다.
S330 단계에서, 시퀀스 결정부(240)는 동작 명령 생성부(230)에 의해 생성된 동작 명령들(ex. 제 1 동작 명령 및 제 2 동작 명령)의 실행 시퀀스를 결정할 수 있다. 시퀀스 결정부(130)는 기 설정된 동작 처리 순서에 기초하여 제 1 동작 명령 및 제 2 동작 명령의 실행 시퀀스를 결정할 수 있다.
S340 단계에서, 제어부(260)는 동작 명령들 간의 관련성 및 실행 시퀀스와 제 1 의도 또는 제 2 의도에 기초하여 동작 명령들의 실행을 제어할 수 있다.
S340 단계는 제 1 동작 명령과 제 2 동작 명령이 실행 가능한지를 판단하는 단계(S341), 제 1 동작 명령의 실행이 불가능한 경우 제 1 의도에 기초하여 제 3 동작 명령을 생성 및 실행하는 단계(S342), 제 3 동작 명령의 실행 결과에 대한 사용자 응답에 기초하여 제 2 동작 명령을 실행하는 단계(S343), 제 1 동작 명령 및 제 2 동작 명령 모두 실행 가능한 경우 실행 시퀀스에 따라 제 1 동작 명령 및 제 2 동작 명령을 실행하는 단계(S344), 및 제 1 동작 명령 및 제 2 동작 명령 모두 실행 불가능한 경우 제 1 동작 명령 및 제 2 동작 명령의 실행을 취소하는 단계(S345)를 포함할 수 있다. 여기서, 제 1 동작 명령과 제 2 동작 명령은 관련성이 있는 동작 명령인 것으로 가정된다.
S341 단계에서, 판단부(140)는 제 1 동작 명령에 대응되는 제 1 동작과 제 2 동작 명령에 대응되는 제 2 동작이 각각 실행 가능한지를 판단할 수 있다.
S342 단계에서, 제어부(260)는 판단부(250)의 판단 결과에 따라 제 1 동작 명령의 실행이 불가능한 경우 상기 제 1 의도에 기초하여 제 3 동작 명령을 생성 및 실행할 수 있다.
S343 단계에서, 제어부(260)는 제 3 동작 명령의 실행 결과에 대한 사용자 응답에 기초하여 제 2 동작 명령을 실행할 수 있다.
S344 단계에서, 제어부(260)는 판단부(250)의 판단 결과에 따라 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 가능한 경우 실행 시퀀스에 따라 제 1 동작 명령 및 제 2 동작 명령을 실행할 수 있다.
S345 단계에서, 제어부(260)는 판단부(250)의 판단 결과에 따라 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 불가능한 경우 제 1 동작 명령 및 제 2 동작 명령의 실행을 취소하고 사용자에게 안내하거나 대안적 성격을 갖는 다른 동작의 실행을 제안할 수 있다.
도 10을 참조하면, 제 1 동작 명령이 목적지 이용 예약과 관련된 동작 명령이고, 제 2 동작 명령이 내비게이션 목적지 설정과 관련된 동작 명령인 경우가 설명된다.
제 1 동작 명령은 기 설정된 동작 처리 순서에 따라 2순위로 실행 시퀀스가 결정될 수 있다. 제 2 동작 명령은 기 설정된 동작 처리 순서에 따라 1순위로 실행 시퀀스가 결정될 수 있다. 제 1 동작 명령과 제 2 동작 명령은 관련성이 있는 동작 명령들일 수 있다.
제 1 동작 명령의 실행이 불가능한 경우 제어부(260)는 저장부(15, 도 1 참조)에 저장된 사용자 주행 이력 등을 참조하여 A레스토랑과 다른 K레스토랑의 이용을 추천하는 추천 화면을 표시하는 동작 명령을 생성 및 실행할 수 있다.
제어부(260)는 K레스토랑의 이용을 추천하는 화면을 표시하고, 사용자가 그에 응답하여 K레스토랑 이용 예약을 선택하는 경우 제 2 동작 명령(ex. K레스토랑을 내비게이션 목적지로 설정)을 실행할 수 있다.
도 11은 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 11을 참조하면, 상술한 본 발명의 일 실시예에 따른 차량의 사용자 입력 처리 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 200: 차량의 사용자 입력 처리 장치
110, 210: 의미 프레임 식별부
120, 230: 동작 명령 생성부
220: 사용자 의도 분석부
130, 240: 시퀀스 결정부
140, 250: 판단부
150, 260: 제어부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스

Claims (20)

  1. 사용자 음성으로부터 제 1 의미 프레임을 인식하여 제 1 동작 명령을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령을 생성하는 동작 명령 생성부;
    기 설정된 동작 처리 순서에 기초하여, 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행 시퀀스를 결정하는 시퀀스 결정부; 및
    상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 제어부를 포함하고,
    상기 기 설정된 동작 처리 순서는,
    차량의 안전 제어와 관련된 동작, 실시간 처리와 관련된 동작, 정보 확인과 관련된 동작, 타차량과의 정보 공유와 관련된 동작의 순서로 정의되는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  2. 제 1 항에 있어서,
    상기 제 1 동작 명령과 상기 제 2 동작 명령이 실행 가능한지를 판단하는 판단부를 더 포함하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  3. 제 2 항에 있어서,
    상기 제어부는 상기 제 1 동작 명령과 상기 제 2 동작 명령이 관련성이 있는 경우 상기 판단부의 판단 결과에 기초하여 상기 제 1 동작 명령 및 제 2 동작 명령의 실행을 제어하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  4. 제 3 항에 있어서,
    상기 제어부는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행을 취소하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  5. 제 4 항에 있어서,
    상기 제어부는 상기 제 2 동작 명령의 실행이 취소되는 경우 상기 제 2 동작 명령의 실행 상태 정보를 표시하기 위한 피드백 정보를 생성하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  6. 제 3 항에 있어서,
    상기 제어부는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행 시에 상기 제 1 동작 명령의 실행 상태 정보가 반영되도록 상기 제 2 동작 명령을 변경하고, 변경된 제 2 동작 명령을 실행하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  7. 제 3 항에 있어서,
    상기 제 1 의미 프레임을 해석하여 사용자의 제 1 의도를 분석하고, 상기 제 2 의미 프레임을 해석하여 사용자의 제 2 의도를 분석하는 사용자 의도 분석부를 더 포함하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  8. 제 7 항에 있어서,
    상기 제어부는 상기 판단부의 판단 결과에 따라 상기 제 1 동작 명령의 실행이 불가능한 경우 상기 제 1 의도에 기초하여 제 3 동작 명령을 생성 및 실행하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  9. 제 8 항에 있어서,
    상기 제어부는 상기 제 3 동작 명령의 실행 결과에 대한 사용자 응답에 기초하여 상기 제 2 동작 명령을 실행하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  10. 제 2 항에 있어서,
    상기 제어부는 상기 판단부의 판단 결과 상기 제 1 동작 명령 및 제 2 동작 명령이 모두 실행 가능한 경우 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령 및 제 2 동작 명령을 실행하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  11. 삭제
  12. 삭제
  13. 제 1 항에 있어서,
    상기 시퀀스 결정부는 상기 기 설정된 동작 처리 순서에 따라 상기 제 1 동작 명령 및 제 2 동작 명령의 실행 시퀀스가 동일한 경우 상기 제 1 동작 명령에 대응되는 상기 제 1 의미 프레임 및 상기 제 2 동작 명령에 대응되는 상기 제 2 의미 프레임 중 시간적으로 먼저 입력된 의미 프레임에 대응되는 동작 명령이 먼저 실행되도록 상기 실행 시퀀스를 결정하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  14. 제 1 항에 있어서,
    상기 사용자 음성으로부터 상기 제 1 의미 프레임 및 상기 제 2 의미 프레임을 식별하는 의미 프레임 식별부를 더 포함하는 것을 특징으로 하는 차량의 사용자 입력 처리 장치.
  15. 사용자 음성으로부터 제 1 의미 프레임을 인식하여 제 1 동작 명령을 생성하고, 제 2 의미 프레임을 인식하여 제 2 동작 명령을 생성하는 단계;
    기 설정된 동작 처리 순서에 기초하여,상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행 시퀀스를 결정하는 단계; 및
    상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계를 포함하고,
    상기 기 설정된 동작 처리 순서는,
    차량의 안전 제어와 관련된 동작, 실시간 처리와 관련된 동작, 정보 확인과 관련된 동작, 타차량과의 정보 공유와 관련된 동작의 순서로 정의되는 것을 특징으로 하는 차량의 사용자 입력 처리 방법.
  16. 제 15 항에 있어서,
    상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 1 동작 명령과 상기 제 2 동작 명령이 실행 가능한지를 판단하는 단계를 포함하는 것을 특징으로 하는 차량의 사용자 입력 처리 방법.
  17. 제 16 항에 있어서,
    상기 제 1 동작 명령과 상기 제 2 동작 명령이 실행 가능한지를 판단하는 단계는 상기 제 1 동작 명령과 상기 제 2 동작 명령이 관련성이 있는 경우 수행되는 것을 특징으로 하는 차량의 사용자 입력 처리 방법.
  18. 제 17 항에 있어서,
    상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행을 취소하는 단계를 더 포함하는 것을 특징으로 하는 차량의 사용자 입력 처리 방법.
  19. 제 18 항에 있어서,
    상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 2 동작 명령의 실행이 취소되는 경우 상기 제 2 동작 명령의 실행 상태 정보를 표시하기 위한 피드백 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 차량의 사용자 입력 처리 방법.
  20. 제 17 항에 있어서,
    상기 제 1 동작 명령과 상기 제 2 동작 명령의 관련성 및 상기 실행 시퀀스에 기초하여 상기 제 1 동작 명령과 상기 제 2 동작 명령의 실행을 제어하는 단계는 상기 제 1 동작 명령이 실행 불가능한 경우 상기 제 2 동작 명령의 실행 시에 상기 제 1 동작의 실행 상태 정보가 반영되도록 상기 제 2 동작 명령을 변경하고, 변경된 제 2 동작 명령을 실행하는 단계를 더 포함하는 것을 특징으로 하는 차량의 사용자 입력 처리 방법.
KR1020170132157A 2017-10-12 2017-10-12 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법 KR102441067B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170132157A KR102441067B1 (ko) 2017-10-12 2017-10-12 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법
US15/829,471 US10754615B2 (en) 2017-10-12 2017-12-01 Apparatus and method for processing user input for vehicle
CN201711261739.8A CN109658922B (zh) 2017-10-12 2017-12-04 车辆的用于处理用户输入的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170132157A KR102441067B1 (ko) 2017-10-12 2017-10-12 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법

Publications (2)

Publication Number Publication Date
KR20190041109A KR20190041109A (ko) 2019-04-22
KR102441067B1 true KR102441067B1 (ko) 2022-09-06

Family

ID=66096458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170132157A KR102441067B1 (ko) 2017-10-12 2017-10-12 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법

Country Status (3)

Country Link
US (1) US10754615B2 (ko)
KR (1) KR102441067B1 (ko)
CN (1) CN109658922B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158810A1 (en) * 2019-11-25 2021-05-27 GM Global Technology Operations LLC Voice interface for selection of vehicle operational modes
CN111002996B (zh) * 2019-12-10 2023-08-25 广州小鹏汽车科技有限公司 车载语音交互方法、服务器、车辆和存储介质
JP7287258B2 (ja) * 2019-12-10 2023-06-06 トヨタ自動車株式会社 エージェント管理装置、プログラムおよびエージェント管理方法
CN112163086B (zh) * 2020-10-30 2023-02-24 海信视像科技股份有限公司 多意图的识别方法、显示设备
CN116061820A (zh) * 2021-11-01 2023-05-05 华人运通(江苏)技术有限公司 车辆的控制方法、装置、系统、机械臂以及车辆

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804642B1 (en) * 1997-06-24 2004-10-12 Itt Manufacturing Enterprises, Inc. Apparatus and method for continuous speech recognition on a PCMCIA card
US20030182394A1 (en) * 2001-06-07 2003-09-25 Oren Ryngler Method and system for providing context awareness
JP3715584B2 (ja) * 2002-03-28 2005-11-09 富士通株式会社 機器制御装置および機器制御方法
JP3724461B2 (ja) * 2002-07-25 2005-12-07 株式会社デンソー 音声制御装置
US7110949B2 (en) * 2004-09-13 2006-09-19 At&T Knowledge Ventures, L.P. System and method for analysis and adjustment of speech-enabled systems
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
JP4156639B2 (ja) * 2006-08-14 2008-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声インターフェースの設計を支援するための装置、方法、プログラム
JP2009020423A (ja) * 2007-07-13 2009-01-29 Fujitsu Ten Ltd 音声認識装置および音声認識方法
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
JP5636888B2 (ja) * 2010-11-09 2014-12-10 ソニー株式会社 情報処理装置、プログラムおよびコマンド生成方法
CN102316162A (zh) * 2011-09-01 2012-01-11 深圳市子栋科技有限公司 基于语音命令的车辆远程控制方法、装置及系统
US20130073293A1 (en) * 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same
US9082403B2 (en) * 2011-12-15 2015-07-14 Microsoft Technology Licensing, Llc Spoken utterance classification training for a speech recognition system
US9575963B2 (en) * 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
KR20130135410A (ko) * 2012-05-31 2013-12-11 삼성전자주식회사 음성 인식 기능을 제공하는 방법 및 그 전자 장치
US9286030B2 (en) * 2013-10-18 2016-03-15 GM Global Technology Operations LLC Methods and apparatus for processing multiple audio streams at a vehicle onboard computer system
CN105934791B (zh) * 2014-01-31 2019-11-22 惠普发展公司，有限责任合伙企业 语音输入命令
US9550578B2 (en) * 2014-02-04 2017-01-24 Honeywell International Inc. Systems and methods for utilizing voice commands onboard an aircraft
EP3480811A1 (en) * 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
CN105446952B (zh) * 2014-08-20 2019-03-19 国际商业机器公司 用于处理语义片段的方法和系统
CN105529025B (zh) * 2014-09-28 2019-12-24 联想(北京)有限公司 一种语音操作输入方法及电子设备
US9547306B2 (en) * 2014-09-30 2017-01-17 Speak Loud SPA State and context dependent voice based interface for an unmanned vehicle or robot
JP2016090655A (ja) * 2014-10-30 2016-05-23 シャープ株式会社 音声認識ロボットシステム、音声認識ロボット、音声認識ロボットの制御装置、音声認識ロボットを制御するための通信端末、およびプログラム
JP6520100B2 (ja) * 2014-12-15 2019-05-29 オンキヨー株式会社 電子機器制御システム、端末装置、及び、サーバー
CN104966514A (zh) * 2015-04-30 2015-10-07 北京车音网科技有限公司 一种语音识别方法和车载设备
US20160378747A1 (en) * 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
CN105282332B (zh) * 2015-09-24 2016-11-23 百度在线网络技术（北京）有限公司 语音拨号方法及装置
JP6129927B2 (ja) * 2015-10-15 2017-05-17 クラリオン株式会社 情報処理装置、音声操作システム、および、情報処理装置の音声操作方法
CN106814639A (zh) * 2015-11-27 2017-06-09 富泰华工业（深圳）有限公司 语音控制系统及方法
US10339925B1 (en) * 2016-09-26 2019-07-02 Amazon Technologies, Inc. Generation of automated message responses
CN106653013B (zh) * 2016-09-30 2019-12-20 北京奇虎科技有限公司 语音识别方法及装置
CN106992001B (zh) * 2017-03-29 2020-05-22 百度在线网络技术（北京）有限公司 语音指令的处理方法、装置和系统
US10885026B2 (en) * 2017-07-29 2021-01-05 Splunk Inc. Translating a natural language request to a domain-specific language request using templates
US11120344B2 (en) * 2017-07-29 2021-09-14 Splunk Inc. Suggesting follow-up queries based on a follow-up recommendation machine learning model

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2013-0135410호(2013.12.11.) 1부*

Also Published As

Publication number Publication date
US20190114137A1 (en) 2019-04-18
KR20190041109A (ko) 2019-04-22
CN109658922B (zh) 2023-10-10
US10754615B2 (en) 2020-08-25
CN109658922A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
KR102441067B1 (ko) 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법
KR20210042062A (ko) 네비게이션 정보 생성 방법 및 장치
JP6058654B2 (ja) 車載情報システム、情報端末、アプリケーション実行方法
US7548861B2 (en) Speech recognition system
KR20120117148A (ko) 음성 명령어 처리 장치 및 그 방법
JP2019127192A (ja) 車載装置
EP3726360A1 (en) Device and method for controlling vehicle component
US10386853B2 (en) Method for accessing a vehicle-specific electronic device
WO2013180279A1 (ja) 車載情報システム、情報端末、アプリケーション実行方法、プログラム
US20200322450A1 (en) Agent device, method of controlling agent device, and computer-readable non-transient storage medium
JP5698864B2 (ja) ナビゲーション装置、サーバ、ナビゲーション方法及びプログラム
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
JP2019027863A (ja) 経路決定方法、情報処理装置、車載機器及びプログラム
JP7175221B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN113113015A (zh) 交互方法、信息处理方法、车辆和服务器
JP2017027422A (ja) 表示装置及び表示処理方法
JP2010107614A (ja) 音声案内応答方法
KR20160088175A (ko) Avn 제어 시스템 및 그 방법
JP2008233009A (ja) カーナビゲーション装置及びカーナビゲーション装置用プログラム
US20240010215A1 (en) Voice instruction approval device
CN116016578B (zh) 一种基于设备状态和用户行为的智能语音引导方法
JP7377043B2 (ja) 操作受付装置及びプログラム
JP2019003244A (ja) 情報提供装置及び情報提供方法並びに車両
JP7377883B2 (ja) 端末装置、情報処理方法及び端末装置用プログラム
CN111301438B (zh) 自动驾驶装置、汽车导航装置以及驾驶辅助系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant