KR20200071841A - 차량용 음성명령어 처리 장치 및 그 방법 - Google Patents

차량용 음성명령어 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20200071841A
KR20200071841A KR1020180153949A KR20180153949A KR20200071841A KR 20200071841 A KR20200071841 A KR 20200071841A KR 1020180153949 A KR1020180153949 A KR 1020180153949A KR 20180153949 A KR20180153949 A KR 20180153949A KR 20200071841 A KR20200071841 A KR 20200071841A
Authority
KR
South Korea
Prior art keywords
command
voice
touch
vehicle
control
Prior art date
Application number
KR1020180153949A
Other languages
English (en)
Inventor
이승신
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180153949A priority Critical patent/KR20200071841A/ko
Priority to US16/425,142 priority patent/US11094325B2/en
Priority to CN201910541931.5A priority patent/CN111261153B/zh
Publication of KR20200071841A publication Critical patent/KR20200071841A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/10—Input devices or features thereof
    • B60K2370/12—Input devices or input features
    • B60K2370/143—Touch sensitive input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

본 발명은 차량용 음성명령어 처리 장치 및 그 방법에 관한 것으로, 사용자로부터 입력받은 음성명령어를 제어명령어와 터치명령어로 구분하여 각각 처리함으로써, 제어명령어에 따른 기기의 조작은 물론 터치명령어에 상응하는 객체를 디스플레이 상에서 선택할 수 있는 차량용 음성명령어 처리 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 차량용 음성명령어 처리 장치에 있어서, 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 통신부; 터치 디스플레이상의 화면에서 각 객체를 식별하며, 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 제어부; 상기 제어명령어에 상응하는 제어를 수행하는 제어명령어 처리부; 및 상기 터치명령어에 상응하는 객체를 상기 화면에서 선택하는 터치명령어 처리부를 포함한다.

Description

차량용 음성명령어 처리 장치 및 그 방법{APPARATUS FOR PROCESSING VOICE COMMAND IN VEHICLE AND METHOD THEREOF}
본 발명은 차량용 음성명령어 처리 장치 및 그 방법에 관한 것이다.
일반적으로, 전자 기술의 발전과 소비자의 편의성 요구에 따라 차량에는 각종 전자 제어장치 및 편의장치들이 장착되고 있으며, 이들 전자 제어장치 및 편의장치들에 대한 동작이 운전자의 음성 명령에 의해 수행되도록 하고 있다.
따라서, 차량에 장착되는 각종 전자 제어장치 및 편의장치에 대한 다양한 동작이 음성명령어의 입력으로 수행되도록 하기 위해서는 각 장치별로 제작자에 의해 미리 입력된 각 애플리케이션(Application)에 적합한 음성 인식용 명령어 목록이 테이블로 설정되며, 이로부터 입력된 음성명령어를 인식한 다음 그에 해당하는 동작이 수행되도록 하고 있다.
상기 각 장치에 대한 각 애플리케이션을 위한 음성 인식용 명령어 목록을 설정함에 있어 수많은 사용자에 대한 모든 경우의 수를 고려하기는 현실적으로 불가능하므로, 제작자의 주관 혹은 표본 조사 자료를 근간으로 하여 설정하는 방식을 적용하고 있다.
따라서, 음성명령어의 인식에 있어 제한적인 특성을 갖게 되므로, 음성명령어의 인식률이 저하되어 원하는 편의장치 및 제어장치에 대한 동작 수행이 이루어지지 못하는 단점이 발생하게 된다.
특히, 종래의 차량용 음성명령어 처리 장치는 사용자로부터 입력되는 음성명령어에 기초하여 차량 내 각종 기기의 동작을 제어할 뿐, 음성명령어에서 제어명령어와 터치명령어를 구분하지 못해 차량에 구비된 터치 디스플레이에 표시된 객체를 선택(터치)하는 기능을 수행하지 못하는 문제점이 있다.
일본공개특허번호 제2006-189394호
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 사용자로부터 입력받은 음성명령어를 제어명령어와 터치명령어로 구분하여 각각 처리함으로써, 제어명령어에 따른 기기의 조작은 물론 터치명령어에 상응하는 객체를 디스플레이 상에서 선택할 수 있는 차량용 음성명령어 처리 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 차량용 음성명령어 처리 장치에 있어서, 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 통신부; 터치 디스플레이에 표시된 객체를 식별하며, 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 제어부; 상기 제어명령어에 상응하는 제어를 수행하는 제어명령어 처리부; 및 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 터치명령어 처리부를 포함한다.
여기서, 상기 제어부는 상기 음성명령어에 서술어가 있으면 제어명령어로 구분할 수 있다.
또한, 상기 터치명령어 처리부는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택할 수 있다.
또한, 상기 터치명령어 처리부는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달할 수 있다.
또한, 상기 터치명령어 처리부는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달할 수 있다.
이러한 본 발명의 장치는 사용자의 시선을 추적하는 시선 추적기를 더 포함할 수도 있다.
여기서, 상기 제어부는 상기 터치 디스플레이가 복수 개인 경우, 상기 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정할 수 있다. 즉, 상기 제어부는 사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택할 수 있다.
또한, 상기 입력부는 상기 음성명령어의 입력을 알리는 입력버튼을 구비할 수도 있다. 이때, 상기 제어부는 상기 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별할 수도 있다.
상기 목적을 달성하기 위한 본 발명의 방법은, 차량용 음성명령어 처리 방법에 있어서, 제어부가 터치 디스플레이상에 표시된 객체를 식별하는 단계; 통신부가 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 단계; 상기 제어부가 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 단계; 제어명령 처리부가 상기 제어명령어에 상응하는 제어를 수행하는 단계; 및 터치명령어 처리부가 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 단계를 포함한다.
여기서, 상기 구분하는 단계는 상기 음성명령어에 서술어가 있으면 제어명령어로 구분할 수 있다.
또한, 상기 선택하는 단계는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택할 수 있다.
또한, 상기 선택하는 단계는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계를 포함할 수 있다.
또한, 상기 선택하는 단계는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계를 포함할 수 있다.
이러한 본 발명의 방법은 상기 터치 디스플레이가 복수 개인 경우, 제어부가 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정하는 단계를 더 포함할 수 있다. 이때, 상기 특정하는 단계는 사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택할 수 있다.
또한, 상기 식별하는 단계는 사용자의 음성명령어 입력을 위한 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별할 수 있다.
본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치 및 그 방법은, 사용자로부터 입력받은 음성명령어를 제어명령어와 터치명령어로 구분하여 각각 처리함으로써, 제어명령어에 따른 기기의 조작은 물론 터치명령어에 상응하는 객체를 디스플레이 상에서 선택할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치의 구성도,
도 2 는 본 발명의 일 실시예에 따른 입력버튼을 나타내는 도면,
도 3 은 본 발명의 일 실시예에 따른 터치 디스플레이의 화면 내 각 객체를 나타내는 도면,
도 4 는 본 발명에 이용되는 시선 추적기의 구성을 나타내는 일예시도,
도 5 는 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법에 대한 흐름도,
도 6 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치(100)는, 입력부(10), 통신부(20), 제어부(Controller, 30), 저장부(Storage, 40), 제어명령어 처리부(50), 터치명령어 처리부(60), 및 터치 디스플레이(70)를 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구비될 수 있으며, 아울러 발명을 실시하는 방식에 따라 일부의 구성요소가 생략될 수도 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 입력부(10)는 차량에 탑재된 마이크로폰으로 구현될 수 있으며, 사용자로부터 음성명령어를 입력받는다.
또한, 입력부(10)는 도 2에 도시된 바와 같이 입력버튼(210)을 더 구비할 수도 있다. 따라서 사용자는 입력버튼(210)을 누른 후 음성명령어를 입력할 수 있고, 제어부(30)는 입력버튼(210)의 눌림을 통해 음성명령어의 입력을 예상할 수 있다.
다음으로, 통신부(20)는 음성인식서버(200)와의 통신 인터페이스를 제공하는 모듈로서, 음성인식서버(200)로 음성명령어를 전송하고, 음성인식서버(200)로부터 음성인식된 명령어를 수신할 수 있다. 이러한 통신부(20)는 하기의 3가지 방식으로 음성인식된 명령어를 수신할 수 있다.
1) V2X(Vehicle to Everthing) 통신을 이용하여 음성인식서버(200)와 통신하여 음성인식결과를 수신할 수 있다. 여기서, V2X는 차량과 차량 사이의 무선통신(V2V: Vehicle to Vehicle), 차량과 인프라 간 무선통신(V2I: Vehicle to Infrastructure), 차량 내 유무선 네트워킹(IVN: In-Vehicle Networking), 차량과 이동단말 간 통신(V2P: Vehicle to Pedestrian) 등을 총칭한다.
2) 근거리 무선통신을 이용하여 음성인식서버(200)와 통신하여 음성인식결과를 수신할 수 있다. 여기서, 근거리 무선통신은 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wireless USB(Wireless Universal Serial Bus) 등을 포함할 수 있다.
3) 이동통신 또는 무선인터넷을 이용하여 음성인식서버(200)와 통신하여 음성인식결과를 수신할 수 있다.
여기서, 이동통신은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 등을 포함할 수 있다.
또한, 무선인터넷은 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등을 포함할 수 있다.
다음으로, 제어부(30)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(30)는 하드웨어 또는 소프트웨어의 형태로 구현될 수 있으며, 하드웨어 및 소프트웨어가 결합된 형태로도 존재할 수 있다. 바람직하게는, 제어부(30)는 마이크로프로세서로 구현될 수 있으나 이에 한정되지 않는다.
또한, 제어부(30)는 사용자로부터 음성명령어를 입력받을 수 있도록 입력부(10)를 제어할 수 있다.
또한, 제어부(30)는 음성인식서버(200)로 음성명령어를 전송하고, 음성인식서버(200)로부터 음성인식된 명령어를 수신하도록 통신부(20)를 제어할 수 있다.
또한, 제어부(30)는 입력버튼(210)이 눌린 시점에 터치 디스플레이(70) 상의 화면에서 각 개체(문자, 숫자, 기호, 아이콘)를 인식할 수 있다. 일례로, 도 3에 도시된 바와 같은 화면이 디스플레이 되고 있다면 제어부(30)는 아이콘 형태의 홈키(310)와, 이전화면, 종료, 다음 페이지, 도움말, 1번(킨텍스수변공원), 2번(대화레포츠공원), 3번(킨텐스온누리공원), 4번(원마운트 이벤트광장) 등을 인식할 수 있다. 이렇게 영상에서 문자, 숫자 기호, 아이콘을 인식하는 기술은 주지관용의 기술이므로 상세 설명은 생략한다.
또한, 제어부(30)는 인식한 결과를 저장부(40)에 저장할 수 있다. 이때, 저장부(40)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
한편, 제어부(30)는 통신부(20)를 통해 음성인식서버(200)로부터 수신한 음성인식된 명령어를 제어명령어와 터치명령어로 구분할 수 있다. 이때, 제어부(30)는 음성명령어에 서술어가 있으면 제어명령어로 구분하고 서술어가 없으면 터치명령어로 구분할 수 있다. 예를 들어, 제니한테 전화를 걸어줘, 에어컨을 틀어줘, 히터를 틀어줘 등과 같이 서술어를 포함하는 음성명령어는 제어명령어로 인식할 수 있다. 또한, 제어부(30)는 차량 제어를 위한 음성명령어, 차량 메뉴얼과 관련된 음성명령어, 웹을 통해 수집할 수 있는 정보의 요청을 위한 음성명령어 등은 제어명령어로 인식할 수 있다. 여기서, 웹을 통해 수집할 수 있는 정보는 날씨정보, 맛집정보, 스포츠정보 등을 포함할 수 있다.
또한, 제어부(30)는 제어명령어를 제어명령어 처리부(50)로 전달하고, 터치명령어를 터치명령어 처리부(60)로 전달할 수 있다.
다음으로, 제어명령어 처리부(50)는 제어부(30)로부터 전달받은 제어명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 제어를 수행할 수 있다. 이때, 제어명령어 처리부(50)는 에어컨을 틀수도 있고, 히터를 틀수도 있으며, 제니한테 전화를 걸 수도 있다.
다음으로, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체를 선택할 수 있다. 도 3을 참조하여 예를 들면, 터치명령어가 1번 객체이면 1번 객체를 선택하고, 터치명령어가 종료이면 '종료'를 선택한다. 여기서, 터치명령어 처리부(60)의 선택은 사용자의 터치와 동일한 결과를 얻을 수 있다.
또한, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체를 선택하는 과정에서, 음성인식된 터치명령어와 화면 내 식별된 객체가 동일하지 않더라도 음성인식된 터치명령어가 포함된 객체를 선택할 수도 있다. 도 3을 예로 들면, 음성인식된 터치명령어가 '수변공원'이면 '수변공원'을 포함하는 '킨텍스수변공원을' 선택할 수 있다.
또한, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체가 없으면, 상기 터치명령어를 제어명령어로 판단하여 제어명령어 처리부(50)로 전달할 수도 있다.
또한, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체를 선택할 수 없는 객체(단순 표시 문자)라면 상기 터치명령어를 제어명령어로 판단하여 제어명령어 처리부(50)로 전달할 수도 있다.
다음으로, 터치 디스플레이(70)는 차량에 탑재된 디스플레이로서, 클러스터, AVN(Audio Video Navigation) 시스템의 디스플레이, 보조 디스플레이 등을 포함할 수 있다. 이러한 터치 디스플레이(70)는 UI(User Interface), GUI(Graphic User Interface)를 포함하는 각종 화면을 디스플레이할 수 있으며, 본 발명은 터치를 통해 선택받을 수 있는 화면이라면 어떤 화면이라도 상관없이 적용될 수 있다.
한편, 차량에 탑재된 디스플레이가 복수 개라면 차량에 탑재된 시선 추적기(300)와 연동하여 사용자의 선정없이도 사용자가 원하는 디스플레이를 선정할 수 있다. 즉, 사용자가 디스플레이 화면을 보고 터치명령어를 말하기 때문에 시선 추적기(300)를 통해 운전자의 시선이 머무는 디스플레이를 대상 디스플레이로 선정할 수 있다.
즉, 제어부(30)는 차량에 탑재된 디스플레이가 복수 개인 경우, 디스플레이별로 화면상의 텍스트와 아이콘을 인식하고, 사용자의 음성명령어가 입력되는 시점에 시선 추적기(300)에 의해 추적된 사용자의 시선이 머무는 디스플레이를 대상 디스플레이로 선정할 수 있다.
이후, 터치명령어 처리부(30)는 제어부(30)에 의해 선정된 디스플레이의 화면에서 터치명령어에 상응하는 객체를 선택할 수 있다.
아울러, 제어부(30)는 음성인식을 통해 터치 디스프레이 상에서 동일한 화면 조작이 반복 수행되면 이를 매크로로 생성할 수도 있다. 예를 들어, 상위 레이어(Layer)에서의 선택과 하위 레이어에서의 선택 과정이 반복 수행되면, 이를 특정 터치명령어로 매크로를 생성할 수 있다. 따라서 사용자는 특정 터치명령어를 통해 상위 레이어에서의 선택 과정과 하위 레이어에서의 선택 과정을 한번에 수행할 수 있다.
도 4 는 본 발명에 이용되는 시선 추적기의 일예시도이다.
도 4에 도시된 바와 같이, 본 발명에 이용되는 시선 추적기(300)는 제어부(310), 카메라(320), 출력부(330), 저장부(340), 특징점 검출부(350), 위치 결정부(360), 벡터 계산부(370) 및 시선 추적부(380)를 포함할 수 있다. 여기서, 제어부(310)는 시선 추적기(300)의 각 부의 동작을 제어한다.
카메라(320)는 사용자의 영상, 특히 얼굴 영상을 촬영하는 장치이다. 일 예로서, 카메라(320)는 차량에 탑승한 운전자의 얼굴 영상을 촬영할 수 있다. 여기서, 카메라(320)는 적어도 두 개 이상 구비될 수 있다. 한편, 카메라(320)는 촬상 렌즈를 적어도 두 개 이상 구비한 스테레오 카메라(stereo camera)일 수도 있다. 이때, 카메라(220)는 CCD(charge coupled device) 카메라, CMOS(complementary metal oxi semiconductor) 카메라 등을 포함할 수 있으나 이에 한정되는 것은 아니다.
출력부(330)는 시선 추적기(300)에 의해 도출된 시선 추적 결과를 출력할 수 있다. 이때, 출력부(330)는 무선통신으로 연결된 외부장치 혹은 케이블을 통해 유선을 연결된 외부장치로 시선 추적 결과를 제공할 수 있다.
일 예로서, 출력부(330)는 시선 추적기(300)의 시선 추적 결과를 차내 모니터로 제공할 수 있으며, 또한 운전자의 상태에 따라 차량 구동을 제어하는 차량 제어 시스템으로 시선 추적 결과를 제공할 수도 있다.
저장부(340)는 시선 추적기(300)의 동작을 위한 설정값이 저장될 수 있으며, 시선 추적기(300)의 각 부에 의한 결과값이 저장될 수 있다. 또한, 저장부(340)는 시선 추적기(300)의 각 부의 동작을 구현하기 위한 프로그램 또는 알고리즘 등이 저장될 수 있다. 일 예로서, 저장부(340)는 특징점 검출 알고리즘, 위치 추정 알고리즘, 벡터 계산 알고리즘, 및 시선 추적 알고리즘 등이 저장될 수 있다.
특징점 검출부(350)는 사용자의 얼굴 영상으로부터 특징점들을 검출한다. 특징점 검출부(350)는 사용자의 얼굴 영상의 안구 영역으로부터 카메라(320)의 조명에 의해 발생하는 조명 반사점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상으로부터 적어도 두 개의 조명에 의해 발생하는 적어도 두 개의 조명 반사점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상의 안구 영역으로부터 동공 중심점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상 내에서 위치가 고정된 적어도 두 개의 특징점을 검출할 수 있다. 일 예로서, 특징점 검출부(350)는 사용자의 얼굴 영상의 안구 영역으로부터 사용자 눈의 좌측 끝점 및 우측 끝점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상 내에서 사용자의 얼굴 특징점, 예를 들어, 점, 흉터, 눈썹의 특정 위치 등을 검출할 수 있으며, 사용자가 착용한 액세서리, 예를 들어, 안경의 특정위치 등을 검출할 수 있다.
여기서, 특징점 검출부(350)는 사용자의 얼굴 영상으로부터 시선 추적에 적용되는 특징점을 검출하면, 기 검출된 특징점을 기준으로 하여 이후 사용자의 다른 얼굴 영상으로부터 동일한 특징점을 검출할 수 있다. 물론, 사용자의 얼굴 영상으로부터 동일한 특징점이 검출되지 않은 경우에는 다시 새로운 특징점을 검출할 수도 있다.
위치 결정부(360)는 사용자의 얼굴 영상의 안구 영역에 대해 특징점 검출부(350)로부터 검출된 적어도 두 개의 조명 반사점을 이용하여 각막 중심점 위치를 결정하도록 한다. 이하에서, 특징점 검출부(350)에 의해 적어도 두 개의 조명 반사점이 검출된 얼굴 영상을 제1 얼굴 영상이라 칭하도록 한다.
일 예로서, 위치 결정부(360)는 사용자의 각막 위치를 기준으로 서로 다른 방향에서 빛을 발광하는 적어도 두 개의 조명과, 적어도 두 개의 조명에 의해 제1 얼굴 영상의 안구 영역에 발생하는 적어도 두 개의 조명 반사점을 각각 연결하는 연장선이 서로 교차하는 지점을 각막 중심점으로 결정할 수 있다.
한편, 위치 결정부(360)는 사용자의 얼굴 영상의 안구 영역에 대해 특징점 검출부(350)로부터 적어도 두 개의 조명 반사점이 검출되지 않으면, 특징점 검출부(350)를 통해 해당 얼굴 영상 내의 특징점 위치를 요청할 수 있다. 이하에서, 특징점 검출부(350)에 의해 적어도 두 개의 조명 반사점이 검출되지 않을 얼굴 영상을 제2 얼굴 영상이라 칭하도록 한다. 이때, 위치 결정부(360)는 특징점 검출부(350)로부터 제2 얼굴 영상 내에서 검출된 특징점과, 사전에 제1 얼굴 영상으로부터 검출된 각막 중심점 위치를 기준으로 산출된 제1 벡터를 이용하여 제2 얼굴 영상에 대한 각막 중심점 위치를 결정할 수 있다.
벡터 계산부(370)는 제1 얼굴 영상으로부터 검출된 적어도 두 개의 특징점으로부터 제1 영상에 대해 위치 결정부(360)에 의해 결정된 각막 중심점까지의 벡터를 계산할 수 있다. 일 예로서, 벡터 계산부(370)는 제1 얼굴 영상으로부터 검출된 사용자 눈의 좌측 끝점으로부터 각막 중심점까지의 벡터를 계산하고, 사용자 눈의 우측 끝점으로부터 각막 중심점까지의 벡터를 계산할 수 있다. 이때 계산된 벡터는 제1 벡터라 칭하며, 제1 벡터는 앞서 위치 결정부(360)에서 제2 얼굴 영상으로부터 각막 중심점 위치를 결정하는데 이용될 수 있다.
한편, 벡터 계산부(370)는 제2 얼굴 영상에 대해 위치 결정부(360)에 의해 결정된 각막 중심점으로부터 제2 얼굴 영상의 안구 영역에서 검출된 동공 중심점을 연결하는 벡터를 계산할 수 있다. 이때 계산된 벡터는 제2 벡터라 칭하며, 제2 벡터는 시선 추적부(380)로 전달되어 제2 얼굴 영상에 대한 사용자의 시선을 추적하는데 이용될 수 있다.
시선 추적부(380)는 벡터 계산부(370)에 의해 계산된 제2 벡터를 이용하여 제2 얼굴 영상에 대한 사용자의 시선 방향을 추적할 수 있다. 이때, 시선 추적부(380)는 제2 벡터를 연장한 연장선이 도달하는 위치를 기준으로 사용자의 시선을 추적할 수 있다. 시선 추적부(380)에 의해 추적된 사용자의 시선 정보는 저장부(340)에 저장될 수 있으며, 출력부(330)를 통해 차량용 음성명령어 처리 장치(100)의 제어부(30)로 제공될 수 있다.
도 5 는 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법에 대한 흐름도이다.
먼저, 입력부(10)가 사용자로부터 음성명령어를 입력받는다(501).
그리고 제어부(30)가 터치 디스플레이(70) 상의 화면에서 각 객체를 식별한다(502). 즉, 터치 디스플레이(70)에 표시된 각 객체를 식별한다.
이후, 통신부(20)가 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신한다(503).
이후, 제어부(30)가 상기 음성인식된 명령어를 제어명령어인지 터치명령어인지 판단한다(504).
상기 판단결과(504), 제어명령어이면 제어명령 처리부(50)가 상기 제어명령어에 상응하는 제어를 수행한다(505).
상기 판단결과(504), 터치명령어이면 터치명령어 처리부(70)가 상기 터치명령어에 상응하는 객체를 상기 화면에서 선택한다(506). 즉, 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이(70)에서 선택한다.
도 6 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 6을 참조하면, 상술한 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량용 음성명령어 처리 장치
10: 입력부
20: 통신부
30: 제어부
40: 저장부
50: 제어명령어 처리부
60: 터치명령어 처리부
70: 터치 디스플레이
200: 음성인식서버
300: 시선 추적기

Claims (20)

  1. 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 통신부;
    터치 디스플레이에 표시된 객체를 식별하며, 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 제어부;
    상기 제어명령어에 상응하는 제어를 수행하는 제어명령어 처리부; 및
    상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 터치명령어 처리부
    를 포함하는 차량용 음성명령어 처리 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 음성명령어에 서술어가 있으면 제어명령어로 구분하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  3. 제 1 항에 있어서,
    상기 식별한 각 객체를 저장하는 저장부
    를 더 포함하는 차량용 음성명령어 처리 장치.
  4. 제 1 항에 있어서,
    상기 터치명령어 처리부는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  5. 제 1 항에 있어서,
    상기 터치명령어 처리부는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  6. 제 1 항에 있어서,
    상기 터치명령어 처리부는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  7. 제 1 항에 있어서,
    사용자의 시선을 추적하는 시선 추적기
    를 더 포함하는 차량용 음성명령어 처리 장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 터치 디스플레이가 복수 개인 경우, 상기 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  9. 제 8 항에 있어서,
    상기 제어부는,
    사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  10. 제 1 항에 있어서,
    상기 입력부는,
    상기 음성명령어의 입력을 알리는 입력버튼을 구비하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  12. 제어부가 터치 디스플레이상에 표시된 객체를 식별하는 단계;
    통신부가 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 단계;
    상기 제어부가 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 단계;
    제어명령 처리부가 상기 제어명령어에 상응하는 제어를 수행하는 단계; 및
    터치명령어 처리부가 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 단계
    를 포함하는 차량용 음성명령어 처리 방법.
  13. 제 12 항에 있어서,
    상기 구분하는 단계는,
    상기 음성명령어에 서술어가 있으면 제어명령어로 구분하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
  14. 제 12 항에 있어서,
    저장부가 상기 식별된 각 객체를 저장하는 단계
    를 더 포함하는 차량용 음성명령어 처리 방법.
  15. 제 12 항에 있어서,
    상기 선택하는 단계는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
  16. 제 12 항에 있어서,
    상기 선택하는 단계는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계
    를 포함하는 차량용 음성명령어 처리 방법.
  17. 제 12 항에 있어서,
    상기 선택하는 단계는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계
    를 포함하는 차량용 음성명령어 처리 방법.
  18. 제 12 항에 있어서,
    상기 터치 디스플레이가 복수 개인 경우, 제어부가 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정하는 단계
    를 더 포함하는 차량용 음성명령어 처리 방법.
  19. 제 18 항에 있어서,
    상기 특정하는 단계는,
    사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
  20. 제 12 항에 있어서,
    상기 식별하는 단계는,
    사용자의 음성명령어 입력을 위한 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
KR1020180153949A 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법 KR20200071841A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180153949A KR20200071841A (ko) 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법
US16/425,142 US11094325B2 (en) 2018-12-03 2019-05-29 Device and method for processing voice command for vehicle
CN201910541931.5A CN111261153B (zh) 2018-12-03 2019-06-21 车辆语音命令处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153949A KR20200071841A (ko) 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20200071841A true KR20200071841A (ko) 2020-06-22

Family

ID=70849313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153949A KR20200071841A (ko) 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법

Country Status (3)

Country Link
US (1) US11094325B2 (ko)
KR (1) KR20200071841A (ko)
CN (1) CN111261153B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230094476A (ko) 2021-12-21 2023-06-28 현대자동차주식회사 운전자의 지시 이력을 반영한 명령실행장치 및 명령실행방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741951B2 (en) * 2019-02-22 2023-08-29 Lenovo (Singapore) Pte. Ltd. Context enabled voice commands
JP2021160103A (ja) * 2020-03-30 2021-10-11 キヤノン株式会社 情報処理装置、制御方法、プログラム及び情報処理システム
CN114005445A (zh) * 2020-06-28 2022-02-01 广州小鹏汽车科技有限公司 信息处理方法、服务器和计算机可读存储介质
CN112193255A (zh) * 2020-09-24 2021-01-08 北京百度网讯科技有限公司 车机系统的人机交互方法、装置、设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189394A (ja) 2005-01-07 2006-07-20 Toyota Motor Corp 車両用エージェント装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158871B1 (en) 1998-05-07 2007-01-02 Art - Advanced Recognition Technologies Ltd. Handwritten and voice control of vehicle components
JP2002012100A (ja) * 2000-06-29 2002-01-15 Jatco Transtechnology Ltd 車両制御装置
KR100712262B1 (ko) 2005-05-24 2007-04-27 계명대학교 산학협력단 텔레매틱스 단말기
KR20070060885A (ko) 2005-12-09 2007-06-13 한국전자통신연구원 다양한 인식 기술을 이용한 입력 인터페이스 제공 방법
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
US8294683B2 (en) * 2009-09-25 2012-10-23 Mitac International Corp. Method of processing touch commands and voice commands in parallel in an electronic device supporting speech recognition
KR20120090659A (ko) 2011-02-08 2012-08-17 현대모비스 주식회사 차량용 ａｖｎ 시스템의 조작 방법 및 그 장치
JP5234160B2 (ja) * 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
CN103839549A (zh) * 2012-11-22 2014-06-04 腾讯科技（深圳）有限公司 一种语音指令控制方法及系统
KR102009316B1 (ko) * 2013-01-07 2019-08-09 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 그 제어 방법
KR101444091B1 (ko) * 2013-08-06 2014-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR102063766B1 (ko) * 2013-09-17 2020-01-08 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
TW201628906A (zh) * 2015-02-13 2016-08-16 聖約翰科技大學 應用於自行車之聲控指示系統
KR101678087B1 (ko) * 2015-02-16 2016-11-23 현대자동차주식회사 차량 및 그 제어방법
US9703472B2 (en) * 2015-03-18 2017-07-11 Alpine Electronics, Inc. Method and system for operating console with touch screen
KR101753997B1 (ko) 2015-12-04 2017-07-19 계명대학교 산학협력단 동작 인식을 이용한 음성 제어 장치 및 그 방법
KR102414122B1 (ko) * 2017-04-19 2022-06-29 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
US20180357040A1 (en) * 2017-06-09 2018-12-13 Mitsubishi Electric Automotive America, Inc. In-vehicle infotainment with multi-modal interface
CN108196534A (zh) * 2017-12-26 2018-06-22 广东工业大学 一种多旋翼无人机控制端、飞控系统及控制方法
US10635462B2 (en) * 2018-05-23 2020-04-28 Microsoft Technology Licensing, Llc Skill discovery for computerized personal assistant

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189394A (ja) 2005-01-07 2006-07-20 Toyota Motor Corp 車両用エージェント装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230094476A (ko) 2021-12-21 2023-06-28 현대자동차주식회사 운전자의 지시 이력을 반영한 명령실행장치 및 명령실행방법

Also Published As

Publication number Publication date
US11094325B2 (en) 2021-08-17
CN111261153B (zh) 2023-12-19
CN111261153A (zh) 2020-06-09
US20200175979A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
KR20200071841A (ko) 차량용 음성명령어 처리 장치 및 그 방법
US10628670B2 (en) User terminal apparatus and iris recognition method thereof
US10264177B2 (en) Methods and systems to obtain desired self-pictures with an image capture device
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
US10593322B2 (en) Electronic device and method for controlling the same
US9075520B2 (en) Apparatus and method for representing an image in a portable terminal
US20210097278A1 (en) Method and apparatus for recognizing stacked objects, and storage medium
KR20190084789A (ko) 전자 장치 및 그 제어 방법
KR20180042929A (ko) 무선 연결 시스템 및 그 제어방법
CN110493729B (zh) 增强现实设备的交互方法、设备及存储介质
WO2020238699A1 (zh) 信号指示灯的状态检测方法及装置、驾驶控制方法及装置
US20200159481A1 (en) Method for controlling display of vehicle and electronic device therefor
KR101480594B1 (ko) 시선기반 착신 제어 방법과 이를 위한 이동통신 단말
US9871546B2 (en) Wearable terminal mountable on part of body of user
KR20150137827A (ko) 핸들을 이용하여 차량을 제어하기 위한 제어 장치 및 그 제어 방법
KR20190021049A (ko) 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법
US9549113B2 (en) Imaging control terminal, imaging system, imaging method, and program device
KR20190048630A (ko) 전자 장치 및 그 제어 방법
US10864889B2 (en) Vehicle operating method and vehicle operating apparatus
AU2019455810B2 (en) Method and apparatus for recognizing stacked objects, electronic device, and storage medium
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
KR20200051540A (ko) 서버 및 그것의 동작 방법
US20240053858A1 (en) Interface for engaging iot devices with ar camera
KR20190076621A (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
US20240005636A1 (en) Method For a Vehicle For Estimating a User Context, Data Processing Device, Vehicle, Computer Program and Computer-Readable Storage Medium

Legal Events

Date Code Title Description
A201 Request for examination