KR102213631B1 - 차량용 사용자 인터페이스 장치 - Google Patents
차량용 사용자 인터페이스 장치 Download PDFInfo
- Publication number
- KR102213631B1 KR102213631B1 KR1020190037634A KR20190037634A KR102213631B1 KR 102213631 B1 KR102213631 B1 KR 102213631B1 KR 1020190037634 A KR1020190037634 A KR 1020190037634A KR 20190037634 A KR20190037634 A KR 20190037634A KR 102213631 B1 KR102213631 B1 KR 102213631B1
- Authority
- KR
- South Korea
- Prior art keywords
- assistant
- processor
- domain
- vehicle
- assistants
- Prior art date
Links
- 230000004044 response Effects 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 49
- 238000001514 detection method Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 3
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- B60K35/10—
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
- B60K2370/10—Input devices or features thereof
- B60K2370/11—Graphical user interfaces or menu aspects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 마이크로 폰으로부터 사운드 데이터를 수신하고, 상기 사운드 데이터에 매칭되는 도메인(domain)을 선택하고, 복수의 어시스턴트(assistant) 중에서, 상기 선택된 도메인에 매칭되는 적어도 하나의 어시스턴트을 선택하고, 상기 선택된 어시스턴트에 상기 사운드 데이터를 제공하고, 상기 선택된 어시스턴트에서 제공되는 응답 데이터에 기초하여, 출력 데이터를 생성하는 프로세서;를 포함하는 차량용 사용자 인터페이스 장치에 관한 것이다.
Description
본 발명은 차량용 인터페이스 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 자율 주행 차량은 인간의 운전 조작 없이 자동으로 주행할 수 있는 차량을 의미한다. 차량에는, 사용자 인터페이스 장치가 구비된다. 최근에는, 사용자의 음성을 기반으로 하는 사용자 인터페이스 장치가 시장에 선보이고 있다. 이런 사용자의 음성을 기반으로 하는 사용자 인터페이스 장치에는, 여러 어시스턴트가 이용될 수 있다. 이러한 어시스턴트들은 제공하는 업체도 상이하고, 제공하는 기능도 상이하여, 이들을 종합적으로 관리할 수 있는 매체가 필요하다.
본 발명은 상기한 문제점을 해결하기 위하여, 다양한 어시스턴트를 사용자 편의에 적합하게 이용하게 하는 차량용 사용자 인터페이스 장치를 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치는, 마이크로부터 사운드 데이터를 수신하고, 상기 사운드 데이터에 매칭되는 도메인을 선택하고, 복수의 어시스턴트 중에서, 상기 도메인에 매칭되는 적어도 하나의 어시스턴트(assistant)을 선택하고, 상기 선택된 어시스턴트에 상기 사운드 데이터를 제공하고, 상기 선택된 어시스턴트에서 제공되는 응답 데이터에 기초하여, 출력 데이터를 생성하는 프로세서;를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 사용자의 발화에 맞춰 최적의 어시스턴트를 선택하여 서비스를 제공함으로써, 사용자 요구에 정확하게 응답할 수 있는 효과가 있다.
둘째, 사용자 편의성이 증대되는 효과가 있다.
셋째, 다중음성비서시스템에서 사용자는 각 음성비서시스템에 대한 사전 정보 없이도 하나의 어시스턴트를 이용하듯이 사용가능하며, 고급 사용자는 자신의 선호도에 따라 어시스턴트를 설정하여 사용할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2a는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 2b는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 제어 블럭도이다.
도 3 내지 도 12는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 동작을 설명하는데 참조되는 도면이다.
도 2a는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 2b는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 제어 블럭도이다.
도 3 내지 도 12는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 동작을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 차량을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 차량(10)은, 도로나 선로 위를 달리는 수송 수단으로 정의된다. 차량(10)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(10)은, 공유형 차량일 수 있다. 차량(10)은 자율 주행 차량일 수 있다.
도 2b는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 2를 참조하면, 차량(10)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), 주행 시스템(260), 센싱부(270) 및 위치 데이터 생성 장치(280)를 포함할 수 있다.
사용자 인터페이스 장치(200)는, 차량(10)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다.
오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치(210)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(210)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
통신 장치(220)는, 차량(10) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(220)는, 인프라(예를 들면, 서버, 방송국) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(220)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
운전 조작 장치(230)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(10)은, 운전 조작 장치(230)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(230)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
메인 ECU(240)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
구동 제어 장치(250)는, 차량(10)내 각종 차량 구동 장치를 전기적으로 제어하는 장치이다. 구동 제어 장치(250)는, 파워 트레인 구동 제어 장치, 샤시 구동 제어 장치, 도어/윈도우 구동 제어 장치, 안전 장치 구동 제어 장치, 램프 구동 제어 장치 및 공조 구동 제어 장치를 포함할 수 있다. 파워 트레인 구동 제어 장치는, 동력원 구동 제어 장치 및 변속기 구동 제어 장치를 포함할 수 있다. 샤시 구동 제어 장치는, 조향 구동 제어 장치, 브레이크 구동 제어 장치 및 서스펜션 구동 제어 장치를 포함할 수 있다.
한편, 안전 장치 구동 제어 장치는, 안전 벨트 제어를 위한 안전 벨트 구동 제어 장치를 포함할 수 있다.
차량 구동 제어 장치(250)는, 제어 ECU(Electronic Control Unit)로 명명될 수 있다.
주행 시스템(260)는, 오브젝트 검출 장치(210)에서 수신한 오브젝트에 대한 데이터에 기초하여, 차량(10)의 움직임을 제어하거나, 사용자에게 정보를 출력하기 위한 신호를 생성할 수 있다. 주행 시스템(260)는, 생성된 신호를, 사용자 인터페이스 장치(200), 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나에 제공할 수 있다.
주행 시스템(260)은, ADAS를 포함하는 개념일 수 있다. ADAS(260)는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
주행 시스템(260)은, 자율 주행 ECU(Electronic Control Unit)를 포함할 수 있다. 자율 주행 ECU는, 차량(10) 내 다른 전자 장치들 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는, 자율 주행 경로를 따라 차량(10)이 주행하도록 제어 신호를 생성할 수 있다. 자율 주행 ECU에서 생성된 제어 신호는, 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나로 제공될 수 있다.
센싱부(270)는, 차량의 상태를 센싱할 수 있다. 센싱부(270)는, IMU(inertial navigation unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서 및 브레이크 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial navigation unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(270)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 센싱부(270)는, 차량 자세 정보, 차량 모션 정보, 차량 요(yaw) 정보, 차량 롤(roll) 정보, 차량 피치(pitch) 정보, 차량 충돌 정보, 차량 방향 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(270)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(270)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
예를 들면, 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
한편, 센싱부는, 텐션 센서를 포함할 수 있다. 텐션 센서는, 안전 벨트의 텐션 상태에 기초하여 센싱 신호를 생성할 수 있다.
위치 데이터 생성 장치(280)는, 차량(10)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(280)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(280)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(10)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(280)는, 센싱부(270)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(210)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다.
위치 데이터 생성 장치(280)는, 위치 측위 장치로 명명될 수 있다. 위치 데이터 생성 장치(280)는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.
차량(10)은, 내부 통신 시스템(50)을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
도 2b는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 제어 블럭도이다.
도 2b를 참조하면, 본 발명의 실시예에 따른 전자 장치(200)는, 메모리(140), 프로세서(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다. 차량용 사용자 인터페이스 장치(200)는, 입력 장치, 출력 장치 및 통신 장치 중 적어도 어느 하나를 더 포함할 수 있다. 전자 장치(200)는, 차량용 사용자 인터페이스 장치로 명명될 수 있다. 본 명세서에서 전자 장치(200)가 차량에 구비되는 것을 중심으로 설명하나, 전자 장치(200)는, 사용자와의 인터페이스가 구현되는 장치면 어디든 포함될 수 있다.
메모리(140)는, 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 사용자 인터페이스 장치(200) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는, 프로세서(170)의 하위 구성으로 분류될 수 있다.
인터페이스부(180)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(140), 차량 구동 장치(250), ADAS(260), 센싱부(170) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
인터페이스부(180)는, 위치 데이터 생성 장치(280)로부터, 차량(10) 위치 데이터를 수시할 수 있다. 인터페이스부(180)는, 센싱부(270)로부터 주행 속도 데이터를 수신할 수 있다. 인터페이스부(180)는, 오브젝트 검출 장치(210)로부터, 차량 주변 오브젝트 데이터를 수신할 수 있다.
전원 공급부(190)는, 사용자 인터페이스 장치(200)에 전원을 공급할 수 있다. 전원 공급부(190)는, 차량(10)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 사용자 인터페이스 장치(200)의 각 유닛에 전원을 공급할 수 있다. 전원 공급부(190)는, 메인 ECU(140)로부터 제공되는 제어 신호에 따라 동작될 수 있다. 전원 공급부(190)는, SMPS(switched-mode power supply)로 구현될 수 있다.
입력 장치는, 사용자로부터 정보를 입력받기 위한 장치로, 입력 장치에서 수집한 데이터는, 프로세서(170)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다. 입력 장치는, 차량 내부에 배치될 수 있다. 예를 들면, 입력 장치는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력 장치는, 음성 입력 장치, 제스쳐 입력 장치, 터치 입력 장치 및 기계식 입력 장치를 포함할 수 있다. 음성 입력 장치는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(170)에 제공될 수 있다. 음성 입력 장치는, 적어도 하나의 마이크로 폰을 포함할 수 있다. 제스쳐 입력 장치는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(170)에 제공될 수 있다. 제스쳐 입력 장치는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력 장치는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력 장치는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다. 제스쳐 입력 장치는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 터치 입력 장치는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(170)에 제공될 수 있다. 터치 입력 장치는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력 장치는 디스플레이부와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(10)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다. 기계식 입력 장치는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력 장치에 의해 생성된 전기적 신호는, 프로세서(170)에 제공될 수 있다. 기계식 입력 장치는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
출력 장치는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 장치는, 디스플레이부, 음향 출력부 및 햅틱 출력부 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. 디스플레이부는 터치 입력 장치와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 디스플레이부는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부가 HUD로 구현되는 경우, 디스플레이부는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다. 디스플레이부는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다. 사용자 인터페이스 장치(200)는, 복수의 디스플레이부를 포함할 수 있다. 디스플레이부는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 윈도우의 일영역에 구현될 수 있다. 음향 출력부는, 프로세서(270)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부는, 적어도 하나의 스피커를 포함할 수 있다. 햅틱 출력부는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
통신 장치는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다. 통신 장치는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다. 통신 장치는, 근거리 통신부, 위치 정보부, V2X 통신부, 방송 송수신부, ITS(Intelligent Transport Systems) 통신부 및 통신 프로세서를 포함할 수 있다.
근거리 통신부는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 근거리 통신부는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(10)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 위치 정보부는, 차량(10)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다. V2X 통신부는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다. 방송 송수신부는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다. ITS 통신부는, 교통 시스템과 정보, 데이터 또는 신호를 교환할 수 있다. ITS 통신부는, 교통 시스템에 획득한 정보, 데이터를 제공할 수 있다. ITS 통신부는, 교통 시스템으로부터, 정보, 데이터 또는 신호를 제공받을 수 있다. 예를 들면, ITS 통신부는, 교통 시스템으로부터 도로 교통 정보를 수신하여, 프로세서(170)에 제공할 수 있다. 예를 들면, ITS 통신부는, 교통 시스템으로부터 제어 신호를 수신하여, 프로세서(170)에 제공할 수 있다.
프로세서(170)는, 메모리(140), 인터페이스부(280), 전원 공급부(190)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(170)는, 전원 공급부(190)로부터 제공되는 전원에 의해 구동될 수 있다. 프로세서(170)는, 전원 공급부(190)에 의해 전원이 공급되는 상태에서 데이터를 수신하고, 데이터를 처리하고, 신호를 생성하고, 신호를 제공할 수 있다.
프로세서(170)는, 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로부터 정보를 수신할 수 있다. 프로세서(170)는, 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로 제어 신호를 제공할 수 있다.
프로세서(170)는, 입력 장치를 통해 사용자 입력을 수신할 수 있다. 프로세서(170)는, 출력 장치를 통해, 컨텐츠를 출력할 수 있다.
프로세서(170)는, 마이크로 폰으로부터 사운드 데이터를 수신할 수 있다. 사용자가 발화하는 경우, 입력 장치에 포함된 마이크로 폰은, 사운드를 전기적 신호로 전환할 수 있다. 프로세서(170)는, 마이크로 폰으로부터 전기적 신호 형태의 사운드 데이터를 수신할 수 있다.
프로세서(170)는, 사운드 데이터에 매칭되는 도메인(domain)을 선택할 수 있다. 도메인은, 관계형 데이터베이스에서 테이블의 각 속성이 가질 수 있는 값의 집합이라는 사전적 의미를 가진다. 도메인은, 차량용 사용자 인터페이스 장치에서 구현가능한 복수의 기능들의 분류로 설명될 수 있다. 도메인은, 단계별로 설명될 수 있다. 예를 들면, 제1 도메인은, 내비게이션(navigation), 미디어(media), 커뮤니케이션(communication) 등으로 구분될 수 있다. 예를 들면, 제2 도메인은, 제1 도메인인 내비게이션의 하위 개념으로 목적지(destination), 맵(map), EV(electrical vehicle), 주차(parking), 식당(restaurant)으로 구분될 수 있다. 예를 들면, 제2 도메인은, 제1 도메인인 미디어의 하위 개념인 음악(music), 미디어 컨트롤(media control), 엔터테인먼트(emtertainment), 라디오(radio)로 구분될 수 있다. 예를 들면, 제2 도메인은, 제1 도메인인 커뮤니케이션의 하위 개념인 전화(call), SMS, Email로 구분될 수 있다.
프로세서(170)는, 복수의 어시스턴트 중에서, 선택된 도메인에 매칭되는 적어도 하나의 어시스턴트를 선택할 수 있다. 어시스턴트는, 비서 시스템으로 명명될 수 있다. 어시스턴트는, 구글 어시스턴트(google assistant), 애플 시리(siri), 마이크로 소프트 코타나(cortana), 아마존 알렉사(alexa), 엘지 씽큐(LGE ThinQ), 삼성 빅스비 등과 같이 음성 입력을 이용한 인공 지능(Artificial Intelligence, AI) 인터페이스로 설명될 수 있다. 어시스턴트 별로 구현이 가능하거나 구현이 가능하지 않은 도메인이 상이할 수 있다. 예를 들면, 제1 어시스턴트에서는 제1 도메인이 구현 가능하지만 제2 도메인이 구현가능하지 않고, 제2 어시스턴트에서는 제2 도메인이 구현가능하지만 제1 도메인이 구현가능하지 않을 수 있다.
프로세서(170)는, 선택된 어시스턴트에 사운드 데이터를 제공할 수 있다. 어시스턴트는, 프로세서(170) 또는 메모리(140)에 설치된 형태일 수 있다. 실시예에 따라, 어시스턴트는, 외부 디바이스에 설치되고, 프로세서(170)는, 통신 장치를 통해, 외부 디바이스에 설치된 어시스턴트와 데이터를 교환할 수 있다. 실시예에 따라, 프로세서(170)는, 선택된 어시스턴트에 사운드 데이터에 기초하여 생성된 데이터(예를 들면, 사운드 인식 데이터)를 제공할 수 있다.
프로세서(170)는, 선택된 어시스턴트로부터 사운드 데이터에 대응되는 응답 데이터를 수신할 수 있다. 프로세서(170)는, 선택된 어시스턴트에서 제공되는 사운드 데이터에 기초한 응답 데이터에 기초하여, 출력 데이터를 생성할 수 있다. 예를 들면, 프로세서(170)는, 제공되는 응답 데이터에 기초하여, 출력 데이터로 사운드 데이터나 GUI(graphical user interface) 데이터를 생성할 수 있다. 프로세서(170)는, 출력 장치를 통해, 사운드 데이터나 GUI 데이터를 출력할 수 있다.
프로세서(170)는, 선택된 도메인의 신뢰도를 판단할 수 있다. 예를 들면, 프로세서(170)는, 심층 신경망(Deep Neural Network, DNN)에 기초하여, 선택된 도메인의 신뢰도를 판단할 수 있다. 예를 들면, 프로세서(170)는, 합성곱 신경망(Convolutional Neural Network, CNN) 또는 순환 신경망(Recurrent Neural Network, RNN)에 기초하여, 선택된 도메인의 신뢰도를 판단할 수 있다.
프로세서(170)는, 선택된 도메인의 신뢰도가 기준값 이상인 것으로 판단되는 경우, 기 설정된 맵핑 테이블에 기초하여, 도메인에 매칭되는 적어도 하나의 어시스턴트를 선택할 수 있다. 맵핑 테이블은, 복수의 도메인별로 구분되어 적합한 어시스턴트가 매칭되어 저장된 테이블일 수 있다.
프로세서(170)는, 선택된 도메인에 매칭되는 복수의 어시스턴트가 선택되는 경우, 선택된 복수의 어시스턴트에 대한 설명을 출력할 수 있다. 프로세서(170)는, 선택된 복수의 어시스턴트 중 제1 어시스턴트를 선택하기 위한 사용자 입력을 수신할 수 있다. 프로세서(170)는, 입력 장치를 통해, 출력된 복수의 어시스턴트 중에 제1 어시스턴트를 선택하는 사용자 입력을 수신할 수 있다. 프로세서(170)는, 제1 어시스턴트가 기 설정된 횟수 이상 선택되는 경우, 제1 어시스턴트를 선호 어시스턴트로 설정할 수 있다. 제1 어시스턴트가 선호 어시스턴트로 설정된 이후, 프로세서(170)는, 선택된 도메인에 매칭되는 어시스턴트로 제1 어시스턴트를 선택할 수 있다.
프로세서(170)는, 맵핑 테이블에 신규 어시스턴트를 등록할 수 있다. 예를 들면, 프로세서(170)는, 통신 장치를 통해, 외부 디바이스로부터 신규 어시스턴트에 대한 정보를 수신하여, 맵핑 테이블에 신규 어시스턴트를 등록할 수 있다. 프로세서(170)는, 맵핑 테이블에 신규 어시스턴트가 등록된 경우, 신규 어시스턴트에 대한 정보를 출력할 수 있다. 프로세서(170)는, 신규 어시스턴트가 포함된 복수의 어시스턴트 중에서, 도메인에 매칭되는 적어도 하나의 어시스턴트를 선택할 수 있다.
프로세서(170)는 사운드 데이터에 매칭되는 복수의 도메인을 선택할 수 있다. 프로세서(170)는, 사운드 데이터에 매칭되는 복수의 도메인이 선택되는 경우, 선택된 복수의 도메인 각각의 신뢰도를 판단할 수 있다. 프로세서(170)는, 선택된 복수의 도메인 각각의 신뢰도의 차이가 기준값 이하인 경우, 도메인 확인을 요청하기 위한 컨텐츠를 출력할 수 있다.
프로세서(170)는, 선택된 도메인의 신뢰도가 기준값보다 작은 것으로 판단되는 경우, 복수의 어시스턴트 전체에 사운드 데이터를 제공할 수 있다. 프로세서(170)는, 복수의 어시스턴트 중 응답 데이터를 제공하는 어시스턴트를 확인할 수 있다.
프로세서(170)는, 복수의 어시스턴트 전체에서 제1 어시스턴트로부터만 응답 데이터가 수신되는 경우, 제1 어시스턴트를 선택된 도메인에 매칭되는 어시스턴트로 선택할 수 있다. 프로세서(170)는, 복수의 어시스턴트 중 제1 어시스턴트 및 제2 어시스턴트로부터 응답 데이터가 수신되는 경우, 어시스턴트 선택 요청을 위한 컨텐츠를 출력할 수 있다. 프로세서(170)는, 입력 장치로부터 제1 어시스턴트 및 제2 어시스턴트 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 프로세서(170)는, 수신되는 사용자 입력에 따라 선택된 어시스턴트를 선택된 도메인에 매칭되는 어시스턴트로 선택할 수 있다. 프로세서(170)는, 복수의 어시스턴트로부터 응답 데이터가 수신되지 않는 경우, 처리 불가 메시지를 출력할 수 있다.
한편, 프로세서(170)는, 매칭되는 도메인이 없는 사운드 데이터가 기 설정 횟수 이상 수신되는 경우, 신규 도메인을 설정할 수 있다. 프로세서(170)는, 설정되는 신규 도메인을 맵핑 테이블에 기록할 수 있다. 이경우, 프로세서(170)는, 신규 도메인을 신규 도메인에 매칭되어 선택된 어시스턴트와 함께 맵핑 테이블에 기록할 수 있다.
사용자 인터페이스 장치(200)는, 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 메모리(140), 인터페이스부(180), 전원 공급부(190) 및 프로세서(170)는, 인쇄 회로 기판에 전기적으로 연결될 수 있다.
도 3 내지 도 12는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 동작을 설명하는데 참조되는 도면이다.
이하의 설명에서, 동작의 주체가 특별하게 명시되지 않은 경우, 동작의 주체는 프로세서(170)인 것으로 이해될 수 있다.
아마존의 알렉사, 마이크로 소프트의 코타나 등 많은 음성 비서 기술들이 개발되고 있다. 각 음성 비서마다 스킬(도메인) 세트의 차이가 있으며, 동일 스킬(skill)에 대해서도 사용자마다 다른 음성 비서 기술을 선호한다. 하나의 시스템 내에서 도메인(스킬)에 따라 음성 비서를 할당하는 기술이 필요하다. 하나의 음성 비서에서 다른 음성 비서가 사용 가능하도록 하는 다중 음성비서 기술에 대한 필요가 있다. 음성 비서의 선택은 사용자가 기동어(예를 들면, Hi LG)를 발화함으로써 결정된다. 따라서, 사용자가 질문을 할때 기동어를 붙여줘야 한다. 종래 기술은 사용자가 각 음성 비서의 스킬 세터(skill set) 정보를 사전에 파악하고 있어야 한다. 사용자가 사전 지식 없이 쉽게 음성 비서를 사용하기 위해 도메인(스킬)을 판단하여 자동으로 비서를 할당하는 기술이 필요하다. 한편, 본 명세서에서 비서(또는 비서 시스템)와 어시스턴트는 혼용하여 사용될 수 있다. 한편, 본 명세서에서 도메인과 스킬은 혼용하여 사용될 수 있다.
한편, 본 명세서에서, 도메인을 판단하고 어시스턴트를 할당하는 전자 장치를 차량용 사용자 인터페이스 장치로 설명하나, 본 발명의 실시예 따른 전자 장치는, 차량용으로만 한정되지 아니하고, 사용자와의 인터페이스가 구현되는 디바이스(예를 들면, 스마트 폰, 세탁물 처리 장치, 공조 장치, 영상 표시 장치, 로봇 등)에 적용될 수 있다.
도 3을 참조하면, 프로세서(170)는, 도메인 분류기(domain classifier)(300)를 포함할 수 있다. 도 3의 설명에서 프로세서(170)의 동작은 도메인 분류기(300)의 동작으로 이해될 수 있다. 프로세서(170)는, 사용자 질의에 대해 도메인을 판단할 수 있다. 프로세서(170)는, 도메인과 비서간 매칭 테이블(310)을 관리할 수 있다. 프로세서(170)는, 사용자가 질문을 하면 도메인 판단 후, 도메인에 대한 비서를 매칭 테이블(310) 기반으로 결정한 후 선택된 비서 시스템에 발화를 전달하고, 해당 비서 시스템으로부터 응답을 받을 수 있다. 프로세서(170)는, 도메인과 비서 시스템간 매칭 테이블(310)을 편집할 수 있는 인터페이스를 제공할 수 있다. 본원 발명은, 사용자 질문 기반으로 도메인을 판단하는 기술과 도메인과 비서 시스템간의 매칭 테이블(310)을 편집하는 인터페이스를 제공할 수 있다. 또한, 본원 발명은, 사용자 질의에 대해 도메인과 해당 도메인에 대한 컨피던스(confidence)를 반환하고 이를 기반으로 해당 음성 비서를 자동 연동하거나 사용자 인터렉션을 통해 선호하는 음성 비서를 학습하게 하는 기능을 제공할 수 있다. 다중 음성 비서 시스템에서 사용자는 각 음성 비서 시스템에 대한 사전 정보 없이도 심리스(seamless)하게 하나의 비서 시스템을 이용하듯 사용이 가능하다. 고급 사용자는 자신의 선호도에 따라 비서 시스템을 사용할 수 있다.
도 4를 참조하면, 도메인 분류기(300)에서 사용자 질의에 따라 도메인과 매칭되는 비서 시스템을 결정하고, 이를 바탕으로 Embedded DM(Digital Media)에서 해당 시스템에 입력을 전달하고 전달된 비서 시스템으로 받은 출력을 사용자에게 제공할 수 있다. 도메인 컨피던스(domain confidence)가 낮은 경우 Embedded DM에서 사용자 인터랙션을 통해 비서 시스템을 결정할 수도 있다.
도 5를 참조하면, 사용자가 발화하고(S501), 프로세서(170)는, 마이크로 폰으로부터 사용자 발화에 따라 생성된 사운드 데이터를 수신할 수 있다. 프로세서(170)는, 음성 인식(Automatic Speech Recognition: ASR) 동작을 수행할 수 있다(S503). 프로세서(170)는, 사운드 데이터에 매칭되는 도메인(domain)을 선택할 수 있다(S505). 프로세서(170)는, 선택된 도메인의 신뢰도가 임계값 이상인지 판단할 수 있다(S507). 신뢰도가 임계값 이상인 것으로 판단되는 경우, 프로세서(170)는, 선택된 도메인이 모호성이 있는지 판단할 수 있다(S511). 모호성이 없다고 판단되는 경우, 프로세서(170)는, 맵핑 테이블을 호출할 수 있다(S517). 프로세서(170)는, 선택된 도메인을 맵핑 테이블에 적용하여 결과를 확인할 수 있다(S519).
확인된 결과에 따라 3개의 케이스로 구분될 수 있다. 제1 케이스는, 선택된 도메인을 위한 비서 시스템이 테이블에 정의된 경우 또는 하나의 비서 시스템만 지원 가능한 도메인인 경우이다. 이경우, 프로세서(170)는, 선택된 도메인에 매칭되는 어시스턴트를 선택할 수 있다(S521). 제2 케이스는, 선택된 도메인을 위한 비서 시스템이 테이블에 정의되지 않고 복수개의 비서 시스템이 지원하는 경우이다. 이겨웅, 프로세서(170)는, 비서 시스템 리스트를 출력할 수 있다(S523). 프로세서(170)는, 어느 하나의 비서 시스템을 선택하는 사용자 입력을 수신할 수 있다(S527). 프로세서(170)는, 선택된 도메인에 매칭되는 어시스턴트를 선택할 수 있다(S521). 제3 케이스는, 특정 비서시스템의 스킬이 해당 도메인을 신규로 지원하도록 확장된 경우이다. 이경우, 프로세서(170)는, 기존 비서 시스템과 신규 비서 시스템이 혼합된 비서 시스템 리스트를 출력할 수 있다(S525). 프로세서(170)는, 어느 하나의 비서 시스템을 선택하는 사용자 입력을 수신할 수 있다(S527). 프로세서(170)는, 선택된 도메인에 매칭되는 어시스턴트를 선택할 수 있다(S521). 프로세서(170)는, 선택된 어시스턴트로부터, 응답 데이터를 수신할 수 있다(S539). 프로세서(170)는, 응답 데이터에 기초하여 출력 데이터를 생성하고, 응답을 출력할 수 있다(S545).
한편, S511 단계에서, 선택된 도메인에 모호성이 있다고 판단되는 경우, 프로세서(170)는, 도메인 리스트를 출력할 수 있다(S513). 프로세서(170)는, 도메인 리스트 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다(S515). 이후에, 프로세서(170)는, S517 단계를 수행할 수 있다.
한편, S507 단계에서, 선택된 도메인의 신뢰도가 임계값보다 작은 것으로 판단되는 경우, 프로세서(170)는, 모든 어시스턴트 시스템에 음성 데이터를 제공할 수 있다(S531). 프로세서(170)는, 음성 데이터에 대응되는 응답이 있는 비서 시스템의 갯수를 판단할 수 있다(S523). 만약, 응답이 있는 비서 시스템이 2개 이상인 경우, 프로세서(170)는, 비서 시스템의 리스트를 출력할 수 있다(S535). 프로세서(170)는, 어느 하나의 비서 시스템을 선택하는 사용자 입력을 수신할 수 있다(S537). 이후, 프로세서(170)는, S539 단계를 수행할 수 있다. 만약, 응답이 있는 비서 시스템이 1개인 경우, 프로세서(170)는, 응답 데이터를 수신할 수 있다(S541). 프로세서(170)는, S545 단계를 수행할 수 있다. 만약, 응답이 있는 비서 시스템이 없는 경우, 프로세서(170)는, 지원하지 않는 질문이라는 메시지를 출력할 수 있다(S543).
도 6을 참조하면, 본 발명의 실시예에 따른 전자 장치(200)는, 인풋(input) 동작(S610), 전처리(preprocessing) 동작(S620), 트레이닝(training) 동작(S630), 추론(inferencing) 동작(S640) 및 아웃풋(ouput) 동작(S650)을 수행할 수 있다.
인풋 동작(S610)에서, 프로세서(170)는, 사용자의 발화에 따라 생성되는 음성 데이터를 수신할 수 있다. 프로세서(170)는, 음성 데이터에 기초하여, ASR(Automatic Speech Recognition)/NLU(Natural Language Understanding)를 수행할 수 있다. 인풋 동작(S610)에서, 프로세서(170)는, training corpus를 획득할 수 있다.
프로세서(170)는, 전처리 동작(S620), 트레이닝 동작(S630), 추론 동작(S640)을 통해, 도메인을 선택하고, 도메인에 매칭되는 어시스턴트를 선택할 수 있다.
전처리 동작(S620)에서, 프로세서(170)는, 워드 임베딩(word embedding)과 온톨로지 벡터(ontology vector)를 수행할 수 있다. 프로세서(170)는, RNN(Recurrent Neural Networks)을 통해 전처리 동작을 수행할 수 있다.
트레이닝 동작(S630)에서, 프로세서(170)는, DNN((Deep Neural Network)을 이용할 수 있다. 예를 들면, 프로세서(170)는, CNN(Convolutional Neural Network) 또는 RNN(Recurrent Neural Networks)을 통해, 트레이닝 동작을 수행할 수 있다.
추론 동작(S640)에서, 프로세서(170)는, 복수의 모델을 이용한 추론을 통해 결론을 도출할 수 있다.
아웃풋 동작(S650)에서, 프로세서(170)는, 어시스턴트를 선택할 수 있다. 프로세서(170)는, 선택된 도메인 ID와 선택된 어시스턴트 ID를 설정할 수 있다.
도 7을 참조하면, 메모리(140)는 도메인 리스트를 저장할 수 있다. 도메인은, 관계형 데이터베이스에서 테이블의 각 속성이 가질 수 있는 값의 집합이라는 사전적 의미를 가진다. 도메인은, 차량용 사용자 인터페이스 장치에서 구현가능한 복수의 기능들의 분류로 설명될 수 있다. 도메인은, 단계별로 설명될 수 있다. 예를 들면, 제1 도메인은, 내비게이션(navigation), 미디어(media), 커뮤니케이션(communication) 등으로 구분될 수 있다. 예를 들면, 제2 도메인은, 제1 도메인인 내비게이션의 하위 개념으로 목적지(destination), 맵(map), EV(electrical vehicle), 주차(parking), 식당(restaurant)으로 구분될 수 있다. 예를 들면, 제2 도메인은, 제1 도메인인 미디어의 하위 개념인 음악(music), 미디어 컨트롤(media control), 엔터테인먼트(emtertainment), 라디오(radio)로 구분될 수 있다. 예를 들면, 제2 도메인은, 제1 도메인인 커뮤니케이션의 하위 개념인 전화(call), SMS, Email로 구분될 수 있다. 각각의 도메인에는 예시적인 문장이 매칭되어 저장될 수 있다. 도 7의 도메인 리스트는 예시적인 것이고, 시스템마다 도메인의 구성은 상이할 수 있다.
도 8을 참조하면, 프로세서(170)는, 각 도메인을 위한 비서 시스템을 테이블로 관리할 수 있다. 프로세서(170)는, 각 도메인을 위한 비서 시스템을 파일 또는 시스템 내부 테이블로 관리할 수 있다. 메모리(140)는, 테이블을 저장할 수 있다. 도 8의 테이블은 예시적이다.
도 9를 참조하면, 비서 시스템별로 지원하는 도메인(스킬 세트)을 테이블로 추가로 보유할 수 있다. 비서 시스템별로 지원하는 도메인 테이블을 기반으로 여러 시스템이 지원하는 도메인은 사용자에게 결정을 요청할 수도 있다.
도 10을 참조하면, 종래 기술은 비서 시스템 편집이 불가능함에 비해, 본원 발명에 따른 전자 장치는 시스템 설정 메뉴를 통해 어시스턴트 세팅 변경이 가능하다. 프로세서(170)는, 사용자가 도메인별로 어시스턴트를 설정할 수 있는 인터페이스를 제공할 수 있다. 프로세서(170)는, 도메인별로 이루어지는 사용자의 설정 입력을 수신할 수 있다. 프로세서(170)는, 사용자 입력에 따라, 해당 도메인이 선택되는 경우, 사용자가 설정한 어시스턴트를 선택할 수 있다.
도 11을 참조하면, 프로세서(170)는, 테이블에 신규 비서 시스템을 추가할 수 있다. 프로세서(170)는, 신규 비서 시스템의 지원 스킬을 함께 테이블에 기록할 수 있다.
도 12를 참조하면, 초급 사용자에게는 자동으로 결정된 어시스턴트를 통해 서비스를 제공할 수 있다. 고급 사용자에게는 복수의 어시스턴트에 대한 편집 가능여부에 대한 정보를 제공할 수 있다. 자동으로 어시스턴트를 결정하는 경우에는, 내부적으로 각 시스템별로 각 도메인에 대한 성능을 수치적으로 가지고 있고, 이를 기반으로 결정할 수 있다. 예를 들면, 선택된 도메인에 매칭되는 기능을 제공하는 어시스턴트 중에서 성능값이 가장 높은 것을 선택할 수 있다.
한편, 성능은 외부 평가 결과가 될수도 있고, 선호도 등이 될 수도 있다. 성능 테이블은 시스템 업그레이드시 함께 업그레이드 되거나 클라우드로부터 받을 수도 있다. 성능 테이블은 시스템 사용시 학습에 의한 업데이트도 가능하다. 사용자의 긍정 피드백이 예상되면 플러스 평가를 하고, 부정 피드백이 예상되면 마이너스 평가를할 수 있다. 정상적으로 대화가 종료되면 플러스 평가를 하고, 재질문이 들어오면 마이너스 평가를 할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10 : 차량
200 : 차량용 사용자 인터페이스 장치
200 : 차량용 사용자 인터페이스 장치
Claims (10)
- 마이크로 폰으로부터 사운드 데이터를 수신하고,
상기 사운드 데이터에 매칭되는 도메인(domain)을 선택하고,
복수의 어시스턴트(assistant) 중에서, 상기 선택된 도메인에 매칭되는 적어도 하나의 어시스턴트를 선택하고,
상기 선택된 어시스턴트에서 제공되는 상기 사운드 데이터에 기초한 응답 데이터에 기초하여, 출력 데이터를 생성하는 프로세서;를 포함하며,
상기 프로세서는,
선택된 도메인의 신뢰도가 기준값 이상인 것으로 판단되는 경우, 기 설정된 맵핑 테이블에 기초하여, 상기 도메인에 매칭되는 적어도 하나의 어시스턴트를 선택하는 차량용 사용자 인터페이스 장치. - 삭제
- 제 1항에 있어서,
상기 프로세서는,
선택된 도메인에 매칭되는 복수의 어시스턴트가 선택되는 경우, 선택된 복수의 어시스턴트에 대한 설명을 출력하고, 선택된 복수의 어시스턴트 중 제1 어시스턴트를 선택하기 위한 사용자 입력을 수신하는 차량용 사용자 인터페이스 장치. - 제 3항에 있어서,
상기 프로세서는,
상기 제1 어시스턴트가 기 설정된 횟수 이상 선택되는 경우, 상기 제1 어시스턴트를 선호 어시스턴트로 설정하는 차량용 사용자 인터페이스 장치. - 제 1항에 있어서,
상기 프로세서는,
상기 맵핑 테이블에 신규 어시스턴트가 등록된 경우, 상기 신규 어시스턴트에 대한 정보를 출력하고,
상기 신규 어시스턴트가 포함된 복수의 어시스턴트 중에서, 상기 도메인에 매칭되는 적어도 하나의 어시스턴트를 선택하는 차량용 사용자 인터페이스 장치. - 제 1항에 있어서,
상기 프로세서는,
상기 사운드 데이터에 매칭되는 복수의 도메인이 선택되는 경우,
선택된 복수의 도메인 각각의 신뢰도를 판단하고,
선택된 복수의 도메인 각각의 신뢰도의 차이가 기준값 이하인 경우, 도메인 확인을 요청하기 위한 컨텐츠를 출력하는 차량용 사용자 인터페이스 장치. - 제 1항에 있어서,
상기 프로세서는,
선택된 도메인의 신뢰도가 기준값보다 작은 것으로 판단되는 경우, 상기 복수의 어시스턴트 전체에 상기 사운드 데이터를 제공하고,
상기 복수의 어시스턴트 중 응답 데이터를 제공하는 어시스턴트를 확인하는 차량용 사용자 인터페이스 장치. - 제 7항에 있어서,
상기 프로세서는,
상기 복수의 어시스턴트 전체에서 제1 어시스턴트로부터만 응답 데이터가 수신되는 경우, 상기 제1 어시스턴트를 선택하고,
상기 복수의 어시스턴트 중 제1 어시스턴트 및 제2 어시스턴트로부터 응답 데이터가 수신되는 경우, 어시스턴트 선택 요청을 위한 컨텐츠를 출력하고,
상기 복수의 어시스턴트로부터 응답 데이터가 수신되지 않는 경우, 처리 불가 메시지를 출력하는 차량용 사용자 인터페이스 장치. - 제 7항에 있어서,
상기 프로세서는,
매칭되는 도메인이 없는 사운드 데이터가 기 설정 횟수 이상 수신되는 경우, 신규 도메인을 설정하고, 상기 신규 도메인을 상기 맵핑 테이블에 기록하는 차량용 사용자 인터페이스 장치. - 제 9항에 있어서,
상기 프로세서는,
상기 신규 도메인을, 상기 신규 도메인에 매칭되어 선택된 어시스턴트와 함께 상기 맵핑 테이블에 기록하는 차량용 사용자 인터페이스 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190037634A KR102213631B1 (ko) | 2019-04-01 | 2019-04-01 | 차량용 사용자 인터페이스 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190037634A KR102213631B1 (ko) | 2019-04-01 | 2019-04-01 | 차량용 사용자 인터페이스 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200119420A KR20200119420A (ko) | 2020-10-20 |
| KR102213631B1 true KR102213631B1 (ko) | 2021-02-05 |
Family
ID=73025347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190037634A KR102213631B1 (ko) | 2019-04-01 | 2019-04-01 | 차량용 사용자 인터페이스 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102213631B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102376547B1 (ko) | 2021-11-16 | 2022-03-18 | (주)복서 | Ux 제공을 위한 차량 제어 구성을 포함하는 차량용 조향 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190066685A1 (en) | 2014-12-16 | 2019-02-28 | Microsoft Technology Licensing, Llc | Digital assistant voice input integration |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10192549B2 (en) * | 2014-11-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Extending digital personal assistant action providers |
| CN114357128A (zh) * | 2016-04-18 | 2022-04-15 | 谷歌有限责任公司 | 适当的代理的自动化助理调用 |
-
2019
- 2019-04-01 KR KR1020190037634A patent/KR102213631B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190066685A1 (en) | 2014-12-16 | 2019-02-28 | Microsoft Technology Licensing, Llc | Digital assistant voice input integration |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102376547B1 (ko) | 2021-11-16 | 2022-03-18 | (주)복서 | Ux 제공을 위한 차량 제어 구성을 포함하는 차량용 조향 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200119420A (ko) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11409290B2 (en) | Driving control apparatus, driving control method, and program | |
| US10671069B2 (en) | Driving system for vehicle and vehicle thereof | |
| US11003414B2 (en) | Acoustic control system, apparatus and method | |
| US9747898B2 (en) | Interpretation of ambiguous vehicle instructions | |
| US10266182B2 (en) | Autonomous-vehicle-control system and method incorporating occupant preferences | |
| US20180226077A1 (en) | Vehicle driving assist and vehicle having same | |
| US20190094038A1 (en) | Vehicle control device and vehicle comprising the same | |
| US20160167648A1 (en) | Autonomous vehicle interaction with external environment | |
| KR20190005630A (ko) | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 | |
| US20190370862A1 (en) | Apparatus for setting advertisement time slot and method thereof | |
| US11403669B2 (en) | Vehicular advertisement providing device and vehicular advertisement providing method | |
| US11138844B2 (en) | Artificial intelligence apparatus and method for detecting theft and tracing IoT device using same | |
| KR20210054271A (ko) | 차량 내 멀티 SoC 모듈의 전원 관리 장치 및 방법 | |
| KR102209421B1 (ko) | 자율 주행 차량과 이를 이용한 주행 제어 시스템 및 방법 | |
| US20200019158A1 (en) | Apparatus and method for controlling multi-purpose autonomous vehicle | |
| KR20200095318A (ko) | 영상 출력 장치 | |
| KR102023996B1 (ko) | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 | |
| KR102213631B1 (ko) | 차량용 사용자 인터페이스 장치 | |
| KR20210017897A (ko) | 차량용 전자 장치 및 그의 동작 방법 | |
| KR102350306B1 (ko) | 차량 내 음성 제어 방법 | |
| CN111033596A (zh) | 车辆控制系统、车辆控制方法及程序 | |
| US20210055116A1 (en) | Get-off point guidance method and vehicular electronic device for the guidance | |
| KR20210081484A (ko) | 지능적 컨텐츠 제공 방법 및 자율 주행 시스템 | |
| CN112534499B (zh) | 声音对话装置、声音对话系统以及声音对话装置的控制方法 | |
| KR102388625B1 (ko) | 인공지능이 적용된 현장 학습용 자율주행차 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |