KR20200001188A - 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 - Google Patents
대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 Download PDFInfo
- Publication number
- KR20200001188A KR20200001188A KR1020180073824A KR20180073824A KR20200001188A KR 20200001188 A KR20200001188 A KR 20200001188A KR 1020180073824 A KR1020180073824 A KR 1020180073824A KR 20180073824 A KR20180073824 A KR 20180073824A KR 20200001188 A KR20200001188 A KR 20200001188A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- vehicle
- conversation
- action
- notification event
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 99
- 238000003860 storage Methods 0.000 claims abstract description 50
- 230000009471 action Effects 0.000 claims description 558
- 230000004044 response Effects 0.000 claims description 206
- 230000006870 function Effects 0.000 claims description 154
- 238000004891 communication Methods 0.000 claims description 104
- 238000010438 heat treatment Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000004378 air conditioning Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 197
- 239000007858 starting material Substances 0.000 description 109
- 230000006403 short-term memory Effects 0.000 description 71
- 230000007787 long-term memory Effects 0.000 description 66
- 238000012545 processing Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 35
- 230000015654 memory Effects 0.000 description 33
- 239000000284 extract Substances 0.000 description 29
- 238000004458 analytical method Methods 0.000 description 23
- 230000000877 morphologic effect Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 17
- 238000012546 transfer Methods 0.000 description 17
- 238000003672 processing method Methods 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 13
- 238000012790 confirmation Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000002085 persistent effect Effects 0.000 description 8
- 230000000391 smoking effect Effects 0.000 description 8
- 206010041349 Somnolence Diseases 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000000446 fuel Substances 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 206010019233 Headaches Diseases 0.000 description 4
- 231100000869 headache Toxicity 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 238000012913 prioritisation Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000007791 dehumidification Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 241001572175 Gaza Species 0.000 description 1
- 206010034568 Peripheral coldness Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000002283 diesel fuel Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 235000014594 pastries Nutrition 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 235000019633 pungent taste Nutrition 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/221—Announcement of recognition results
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Navigation (AREA)
Abstract
본 발명의 차량은 차량의 상태 정보와 주행 환경 정보 중 적어도 하나의 정보를 모니터링하고, 모니터링된 정보에 기초하여 차량 사용 패턴을 생성하고, 생성된 차량 사용 패턴에 대응하는 알림 이벤트 정보를 생성 및 저장하고, 모니터링된 정보가 저장부에 저장된 알림 이벤트 정보들 중 어느 하나의 이벤트 정보에 대응되는지 판단하고, 모니터링된 정보가 어느 하나의 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보의 알림 타이밍인지 판단하고, 현재 시점이 어느 하나의 알림 이벤트 정보의 알림 타이밍이면 알림 이벤트 정보에 대한 상기 안내 정보를 출력하고, 저장된 알림 이벤트 정보에 대응하는 제어 명령을 생성하고, 제어 명령에 기초하여 알림 이벤트 정보에 대응하는 기능을 수행한다.
Description
본 발명은 사용자와의 대화를 통해 사용자의 의도를 파악하고 사용자에게 필요한 정보나 서비스를 제공하는 대화 시스템, 차량 및 차량의 제어 방법에 관한 것이다.
차량용 AVN이나 대부분의 모바일 기기는 작은 화면 및 작은 버튼으로 인해, 사용자에게 시각적인 정보를 제공하거나 사용자의 입력을 수신함에 있어 불편함이 발생할 수 있다.
특히, 사용자가 운전 중 시각적인 정보를 확인하거나 기기를 조작하기 위해, 시선을 이동시키고 스티어링 휠에서 손을 떼는 것은 안전 운전에 위협이 되는 요소로 작용한다.
따라서, 사용자와의 대화를 통해 사용자의 의도를 파악하고, 사용자에게 필요한 서비스를 제공하는 대화 시스템이 차량에 적용될 경우 보다 안전하고 편리하게 서비스를 제공할 수 있을 것으로 기대된다.
(특허문헌 1) KR2013-0035983 A
일 측면은 사용자와의 대화 정보, 차량 상태 정보 및 주행 환경 정보 중 적어도 하나에 기초하여 차량 사용 패턴, 발화 패턴을 획득하고 획득된 차량 사용 패턴 및 발화 패턴에 기초하여 적어도 하나의 기능에 대한 알림 이벤트 정보를 획득하고, 현재 시각이 알림 이벤트 정보의 알림 타이밍이면 알림 이벤트 정보에 대한 안내 정보를 출력하는 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법을 제공한다.
다른 측면은 차량 주행 환경에서 사용자와의 대화 및 차량 상태 정보, 주행 환경 정보, 사용자 정보 등의 다양한 정보를 바탕으로 사용자의 의도를 정확하게 파악함으로써, 사용자의 실제 의도에 부합되는 서비스 또는 사용자에게 가장 필요한 서비스를 제공할 수 있는 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법을 제공한다.
일 측면에 따른 대화 시스템은 기기와 통신을 수행하는 대화 시스템에 있어서, 사용자의 음성이 입력되면 입력된 음성을 인식하는 음성 입력 처리기; 복수 개의 알림 이벤트 정보를 저장하는 저장부; 기기의 상태 정보 및 주행 환경 정보 중 적어도 하나의 정보가 수신되면 상기 수신된 적어도 하나의 정보에 기초하여 상황을 인식하고, 인식된 상황 정보와 인식된 음성의 정보 중 적어도 하나의 정보가 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하고, 적어도 하나의 정보가 어느 하나의 알림 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보에 대한 알림 타이밍을 확인하는 상황 정보 처리기; 현재 시점이 알림 타이밍이면 어느 하나의 알림 이벤트 정보에 대한 안내 정보를 액션으로 결정하는 대화 관리기; 및 결정된 액션에 대응하는 발화를 출력하는 결과 처리기를 포함한다.
상황 정보 처리기는, 수신된 적어도 하나의 정보에 기초하여 기기 사용 패턴을 생성하고, 생성된 기기 사용 패턴에 대응하는 알림 이벤트 정보를 생성하고 생성된 알림 이벤트 정보를 저장부에 저장하도록 하는 것을 포함한다.
상황 정보 처리기는, 생성된 기기 사용 패턴에 기초하여 기기에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 생성하고, 기기에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 생성하며, 생성된 업데이트 정보 및 신 기능 정보를 알림 이벤트 정보로 생성하는 것을 포함한다.
알림 이벤트 정보는, 알림 이벤트 정보의 알림 이벤트 명, 알림 타이밍 및 안내 정보를 포함하고, 알림 타이밍은 어느 하나의 알림 이벤트 정보에 대응하는 기능이 수행되는 시점을 포함한다.
다른 측면에 따른 차량은, 차량의 상태 정보와, 주행 환경 정보를 감지하는 감지부; 복수 개의 알림 이벤트 정보를 저장하는 저장부; 감지된 차량의 상태 정보와 주행 환경 정보 중 적어도 하나의 정보가 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하고, 적어도 하나의 정보가 어느 하나의 알림 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보에 대한 알림 타이밍을 확인하고 현재 시점이 알림 타이밍이면 어느 하나의 알림 이벤트 정보에 대한 안내 정보를 액션으로 결정하고 결정된 액션에 대응하는 발화를 출력하고 어느 하나의 알림 이벤트 정보에 대응하는 제어 명령을 선택적으로 생성하는 대화 시스템; 및 제어 명령이 수신되면 수신된 제어 명령에 기초하여 복수 개의 기능 중 적어도 하나의 기능을 제어하는 차량 제어기를 포함한다.
사용자의 음성을 입력받는 음성 입력장치를 더 포함하고, 대화 시스템은, 사용자의 음성이 입력되면 입력된 음성을 인식하고 인식된 음성의 정보가 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하는 것을 더 포함한다.
차량의 대화 시스템은, 인식된 음성에 기초하여 발화 패턴을 생성하고 감지된 차량의 상태 정보 및 주행 환경 정보 중 적어도 하나에 기초하여 차량 사용 패턴을 생성하고, 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 알림 이벤트 정보를 생성하는 것을 더 포함한다.
대화 시스템은, 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 차량에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 생성하고, 차량에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 생성하며, 생성된 업데이트 정보 및 신 기능 정보를 알림 이벤트 정보로 획득하고, 차량 제어기는 생성된 업데이트 정보에 기초하여 적어도 하나의 기능을 업데이트하고, 생성된 신 기능 정보를 차량의 기능으로 추가하는 것을 포함한다.
차량은 모바일 기기와 통신을 수행하는 통신 장치를 더 포함하고, 대화 시스템은 모바일 기기의 상태 정보를 수신하고 모바일 기기의 상태 정보가 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하는 것을 더 포함한다.
차량의 대화 시스템은, 모바일 기기와 통신 수행 중 모바일 기기의 사용 패턴을 생성하고, 생성된 모바일 기기의 사용 패턴에 대응하는 알림 이벤트 정보를 생성하는 것을 더 포함한다.
차량은 사용자의 음성을 입력받는 음성 입력장치를 더 포함하고, 대화 시스템은 음성 입력 장치를 통해 출력된 발화에 대한 응답의 음성이 입력되면 입력된 응답의 음성에 기초하여 모바일 기기에 대한 알림 이벤트에 대응하는 제어 명령의 전송 수행 또는 전송 정지를 제어하는 것을 더 포함한다.
차량의 대화 시스템은 모바일 기기에 대한 알림 이벤트에 대응하는 제어 명령을 생성하고, 차량 제어기는 제어 명령이 수신되면 수신된 제어 명령을 모바일 기기에 전송하도록 통신 장치를 제어하는 것을 더 포함한다.
차량의 복수 개의 기능은, 윈도우 개폐, 라디오 온오프, 라디오 채널 변경, 공조장치 온오프, 공조장치의 온도 조절, 시트 열선 온오프, 스티어링 열선 온오프, 오디오 온오프, 오디오 장르 변경, 볼륨 조절, 모바일 기기와의 통신 연결 중 적어도 두 개를 포함한다.
차량은 외부의 서버와 통신을 수행하는 통신 장치를 더 포함하고, 대화 시스템은 서버를 통해 펌웨어의 업데이트 정보가 수신되면 수신된 펌웨어의 업데이트 정보에 기초하여 알림 이벤트 정보를 획득하고, 차량 제어기는 수신된 펌웨어의 업데이트 정보에 기초하여 펌웨어의 업데이트를 제어하는 것을 포함한다.
차량의 대화 시스템은, 펌웨어에 대한 알림 이벤트 정보에 기초하여 펌웨어의 동작 수행 중 현재 시점이 알림 이벤트 정보의 알림 타이밍인지 판단하고 현재 시점이 알림 이벤트 정보의 알림 타이밍이라고 판단되면 알림 이벤트 정보에 대한 안내 정보를 출력하는 것을 포함한다.
차량의 제어 방법은 차량의 상태 정보와 주행 환경 정보 중 적어도 하나의 정보를 모니터링하고, 모니터링된 정보에 기초하여 차량 사용 패턴을 생성하고, 생성된 차량 사용 패턴에 대응하는 알림 이벤트 정보를 생성 및 저장하고, 모니터링된 정보가 저장부에 저장된 알림 이벤트 정보들 중 어느 하나의 이벤트 정보에 대응되는지 판단하고, 모니터링된 정보가 어느 하나의 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보의 알림 타이밍인지 판단하고, 현재 시점이 어느 하나의 알림 이벤트 정보의 알림 타이밍이면 알림 이벤트 정보에 대한 안내 정보를 출력하고, 저장된 알림 이벤트 정보에 대응하는 제어 명령을 생성하고, 제어 명령에 기초하여 알림 이벤트 정보에 대응하는 기능을 수행한다.
알림 이벤트 정보를 생성하는 것은, 사용자의 음성이 입력되면 입력된 음성을 인식하고, 인식된 음성의 정보에 기초하여 발화 패턴을 생성하고, 생성된 발화 패턴에 대응하는 알림 이벤트 정보를 생성하는 것을 포함한다.
알림 이벤트 정보를 생성하는 것은, 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 차량에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 생성하고, 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 차량에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 생성하고, 생성된 업데이트 정보 및 신 기능 정보를 알림 이벤트 정보로 획득하는 것을 포함한다.
차량의 제어 방법은, 모바일 기기의 상태 정보를 수신하고, 모바일 기기의 상태 정보에 기초하여 모바일 기기와 통신 수행 중 모바일 기기의 사용 패턴을 생성하고, 생성된 모바일 기기의 사용 패턴에 대응하는 알림 이벤트 정보를 생성 및 저장하고, 모바일 기기의 상태 정보가 저장부에 저장된 알림 이벤트 정보들 중 어느 하나의 이벤트 정보에 대응되는지 판단하고, 모바일 기기의 상태 정보가 어느 하나의 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보의 알림 타이밍인지 판단하고, 현재 시점이 어느 하나의 알림 이벤트 정보의 알림 타이밍이면 모바일 기기에 대한 어느 하나의 알림 이벤트에 대응하는 안내 정보를 출력하는 것을 더 포함한다.
차량의 제어 방법은 모바일 기기에 대한 어느 하나의 알림 이벤트에 대응하는 제어 명령을 생성하고, 생성된 제어 명령을 모바일 기기에 전송하는 것을 더 포함한다.
차량의 제어 방법은, 외부의 서버를 통해 적어도 하나의 펌웨어의 업데이트 정보가 수신되면 수신된 적어도 하나의 펌웨어의 업데이트 정보에 기초하여 펌웨어의 업데이트를 제어하고, 수신된 적어도 하나의 펌웨어의 업데이트 정보에 기초하여 알림 이벤트 정보를 획득 및 저장하고, 펌웨어에 대한 알림 이벤트 정보에 기초하여 펌웨어의 동작 수행 중 현재 시점이 알림 이벤트 정보의 알림 타이밍인지 판단하고, 현재 시점이 알림 이벤트 정보의 알림 타이밍이라고 판단되면 알림 이벤트 정보에 대한 안내 정보를 출력하는 것을 더 포함한다.
본 발명은 차량 주행 환경에서 사용자와의 대화 및 차량 상태 정보, 주행 환경 정보, 사용자 정보 등의 다양한 정보를 바탕으로 사용자의 의도를 정확하게 파악함으로써, 사용자의 실제 의도에 부합되는 서비스 또는 사용자에게 가장 필요한 서비스를 제공할 수 있다.
본 발명은 펌웨어 업데이트에 따른 변경 기능 또는 신 기능을 사용 가능한 시점에 적절하게 알려줌으로써, 변경 기능 또는 신기능에 대한 활용도를 향상시킬 수 있다.
본 발명은 과거의 차량 사용 패턴, 발화 패턴 및 모바일 기기의 사용 패턴에 기초하여 개인화 서비스에 맞추어 변경된 기능 또는 새로운 기능이 필요한 시점에 변경된 기능 또는 새로운 기능의 필요성을 알려줌으로써 보다 효율적으로 변경된 기능 또는 새로운 기능들을 사용하도록 할 수 있어, 사용자의 편의성 및 차량의 상품성을 증가시킬 수 있다.
본 발명은 대화 기능을 차량의 품질을 향상시킬 수 있어 상품성을 증대시킬 수 있고, 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성 및 차량의 안전성을 향상시킬 수 있다.
도 1은 일 실시 예에 따른 대화 시스템의 제어 블록도이다.
도 2는 차량 내부의 구성을 나타낸 도면이다.
도 3 내지 도 5는 대화 시스템과 운전자 사이에 주고 받을 수 있는 대화의 예시를 나타낸 도면이다.
도 6 및 도 7은 대화 시스템과 차량의 구성 요소들 사이의 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 8 및 도 9는 대화 시스템의 구성 요소와 차량의 구성 요소들 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 10은 대화 시스템이 차량에 마련되는 차량 단독 방식에 대한 제어 블록도이다.
도 11 및 도 12는 대화 시스템이 원격 서버에 마련되고 차량이 사용자와 대화 시스템을 연결하는 게이트웨이의 역할만 하는 차량 게이트웨이 방식에 대한 제어 블록도이다.
도 13은 차량 게이트웨이 방식에서 차량이 입력 처리와 출력 처리를 일부 수행할 수 있는 경우에 대한 제어 블록도이다.
도 14는 원격 대화 시스템 서버와 차량이 모두 대화 처리를 수행할 수 있는 하이브리드 방식에 대한 제어 블록도이다.
도 15및 도 16은 차량에 연결된 모바일 기기가 사용자와 원격 대화 시스템 서버를 연결하는 모바일 게이트웨이 방식에 대한 제어 블록도이다.
도 17은 모바일 기기에 대화 시스템이 탑재되는 모바일 단독 방식에 대한 제어 블록도이다.
도 18, 도 19a 및 도 19b는 대화 시스템의 구성 중 입력 처리기의 구성이 세분화된 제어 블록도이다.
도 20a 및 도 20b는 상황 이해 테이블에 저장되는 정보의 예시를 나타낸 도면이다.
도 21은 사용자의 입력이 수신되기 전에 대화 시스템이 먼저 발화를 출력하는 경우에 적용 가능한 대화 시스템의 제어 블록도이다.
도 22a, 도 22b 및 도 22c는 선발화 조건 테이블에 저장하는 정보의 예시를 나타낸 도면이다.
도 23은 대화 관리기의 구성이 세분화된 제어 블록도이다.
도 24는 연관 액션 DB에 저장된 정보의 예시를 나타낸 도면이다.
도 25는 액션 수행 조건 DB에 저장된 정보의 예시를 나타낸 도면이다.
도 26은 액션 인자 DB에 저장된 정보의 예시를 나타낸 도면이다.
도 27은 모호성 해소 정보 DB에 저장되는 정보의 예시를 나타내는 도면이다.
도 28a 및 도 28b는 모호성 해결기가 모호성 해소 정보 DB를 참조하여 모호성을 해결하고 액션을 추출하여 차량을 제어하는 다양한 예시들을 정리한 테이블이다.
도 29는은 결과 처리기의 구성을 세분화한 제어 블록도이다.
도 30 내지 도 42는 사용자가 길 안내와 관련한 발화를 입력한 경우에 대화 시스템이 입력을 처리하고, 대화를 관리하고, 결과를 출력하는 구체적인 예시를 나타낸 도면이다.
도 43은 일 실시예에 따른 대화 처리 방법에 있어서, 사용자 입력을 처리하는 방법을 나타낸 순서도이다.
도 44는 일 실시예에 따른 대화 처리 방법에 있어서, 입력 처리기의 출력을 이용하여 대화를 관리하는 방법을 나타낸 순서도이다.
도 45는 일 실시예에 따른 대화 처리 방법에 있어서, 대화 관리의 결과에 대응되는 응답을 생성하기 위한 결과 처리 방법을 나타낸 순서도이다.
도 46 내지 도 48은 일 실시예에 따른 대화 처리 방법에 있어서, 사용자의 발화 입력 전에 대화 시스템이 선발화를 출력하는 경우를 나타낸 순서도이다.
도 49는 일 실시예에 따른 대화 처리 방법에 있어서, 사용자의 발화 입력 전에 대화 시스템이 선발화를 출력하는 경우에 중복 태스크를 처리하는 과정을 나타낸 순서도이다.
도 50은 다른 실시 예에 따른 대화 시스템이 마련된 차량의 제어 블록도이다.
도 51은 다른 실시 예에 따른 대화 시스템의 상세 구성도이다.
도 52는 다른 실시 예에 따른 대화 시스템의 입력 처리기의 구성도이다.
도 53은 다른 실시 예에 따른 대화 시스템의 입력 처리기의 상세 구성도이다.
도 54는 다른 실시 예에 따른 대화 시스템의 결과 처리기의 구성도이다.
도 55는 다른 실시 예에 따른 대화 시스템이 마련된 차량의 제어 구성도이다.
도 56 내지 도 60은 는 다른 실시 예에 따른 대화 시스템과 사용자와의 대화 예시도이다.
도 2는 차량 내부의 구성을 나타낸 도면이다.
도 3 내지 도 5는 대화 시스템과 운전자 사이에 주고 받을 수 있는 대화의 예시를 나타낸 도면이다.
도 6 및 도 7은 대화 시스템과 차량의 구성 요소들 사이의 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 8 및 도 9는 대화 시스템의 구성 요소와 차량의 구성 요소들 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 10은 대화 시스템이 차량에 마련되는 차량 단독 방식에 대한 제어 블록도이다.
도 11 및 도 12는 대화 시스템이 원격 서버에 마련되고 차량이 사용자와 대화 시스템을 연결하는 게이트웨이의 역할만 하는 차량 게이트웨이 방식에 대한 제어 블록도이다.
도 13은 차량 게이트웨이 방식에서 차량이 입력 처리와 출력 처리를 일부 수행할 수 있는 경우에 대한 제어 블록도이다.
도 14는 원격 대화 시스템 서버와 차량이 모두 대화 처리를 수행할 수 있는 하이브리드 방식에 대한 제어 블록도이다.
도 15및 도 16은 차량에 연결된 모바일 기기가 사용자와 원격 대화 시스템 서버를 연결하는 모바일 게이트웨이 방식에 대한 제어 블록도이다.
도 17은 모바일 기기에 대화 시스템이 탑재되는 모바일 단독 방식에 대한 제어 블록도이다.
도 18, 도 19a 및 도 19b는 대화 시스템의 구성 중 입력 처리기의 구성이 세분화된 제어 블록도이다.
도 20a 및 도 20b는 상황 이해 테이블에 저장되는 정보의 예시를 나타낸 도면이다.
도 21은 사용자의 입력이 수신되기 전에 대화 시스템이 먼저 발화를 출력하는 경우에 적용 가능한 대화 시스템의 제어 블록도이다.
도 22a, 도 22b 및 도 22c는 선발화 조건 테이블에 저장하는 정보의 예시를 나타낸 도면이다.
도 23은 대화 관리기의 구성이 세분화된 제어 블록도이다.
도 24는 연관 액션 DB에 저장된 정보의 예시를 나타낸 도면이다.
도 25는 액션 수행 조건 DB에 저장된 정보의 예시를 나타낸 도면이다.
도 26은 액션 인자 DB에 저장된 정보의 예시를 나타낸 도면이다.
도 27은 모호성 해소 정보 DB에 저장되는 정보의 예시를 나타내는 도면이다.
도 28a 및 도 28b는 모호성 해결기가 모호성 해소 정보 DB를 참조하여 모호성을 해결하고 액션을 추출하여 차량을 제어하는 다양한 예시들을 정리한 테이블이다.
도 29는은 결과 처리기의 구성을 세분화한 제어 블록도이다.
도 30 내지 도 42는 사용자가 길 안내와 관련한 발화를 입력한 경우에 대화 시스템이 입력을 처리하고, 대화를 관리하고, 결과를 출력하는 구체적인 예시를 나타낸 도면이다.
도 43은 일 실시예에 따른 대화 처리 방법에 있어서, 사용자 입력을 처리하는 방법을 나타낸 순서도이다.
도 44는 일 실시예에 따른 대화 처리 방법에 있어서, 입력 처리기의 출력을 이용하여 대화를 관리하는 방법을 나타낸 순서도이다.
도 45는 일 실시예에 따른 대화 처리 방법에 있어서, 대화 관리의 결과에 대응되는 응답을 생성하기 위한 결과 처리 방법을 나타낸 순서도이다.
도 46 내지 도 48은 일 실시예에 따른 대화 처리 방법에 있어서, 사용자의 발화 입력 전에 대화 시스템이 선발화를 출력하는 경우를 나타낸 순서도이다.
도 49는 일 실시예에 따른 대화 처리 방법에 있어서, 사용자의 발화 입력 전에 대화 시스템이 선발화를 출력하는 경우에 중복 태스크를 처리하는 과정을 나타낸 순서도이다.
도 50은 다른 실시 예에 따른 대화 시스템이 마련된 차량의 제어 블록도이다.
도 51은 다른 실시 예에 따른 대화 시스템의 상세 구성도이다.
도 52는 다른 실시 예에 따른 대화 시스템의 입력 처리기의 구성도이다.
도 53은 다른 실시 예에 따른 대화 시스템의 입력 처리기의 상세 구성도이다.
도 54는 다른 실시 예에 따른 대화 시스템의 결과 처리기의 구성도이다.
도 55는 다른 실시 예에 따른 대화 시스템이 마련된 차량의 제어 구성도이다.
도 56 내지 도 60은 는 다른 실시 예에 따른 대화 시스템과 사용자와의 대화 예시도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법의 실시예를 상세하게 설명한다.
일 실시예에 따른 대화 시스템은 사용자의 음성 및 음성 외 입력을 이용하여 사용자의 의도를 파악하고 사용자의 의도에 적합한 서비스 또는 사용자에게 필요한 서비스를 제공하는 장치로서, 서비스 제공의 일 수단 또는 사용자의 의도를 명확히 파악하기 위한 일 수단으로 시스템 발화를 출력함으로써 사용자와 대화를 수행할 수 있다.
당해 실시예에서 사용자에게 제공되는 서비스는 정보의 제공, 차량의 제어, 오디오/비디오/내비게이션 기능의 실행, 외부 서버로부터 가져온 컨텐츠의 제공 등 사용자의 필요나 사용자의 의도에 부응하기 위해 수행되는 모든 동작을 포함할 수 있다.
또한, 일 실시예에 따른 대화 시스템은 차량 환경에 특화된 대화 처리 기술을 제공함으로써, 차량이라는 특수한 환경에서 사용자의 의도를 정확히 파악할 수 있다.
이러한 대화 시스템과 사용자를 연결하는 게이트 웨이는 차량 또는 차량에 연결된 모바일 기기가 될 수 있다. 후술하는 바와 같이, 대화 시스템은 차량에 마련될 수도 있고, 차량 외부의 원격 서버에 마련되어 차량 또는 차량에 연결된 모바일 기기와의 통신을 통해 데이터를 주고 받을 수도 있다.
또한, 대화 시스템의 구성 요소 중 일부는 차량에 마련되고 일부는 원격 서버에 마련되어 대화 시스템의 동작을 차량과 원격 서버에서 부분적으로 수행하는 것도 가능하다.
도 1은 일 실시예에 따른 대화 시스템의 제어 블록도이다.
도 1을 참조하면, 일 실시예에 따른 대화 시스템(100)은 사용자의 음성 및 음성 외 입력을 포함하는 사용자 입력이나 차량과 관련된 정보 또는 사용자와 관련된 정보를 포함하는 입력을 처리하는 입력 처리기(110), 입력 처리기(110)의 처리 결과를 이용하여 사용자의 의도 또는 차량의 상태를 파악하고, 사용자의 의도나 차량의 상태에 대응되는 액션을 결정하는 대화 관리기(120), 대화 관리기(120)의 출력 결과에 따라 특정 서비스를 제공하거나 대화를 계속 이어 나가기 위한 시스템 발화를 출력하는 결과 처리기(130) 및 대화 시스템(100)이 후술하는 동작을 수행하기 위해 필요한 각종 정보를 저장하는 저장부(140)를 포함한다.
입력 처리기(110)는 사용자 음성과 음성 외 입력, 두 가지 종류의 입력을 수신할 수 있다. 음성 외 입력은 사용자의 제스처 인식이나, 입력 장치의 조작을 통해 입력되는 사용자의 음성 외 입력, 차량의 상태를 나타내는 차량 상태 정보, 차량의 주행 환경과 관련된 주행 환경 정보, 사용자의 상태를 나타내는 사용자 정보 등을 포함할 수 있다. 이러한 정보들 외에도 차량과 사용자와 관련된 정보로서, 사용자의 의도를 파악하거나 사용자 또는 차량에 필요한 서비스를 제공하기 위해 사용될 수 있는 정보이면, 모두 입력 처리기(110)의 입력이 될 수 있다. 사용자는 운전자와 탑승자를 모두 포함할 수 있다.
입력 처리기(110)는 입력된 사용자 음성을 인식하여 텍스트 형태의 발화문으로 변환하고, 사용자의 발화문에 자연어 이해(Natural Language Understanding) 알고리즘을 적용하여 사용자의 의도를 파악한다.
또한, 입력 처리기(110)는 사용자 음성 외에 차량의 상태나 주행 환경과 관련된 정보를 수집하고, 수집된 정보를 이용하여 상황을 이해한다.
입력 처리기(110)는 자연어 이해를 통해 파악한 사용자의 의도와 상황에 관련된 정보 등을 대화 관리기(120)로 전달한다.
대화 관리기(120)는 입력 처리기(110)로부터 전달된 사용자의 의도, 상황에 관련된 정보 등에 기초하여 사용자의 의도나 현재 상황에 대응되는 액션을 결정하고, 해당 액션을 수행하기 위해 필요한 인자들을 관리한다.
당해 실시예에서 액션은 특정 서비스를 제공하기 위해 수행되는 모든 동작을 의미할 수 있으며, 액션의 종류는 미리 정의될 수 있다. 경우에 따라, 서비스의 제공과 액션의 수행은 동일한 의미일 수 있다.
예를 들어, 도메인/액션 추론 규칙 DB(141, 도19A 참조)에 길 안내, 차량 상태 점검, 주유소 추천 등과 같은 액션이 미리 정의될 수 있고, 저장된 추론 규칙에 따라 사용자의 발화에 대응되는 액션, 즉 사용자가 의도하는 액션을 미리 정의된 액션 중에서 추출할 수 있다. 또한, 차량에 발생한 이벤트와 연관된 액션이 미리 정의되어 연관 액션 DB(146b, 도 21 참조)에 저장될 수 있다.
액션의 종류에 대해서는 제한을 두지 않으며, 대화 시스템(100)이 차량(200) 또는 모바일 기기(400)를 통해 수행 가능한 것으로서, 미리 정의되고, 그 추론 규칙이나 다른 액션/이벤트와의 관계 등이 저장되어 있으면 액션이 될 수 있다.
대화 관리기(120)는 결정된 액션에 관한 정보를 결과 처리기(130)로 전달한다.
결과 처리기(130)는 전달된 액션을 수행하기 위해 필요한 대화 응답 및 명령어를 생성하여 출력한다. 대화 응답은 텍스트, 이미지 또는 오디오로 출력될 수 있고, 명령어가 출력되면 출력된 명령어에 대응되는 차량 제어, 외부 컨텐츠 제공 등의 서비스가 수행될 수 있다.
저장부(140)는 대화 처리 및 서비스 제공에 필요한 각종 정보를 저장한다. 예를 들어, 자연어 이해에 사용되는 도메인, 액션, 화행, 개체명과 관련된 정보를 미리 저장할 수 있고, 입력된 정보로부터 상황을 이해하기 위해 사용되는 상황 이해 테이블을 저장할 수도 있으며, 차량에 마련된 센서가 감지한 데이터, 사용자와 관련된 정보, 액션 수행을 위해 필요한 정보를 미리 저장할 수도 있다. 저장부(140)에 저장되는 정보들에 관한 더 자세한 설명은 후술하도록 한다.
전술한 바와 같이, 대화 시스템(100)은 차량 환경에 특화된 대화 처리 기술을 제공한다. 대화 시스템(100)의 구성요소가 전부 차량에 포함될 수도 있고, 일부만 포함될 수도 있다. 대화 시스템(100)은 원격 서버에 마련되고 차량은 대화 시스템(100)과 사용자 사이의 게이트웨이의 역할만 할 수도 있다. 어느 경우이던지, 대화 시스템(100)은 차량 또는 차량과 연결된 모바일 기기를 통해 사용자와 연결될 수 있다.
도 2는 차량 내부의 구성을 나타낸 도면이다.
도 2를 참조하면, 차량(200) 내부의 대시보드(201)의 중앙 영역인 센터페시아(203)에는 오디오 기능, 비디오 기능, 내비게이션 기능 또는 전화 걸기 기능을 포함하는 차량의 제어를 수행하기 위해 필요한 화면을 표시하는 디스플레이(231)와 사용자의 제어 명령을 입력 받기 위한 입력 버튼(221)이 마련될 수 있다.
또한, 운전자의 조작 편의성을 위해 스티어링 휠(207)에도 입력 버튼(223)이 마련될 수 있고, 운전석(254a)과 조수석(254b) 사이의 센터 콘솔 영역(202)에 입력 버튼의 역할을 수행하는 조그 셔틀(225)이 마련될 수도 있다.
디스플레이(231), 입력 버튼(221) 및 각종 기능을 전반적으로 제어하는 프로세서를 포함하는 모듈을AVN(Audio Video Navigation) 단말이라 할 수도 있고, 헤드유닛(Head Unit)이라 할 수도 있다.
디스플레이(231)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등의 다양한 디스플레이 장치 중 하나로 구현될 수 있다.
입력 버튼(221)은 도 2에 도시된 바와 같이 디스플레이(231)와 인접한 영역에 하드 키 타입으로 마련될 수도 있고, 디스플레이(231)가 터치 스크린 타입으로 구현되는 경우에는 디스플레이(231)가 입력 버튼(221)의 기능도 함께 수행할 수 있다.
차량(1)은 사용자의 명령을 음성 입력 장치(210)를 통해 음성으로 입력 받을 수 있다. 음성 입력 장치(210)는 음향을 입력 받아 전기적인 신호로 변환하여 출력하는 마이크로폰을 포함할 수 있다.
효과적인 음성의 입력을 위하여 음성 입력 장치(210)는 도 2에 도시된 바와 같이 헤드라이닝(205)에 마련될 수 있으나, 차량(200)의 실시예가 이에 한정되는 것은 아니며, 대시보드(201) 위에 마련되거나 스티어링 휠(207)에 마련되는 것도 가능하다. 이 외에도 사용자의 음성을 입력 받기에 적합한 위치이면 어디든 제한이 없다.
차량(200) 내부에는 사용자와 대화를 수행하거나, 사용자가 원하는 서비스를 제공하기 위해 필요한 음향을 출력하는 스피커(232)가 마련될 수 있다. 일 예로, 스피커(232)는 운전석 도어(253a) 및 조수석 도어(253b) 내측에 마련될 수 있다.
스피커(232)는 내비게이션 경로 안내를 위한 음성, 오디오/비디오 컨텐츠에 포함되는 음향 또는 음성, 사용자가 원하는 정보나 서비스를 제공하기 위한 음성, 사용자의 발화에 대한 응답으로서 생성된 시스템 발화 등을 출력할 수 있다.
일 실시예에 따른 대화 시스템(100)은 차량 환경에 특화된 대화 처리 기술을 이용하여 사용자의 라이프스타일에 최적화된 서비스를 제공하고, 커넥티드카(Connected Car), 사물인터넷(IoT), 인공지능(AI) 등의 기술을 이용한 새로운 서비스를 구현할 수 있다.
일 실시예에 따른 대화 시스템(100)과 같이 차량 환경에 특화된 대화 처리 기술을 적용할 경우, 운전자의 직접 주행 상황에서, 주요 상황(Context)에 대한 인지 및 대응이 용이하다. 유량 부족, 졸음 운전 등 주행에 영향을 미치는 요소에 가중치를 부여하여 서비스를 제공할 수 있고, 대부분의 경우 목적지로 이동 중인 조건을 기반으로 주행 시간, 목적지 정보 등 서비스 제공을 위해 필요한 정보를 용이하게 획득할 수 있다.
또한, 운전자의 의도를 파악하고, 기능을 제안하는 지능적인 서비스를 용이하게 구현할 수 있다. 이는 운전자의 직접 주행 상황에 있어 실시간 정보와 액션을 우선적으로 고려하기 때문이다. 일 예로, 주행 중에 운전자가 주유소를 검색하면, 이는 지금 주유소에 가겠다는 운전자의 의도로 해석될 수 있다. 그러나, 차량이 아닌 환경에서 주유소를 검색할 경우 지금 주유소를 가겠다는 의도 외에 위치 정보 조회, 전화번호 조회, 가격 조회 등 다른 다양한 의도로도 해석되는 것이 가능하다.
또한, 차량은 한정적인 공간이지만, 그 안에 다양한 상황이 존재할 수 있다. 예를 들어, 렌터카 등 생소한 인터페이스의 운전 상황, 대리 운전을 맡긴 상황, 세차 등 차량 관리 상황, 유아를 탑승시키는 상황, 특정 목적지를 찾아가는 상황 등에서 대화 시스템(100)을 활용할 수 있다.
또한, 차량 점검 단계, 출발 준비 단계, 주행 단계, 주차 단계 등 차량의 주행과 그 전후를 구성하는 각각의 단계에서도 다양한 서비스의 기회와 대화 상황들이 발생한다. 특히, 차량 문제의 대처 방안을 모르는 상황, 차량과 각종 외부 기기 연동 상황, 연비 등 주행 습관 확인 상황, 스마트 크루즈 컨트롤(Smart Cruise Control) 등의 안전 지원 기능 활용 상황, 내비게이션 조작 상황, 졸음 운전 상황, 매일 동일한 경로를 반복해서 주행하는 상황, 주정차가 가능한 곳인지 확인해야 하는 상황 등에서 대화 시스템(100)을 활용할 수 있다.
도 3 내지 도 5는 대화 시스템과 운전자 사이에 주고 받을 수 있는 대화의 예시를 나타낸 도면이다.
도 3을 참조하면, 운전자가 현재 잔유량을 묻거나 주유소 안내를 요청하는 발화를 입력하지 않더라도, 대화 시스템(100)은 스스로 현재 잔유량을 판단하고, 판단된 잔유량이 설정된 기준값 미만인 경우에는 현재 잔유량에 대한 정보를 제공하는 발화(S1: 현재 남은 기름으로 43km 주행 가능합니다)를 먼저 출력할 수 있다.
이에 대한 응답으로, 운전자는 주유소로 경로 안내를 받기 위해 근처 주유소를 묻는 발화 (U1: 근처 주유소 알려줘)를 입력할 수 있고, 대화 시스템(100)은 현재 위치에서 가장 가까운 주유소에 대한 정보를 제공하는 발화(S2: 현재 위치에서 가까운 주유소로 A 오일 성림 주유소, B 오일 장대 주유소, C 오일 태평양 주유소가 있습니다)를 출력할 수 있다.
운전자는 추가적으로 기름 가격에 대한 정보를 요청하기 위한 발화 (U2: 그 중 가장 싼 곳은 어디야?)를 입력할 수 있고, 대화 시스템(100)은 유종 별 가격에 대한 정보 제공하는 발화(S3: 휘발유 가격이 가장 낮은 곳은 B 오일 장대 주유소로 리터당 1,294원이고, 경유 가격이 가장 낮은 곳은 A 오일 성림 주유소로 리터당 985원입니다)를 출력할 수 있다.
운전자는 B 오일 장대 주유소로 안내해 달라는 발화(U3)를 입력할 수 있고, 대화 시스템(100)은 운전자가 선택한 주유소로 안내를 시작한다는 발화 (S4: B 오일 장대 주유소로 안내를 시작합니다)를 출력할 수 있다.
즉, 대화 시스템(100)이 입력 처리기(110)를 통해 수신한 차량의 상태 정보에 기초하여 현재 필요한 서비스가 주유소 안내 서비스임을 판단하고, 이를 제공하기 위한 선발화를 출력할 수 있다. 또한, 운전자는 대화 시스템(100)과의 대화를 통하여 현재 차량의 유종을 가장 싼 가격에 판매하는 근처의 주유소로 경로 안내를 받을 수 있게 된다. 당해 실시예에서는 사용자가 발화하기 전에 대화 시스템(100)이 먼저 출력하는 발화를 선발화라 하기로 한다.
한편, 대화 시스템(100)은 전술한 도 3의 예시에서 주유소를 선택함에 있어, 일부 질의를 생략하고 바로 정보를 제공함으로써 대화의 단계와 시간을 단축하는 것도 가능하다.
예를 들어, 대화 시스템(100)은 현재 차량의 유종이 휘발유이고 운전자의 주유소 선택 기준이 가격이라는 정보를 미리 알 수 있다. 차량의 유종에 대한 정보는 차량으로부터 획득할 수 있고, 운전자의 주유소 선택 기준은 운전자에게 미리 입력 받거나 운전자의 대화 이력 또는 주유소 선택 이력을 학습하여 획득할 수 있다. 이러한 정보는 대화 시스템(100)의 저장부(140)에 미리 저장될 수 있다.
이 경우, 도 4에 도시된 바와 같이, 운전자가 기름 가격에 대한 정보를 요청하기 위한 발화(U2)를 입력하지 않더라도(U3 생략) 대화 시스템(100)이 기름 가격에 대한 정보, 특히 현재 차량의 유종인 휘발유의 가격에 대한 정보를 제공하는 발화(S2+S3=S3')을 선제적으로 출력할 수 있다.
운전자는 기름 가격에 대한 정보를 요청하기 위한 발화(U2)를 생략할 수 있고, 대화 시스템(100)의 응답은 근처 주유소 안내를 위한 발화(S2)와 기름 가격 안내를 위한 발화(S3)가 하나로 합쳐짐으로써 대화 단계와 시간을 단축할 수 있다.
또한, 대화 시스템(100)은 운전자가 현재 잔유량을 물었다는 사실에 기초하여 운전자의 의도가 주유소 검색이라는 점을 스스로 파악할 수도 있다.
이 경우, 도 5에 도시된 바와 같이, 운전자가 근처 주유소를 묻는 발화(U1)를 입력하지 않더라도(U1 생략), 대화 시스템(100)이 기름 가격에 대한 정보를 제공하는 발화(S2+S3=S3")를 선제적으로 출력할 수 있다.
또한, 기름 가격에 대한 정보를 제공하는 발화(S3")에 현재 위치에서 가장 가까우면서 기름 가격이 가장 싼 주유소가 하나인 경우에는 해당 주유소로 안내할 지 여부까지 함께 질의할 수 있다. 따라서, 사용자는 어느 주유소로 안내해달라는 구체적인 발화를 입력하지 않고, 단순히 대화 시스템(100)의 질의에 동의하는 발화(U3': 그래)를 입력함으로써 해당 주유소로의 길 안내를 요청할 수 있다.
이와 같이, 대화 시스템(100)은 미리 획득한 정보를 이용하여 사용자가 발화하지 않은 내용까지 고려함으로써, 사용자의 실제 의도를 파악하고 그에 대응되는 정보를 선제적으로 제공할 수 있다. 이를 통해 사용자가 원하는 서비스를 제공하기까지의 대화 단계와 시간을 단축할 수 있다.
도 6 및 도 7은 대화 시스템과 차량의 구성 요소들 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 6을 참조하면, 대화 시스템(100)에 입력되는 사용자의 음성은 차량(200)에 마련된 음성 입력 장치(210)를 통해 입력될 수 있다. 앞서 도 2에서 설명한 바와 같이, 음성 입력 장치(210)는 차량(200) 내부에 마련된 마이크로폰을 포함할 수 있다.
사용자 입력 중 음성을 제외한 입력은 음성 외 입력 장치(220)를 통해 입력될 수 있다. 음성 외 입력 장치(220)는 사용자의 조작을 통해 명령을 입력 받는 입력 버튼(221, 223)과 조그 셔틀(225)을 포함할 수 있다.
또한, 음성 외 입력 장치(220)는 사용자를 촬영하는 카메라를 포함하는 것도 가능하다. 카메라로 촬영한 영상을 통해, 명령 입력의 일 수단으로 사용되는 사용자의 제스처, 표정 또는 시선 방향을 인식할 수 있다. 또는, 카메라로 촬영한 영상을 통해 사용자의 상태(졸음 상태 등)를 파악하는 것도 가능하다.
차량에 관한 정보는 차량 제어기(240)를 통해 대화 시스템(100)에 입력될 수 있다. 차량에 관한 정보는 차량(200)에 마련된 각종 센서를 통해 획득된 차량 상태 정보 또는 주변 상황 정보를 포함할 수 있고, 차량의 유종과 같이 차량(200)에 기본적으로 저장된 정보도 포함할 수 있다.
대화 시스템(100)은 음성 입력 장치(210)를 통해 입력된 사용자 음성, 음성 외 입력 장치(220)를 통해 입력된 사용자의 음성 외 입력, 차량 제어기(240)를 통해 입력된 각종 정보를 이용하여 사용자의 의도와 상황을 파악하고, 사용자의 의도에 대응되는 액션을 수행하기 위한 응답을 출력한다.
대화자 출력 장치(230)는 대화자에게 시각적, 청각적 또는 촉각적인 출력을 제공하는 장치로서, 차량(200)에 마련된 디스플레이(231) 및 스피커(232)를 포함할 수 있다. 디스플레이(231) 및 스피커(232)는 사용자의 발화에 대한 응답, 사용자에 대한 질의, 또는 사용자가 요청한 정보를 시각적 또는 청각적으로 출력할 수 있다. 또는, 스티어링 휠(207)에 진동기를 장착하여 진동을 출력하는 것도 가능하다.
또한, 차량 제어기(240)는 대화 시스템(100)으로부터 출력되는 응답에 따라, 사용자의 의도나 현재 상황에 대응되는 액션을 수행하기 위해 차량(200)을 제어할 수 있다.
한편, 차량(200)은 차량(200)에 마련된 센서를 통해 획득된 데이터뿐만 아니라, 통신 장치(280)를 통해 외부 컨텐츠 서버(300) 또는 외부 기기로부터 획득된 정보, 예를 들어 교통 상황, 날씨, 온도, 동승자 정보, 운전자 개인 정보 등의 주행 환경 정보와 사용자 정보도 수집하여 대화 시스템(100)에 전달할 수 있다.
도 7에 도시된 바와 같이, 잔유량, 강우량, 강우 속도, 주변 장애물 정보, 속도, 엔진 온도, 타이어 공기압, 현재 위치 등과 같이 차량에 마련된 센서로부터 획득되는 정보는 내부 신호 제어기(241)를 통해 대화 시스템(100)에 입력될 수 있다.
V2X(Vehicle to Everything)를 통해 외부에서 획득된 주행 환경 정보는 외부 신호 제어기(242)를 통해 대화 시스템(100)에 입력될 수 있다.V2X는 차량이 주행하면서 도로 인프라 및 다른 차량과 상호 통신하면서 교통 상황 등 각종 유용한 정보를 교환 및 공유하는 것을 의미한다.
V2X 통신은 차량과 인프라 간(V2I: Vehicle-to-Infrastructure, 이하 V2I) 통신, 차량 간(V2V: Vehicle to-Vehicle) 통신, 차량과 모바일 기기 간(V2N: Vehicle-to-Nomadic devices) 통신을 포함할 수 있다. 따라서, V2X 통신을 이용하면, 차량끼리 직접 통신하거나, 또는 거리에 설치되어 있는 인프라와 통신하여 전방의 교통 정보, 다른 차량의 접근 또는 추돌 가능성 등의 정보를 주고 받아 운전자에게 알려줄 수 있다.
따라서, 외부 신호 제어기(242)를 통해 대화 시스템(100)에 입력되는 주행 환경 정보는 전방의 교통 정보, 주변 차량의 접근 정보, 다른 차량과의 추돌 경고, 실시간 교통 상황, 돌발 상황, 교통흐름 제어 상태 등을 포함할 수 있다.
도면에 도시되어 있지는 않으나, V2X 를 통해 획득하는 신호 역시 통신 장치(280)를 통해 차량(200)에 입력될 수 있다.
차량 제어기(240)는 전술한 동작과 후술하는 동작을 수행하기 위한 프로그램이 저장되는 메모리 및 저장된 프로그램을 실행시키는 프로세서를 포함할 수 있다. 메모리와 프로세서는 각각 적어도 하나 마련될 수 있고, 복수 개 마련되는 경우에는 이들이 하나의 칩 상에 집적될 수도 있고 물리적으로 분리될 수도 있다.
또한, 내부 신호 제어기(241)와 외부 신호 제어기(242)는 동일한 프로세서 및 메모리에 의해 구현될 수도 있고, 별도의 프로세서 및 메모리에 의해 구현될 수도 있다.
도 8 및 도 9는 대화 시스템의 구성 요소와 차량의 구성 요소들 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 8을 참조하면, 음성 입력 장치(210)로부터 전송된 사용자 음성은 입력 처리기(110) 내의 음성 입력 처리기(111)로 입력되고, 음성 외 입력 장치(220)로부터 전송된 사용자의 음성 외 입력은 입력 처리기(110) 내의 상황 정보 처리기(112)로 입력된다.
또한, 내부 신호 제어기(241)를 통해 입력된 정보 및 외부 신호 제어기(242)를 통해 입력된 정보는 입력 처리기(110) 내의 상황 정보 처리기(112)로 입력된다.
상황 정보 처리기(112)에 입력되는 상황 정보는 음성 외 입력 장치(220) 및 차량 제어기(240)로부터 입력된 차량 상태 정보, 주행 환경 정보, 사용자 정보 등을 포함한다. 상황 정보 처리기(112)는 입력된 상황 정보에 기초하여 상황을 이해한다. 대화 시스템(100)은 이러한 상황 이해를 통해 사용자의 의도를 더 정확히 파악하거나 현재 사용자에게 필요한 서비스를 효과적으로 찾을 수 있다.
결과 처리기(130)로부터 출력되는 응답은 대화자 출력 장치(230) 또는 차량 제어기(240)에 입력되어 차량(200)으로 하여금 사용자에게 필요한 서비스를 제공할 수 있게 한다. 또는, 외부 컨텐츠 서버(300)에 전송되어 필요한 서비스를 요청할 수 있다.
차량 제어기(240)로부터 전송되는 차량 상태 정보, 주행 환경 정보, 사용자 정보 등은 저장부(140)에 저장된다.
도 9를 참조하면, 저장부(140)는 장기 메모리(143)와 단기 메모리(144)를 포함할 수 있다. 저장부(140)에 저장되는 데이터는 데이터의 중요성과 영속성 및 설계자의 의도에 따라 단기, 장기 메모리로 구분되어 저장될 수 있다.
단기 메모리(144)는 이전에 수행한 대화를 저장할 수 있다. 이전에 수행한 대화는 현재 시점으로부터 기준 시간 이내에 수행한 대화일 수 있다. 또는, 사용자와 대화 시스템(100) 사이의 발화 내용의 용량이 기준치가 될 때까지 계속 대화가 저장될 수도 있다.
일 예로, 현재 시간이 식사 시간인 경우, 차량(200)은 스피커(232)를 통해 식당으로 안내할지 여부를 묻는 발화를 출력할 수 있다. 식사 시간인지 여부는 현재 시간이 식사 시간으로 미리 설정된 시간 범위에 포함하는지 여부에 기초하여 판단할 수 있다. 사용자가 "강남역 근처 식당 알려줘"라고 발화하거나, 사용자가 "식당 알려줘"라고 발화하고 차량(200)의 현재 위치가 강남역 근처인 경우, 대화 시스템(100)은 외부 컨텐츠 서버(300)를 통해 강남역 근처의 식당을 검색하고, 검색된 강남역 근처의 식당에 관한 정보를 사용자에게 제공한다. 정보 제공의 일 예로, 디스플레이(231)에 식당 목록을 표시할 수 있고, 사용자가 "첫 번째"라고 발화하면, 단기 메모리(144)에 식당에 대한 문의부터 선택까지의 대화 내용이 저장될 수 있다.
또는, 대화 내용 전체가 저장되는 것뿐만 아니라, 대화 내용에 포함된 특정 정보를 저장하는 것도 가능하다. 예를 들어, 단기 메모리(144) 또는 장기 메모리(143)에 식당 목록 중 첫 번째의 식당을 사용자가 선택한 식당으로 저장하는 것도 가능하다.
강남역 근처의 식당에 대한 대화 뒤에 사용자가 대화 시스템(100)에 "날씨는?"이라고 질문하면, 대화 시스템(100)은 단기 메모리(144)에 저장된 대화로부터 사용자의 관심 위치가 강남역인 것을 추정하여 사용자에게 "강남역에는 비가 오고 있습니다."라는 응답을 출력할 수 있다.
이후에, 사용자가 "그 식당 메뉴 좀 추천해줘."라고 발화하면, 대화 시스템(100)은 단기 메모리에 저장된 대화로부터 "그 식당"이 강남역 근처 식당인 것으로 추정하고, 외부 컨텐츠 서버(300)로부터 제공되는 서비스를 통해 해당 식당의 추천 메뉴에 대한 정보를 획득하고, "그 식당은 칼국수가 맛있습니다."와 같은 응답을 출력할 수 있다.
장기 메모리(143)는 데이터의 영속성 유무에 따라 데이터를 저장할 수 있다. 예를 들어, 가족이나 친구의 전화 번호, 집이나 회사와 같은 POI 정보, 특정 인자에 대한 사용자의 선호도 등은 데이터의 영속성이 보장되는 것으로 판단하고, 장기 메모리(143)에 저장할 수 있다. 반면, 데이터의 영속성이 보장되지 않는 것으로 판단되는 데이터는 단기 메모리(144)에 저장될 수 있다.
일 예로, 사용자의 현재 위치는 일시적인 데이터이므로 단기 메모리(144)에 저장될 수 있고, 식당에 대한 사용자의 선호도는 이후에도 사용 가능한 영속적인 데이터로 볼 수 있으므로 장기 메모리(144)에 저장될 수 있다.
사용자가 "근처에 식당 없나?"라고 발화하면, 대화 시스템(100)은 단기 메모리(144)로부터 사용자의 현재 위치를 파악하고 장기 메모리(143)로부터 사용자가 선호하는 식당이 중식당이라는 것을 파악할 수 있다. 따라서, 외부 컨텐츠를 이용하여 현재 위치 주변에서 사용자가 선호하는 중식당 목록을 추천해 줄 수 있다.
또한, 대화 시스템(100)은 장기 메모리(143)와 단기 메모리(144)에 저장된 데이터를 이용하여 사용자에게 선제적으로 서비스나 정보를 제공해줄 수 있다.
예를 들어, 장기 메모리(143)에 사용자의 집에 대한 정보가 저장될 수 있다. 대화 시스템(100)은 외부 컨텐츠 서버(300)로부터 사용자의 집과 관련된 정보를 획득하여, 사용자에게 "이번 주 금요일 아파트 단지 청소로 단수 예정입니다."라는 정보를 제공해줄 수 있다.
또는, 단기 메모리(144)에 차량의 배터리 상태에 대한 정보가 저장될 수 있다. 대화 시스템(100)은 단기 메모리(1440)에 저장된 차량의 배터리 상태를 분석하여 "차량의 배터리 상태가 좋지 않습니다. 겨울이 되기 전에 수리를 받으세요."라는 정보를 제공해 줄 수 있다.
도 10은 대화 시스템이 차량에 마련되는 차량 단독 방식에 대한 제어 블록도이다.
차량 단독 방식에서는 도 10에 도시된 바와 같이, 입력 처리기(110), 대화 관리기(120), 결과 처리기(130) 및 저장부(140)를 포함하는 대화 시스템(100)이 차량(200)에 포함될 수 있다.
대화 시스템(100)이 차량(200)에 포함되면, 차량(200)이 자체적으로 사용자와의 대화를 처리하고 사용자에게 필요한 서비스를 제공해줄 수 있다. 다만, 대화 처리 및 서비스 제공을 위해 필요한 정보는 외부 컨텐츠 서버(300)로부터 가져올 수 있다.
차량 감지부(260)가 감지한 잔유량, 강우량, 강우 속도, 주변 장애물 정보, 타이어 공기압, 현재 위치, 엔진 온도, 차량 속도 등과 같은 차량 상태 정보 또는 주행 환경 정보는 차량 제어기(240)를 통해 대화 시스템(100)에 입력된다.
또한, 차량 제어기(240)는 대화 시스템(100)이 출력한 응답에 따라 차량(200)에 마련된 공조 장치(251), 윈도우(252), 도어(253), 시트(254) 또는 AVN(255) 등을 제어할 수 있다.
예를 들어, 대화 시스템(100)이 사용자의 의도 또는 사용자에게 필요한 서비스가 차량(200) 내부의 온도를 낮추는 것이라고 판단하고, 이에 대응되는 명령어를 생성하여 출력하면, 차량 제어기(240)가 공조 장치(251)를 제어하여 차량(200) 내부의 온도를 낮출 수 있다.
다른 예로, 대화 시스템(100)이 사용자의 의도 또는 사용자에게 필요한 서비스가 운전석 윈도우(252a)를 올리는 것이라고 판단하고, 이에 대응되는 명령어를 생성하여 출력하면, 차량 제어기(240)가 윈도우(252)를 제어하여 운전석 윈도우(252a)를 올릴 수 있다.
또 다른 예로, 대화 시스템(100)이 사용자의 의도에 대응되는 서비스 또는 사용자에게 필요한 서비스가 특정 목적지로의 경로 안내라고 판단하고, 이에 대응되는 명령어를 생성하여 출력하면, 차량 제어기(240)가 AVN(255)을 제어하여 경로 안내를 수행할 수 있다. 필요한 경우, 통신 장치(280)가 외부 컨텐츠 서버(300)로부터 지도 데이터, POI 정보 등을 가져와 서비스 제공에 이용할 수 있다.
도 11 및 도 12는 대화 시스템이 원격 서버에 마련되고 차량이 사용자와 대화 시스템을 연결하는 게이트웨이의 역할만 하는 차량 게이트웨이 방식에 대한 제어 블록도이다.
차량 게이트웨이 방식에서는 도 11에 도시된 바와 같이, 차량(200) 외부에 원격 대화 시스템 서버(1)가 마련되고, 차량(200)에는 원격 대화 시스템 서버(1)와 통신 장치(280)를 통해 연결되는 대화 시스템 클라이언트(270)가 마련된다. 통신 장치(280)가 차량(200)과 원격 대화 시스템 서버(1)를 연결하는 게이트웨이의 역할을 수행한다.
대화 시스템 클라이언트(270)는 입출력 장치와 연결된 인터페이스로써 기능하며, 데이터 수집과 송수신을 수행할 수 있다.
차량(200)에 마련된 음성 입력 장치(210)와 음성 외 입력 장치(220)가 사용자 입력을 수신하고 대화 시스템 클라이언트(270)에 전달하면, 대화 시스템 클라이언트(270)가 통신 장치(280)를 통해 원격 대화 시스템 서버(1)로 입력 데이터를 전송할 수 있다.
차량 제어기(240) 역시 차량 감지부(260)에서 감지한 데이터를 대화 시스템 클라이언트(270)에 전달할 수 있고, 대화 시스템 클라이언트(270)가 통신 장치(280)를 통해 원격 대화 시스템 서버(1)로 차량 감지부(260)에서 감지한 데이터를 전송할 수 있다.
원격 대화 시스템 서버(1)에는 전술한 대화 시스템(100)이 마련되어 입력 데이터의 처리, 입력 데이터의 처리 결과를 바탕으로 한 대화 처리 및 대화 처리 결과에 기초한 결과 처리를 모두 수행할 수 있다.
또한, 원격 대화 시스템 서버(1)는 입력 데이터의 처리, 대화 관리 또는 결과 처리에 있어 필요한 정보나 컨텐츠를 외부 컨텐츠 서버(300)로부터 가져올 수 있다.
차량(200) 역시 원격 대화 시스템 서버(1)로부터 전송되는 응답에 따라 사용자에게 필요한 서비스를 제공하기 위해 필요한 컨텐츠를 외부 컨텐츠 서버(300)로부터 가져올 수 있다.
도 12를 참조하면, 통신 장치(280)는 외부 장치와 통신을 가능하게 하는 하나 이상의 통신 모듈을 포함할 수 있으며, 예를 들어 근거리 통신 모듈(281), 유선 통신 모듈(282) 및 무선 통신 모듈(283)를 포함할 수 있다.
근거리 통신 모듈(281)은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 모듈(282)은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈 중 적어도 하나를 포함할 수 있다.
무선 통신 모듈(283)은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(Global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(Universal Mobile Telecommunications System), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G 등 무선 통신 방식으로 인터넷망과 연결될 수 있는 다양한 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
한편, 통신 장치(280)는 차량(200) 내부의 전자 장치들 사이의 통신을 위한 내부 통신 모듈(미도시)을 더 포함할 수도 있다. 차량(200)의 내부 통신 프로토콜로는 CAN(Controller Area Network), LIN(Local Interconnection Network), 플렉스레이(FlexRay), 이더넷(Ethernet) 등을 사용할 수 있다.
대화 시스템(100)은 무선 통신 모듈(283)을 이용하여 외부 컨텐츠 서버(300) 또는 원격 대화 시스템 서버(1)와 데이터를 주고 받을 수 있다. 또한, 무선 통신 모듈(283)을 이용하여V2X 통신을 수행할 수 있다. 또한, 근거리 통신 모듈(281) 또는 유선 통신 모듈(282)을 이용하여 차량(200)에 연결되는 모바일 기기와 데이터를 주고 받을 수 있다.
도 13은 차량 게이트웨이 방식에서 차량이 입력 처리와 출력 처리를 일부 수행할 수 있는 경우에 대한 제어 블록도이다.
전술한 바와 같이, 차량(200)의 대화 시스템 클라이언트(270)가 데이터의 수집 및 송수신의 기능만 수행하는 것도 가능하나, 도 13에 도시된 바와 같이, 대화 시스템 클라이언트(270)에 입력 처리기(271), 결과 처리기(273) 및 저장부(274)가 포함되어, 사용자나 차량으로부터 입력되는 데이터의 처리나 사용자에게 필요한 것으로 판단된 서비스 제공과 관련된 처리를 차량(200)에서도 수행하는 것이 가능하다. 즉, 입력 처리기(110)와 결과 처리기(130)의 동작을 원격 대화 시스템 서버(1)뿐만 아니라 차량(200)에서도 수행할 수 있다.
이 경우, 전술한 입력 처리기(110)의 동작을 대화 시스템 클라이언트(270)가 일부만 수행하는 것도 가능하고 전부 수행하는 것도 가능하다. 또한, 전술한 결과 처리기(130)의 동작을 대화 시스템 클라이언트(270)가 일부만 수행하는 것도 가능하고 전부 수행하는 것도 가능하다.
처리해야 할 데이터의 용량 및 데이터 처리 속도 등을 고려하여 원격 대화 시스템 서버(1)와 대화 시스템 클라이언트(270) 사이의 태스크 분담을 결정할 수 있다.
도 14는 원격 대화 시스템 서버와 차량이 모두 대화 처리를 수행할 수 있는 하이브리드 방식에 대한 제어 블록도이다.
하이브리드 방식에서는 도 14에 도시된 바와 같이, 원격 대화 시스템 서버(1)에도 입력 처리기(110), 대화 관리기(120), 결과 처리기(130) 및 저장부(140)가 마련되어 대화 처리를 수행할 수 있고, 차량(200)에도 입력 처리기(291), 대화 관리기(292), 결과 처리기(293) 및 저장부(294)를 포함하는 단말 대화 시스템(290)이 마련되어 대화 처리를 수행할 수 있다.
다만, 차량(200)에 마련된 프로세서나 메모리는 원격 대화 시스템 서버(1)에 마련된 프로세서나 메모리와 용량이나 성능 측면에서 차이가 있을 수 있다. 따라서, 단말 대화 시스템(290)에서 모든 입력 데이터를 처리하고 대화를 관리하여 결과를 출력할 수 있는 경우에는 단말 대화 시스템(290)에서 전 과정을 수행하고, 그렇지 않은 경우에는 원격 대화 시스템 서버(1)에 처리를 요청할 수 있다.
단말 대화 시스템(290)에서 대화 처리를 수행하기 전에, 입력 데이터의 종류에 기초하여 단말 대화 시스템(290)의 처리 가부를 판단하고, 판단 결과에 따라 직접 처리하거나 원격 대화 시스템 서버(1)에 처리를 요청할 수 있다.
또는, 단말 대화 시스템(290)이 대화 처리를 수행하다가 처리가 불가능한 상황이 발생하였을 때, 원격 대화 시스템 서버(1)에 처리를 요청하면서 자신이 처리한 결과를 함께 전송하는 것도 가능하다.
예를 들어, 고성능의 컴퓨팅 파워, 장기간 데이터의 처리가 필요한 경우는 원격 대화 시스템 서버(1)에서 처리하고, 실시간으로 처리해야 하는 것은 단말 대화 시스템(290)에서 처리할 수 있다. 예를 들어, 즉시 처리가 필요한 인스턴스가 발생하여 동기화 이전 데이터를 처리해야 하는 경우에는 단말 대화 시스템(290)에서 우선적으로 처리되도록 설정할 수 있다.
또한, 차량 내 미등록 발화자가 있어 사용자 확인이 필요한 경우에는 원격 대화 시스템 서버(1)에서 대화를 처리하도록 할 수 있다.
또한, 통신 장치(280)를 통해 원격 대화 시스템 서버(1)와 연결이 불가능한 상황에서 단말 대화 시스템(290)이 자체적으로 대화 처리를 완료할 수 없는 경우에는, 대화자 출력 장치(230)를 통해 사용자에게 대화 처리가 수행될 수 없음을 안내할 수 있다.
단말 대화 시스템(290)에 저장되는 데이터와 원격 대화 시스템 서버(1)에 저장되는 데이터는 데이터의 용량이나 데이터의 종류와 같은 기준에 따라 결정될 수 있다. 예를 들어, 개인 식별이 가능하여 프라이버시 침해 우려가 있는 데이터의 경우에는 단말 대화 시스템(290)의 저장부(294)에 저장할 수 있다. 또한, 대용량의 데이터는 원격 대화 시스템 서버(1)의 저장부(140)에 저장하고, 소용량의 데이터는 단말 대화 시스템(290)의 저장부(294)에 저장할 수 있다. 또는, 소용량의 데이터가 원격 대화 시스템 서버(1)의 저장부(140)와 단말 대화 시스템(290)의 저장부(294) 양쪽에 모두 저장되는 것도 가능하다.
도 15및 도 16은 차량에 연결된 모바일 기기가 사용자와 원격 대화 시스템 서버를 연결하는 모바일 게이트웨이 방식에 대한 제어 블록도이다.
모바일 게이트웨이 방식에서는 도 15에 도시된 바와 같이, 모바일 기기(400)가 차량(200)으로부터 차량 상태 정보, 주행 환경 정보 등을 수신하고, 사용자 입력과 차량 상태 정보를 원격 대화 시스템 서버(1)로 전송한다. 즉, 모바일 기기(400)가 사용자와 원격 대화 시스템 서버(1) 또는 차량(200)와 원격 대화 시스템 서버(1)를 연결하는 게이트웨이의 역할을 수행한다.
모바일 기기(400)는 스마트 폰, 스마트 워치, 스마트 글래스, PDA, 태플릿 PC 등과 같이 휴대가 가능하며 외부 서버 및 차량과 통신하여 데이터를 주고 받을 수 있는 전자 기기일 수 있다.
모바일 기기(400)는 사용자 음성을 입력 받는 음성 입력 장치(410), 사용자의 음성 외 입력을 수신하는 음성 외 입력 장치(420), 시각적, 청각적 또는 촉각적으로 응답을 출력하는 출력 장치(430), 원격 대화 시스템 서버(1) 및 차량(200)과 통신하여 데이터를 송수신하는 통신 장치(480) 및 차량(200)과 사용자로부터 입력 데이터를 수집하여 통신 장치(480)를 통해 원격 대화 시스템 서버(1)로 전송하는 대화 시스템 클라이언트(470)를 포함한다.
음성 입력 장치(410)는 음향을 입력 받아 전기적인 신호로 변환하여 출력하는 마이크로폰을 포함할 수 있다.
음성 외 입력 장치(420)는 모바일 기기(400)에 마련된 입력 버튼, 터치 스크린 또는 카메라를 포함할 수 있다.
출력 장치(430)는 모바일 기기(400)에 마련된 디스플레이, 스피커 또는 진동기를 포함할 수 있다.
사용자에 대한 입출력 인터페이스로 모바일 기기(400)에 마련된 음성 입력 장치(410), 음성 외 입력 장치(420) 및 출력 장치(430)를 이용하는 것뿐만 아니라, 차량(200)에 마련된 음성 입력 장치(210), 음성 외 입력 장치(220) 및 대화자 출력 장치(230)를 이용하는 것도 가능하다.
차량(200)이 차량 감지부(260)가 감지한 데이터와 사용자 입력을 모바일 기기(400)에 전달하면, 모바일 기기(400)의 대화 시스템 클라이언트(470)가 이를 원격 대화 시스템 서버(1)로 전송한다.
또한, 대화 시스템 클라이언트(470)는 원격 대화 시스템 서버(1)로부터 전송되는 응답이나 명령어를 차량(200)에 전달할 수 있다. 사용자에 대한 입출력 인터페이스로 차량(200)에 마련된 대화자 출력 장치(230)를 이용하는 경우에는, 대화자 출력 장치(230)를 통해 대화 시스템(100)의 발화를 출력하거나, 사용자의 발화에 대한 응답을 출력할 수 있다. 모바일 기기(400)에 마련된 출력 장치(430)를 이용하는 경우에는, 모바일 기기(400)의 출력 장치(430)를 통해 대화 시스템(100)의 발화를 출력하거나, 사용자의 발화에 대한 응답을 출력할 수 있다.
차량 제어를 위한 명령어는 차량(200)에 전달되고, 차량 제어기(240)는 전달된 명령어에 대응되는 제어를 수행하여 사용자에게 필요한 서비스를 제공할 수 있다.
한편, 대화 시스템 클라이언트(470)는 입력 데이터를 수집하여 원격 대화 시스템 서버(1)로 전달하는 것뿐만 아니라, 대화 시스템(100)의 입력 처리기(110) 및 결과 처리기(130)의 기능을 일부 또는 전부 수행하는 것도 가능하다.
도 16을 참조하면, 모바일 기기(400)의 통신 장치(480)는 외부 장치와 통신을 가능하게 하는 하나 이상의 통신 모듈을 포함할 수 있으며, 예를 들어 근거리 통신 모듈(481), 유선 통신 모듈(482) 및 무선 통신 모듈(483)를 포함할 수 있다.
근거리 통신 모듈(481)은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 모듈(482)은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈 중 적어도 하나를 포함할 수 있다.
무선 통신 모듈(483)은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(Global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(Universal Mobile Telecommunications System), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G 등 무선 통신 방식으로 인터넷망과 연결될 수 있는 다양한 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
예를 들어, 모바일 기기(400)는 근거리 통신 모듈(481) 또는 유선 통신 모듈(482)을 통해 차량(200)과 연결될 수 있고, 무선 통신 모듈(483)을 통해 원격 대화 시스템 서버(1) 또는 외부 컨텐츠 서버(300)와 연결될 수 있다.
도 17은 모바일 기기에 대화 시스템이 탑재되는 모바일 단독 방식에 대한 제어 블록도이다.
모바일 단독 방식에서는, 도 17에 도시된 바와 같이, 대화 시스템(100)이 모바일 기기(400)에 마련된다.
따라서, 대화 처리를 수행하기 위해 원격 대화 시스템 서버(1)와 연결될 필요가 없고, 모바일 기기(400)가 자체적으로 사용자와의 대화를 처리하고 사용자에게 필요한 서비스를 제공해줄 수 있다. 다만, 대화 처리 및 서비스 제공을 위해 필요한 정보 중 일부는 외부 컨텐츠 서버(300)로부터 가져올 수 있다.
또한, 전술한 방식 중 어느 방식에서든, 대화 시스템(100)을 구성하는 구성요소들이 물리적으로 분리되어 마련되는 것도 가능하고, 구성요소 중 일부가 생략되는 것도 가능하다. 예를 들어, 대화 시스템(100)이 원격 대화 시스템 서버(1)에 마련되는 경우에도, 대화 시스템(100)을 구성하는 구성요소들 중 일부가 별도의 서버나 차량에 마련될 수 있다. 이 때, 별도의 서버는 운영 또는 관리 주체가 원격 대화 시스템 서버(1)와 동일할 수도 있고, 다를 수도 있다. 예를 들어, 후술하는 음성 인식기 또는 자연어 이해기는 별도의 서버에 마련될 수 있고, 대화 시스템(100)은 별도의 서버로부터 사용자 발화에 대한 음성 인식 결과 또는 자연어 이해 결과를 제공받을 수 있다. 또는, 저장부(140)가 별도의 서버에 마련되는 것도 가능하다.
이하, 대화 시스템(100)의 세부적인 구성 및 각 구성요소 별 구체적인 동작을 상세하게 설명한다. 후술하는 실시예에서는 설명의 편의를 위해, 대화 시스템(100)이 차량(200)에 마련된 경우를 가정하여 설명한다. 후술하는 대화 시스템(100)의 세부적인 구성들은 수행하는 동작에 따라 구분한 것으로서, 이들이 동일한 프로세서와 메모리에 의해 구현되는지 여부, 프로세서와 메모리의 물리적인 위치 등에 대해서는 제한을 두지 않는다.
도 18, 도 19A 및 도 19B는 대화 시스템의 구성 중 입력 처리기의 구성이 세분화된 제어 블록도이다.
도 18을 참조하면, 입력 처리기(110)는 음성 입력을 처리하는 음성 입력 처리기(111) 및 상황 정보를 처리하는 상황 정보 처리기(112)를 포함할 수 있다.
음성 입력 장치(210)를 통해 입력된 사용자 음성은 음성 입력 처리기(111)로 전송되고, 음성 외 입력 장치(220)를 통해 입력된 음성 외 사용자 입력은 상황 정보 처리기(112)로 전송된다.
차량 제어기(240)는 차량 상태 정보, 주행 환경 정보 및 사용자 정보를 상황 정보 처리기(112)로 전송한다. 주행 환경 정보 및 사용자 정보는 외부 컨텐츠 서버(300) 또는 차량(200)에 연결된 모바일 기기(400)로부터 제공될 수도 있다.
음성 외 입력은 모두 상황 정보에 포함될 수 있다. 즉, 상황 정보는 차량 상태 정보, 주행 환경 정보, 사용자 정보를 포함할 수 있다.
차량 상태 정보는 차량(200)에 마련된 센서에 의해 획득된 정보로서 차량의 상태를 나타내는 정보를 포함할 수도 있고, 차량의 유종과 같이 차량에 관련된 정보로서 차량에 저장되어 있는 정보 등을 포함할 수도 있다.
주행 환경 정보는 차량(200)에 마련된 센서에 의해 획득된 정보로서 전방 카메라, 후방 카메라 또는 스테레오 카메라가 획득한 영상 정보, 레이더(radar), 라이다(Lidar), 초음파 센서 등의 센서가 획득한 장애물 정보, 강우 센서가 획득한 강우량/강우속도 정보 등을 포함할 수 있다.
또한, 주행 환경 정보는 V2X를 통해 획득된 정보로서 교통 상황 정보, 신호등 정보, 주변 차량의 접근 또는 추돌 가능성 정보 등을 더 포함할 수 있다.
사용자 정보는 차량에 마련된 카메라 또는 생체 신호 측정 장치를 통해 측정한 사용자의 상태와 관련된 정보, 사용자가 차량에 마련된 입력 장치를 이용하여 직접 입력한 사용자와 관련된 정보, 외부 컨텐츠 서버(300)에 저장된 사용자와 관련된 정보, 차량에 연결된 모바일 기기(400)에 저장된 정보 등을 포함할 수 있다.
음성 입력 처리기(111)는 입력된 사용자 음성을 인식하여 텍스트 형태의 발화문으로 출력하는 음성 인식기(111a), 발화문에 대해 자연어 이해 기술(Natural Language Understanding)을 적용하여 발화문이 내포하는 사용자의 의도를 파악하는 자연어 이해기(111b) 및 자연어 이해 결과와 상황 정보를 대화 관리기(120)로 전달하는 대화 입력 관리기(111c)를 포함할 수 있다.
음성 인식기(111a)는 음성 인식 엔진(speech recognition engine)을 포함하고, 음성 인식 엔진은 입력된 음성에 음성 인식 알고리즘을 적용하여 사용자가 발화한 음성을 인식하고, 인식 결과를 생성할 수 있다.
이 때, 입력된 음성은 음성 인식을 위한 더 유용한 형태로 변환될 수 있는바, 음성 신호로부터 시작 지점과 끝 지점을 검출하여 입력된 음성에 포함된 실제 음성 구간을 검출한다. 이를 EPD(End Point Detection)이라 한다.
그리고, 검출된 구간 내에서 켑스트럼(Cepstrum), 선형 예측 코딩(Linear Predictive Coefficient: LPC), 멜프리퀀시켑스트럼(Mel Frequency Cepstral Coefficient: MFCC) 또는 필터 뱅크 에너지(Filter Bank Energy) 등의 특징 벡터 추출 기술을 적용하여 입력된 음성의 특징 벡터를 추출할 수 있다.
그리고, 추출된 특징 벡터와 훈련된 기준 패턴과의 비교를 통하여 인식 결과를 얻을 수 있다. 이를 위해, 음성의 신호적인 특성을 모델링하여 비교하는 음향 모델(Acoustic Model) 과 인식 어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어 모델(Language Model)이 사용될 수 있다. 이를 위해, 저장부(140)에는 음향 모델/언어 모델DB가 저장될 수 있다.
음향 모델은 다시 인식 대상을 특징 벡터 모델로 설정하고 이를 음성 데이터의 특징 벡터와 비교하는 직접 비교 방법과 인식 대상의 특징 벡터를 통계적으로 처리하여 이용하는 통계 방법을 나뉠 수 있다.
직접 비교 방법은 인식 대상이 되는 단어, 음소 등의 단위를 특징 벡터 모델로 설정하고 입력 음성이 이와 얼마나 유사한지를 비교하는 방법으로서, 대표적으로 벡터 양자화(Vector Quantization) 방법이 있다. 벡터 양자화 방법에 의하면 입력된 음성 데이터의 특징 벡터를 기준 모델인 코드북(codebook)과 매핑시켜 대표 값으로 부호화함으로써 이 부호 값들을 서로 비교하는 방법이다.
통계적 모델 방법은 인식 대상에 대한 단위를 상태 열(State Sequence)로 구성하고 상태 열 간의 관계를 이용하는 방법이다. 상태 열은 복수의 노드(node)로 구성될 수 있다. 상태 열 간의 관계를 이용하는 방법은 다시 동적 시간 와핑(Dynamic Time Warping: DTW), 히든 마르코프 모델(Hidden Markov Model: HMM), 신경 회로망을 이용한 방식 등이 있다.
동적 시간 와핑은 같은 사람이 같은 발음을 해도 신호의 길이가 시간에 따라 달라지는 음성의 동적 특성을 고려하여 기준 모델과 비교할 때 시간 축에서의 차이를 보상하는 방법이고, 히든 마르코프 모델은 음성을 상태 천이 확률 및 각 상태에서의 노드(출력 심볼)의 관찰 확률을 갖는 마르코프 프로세스로 가정한 후에 학습 데이터를 통해 상태 천이 확률 및 노드의 관찰 확률을 추정하고, 추정된 모델에서 입력된 음성이 발생할 확률을 계산하는 인식 기술이다.
한편, 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어 모델은 언어를 구성하는 단위들 간의 순서 관계를 음성 인식에서 얻어진 단위들에 적용함으로써 음향적인 모호성을 줄이고 인식의 오류를 줄일 수 있다. 언어 모델에는 통계적 언어 모델과 유한 상태 네트워크(Finite State Automata: FSA)에 기반한 모델이 있고, 통계적 언어 모델에는 Unigram, Bigram, Trigram 등 단어의 연쇄 확률이 이용된다.
음성 인식기(111a)는 음성을 인식함에 있어 상술한 방식 중 어느 방식을 사용해도 무방하다. 예를 들어, 히든 마르코프 모델이 적용된 음향 모델을 사용할 수도 있고, 음향 모델과 음성 모델을 통합한 N-best 탐색법을 사용할 수 있다. N-best 탐색법은 음향 모델과 언어 모델을 이용하여 N개까지의 인식 결과 후보를 선택한 후, 이들 후보의 순위를 재평가함으로써 인식 성능을 향상시킬 수 있다.
음성 인식기(111a)는 인식 결과의 신뢰성을 확보하기 위해 신뢰값(confidence value)을 계산할 수 있다. 신뢰값은 음성 인식 결과에 대해서 그 결과를 얼마나 믿을 만한 것인가를 나타내는 척도이다. 일 예로, 인식된 결과인 음소나 단어에 대해서, 그 외의 다른 음소나 단어로부터 그 말이 발화되었을 확률에 대한 상대값으로 정의할 수 있다. 따라서, 신뢰값은 0 에서 1 사이의 값으로 표현할 수도 있고, 0 에서 100 사이의 값으로 표현할 수도 있다.
신뢰값이 미리 설정된 임계값(threshold)을 초과하는 경우에는 인식 결과를 출력하여 인식 결과에 대응되는 동작이 수행되도록 할 수 있고, 신뢰값이 임계값 이하인 경우에는 인식 결과를 거절(rejection)할 수 있다.
음성 인식기(111a)의 인식 결과인 텍스트 형태의 발화문은 자연어 이해기(111b)로 입력된다.
자연어 이해기(111b)는 자연어 이해 기술을 적용하여 발화문에 내포된 사용자의 의도를 파악할 수 있다. 따라서, 사용자는 자연스러운 대화(Dialogue)를 통해 명령을 입력할 수 있고, 대화 시스템(100) 역시 대화를 통해 명령의 입력을 유도하거나 사용자가 필요로 하는 서비스를 제공할 수 있다.
먼저, 자연어 이해기(111b)는 텍스트 형태의 발화문에 대해 형태소 분석을 수행한다. 형태소는 의미의 최소 단위로써, 더 이상 세분화할 수 없는 가장 작은 의미 요소를 나타낸다. 따라서, 형태소 분석은 자연어 이해의 첫 단계로서, 입력 문자열을 형태소열로 바꿔준다.
자연어 이해기(111b)는 형태소 분석 결과에 기초하여 발화문으로부터 도메인을 추출한다. 도메인은 사용자가 발화한 언어의 주제를 식별할 수 있는 것으로서, 예를 들어, 경로 안내, 날씨 검색, 교통 검색, 일정 관리, 주유 안내, 공조 제어 등의 다양한 주제를 나타내는 도메인이 데이터베이스화 되어 있다.
자연어 이해기(111b)는 발화문으로부터 개체명을 인식할 수 있다. 개체명은 인명, 지명, 조직명, 시간, 날짜, 화폐 등의 고유 명사로서, 개체명 인식은 문장에서 개체명을 식별하고 식별된 개체명의 종류를 결정하는 작업이다. 개체명 인식을 통해 문장에서 중요한 키워드를 추출하여 문장의 의미를 파악할 수 있다.
자연어 이해기(111b)는 발화문이 갖는 화행을 분석할 수 있다. 화행 분석은 사용자 발화에 대한 의도를 분석하는 작업으로, 사용자가 질문을 하는 것인지, 요청을 하는 것인지, 응답을 하는 것인지, 단순한 감정 표현을 하는 것인지 등에 관한 발화의 의도를 파악하는 것이다.
자연어 이해기(111b)는 사용자의 발화 의도에 대응하는 액션을 추출한다. 발화문에 대응되는 도메인, 개체명, 화행 등의 정보에 기초하여 사용자의 발화 의도를 파악하고, 발화 의도에 대응되는 액션을 추출할 수 있다. 액션은 오브젝트(Object)와 오퍼레이터(Operator)에 의해 정의될 수 있다.
또한, 자연어 이해기(111b)는 액션 수행과 관련된 인자를 추출하는 것도 가능하다. 액션 수행과 관련된 인자는 액션을 수행하는데 직접적으로 필요한 유효 인자일 수도 있고, 이러한 유효 인자를 추출하기 위해 사용되는 비유효 인자일 수도 있다.
예를 들어, 사용자의 발화문이 "서울역 가자"인 경우에, 자연어 이해기(111b)는 발화문에 대응되는 도메인으로 "내비게이션"을 추출하고, 액션으로 "길안내"를 추출할 수 있다. 화행은 "요청"에 해당한다.
개체명인 "서울역"은 액션 수행과 관련된 [인자: 목적지]에 해당하나, 실제 내비게이션을 통한 길안내를 위해서는 구체적인 출구 번호나 GPS 정보가 필요할 수 있다. 이 경우, 자연어 이해기(111b)가 추출한[인자: 목적지: 서울역]은 다수의 서울역 POI 중 실제 사용자가 원하는 서울역을 검색하기 위한 후보 인자가 될 수 있다.
또한, 자연어 이해기(111b)는 파스트리(Parse-tree)와 같이 단어와 단어, 문장과 문장의 수식 관계를 표현할 수 있는 수단도 추출할 수 있다.
자연어 이해기(111b)의 처리 결과인, 형태소 분석 결과, 도메인 정보, 액션 정보, 화행 정보, 추출된 인자 정보, 개체명 정보, 파스트리 등은 대화 입력 관리기(111c)로 전달된다.
상황 정보 처리기(112)는 음성 외 입력 장치(220)와 차량 제어기(240)로부터 정보를 수집하는 상황 정보 수집기(112a), 상황 정보의 수집을 관리하는 상황 정보 수집 관리기(112b) 및 자연어 이해 결과와 수집된 상황 정보에 기초하여 상황을 이해하는 상황 이해기(112c)를 포함할 수 있다.
입력 처리기(110)는 전술 또는 후술하는 동작을 수행하기 위한 프로그램이 저장되는 메모리 및 저장된 프로그램을 실행시키는 프로세서를 포함할 수 있다. 메모리와 프로세서는 각각 적어도 하나 마련될 수 있고, 복수 개 마련되는 경우에는 이들이 하나의 칩 상에 집적될 수도 있고 물리적으로 분리될 수도 있다.
또한, 입력 처리기(110)에 포함되는 음성 입력 처리기(111)와 상황 정보 처리기(112)는 동일한 프로세서 및 메모리에 의해 구현되는 것도 가능하고, 별개의 프로세서 및 메모리에 의해 구현되는 것도 가능하다.
이하, 도 19A 및 도 19B를 참조하여 입력 처리기(110)의 구성요소들이 저장부(140)에 저장된 정보를 이용하여 어떻게 입력 데이터를 처리하는지 구체적으로 설명한다.
도 19A를 참조하면, 자연어 이해기(111b)는 도메인 추출, 개체명 인식, 화행 분석 및 액션 추출을 위해 도메인/액션 추론 규칙 DB(141)를 이용할 수 있다.
도메인/액션 추론 규칙 DB(141)에는 도메인 추출 규칙, 화행 분석 규칙, 개체명 변환 규칙, 액션 추출 규칙 등이 저장될 수 있다.
음성 외 사용자 입력, 차량 상태 정보, 주행 환경 정보, 사용자 정보와 같은 기타 정보는 상황 정보 수집기(112a)로 입력되고, 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)에 저장될 수 있다.
예를 들어, 상황 정보 DB(142)에는 차량 감지부(260)가 감지한 로우 데이터(raw data)가 센서 타입과 센서 값으로 구분되어 저장될 수 있다.
단기 메모리(144)와 장기 메모리(143)에는 사용자의 현재 상태, 사용자의 선호도/성향 또는 이를 판단할 수 있는 데이터와 같이 사용자에게 의미가 있는 데이터가 저장될 수 있다.
전술한 바와 같이, 장기 메모리(143)에는 사용자의 전화번호부, 일정, 선호도, 학력, 성격, 직업, 가족 관련 정보 등과 같이 영속성이 보장되어 장기적으로 사용 가능한 정보가 저장될 수 있다.
단기 메모리(144)에는 현재/이전 위치, 오늘 일정, 이전 대화 내용, 대화 참여자, 주변 상황, 도메인, 운전자 상태 등과 같이 영속성이 보장되지 않거나 불확실하여 단기적으로 사용되는 정보가 저장될 수 있다. 데이터의 종류에 따라 상황 정보 DB(142), 단기 메모리(144) 및 장기 메모리(143) 중 두 개 이상의 저장소에 중복되어 저장되는 데이터도 있을 수 있다.
또한, 단기 메모리(144)에 저장된 정보 중 영속성이 보장되는 것으로 판단된 정보는 장기 메모리(143)로 보내질 수 있다.
또한, 단기 메모리(144)나 상황 정보 DB(142)에 저장된 정보를 이용하여 장기 메모리(143)에 저장될 정보를 획득하는 것도 가능하다. 예를 들어, 일정 기간 축적된 목적지 정보 또는 대화 내용을 분석하여 사용자의 선호도를 획득하고, 획득된 사용자의 선호도를 장기 메모리(143)에 저장할 수 있다.
단기 메모리(144)나 상황 정보 DB(142)에 저장된 정보를 이용하여 장기 메모리(143)에 저장될 정보를 획득하는 것은 대화 시스템(100) 내부에서 수행되는 것도 가능하고, 별도의 외부 시스템에서 수행되는 것도 가능하다.
전자의 경우, 후술하는 결과 처리기(130)의 메모리 관리기(135)에서 수행 가능하다. 이 경우, 단기 메모리(144)나 상황 정보 DB(142)에 저장된 데이터 중에서 사용자의 선호도나 성향과 같이 의미 있는 정보 또는 영속성 있는 정보를 획득하는데 사용되는 데이터는 장기 메모리(143)에 로그 파일 형태로 저장될 수 있다.
메모리 관리기(135)는 일정 기간 이상 축적된 데이터를 분석하여 영속성이 있는 데이터를 획득하고 장기 메모리(143)에 다시 저장한다. 장기 메모리(143) 내에서 영속성 있는 데이터가 저장되는 위치와 로그 파일 형태로 저장되는 데이터가 저장되는 위치를 서로 다를 수 있다.
또는, 메모리 관리기(135)가 단기 메모리(144)에 저장된 데이터 중에서 영속성 있는 데이터를 판단하고, 판단된 데이터를 장기 메모리(143)로 옮겨 저장하는 것도 가능하다.
별도의 외부 시스템에서 수행하는 경우에는, 도 19B에 도시된 바와 같이 통신부(810), 저장부(820) 및 제어부(830)를 포함하는 데이터 관리 시스템(800)이 사용될 수 있다.
통신부(810)가 상황 정보 DB(142) 또는 단기 메모리(144)에 저장된 데이터를 수신한다. 저장된 데이터 전부가 통신부(810)에 전송될 수도 있고, 사용자의 선호도나 성향과 같이 의미 있는 정보 또는 영속성 있는 정보를 획득하는데 사용되는 데이터만 선별되어 전송될 수도 있다. 수신된 데이터는 저장부(820)에 저장된다.
제어부(830)는 축적된 데이터를 분석하여 영속성이 있는 데이터를 획득하고, 획득된 데이터는 다시 통신부(810)를 통해 대화 시스템(100)으로 전송한다. 전송된 데이터는 대화 시스템(100)의 장기 메모리(143)에 저장된다.
또한, 대화 입력 관리기(111c)가 자연어 이해기(111b)의 출력 결과를 상황 이해기(112c)에 전달하여 액션 수행과 관련된 상황 정보를 얻을 수도 있다.
상황 이해기(112c)는 상황 이해 테이블(145)에 저장된 액션 별 상황 정보를 참조하여, 사용자의 발화 의도에 대응되는 액션 수행과 관련된 상황 정보가 무엇인지 판단할 수 있다.
도 20a 및 도 20b는 상황 이해 테이블에 저장되는 정보의 예시를 나타낸 도면이다.
도 20A 의 예시를 참조하면, 상황 이해 테이블(145)에는 액션 수행과 관련된 상황 정보와 상황 정보 타입이 각각의 액션 별로 저장될 수 있다.
예를 들어, 길 안내가 액션인 경우에는 상황 정보로 현재 위치가 필요하고, 상황 정보 타입은 GPS 정보일 수 있다. 차량 상태 점검이 액션인 경우에는 상황 정보로 이동거리가 필요하고, 상황 정보 타입은 정수일 수 있다. 주유소 추천이 액션인 경우에는 상황 정보로 잔유량과 주행 가능 거리(DTE: Distance To Empty)이 필요하고, 상황 정보 타입은 정수일 수 있다.
사용자 발화 의도에 대응되는 액션 수행과 관련된 상황 정보가 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)에 이미 저장되어 있는 경우, 상황 이해기(112c)는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 해당 정보를 가져와 대화 입력 관리기(111c)에 전달한다.
사용자 발화 의도에 대응되는 액션 수행과 관련된 상황 정보가 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)에 저장되어 있지 않은 경우, 상황 이해기(112c)는 상황 정보 수집 관리기(112b)에 필요한 정보를 요청한다. 상황 정보 수집 관리기(112b)는 상황 정보 수집기(112a)가 필요한 정보를 수집하도록 한다.
상황 정보 수집기(112a)는 주기적으로 데이터를 수집할 수도 있고, 특정 이벤트 발생 시에 수집할 수도 있으며, 주기적으로 수집하다가 특정 이벤트 발생 시에 추가적으로 더 수집할 수도 있다. 또한, 상황 정보 수집 관리기(112b)로부터 데이터 수집 요청이 입력되는 경우에 데이터를 수집할 수도 있다.
상황 정보 수집기(112a)는 필요한 정보를 수집하여 상황 정보 DB(142) 또는 단기 메모리(144)에 저장하고, 상황 정보 수집 관리기(112b)에 확인 신호를 전송한다.
상황 정보 수집 관리기(112b)도 상황 이해기(112c)에 확인 신호를 전송하고, 상황 이해기(112c)는 필요한 정보를 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 가져와 대화 입력 관리기(111c)로 전달한다.
구체적인 예로, 사용자 발화 의도에 대응되는 액션이 길안내인 경우, 상황 이해기(112c)는 상황 이해 테이블(145)을 검색하여 길안내와 관련된 상황 정보가 현재 위치임을 알 수 있다.
단기 메모리(144)에 현재 위치가 이미 저장되어 있는 경우, 상황 이해기(112c)는 단기 메모리(144)로부터 현재 위치를 가져와 대화 입력 관리기(111c)에 전달한다.
단기 메모리(144)에 현재 위치가 저장되어 있지 않은 경우에는, 상황 정보 수집 관리기(112b)에 현재 위치를 요청하고, 상황 정보 수집 관리기(112b)는 상황 정보 수집기(112a)로 하여금 차량 제어기(240)로부터 현재 위치를 획득하게 한다.
상황 정보 수집기(112a)가 현재 위치를 획득하여 단기 메모리(144)에 저장하고, 상황 정보 수집 관리기(112b)에 확인 신호를 전송한다. 상황 정보 수집 관리기(112b)도 상황 이해기(112c)에 확인 신호를 전송하고, 상황 이해기(112c)는 단기 메모리(144)로부터 현재 위치 정보를 가져와 대화 입력 관리기(111c)로 전달한다.
대화 입력 관리기(111c)는 자연어 이해기(111b)의 출력과 상황 이해기(112c)의 출력을 대화 관리기(120)로 전달하고, 중복된 입력이 대화 관리기(120)로 들어가지 않도록 관리할 수 있다. 이 때, 자연어 이해기(111b)의 출력과 상황 이해기(112c)의 출력은 하나로 합쳐져서 대화 관리기(120)에 전달될 수도 있고, 각각 독립적으로 전달될 수도 있다.
한편, 상황 정보 수집 관리기(112b)는 상황 정보 수집기(112a)가 수집한 데이터가 미리 설정된 조건을 만족하여 특정 이벤트가 발생한 것으로 판단하면 상황 이해기(112c)에 액션 트리거 신호를 전송할 수 있다.
상황 이해기(112c)는 상황 이해 테이블(145)을 검색하여 해당 이벤트와 관련된 상황 정보를 검색하고, 검색된 상황 정보가 저장되어 있지 않으면 다시 상황 정보 수집 관리기(112b)에 상황 정보의 요청 신호를 전송한다.
도 20B의 예시와 같이, 상황 이해 테이블(145)에는 이벤트와 관련된 상황 정보와 상황 정보의 타입이 각각의 이벤트 별로 저장될 수 있다.
예를 들어, 발생된 이벤트가 엔진 온도 경고인 경우에는 관련된 상황 정보로 정수 타입의 엔진 온도가 저장될 수 있다. 발생된 이벤트가 운전자 졸음 감지인 경우에는 관련된 상황 정보로 정수 타입의 운전자 졸음 단계가 저장될 수 있다. 발생된 이벤트가 타이어 공기압 부족인 경우에는 관련된 상황 정보로 정수 타입의 타이어 공기 압력이 저장될 수 있다. 발생된 이벤트가 연료 경고인 경우에는 관련된 상황 정보로 정수 타입의 주행 가능 거리가 저장될 수 있다. 발생된 이벤트가 센서 이상인 경우에는 관련된 상황 정보로 문자 타입의 센서 명칭이 저장될 수 있다.
상황 정보 수집 관리기(112b)는 상황 정보 수집기(112a)를 통해 필요한 상황 정보를 수집하고, 상황 이해기(112c)에 확인 신호를 전송한다. 상황 이해기(112c)는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 필요한 상황 정보를 가져와 액션 정보와 함께 대화 입력 관리기(111c)로 전달한다.
대화 입력 관리기(111c)는 상황 이해기(112c)의 출력을 대화 관리기(120)로 입력한다.
이하, 사용자의 발화가 입력되기 전에 대화 시스템(100)이 스스로 선발화를 출력하는 경우에 대해 설명한다.
도 21은 사용자의 입력이 수신되기 전에 대화 시스템이 먼저 발화를 출력하는 경우에 적용 가능한 대화 시스템의 제어 블록도이고, 도 22a, 도 22b 및 도 22c는 선발화 조건 테이블에 저장하는 정보의 예시를 나타낸 도면이다.
도 21을 참조하면, 대화 시스템(100)의 입력 처리기(110)는 선발화 상황인지 여부를 판단하는 선발화 판단기(151)와 중복 태스크 처리기(152)를 더 포함할 수 있고, 저장부(140)는 선발화 조건을 저장하는 선발화 조건 테이블(145a)과 태스크 처리 DB(145b)를 더 포함할 수 있다.
상황 정보 DB(142), 장기 메모리(143) 및 단기 메모리(144)에 저장된 데이터는 선발화 판단기(151)에 전달될 수 있다. 선발화 판단기(151)는 전달된 데이터를 분석하여 선발화 조건 테이블(145a)에 저장된 선발화 조건이 충족되는지 여부를 판단할 수 있다.
도 22a의 예시를 참조하면, 선발화 조건 테이블(145a)에는 상황 정보와 관련된 선발화 조건 및 해당 선발화 조건이 만족되었을 때 출력되는 선발화 메시지가 상황 정보 별로 저장될 수 있다.
선발화 판단기(151)는 상황 정보 DB(142)로부터 전달된 상황 정보가 선발화 조건을 만족하면, 선발화 상황인 것으로 판단하고 선발화 트리거 신호를 발생시킨다.
선발화 판단기(151)는 선발화 트리거 신호를 해당 선발화 상황에 대응되는 선발화 메시지와 함께 상황 이해기(112c)로 전달할 수 있다. 또한, 해당 선발화 상황에 대한 정보를 함께 전달할 수 있다. 선발화 상황에 대한 정보는 해당 선발화 상황에 대응되는 선발화 조건 또는 후술하는 선발화 상황에 대응되는 액션을 포함할 수 있다.
예를 들어, 상황 정보가 타이어 공기압인 경우에는 타이어 공기압이 미리 설정된 기준값 이하인 경우에 선발화 조건을 만족할 수 있다. 선발화 판단기(151)는 타이어 공기압이 선발화 조건을 만족하는 경우, 타이어 공기압 부족으로 인한 선발화 상황인 것으로 판단하고, 선발화 트리거 신호를 발생시킬 수 있다.
선발화 판단기(151)는 선발화 트리거 신호를 선발화 메시지와 함께 상황 이해기(112c)로 전달할 수 있다. 일 예로, 타이어 공기압 부족으로 인한 선발화 상황에서는 "타이어 공기압이 너무 낮습니다"와 같이 타이어 공기압이 부족하다는 정보를 알려주는 선발화 메시지가 상황 이해기(112c)에 전달될 수 있다.
또한, 상황 정보가 엔진 온도인 경우에는 엔진 온도가 미리 설정된 기준값 이상인 경우에 선발화 조건을 만족할 수 있다. 선발화 판단기(151)는 엔진 온도가 선발화 조건을 만족하는 경우, 엔진 온도 이상으로 인한 선발화 상황인 것으로 판단하고, 선발화 트리거 신호를 발생시킬 수 있다.
선발화 판단기(151)는 선발화 트리거 신호를 선발화 메시지와 함께 상황 이해기(112c)로 전달할 수 있다. 일 예로, 엔진 온도 이상으로 인한 선발화 상황에서는 "엔진 온도가 너무 높습니다"와 같이 엔진이 과열됐다는 정보를 알려주는 선발화 메시지가 상황 이해기(112c)로 전달될 수 있다.
또한, 상황 정보가 잔유량인 경우에는 잔유량이 기준값 이하인 경우에 선발화 조건을 만족할 수 있다. 사용자가 차량의 내비게이션 서비스를 이용하여 목적지를 설정한 경우에는 현재 위치로부터 설정된 목적지까지의 거리에 기초하여 기준값이 설정될 수 있다. 목적지가 설정되지 않은 경우에는 목적지와 무관하게 디폴트로 설정된 기준값이 사용될 수 있는바, 일 예로 연료 부족 경고등을 표시하는 기준값보다 작은 값을 잔유량 부족에 의한 선발화 조건의 기준값으로 설정할 수 있다. 선발화 판단기(151)는 잔유량이 선발화 조건을 만족하는 경우, 잔유량 부족으로 인한 선발화 상황인 것으로 판단하고, 선발화 트리거 신호를 발생시킬 수 있다.
선발화 판단기(151)는 선발화 트리거 신호를 선발화 메시지와 함께 상황 이해기(112c)로 전달할 수 있다. 일 예로, 잔유량 부족으로 인한 선발화 상황에서는 "목적지까지의 잔유량이 부족합니다"와 같이 잔유량이 부족하다는 정보를 알려주는 선발화 메시지가 상황 이해기(112c)로 전달될 수 있다.
다만, 도 22a에 도시된 선발화 조건과 선발화 메시지는 대화 시스템(100)에 적용될 수 있는 예시에 불과하다. 전술한 예시에서는 선발화 상황에 대응되는 선발화 메시지가 현재 상황을 알려주는 내용인 경우를 예로 들어 설명하였으나, 대화 시스템(100)이 선발화 상황에 필요한 특정 기능 또는 서비스의 실행을 먼저 제안하는 것도 가능하다.
도 22b의 예시를 참조하면, 타이어 공기압 부족으로 인한 선발화 상황인 경우 또는 엔진 온도 이상으로 인한 선발화 상황인 경우에 이에 대응되는 선발화 메시지로 "정비소를 예약할까요?"와 같이 정비소 예약 서비스를 선제적으로 제안하는 내용을 저장할 수 있다.
또한, 잔유량 부족으로 인한 선발화 상황인 경우에는 이에 대응되는 선발화 메시지로 "주유소를 안내할까요?"와 같이 주유소 안내 서비스를 선제적으로 제안하는 내용을 저장할 수 있다.
또한, 상황 정보가 차량 내부 온도인 경우에는 차량 내부 온도가 미리 설정된 기준 범위를 벗어나는 경우에 선발화 조건을 만족할 수 있다. 상황 이해기(112c)는 차량 내부 온도가 선발화 조건을 만족하는 경우, 차량 내부 온도 이상으로 인한 선발화 상황인 것으로 판단하고, 선발화 트리거 신호를 발생시킬 수 있다.
차량 내부 온도 이상으로 인한 선발화 상황에서는 "공기 조화기를 작동할까요?"와 같이 내부 온도 조절 기능을 선제적으로 제안하는 내용이 선발화 메시지로 저장될 수 있다.
또한, 상황 정보가 마이크 입력인 경우에는 마이크 입력 값이 미리 설정된 기준값 이하인 경우에 선발화 조건을 만족할 수 있다. 상황 이해기(112c)는 마이크 입력이 선발화 조건을 만족하는 경우, 분위기 전환을 위한 선발화 상황인 것으로 판단하고, 선발화 트리거 신호를 발생시킬 수 있다. 이에 대응되는 선발화 메시지로는 "음악을 재생할까요?"와 같이 멀티 미디어 재생 서비스를 선제적으로 제안하는 내용이 저장될 수 있다.
또한, 상황 정보가 윈도우 개폐 여부와 강수 여부인 경우에, 윈도우가 오픈되어 있고 강수 상황인 경우에 선발화 조건을 만족할 수 있다. 상황 이해기(112c)는 윈도우가 오픈되어 있고 강수 상황인 경우에 윈도우 오픈으로 인한 선발화 상황인 것으로 판단하고, 선발화 트리거 신호를 발생시킬 수 있다.
윈도우 오픈으로 인한 선발화 상황에서는 "윈도우를 클로즈할까요?"와 같이 윈도우 클로즈 기능을 선제적으로 제안하는 내용이 선발화 메시지로 저장될 수 있다.
전술한 도 22a 및 도 22v의 예시에서는, 선발화 조건 테이블(145a)에 선발화 상황에 대응되는 선발화 메시지가 미리 저장되는 경우를 예로 들었다. 그러나, 대화 시스템(100)의 예시가 이에 한정되는 것은 아닌바, 선발화 상황에 대응되는 액션이 미리 저장되는 것도 가능하다.
전술한 바와 같이, 사용자의 발화가 입력되는 경우에는 자연어 이해기(111b)가 도메인/액션 추론 규칙 DB(141)를 참조하여 사용자의 발화에 대응되는 액션을 추출하였다. 대화 시스템(100)이 선발화를 출력하는 경우에는 도 22c에 도시된 바와 같이, 선발화 상황마다 그에 대응되는 액션이 미리 저장될 수 있다.
예를 들어, 타이어 공기압 이상으로 인한 선발화 상황 및 엔진 온도 이상으로 인한 선발화 상황의 경우에는 정비소 안내가 그에 대응되는 액션으로 저장될 수 있고, 잔유량 부족으로 인한 선발화 상황에서는 주유소 안내가 그에 대응되는 액션으로 저장될 수 있다.
또한, 차량 내부 온도 이상으로 인한 선발화 상황의 경우에는 공기 조화기 작동이 그에 대응되는 액션으로 저장될 수 있고, 분위기 전환을 위한 선발화 상황의 경우에는 멀티미디어 재생이 그에 대응되는 액션으로 저장될 수 있다. 윈도우 오픈으로 인한 선발화 상황의 경우에는 윈도우 개폐가 그에 대응되는 액션으로 저장될 수 있다.
전술한 바와 같이 선발화 상황에 대응되는 액션이 미리 저장되어 있는 경우에는, 선발화 트리거 신호와 함께 그에 대응되는 액션이 상황 이해기(112c)에 전달되고, 대화 입력 관리기(111c)는 선발화 트리거 신호와 그에 대응되는 액션을 대화 관리기(120)에 입력할 수 있다. 이 경우, 대화 관리기(120)에서는 사용자의 발화가 입력된 경우와 동일한 동작이 수행될 수 있다.
다른 예로, 선발화 조건 테이블(145a)에 선발화 상황마다 그에 대응되는 가상의 사용자 발화를 매칭시켜 저장하거나, 선발화 판단기(151)가 선발화 상황에 대응되는 가상의 사용자 발화를 생성하는 것도 가능하다. 선발화 판단기(151)는 선발화 조건 테이블(145a)에 저장되거나 자신이 생성한 사용자 발화를 텍스트 형태로 자연어 이해기(111b)에 전달할 수 있다. 예를 들어, 타이어 공기압 이상으로 인한 선발화 상황의 경우, "타이어 공기압 확인해줘"나 "정비소 안내해줘"와 같은 가상의 사용자 발화가 저장되거나 생성될 수 있다. 또는, 차량 내부 온도 이상으로 인한 선발화 상황의 경우에는 "에어컨 켜줘"와 같은 가상의 사용자 발화가 저장되거나 생성될 수 있다.
또는, 모바일 기기(400)가 차량(100)과 대화 시스템(100) 사이의 게이트웨이 역할을 수행하는 모바일 게이트웨이 방식에 있어서, 모바일 기기(400)의 대화 시스템 클라이언트(470)가 선발화 판단기(151)의 동작 중 일부를 수행할 수 있다. 이 경우, 대화 시스템 클라이언트(470)가 선발화 상황에 대응되는 가상의 사용자 발화를 생성하여 자연어 이해기(111b)에 전달할 수 있다.
자연어 이해기(111b)는 전달된 가상의 사용자 발화에 대응되는 도메인, 액션 등을 추출하여 대화 입력 관리기(111c)에 전달할 수 있다. 자연어 이해기(111b)가 추출한 액션은 선발화 상황에 대응되는 액션이 된다. 선발화 상황에 대응되는 액션이 대화 관리기(120)에 전달된 이후의 과정은 사용자가 먼저 발화한 경우와 동일하게 진행될 수 있다.
전술한 상황 정보, 선발화 조건, 선발화 메시지 및 액션은 대화 시스템(100)의 실시예에 적용 가능한 예시들에 불과하고, 대화 시스템(100)의 실시예가 전술한 예시들에 한정되는 것은 아니다. 이 외에도 다양한 상황 정보, 선발화 조건, 선발화 메시지 및 액션이 저장될 수 있다.
선발화 판단기(151)가 선발화 트리거 신호와 선발화 상황에 관한 정보를 상황 이해기(112c)에 전달하면, 상황 이해기(112c)는 중복 태스크 처리기(152)에 선발화 상황에 관한 정보를 전달한다.
중복 태스크 처리기(152)는 태스크 처리 DB(145b)에 저장된 정보에 기초하여, 현재 발생한 선발화 상황과 관련된 태스크가 이미 처리되었거나, 진행 중인 중복 태스크인지 여부를 판단할 수 있다.
태스크 처리 DB(145b)에는 대화 시스템(100)에서 처리되었거나 진행 중인 태스크에 관한 정보가 저장된다. 예를 들어, 대화 이력(대화 내용과 각각의 대화 시점 포함), 대화 시점에서의 차량 상태, 태스크 완료 여부 등을 저장할 수 있다. 또한, 대화와 관계없이 내비게이션 기능을 이용한 길 안내와 같은 태스크의 진행 및 처리 결과도 저장될 수 잇다.
구체적인 예로, 잔유량 부족으로 인한 선발화 상황에서는, 중복 태스크 처리기(152)가 태스크 처리 DB(145b)에 저장된 정보에 기초하여 주유소 안내 태스크가 진행 중인지 여부를 판단할 수 있다. 주유소 안내를 위한 대화가 진행 중이거나 주유소 안내 액션이 진행 중인 경우, 중복 태스크 처리기(152)는 현재 선발화 상황과 관련된 태스크를 중복 태스크로 판단하고, 선발화 상황을 종료시킬 수 있다.
또는, 이전에 주유소 안내를 위한 발화를 출력하였고, 사용자가 주유소 안내를 거부한 대화 이력이 존재하는 경우에도, 중복 태스크 처리기(152)는 현재 선발화 상황과 관련된 태스크를 중복 태스크로 판단하고, 선발화 상황을 종료시킬 수 있다.
또는, 주유소 안내를 위한 대화 이력과 관계 없이, 현재 내비게이션 기능을 이용한 주유소 안내 태스크가 진행 중인 경우에도, 중복 태스크 처리기(152)는 현재 선발화 상황과 관련된 태스크를 중복 태스크로 판단하고, 선발화 상황을 종료시킬 수 있다. 중복 태스크 처리기(152)는 태스크 처리 DB(14b)에 저장된 정보로부터 현재 내비게이션 기능을 이용한 주유소 안내 태스크가 진행 중임을 알 수 있다.
또는, 잔유량 안내와 관련된 대화가 수행된 시점으로부터 기준 시간이 경과하지 않은 경우에는 주유소 안내 태스크가 진행 중이지 않더라도 사용자가 스스로 주유소를 향해 주행 중인 경우도 있을 수 있다는 점을 고려하여 현재 선발화 상황과 관련된 태스크를 중복 태스크로 판단하고, 선발화 상황을 종료시킬 수 있다.
또한, 사용자의 생일 또는 사용자 가족의 생일 등 장기 메모리(143)에 저장된 정보에 기초하여 일정을 안내하기 위한 선발화 상황인 경우, 이전에 동일한 일정을 안내한 대화 이력이 존재하고, 해당 대화가 수행된 시점으로부터 기준 시간만큼 경과하지 않았으면, 중복 태스크 처리기(152)는 현재 선발화 상황과 관련된 태스크를 중복 태스크로 판단하고, 선발화 상황을 종료시킬 수 있다.
즉, 중복 태스크 처리기(152)는 태스크 처리 DB(145b)에 저장된 대화 이력에 기초하여 이미 출력된 선발화 인지 여부, 선발화 상황에 대한 사용자의 의사 등을 판단할 수 있고, 저장된 대화 시점, 사용자의 의사, 차량 상태 또는 태스크 완료 여부에 기초하여 중복 태스크 여부를 판단할 수 있다.
중복 태스크 처리기(152)에는 태스크 처리 DB(145b)에 저장된 정보에 기초하여 중복 태스크인지 여부 즉, 선발화 상황을 종료시킬 지 여부를 판단하는 정책이 저장될 수 있다. 중복 태스크 처리기(152)는 저장된 정책에 따라 현재 선발화 상황에 관련된 태스크가 중복 태스크인지 여부를 판단하고, 중복 태스크인 것으로 판단되면, 선발화 상황을 종료시킬 수 있다.
한편, 전술한 예시에서는 선발화 처리를 위해 선발화 판단기(151), 중복 태스크 처리기(152), 선발화 조건 테이블(145a), 태스크 처리 DB(145b)의 구성요소를 포함하는 경우에 대해 설명하였다.
그러나, 대화 시스템(100)의 예시가 이에 한정되는 것은 아니며, 상기 추가된 구성요소들의 동작을 도 19A 및 도 19B에 도시된 구성요소들이 수행하는 것도 가능함은 물론이다.
예를 들어, 상황 이해기(112c)가 선발화 조건의 만족 여부를 판단하는 선발화 판단기(151)의 동작 및 중복 태스크를 처리하는 중복 태스크 처리시(152)의 동작을 수행할 수 있다.
또한, 선발화 조건 테이블(145a)에 저장되는 정보는 상황 이해 테이블(145)에 저장될 수도 있으며, 태스크 처리 DB(145b)에 저장되는 정보는 후술하는 대화/액션 상태 DB(147)에 저장되는 것도 가능하다.
도 23은 대화 관리기의 구성이 세분화된 제어 블록도이고, 도 24는 연관 액션 DB에 저장된 정보의 예시를 나타낸 도면이고, 도 25은 액션 수행 조건 DB에 저장된 정보의 예시를 나타낸 도면이며, 도 26은 액션 인자 DB에 저장된 정보의 예시를 나타낸 도면이다.
도 23을 참조하면, 대화 관리기(120)는 대화 또는 액션을 생성/삭제/업데이트하도록 요청하는 대화 흐름 관리기(121), 대화 흐름 관리기(121)의 요청에 따라 대화 또는 액션을 생성/삭제/업데이트하는 대화 액션 관리기(122), 상황에 대한 모호성과 대화에 대한 모호성을 해결하여 궁극적으로 사용자의 의도를 명확히 하는 모호성 해결기(123), 액션 수행에 필요한 인자를 관리하는 인자 관리기(124), 복수의 후보 액션들에 대해 액션 수행 가부를 판단하고, 이들의 우선 순위를 결정하는 액션 우선순위 결정기(125) 및 외부 컨텐츠 목록 및 관련 정보를 관리하고 외부 컨텐츠 쿼리에 필요한 인자 정보를 관리하는 외부 정보 관리기(126)를 포함할 수 있다.
대화 관리기(120)는 전술 또는 후술하는 동작을 수행하기 위한 프로그램이 저장되는 메모리 및 저장된 프로그램을 실행시키는 프로세서를 포함할 수 있다. 메모리와 프로세서는 각각 적어도 하나 마련될 수 있고, 복수 개 마련되는 경우에는 이들이 하나의 칩 상에 집적될 수도 있고 물리적으로 분리될 수도 있다.
또한, 대화 관리기(120)에 포함되는 각각의 구성요소들이 단일 프로세서에 의해 구현되는 것도 가능하고, 별개의 프로세서에 의해 구현되는 것도 가능하다.
또한, 대화 관리기(120)와 입력 처리기(110) 역시 단일 프로세서에 의해 구현되는 것도 가능하고, 별개의 프로세서에 의해 구현되는 것도 가능하다.
사용자의 발화가 입력된 경우 또는 선발화 상황에 매칭된 사용자 발화가 자연어 이해기(111b)에 전달된 경우에는, 대화 입력 관리기(111c)가 자연어 이해 결과(자연어 이해기의 출력)와 상황 정보(상황 이해기의 출력)를 대화 흐름 관리기(121)에 전달한다. 또한, 선발화 상황이 발생한 경우에는 선발화 트리거 신호를 함께 전달하는 것도 가능하다.
자연어 이해기(111b)의 출력은 도메인, 액션 등의 정보 외에도 형태소 분석 결과와 같은 사용자의 발화 내용 자체에 대한 정보도 포함한다. 상황 이해기(112c)의 출력은 상황 정보 외에도 상황 정보 수집 관리기(112b)에서 판단한 이벤트도 포함할 수 있다.
대화 흐름 관리기(121)는 대화 입력 관리기(111c)로부터의 입력에 대응되는 대화 태스크 또는 액션 태스크가 대화/액션 DB(147)에 존재하는지 검색한다.
대화/액션 DB(147)는 대화의 상태와 액션의 상태를 관리하기 위한 저장 공간으로서, 현재 진행 중인 대화, 액션들과 앞으로 진행할 예비 액션들에 대한 대화 상태 및 액션 상태를 저장할 수 있다. 예를 들어, 종료된 대화/액션, 정지된 대화/액션, 진행 중인 대화/액션, 진행될 대화/액션의 상태가 저장될 수 있다.
또한, 액션의 스위칭/네스팅 여부, 스위칭된 액션 인덱스, 액션 변경 시간, 화면/음성/명령어 등의 마지막 출력 상태 등을 저장할 수 있다.
예를 들어, 사용자 발화에 대응되는 도메인과 액션이 추출된 경우에는, 가장 최근에 저장된 대화 중 해당 도메인과 액션에 대응되는 대화 또는 액션이 존재하면 이를 대화 입력 관리기(111c)로부터의 입력에 대응되는 대화 태스크 또는 액션 태스크로 판단할 수 있다.
사용자 발화에 대응되는 도메인과 액션이 추출되지 않은 경우에는, 임의의 태스크를 생성하거나, 가장 최근에 저장된 태스크를 참조하도록 대화 액션 생성기(122)에 요청할 수 있다.
대화/액션 DB(147)에 입력 처리기(110)의 출력에 대응되는 대화 태스크 또는 액션 태스크가 존재하지 않으면, 대화 흐름 관리기(121)는 대화 액션 관리기(122)에 새로운 대화 태스크와 액션 태스크를 생성하도록 요청한다.
또한, 입력 처리기(110)로부터 선발화 트리거 신호가 전달된 경우에는, 이미 진행중인 대화 태스크나 액션 태스크가 존재하더라도, 일시적으로 이를 중단하고 선발화 상황에 대응되는 대화 태스크 또는 액션 태스크를 우선적으로 생성할 수 있다. 또는, 정해진 규칙에 따라 우선 순위를 결정하는 것도 가능하다.
대화 입력 관리기(111c)로부터 선발화 트리거 신호와 함께 그에 대응되는 액션이 입력된 경우에는, 사용자의 발화로부터 액션을 추출한 경우와 마찬가지로 대화 흐름 관리기(121)가 대화 액션 관리기(122)에 새로운 대화 태스크와 액션 태스크를 생성하도록 요청할 수 있다.
또는, 대화 입력 관리기(111c)로부터 선발화 트리거 신호와 함께 그에 대응되는 선발화 메시지가 입력된 경우에는, 입력된 선발화 메시지를 출력하기 위한 새로운 대화 태스크를 생성하도록 요청할 수 있다.
대화 흐름 관리기(121)가 대화의 흐름을 관리함에 있어서, 대화 정책 DB(148)를 참조할 수 있다. 대화 정책 DB(148)는 대화를 전개하기 위한 정책을 저장하며, 구체적으로 대화를 선택/시작/제안/정지/종료하기 위한 정책을 저장한다.
또한, 대화 정책 DB(148)는 시스템이 응답을 출력하는 시점과 방법론에 대한 정책도 저장할 수 있으며, 다수의 서비스를 연계하여 응답을 만드는 정책과 기존의 액션을 삭제하고 다른 액션으로 교체하기 위한 정책을 저장할 수 있다.
예를 들어, 후보 액션이 복수이거나, 사용자의 의도나 상황에 대응되는 액션이 복수일 때(A 액션, B액션), "A 액션을 수행하고B 액션을 수행하겠습니까?"와 같이 두 액션에 대한 응답을 한 번에 생성하는 정책과, "A액션을 수행합니다" ㅰ "B액션을 수행할까요?"와 같이 하나의 액션에 대한 응답을 생성한 이후에, B 액션에 대해서도 별도의 응답을 생성하는 정책이 모두 가능하다.
또한, 대화 정책 DB(147)는 후보 액션들 간의 우선 순위를 결정하는 정책도 저장할 수 있다. 우선 순위 결정 정책에 대해서는 후술하도록 한다.
대화 액션 관리기(122)는 대화/액션 DB(147)에 저장 공간을 할당하여, 입력 처리기(110)의 출력에 대응되는 대화 태스크와 액션 태스크를 생성한다.
한편, 사용자의 발화로부터 도메인과 액션을 추출할 수 없는 경우, 대화 액션 관리기(122)는 임의의 대화 상태를 생성할 수 있다. 이 경우, 후술하는 바와 같이, 모호성 해결기(123)가 사용자의 발화 내용, 주변 상황, 차량 상태, 사용자 정보 등에 기초하여 사용자의 의도를 파악하고 이에 대응되는 적절한 액션을 판단할 수 있다.
대화/액션 DB(147)에 입력 처리기(110)의 출력에 대응되는 대화 태스크와 액션 태스크가 존재하면, 대화 흐름 관리기(121)는 대화 액션 관리기(122)가 해당 대화 태스크와 액션 태스크를 참조하도록 요청한다.
액션 우선순위 결정기(125)는 연관 액션 DB(146b)에서 입력 처리기(110)의 출력에 포함된 액션 또는 이벤트와 연관된 액션 목록을 검색하여 후보 액션을 추출한다. 도 24의 예시와 같이, 연관 액션DB(146b)는 상호 연관된 액션들과 그들 사이의 관계 및 이벤트와 연관된 액션과 그들 사이의 관계를 나타낼 수 있다. 예를 들어, 길안내, 차량 상태 점검, 주유소 추천과 같은 액션이 연관된 액션으로 분류될 수 있고, 이들의 관계는 상호 연계에 해당할 수 있다.
따라서, 길안내 액션을 수행함에 있어, 차량 상태 점검, 주유소 추천 등의 액션이 함께 수행될 수 있다. 여기서 함께 수행된다는 것은 길안내 액션의 전후로 수행되는 것과 길안내 액션의 수행 중에(경유지로 추가) 수행되는 것을 모두 포함할 수 있다.
경고등 출력 이벤트는 정비소 안내 액션이 연관된 이벤트-액션으로 저장될 수 있고, 이들의 관계 역시 상호 연계에 해당할 수 있다.
따라서, 경고등 출력 이벤트가 발생한 경우에, 경고등의 종류 또는 정비의 필요 여부에 따라 정비소 안내 액션을 수행할 수 있다.
입력 처리기(110)로부터 사용자 발화에 대응되는 액션뿐만 아니라 상황 수집 관리기(112b)에서 판단한 이벤트도 함께 전송한 경우에는, 사용자 발화에 대응되는 액션과 연관된 액션과 함께 이벤트와 연관된 액션도 후보 액션이 될 수 있다.
추출된 후보 액션 목록은 대화 액션 관리기(122)로 전달되고, 대화 액션 관리기(122)는 후보 액션 목록을 추가하여 대화/액션 상태 DB(147)의 액션 상태를 업데이트한다.
액션 우선순위 결정기(125)는 액션 수행 조건 DB(146c)에서 각각의 후보 액션을 수행하기 위한 조건을 검색한다.
도 25의 예시와 같이, 액션 수행 조건 DB(146c)는 액션을 수행하기 위해 필요한 조건과 해당 조건의 만족 여부를 판단하기 위해 사용되는 인자를 각각의 액션 별로 저장할 수 있다.
예를 들어, 차량 상태 점검 액션의 수행 조건은 목적지 거리가 100km 이상인 경우일 수 있고, 조건 판단을 위해 사용되는 인자는 목적지 거리에 해당한다. 주유소 추천 액션의 수행 조건은 목적지 거리가 주행 가능 거리(DTE)보다 먼 경우일 수 있고, 조건 판단을 위해 사용되는 인자는 목적지 거리와 주행 가능 거리(DTE)에 해당한다.
액션 우선순위 결정기(125)는 후보 액션의 수행 조건을 대화 액션 관리기(122)로 전달하고, 대화 액션 관리기(122)는 각 후보 액션 별 액션 수행 조건을 추가하여 대화/액션 상태 DB(147)의 액션 상태를 업데이트한다.
액션 우선순위 결정기(125)는 상황 정보 DB(142), 장기 메모리(143), 단기 메모리(144) 또는 대화/액션 상태DB(147)에서 액션 수행 조건 판단을 위해 필요한 인자(이하, 조건 판단 인자라 한다)를 검색하고, 검색된 인자를 이용하여 각 후보 액션의 수행 가부를 판단할 수 있다
액션 수행 조건 판단을 위해 사용되는 인자가 상황 정보 DB(142), 장기 메모리(143), 단기 메모리(144) 또는 대화/액션 상태DB(147)에 저장되지 않은 경우, 외부 정보 관리기(126)를 통해 외부 컨텐츠 서버(300)로부터 필요한 인자를 가져올 수 있다.
액션 우선순위 결정기(125)는 액션 수행 조건 판단을 위해 필요한 인자를 이용하여 각 후보 액션의 수행 가부를 판단할 수 있다. 또한, 각 후보 액션의 수행 가부 및 대화 정책 DB(148)에 저장된 우선 순위 결정 규칙에 기초하여 각 후보 액션의 우선 순위를 결정할 수 있다.
현재 상황에 따라 각 후보 액션에 대한 점수가 계산될 수 있다. 계산된 점수가 높은 순으로 높은 우선순위가 할당된다. 예를 들어, 아래 [수학식 1]에 나타낸 바와 같이, 사용자 발화에 대응되는 액션, 안전도 점수, 편의 점수, 처리 시간, 처리 시점(지금 당장 처리해야 하는지 여부), 사용자 선호도(서비스 제안 시 사용자의 수용 정도 또는 사용자가 사전에 정의한 선호도), 관리자 점수, 차량 상태 연관 점수, 액션 성공률(대화 성공률)이 점수 계산의 인자로 사용될 수 있다.
[수학식 1]
우선순위 점수 = w1*사용자 발화 액션 + w2*안전도 점수 + w3*편의점수 + w4*처리시간 + w5*처리시점+ w6*사용자 선호도 + w7*관리자 점수 + w8*차량 상태 연관 점수 + w9*액션 성공률*액션 수행 가능 여부(1:가능, 미정 0:불가능) *액션 완료 여부(완료:1, 미완료:0)
전술한 바와 같이, 액션 우선순위 결정기(125)가 사용자의 발화나 상황 정보에 직접적으로 관련된 액션뿐만 아니라 이와 연관된 액션 목록까지 검색하고 이들 사이의 우선 순위를 결정함으로써 사용자에게 가장 필요한 서비스를 제공할 수 있게 된다.
액션 우선순위 결정기(125)는 각 후보 액션의 수행 가부 및 우선 순위를 대화 액션 관리기(122)로 전달하고, 대화 액션 관리기(122)는 전달된 정보를 추가하여 대화/액션 상태 DB(147)의 액션 상태를 업데이트한다.
인자 관리기(124)는 액션 인자 DB(146a)에서 각 후보 액션을 수행하는데 사용되는 인자(이하, 액션 인자라 한다.)를 검색할 수 있다.
도 26의 예시와 같이, 액션 인자 DB(146a)는 액션 별로 필수 인자, 선택 인자, 인자의 초기값 및 인자를 가져올 수 있는 참조 위치를 저장할 수 있다. 인자의 초기값이 저장되어 있는 경우에, 입력 처리기(110)로부터 출력된 사용자의 발화나 상황 정보에 해당 인자에 대응되는 인자 값이 포함되어 있지 않고 상황 정보 DB(142)에도 해당 인자 값이 저장되어 있지 않으면, 저장된 초기값에 따라 액션을 수행하거나, 저장된 초기값에 따라 액션을 수행할 지 사용자에게 확인할 수 있다.
예를 들어, 길안내 액션을 수행하는데 사용되는 필수 인자는 현재 위치와 목적지를 포함할 수 있고, 선택 인자는 경로 타입을 포함할 수 있다. 선택 인자의 초기값으로 빠른 경로가 저장될 수 있다. 현재 위치와 목적지는 대화/액션 상태 DB(147), 상황 정보 DB(142), 단기 메모리(144) 또는 장기 메모리(143)를 순차적으로 검색하여 획득할 수 있다.
차량 상태 점검 액션을 수행하는데 사용되는 필수 인자는 차량 상태 정보를 포함하고, 선택 인자는 점검 파트를 포함할 수 있다. 선택 인자의 초기값으로는 전체 파트가 저장될 수 있다. 차량 상태 정보는 상황 정보 DB(142)로부터 획득할 수 있다.
주유소 추천 액션을 수행하는데 사용되는 선택 인자는 선호 주유소를 포함할 수 있고, 선택 인자의 초기값으로 A 오일이 저장될 수 있다. 선호 주유소는 장기 메모리(143)로부터 획득할 수 있다. 선택 인자에 차량의 유종, 기름 가격 등이 더 포함되는 것도 가능하다.
전술한 바와 같이, 인자 관리기(124)는 액션 인자 DB(146a)에서 검색한 인자의 인자 값을 해당 참조 위치에서 가져온다. 인자 값을 가져올 수 있는 참조 위치는 상황 정보 DB(142), 장기 메모리(143), 단기 메모리(144), 대화/액션 상태DB(147) 및 외부 컨텐츠 서버(300) 중 적어도 하나일 수 있다.
인자 관리기(124)가 외부 컨텐츠 서버(300)로부터 인자 값을 가져오는 경우에는, 외부 정보 관리기(126)를 통할 수 있다. 외부 정보 관리기(126)는 외부 서비스 집합 DB(146d)를 참조하여 어디에서 정보를 가져올 지 판단할 수 있다.
외부 서비스 집합 DB(146d)는 대화 시스템(100)과 연계된 외부 컨텐츠 서버에 대한 정보를 저장한다. 예를 들어, 외부 서비스 명칭, 외부 서비스 에 대한 설명, 외부 서비스 가 제공하는 정보의 타입, 외부 서비스 사용 방법, 외부 서비스 의 제공 주체 등에 대한 정보를 저장할 수 있다.
인자 관리기(124)가 획득한 인자 값은 대화 액션 관리기(122)로 전달되고, 대화 액션 관리기(122)는 각 후보 액션 별 인자 값을 액션 상태에 추가하여 대화/액션 상태 DB(147)를 업데이트 한다.
인자 관리기(124)는 모든 후보 액션의 인자 값을 획득하는 것도 가능하고, 액션 우선순위 결정기(125)에서 수행이 가능한 것으로 판단된 후보 액션의 인자 값만 획득하는 것도 가능하다.
또한, 인자 관리기(124)는 동일한 정보를 나타내는 다양한 종류의 인자 값을 선택적으로 사용할 수 있다. 예를 들어, 목적지를 나타내는 텍스트 형태의 서울역은 내비게이션의 목적지 검색 서비스를 이용하여 POI 형태의 서울역으로 변환될 수 있다.
대화나 상황에 모호성이 없는 경우에는 전술한 액션 우선순위 결정기(125), 인자 관리기(124) 및 외부 정보 관리기(126)의 동작에 따라 필요한 정보를 얻고 대화와 액션을 관리할 수 있다. 그러나, 대화나 상황에 모호성이 있는 경우에는 액션 우선순위 결정기(125), 인자 관리기(124) 및 외부 정보 관리기(126)의 동작만으로는 사용자에게 필요한 적절한 서비스를 제공하기 어렵다.
이러한 경우, 모호성 해결기(123)가 대화에 대한 모호성 또는 상황에 대한 모호성을 해결할 수 있다. 예를 들어, 대화에 그 사람, 어제 거기, 아빠, 엄마, 할머니, 며느리 등과 같은 조응어가 포함되어 무엇을 지칭하는지 모호한 경우에 모호성 해결기(123)가 상황 정보 DB(142), 장기 메모기(143) 또는 단기 메모리(144)를 참조하여 이러한 모호성을 해결하거나 이를 해결하기 위한 가이드를 제시할 수 있다.
예를 들어, "어제 거기", "집 근처 A마트", "어제 간 서울역" 등과 같이 대화에 포함된 모호한 단어가 액션 인자의 인자 값이거나 조건 판단 인자의 인자 값에 해당할 수 있다. 그러나, 이 경우, 해당 단어 자체만으로는 그 모호성으로 인해 실제로 액션을 수행하거나 액션 수행 조건을 판단할 수가 없다.
모호성 해결기(123)는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)에 저장된 정보를 참조하여 인자 값의 모호성을 해결할 수 있다. 또는, 필요에 따라 외부 정보 관리기(126)를 이용하여 외부 컨텐츠 서버(300)로부터 필요한 정보를 가져오는 것도 가능하다.
예를 들어, 단기 메모리(144)를 참조하여 사용자가 어제 갔던 장소를 검색함으로써 "어제 거기"를 길 안내 액션의 목적지로 사용 가능한 정보로 변환할 수 있다. 또는, 장기 메모리(143)를 참조하여 사용자의 집 주소를 검색하고 외부 컨텐츠 서버(300)로부터 집 주소 근처의A마트에 관한 위치 정보를 가져옴으로써 "집 근처 A마트"를 길 안내 액션의 목적지로 사용 가능한 정보로 변환할 수 있다.
또한, 입력 처리기(110)에서 액션(오브젝트, 오퍼레이터)이 명확하게 추출되지 않거나 사용자의 의도가 모호한 상황에서, 모호성 해결기(123)가 모호성 해소 정보 DB(146e)를 참조하여 사용자의 의도를 파악하고, 이에 대응되는 액션을 결정하는 것도 가능하다.
도 27은 모호성 해소 정보 DB에 저장되는 정보의 예시를 나타내는 도면이다.
모호성 해소 정보 DB(146e)는 차량 상태 정보와 주변 상황 정보에 기초하여, 발화문과 그에 대응되는 액션을 매칭시켜 저장할 수 있다. 모호성 해소 정보 DB(146e)에 저장되는 발화문은 자연어 이해를 통해 액션을 추출할 수 없는 발화문일 수 있다. 도 27의 예시에서는 형태소 분석 결과에 따른 발화 내용이 손이 시리거나 손이 춥다는 내용인 경우에 대해 설명한다.
주변 상황 정보는 차량 외부 온도와 강우 여부를 포함할 수 있고, 차량 상태 정보는 에어컨/히터의 온/오프 여부와 풍량, 풍향, 스티어링 열선의 온/오프 여부를 포함할 수 있다.
구체적인 예로, 외부 온도가 20도가 넘으면서 비가 오는 경우, 에어컨이 온(On)되어 있으면 에어컨 온도가 너무 낮게 설정되어 손이 시린 것으로 파악할 수 있고, 대응되는 차량 제어 액션으로 에어컨 온도 3도 높이기를 저장할 수 있다.
외부 온도가 20도가 넘으면서 비가 오는 경우, 에어컨이 오프되어 있으면 강우로 인해 추위를 느끼는 것으로 파악할 수 있고, 대응되는 차량 제어 액션으로 히터 On 을 저장할 수 있다.
외부 온도가 20도가 넘으면서 비가 오지 않는 경우, 에어컨이 온되어 있고, 에어컨 풍향이 상향(Up)으로 설정되어 있으면 에어컨 바람이 손을 직접 향하여 손이 시린 것으로 파악할 수 있고, 대응되는 차량 제어 액션으로 에어컨 풍향을 하향(Down)으로 변경하는 것을 저장할 수 있다.
외부 온도가 20도가 넘으면서 비가 오지 않는 경우, 에어컨이 온되어 있고, 에어컨 풍향이 하향으로, 풍량이 중 이상으로 설정되어 있으면 에어컨 풍향이 너무 강하여 추위를 느끼는 것으로 파악할 수 있고, 대응되는 차량 제어 액션으로 에어컨 풍량을 낮추는 것을 저장할 수 있다.
외부 온도가 20도가 넘으면서 비가 오지 않는 경우, 에어컨이 온 되어 있고, 에어컨 풍향이 하향으로, 에어컨 풍량이 약하게(하) 설정되어 있으면 대응되는 차량 제어 액션으로 에어컨 온도를 3도 올리는 것을 저장할 수 있다.
외부 온도가 20도보다 낮으면서 히터가 오프되어 있는 경우에는, 추운 날씨로 인해 손이 시린 것으로 파악할 수 있고, 대응되는 차량 제어 액션으로 터 온을 저장할 수 있다.
외부 온도가 20도보다 낮으면서 히터가 온되어 있고 스티어링 열선이 오프되어 있는 경우, 온기가 손에 전달되지 않아 손이 시린 것으로 파악할 수 있고, 대응되는 차량 제어 액션을 스티어링 열선 온으로 저장할 수 있다.
외부 온도가 20도보다 낮으면서 히터와 스티어링 열선이 모두 온 되어 있고, 히터 풍향이 하향으로 설정된 경우에는 히터 바람이 손으로 전달되지 않아 손이 시린 것으로 파악할 수 있고, 대응되는 차량 제어 액션을 히터 풍향의 양방향 변경으로 저장할 수 있다.
외부 온도가 20도보다 낮으면서 히터와 스티어링 열선이 모두 온되어 있고, 히터 풍향이 상향으로 설정되어 있는 경우, 히터 온도가 최대치보다 낮게 설정되어 있으면, 대응되는 차량 제어 액션을 히터 온도 높이기로 저장할 수 있다.
외부 온도가 20도보다 낮으면서 히터와 스티어링 열선이 모두 온되어 있고, 히터 풍향이 상향으로 설정되어 있고 히터 온도가 최대치로 설정되어 있으며, 히터 풍량은 최대치로 설정되어 있지 않은 경우에는, 대응되는 차량 제어 액션을 히터 풍량 증가로 저장할 수 있다.
외부 온도가 20도보다 낮으면서 히터와 스티어링 열선이 모두 온되어 있고, 히터 풍향이 상향으로, 히터 온도와 히터 풍향이 모두 최대치로 설정되어 있는 경우에, 열선 시트가 오프되어 있으면, 대응되는 차량 제어 액션으로 열선 시트 온을 저장할 수 있다.
외부 온도가 20도보다 낮으면서 히터와 스티어링 열선이 모두 온되어 있고, 히터 풍향이 상향으로, 히터 온도와 히터 풍량이 모두 최대치로 설정되어 있으며, 열선 시트도 온되어 있는 경우에는, 대응되는 차량 제어 액션으로 현재 히터가 풀가동 중이므로 잠시 기다려 달라는 안내를 출력할 수 있다.
도 28a 및 도 28b는 모호성 해결기가 모호성 해소 정보 DB를 참조하여 모호성을 해결하고 액션을 추출하여 차량을 제어하는 다양한 예시들을 정리한 테이블이다.
예를 들어, 도 28a 및 도 28b에 도시된 바와 같이, 형태소 분석 결과에 따른 발화 내용이 손이 시리거나 손이 춥다는 내용인 경우, 주변 상황이 여름이면서 차량 상태는 에어컨의 풍향이 탑승자의 머리 쪽(상향)을 향하고, 에어컨 설정 온도가19도이며, 풍량이 상황인 경우에는 손으로 향하는 에어컨 바람으로 인해 손이 시린 것으로 파악할 수 있다. 따라서, 풍향을 발 쪽(하향)으로 변경하면서 풍량 세기를 줄이기 위한 에어컨 제어 액션을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서, 주변 상황이 겨울이면서 차량 상태는 히터의 풍향이 탑승자의 발 쪽을 향하고, 에어컨 설정 온도는 25이며, 풍량이 강하게 설정된 상황인 경우에는 온기가 사용자의 손에 전달되지 않아 손이 시린 것으로 파악할 수 있다. 따라서, 스티어링 휠의 열선 온(On) 액션을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
형태소 분석 결과에 따른 발화 내용이 답답하다는 내용인 경우, 차량 상태가 차량 속도 시속 30km 이하, 차량 앞뒤 간격이 30cm 미만인 상황인 경우, 교통 체증으로 인해 느끼는 답답함인 것으로 파악할 수 있다. 따라서, 길안내 액션에서 경로 옵션(빠른 경로 안내)을 변경하거나 음악과 같은 멀티미디어 컨텐츠를 재생하거나, 채팅 기능을 온(On)시키는 액션을 해당 발화에 대응되는 액션으로 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
형태소 분석 결과에 따른 발화 내용이 졸리다는 내용인 경우, 차량 상태가 내기모드인 상황이면, 공기 순환이 안됨에 따라 졸음이 유발된 것으로 파악할 수 있다. 따라서, 외기모드로 변경하는 액션을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서, 차량 상태가 외기모드이고 히터가 온(On)되어 있는 상황인 경우에는, 히터에서 방출되는 온기로 인해 졸음이 유발된 것으로 파악할 수 있다. 따라서, 창문 열기를 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
형태소 분석 결과에 따른 발화 내용이 땀이 난다거나 덥다는 내용인 경우, 주변 상황이 겨울이면서 차량 상태는 히터가 온(On)되어 있는 상황이면, 히터의 온기로 인해 더위가 유발된 것으로 파악할 수 있다. 따라서, 히터의 온도 낮추기나 풍량 줄이기를 해당 발화에 대응되는 액션으로 저장할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 겨울이면서 히터가 오프(Off)되어 있는 상황이면, 사용자의 신체 열기로 인해 더위가 유발된 것으로 파악할 수 있다. 따라서, 창문 열기 또는 창문 열기 제안을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 여름이면서 차량 상태가 에어컨이 오프되어 있는 상황이면, 차량 내부 온도가 높아서 더위가 유발된 것으로 파악할 수 있다. 따라서, 에어컨 실행(On)을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 여름이면서 차량 상태가 에어컨이 온(On)되어 있는 상황이면, 에어컨의 온도가 높게 설정되어 있어서 더위가 유발된 것으로 파악할 수 있다. 따라서, 에어컨 온도 낮추기 또는 풍량 증가를 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
형태소 분석 결과에 따른 발화 내용이 춥다는 내용인 경우, 주변 상황이 여름이면서 차량 상태가 에어컨이 온(On)되어 있는 상황이면, 에어컨 온도가 지나치게 낮게 설정되어 있거나 에어컨 바람이 지나치게 강하기 때문에 추위가 유발된 것으로 파악할 수 있다. 따라서, 에어컨 온도 높이기나 풍량 감소를 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 여름이면서 차량 상태가 에어컨이 오프되어 있는 상황이면, 사용자의 신체 컨디션에 문제가 있어 추위가 유발된 것으로 파악할 수 있다. 따라서, 히터의 실행이나 사용자의 바이오 리듬 체크를 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 겨울이면서 차량 상태가 히터가 온(On)되어 있는 상황이면, 히터의 온도가 낮게 설정되어 있거나 풍량이 약하기 때문에 추위가 유발된 것으로 파악할 수 있다. 따라서, 히터 온도 높이기나 풍량 증가를 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 겨울이면서 히터가 오프되어 있는 상황이면, 히터의 미실행으로 인해 추위가 유발된 것으로 파악할 수 있다. 따라서, 히터 실행을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
형태소 분석 결과에 따른 발화 내용이 머리가 아프다는 내용인 경우, 주변 상황이 겨울이면서 차량 상태가 히터가 온(On) 되어 있는 상황이면, 공기 순환이 되지 않아 두통이 유발된 것으로 파악할 수 있다. 따라서, 외기모드 변환 또는 창문 열기를 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 겨울이면서 차량 상태가 히터가 오프되어 있는 상황이면, 추위로 인해 두통이 유발된 것으로 파악할 수 있다. 따라서, 히터 실행을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 여름이면서 차량 상태가 에어컨이 오프되어 있는 상황이면, 더위로 인해 두통이 유발된 것으로 파악할 수 있다. 따라서, 에어컨 실행을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 여름이면서 차량 상태가 에어컨이 온(On)되어 있는 상황이면, 냉방병으로 인해 두통이 유발된 것으로 파악할 수 있다. 따라서, 에어컨의 풍향이나 풍량의 변경을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
형태소 분석 결과에 따른 발화 내용이 찝찝하다는 내용인 경우, 주변 상황이 겨울이고 비가 오는 상황이면, 높은 습도로 인해 불쾌함이 유발된 것으로 파악할 수 있다. 따라서, 디포그 기능의 실행이나 제습 기능의 실행을 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 여름이고 비가 오지 않는 상황이면, 계절적 특성과 더위로 인해 불쾌함이 유발된 것으로 파악할 수 있다. 따라서, 에어컨을 최저 온도로 실행시키는 것이 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
또한, 같은 내용의 발화에서 주변 상황이 여름이고 비가 오는 상황이면, 더위와 높은 습도로 인해 불쾌함이 유발된 것으로 파악할 수 있다. 따라서, 에어컨을 제습 모드로 실행하는 것이 해당 발화에 대응되는 액션으로 추출하고, 추출된 액션에 따라 차량을 제어할 수 있다.
전술한 모호성 해결기(123)의 동작에 의하면, 사용자의 발화나 상황에 모호성이 있는 경우이더라도 주변 상황 정보와 차량 상태 정보를 사용자의 발화와 함께 통합적으로 고려함으로써 사용자가 실제로 원하는 액션 또는 사용자에게 실제로 필요한 액션을 정확하게 파악하여 제공할 수 있다.
모호성 해결기(123)가 판단한 액션에 관한 정보는 대화 액션 관리기(122)로 전달될 수 있고, 대화 액션 관리기(122)는 전달된 정보에 기초하여 대화/액션 DB(147)를 업데이트할 수 있다.
액션 우선순위 결정기(125)와 인자 관리기(124)는 모호성 해결기(123)가 판단한 액션에 대해서도 전술한 바와 같이 액션 수행 조건을 판단하고, 우선 순위를 결정하고, 인자 값을 가져오는 동작을 수행한다.
각 액션을 수행하는데 사용되는 인자 값들 중 현재 상황과 대화를 통해 획득 가능한 값들이 모두 획득되면, 대화 액션 관리기(122)는 대화 흐름 관리기(121)에 신호를 전송한다.
한편, 액션 수행이나 조건 판단에 있어 필요한 인자 값이 대화/액션 DB(147), 외부 컨텐츠 서버(300), 장기 메모리(143), 단기 메모리(144) 및 상황 정보 DB(142)에 존재하지 않고, 사용자를 통해서만 획득될 수 있는 경우에는 결과 처리기(130)가 사용자에게 인자 값을 질의하기 위한 대화 응답을 생성하는 것도 가능하다.
대화 흐름 관리기(121)는 1순위에 해당하는 액션에 관한 정보와 대화 상태를 결과 처리기(130)로 전달한다. 대화 정책에 따라 복수의 후보 액션에 관한 정보를 전달하는 것도 가능하다.
대화 시스템(100)이 선발화를 출력하는 경우 즉, 입력 처리기(110)에서 선발화 트리거 신호가 생성된 경우에는, 결과 처리기(130)로 전달되는 대화 상태에 선발화 트리거 신호가 포함될 수 있다. 다만, 대화 상태에 반드시 선발화 트리거 신호가 포함되어야 하는 것은 아니고, 선발화 상황임을 나타낼 수 있는 정보이면 어떤 형태의 것이든 대화 상태에 포함될 수 있다. 대화 상태에 선발화 상황임을 나타내는 정보가 포함된 경우에는, 결과 처리기(130)가 대화 응답을 다른 형태의 응답에 우선하여 출력하거나, 다른 형태의 응답과 함께 출력할 수 있다.
또한, 대화 시스템(100)이 선발화를 출력하는 경우에 있어서, 대화 입력 관리기(111c)로부터 선발화 상황에 대응되는 선발화 메시지가 입력된 경우에는 전술한 모호성 해결, 인자 관리, 액션 순위 결정 등의 과정을 거치지 않고 선발화 메시지를 결과 처리기(130)에 전달할 수 있다.
또한, 대화 시스템(100)이 선발화를 출력하는 경우에 있어서, 대화 입력 관리기(111c)로부터 선발화 상황에 대응되는 액션이 입력된 경우에는 전술한 모호성 해결, 인자 관리, 액션 순위 결정 등의 과정을 거치는 것도 가능하고, 이러한 과정을 거치지 않고 선발화 상황에 대응되는 액션을 결과 처리기(130)에 전달하는 것도 가능하다.
도 29는 결과 처리기의 구성을 세분화한 제어 블록도이다.
도 29를 참조하면, 결과 처리기(130)는 대화 관리기(120)로부터 입력된 액션을 수행하기 위해 필요한 응답의 생성을 관리하는 응답 생성 관리기(131), 응답 생성 관리기(131)의 요청에 따라 텍스트 응답, 이미지 응답 또는 오디오 응답을 생성하는 대화 응답 생성기(132), 응답 생성 관리기(131)의 요청에 따라 차량 제어를 위한 명령어 또는 외부 컨텐츠를 이용한 서비스를 제공하기 위한 명령어를 생성하는 명령어 생성기(136), 사용자가 원하는 서비스를 제공하기 위해 다수의 서비스를 순차적 또는 산발적으로 실행하고 결과값을 취합해주는 서비스 편집기(134), 생성된 텍스트 응답, 이미지 응답 또는 오디오 응답을 출력하거나 명령어 생성기(136)가 생성한 명령어를 출력하고, 출력이 복수인 경우에는 출력 순서를 결정하는 출력 관리기(133), 응답 생성 관리기(131)와 출력 관리기(133)의 출력에 기초하여 장기 메모리(143)와 단기 메모리(144)를 관리하는 메모리 관리기(135)를 포함한다.
결과 처리기(130)는 전술 또는 후술하는 동작을 수행하기 위한 프로그램이 저장되는 메모리 및 저장된 프로그램을 실행시키는 프로세서를 포함할 수 있다. 메모리와 프로세서는 각각 적어도 하나 마련될 수 있고, 복수 개 마련되는 경우에는 이들이 하나의 칩 상에 집적될 수도 있고 물리적으로 분리될 수도 있다.
또한, 결과 처리기(130)에 포함되는 각각의 구성요소들이 단일 프로세서에 의해 구현되는 것도 가능하고, 별개의 프로세서에 의해 구현되는 것도 가능하다.
또한, 결과 처리기(130)와, 대화 관리기(120) 및 입력 처리기(110) 역시 단일 프로세서에 의해 구현되는 것도 가능하고, 별개의 프로세서에 의해 구현되는 것도 가능하다.
사용자의 발화나 상황에 대응하여 출력되는 응답은 대화 응답, 차량 제어, 외부 컨텐츠 제공 등을 포함할 수 있다. 대화 응답은 초기 대화, 질의, 정보 제공을 포함하는 답변 등의 형식을 가질 수 있고 응답 템플릿(149)에 데이터베이스화되어 저장될 수 있다.
응답 생성 관리기(131)는 대화 응답 생성기(132)와 명령어 생성기(136)에 대화 관리기(120)에서 결정된 액션을 수행하기 위해 필요한 응답의 생성을 요청한다. 이를 위해, 수행될 액션에 관한 정보를 대화 응답 생성기(132)와 명령어 생성기(136)에 전송할 수 있고, 수행될 액션에 관한 정보는 액션명, 인자 값 등을 포함할 수 있다. 응답을 생성함에 있어, 대화 응답 생성기(132)와 명령어 생성기(136)는 현재 대화 상태와 액션 상태를 참조할 수 있다.
대화 응답 생성기(132)는 응답 템플릿(149)을 검색하여 대화 응답 서식을 추출할 수 있고, 추출된 대화 응답 서식에 필요한 인자 값을 채워 대화 응답을 생성한다. 생성된 대화 응답은 응답 생성 관리기(131)로 전달된다. 대화 응답 생성에 필요한 인자 값이 대화 관리기(120)로부터 전달되지 않거나, 외부 컨텐츠를 이용하라는 지시가 전달된 경우에는 외부 컨텐츠 서버(300)로부터 제공받거나 장기 메모리(143), 단기 메모리(144) 또는 상황 정보 DB(142)에서 검색할 수 있다.
예를 들어, 대화 관리기(120)에서 결정된 액션이 길 안내에 해당하는 경우, 응답 템플릿(149)을 검색하여 "[현재 위치:-]에서 [목적지:-]까지 [소요 시간:-]이 소요될 것으로 예상됩니다. 안내를 시작할까요?"를 대화 응답 서식으로 추출할 수 있다.
대화 응답 서식에 채워져야 할 인자 중에서[현재 위치]와 [목적지]의 인자 값은 대화 관리기(120)로부터 전달되고, [소요 시간]의 인자 값은 전달되지 않을 수 있다. 이 경우, 대화 응답 생성기(132)는 외부 컨텐츠 서버(300)에 [현재 위치]에서 [목적지]까지 소요되는 시간을 요청할 수 있다.
명령어 생성기(136)는 사용자의 발화나 상황에 대한 응답이 차량 제어 또는 외부 컨텐츠 제공을 포함하는 경우, 이를 실행하기 위한 명령어를 생성한다. 예를 들어, 대화 관리기(120)에서 결정된 액션이 공조 장치, 윈도우, 시트, AVN 등의 제어인 경우에 해당 제어를 실행하기 위한 명령어를 생성하여 응답 생성 관리기(131)에 전달한다.
또는, 대화 관리기(120)에서 결정된 액션이 외부 컨텐츠의 제공을 필요로 하는 경우에는 외부 컨텐츠 서버(300)로부터 해당 컨텐츠를 제공받기 위한 명령어를 생성하여 응답 생성 관리기(131)에 전달한다.
명령어 생성기(136)에서 생성한 명령어가 복수인 경우, 서비스 편집기(134)가 복수의 명령어를 실행하는 방법과 순서를 결정하여 응답 생성 관리기(131)에 전달한다.
응답 생성 관리기(131)는 대화 응답 생성기(132), 명령어 생성기(136) 또는 서비스 편집기(134)로부터 전달받은 응답을 출력 관리기(133)에 전달한다.
출력 관리기(133)는 대화 응답 생성기(132)가 생성한 대화 응답과 명령어 생성기(136)가 생성한 명령어의 출력 타이밍, 출력 순서, 출력 위치 등을 결정한다.
출력 관리기(133)는 응답 생성기(132)가 생성한 대화 응답과 명령어 생성기(136)가 생성한 명령어를 적절한 타이밍에 적절한 순서로 적절한 출력 위치에 전송하여 응답을 출력한다. TTS(Text to Speech) 응답은 스피커(232)를 통해 출력할 수 있고, 텍스트 응답은 디스플레이(231)를 통해 출력할 수 있다. 대화 응답을 TTS 형태로 출력하는 경우에는 차량(200)에 마련된 TTS 모듈을 이용하거나 출력 관리기(133)가 TTS 모듈을 포함할 수도 있다.
명령어는 그 제어 대상에 따라 차량 제어기(240)로 전송될 수도 있고, 외부 컨텐츠 서버(300)와 통신하기 위한 통신 장치(280)로 전송될 수도 있다.
응답 생성 관리기(131)는 대화 응답 생성기(132), 명령어 생성기(136) 또는 서비스 편집기(134)로부터 전달받은 응답을 메모리 관리기(135)에도 전달할 수 있다.
또한, 출력 관리기(133)도 자신이 출력한 응답을 메모리 관리기(135)에 전달할 수 있다.
메모리 관리기(135)는 응답 생성 관리기(131) 및 출력 관리기(133)로부터 전달받은 내용에 기초하여 장기 메모리(143)와 단기 메모리(144)를 관리한다. 예를 들어, 메모리 관리기(135)는 생성 및 출력된 대화 응답에 기초하여 사용자와 시스템 간 대화 내용을 저장하여 단기 메모리(144)를 업데이트할 수 있고, 사용자와의 대화를 통해 획득된 사용자 관련 정보를 저장하여 장기 메모리(143)를 업데이트할 수 있다.
또한, 단기 메모리(144)에 저장된 정보 중 사용자의 성향이나 선호도와 같이 의미 있고 영속성이 있는 정보 또는 이러한 정보를 획득하는데 사용될 수 있는 정보를 장기 메모리(143)에 저장할 수도 있다.
또한, 생성 및 출력된 명령어에 대응되는 차량 제어나 외부 컨텐츠 요청에 기초하여 장기 메모리(143)에 저장된 사용자의 선호도나 차량 제어 이력 등을 업데이트할 수도 있다.
한편, 사용자의 발화 입력 이전에 대화 시스템(100)이 선발화를 출력하는 경우에 있어서, 대화 입력 관리기(111c)로부터 선발화 상황에 대응되는 액션을 입력 받은 경우에는, 액션에 관한 정보를 입력 받은 대화 응답 생성기(132)가 응답 템플릿(149)을 검색하여 대화 응답 서식을 추출할 수 있고, 추출된 대화 응답 서식에 필요한 인자 값을 채워 대화 응답을 생성할 수 있다. 생성된 대화 응답은 응답 생성 관리기(131)로 전달된다. 여기서의 대화 응답은 대화 시스템(100)의 선발화가 된다.
응답 생성 관리기(131)는 대화 응답 생성기(132)로부터 전달받은 대화 응답을 출력 관리기(133)에 전달한다.
출력 관리기(133)는 대화 응답 생성기(132)가 생성한 대화 응답을 스피커(232)를 통해 출력할 수 있다.
결과 처리기(130)가 대화 흐름 관리기(121)로부터 선발화 상황에 대응되는 선발화 메시지 자체를 입력 받은 경우에는, 입력된 선발화 메시지가 대화 응답이 되고, 입력된 선발화 메시지는 출력 관리기(133)에 전달될 수 있다.
출력 관리기(133)는 전달된 선발화 메시지를 스피커(232)를 통해 출력할 수 있다.
또한, 대화 시스템(100)이 선발화를 출력한 이후에 사용자의 발화가 입력되면, 그 이후에는 앞서 설명한 사용자의 발화를 처리하는 동작이 동일하게 수행될 수 있다.
전술한 실시예에 따른 대화 시스템(100)에 의하면, 차량 내부에서 발생하는 다양한 상황을 고려하여 사용자에게 필요한 최적의 서비스를 제공할 수 있다. 특히, 사용자의 발화가 입력되지 않더라도 대화 시스템(100)이 수집한 상황 정보 또는 운전자 정보에 기초하여 사용자에게 필요한 서비스를 스스로 판단하고 이를 선제적으로 제공하는 것이 가능하다.
예를 들어, 차량 시동 시의 상황에 따라 차량 상태의 평가 기준을 가변화하고 이에 대한 피드백을 선제적으로 제공할 수 있다. 주행 시작 시점을 차량 시동 시, EPB(Electronic Parking Brake) 해제 시 또는 내비게이션 목적지 설정 시 등으로 정의한다. 주행 가능 점수를 계산하는 차량 상태 평가 시스템 및 개별 장치에 가중치를 주고, 상황 요소에 따라 개별 장치에 적용되는 가변적인 가중치를 변화시킨다. 차량 상태에 문제가 있는 것으로 판단될 경우, 정비소 안내 등 개별 장치에 대한 문제 해결 방안을 제공할 수 있다.
또한, 차량 시동 인가 시 목적지 대비 유량 부족 여부를 판단하고, 유량이 부족할 경우 이에 대한 피드백으로 목적지까지의 경로 내에 사용자 선호 주유소를 자동 경유지로 추가하고, 이를 사용자에게 안내할 수 있다. 또한, 사용자의 응답에 따라 자동 경유지로 추가되는 주유소가 변경될 수도 있다.
또한, 현재 차량 상태가 유량 부족을 나타내지 않더라도, 사용자의 향후 일정이나 주요 이동 기록, 잔유량 등을 종합적으로 고려하여 주유 장소나 시점을 선제적으로 제공할 수도 있다.
또한, 운전자의 신체 상태 및 수면 기록에 관한 정보를 획득하고, 획득된 정보에 기초하여 차량 시동 인가를 조건부로 허가할 수 있다. 예를 들어, 차량 외부에서 신체 상태와 수면 기록을 인식하여 졸음 운전 가능성이 인지되면 비운전을 추천할 수 있다. 또는 신체 상태나 수면 기록에 따라 권장 운전 시간에 대한 정보를 제공할 수도 있다.
또한, 졸음 운전 가능성을 나타내는 트리거가 반복적으로 발생할 경우, 졸음 운전 가능성을 감지하고 감지된 가능성의 정도에 따라 경고를 출력하거나 자동으로 경로를 변경(휴게소)하는 피드백을 제공할 수 있다. 졸음 운전 가능성을 나타내는 트리거는 심박 저하가 나타난 경우, 선행 차량과의 거리가 기준 거리 이상인 경우, 속도가 기준 속도 이하인 경우와 같이 운전자의 상태나 차량의 상태를 수동적으로 측정하여 획득하는 것도 가능하고, 운전자에게 질의를 발화하고 이에 대한 운전자의 응답 속도를 측정하는 등 대화를 통해 능동적으로 획득하는 것도 가능하다.
또한, 사용자가 감정을 표현하는 발화를 입력한 경우, 사용자의 발화로부터 특정 도메인이나 액션은 추출할 수 없지만 대화 시스템(100)은 주변 상황 정보, 차량 상태 정보, 사용자 상태 정보 등을 이용하여 사용자의 의도를 파악하고 대화를 전개할 수 있다. 당해 예시는 전술한 바와 같이 모호성 해결기(230)에서 사용자 발화의 모호성을 해결함으로써 수행될 수 있다.
이하 일 실시예에 따른 대화 시스템(100)을 이용한 구체적인 대화 처리의 예시를 상세하게 설명하도록 한다.
도 30 내지 도 42는 사용자가 길 안내와 관련한 발화를 입력한 경우에 대화 시스템(100)이 입력을 처리하고, 대화를 관리하고, 결과를 출력하는 구체적인 예시를 나타낸 도면이다.
도 30에 도시된 바와 같이, 사용자가 "어제 간 서울역으로 가자"는 발화를 입력한 경우, 음성 인식기(111a)는 사용자의 음성을 텍스트 형태의 발화문(어제 간 서울역으로 가자)으로 출력한다.
자연어 이해기(111b)는 형태소를 분석하고, 도메인/액션 추론 규칙 DB(141)를 참조하여, 형태소 분석 결과(어제/NNG, 간/VV, 서울역/NNP, 가자/VV)로부터 [도메인: 내비게이션], [액션: 길안내], [화행: 요청], [인자:NLU 목적지: 서울역]을 추출하여 대화 입력 관리기(111c)에 입력할 수 있다.
도 31을 참조하면, 대화 입력 관리기(111c)는 자연어 이해기(111b)의 자연어 이해 결과를 상황 이해기(112c)에 전달하면서 추가 정보가 있으면 보내줄 것을 요청한다.
상황 이해기(112c)는 상황 이해 테이블(145)을 검색하여 [도메인: 내비게이션], [액션: 길안내]와 관련된 상황 정보는 현재 위치이고 상황 정보 타입은 GPS 값임을 추출할 수 있다.
상황 이해기(112c)는 상황 정보 DB(142)를 검색하여 현재 위치의 GPS 값을 추출한다. 상황 정보 DB(142)에 현재 위치의 GPS 값이 저장되어 있지 않은 경우에는, 상황 정보 수집 관리기(112b)에 현재 위치의 GPS 값을 요청한다.
상황 정보 수집 관리기(112b)는 상황 정보 수집기(112a)에 신호를 보내 현재 위치의 GPS 값을 수집하도록 하고, 상황 정보 수집기(112a)는 차량 제어기(240)로부터 GPS 값을 수집하여 상황 정보 DB(142)에 저장하면서 GPS 값 수집 확인 신호를 상황 정보 수집 관리기(112b)에 전송한다. 상황 정보 수집 관리기(112b)가 상황 이해기(112c)에 GPS 값 수집 확인 신호를 전달하면, 상황 이해기(112c)는 상황 정보 DB(142)로부터 현재 위치의 GPS 값을 추출하여 대화 입력 관리기(111c)에 전달한다.
대화 입력 관리기(111c)는 자연어 이해 결과인 [도메인: 내비게이션], [액션: 길안내], [화행: 요청], [인자: NLU: 목적지: 서울역]와 [상황 정보: 현재 위치: 의왕역(GPS 값)]를 통합하여 대화 관리기(120)에 전달한다.
도 32를 참조하면, 대화 흐름 관리기(121)는 대화/액션 상태 DB(147)를 검색하여 진행 중인 대화 태스크나 액션 태스크가 있는지 판단한다. 이 때, 대화 정책 DB(148)를 참조할 수 있다. 당해 예시에서는 진행 중인 대화 태스크나 액션 태스크가 없는 상태인 것으로 가정한다.
대화 흐름 관리기(121)는 대화 액션 관리기(122)에 입력 처리기(110)의 출력에 대응되는 액션 태스크와 대화 태스크를 생성하도록 요청한다. 액션 태스크와 대화 태스크를 생성하는 것은 액션 상태와 대화 상태에 대한 정보를 저장하고 관리하기 위한 저장 공간을 할당하는 것을 의미한다.
따라서, 대화 액션 관리기(122)는 대화/액션 상태DB(147) 내에 저장 공간을 할당하여 액션 상태에 대한 정보와 대화 상태에 대한 정보를 저장한다.
대화 액션 관리기(122)는 액션 상태와 대화 상태를 액션 우선순위 결정기(125)에 전달한다.
액션 우선순위 결정기(125)는 연관 액션 DB(146b)에서 길 안내와 연계된 액션인 차량 상태 점검, 주유소 추천을 검색한다. 길 안내 액션 및 연계 액션들은 후보 액션이 된다.
액션 우선순위 결정기(125)는 미리 저장된 규칙에 따라 각 후보 액션들의 우선 순위를 결정할 수 있다. 우선 순위는 각 후보 액션 별 수행 조건이 판단되기 전에 결정될 수도 있고, 수행 조건이 판단된 이후에 수행 조건을 만족하는 후보 액션들에 대해서만 결정될 수도 있다.
후보 액션 목록은 다시 대화 액션 관리기(122)로 전달되고, 대화 액션 관리기(122)는 검색된 연계 액션들을 추가하여 액션 상태를 업데이트한다.
도 33을 참조하면, 액션 우선순위 결정기(125)는 액션 수행 조건 DB(146c)에서 각각의 후보 액션에 대한 수행 조건 및 수행 조건을 판단하기 위한 인자를 검색한다. 또한, 각 후보 액션들 사이의 우선 순위도 결정할 수 있다.
예를 들어, 차량 상태 점검을 수행하기 위한 조건은 목적지 거리가 100km 이상인 경우일 수 있고, 수행 조건을 판단하기 위해 필요한 인자는 목적지 거리이다.
주유소 추천을 수행하기 위한 조건은 목적지 거리가 주행 가능 거리(DTE)보다 먼 경우일 수 있고, 수행 조건을 판단하기 위해 필요한 인자는 목적지 거리와 주행 가능 거리이다.
대화 액션 관리기(122)는 대화/액션 상태 DB(147)에 각 후보 액션을 수행하기 위한 조건과 조건 판단에 필요한 인자를 추가하여 액션 상태를 업데이트한다.
액션 우선순위 결정기(125)는 각 후보 액션의 수행 조건 만족 여부를 판단하기 위해 필요한 인자 값을 대화/액션 상태 DB(147), 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)에서 검색하여 가져올 수 있다.
인자 값이 이전 대화 내용에 포함되었거나, 대화 내용에 관련된 상황 정보에 포함되었거나, 발생된 이벤트에 관련된 상환 정보에 포함된 경우, 대화/액션 상태DB(147)로부터 인자 값을 가져올 수 있다.
인자 값을 대화/액션 상태 DB(147), 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)에서 가져올 수 없는 경우에는 외부 정보 관리기(126)에 요청할 수 있다.
예를 들어, 목적지 거리는 외부 정보 관리기(126)를 통해, 내비게이션 서비스를 제공하는 외부 컨텐츠 서버(300)로부터 가져올 수 있고, DTE는 상황 정보 DB(142)로부터 가져올 수 있다. 한편, 목적지 거리를 검색하기 위해서는 내비게이션 서비스에서 사용되는 정확한 목적지 정보가 필요하다. 당해 예시에서 사용자의 발화로부터 입력된 목적지는 "서울역"에 해당하는바, 서울역은 서울역으로 시작되는 다양한 종류의 장소를 나타내거나 특정한 의미의 서울역일 수 있다. 따라서, "서울역"만으로는 정확한 목적지 거리를 검색하기 어렵다.
또한, 필요에 따라 인자 값을 차량(200)과 연결된 모바일 기기(400)에서 가져오는 것도 가능하다. 예를 들어, 장기 메모리(143)에 저장되지 않은 연락처, 스케줄 등과 같은 사용자 정보가 인자 값으로 필요할 경우, 외부 정보 관리기(126)가 모바일 기기(400)에 필요한 정보를 요청하여 필요한 인자 값을 획득할 수 있다.
또한, 저장부(140), 외부 컨텐츠 서버(300) 및 모바일 기기(400)를 통해서도 인자 값을 획득할 수 없는 경우에는 사용자에게 질의하여 필요한 인자 값을 획득할 수 있다.
액션 우선순위 결정기(125)는 인자 값을 이용하여 각 후보 액션의 수행 조건을 판단한다. 목적지 거리는 검색되지 않았으므로, 일단 차량 상태 점검 액션과 주유소 추천 액션에 대해서는 수행 조건의 판단을 보류한다.
도 34에 도시된 바와 같이, 대화 액션 관리기(122)는 대화/액션 상태 DB(147)에 획득된 인자 값과 해당 인자 값을 이용하여 판단된 액션 수행 조건 만족 여부를 추가하여 액션 상태를 업데이트한다.
대화 액션 관리기(122)는 인자 관리기(124)에 각 후보 액션의 수행에 사용되는 인자 목록을 요청한다.
인자 관리기(124)는 액션 인자(146a)로부터 길 안내 액션의 수행에 사용되는 필수 인자로 현위치와 목적지를 추출하고, 선택 인자로 경로 타입(초기값: 빠른 경로)을 추출할 수 있다.
차량 상태 점검 액션의 수행에 사용되는 선택 인자로 점검파트(초기값: 전체 파트)를 추출하고, 주유소 추천 액션의 수행에 사용되는 선택 인자로 선호 주유소(초기값: A오일)를 추출할 수 있다.
추출된 인자 목록은 대화 액션 관리기(122)로 전달되어 액션 상태를 업데이트하는데 사용될 수 있다.
인자 관리기(124)는 각 후보 액션의 필수 인자와 선택 인자에 대응되는 인자 값을 획득하기 위해 대화/액션 상태 DB(147), 상황 정보 DB(142), 장기 메모리(143) 및 단기 메모리(144) 중 각 인자의 참조 위치에서 해당 인자 값을 검색하고, 인자 값이 외부 서비스를 통해 제공되어야 하는 경우에는 외부 정보 관리기(126)를 통해 외부 컨텐츠 서버(300)에 필요한 인자 값을 요청할 수 있다.
후보 액션의 수행 조건을 판단하기 위해 사용되는 인자와, 후보 액션을 수행하는데 사용되는 인자가 상호 겹칠 수 있다. 액션 우선순위 결정기(125)가 획득하여 대화/액션 상태 DB(147)에 저장한 인자 값 중에 후보 액션을 수행하는데 사용되는 인자(필수 인자, 선택 인자)와 대응되는 것이 있으면, 이를 사용할 수 있다.
도 35를 참조하면, 대화 액션 관리기(122)는 인자 관리기(124)가 획득한 인자 값을 추가하여 액션 상태를 업데이트한다.
전술한 바와 같이, 사용자 발화로부터 추출한 목적지(서울역)이 길 안내 액션의 인자로 사용되기에는 모호성이 있다. 따라서, 길 안내 액션의 인자(목적지), 차량 상태 점검 액션의 인자(목적지 거리), 주유소 추천 액션의 인자(목적지 거리)의 인자 값이 아직 획득되지 않았다.
모호성 해결기(123)는 [인자:NLU:목적지:서울역]이 길 안내 액션에 적합한 목적지 인자로 변환하는데 모호성이 있는지 확인한다. 전술한 바와 같이 "서울역"은 서울역으로 시작되는 다른 종류의 장소를 의미할 수도 있고, 사용자가 의미하는 특정 위치의 서울역일 수도 있다.
모호성 해결기(123)는 형태소 분석 결과를 참조하여 사용자 발화 중 서울역의 수식어가 있음을 확인한다. 모호성 해결기(123)는 "어제 간 서울역"의 위치를 파악하기 위해 장기 메모리(143), 단기 메모리(144)에서 일정, 이동 위치, 연락처 등을 검색한다.
예를 들어, 모호성 해결기(123)는 사용자의 어제 이동 위치로부터 "어제 간 서울역"이 "서울역 4번 출구"임을 확인할 수 있다. "서울역 4번 출구"의 POI가 있음을 확인하고 해당 값을 가져온다.
모호성 해결기(123)가 획득한 목적지 정보는 대화 액션 관리기(122)로 전달되고, 대화 액션 관리기(122)는 후보 액션의 목적지 인자에 "서울역 4번 출구"를 추가하여 액션 상태를 업데이트한다.
인자 관리기(124)는 대화/액션 DB(147)로부터 목적지 정보(서울역 4번 출구)를 가져오고, 외부 정보 관리기(126)를 통해 내비게이션 서비스를 제공하는 외부 컨텐츠 서버(300)에 목적지 거리 값을 요청한다.
도 36을 참조하면, 외부 정보 관리기(126)가 외부 컨텐츠 서버(300)로부터 목적지 거리 값(80km)을 획득하여 인자 관리기(124)에 전달하면, 인자 관리기(124)는 이를 대화 액션 관리기(122)에 전달하여 액션 상태가 업데이트될 수 있도록 한다.
액션 우선순위 결정기(125)는 액션 상태를 참조하여 후보 액션의 수행 가능 여부를 판단하고, 우선 순위를 조절할 수 있다. 길 안내 액션은 필수 인자인 현재 위치와 목적지의 인자 값이 획득되었으므로, 수행 가능하고, 차량 상태 점검 액션은 목적지 거리(70km)가 100km 미만이므로 수행이 불가한 것으로 판단할 수 있다. 주유소 추천 액션은 목적지 거리(80km)가 주행 가능 거리(DTE)보다 멀기 때문에 수행이 가능한 것으로 판단할 수 있다.
차량 상태 점검 액션은 수행이 불가하므로 우선순위 결정에서 제외한다. 따라서, 길 안내 액션이 우선순위1번으로, 주유소 추천 액션이 우선순위 2번으로 조절된다.
대화 액션 관리기(122)는 후보 액션의 수행 가부와 조절된 우선 순위에 따라 액션 상태를 업데이트한다.
대화 흐름 관리기(121)는 대화/액션 상태 DB(147)에 저장된 대화 상태 및 액션 상태를 확인하고, 대화 정책 DB(148)를 참조하여 대화를 진행하기 위한 대화 전략을 전개한다. 예를 들어, 수행 가능한 액션 중 우선 순위가 가장 높은 액션을 선택하고, 대화 정책 DB(148)에 따라 대화를 진행하기 위한 응답을 생성하도록 응답 생성 관리기(131)에 요청할 수 있다.
대화/액션 DB(147)에 저장된 대화 상태와 액션 상태는 [상태: 길안내 시작 확인]으로 각각 업데이트될 수 있다.
도 37을 참조하면, 응답 생성 관리기(131)는 대화 흐름 관리기(121)의 요청에 따라 대화 응답 생성기(132)에 응답 생성을 요청한다.
대화 응답 생성기(132)는 응답 템플릿(149)를 검색하여 TTS 응답, 텍스트 응답을 생성한다. 예를 들어, "의왕역에서 서울역 4번 출구까지30분이 소요될 것으로 예상됩니다. 안내를 시작할까요?"를 TTS와 텍스트로 출력할 수 있는 대화 응답을 생성할 수 있다.
응답 생성 관리기(131)는 대화 응답 생성기(132)가 생성한 TTS 응답과 텍스트 응답을 출력 관리기(133)와 메모리 관리기(135)에 전달하고, 출력 관리기(133)는 TTS응답을 스피커(232)에 전송하고 텍스트 응답을 디스플레이(231)에 전송한다. 이 때, 출력 관리기(133)는 텍스트를 음성으로 합성하는 TTS모듈을 거쳐 TTS응답을 스피커(232)로 전송할 수 있다.
메모리 관리기(135)는 사용자가 길 안내를 요청했음을 단기 메모리(144) 또는 장기 메모리(143)에 저장할 수 있다.
디스플레이(231)와 스피커(232)를 통해 "의왕역에서 서울역4번 출구까지 30분이 소요될 것으로 예상됩니다. 안내를 시작할까요?"라고 묻는 대화 응답이 출력된다. 도 38에 도시된 바와 같이, 사용자가 "그래"라고 발화하면, 사용자의 발화는 음성 인식기(111a)로 입력되어 [텍스트: 그래]로 출력되고, 자연어 이해기(111b)는 사용자의 발화로부터 [도메인:-], [액션:-], [화행: -], [형태소 분석 결과: 그래/IC]를 출력한다.
자연어 이해 결과는 대화 입력 관리기(111c)로 전달되고, 대화 입력 관리기(111c)는 이를 대화 관리기(120)에 전달한다.
도 39를 참조하면, 대화 흐름 관리기(121)는 대화/액션 상태 DB를 검색하여 이전 대화 상태를 분석하고, 진행 중인 [길 안내] 관련 대화/액션을 업데이트하도록 대화 액션 관리기(122)에 요청한다.
대화 액션 관리기(122)는 대화 상태와 액션 상태를 [상태: 길 안내 시작]으로 업데이트한다.
대화 흐름 관리기(121)는 결과 처리기(130)에 길 안내 시작을 위한 응답 생성을 요청한다.
도 40을 참조하면, 대화 액션 관리기(122)는 대화 상태를 [상태: 다음 대화 진행]으로 업데이트하고, 액션 상태를 [상태: execute]로 업데이트한다.
대화 흐름 관리기(121)는 응답 생성 관리기(131)에 길 안내를 위한 응답 생성을 요청한다.
응답 생성기(132)는 "길 안내를 시작합니다"를 TTS와 텍스트로 출력할 수 있는 대화 응답을 생성하여 응답 생성 관리기(131)에 전달할 수 있다.
명령어 생성기(136)는 길 안내를 수행하기 위한 명령어 [대상: 내비게이션, 명령: 길안내, 목적지: 서울역 4번 출구, 출발지: 의왕역]를 생성하여 응답 생성 관리기(131)에 전달할 수 있다.
응답 생성 관리기(131)는 생성된 대화 응답과 명령어를 출력 관리기(133)에 전달한다. 출력 관리기(133)는 디스플레이(231) 및 스피커(232)를 통해 대화 응답을 출력하고, 길안내 명령어는 제어부(240)를 통해 차량(200)의AVN(230)에 전송하거나 내비게이션 서비스를 제공하는 외부 컨텐츠 서버(300)에 전송할 수 있다.
도 41을 참조하면, 대화 흐름 관리기(121)는 다음으로 실행 가능한 액션으로 주유소 추천을 선택하고, 주유소 추천 여부를 사용자에게 문의하는 응답을 생성하도록 응답 생성 관리기(131)에 요청한다.
대화 상태와 액션 상태는 [상태: 연계 서비스 추천 확인]으로 업데이트될 수 있다.
응답 생성 관리기(131)는 대화 응답 생성기(132)에 TTS 응답 및 텍스트 응답 생성을 요청하고, 대화 응답 생성기(132)는 "목적지까지 이동하기 위한 연료가 부족합니다. 경유지로 A오일 주유소 추가할까요?"를TTS와 텍스트로 출력할 수 있는 대화 응답을 생성하여 응답 생성 관리기(131)에 전달할 수 있다.
응답 생성 관리기(131)는 대화 응답 생성기(132)가 생성한 TTS 응답과 텍스트 응답을 출력 관리기(133)와 메모리 관리기(135)에 전달하고, 출력 관리기(133)는 TTS응답을 스피커(232)에 전송하고 텍스트 응답을 디스플레이(231)에 전송한다.
디스플레이(231)와 스피커(232)를 통해 "목적지까지 이동하기 위한 연료가 부족합니다. 경유지로 A오일 주유소 추가할까요?"라고 묻는 대화 응답이 출력된다. 도 42에 도시된 바와 같이, 사용자가 "아니"라고 발화하면, 사용자의 발화는 음성 인식기(111a)로 입력되어 [텍스트: 아니]로 출력되고, 자연어 이해기(111b)는 사용자의 발화로부터 [도메인:-], [액션:-], [화행: -], [형태소 분석 결과: 아니/IC]를 출력한다.
대화 흐름 관리기(121)는 대화 액션 관리기(122)에 대화 상태 및 액션 상태의 업데이트를 요청한다.
대화 액션 관리기(122)는 대화 상태를 [상태: 다음 대화 진행]으로 업데이트하고, 액션 상태를 [상태: CANCEL]로 업데이트할 수 있다.
대화 흐름 관리기(121)는 응답 생성 관리기(131)에 주유소 추천 서비스를 취소했다는 응답을 생성하도록 요청하고, 다음으로 진행 가능한 대화가 있는지 확인한다. 더 진행 가능한 대화가 없으면, 대화 상태를 [상태: IDLE]로 업데이트하고, 사용자의 입력을 기다린다.
앞서 설명한 데이터 처리의 흐름은 대화 시스템(100)에 적용되는 일 예시에 불과하다. 따라서, 대화 시스템(100)의 각 구성요소들이 데이터를 처리하는 순서가 전술한 예시에 한정되는 것은 아니며, 복수의 구성요소들이 동시에 데이터를 처리하는 것도 가능하고, 전술한 예시와 다른 순서로 처리하는 것도 가능하다.
이하, 일 실시예에 따른 대화 처리 방법에 대해 설명한다. 일 실시예에 따른 대화 처리 방법에는 전술한 대화 시스템(100) 또는 이를 포함하는 차량(200)이 적용될 수 있다. 따라서, 도 1 내지 도 42에 대한 설명은 일 실시예에 따른 대화 처리 방법에 대해서도 동일하게 적용될 수 있다.
도 43은 일 실시예에 따른 대화 처리 방법에 있어서, 사용자 입력을 처리하는 방법을 나타낸 순서도이다. 사용자 입력을 처리하는 방법은 대화 시스템(100)의 입력 처리기(110)에서 수행될 수 있다.
도 43을 참조하면, 사용자의 발화가 입력되면(500의 예), 음성 인식기(111a)가 입력된 사용자의 발화를 인식한다(510). 사용자의 발화는 차량(200)에 마련된 음성 입력 장치(210) 또는 모바일 기기(400)에 마련된 음성 입력 장치(410)를 통해 입력될 수 있다.
음성 인식기(111a)는 입력된 사용자의 발화를 인식하여 텍스트 형태의 발화문으로 출력한다.
자연어 이해기(111b)는 텍스트 형태의 발화문에 자연어 이해 기술을 적용하여(520), 그 결과를 출력한다.
구체적으로, 자연어 이해(520) 과정은 텍스트 형태의 발화문에 기초하여 형태소 분석(521)을 수행하고, 형태소 분석 결과에 기초하여 도메인을 추출(522)하고, 개체명을 인식(523)하고, 화행을 분석(524)하고, 액션을 추출(525)하는 것을 포함할 수 있다.
도메인 추출, 개체명 인식 및 액션 추출을 위해 도메인/액션 추론 규칙DB(141)을 참조할 수 있다.
자연어 이해기(111b)의 출력, 즉 자연어 이해 결과는 사용자의 발화에 대응되는 도메인, 액션, 화행, 형태소 분석 결과 등을 포함할 수 있다.
추출된 액션과 관련된 상황 정보를 검색한다(530). 추출된 액션과 관련된 상황 정보는 상황 이해 테이블(145)에 저장될 수 있고, 상황 이해기(112c)가 상황 이해 테이블(145)에서 추출된 액션과 관련된 상황 정보를 검색하고, 검색된 상황 정보의 정보 값을 상황 정보DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 가져온다.
추가 상황 정보가 필요한 경우(540의 예), 즉 상황 정보DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 가져올 수 없는 상황 정보가 있는 경우, 해당 상황 정보의 수집을 요청한다(550). 차량 상태 정보, 주변 환경 정보, 운전자 정보 등의 음성 외 입력은 사용자의 발화 입력과 독립적으로 상황 정보 수집기(111a)를 통해 입력될 수 있다.
이러한 정보들은 주기적으로 입력될 수도 있고, 특정 이벤트 발생 시에 입력될 수도 있으며, 주기적으로 입력되다가 특정 이벤트 발생 시에 추가적으로 더 입력될 수도 있다. 어느 경우이던지 정보의 수집이 요청되면 능동적으로 해당 정보를 수집할 수 있다.
따라서, 액션과 관련된 상황 정보가 이미 수집되어 있는 경우에는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 해당 정보를 가져오고, 그렇지 않은 경우에는 상황 정보 수집기(111a)를 통해 해당 정보를 수집한다.
상황 정보의 수집을 요청 받은 상황 정보 수집기(111a)가 해당 상황 정보를 수집하여 상황 정보 DB(142)에 저장하면, 상황 이해기(112c)는 상황 정보 DB(142)로부터 해당 상황 정보를 가져올 수 있다.
한편, 상황 정보 수집 관리기(112b)는 상황 정보 수집기(112a)가 수집한 데이터가 미리 설정된 조건을 만족하여 특정 이벤트가 발생한 것으로 판단하면 상황 이해기(112c)에 액션 트리거 신호를 전송할 수 있다.
상황 이해기(112c)는 상황 이해 테이블(145)을 검색하여 해당 이벤트와 관련된 상황 정보를 검색하고, 검색된 상황 정보가 저장되어 있지 않으면 다시 상황 정보 수집 관리기(112b)에 상황 정보의 요청 신호를 전송한다.
필요한 상황 정보의 수집이 완료되면, 자연어 이해 결과와 상황 정보를 대화 관리기(120)로 전송한다(560). 이벤트가 발생된 경우에는, 이벤트와 관련된 정보(어떤 이벤트가 발생되었는지)와 발생된 이벤트와 관련된 상황 정보도 함께 전송할 수 있다.
도 44는 일 실시예에 따른 대화 처리 방법에 있어서, 입력 처리기의 출력을 이용하여 대화를 관리하는 방법을 나타낸 순서도이다. 대화를 관리하는 방법은 대화 시스템(100)의 대화 관리기(120)에서 수행될 수 있다.
도 44를 참조하면, 대화 흐름 관리기(121)가 대화/액션 상태 DB(147)에 관련 대화 이력이 있는지 검색한다(600).
당해 예시에서는 사용자의 발화로부터 도메인과 액션을 추출할 수 있는 경우를 예로 들어 설명하나, 발화 내용 자체나 상황이 모호하여 사용자의 발화로부터 도메인과 액션을 추출할 수 없는 경우도 있을 수 있다. 이 경우, 대화 액션 관리기(122)는 임의의 대화 상태를 생성하고, 모호성 해결기(123)가 사용자의 발화 내용, 주변 상황, 차량 상태, 사용자 정보 등에 기초하여 사용자의 의도를 파악하고 이에 대응되는 적절한 액션을 판단할 수 있다.
관련 대화 이력이 존재하면(600의 예) 이를 참조하고(690), 존재하지 않으면(600의 아니오), 새로운 대화 태스크 및 액션 태스크를 생성한다(610).
연관 액션 DB(146b)에서 사용자 발화로부터 추출된 액션(이하, 입력 액션이라 한다)과 연관된 연관 액션 목록을 검색하여 후보 액션 목록을 생성한다(620).입력 액션 및 이와 연관된 액션들이 후보 액션 목록이 된다.
액션 수행조건 DB(146c)에서 후보 액션 별 수행 조건을 검색한다(620). 수행 조건은 액션을 수행하기 위해 필요한 조건으로서, 해당 조건이 만족되면 액션 수행이 가능한 것으로 판단하고, 만족되지 않으면 액션 수행이 불가한 것으로 판단한다. 액션 수행조건DB(146c)에는 액션 수행 조건 판단에 사용되는 인자의 종류에 대한 정보도 함께 저장된다.
액션 수행 조건 판단에 사용되는 인자 값을 획득한다(640). 액션 수행 조건 판단에 사용되는 인자는 조건 판단 인자라 하기로 한다. 상황 정보 DB(142), 장기 메모리(143), 단기 메모리(144) 또는 대화/액션 상태 DB(147)를 검색하여 조건 판단 인자의 인자 값을 획득할 수 있다. 조건 판단 인자의 인자 값이 외부 서비스를 통해 제공되어야 하는 경우에는, 외부 정보 관리기(126)를 통해 외부 컨텐츠 서버(300)로부터 필요한 인자 값을 제공받을 수 있다.
또한, 상황이나 발화가 모호하여 필요한 인자 값을 획득할 수 없는 경우에는 모호성 해결기(230)를 통해 모호성을 해결하여 필요한 인자 값을 획득할 수 있다.
또한, 획득된 인자가 액션 수행 조건 판단에 사용되기 어려운 비유효 인자인 경우에도 모호성 해결기(230)가 비유효 인자로부터 유효 인자를 획득할 수 있다.
획득된 조건 판단 인자에 기초하여 후보 액션 별로 수행 가부를 판단하고(650), 후보 액션들의 우선 순위를 결정한다(660). 후보 액션들의 우선 순위를 결정하는 규칙은 미리 저장될 수 있다. 액션 우선순위 결정기(125)는 액션 수행 가부가 판단된 이후에 액션 수행이 가능한 후보 액션들만 고려하여 우선 순위를 결정할 수 있다. 또는, 액션들의 수행 가부에 상관없이 우선 순위를 결정한 이후에, 액션 수행 가부에 기초하여 우선 순위를 조절할 수도 있다.
액션 인자 DB(146a)에서 후보 액션의 수행에 사용되는 인자 목록을 검색한다(670). 액션의 수행에 사용되는 인자는 액션 인자라 하기로 한다. 액션 인자는 필수 인자와 선택 인자를 포함할 수 있다.
후보 액션의 수행에 사용되는 액션 인자의 인자 값을 획득한다(680). 상황 정보 DB(142), 장기 메모리(143), 단기 메모리(144) 또는 대화/액션 상태 DB(147)를 검색하여 액션 인자의 인자 값을 획득할 수 있다. 액션 인자의 인자 값이 외부 서비스를 통해 제공되어야 하는 경우에는, 외부 정보 관리기(126)를 통해 외부 컨텐츠 서버(300)로부터 필요한 인자 값을 제공받을 수 있다.
또한, 상황이나 발화가 모호하여 필요한 인자 값을 획득할 수 없는 경우에는 모호성 해결기(230)를 통해 모호성을 해결하여 필요한 인자 값을 획득할 수 있다.
또한, 획득된 인자가 액션의 수행에 사용되기 어려운 비유효 인자인 경우에도 모호성 해결기(230)가 비유효 인자로부터 유효 인자를 획득할 수 있다.
대화 액션 관리기(122)에 의해 관리되는 대화 상태 및 액션 상태는 전술한 단계들이 수행되면서 상태가 변경될 때마다 업데이트될 수 있다.
획득 가능한 인자 값들이 모두 획득되면 대화 흐름 관리기(121)가 결과 처리기(130)에 후보 액션에 관한 정보와 대화 상태를 전달한다. 대화 정책에 따라 1순위에 해당하는 액션에 관한 정보만 전달하는 것도 가능하고, 복수의 후보 액션에 관한 정보를 전달하는 것도 가능하다.
한편, 필요한 인자 값이 외부 컨텐츠 서버(300), 장기 메모리(143), 단기 메모리(144) 및 상황 정보 DB(142)에 존재하지 않고, 사용자를 통해서만 획득될 수 있는 경우에는 사용자에게 인자 값을 질의하기 위한 대화 응답을 출력하는 것도 가능하다.
도 45는 일 실시예에 따른 대화 처리 방법에 있어서, 대화 관리의 결과에 대응되는 응답을 생성하기 위한 결과 처리 방법을 나타낸 순서도이다. 결과 처리 방법은 대화 시스템(100)의 결과 처리기(130)에 의해 수행될 수 있다.
도 45를 참조하면, 대화 응답의 생성이 필요한 경우(700의 예), 대화 응답 생성기(132)가 응답 템플릿(149)을 검색한다(710). 응답 템플릿(149)에서 현재 대화 상태와 액션 상태에 대응되는 대화 응답 서식을 추출하고, 대화 응답 서식에 필요한 인자 값을 채워 대화 응답을 생성한다(720).
대화 응답 생성에 필요한 인자 값이 대화 관리기(120)로부터 전달되지 않거나, 외부 컨텐츠를 이용하라는 지시가 전달된 경우에는 외부 컨텐츠 서버(300)로부터 제공받거나 장기 메모리(143), 단기 메모리(144) 또는 상황 정보 DB(142)에서 검색할 수 있다. 필요한 인자 값이 외부 컨텐츠 서버(300), 장기 메모리(143), 단기 메모리(144) 및 상황 정보 DB(142)에 존재하지 않고, 사용자를 통해서만 획득될 수 있는 경우에는 사용자에게 인자 값을 질의하기 위한 대화 응답을 생성하는 것도 가능하다.
명령어 생성이 필요한 경우(760)에는, 명령어 생성기(136)가 차량 제어 또는 외부 컨텐츠 이용을 위한 명령어를 생성한다(770).
생성된 대화 응답 또는 명령어는 출력 관리기(133)로 입력되고, 출력 관리기(133)는 대화 응답과 명령어 사이의 출력 순서 또는 복수의 명령어 사이의 출력 순서를 결정할 수 있다(730).
생성된 대화 응답 또는 명령어에 기초하여 메모리를 업데이트한다(740). 메모리 관리기(135)는 생성 및 출력된 대화 응답에 기초하여 사용자와 시스템 간 대화 내용을 저장하여 단기 메모리(144)를 업데이트할 수 있고, 사용자와의 대화를 통해 획득된 사용자 관련 정보를 저장하여 장기 메모리(143)를 업데이트할 수 있다. 또한, 생성 및 출력된 차량 제어나 외부 컨텐츠 요청에 기초하여 장기 메모리(143)에 저장된 사용자의 선호도나 차량 제어 이력 등을 업데이트할 수 있다.
출력 관리기(133)는 대화 응답과 명령어를 적절한 출력 위치로 전송하여 응답을 출력한다(750). TTS 응답은 스피커(232)를 통해 출력할 수 있고, 텍스트 응답은 디스플레이(231)를 통해 출력할 수 있다. 명령어는 그 제어 대상에 따라 차량 제어기(240)로 전송될 수도 있고, 외부 컨텐츠 서버(300)로 전송될 수도 있으며, 외부 컨텐츠 서버(300)와 통신하기 위한 통신 장치(280)로 전송될 수도 있다.
도 46 내지 도 48은 일 실시예에 따른 대화 처리 방법에 있어서, 사용자의 발화 입력 전에 대화 시스템이 선발화를 출력하는 경우를 나타낸 순서도이다.
도 46을 참조하면, 상황 수집기(112a)와 상황 수집 관리기(112b)가 상황 정보를 수집한다(810). 구체적으로, 차량 제어기(240)는 잔유량, 강우량, 강우 속도, 주변 장애물 정보, 속도, 엔진 온도, 타이어 공기압, 현재 위치 등과 같이 차량에 마련된 센서로부터 획득되는 차량 상태 정보와 주변 환경 정보를 상황 처리기(112)에 입력할 수 있고, 음성 외 입력 장치(220)에 입력된 사용자 정보나 외부 컨텐츠 서버(300) 또는 외부 기기로부터 획득된 정보 역시 상황 처리기(112)에 입력될 수 있다. 수집된 상황 정보는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)에 저장될 수 있다.
선발화 판단기(151)는 상황 정보에 기초하여 선발화 조건을 판단한다(811). 선발화 조건은 선발화 조건 테이블(145a)에 저장될 수 있다. 전술한 도 22A 내지 도 22C의 예시와 같이, 선발화 조건 테이블(145a)에는 상황 정보와 관련된 선발화 조건이 상황 정보 별로 저장될 수 있다.
선발화 판단기(151)는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 전달된 상황 정보가 선발화 조건을 만족하면(812의 예), 선발화 상황인 것으로 판단하고 선발화 트리거 신호를 생성한다(813).
선발화 판단기(151)는 선발화 상황에 대응되는 액션을 추출한다(814). 전술한 도 22C의 예시와 같이, 선발화 조건 테이블(145a)에는 선발화 상황마다 그에 대응되는 액션이 미리 저장될 수 있다. 선발화 판단기(151)는 선발화 조건 테이블(145a)로부터 선발화 상황에 대응되는 액션을 추출할 수 있다. 또는, 선발화 판단기(151)가 정해진 규칙에 따라 선발화 상황에 대응되는 액션을 생성하는 것도 가능하다.
선발화 판단기(151)가 선발화 트리거 신호와 선발화 상황에 대응되는 액션을 대화 입력 관리기(111c)에 전달하면, 대화 입력 관리기(111c)는 대화 관리기(120)에 선발화 상황에 대응되는 액션을 전달한다(815). 이 때, 선발화 트리거 신호 또는 선발화 상황임을 나타내는 신호가 함께 전달되는 것도 가능하다.
선발화 상황에 대응되는 액션이 대화 관리기(120)에 전달된 이후에는 전술한 도 44에 도시된 바와 같이 대화 태스크 및 액션 태스크를 생성하고 액션 인자를 획득하는 일련의 과정들이 수행될 수 있다. 이 때, 다른 대화 태스크나 액션 태스크가 수행중인 경우, 대화 흐름 관리기(121)가 선발화 상황에 대한 태스크를 우선적으로 생성 및 처리하는 것도 가능하고, 정해진 규칙에 따라 우선 순위를 결정하는 것도 가능하다.
대화 관리기(120)가 우선적으로 처리될 액션에 관한 정보를 결과 처리기(130)에 전달하면, 응답 생성기(132)는 응답 템플릿(149)을 검색하여 대화 응답 서식을 추출할 수 있다. 응답 생성기(132)는 추출된 응답 서식에 필요한 인자 값을 채워 대화 응답을 생성할 수 있고, 생성된 대화 응답은 응답 생성 관리기(131)를 통해 출력 관리기(133)에 전달될 수 있다. 출력 관리기(133)는 생성된 대화 응답을 차량(200)이나 모바일 기기(400)에 마련된 스피커를 통해 출력할 수 있다.
또는, 선발화 상황에 대응되는 선발화 메시지 자체를 추출하거나 생성하는 것도 가능하다. 도 47을 참조하면, 상황 수집기(112a)와 상황 수집 관리기(112b)가 상황 정보를 수집하고(820), 선발화 판단기(151)는 상황 정보에 기초하여 선발화 조건을 판단한다(821).
선발화 판단기(151)는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 전달된 상황 정보가 선발화 조건을 만족하면(822의 예), 선발화 상황인 것으로 판단하고 선발화 트리거 신호를 생성한다(823).선발화 판단기(151)는 선발화 상황에 대응되는 선발화 메시지를 추출한다(824). 전술한 도 22A 및 도 22B의 예시와 같이, 선발화 조건 테이블(145a)에는 선발화 상황마다 그에 대응되는 선발화 메시지가 미리 저장될 수 있다. 미리 저장되는 선발화 메시지는 현재 상황을 알려주는 내용일 수도 있고, 선발화 상황에 필요한 특정 기능 또는 서비스의 실행을 먼저 제안하는 내용일 수도 있다. 또는 선발화 판단기(151)가 미리 정해진 규칙에 따라 선발화 메시지를 생성하는 것도 가능하다.
선발화 판단기(151)가 선발화 트리거 신호와 선발화 메시지를 대화 입력 관리기(111c)에 전달하면, 대화 입력 관리기(111c)는 대화 관리기(120)에 선발화 메시지를 전달한다(825). 이 때, 선발화 트리거 신호 또는 선발화 상황임을 나타내는 신호가 함께 전달되는 것도 가능하다.
대화 관리기(120)는 전달된 선발화 메시지를 출력하기 위한 대화 태스크를 생성하고, 선발화 메시지를 결과 처리기(130)에 전달할 수 있다. 결과 처리기(130)는 입력된 선발화 메시지를 스피커(232)를 통해 출력할 수 있다.
또는, 선발화 상황에 대응되는 가상의 사용자의 발화를 추출하거나 생성하는 것도 가능하다. 도 48을 참조하면, 상황 수집기(112a)와 상황 수집 관리기(112b)가 상황 정보를 수집하고(830), 선발화 판단기(151)는 상황 정보에 기초하여 선발화 조건을 판단한다(831).
상황 이해기(112c)는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 전달된 상황 정보가 선발화 조건을 만족하면(832의 예), 선발화 상황인 것으로 판단하고 선발화 트리거 신호를 생성한다(833).
선발화 판단기(151)는 선발화 상황에 대응되는 가상의 사용자 발화를 추출한다(834). 도면에 도시되지는 않았으나, 선발화 조건 테이블(145a)에는 선발화 상황마다 그에 대응되는 가상의 사용자 발화가 미리 저장될 수 있다. 선발화 판단기(151)는 선발화 조건 테이블(145a)로부터 선발화 상황에 대응되는 가상의 사용자 발화를 추출할 수 있다. 또는, 선발화 판단기(151)가 정해진 규칙에 따라 선발화 상황에 대응되는 가상의 사용자 발화를 생성하는 것도 가능하다.
선발화 판단기(151)가 텍스트 형태의 가상의 사용자 발화를 자연어 이해기(111b)에 전달하면(835), 자연어 이해기(111b)는 사용자가 실제로 발화한 경우와 마찬가지로 가상의 사용자 발화로부터 도메인, 액션 등을 추출할 수 있다.
대화 입력 관리기(111c)는 선발화 트리거 신호와 자연어 이해 결과를 대화 관리기(120)에 전달한다(836). 여기서, 자연어 이해 결과는 가상의 사용자 발화로부터 추출된 도메인, 액션 등을 포함할 수 있고, 추출된 도메인, 액션은 선발화 상황에 대응되는 도메인, 액션이 된다.
예를 들어, 모바일 기기(400)가 차량(100)과 대화 시스템(100) 사이의 게이트웨이 역할을 수행하는 모바일 게이트웨이 방식에 있어서, 모바일 기기(400)의 대화 시스템 클라이언트(470)가 선발화 판단기(151)의 동작 중 일부를 수행할 수 있다. 이 경우, 대화 시스템 클라이언트(470)가 선발화 상황에 대응되는 가상의 사용자 발화를 생성하여 자연어 이해기(111b)에 전달할 수 있다
선발화 트리거 신호와 자연어 이해 결과가 대화 관리기(120)에 전달된 이후에는 전술한 도 44에 도시된 바와 같이 대화 태스크 및 액션 태스크를 생성하고 액션 인자를 획득하는 일련의 과정들이 수행될 수 있다. 이 때, 다른 대화 태스크나 액션 태스크가 수행중인 경우, 대화 흐름 관리기(121)가 선발화 상황에 대한 태스크를 우선적으로 생성 및 처리하는 것도 가능하고, 정해진 규칙에 따라 우선 순위를 결정하는 것도 가능하다.
대화 관리기(120)가 우선적으로 처리될 액션에 관한 정보를 결과 처리기(130)에 전달하면, 응답 생성기(132)는 응답 템플릿(149)을 검색하여 대화 응답 서식을 추출할 수 있다. 응답 생성기(132)는 추출된 응답 서식에 필요한 인자 값을 채워 대화 응답을 생성할 수 있고, 생성된 대화 응답은 응답 생성 관리기(131)를 통해 출력 관리기(133)에 전달될 수 있다. 출력 관리기(133)는 생성된 대화 응답을 차량(200) 또는 모바일 기기(400)에 마련된 스피커를 통해 출력할 수 있다.
도 49는 일 실시예에 따른 대화 처리 방법에 있어서, 사용자의 발화 입력 전에 대화 시스템이 선발화를 출력하는 경우에 중복 태스크를 처리하는 과정을 나타낸 순서도이다.
도 49를 참조하면, 상황 수집기(112a)와 상황 수집 관리기(112b)가 상황 정보를 수집하고(840), 선발화 판단기(151)는 상황 정보에 기초하여 선발화 조건을 판단한다(841).
선발화 판단기(151)는 상황 정보 DB(142), 장기 메모리(143) 또는 단기 메모리(144)로부터 전달된 상황 정보가 선발화 조건을 만족하는지 여부를 판단하고, 선발화 조건이 만족되면(842의 예), 중복 태스크 처리기(152)가 현재 발생한 선발화 상황에 관련된 태스크의 중복 여부를 판단한다(843).
구체적으로, 중복 태스크 처리기(152)는 태스크 처리 DB(145b)에 저장된 대화 시스템(100)에서 처리되었거나 진행 중인 태스크에 관한 정보에 기초하여 현재 발생한 선발화 상황과 관련된 대화, 액션 등의 태스크가 이미 처리되었거나, 진행 중인지 여부를 판단할 수 있다.
예를 들어, 현재 발생한 선발화 상황에 관련된 대화가 이미 수행되었고, 대화 수행 시점으로부터 기준 시간이 경과하지 않았으면, 현재 선발화 상황에 관련된 태스크를 중복 태스크로 판단할 수 있다. 또는, 현재 발생한 선발화 상황에 관련된 대화나 관련된 액션이 진행 중인 경우에도 중복 태스크로 판단할 수 있다.
즉, 중복 태스크 처리기(152)는 태스크 처리 DB(145b)에 저장된 대화 이력 및 태스크 수행 여부에 기초하여 이미 출력된 선발화 인지 여부, 선발화 상황에 대한 사용자의 의사 등을 판단할 수 있고, 저장된 대화 시점, 사용자의 의사 또는 태스크 진행 여부에 기초하여 중복 태스크 여부를 판단할 수 있다.
현재 선발화 상황에 관련된 태스크가 중복 태스크인 것으로 판단되면(843의 예), 중복 태스크 처리기(152)는 선발화 상황을 종료시킨다.
중복 태스크가 아닌 것으로 판단되면(843의 아니오), 전술한 실시예와 같이 선발화 동작을 수행할 수 있다(844). 예를 들어, 선발화 트리거 신호와 선발화 상황에 대응되는 액션 또는 선발화 메시지를 대화 관리기(120)에 전달할 수 있다. 또는, 선발화 상황에 대응되는 가상의 사용자 발화를 자연어 이해기(111b)에 전달하고, 자연어 이해 결과와 선발화 트리거 신호를 대화 관리기(120)에 전달할 수도 있다.
전술한 실시 예에서는, 선발화를 위한 대화 처리 방법을 수행하기 위해 선발화 판단기(151), 중복 태스크 처리기(152)와 같은 별도의 구성요소와 선발화 조건 테이블(145a), 태스크 처리 DB(145b)와 같은 별도의 저장소가 사용되는 것으로 가정하여 설명하였다. 그러나, 대화 처리 방법의 실시예가 이에 한정되는 것은 아니고, 상황 이해기(112c)가 선발화 판단기(151) 및 중복 태스크 처리기(152)의 동작을 수행하거나, 상황 이해 테이블(145)에 선발화 조건 테이블(145a), 태스크 처리 DB(145b)에 저장되는 정보가 저장되는 것도 가능하다.
일 실시 예에 따른 대화 처리 방법은 전술한 순서도 상의 순서에 의해 제한되지 않는다. 도 41 내지 도49의 순서도에 따른 흐름은 대화 처리 방법에 적용될 수 있는 일 예시에 불과하며, 복수의 단계가 동시에 수행되는 것도 가능하고, 각 단계들의 순서가 바뀌는 것도 가능하다.
도 50은 다른 실시 예에 따른 대화 시스템(100a)이 마련된 기기의 제어 블록도이다. 여기서 기기는 가전기기나 단말기일 수도 있고, 차량일 수도 있다.
본 실시 예는 기기의 예로 차량(200a)에 대해 설명한다. 아울러 다른 실시 예의 구성부 중, 일 실시 예와 동일한 기능을 수행하는 구성부에 대해서는 일 실시 예의 구성부의 도면 번호와 동일한 도면 번호를 기재하도록 한다.
다른 실시 예의 차량(200a)은 대화 시스템(100a), 음성 입력 장치(210), 음성 외 입력 장치(220), 대화자 출력 장치(230), 차량 제어기(240a), 복수 개의 부하(251-255), 차량 감지부(260) 및 통신 장치(280)을 포함한다.
대화 시스템(100a)이 차량(200a)에 포함되면, 차량(200a)이 자체적으로 사용자와의 대화를 처리하고 사용자에게 필요한 서비스를 제공해줄 수 있다. 다만, 대화 처리 및 서비스 제공을 위해 필요한 정보는 외부 컨텐츠 서버(300)로부터 가져올 수 있다.
이와 같이, 대화 시스템(100a)은 차량 환경에 특화된 대화 처리 기술을 제공한다. 대화 시스템(100a)의 구성요소가 전부 차량에 포함될 수도 있고, 일부만 포함될 수도 있다. 대화 시스템(100a)은 원격 서버에 마련되고 차량은 대화 시스템(100a)과 사용자 사이의 게이트웨이의 역할만 할 수도 있다. 어느 경우이던지, 대화 시스템(100a)은 차량 또는 차량과 연결된 모바일 기기를 통해 사용자와 연결될 수 있다.
대화 시스템(100a)은 음성 입력 장치(210)를 통해 입력된 사용자 음성, 음성 외 입력 장치(220)를 통해 입력된 사용자의 음성 외 입력, 차량 제어기(240a)를 통해 입력된 차량에 관한 각종 정보를 이용하여 사용자의 의도와 상황을 파악하고, 사용자의 의도에 대응되는 액션을 수행하기 위한 응답을 출력한다.
차량에 관한 각종 정보는 차량(200a)에 마련된 각종 센서를 통해 획득된 차량 상태 정보 또는 주변의 주행 환경 정보를 포함할 수 있고, 차량의 유종과 같이 차량(200a)에 기본적으로 저장된 정보도 포함할 수 있다.
여기서 차량의 상태 정보는, 대화 시스템이 마련되는 기기의 상태 정보로서, 기기에 마련된 각종 부하의 상태일 수 있다.
대화 시스템(100a)은 감지된 차량의 상태 정보와 주행 환경 정보에 기초하여 차량 사용 패턴을 생성하고, 생성된 차량 사용 패턴에 대응하는 알림 이벤트 정보를 획득한다. 대화 시스템(100a)은 획득된 알림 이벤트 정보에 대응하는 액션을 결정하고 결정된 액션에 대응하는 발화를 출력하고 획득된 알림 이벤트 정보에 대응하는 제어 명령을 생성하며 생성된 제어 명령을 차량 제어기(240a)에 전송한다.
이러한 대화 시스템(200a)에 대해 추후 자세히 설명하도록 한다.
음성 입력 장치(210)는 차량(200a)에 탑승한 사용자의 명령을 음성으로 입력 받는다. 이러한 음성 입력 장치(210)는 음향을 입력 받아 전기적인 신호로 변환하여 출력하는 마이크로폰을 포함할 수 있다.
음성 외 입력 장치(220)는 사용자 명령 중 음성 입력을 제외한 방식의 명령을 입력받는다.
음성 외 입력 장치(220)는 사용자의 조작을 통해 명령을 입력 받는 입력 버튼과 조그 셔틀 중 적어도 하나를 포함할 수 있다.
또한, 음성 외 입력 장치(220)는 사용자를 촬영하는 카메라를 포함하는 것도 가능하다. 이 경우, 차량은 카메라에 의해 촬영된 영상으로부터 명령을 입력받을 수 있다. 즉 차량은 영상 내 사용자의 제스처, 표정 또는 시선 방향을 인식하고 인식된 정보를 사용자의 명령으로 인식할 수 있다. 또한 차량은 카메라에 의해 촬영된 영상을 통해 사용자의 상태(졸음 상태 등)를 파악하는 것도 가능하다.
대화자 출력 장치(230)는 대화자에게 시각적, 청각적 또는 촉각적인 출력을 제공하는 장치로서, 차량(200a)에 마련된 디스플레이(231) 및 스피커(232)를 포함할 수 있다.
디스플레이(231) 및 스피커(232)는 사용자의 발화에 대한 응답, 사용자에 대한 질의, 또는 사용자가 요청한 정보를 시각적 또는 청각적으로 출력할 수 있다. 또는, 스티어링 휠(207)에 진동기를 장착하여 진동을 출력하는 것도 가능하다.
차량 제어기(240a)는 잔유량, 강우량, 강우 속도, 주변 장애물 정보, 속도, 엔진 온도, 타이어 공기압, 현재 위치 등과 같이 차량(200a)에 마련된 센서로부터 획득되는 정보를 대화 시스템(100a)에 전송할 수 있다.
차량 제어기(240a)는 차량(200a)에 마련된 센서를 통해 획득된 데이터(즉, 정보)뿐만 아니라, 통신 장치(280)를 통해 외부 컨텐츠 서버(300), 모바일 기기(400), 또는 외부 기기로부터 획득된 정보, 예를 들어 교통 상황, 날씨, 온도, 동승자 정보, 운전자 개인 정보 등의 주행 환경 정보와 사용자 정보도 수집하여 대화 시스템(100a)에 전달할 수 있다.
차량 제어기(240a)는 통신장치(280)의 V2X(Vehicle to Everything) 통신 기능 통해 외부에서 획득된 주행 환경 정보를 통해 대화 시스템(100a)에 전송할 수 있다.
여기서 대화 시스템(100a)에 전송되는 주행 환경 정보는 전방의 교통 정보, 주변 차량의 접근 정보, 다른 차량과의 추돌 경고, 실시간 교통 상황, 돌발 상황, 교통흐름 제어 상태 등을 포함할 수 있다.
차량 제어기(240a)는 대화 시스템(100a)으로부터 출력되는 응답에 따라, 사용자의 의도나 현재 상황에 대응되는 액션을 수행하기 위해 차량(200a)을 제어할 수 있다. 즉 차량 제어기(240a)는 대화 시스템(100a)에서 전송한 적어도 하나의 기능에 대한 제어 명령을 수신하고 수신된 제어 명령에 기초하여 적어도 하나의 기능을 수행하기 위해 적어도 하나의 부하의 동작을 제어할 수 있다.
여기서 적어도 하나의 기능은, 윈도우 개폐 기능, 라디오 온오프 기능, 라디오 채널 변경 기능, 공조장치 온오프 기능, 공조장치의 온도 조절 기능, 시트 열선 온오프 기능, 스티어링 열선 온오프 기능, 오디오 온오프 기능, 오디오 장르 변경 기능, 볼륨 조절 기능, 모바일 기기와의 통신 연결 기능을 포함할 수 있다.
이러한 적어도 하나의 기능을 수행하기 위한 적어도 하나의 부하는, 공조 장치(251), 윈도우(252), 도어(253), 시트(254)의 열선, AVN(255)을 포함하고, 스티어링 휠 열선, 라디오 및 통신 장치(280) 등을 더 포함할 수 있다.
예를 들어, 대화 시스템(100a)이 사용자의 의도 또는 사용자에게 필요한 서비스가 차량(200a) 내부의 온도를 낮추는 것이라고 판단되면 이에 대응하는 제어 명령에 대한 명령어를 생성하고 생성된 명령어를 출력하면, 차량 제어기(240a)는 수신된 명령어에 기초하여 공조 장치(251)를 제어함으로써 차량(200a) 내부의 온도가 낮아지도록 할 수 있다.
다른 예로, 대화 시스템(100a)이 사용자의 의도에 대응되는 서비스 또는 사용자에게 필요한 서비스가 특정 목적지로의 경로 안내라고 판단하고, 이에 대응되는 명령어를 생성하여 출력하면, 차량 제어기(240a)는 AVN(255)을 제어하여 경로 안내를 수행할 수 있다. 필요한 경우, 통신 장치(280)가 외부 컨텐츠 서버(300)로부터 지도 데이터, POI 정보 등을 가져와 서비스 제공에 이용할 수 있다.
차량 제어기(240a)는 통신 가능한 모바일 기기(400)의 상태를 모니터링하고 모바일 기기의 상태 정보를 대화 시스템(100a)에 전송하는 것도 가능하다.
차량 제어기(240a)는 대화시스템(100a)로부터 모바일 기기의 제어명령이 수신되면 모바일 기기(400)에 제어 명령을 전송할 수 있다.
차량 제어기(240a)는 외부 컨텐츠 서버(300)로부터 차량에 마련된 펌웨어의 업데이트 정보가 수신되면 펌웨어의 업데이트 정보를 대화 시스템(100a)에 전송하고, 수신된 펌웨어의 업데이터 정보에 기초하여 차량에 마련된 해당 펌웨어를 업데이트 한다.
차량 제어기(240a)는 전술한 동작과 후술하는 동작을 수행하기 위한 프로그램이 저장되는 메모리 및 저장된 프로그램을 실행시키는 프로세서를 포함할 수 있다. 메모리와 프로세서는 각각 적어도 하나 마련될 수 있고, 복수 개 마련되는 경우에는 이들이 하나의 칩 상에 집적될 수도 있고 물리적으로 분리될 수도 있다.
차량 감지부(260, '감지부'라고도 함)는 잔유량, 타이어 공기압, 현재 차량의 위치, 엔진 온도, 차량 속도, 브레이크 페달의 압력, 엑셀러레이터 페달의 압력, 정비 시점 등과 같은 차량 상태 정보를 감지한다.
차량 감지부(260)는 외부 온도, 내부 온도, 동승자 탑승 여부, 외부 습도, 내부 습도, 강우량, 강우 속도, 주변 장애물 정보 등 주행 환경 정보를 감지한다.
즉 차량 감지부는 차량 상태 정보와 주변 환경 정보를 감지하기 위한 복수 개의 센서를 포함할 수 있다.
통신장치(260)는 외부 컨텐츠 서버(300) 및 모바일 기기(400)와 통신을 수행하고, 타 차량 및 인프라와 통신을 수행하는 것도 가능하다.
통신장치(260)는 수신된 정보를 대화 시스템 및 차량 제어기 중 적어도 하나에 전송하고, 대화 시스템(100a) 및 차량 제어기(240a)의 정보를 외부로 전송하는 것도 가능하다.
도 51은 다른 실시 예에 따른 대화 시스템의 상세 구성도로, 도 52 내지 도 54를 참조하여 설명한다.
도 52는 다른 실시 예에 따른 대화 시스템의 입력 처리기의 구성도이고, 도 53은 다른 실시 예에 따른 대화 시스템의 입력 처리기의 상세 구성도이며, 도 54는 다른 실시 예에 따른 대화 시스템의 결과 처리기의 구성도이다.
도 51에 도시된 바와 같이, 대화 시스템(100a)은 입력 처리기(110a), 대화 관리기(120a), 결과 처리기(130a) 및 저장부(140a)를 포함한다.
입력 처리기(110a)는 사용자 음성과 음성 외 입력, 두 가지 종류의 입력을 수신할 수 있다. 음성 외 입력은 사용자의 제스처 인식이나, 입력 장치의 조작을 통해 입력되는 사용자의 음성 외 입력, 차량의 상태를 나타내는 차량 상태 정보, 차량의 주행 환경과 관련된 주행 환경 정보, 사용자의 상태를 나타내는 사용자 정보 등을 포함할 수 있다.
이러한 정보들 외에도 차량과 사용자와 관련된 정보로서, 사용자의 의도를 파악하거나 사용자 또는 차량에 필요한 서비스를 제공하기 위해 사용될 수 있는 정보이면, 모두 입력 처리기(110a)의 입력이 될 수 있다. 사용자는 운전자와 동승자를 모두 포함할 수 있다.
입력 처리기(110a)는 입력된 사용자 음성을 인식하여 텍스트 형태의 발화문으로 변환하고, 사용자의 발화문에 자연어 이해(Natural Language Understanding) 알고리즘을 적용하여 사용자의 의도를 파악한다.
또한, 입력 처리기(110a)는 사용자 음성 외에 차량의 상태나 주행 환경과 관련된 정보를 수집하고, 수집된 정보를 이용하여 상황을 이해한다.
입력 처리기(110a)는 자연어 이해를 통해 파악한 사용자의 의도와 상황에 관련된 정보 등을 대화 관리기(120a)로 전달한다.
이러한 입력 처리기(110a)는 음성 입력 장치(210)로부터 전송된 사용자 음성의 정보가 입력되는 음성 입력 처리기(a1)와, 음성 외 입력 장치(220)로부터 전송된 사용자의 음성 외 입력 정보가 입력되는 상황 정보 처리기(a2)를 포함할 수 있다.
음성 입력 처리기(a1)는 일 실시 예와 동일하여 설명을 생략한다.
상황 정보 처리기(a2)는 음성 외 입력 장치(220) 및 차량 제어기(240a)로부터 입력되는 차량 상태 정보, 주행 환경 정보, 사용자 정보 등과 같은 상황 정보를 수신한다.
상황 정보 처리기(a2)는 수신된 상황 정보에 기초하여 상황을 이해한다.
좀 더 구체적으로, 상황 정보 처리기(a2)는 차량의 상태 정보와 주행 환경 정보에 기초하여 차량 사용 패턴을 생성하고, 생성된 차량 사용 패턴에 대응하는 알림 이벤트 정보를 획득하고 획득된 알림 이벤트 정보에 대응하는 액션을 결정한다.
상황 정보 처리기(a2)는 인식된 음성의 정보에 기초하여 발화 패턴을 생성하고 생성된 발화 패턴에 대응하는 알림 이벤트 정보를 획득하는 것도 가능하다.
상황 정보 처리기(a2)는 모바일 기기의 상태 정보를 수신하고 수신된 모바일 기기의 상태 정보에 기초하여 모바일 기기의 사용 패턴을 생성하고 생성된 모바일 기기의 사용 패턴에 대응하는 알림 이벤트 정보를 획득하는 것도 가능하다.
대화 시스템(100a)은 이러한 상황 이해를 통해 사용자의 의도를 더 정확히 파악하거나 현재 사용자에게 필요한 서비스를 효과적으로 찾을 수 있다.
도 52 및 도 53에 도시된 바와 같이, 입력 처리기(110a)의 음성 입력 처리기(a1)는 음성 인식기(a11), 자연어 이해기(a12), 대화 입력 관리기(a13)를 포함하고, 상황 정보 처리기(a2)는 상황 정보 수집기(a21), 상황 정보 수집 관리기(a22), 상황이해기(a23)를 포함한다.
여기서 음성 인식기(a11), 자연어 이해기(a12), 대화 입력 관리기(a13)는 일 실시 예와 동일하여 설명을 생략한다.
상황 정보 처리기(a2)는 음성 외 입력 장치(220)와 차량 제어기(240a)로부터 정보를 수집하는 상황 정보 수집기(a21), 상황 정보의 수집을 관리하는 상황 정보 수집 관리기(a22) 및 자연어 이해 결과와 수집된 상황 정보에 기초하여 상황을 이해하는 상황 이해기(a23)를 포함할 수 있다.
좀 더 구체적으로 상황 정보 처리기(a2)의 상황 정보 수집기(a21)는 주기적으로 데이터를 수집할 수도 있고, 특정 이벤트 발생 시에 수집할 수도 있으며, 주기적으로 수집하다가 특정 이벤트 발생 시에 추가적으로 더 수집할 수도 있다.
또한, 상황 정보 수집기(a21)는 상황 정보 수집 관리기(a22)로부터 데이터 수집 요청이 입력되는 경우에 데이터를 수집할 수도 있다.
상황 정보 수집기(a21)는 필요한 정보를 수집하여 상황 정보 DB(142a) 또는 단기 메모리(144a)에 저장하고, 상황 정보 수집 관리기(a22)에 확인 신호를 전송한다.
상황 정보 수집 관리기(a22)도 상황 이해기(a23)에 확인 신호를 전송하고, 상황 이해기(a23)는 필요한 정보를 상황 정보 DB(142a), 장기 메모리(143a) 또는 단기 메모리(144a)로부터 가져와 대화 입력 관리기(a13)로 전달한다.
예를 들어, 상황 정보 수집기(a21)는 목적지 정보, 주행 시간 정보, 주행 거리 정보, 고속도로 주행 정보, 주행 중 윈도우 개폐 정보, 라디오 온오프 정보, 라디오 채널 변경 정보, 공조장치 온오프 정보, 공조장치의 온도 조절 정보, 시트 열선 온오프 정보, 스티어링 열선 온오프 정보, 오디오 온오프 정보, 오디오 장르 변경 정보, 볼륨 조절 정보, 모바일 기기와의 통신 연결 정보, 모바일 기기의 기능 사용 정보, 실외 온도 정보, 실내 온도 정보, 실외 습도 정보, 실내 습도 정보, 브레이크 페달 압력 정보, 액셀러레이터 페달 압력 정보, 정비 정보, 주유 정보를 수신할 수 있다.
상황 정보 수집 관리기(a22)는 상황 정보 DB(142a)에 저장된 정보들에 기초하여 윈도우 개폐 패턴, 라디오 온오프 패턴, 라디오 채널 변경 패턴, 공조장치 온오프 패턴, 공조장치의 온도 조절 패턴, 시트 열선 온오프 패턴, 스티어링 열선 온오프 패턴, 오디오 온오프 패턴, 오디오 장르 변경 패턴, 볼륨 조절 패턴, 모바일 기기와의 통신 연결 패턴, 모바일 기기의 기능 사용 패턴 등 차량의 사용 패턴과 모바일 기기의 사용 패턴을 생성한다.
또한 상황 정보 수집 관리기(a22)는 사용자의 음성 정보에 기초하여 발화 패턴을 생성하는 것도 가능하다.
예를 들어, 일정 기간 동안에 저장된 차량 상태 정보에 기초하여 주행 시작 시점으로부터 한 시간 경과 후 앞 좌석과 뒷 좌석의 모든 윈도우를 개방하는 이벤트가 발생되었다고 판단되면 주행 시작 시점으로부터 한 시간 경과 후 모든 윈도우를 개방시키는 패턴을 생성할 수 있다.
상황 정보 수집 관리기(a22)는 수신된 각종 정보를 모니터링하고 모니터링 된 정보를 상황 이해기(a23)에 전달한다.
상황 이해기(a23)는 차량의 사용 패턴, 모바일 기기의 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 알림 이벤트를 생성하고 생성된 알림 이벤트를 알림 이벤트 테이블에 저장하는 것도 가능하다.
상황 이해기(a23)는 알림 이벤트 테이블(145b)에 기초하여 사용자에게 알림 이벤트에 대한 알림을 제공해야 하는 상황인지를 판단한다.
알림 이벤트 테이블(145b)에는 복수 개의 알림 이벤트 정보가 저장될 수 있다.
여기서 알림 이벤트 정보는, 알림 이벤트의 알림 타이밍과 안내 정보를 포함할 수 있고, 알림 이벤트명을 더 포함할 수 있다.
즉 상황 이해기(a23)는 현재 시점이 알림 이벤트의 알림 타이밍이면 알림 이벤트 정보에 대한 안내 정보를 획득한다.
상황 이해기(a23)는 상황 정보 수집 관리기(a22)에서 모니터링된 정보와 알림 이벤트 테이블에 저장된 정보에 기초하여 알림 이벤트를 획득할 수 있다.
예를 들어, 상황 정보 수집 관리기(a22)에 의한 모니터링 정보가 주행 시작 시점으로부터 한 시간 경과이면, 알림 이벤트 테이블에 저장된 정보들을 확인하고, 알림 이벤트 테이블로부터 모든 윈도개방을 알리는 알림 이벤트를 획득할 수 있다.
상황 이해기(a23)는 차량 상태 정보 및 주행 환경 정보가 알림 이벤트 테이블(145b)의 복수 개의 알림 이벤트별 기준 조건에 만족하는지 판단하는 것도 가능하다.
여기서 미리 설정된 복수 개의 알림 이벤트별 기준 조건은, 미리 설정되어 저장된 정보일 수 있다.
복수 개의 알림 이벤트별 기준 조건을 예를 들어 설명하면, 주행 중 운전석 윈도우 개방에 대한 알림 이벤트의 기준 조건은 톨게이트 진입 조건일 수 있다.
다른 예로, 휴식 제안에 대한 알림 이벤트의 기준 주행 시작 시간으로부터 두 시간이 경과한 조건일 수 있다.
상황 이해기(a23)는 모바일 기기의 상태 정보를 수신하고 수신된 모바일 기기의 상태 정보와 알림 이벤트 테이블의 정보에 기초하여 알림 이벤트 정보를 획득하는 것도 가능하다.
예를 들어, 모바일 기기와 통신이 가능한 상태에서 모바일 기기를 통해 전화 통화가 수신되면 알림 이벤트 테이블의 알림 이벤트 정보 중 전화 수신에 대응하는 알림 이벤트 정보가 존재하는지 판단하고 전화 수신에 대응하는 알림 이벤트 정보가 존재한다고 판단되면 전화 수신에 대응하는 알림 이벤트 정보를 획득한다.
상황 이해기(a23)는 인식된 음성의 정보와 알림 이벤트 테이블의 정보에 기초하여 알림 이벤트 정보를 획득하는 것도 가능하다.
상황 이해기(a23)는 차량 사용 패턴에 기초하여 차량에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 생성하고, 차량에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 생성하며, 상기 생성된 업데이트 정보 및 신 기능 정보를 알림 이벤트 정보로 생성한다. 이때 상황 이해기(a23)는 음성 입력 장치 및 음성 외 입력 장치 중 적어도 하나를 통해 입력된 사용자의 명령에 기초하여 업데이트된 기능, 변경된 기능이나 새로운 기능의 계속적인 실행 여부를 판단할 수 있다.
즉 상황 이해기(a23)는 업데이트된 기능, 변경된 기능이나 새로운 기능이 차량에 적용되는 것을 사용자가 원하지 않을 경우, 업데이트된 기능, 변경된 기능이나 새로운 기능을 삭제하는 것도 가능하다.
상황 이해기(a23)는 사용자의 명령에 따라 업데이트된 기능, 변경된 기능이나 새로운 기능에 대한 안내를 기능이 수행될 때마다 출력하도록 하는 것도 가능하고, 최초 1회만 출력하도록 하는 것도 가능하다.
상황 이해기(a23)는 펌웨어가 수신되면 수신된 펌웨어에 대응하는 알림 이벤트 정보를 확인하고 확인된 알림 이벤트 정보의 알림 이벤트 명, 알림 타이밍 및 안내 정보를 저장부에 저장하도록 한다. 그리고 상황 이해기(a23)는 차량 제어기로부터 어느 하나의 기능 수행 정보가 수신되면 차량에서 수행되는 기능이 수신된 펌웨어에 대응하는 기능인지 판단하고 차량에서 수행되는 기능이 펌웨어와 관련된 기능이라고 판단되면 알림 이벤트 명과 안내 정보를 출력하도록 한다.
사용자 발화 의도에 대응되는 액션이 길안내인 경우, 상황 이해기(a23)는 상황 이해 테이블(145a)을 검색하여 길안내와 관련된 상황 정보가 현재 위치임을 알 수 있다.
사용자 발화 의도에 대응되는 액션 수행과 관련된 상황 정보가 상황 정보 DB(142a), 장기 메모리(143a) 또는 단기 메모리(144a)에 저장되어 있지 않은 경우, 상황 이해기(a23)는 상황 정보 수집 관리기(a223)에 필요한 정보를 요청한다.
대화 관리기(120a)는 입력 처리기(a1)로부터 전달된 사용자의 의도, 상황에 관련된 정보 등에 기초하여 사용자의 의도나 현재 상황에 대응되는 액션을 결정하고, 해당 액션을 수행하기 위해 필요한 인자들을 관리한다.
즉 대화 관리기(120a)는 현재 시점이 저장된 알림 이벤트 정보의 알림 타이밍이면 알림 이벤트 정보에 대한 안내 정보를 액션으로 결정한다.
당해 실시예에서 액션은 특정 서비스를 제공하기 위해 수행되는 모든 동작을 의미할 수 있으며, 액션의 종류는 미리 정의될 수 있다. 경우에 따라, 서비스의 제공과 액션의 수행은 동일한 의미일 수 있다.
예를 들어, 도메인/액션 추론 규칙 DB(141a, 도53참조)에 길 안내, 차량 상태 점검, 주유소 추천 등과 같은 액션이 미리 정의될 수 있고, 저장된 추론 규칙에 따라 사용자의 발화에 대응되는 액션, 즉 사용자가 의도하는 액션을 미리 정의된 액션 중에서 추출할 수 있다. 또한, 차량에 발생한 이벤트와 연관된 액션이 미리 정의되어 상황 이해 테이블(145a, 도 53 참조), 알림 이벤트 테이블(145b)에 저장될 수 있다.
액션의 종류에 대해서는 제한을 두지 않으며, 대화 시스템(100a)이 차량(200a) 또는 모바일 기기(400)를 통해 수행 가능한 것으로서, 미리 정의되고, 그 추론 규칙이나 다른 액션/이벤트와의 관계 등이 저장되어 있으면 액션이 될 수 있다.
대화 관리기(120a)는 결정된 액션에 관한 정보를 결과 처리기(130a)로 전달한다.
결과 처리기(130a)는 전달된 액션을 수행하기 위해 필요한 대화 응답 및 명령어를 생성하여 출력한다. 대화 응답은 텍스트, 이미지 또는 오디오로 출력될 수 있고, 명령어가 출력되면 출력된 명령어에 대응되는 차량 제어, 외부 컨텐츠 제공 등의 서비스가 수행될 수 있다.
도 54에 도시된 바와 같이, 결과 처리기(130a)는 대화 관리기(120a)로부터 입력된 액션을 수행하기 위해 필요한 응답의 생성을 관리하는 응답 생성 관리기(131a), 응답 생성 관리기(131a)의 요청에 따라 텍스트 응답, 이미지 응답 또는 오디오 응답을 생성하는 대화 응답 생성기(132a), 응답 생성 관리기(131a)의 요청에 따라 차량 제어를 위한 명령어 또는 외부 컨텐츠를 이용한 서비스를 제공하기 위한 명령어를 생성하는 명령어 생성기(136a), 사용자가 원하는 서비스를 제공하기 위해 다수의 서비스를 순차적 또는 산발적으로 실행하고 결과값을 취합해주는 서비스 편집기(134a), 생성된 텍스트 응답, 이미지 응답 또는 오디오 응답을 출력하거나 명령어 생성기(136a)가 생성한 명령어를 출력하고, 출력이 복수인 경우에는 출력 순서를 결정하는 출력 관리기(133a), 응답 생성 관리기(131a)와 출력 관리기(133)의 출력에 기초하여 장기 메모리(143a)와 단기 메모리(144a)를 관리하는 메모리 관리기(135)를 포함한다.
결과 처리기(130a)에 대한 구체적 구성은, 일 실시 예와 동일하여 설명을 생략한다.
저장부(140a)는 대화 처리와 서비스 제공에 필요한 각종 정보를 저장하고, 획득된 알림 이벤트 정보를 저장한다. 예를 들어, 자연어 이해에 사용되는 도메인, 액션, 화행, 개체명과 관련된 정보를 미리 저장할 수 있고, 입력된 정보로부터 상황을 이해하기 위해 사용되는 상황 이해 테이블을 저장할 수도 있으며, 차량에 마련된 센서가 감지한 데이터, 사용자와 관련된 정보, 액션 수행을 위해 필요한 정보를 미리 저장할 수도 있다.
여기서 알림 이벤트 정보는, 알림 이벤트 명과, 알림 타이밍과, 안내 정보를 포함한다. 그리고 알림 타이밍은, 획득된 알림 이벤트 정보에 대응하는 기능이 수행되는 시점을 포함한다.
저장부(140a)는 차량의 상태 정보, 주행 환경 정보를 저장한다.
저장부(140a)는 복수 개의 알림 이벤트에 대한 알림 이벤트 명과 기준 조건을 저장하고, 각 알림 이벤트 명에 대한 안내 정보를 저장할 수 있다.
미리 설정된 복수 개의 알림 이벤트는, 차량 내에서 발생 가능한 이벤트로, 사용자의 편의를 위해 사용자에게 알림 서비스를 제공하는 미리 설정된 이벤트일 수 있다.
예를 들어, 복수 개의 알림 이벤트 명은, 흡연 모드, 졸음 방지 모드, 주차 모드를 포함할 수 있다.
예를 들어, 안내 정보는 흡연 모드일 때 앞뒤 윈도우 개방을 안내하는 안내 정보와, 주차 모드일 때 사이드 미러의 각도 변경을 안내하는 안내 정보와, 졸음 방지 모드일 때 차량 내에서 출력되는 사운드의 볼륨 상승, 재생 중인 음악의 장르 변경 또는 윈도우 개방을 안내하는 안내 정보일 수 있다.
그리고 기준 조건은, 미리 설정된 복수 개의 알림 이벤트 중 추가되어야 하는 기능에 대응하는 알림 이벤트를 판단하기 위한 정보로, 사용자에게 알려주어야 하는 알림 이벤트를 판단하기 위한 정보이다.
도 55는 다른 실시 예에 따른 대화 시스템이 마련된 차량의 제어 구성도로, 도 56 내지 도 60을 참조하여 설명한다.
차량은 시동이 온되면 차량의 상태 정보와 주행 환경 정보 중 적어도 하나의 정보를 모니터링(1001)하고, 모니터링된 정보와 과거에 저장된 정보에 기초하여 차량 사용 패턴을 생성(1002)하고, 생성된 기기 사용 패턴에 대응하는 알림 이벤트 정보를 생성하고 생성된 알림 이벤트 정보를 저장부(140a)의 알림 이벤트 테이블에 저장(1003)한다.
여기서 알림 이벤트 정보는 알림 이벤트명, 알림 타이밍 및 안내 정보를 포함할 수 있다.
차량의 상태 정보와 주행 환경 정보를 모니터링하는 것은, 차량에 마련된 차량 감지부(또는 감지부)의 각종 센서를 통해 정보 또는 데이터를 감지하는 것을 포함한다.
또한 차량의 상태 정보와 주행 환경 정보를 모니터링하는 것은, 음성 입력 장치나 음성외 입력 장치를 통해 입력되는 각종 정보를 모니터링 하는 것을 포함하는 것도 가능하다.
예를 들어, 차량의 상태 정보와 주행 환경 정보는, 목적지 정보, 주행 시간 정보, 주행 거리 정보, 고속도로 주행 정보, 주행 중 윈도우 개폐 정보, 라디오 온오프 정보, 라디오 채널 변경 정보, 공조장치 온오프 정보, 공조장치의 온도 조절 정보, 시트 열선 온오프 정보, 스티어링 열선 온오프 정보, 오디오 온오프 정보, 오디오 장르 변경 정보, 볼륨 조절 정보, 모바일 기기와의 통신 연결 정보, 모바일 기기의 기능 사용 정보, 실외 온도 정보, 실내 온도 정보, 실외 습도 정보, 실내 습도 정보, 브레이크 페달 압력 정보, 액셀러레이터 페달 압력 정보, 정비 정보, 주유 정보를 포함할 수 있다.
차량의 상태 정보와 주행 환경 정보는, 동승자의 탑승 정보를 더 포함할 수 있다.
차량 사용 패턴을 생성하는 것은, 저장부에 저장된 일정 기간 동안의 차량 상태 정보 및 주행 환경 정보와, 모니터링된 차량 상태 정보 및 주행 환경 정보를 비교하여, 과거와 현재의 정보들 간의 유사 또는 동일한 동작이 기준 횟수 이상 검색되면 검색된 기준 횟수 이상의 동작을 차량 사용 패턴으로 생성하는 것을 포함한다.
차량 사용 패턴을 생성하는 것을 예를 들어 설명하면, 한달 동안 주행 시작 시점으로부터 한 시간이 경과 시 운전석의 윈도우를 개방시키는 동작이 기준 횟수 이상 검색되면 주행 시작 시점의 한 시간 후 운전석 윈도우 개방 패턴을 생성하고 생성된 운전석 윈도우 개방 패턴을 차량 사용 패턴으로 저장한다.
이때 차량은 운전석 윈도우 개방을 알림 이벤트명으로 저장하고, 주행 시작 시점으로부터 한 시간 후의 시점을 알림 타이밍으로 저장하며, 운전석의 윈도우를 개방하겠다는 안내문을 안내 정보로 저장할 수 있다.
차량 사용 패턴을 생성하는 것의 다른 예로, 한달 동안 잔유량이 10리터일 때 주유하는 동작이 기준 횟수 이상 검색되면 주유 패턴을 생성하고 생성된 주유 패턴을 차량 사용 패턴으로 저장한다.
이때 차량은 주유 시점을 알림 이벤트 명으로 저장하고, 잔유량이 10리터가 될 때의 시점을 알림 타이밍으로 저장하며, 주유 시점이 다가왔다는 안내문을 안내 정보로 저장할 수 있다.
차량 사용 패턴을 생성하는 것의 또 다른 예로, 월요일마다 동승자가 탑승하고 겨울 철 시트 열선이 온되는 동작이 기준 횟수 이상 검색되면 월요일 시트 열선 온 동작에 대한 차량 사용 패턴을 저장할 수 있다.
차량 사용 패턴을 생성하는 것의 또 다른 예로, 한 달 동안 월요일 아침 7시에 동승자가 탑승하는 횟수가 기준 횟수 이상이면 월요일 아침 7시, 공조 장치의 풍향 조절에 대한 차량 사용 패턴을 저장할 수 있다.
차량은 알림 이벤트 생성 시 차량 사용 패턴에 기초하여 차량에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 알림 이벤트 정보로 생성하거나, 차량에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 알림 이벤트 정보로 생성할 수 있다.
차량은 주행 중 차량 사용 패턴의 생성을 수행하면서, 동시에 모니터링된 차량 상태 정보 및 주행 환경 정보를 저장부(140a)에 저장된 알림 이벤트 정보들과 비교하고, 차량 상태 정보 및 주행 환경 정보 중 적어도 하나의 정보가 알림 이벤트 정보들 중 어느 하나의 알림 이벤트 정보에 대응되는지 판단(1004)하고, 적어도 하나의 정보가 어느 하나의 알림 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보에 대한 알림 타이밍 및 안내 정보를 확인한다.
예를 들어, 차량은 차량 상태 정보 중 주행 시간이 주행 시작 시점으로부터 한 시간이 경과하였다고 판단되면, 알림 이벤트 테이블 내 알림 이벤트 정보 중 주행 시간 한 시간을 기본 조건으로 갖는 정보가 존재하는지 판단하고, 주행 시간 한 시간을 기본 조건으로 갖는 알림 이벤트 정보가 존재한다고 판단되면 기존 조건 한 시간을 갖는 알림 이벤트 정보를 확인하는 것을 판단할 수 있다.
아울러 적어도 하나의 정보가 알림 이벤트 정보들 중 어느 하나의 알림 이벤트 정보에 대응되는지 판단하는 것은, 적어도 하나의 정보가 알림 이벤트 정보에 대응하는 차량 사용 패턴에 만족하는지 판단하는 것을 포함할 수 있다.
적어도 하나의 정보가 알림 이벤트 정보들 중 어느 하나의 알림 이벤트 정보에 대응되는지 판단하는 것은, 알림 이벤트 정보들 중 적어도 하나의 정보가 매칭되는 알림 이벤트 정보를 판단하는 것을 포함할 수 있다.
차량은 현재 시점이 알림 이벤트 정보의 알림 타이밍인지 판단(1005))하고, 알림 타이밍이라고 판단되면 알림 이벤트 정보에 대한 안내 정보를 출력(1006)한다.
여기서 알림 타이밍은, 시간 정보를 포함할 수도 있고, 차량 감지부에서 감지된 센싱 정보를 포함할 수도 있다.
현재 시점이 알림 이벤트 정보의 알림 타이밍인지 판단하는 것의 일 예로, 현재 시점이 주행 시작 시점으로부터 한 시간 경과한 시점인지 판단하는 것을 포함할 수 있다.
현재 시점이 알림 이벤트 정보의 알림 타이밍인지 판단하는 것의 다른 예로, 감지된 잔유량이 10리터이면 현재 시점이 주유를 위한 알림 타이밍이라고 판단하는 것을 포함할 수 있다.
현재 시점이 알림 이벤트 정보의 알림 타이밍인지 판단하는 것의 또 다른 예로, 감지된 실외 온도가 25도씨이면 현재 시점이 공조 장치의 온 동작을 위한 알림 타이밍이라고 판단하는 것을 포함할 수 있다.
알림 이벤트 정보에 대한 안내 정보를 출력하는 것은, 스피커를 통해 음성으로 안내하는 것을 포함하고, AVN을 이용하여 텍스트로 표시하는 것도 가능하다.
차량은 알림 이벤트 정보에 대한 안내 정보를 출력한 후, 사용자에 의해 입력된 명령, 즉 음성 입력 장치 또는 음성 외 입력 장치를 통해 입력된 명령에 기초하여 알림 이벤트 정보에 대응하는 기능을 수행하거나, 불이행하는 것도 가능하다.
차량은 알림 이벤트 정보에 대응하는 기능의 수행 명령이 수신되면 알림 이벤트 정보에 대응하는 기능을 이용하여 차량에서 수행되는 복수 개의 기능 중 적어도 하나 기능을 업데이트하거나, 차량의 새로운 기능으로 추가하는 것도 가능하다.
차량은 알림 이벤트 정보에 대응하는 제어 명령을 생성(1007)하고, 제어 명령에 기초하여 알림 이벤트 정보에 대응하는 기능을 수행(1008)한다.
차량은 알림 이벤트 정보에 대응하는 기능을 수행하기 위해, 차량에 마련된 복수 개의 부하 중 적어도 하나의 부하의 동작을 제어한다.
예를 들어, 차량은 알림 이벤트 정보가 톨게이트 진입 이벤트이면 운전석 윈도우 개방을 위한 제어 명령을 생성하고, 운전석 윈도우 개방 기능을 수행한다.
이때 차량은 운전석 윈도우 개방 기능을 수행하기 위해, 운전석의 도어 내에 마련된 윈도우 개폐 부재(미도시)의 동작을 제어할 수 있다.
도 56을 참조하여, 차량의 알림 이벤트 안내 동작의 일 예를 설명하도록 한다.
차량은 사용자에 의해 입력된 목적지 정보와 차량의 위치 정보에 기초하여 장거리 운전을 수행하는지 단거리 운전을 수행하는지를 판단할 수 있다.
장거리 운전을 수행한다고 판단될 경우, 차량의 대화 시스템은 장거리 운전을 기본 조건으로 갖는 알림 이벤트 정보를 판단하고 판단된 알림 이벤트 정보를 스피커를 통해 출력할 수 있다.
대화 시스템은 장거리 운전과 이에 대응하는 흡연 모드의 수행 여부를 질의할 수 있다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 흡연 모드를 수행하며, 흡연 모드에 대응하는 기능과, 이 기능에 대한 안내 정보를 출력할 알림 타이밍을 확인한다.
여기서 흡연 모드의 수행은, 윈도우를 개방하기 위한 시점을 카운팅하는 것을 포함할 수 있다.
차량의 대화 시스템은 현재 시점이 윈도우를 개방하기 위한 시점이라고 판단되면, 즉 윈도우 개방의 알림 타이밍이라고 판단되면 흡연 모드 수행에 따른 윈도우 개방의 실행 여부를 질의한다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 윈도우 개방을 안내하고, 흡연이 끝나면 폐쇄 명령을 입력할 것을 음성으로 요청한다.
대화 시스템은 차량 제어기에 윈도우 개방 명령을 전달할 수 있다. 이때 차량 제어기는 윈도우 개방 명령이 수신되면 윈도우 개방을 제어할 수 있다.
차량의 대화시스템은 일정 시간이 경과하여도 윈도우 폐쇄 명령이 입력되지 않으면 윈도우 폐쇄를 질의할 수 있다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 윈도우 폐쇄를 안내하고, 윈도우 폐쇄 명령을 차량 제어기에 전송함으로써, 차량에서 윈도우 폐쇄를 제어하도록 할 수 있다.
도 57을 참조하여, 차량의 알림 이벤트 안내 동작의 다른 예를 설명하도록 한다. 도 57은 차량은 톨게이트 진입 시마다 운전석의 윈도우를 개방하는 차량 사용 패턴이 저장되어 있다고 가정한다.
차량의 차량 제어기는 현재 위치가 톨게이트의 진입 위치이면, 현재 위치를 대화 시스템에 전송할 수 있다. 이때 차량의 대화 시스템은 톨게이트 진입 시마다 운전석의 윈도우를 개방하는 패턴이 확인되었다는 안내문과 함께 앞으로 톨게이트 진입 시 운전석 윈도우 개방 기능을 알림 이벤트 정보로 설정할 것인지를 질의할 수 있다.
차량의 대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 톨게이트 진입 시마다 운전석의 윈도우를 개방하는 기능의 수행에 대한 안내 정보를 스피커를 통해 출력할 수 있다.
이후 차량의 대화 시스템은 톨게이트를 진입할 때마다 운전석의 윈도우를 개방한다는 안내 정보를 스피커를 통해 출력한다.
아울러, 하이패스 미 장착 차량에는, 톨게이트 진입 시에 운전석의 윈도우를 개방하기 위한 알림 이벤트 정보가 미리 저장되어 있을 수 있다. 이때 차량의 대화 시스템은 차량의 위치 정보에 기초하여 차량의 현재 위치가 톨게이트 진입을 위한 위치라고 판단되면, 운전석의 윈도우 개방을 안내하는 안내 정보를 스피커를 통해 출력한다.
차량은 모바일 기기와 통신을 수행할 수 있다. 이때 차량은 모바일 기기에서 수행되는 기능들의 상태 및 모바일 기기의 동작 상태를 확인하고, 확인된 모바일 기기의 기능들의 상태 및 모바일 기기의 동작 상태에 기초하여 모바일 기기의 상태 정보를 획득하고, 저장부에 저장된 알림 이벤트 정보들과 획득된 모바일 기기의 상태에 기초하여 획득된 모바일 기기의 상태에 대응하는 알림 이벤트 정보를 판단하고 판단된 알림 이벤트 정보에 대한 안내 정보를 알림 타이밍에 출력할 수 있다.
알림 이벤트 정보에 대한 안내 정보를 출력하는 것은, 스피커를 통해 음성으로 안내하는 것을 포함하고, AVN을 이용하여 텍스트로 표시하는 것도 가능하다.
여기서 알림 타이밍은, 어느 하나의 알림 이벤트 정보에 대응하는 기능이 수행되는 시점을 포함할 수 있다.
도 58을 참조하여, 모바일 기기와 통신 시 차량의 알림 이벤트 안내 동작의 일 예를 설명하도록 한다.
차량은 사용자의 명령에 따라 모바일 기기와 블루투스 통신을 수행한다.
이때, 차량은 모바일 기기에서 수행 중인 음악의 오디오 정보를 차량의 스피커를 통해 출력할 수 있고, 모바일 기기에서 수행 중인 내비게이션의 오디오 정보를 차량의 스피커를 통해 출력할 수 있다.
또한 차량은 모바일 기기에서 수행 중인 음악 재생이나 내비게이션과 같은 각 기능의 제어 명령을 입력받고 입력된 제어 명령을 모바일 기기에 전송할 수도 있다.
차량은 모바일 기기를 통해 전화가 수신되면 AVN을 통해 발신자의 정보를 표시하도록 할 수 있다.
차량 제어기는 대화 시스템으로 전화 수신에 대한 모바일 기기의 상태 정보를 전송할 수 있다. 이때 차량의 대화 시스템은 저장부에 저장된 알림 이벤트 정보와 모바일 기기의 상태 정보를 비교한다.
대화 시스템은 전화 수신을 기본 조건으로 하는 알림 이벤트 정보를 판단하고 판단된 알림 이벤트 정보에 대한 안내 정보와 알림 타이밍을 확인하고, 현재 시점이 알림 타이밍이라고 판단되면 안내 정보를 출력한다.
여기서 전화 수신에 대한 알림 타이밍은, 전화 수신 시작시점 또는 전화 수신 시작 시점으로부터 일정시간이 경과한 시점일 수 있다.
차량의 대화 시스템은 전화 수신과 함께 자동 문자 전송을 질의한다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 자동 문자 전송을 알리는 안내 정보를 스피커를 통해 출력할 수 있다.
다음 대화 시스템은 차량 제어기로 자동 문자 전송 명령을 전송한다. 이때 차량 제어기는 자동 문자 전송 명령이 수신되면 모바일 기기에 자동 문자 전송 명령을 전송함으로써 모바일 기기를 통해 운전 중임을 알리는 자동 문자를 발신자에게 전송하도록 할 수 있다.
아울러 차량의 대화 시스템은 이후에도 전화 수신 중 자동으로 문자를 전송하는 기능을 설정할지를 질의할 수 있다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 자동 문자 전송 기능의 설정 옵션에 대한 선택을 안내할 수도 있고, 설정 옵션 중 어느 하나를 선택할지에 대해 질의할 수도 있다.
차량의 대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 어느 하나의 설정 옵션(즉, 안내 모드)라고 판단되면, 자동 문자 기능의 설정 옵션으로 안내 모드를 저장할 수 있고, 자동 문자 기능의 설정 옵션으로 안내 모드가 저장됨을 스피커를 통해 출력할 수 있다.
도 59을 참조하여, 모바일 기기와 통신 시 차량의 알림 이벤트 안내 동작의 다른 예를 설명하도록 한다.
차량 제어기는 모바일 기기를 통해 전화가 수신되면 대화 시스템으로 전화 수신에 대한 모바일 기기의 상태 정보를 전송할 수 있다. 이때 차량의 대화 시스템은 저장부에 저장된 알림 이벤트 정보와 모바일 기기의 상태 정보를 비교한다.
대화 시스템은 전화 수신을 기본 조건으로 하는 알림 이벤트 정보를 판단하고 판단된 알림 이벤트 정보에 대한 안내 정보와 알림 타이밍을 확인하고, 현재 시점이 알림 타이밍이라고 판단되면 안내 정보를 출력한다.
차량의 대화 시스템은 전화 수신과 함께 자동 문자 전송을 질의한다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 자동 문자 전송을 알리는 안내 정보를 스피커를 통해 출력할 수 있다.
다음 대화 시스템은 차량 제어기로 자동 문자 전송 명령을 전송한다. 이때 차량 제어기는 자동 문자 전송 명령이 수신되면 모바일 기기에 자동 문자 전송 명령을 전송함으로써 모바일 기기를 통해 운전 중임을 알리는 자동 문자를 발신자에게 전송하도록 할 수 있다.
아울러 차량의 대화 시스템은 이후에도 전화 수신 중 자동으로 문자를 전송하는 기능을 설정할지를 질의할 수 있다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 자동 문자 전송 기능의 설정 옵션에 대한 선택을 안내할 수도 있고, 설정 옵션 중 어느 하나를 선택할지에 대해 질의할 수도 있다.
차량의 대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 부정(즉 no)이면 설정 옵션 중 다른 하나를 선택할지에 대해 질의할 수 있다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 자동 문자 전송 기능의 설정 옵션이 다른 하나의 설정 옵션(즉, 자동 모드)라고 판단하여 자동 문자 기능의 설정 옵션으로 자동 모드를 저장한다.
그리고 대화 시스템은 자동 문자 기능의 설정 옵션으로 자동 모드가 저장됨을 스피커를 통해 출력할 수 있다.
이후, 차량의 대화 시스템은 전화가 수신될 때마다 자동으로 문자를 전송할 수 있다. 이때 차량은 대화시스템을 통해 자동으로 문자를 전송하였음을 안내하는 것도 가능하다.
차량은 외부의 서버와 통신을 수행할 수 있다. 이때 차량은 외부의 서버로부터 수신된 정보에 기초하여 차량에서 수행되는 복수 개의 기능 중 적어도 하나의 기능을 업데이트할 수 있다.
또한 차량은 외부의 서버에서 수신된 정보에 기초하여 차량의 새로운 기능을 추가하는 것도 가능하다.
차량은 업데이트 된 기능이 수행되는 시점을 확인하고 현재 시점이 업데이트된 기능이 수행되는 시점이라고 판단되면 업데이트된 기능에 대한 안내 정보를 출력한다.
또한 차량은 새롭게 추가된 신 기능이 수행되는 시점을 확인하고 현재 시점이 신 기능이 수행되는 시점이라고 판단되면 신 기능에 대한 안내 정보를 출력하는 것도 가능하다.
이를 도 60을 참조하여 설명한다.
차량 제어기는 차량에 마련된 AVN의 내비게이션 모드가 온되면, 내비게이션 온 동작에 대한 상태 정보를 대화 시스템에 전송한다.
대화 시스템은 AVN의 내비게이션 모드가 온되었음을 안내하고, 내비게이션 모드를 수행하겠다라는 안내를 수행한다.
대화시스템은 AVN의 내비게이션 모드에 새로운 기능이 추가되었다고 판단되면 새로운 기능에 대한 안내를 수행하며, 새로운 기능을 수행할지를 질의할 수 있다.
대화 시스템은 사용자에 의해 입력된 명령을 확인하고 확인된 명령이 긍정(즉, yes)라고 판단되면 새로운 기능을 수행하도록 새로운 기능에 대한 제어 명령을 차량 제어기에 전송한다.
대화 시스템은 새로운 기능에 대해 내비게이션 모드일 때마다 수행할 것인지, 내비게이션 모드가 온될 때마다 새로운 기능의 수행 여부를 질의할 것인지를 질의할 수 있다.
그리고 대화시스템은 사용자의 명령에 기초하여 새로운 기능의 수행 옵션을 설정할 수 있다.
상기의 설명은 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 상기에 개시된 실시예 및 첨부된 도면들은 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 기술적 사상의 범위가 한정되는 것은 아니다. 그 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 권리범위에 포함되는 것으로 해석되어야 할 것이다.
지금까지 설명한 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법에 의하면, 차량 환경에 특화된 대화 처리 기술을 이용하여 사용자의 의도에 부합되거나 사용자에게 필요한 최적의 서비스를 제공할 수 있다.
또한, 차량 내부에서 발생하는 다양한 상황을 고려하여 사용자에게 필요한 최적의 서비스를 제공할 수 있다. 특히, 사용자의 발화와 무관하게 대화 시스템(100)이 수집한 상황 정보 또는 운전자 정보에 기초하여 사용자에게 필요한 서비스를 스스로 판단하고 이를 선제적으로 제공하는 것이 가능하다.
100: 대화 시스템
110: 입력 처리기
120: 대화 관리기
130: 결과 처리기
200: 차량
210: 음성 입력 장치
220: 음성 외 입력 장치
230: 대화자 출력 장치
280: 통신 장치
110: 입력 처리기
120: 대화 관리기
130: 결과 처리기
200: 차량
210: 음성 입력 장치
220: 음성 외 입력 장치
230: 대화자 출력 장치
280: 통신 장치
Claims (21)
- 기기와 통신을 수행하는 대화 시스템에 있어서,
사용자의 음성이 입력되면 입력된 음성을 인식하는 음성 입력 처리기;
복수 개의 알림 이벤트 정보를 저장하는 저장부;
기기의 상태 정보 및 주행 환경 정보 중 적어도 하나의 정보가 수신되면 상기 수신된 적어도 하나의 정보에 기초하여 상황을 인식하고, 상기 인식된 상황 정보와 상기 인식된 음성의 정보 중 적어도 하나의 정보가 상기 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하고, 상기 적어도 하나의 정보가 어느 하나의 알림 이벤트 정보에 대응된다고 판단되면 상기 어느 하나의 알림 이벤트 정보에 대한 알림 타이밍을 확인하는 상황 정보 처리기;
현재 시점이 상기 알림 타이밍이면 상기 어느 하나의 알림 이벤트 정보에 대한 안내 정보를 액션으로 결정하는 대화 관리기; 및
상기 결정된 액션에 대응하는 발화를 출력하는 결과 처리기를 포함하는 대화 시스템. - 제 1 항에 있어서, 상기 상황 정보 처리기는,
상기 수신된 적어도 하나의 정보에 기초하여 기기 사용 패턴을 생성하고, 상기 생성된 기기 사용 패턴에 대응하는 알림 이벤트 정보를 생성하고 생성된 알림 이벤트 정보를 상기 저장부에 저장하도록 하는 것을 포함하는 대화 시스템. - 제 2 항에 있어서, 상기 상황 정보 처리기는,
상기 생성된 기기 사용 패턴에 기초하여 상기 기기에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 생성하고, 상기 기기에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 생성하며, 상기 생성된 업데이트 정보 및 신 기능 정보를 알림 이벤트 정보로 생성하는 것을 포함하는 대화 시스템. - 제 1 항에 있어서,
상기 알림 이벤트 정보는, 알림 이벤트 정보의 알림 이벤트 명, 알림 타이밍 및 안내 정보를 포함하고,
상기 알림 타이밍은, 상기 어느 하나의 알림 이벤트 정보에 대응하는 기능이 수행되는 시점을 포함하는 대화 시스템. - 차량의 상태 정보와, 주행 환경 정보를 감지하는 감지부;
복수 개의 알림 이벤트 정보를 저장하는 저장부;
상기 감지된 차량의 상태 정보와 주행 환경 정보 중 적어도 하나의 정보가 상기 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하고, 상기 적어도 하나의 정보가 어느 하나의 알림 이벤트 정보에 대응된다고 판단되면 상기 어느 하나의 알림 이벤트 정보에 대한 알림 타이밍을 확인하고 현재 시점이 상기 알림 타이밍이면 상기 어느 하나의 알림 이벤트 정보에 대한 안내 정보를 액션으로 결정하고 상기 결정된 액션에 대응하는 발화를 출력하고 상기 어느 하나의 알림 이벤트 정보에 대응하는 제어 명령을 선택적으로 생성하는 대화 시스템; 및
상기 제어 명령이 수신되면 수신된 제어 명령에 기초하여 복수 개의 기능 중 적어도 하나의 기능을 제어하는 차량 제어기를 포함하는 차량. - 제 5 항에 있어서,
사용자의 음성을 입력받는 음성 입력장치를 더 포함하고,
상기 대화 시스템은, 상기 사용자의 음성이 입력되면 입력된 음성을 인식하고 인식된 음성의 정보가 상기 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하는 것을 더 포함하는 차량. - 제 6 항에 있어서, 상기 대화 시스템은,
상기 인식된 음성에 기초하여 발화 패턴을 생성하고 상기 감지된 차량의 상태 정보 및 주행 환경 정보 중 적어도 하나에 기초하여 차량 사용 패턴을 생성하고, 상기 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 알림 이벤트 정보를 생성하는 것을 더 포함하는 차량. - 제 7 항에 있어서, 상기 대화 시스템은,
상기 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 상기 차량에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 생성하고, 상기 차량에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 생성하며, 상기 생성된 업데이트 정보 및 신 기능 정보를 알림 이벤트 정보로 획득하고,
상기 차량 제어기는, 상기 생성된 업데이트 정보에 기초하여 적어도 하나의 기능을 업데이트하고, 상기 생성된 신 기능 정보를 차량의 기능으로 추가하는 것을 포함하는 차량. - 제 5 항에 있어서,
모바일 기기와 통신을 수행하는 통신 장치를 더 포함하고,
상기 대화 시스템은, 상기 모바일 기기의 상태 정보를 수신하고 상기 모바일 기기의 상태 정보가 상기 복수 개의 알림 이벤트 정보 중 어느 하나에 대응되는지 판단하는 것을 더 포함하는 차량. - 제 9 항에 있어서, 상기 대화 시스템은,
상기 모바일 기기와 통신 수행 중 상기 모바일 기기의 사용 패턴을 생성하고, 상기 생성된 모바일 기기의 사용 패턴에 대응하는 알림 이벤트 정보를 생성하는 것을 더 포함하는 차량. - 제 9 항에 있어서,
사용자의 음성을 입력받는 음성 입력장치를 더 포함하고,
상기 대화 시스템은, 상기 음성 입력 장치를 통해 상기 출력된 발화에 대한 응답의 음성이 입력되면 입력된 응답의 음성에 기초하여 상기 모바일 기기에 대한 알림 이벤트에 대응하는 제어 명령의 전송 수행 또는 전송 정지를 제어하는 것을 더 포함하는 차량. - 제 9 항에 있어서,
상기 대화 시스템은, 상기 모바일 기기에 대한 알림 이벤트에 대응하는 제어 명령을 생성하고,
상기 차량 제어기는 상기 제어 명령이 수신되면 상기 수신된 제어 명령을 상기 모바일 기기에 전송하도록 상기 통신 장치를 제어하는 것을 더 포함하는 차량. - 제 5 항에 있어서, 상기 복수 개의 기능은,
윈도우 개폐, 라디오 온오프, 라디오 채널 변경, 공조장치 온오프, 공조장치의 온도 조절, 시트 열선 온오프, 스티어링 열선 온오프, 오디오 온오프, 오디오 장르 변경, 볼륨 조절, 모바일 기기와의 통신 연결 중 적어도 두 개를 포함하는 차량. - 제 5 항에 있어서,
외부의 서버와 통신을 수행하는 통신 장치를 더 포함하고,
상기 대화 시스템은, 상기 서버를 통해 펌웨어의 업데이트 정보가 수신되면 수신된 펌웨어의 업데이트 정보에 기초하여 알림 이벤트 정보를 획득하고,
상기 차량 제어기는, 상기 수신된 펌웨어의 업데이트 정보에 기초하여 펌웨어의 업데이트를 제어하는 것을 포함하는 차량. - 제 14 항에 있어서, 상기 대화 시스템은,
상기 펌웨어에 대한 알림 이벤트 정보에 기초하여 상기 펌웨어의 동작 수행 중 현재 시점이 상기 알림 이벤트 정보의 알림 타이밍인지 판단하고 현재 시점이 알림 이벤트 정보의 알림 타이밍이라고 판단되면 상기 알림 이벤트 정보에 대한 안내 정보를 출력하는 것을 포함하는 차량. - 차량의 상태 정보와 주행 환경 정보 중 적어도 하나의 정보를 모니터링하고,
상기 모니터링된 정보에 기초하여 차량 사용 패턴을 생성하고,
상기 생성된 차량 사용 패턴에 대응하는 알림 이벤트 정보를 생성 및 저장하고,
상기 모니터링된 정보가 저장부에 저장된 알림 이벤트 정보들 중 어느 하나의 이벤트 정보에 대응되는지 판단하고,
상기 모니터링된 정보가 어느 하나의 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보의 알림 타이밍인지 판단하고,
현재 시점이 어느 하나의 알림 이벤트 정보의 알림 타이밍이면 상기 알림 이벤트 정보에 대한 상기 안내 정보를 출력하고,
상기 저장된 알림 이벤트 정보에 대응하는 제어 명령을 생성하고,
상기 제어 명령에 기초하여 상기 알림 이벤트 정보에 대응하는 기능을 수행하는 차량의 제어 방법. - 제 16 항에 있어서, 상기 알림 이벤트 정보를 생성하는 것은,
사용자의 음성이 입력되면 입력된 음성을 인식하고,
상기 인식된 음성의 정보에 기초하여 발화 패턴을 생성하고,
상기 생성된 발화 패턴에 대응하는 알림 이벤트 정보를 생성하는 것을 포함하는 차량의 제어 방법. - 제 17 항에 있어서, 상기 알림 이벤트 정보를 생성하는 것은,
상기 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 상기 차량에서 수행되는 복수 개의 기능 중 적어도 하나에 대한 업데이트 정보를 생성하고,
상기 생성된 차량 사용 패턴 및 발화 패턴 중 적어도 하나에 기초하여 상기 차량에 새롭게 추가하기 위한 기능에 대한 신 기능 정보를 생성하고,
상기 생성된 업데이트 정보 및 신 기능 정보를 알림 이벤트 정보로 획득하는 것을 포함하는 차량의 제어 방법. - 제 16 항에 있어서,
모바일 기기의 상태 정보를 수신하고,
상기 모바일 기기의 상태 정보에 기초하여 상기 모바일 기기와 통신 수행 중 상기 모바일 기기의 사용 패턴을 생성하고,
상기 생성된 모바일 기기의 사용 패턴에 대응하는 알림 이벤트 정보를 생성 및 저장하고,
상기 모바일 기기의 상태 정보가 저장부에 저장된 알림 이벤트 정보들 중 어느 하나의 이벤트 정보에 대응되는지 판단하고,
상기 모바일 기기의 상태 정보가 어느 하나의 이벤트 정보에 대응된다고 판단되면 어느 하나의 알림 이벤트 정보의 알림 타이밍인지 판단하고,
현재 시점이 어느 하나의 알림 이벤트 정보의 알림 타이밍이면 상기 모바일 기기에 대한 어느 하나의 알림 이벤트에 대응하는 안내 정보를 출력하는 것을 더 포함하는 차량의 제어 방법. - 제 19 항에 있어서,
상기 모바일 기기에 대한 어느 하나의 알림 이벤트에 대응하는 제어 명령을 생성하고,
상기 생성된 제어 명령을 상기 모바일 기기에 전송하는 것을 더 포함하는 차량의 제어 방법 - 제 16 항에 있어서,
외부의 서버를 통해 적어도 하나의 펌웨어의 업데이트 정보가 수신되면 상기 수신된 적어도 하나의 펌웨어의 업데이트 정보에 기초하여 펌웨어의 업데이트를 제어하고,
상기 수신된 적어도 하나의 펌웨어의 업데이트 정보에 기초하여 알림 이벤트 정보를 획득 및 저장하고,
상기 펌웨어에 대한 알림 이벤트 정보에 기초하여 상기 펌웨어의 동작 수행 중 현재 시점이 상기 알림 이벤트 정보의 알림 타이밍인지 판단하고,
현재 시점이 알림 이벤트 정보의 알림 타이밍이라고 판단되면 상기 알림 이벤트 정보에 대한 안내 정보를 출력하는 것을 더 포함하는 차량의 제어 방법.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180073824A KR20200001188A (ko) | 2018-06-27 | 2018-06-27 | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 |
CN201811467518.0A CN110648661B (zh) | 2018-06-27 | 2018-12-03 | 对话系统、车辆和用于控制车辆的方法 |
US16/208,152 US10733994B2 (en) | 2018-06-27 | 2018-12-03 | Dialogue system, vehicle and method for controlling the vehicle |
CN201811497621.XA CN110503949A (zh) | 2018-05-17 | 2018-12-07 | 对话系统、具有对话系统的车辆和对话处理方法 |
CN201811496791.6A CN110503947B (zh) | 2018-05-17 | 2018-12-07 | 对话系统、包括其的车辆和对话处理方法 |
CN201811497854.XA CN110562260A (zh) | 2018-05-17 | 2018-12-07 | 对话系统和对话处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180073824A KR20200001188A (ko) | 2018-06-27 | 2018-06-27 | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200001188A true KR20200001188A (ko) | 2020-01-06 |
Family
ID=69007645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180073824A KR20200001188A (ko) | 2018-05-17 | 2018-06-27 | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10733994B2 (ko) |
KR (1) | KR20200001188A (ko) |
CN (1) | CN110648661B (ko) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016118888A1 (de) * | 2016-10-05 | 2018-04-05 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren und Vorrichtung zur Steuerung eines Fahrzeugs |
KR102485253B1 (ko) * | 2017-11-10 | 2023-01-06 | 현대자동차주식회사 | 대화 시스템 및 그 제어방법 |
WO2019155716A1 (ja) * | 2018-02-08 | 2019-08-15 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
US10902471B2 (en) * | 2018-08-17 | 2021-01-26 | Honda Motor Co., Ltd. | Voice assistant generated advertisement for a vehicle system and method thereof |
US10891950B2 (en) * | 2018-09-27 | 2021-01-12 | International Business Machines Corporation | Graph based prediction for next action in conversation flow |
CN109515449A (zh) * | 2018-11-09 | 2019-03-26 | 百度在线网络技术(北京)有限公司 | 用于控制车辆与车载设备交互的方法和装置 |
US20200218263A1 (en) * | 2019-01-08 | 2020-07-09 | Intuition Robotics, Ltd. | System and method for explaining actions of autonomous and semi-autonomous vehicles |
US10759441B1 (en) * | 2019-05-06 | 2020-09-01 | Cambridge Mobile Telematics Inc. | Determining, scoring, and reporting mobile phone distraction of a driver |
CN112017659A (zh) * | 2020-09-01 | 2020-12-01 | 北京百度网讯科技有限公司 | 多音区语音信号的处理方法、装置、设备以及存储介质 |
US20220076670A1 (en) * | 2020-09-10 | 2022-03-10 | Harman International Industries, Incorporated | Virtual conversation agent for controlling multiple vehicular intelligent virtual assistants |
JP7480731B2 (ja) * | 2021-03-16 | 2024-05-10 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、システム及びプログラム |
JP2023016404A (ja) * | 2021-07-21 | 2023-02-02 | トヨタ自動車株式会社 | 情報処理装置、方法、及び、車両 |
US20230035752A1 (en) * | 2021-07-30 | 2023-02-02 | Nissan North America, Inc. | Systems and methods for responding to audible commands and/or adjusting vehicle components based thereon |
US20230206915A1 (en) * | 2021-12-23 | 2023-06-29 | Soundhound, Inc. | Method and system for assisting a user |
CN115230621A (zh) * | 2022-06-29 | 2022-10-25 | 中国第一汽车股份有限公司 | 车辆控制方法和车辆 |
DE102022207082A1 (de) * | 2022-07-11 | 2024-01-11 | Volkswagen Aktiengesellschaft | Ortsbasierte Aktivierung der Sprachsteuerung ohne Verwendung eines spezifischen Aktivierungsbegriffs |
CN117519798A (zh) * | 2022-07-29 | 2024-02-06 | 华为技术有限公司 | 语音交互的方法及终端设备 |
CN116168704B (zh) * | 2023-04-26 | 2023-07-18 | 长城汽车股份有限公司 | 语音交互的引导方法、装置、设备、介质及车辆 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4292846B2 (ja) * | 2003-03-31 | 2009-07-08 | 三菱電機株式会社 | 音声対話装置及び音声対話代行装置並びにそれらのプログラム |
DE102005007317A1 (de) * | 2005-02-17 | 2006-08-24 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Sprachsteuerung eines Gerätes oder eines Systems in einem Kraftfahrzeug |
JP5271330B2 (ja) * | 2010-09-29 | 2013-08-21 | 株式会社東芝 | 音声対話システム、方法、及びプログラム |
DE102012019178A1 (de) | 2011-09-30 | 2013-04-04 | Apple Inc. | Verwendung von Kontextinformationen zum Erleichtern der Verarbeitung von Befehlen bei einem virtuellen Assistenten |
US9305555B2 (en) * | 2012-06-25 | 2016-04-05 | Mitsubishi Electric Corporation | Onboard information device |
US9085303B2 (en) * | 2012-11-15 | 2015-07-21 | Sri International | Vehicle personal assistant |
KR101519020B1 (ko) | 2013-10-21 | 2015-05-12 | 주식회사 리얼타임테크 | 주행 중 내비게이션 데이터의 부분 업데이트 장치 및 방법 |
JP2015232815A (ja) | 2014-06-10 | 2015-12-24 | カルソニックカンセイ株式会社 | 車載プログラムのアップデート装置 |
US9272658B2 (en) * | 2014-06-24 | 2016-03-01 | Google Inc. | Attention and event management |
CN105528385B (zh) * | 2014-10-15 | 2020-11-20 | 松下电器(美国)知识产权公司 | 信息取得方法、信息取得系统以及信息取得程序 |
KR102274668B1 (ko) | 2014-11-18 | 2021-07-08 | 현대모비스 주식회사 | 차량용 avn 시스템의 소프트웨어 업데이트 제어 장치 및 방법 |
US10137902B2 (en) * | 2015-02-12 | 2018-11-27 | Harman International Industries, Incorporated | Adaptive interactive voice system |
JP6846617B2 (ja) * | 2015-02-12 | 2021-03-24 | パナソニックIpマネジメント株式会社 | 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム |
KR101675869B1 (ko) | 2015-04-02 | 2016-11-14 | 주식회사 오비고 | 차량의 ecu의 소프트웨어를 업데이트하는 방법, 서버 및 컴퓨터 판독 가능한 기록 매체 |
KR101698517B1 (ko) | 2015-04-14 | 2017-01-20 | 현대자동차주식회사 | 차량의 소프트웨어 업데이트 방법 및 장치, 그리고 이를 컴퓨터 판독 가능한 기록 매체 |
JP6080904B2 (ja) | 2015-06-17 | 2017-02-15 | 三菱電機株式会社 | 車両制御システム、受信制御装置および車両制御装置 |
JP6573500B2 (ja) | 2015-07-28 | 2019-09-11 | 矢崎総業株式会社 | ソフトウェア更新システム |
KR101704567B1 (ko) | 2015-08-27 | 2017-02-08 | 현대자동차주식회사 | 차량 연동 앱 관리 방법, 장치 및 시스템 |
JP2017081258A (ja) * | 2015-10-23 | 2017-05-18 | 株式会社東海理化電機製作所 | 車両用操作装置 |
CN106856540A (zh) * | 2015-12-09 | 2017-06-16 | 北京奇虎科技有限公司 | 一种移动终端通信的方法和装置 |
US20170221480A1 (en) * | 2016-01-29 | 2017-08-03 | GM Global Technology Operations LLC | Speech recognition systems and methods for automated driving |
JP6443364B2 (ja) * | 2016-03-09 | 2018-12-26 | トヨタ自動車株式会社 | 車両用情報提供装置 |
CN106627148A (zh) * | 2016-11-25 | 2017-05-10 | 未来汽车科技(深圳)有限公司 | 汽车仪表盘和汽车仪表盘失效的应急方法 |
-
2018
- 2018-06-27 KR KR1020180073824A patent/KR20200001188A/ko not_active Application Discontinuation
- 2018-12-03 CN CN201811467518.0A patent/CN110648661B/zh active Active
- 2018-12-03 US US16/208,152 patent/US10733994B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN110648661A (zh) | 2020-01-03 |
US20200005778A1 (en) | 2020-01-02 |
US10733994B2 (en) | 2020-08-04 |
CN110648661B (zh) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102562227B1 (ko) | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 | |
US10733994B2 (en) | Dialogue system, vehicle and method for controlling the vehicle | |
US10839797B2 (en) | Dialogue system, vehicle having the same and dialogue processing method | |
KR102426171B1 (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법 | |
US10991368B2 (en) | Dialogue system and dialogue processing method | |
US10937424B2 (en) | Dialogue system and vehicle using the same | |
US10997974B2 (en) | Dialogue system, and dialogue processing method | |
US10950233B2 (en) | Dialogue system, vehicle having the same and dialogue processing method | |
US11004450B2 (en) | Dialogue system and dialogue processing method | |
US10861460B2 (en) | Dialogue system, vehicle having the same and dialogue processing method | |
KR102403355B1 (ko) | 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법 | |
CN110503947B (zh) | 对话系统、包括其的车辆和对话处理方法 | |
KR102487669B1 (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 | |
KR20200006738A (ko) | 대화 시스템 및 대화 처리 방법 | |
KR102448719B1 (ko) | 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법 | |
CN110562260A (zh) | 对话系统和对话处理方法 | |
KR20200000621A (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 | |
KR20190135676A (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 | |
KR20190036018A (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal |