KR20190066116A - Dialogue processing apparatus, vehicle having the same - Google Patents
Dialogue processing apparatus, vehicle having the same Download PDFInfo
- Publication number
- KR20190066116A KR20190066116A KR1020170165518A KR20170165518A KR20190066116A KR 20190066116 A KR20190066116 A KR 20190066116A KR 1020170165518 A KR1020170165518 A KR 1020170165518A KR 20170165518 A KR20170165518 A KR 20170165518A KR 20190066116 A KR20190066116 A KR 20190066116A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- utterance
- information
- response
- vehicle
- Prior art date
Links
- 238000012545 processing Methods 0.000 title description 7
- 230000004044 response Effects 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims description 38
- 230000002452 interceptive effect Effects 0.000 claims description 33
- 230000009471 action Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 대화 시스템 및 이를 포함하는 차량에 관한 방법으로서, 보다 상세하게는 차량의 사용자와의 발화 시스템에 있어서 사용자에게 제공한 발화에 대응되는 사용자의 응답을 기초로 다양한 종류의 후속 발화를 제공하는 기술에 관한 발명이다.The present invention relates to an interactive system and a method for a vehicle including the same, and more particularly to a method for providing a variety of subsequent utterances based on a user's response corresponding to a utterance provided to a user in a utterance system with a user of the vehicle Technology invention.
현대 사회에서 자동차는 가장 보편적인 이동 수단으로서 자동차를 이용하는 사람들의 수는 증가하고 있다. 자동차 기술의 발전으로 인해 과거보다 장거리의 이동이 용이하고, 생활이 편해지는 등 생활에 많은 변화가 발생하고 있다.In modern society, automobiles are the most common means of transportation and the number of people using them is increasing. Due to the development of automobile technology, there are many changes in life such as easy movement of long distance and ease of life.
차량은 사용자의 편의를 위해 핸즈프리 장치, GPS 수신기, 블루투스 장치 및 하이패스 장치 등의 전자 장치 등이 많이 개발되고 있으며, 자동차 관련 기술 분야들 중에서 전기전자 분야가 새로운 가치를 창출하는 비중이 점점 커지고 있다.Many electronic devices such as a hands-free device, a GPS receiver, a Bluetooth device, and a high-pass device have been developed for the convenience of the user, and the electric and electronic fields are becoming more and more important in creating new value .
또한, 차량의 보급화 및 도로의 발달로 인해 차량을 운전하는 것은 생활의 일부가 되었고 이로 인해 장거리 운전을 하거나 밤에 운전을 하는 것 또한 일상적인 운전이 되어가고 있다. 이러한 변화로 인해 차량 안에서 사용자가 보내는 시간이 많아짐에 따라 사용자가 보다 좋은 환경에서 운전을 할 수 있도록 다양한 기능들이 개발되고 있다.In addition, due to the spread of vehicles and the development of roads, driving a vehicle has become a part of everyday life, and driving long-distance driving at night or driving at night is also becoming a daily operation. Due to these changes, as the time spent by the user increases in the vehicle, various functions are being developed to enable the user to operate in a better environment.
그 중 대표적인 기술로, 사용자의 음성을 인식하고 사용자와 대화를 하는 대화 시스템이 존재한다. 차량 음성인식 기술은 음의 강약과 높낮음 등의 음성의 진동이 갖는 특징을 디지털 신호로 바꾼 후 분석하여 데이터베이스에 저장된 음성 자료와 비교함으로써, 음성에 담긴 언어적인 의미를 프로세서가 자동적으로 결정하는 기술로서 요즈음에는 텔레메틱스 시스템(Telematics System)의 발전과 더불어 차량에 적용되어 점차적으로 다양한 분야에서 사용되고 있는 추세이다.As a representative technique, there is a dialogue system that recognizes the user's voice and talks with the user. Vehicle speech recognition technology is a technology in which the processor automatically determines the linguistic meaning of speech by comparing the characteristics of voice oscillations such as strength of sound and voices with digital signals, Recently, with the development of telematics system (Telematics System), it is applied to vehicles and gradually used in various fields.
따라서, 발화 시스템의 경우 사용자와 지속적인 대화를 유지하기 위해서는 현재 사용자의 상태 및 차량이 제공하는 발화에 대한 사용자의 응답을 판단한 후, 이를 기초로 상황에 맞는 적절한 발화를 제공해주어야 한다. Therefore, in order to maintain continuous conversation with the user in the case of the ignition system, it is necessary to judge the user's response to the state of the current user and the utterance provided by the vehicle, and then provide an appropriate utterance based on the user's response.
그러나 기존 기술의 경우, 사용자의 응답을 기초로 이를 분석하고 후속 발화를 사용자에 상황에 맞추어 적절하게 제공해 주지 않아 대화의 지속성이 없는 문제가 존재하였다.However, in the case of the existing technology, there is a problem in that there is no persistence of conversation because it is analyzed based on the user's response and the subsequent utterance is not appropriately provided to the user according to the situation.
따라서, 본 발명은 전술한 바와 같이 종래 기술이 가지고 있던 문제점을 해결하기 위해 고안된 발명으로서, 사용자에게 제공한 발화에 대응되는 사용자의 응답을 기초로 다양한 종류의 후속 발화를 제공하여 보다 사용자의 기호에 맞는 대화 시스템을 제공하기 위함이다. Therefore, the present invention is an invention devised to solve the problems of the prior art as described above, and it is an object of the present invention to provide various kinds of subsequent utterances based on the response of the user corresponding to the utterance provided to the user, This is to provide a proper dialog system.
일 실시예에 대화 시스템은 음성을 출력하는 출력부, 사용자의 상태를 감지하는 감지부 및 상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 제어부를 포함할 수 있다.In one embodiment, the interactive system includes an output unit for outputting a voice, a sensing unit for sensing a state of the user, and a controller for, when a response of the user corresponding to the first utterance provided to the user is included in a predetermined first reference, And a control unit for providing the user with a second utterance generated based on the first utterance and the information about the user through the output unit.
또한, 상기 제어부는 상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단할 수 있다.The controller may determine whether the user's response is included in the first criterion based on at least one of the words used by the user, the context of the response, the face information of the user, and the gesture information of the user.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제 2발화를 생성할 수 있다.The control unit may generate the second utterance based on the past utterance record with the user when the response of the user is included in the first criterion.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공할 수 있다.In addition, the control unit may provide the user with a second utterance including information related to the first utterance when the response of the user is included in the first criterion.
또한, 상기 제어부는 상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공할 수 있다.In addition, the control unit may determine the priority of the second utterance, and sequentially provide the second utterance to the user according to the determined priority.
또한, 상기 제어부는 상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공할 수 있다.The control unit may not provide the second speech to the user if the response of the user is included in a preset second criterion, or may provide the user with a speech of a different kind from the first speech.
또한, 상기 제어부는 상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할 수 있다.In addition, the control unit may provide a follow-up speech to the user based on the response of the user corresponding to the second speech.
또한, 상기 제어부는 기상 정보, 도로 환경 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공할 수 있다.In addition, The user may be provided with a speech based on at least one of weather information, road environment information, and traffic situation information.
또한, 상기 대화 시스템은 상기 발화와 관련된 내용을 표시하는 디스플레이를 더 포함할 수 있다.In addition, the dialog system may further include a display that displays content related to the utterance.
또한, 상기 대화 시스템은 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부를 더 포함할 수 있다. The interactive system may further include a storage unit for storing information about the user and information about the user.
다른 일 실시예에 따른 차량은, 음성을 출력하는 출력부, 사용자의 상태를 감지하는 감지부 및 상기 상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 대화 시스템을 포함할 수 있다.According to another embodiment of the present invention, there is provided a vehicle comprising: an output unit for outputting a voice; a sensing unit for sensing a state of a user; and a controller for determining whether a response of the user corresponding to the first utterance provided to the user is included in a predetermined first reference And an interactive system for providing the user with the second utterance generated based on the first utterance and the information about the user to the user through the output unit.
또한, 상기 제어부는 상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단하는 대화 시스템을 포함할 수 있다.The control unit may include an interactive system for determining whether the user's response is included in the first criterion based on at least one of a word used by the user, a context of the response, face information of the user, and gesture information of the user can do.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제 2발화를 생성하는 대화 시스템을 포함할 수 있다.The control unit may include an interactive system for generating the second utterance based on the past utterance record with the user when the response of the user is included in the first criterion.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공하는 대화 시스템을 포함할 수 있다.The control unit may further include an interactive system for providing the user with a second utterance including information related to the first utterance when the response of the user is included in the first criterion.
또한, 상기 제어부는 상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공할 수 있는 대화 시스템을 포함할 수 있다.In addition, the control unit may include an interactive system that can prioritize the second utterances and sequentially provide the second utterances to the user in accordance with a priority order.
또한, 상기 제어부는 상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공할 수 있는 대화 시스템을 포함할 수 있다.In addition, the control unit may not provide the second utterance to the user if the response of the user is included in a preset second criterion, or may not provide the utterance of the utterance different from the first utterance to the user. . ≪ / RTI >
또한, 상기 제어부는 상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할지 결정할 수 있는 대화 시스템을 포함할 수 있다.In addition, the control unit may include an interactive system capable of determining whether to provide a follow-up to the user based on the response of the user corresponding to the second utterance.
또한, 상기 제어부는 기상 정보, 도로 환경 정보, 상기 차량의 주행 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공할 수 있는 대화 시스템을 포함할 수 있다.In addition, the control unit may include an interactive system capable of providing a speech to the user based on at least one of weather information, road environment information, driving information of the vehicle, and traffic situation information.
또한, 상기 차량은 상기 발화와 관련된 내용을 표시하는 디스플레이를 더 포함하는 대화 시스템을 포함할 수 있다.The vehicle may also include an interactive system that further includes a display that displays content related to the utterance.
또한, 상기 차량은 상기 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부를 더 포함하는 대화 시스템을 포함할 수 있다.The vehicle may further include an interactive system that further includes a storage unit in which information about the user and information about the user are stored.
일 실시예에 따른 대화 시스템은, 사용자에게 제공한 발화에 대응되는 사용자의 응답을 여러 기준으로 분류한 후, 사용자에 대한 정보와 분류된 정보를 기초로 상황에 맞는 다양한 후속 발화를 제공함으로써, 보다 사용자의 기호에 맞는 대화 시스템을 제공할 수 있다.The conversation system according to an embodiment classifies the user's response corresponding to the utterance provided to the user into various criteria and then provides various subsequent utterances according to the situation based on the information about the user and the classified information, It is possible to provide a conversation system suitable for the user's taste.
도 1은 일 실시예에 따른 대화 시스템의 일부 구성 요소 도시한 블럭도이다.
도 2는 일 실시예에 따른 대화 시스템의 동작 순서를 도시한 순서도이다.
도 3은 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 4는 다른 일 실시예에 따라, 대화 시스템을 포함하고 있는 차량의 외관을 도시한 도면이다.
도 5는 다른 실시예에 따라, 대화 시스템을 포함하고 있는 차량의 내부 모습을 도시한 도면이다.
도 6은 다른 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 7내지 도 9는 다른 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다. 1 is a block diagram illustrating some components of an interactive system according to one embodiment.
2 is a flowchart showing an operation sequence of the interactive system according to one embodiment.
3 is a diagram illustrating a process of providing a follow-up speech based on a user's response, according to an embodiment.
Fig. 4 is a diagram showing an appearance of a vehicle including an interactive system, according to another embodiment. Fig.
5 is a diagram showing an internal view of a vehicle including an interactive system, according to another embodiment.
6 is a diagram illustrating a process of providing a subsequent utterance based on a user's response, according to another embodiment.
7 to 9 are diagrams illustrating a process of providing a subsequent utterance based on a user's response, according to another embodiment.
본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예이며, 본 출원의 출원 시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.The embodiments described in the present specification and the configurations shown in the drawings are preferred examples of the disclosed invention, and various modifications may be made at the time of filing of the present application to replace the embodiments and drawings of the present specification.
또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Also, the terms used herein are used to illustrate the embodiments and are not intended to limit and / or limit the disclosed invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.
본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.In this specification, terms such as " comprise ", " comprise ", or "have ", when used in this specification, designate the presence of stated features, integers, Steps, operations, components, parts, or combinations thereof, whether or not explicitly described herein, whether in the art,
또한, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다. In addition, the terms including the ordinal numbers such as " first ", "second ", and the like used herein can be used to describe various components, but the components are not limited by the terms.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In order to clearly explain the present invention in the drawings, parts not related to the description will be omitted.
이하 첨부된 도면들을 참고하여 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법의 실시예를 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of an interactive system, a vehicle including the interactive system, and a method for processing a conversation will be described in detail with reference to the accompanying drawings.
일 실시예에 따른 대화 시스템은 사용자의 음성 및 음성 외 입력을 이용하여 사용자의 의도를 파악하고 사용자의 의도에 적합한 서비스 또는 사용자에게 필요한 서비스를 제공하는 장치로서, 서비스 제공의 일 수단 또는 사용자의 의도를 명확히 파악하기 위한 일 수단으로 시스템 발화를 출력함으로써 사용자와 대화를 수행할 수 있다. An interactive system according to an exemplary embodiment of the present invention is an apparatus for identifying a user's intention using a user's voice and voice input and providing a service suitable for a user's intention or a service required for a user, The user can perform conversation with the user by outputting the system utterance as a means for clearly grasping the user.
당해 실시예에서 사용자에게 제공되는 서비스는 정보의 제공, 차량의 제어, 오디오/비디오/내비게이션 기능의 실행, 외부 서버로부터 가져온 컨텐츠의 제공 등 사용자의 필요나 사용자의 의도에 부응하기 위해 수행되는 모든 동작을 포함할 수 있다.In this embodiment, the service provided to the user includes all operations performed to meet the needs of the user, such as providing information, controlling the vehicle, executing audio / video / navigation functions, . ≪ / RTI >
또한, 일 실시예에 따른 대화 시스템은 차량 환경에 특화된 대화 처리 기술을 제공함으로써, 차량이라는 특수한 환경에서 사용자의 의도를 정확히 파악할 수 있다.In addition, the conversation system according to an embodiment can provide a conversation processing technique specific to the vehicle environment, thereby accurately grasping the intention of the user in a special environment of a vehicle.
이러한 대화 시스템과 사용자를 연결하는 게이트 웨이는 차량 또는 차량에 연결된 모바일 기기가 될 수 있다. 후술하는 바와 같이, 대화 시스템은 차량에 마련될 수도 있고, 차량 외부의 원격 서버에 마련되어 차량 또는 차량에 연결된 모바일 기기와의 통신을 통해 데이터를 주고 받을 수도 있다. The gateway connecting these dialog systems to the user may be a vehicle or a mobile device connected to the vehicle. As will be described later, the conversation system may be provided in a vehicle, or may be provided in a remote server outside the vehicle, and may exchange data through communication with a vehicle or a mobile device connected to the vehicle.
또한, 대화 시스템의 구성 요소 중 일부는 차량에 마련되고 일부는 원격 서버에 마련되어 대화 시스템의 동작을 차량과 원격 서버에서 부분적으로 수행하는 것도 가능하다.It is also possible that some of the components of the conversation system are provided in the vehicle and some are provided in the remote server so that the operation of the conversation system is partially performed in the vehicle and the remote server.
도 1은 일 실시예에 따른 대화 시스템의 일부 구성 요소를 도시한 블럭도이다.1 is a block diagram illustrating some components of an interactive system in accordance with one embodiment.
도 1을 참조하면, 일 실시예에 따른 대화 시스템(100)은 사용자의 음성 및 음성 외 입력을 포함하는 사용자 입력이나 차량과 관련된 정보 또는 사용자와 관련된 정보를 포함하는 입력을 처리하는 입력부(110), 입력부(110)의 처리 결과를 이용하여 사용자의 의도를 파악하고, 사용자의 의도나 차량의 상태에 대응되는 액션을 결정하는 제어부(140), 제어부(140)의 출력 결과에 따라 특정 서비스를 제공하거나 대화를 계속 이어 나가기 위한 시스템 발화를 출력하는 출력부(130) 및 대화 시스템(100)이 후술하는 동작을 수행하기 위해 필요한 각종 정보를 저장하는 저장부(120)를 포함할 수 있다.1, an
입력부(110)는 사용자 음성과 음성 외 입력, 두 가지 종류의 입력을 수신할 수 있다. 음성 외 입력은 사용자의 제스처 인식이나, 입력 장치의 조작을 통해 입력되는 사용자의 음성 외 입력, 차량의 상태를 나타내는 차량 상태 정보, 차량의 주행 환경과 관련된 주행 환경 정보, 사용자의 상태를 나타내는 사용자 정보 등을 포함할 수 있다. The
이러한 정보들 외에도 차량과 사용자와 관련된 정보로서, 사용자의 의도를 파악하거나 사용자에게 서비스를 제공하기 위해 사용될 수 있는 정보이면, 모두 입력부(110)의 입력이 될 수 있다. 사용자는 운전자와 탑승자를 모두 포함할 수 있다.In addition to the above information, the information related to the vehicle and the user may be input to the
입력부(110)는 입력된 사용자 음성을 인식하여 텍스트 형태의 발화문으로 변환하고, 사용자의 발화문에 자연어 이해(Natural Language Understanding) 기술을 적용하여 사용자의 의도를 파악할 수 있다.The
또한, 입력부(110)는 사용자 음성 외에 차량의 상태나 주행 환경과 관련된 정보를 수집하고, 수집된 정보를 이용하여 상황을 이해할 수 있다. In addition, the
입력부(110)는 자연어 이해를 통해 파악한 사용자의 의도와 상황에 관련된 정보 등을 제어부(140)로 전달할 수 있다.The
제어부(140)는 입력부(110)로부터 전달된 사용자의 의도, 상황에 관련된 정보 등에 기초하여 사용자의 의도와 현재 상황에 대응되는 액션을 결정하고, 해당 액션을 수행하기 위해 필요한 인자들을 관리할 수 있다.The
당해 실시예에서 액션은 특정 서비스를 제공하기 위해 수행되는 모든 동작을 의미할 수 있으며, 액션의 종류는 미리 정의될 수 있다. 경우에 따라, 서비스의 제공과 액션의 수행은 동일한 의미일 수 있다. In this embodiment, an action may mean all actions performed to provide a particular service, and the type of action may be predefined. In some cases, provision of a service and performance of an action may have the same meaning.
액션의 종류에 대해서는 제한을 두지 않으며, 대화 시스템(100)이 차량(200)을 통해 수행 가능한 것으로서, 미리 정의되고, 그 추론 규칙이나 다른 액션/이벤트와의 관계 등이 저장되어 있으면 액션이 될 수 있다. There is no limitation on the type of action, and the
제어부(140)는 결정된 액션에 관한 정보를 출력부(130)로 전달할 수 있다.The
출력부(130)는 전달된 액션을 수행하기 위해 필요한 대화 응답 및 명령어를 생성하여 출력한다. 대화 응답은 텍스트, 이미지 또는 오디오로 출력될 수 있고, 명령어가 출력되면 출력된 명령어에 대응되는 차량 제어, 외부 컨텐츠 제공 등의 서비스가 수행될 수 있다. The
저장부(120)는 대화 처리 및 서비스 제공에 필요한 각종 정보를 저장한다. 예를 들어, 자연어 이해에 사용되는 도메인, 액션, 화행, 개체명과 관련된 정보를 미리 저장할 수 있고, 입력된 정보로부터 상황을 이해하기 위해 사용되는 상황 이해 테이블을 저장할 수도 있으며, 차량에 마련된 센서가 감지한 데이터, 사용자와 관련된 정보, 액션 수행을 위해 필요한 정보를 미리 저장할 수도 있다. 저장부(120)에 저장되는 정보들에 관한 더 자세한 설명은 후술하도록 한다.The
전술한 바와 같이, 대화 시스템(100)은 차량 환경에 특화된 대화 처리 기술을 제공한다. 대화 시스템(100)의 구성요소가 전부 차량에 포함될 수도 있고, 일부만 포함될 수도 있다. 대화 시스템(100)은 원격 서버에 마련되고 차량은 대화 시스템(100)과 사용자 사이의 게이트웨이의 역할만 할 수도 있다. 어느 경우이던지, 대화 시스템(100)은 차량 또는 차량과 연결된 모바일 기기를 통해 사용자와 연결될 수 있다.As described above, the
도2는 일 실시예에 따른 대화 시스템(100)의 동작 순서를 도시한 순서도이다.FIG. 2 is a flowchart showing an operation sequence of the
도 2를 참조하면, 일 실시예에 따른 대화 시스템(100)은 사용자에게 제1발화를 제공할 수 있다.(S100)2, the
구체적으로, 대화 시스템(100)의 출력부(130)는 사용자에게 제1발화를 제공할 수 있다. 그리고 제1발화는, 사용자에게 처음으로 제공하는 발화를 의미할 수 도 있으나, 후속 발화를 결정하기 위해 대화 도중에 발생하는 어느 특정 발화가 제1발화로 지칭될 수 있다.Specifically, the
제 1발화는 사용자의 정보 및 차량 환경에 대한 정보를 기초로 제공될 수 있다. 구체적으로, 사용자의 정보, 예를 들어, 사용자의 나이, 성별, 직업, 운전 성향, 취미 등을 기준으로 제1발화가 생성될 수 있으며, 기상 정보, 도로 환경 정보, 운행 시간대 정보 및 교통 상황 정보 중 적어도 하나를 기초로 제1발화가 생성될 수 있다.The first utterance may be provided based on information of the user and information of the vehicle environment. Specifically, a first utterance may be generated based on information of a user, for example, age, sex, occupation, driving propensity, hobby, etc. of a user, and weather information, road environment information, The first utterance may be generated based on at least one of the first utterance.
제1발화가 사용자에게 제공된 후, 대화 시스템(100)은 사용자에게 제공한 제1발화에 대응되는 사용자의 응답을 분석하고 분석된 결과가 제1기준에 포함되는지 판단할 수 있다. (S110, S120)After the first utterance is provided to the user, the
S100, S110 과정은 대화 시스템(100)과 사용자가 대화를 유지해 나가기 위한 적절한 발화를 찾는 과정으로써, 구체적으로 사용자의 응답이 제1기준에 포함되는지 여부를 기준으로 사용자에게 제2발화를 제공할지 결정할 수 있다.In steps S100 and S110, the
제1기준은 제1발화에 대응되는 사용자의 응답이 대화를 계속 진행할 수 있는 대답을 의미한다. 구체적으로, 제1발화에 대해 사용자가 동의하는 응답을 하거나, 제1발화에서 언급된 소재로 계속 발화를 제공해도 사용자와 계속 대화를 유지할 수 있을 정도로 사용자가 응답한 경우를 말한다.The first criterion is the answer that the user's response corresponding to the first utterance can continue the conversation. Specifically, the user responds to the first utterance with the consent of the user, or the user responds to the utterance in the first utterance so as to maintain the conversation with the user even if the utterance is continued.
예를 들어, 제1발화에 대해 사용자가 긍정적인 의미로 응답을 한 경우에는, 제1발화에 대해서 사용자가 관심을 가지고 있는 것으로 판단할 수 있다. 따라서, 이 경우에는 제1발화를 기초로 생성된 제2발화를 사용자에게 제공할 수 있다. For example, when the user responds to the first utterance in a positive sense, it can be determined that the user is interested in the first utterance. Thus, in this case, the second utterance generated based on the first utterance can be provided to the user.
제 1기준에 포함되는지 판단함에 있어, 사용자가 사용한 단어, 응답의 문맥, 사용자의 안면 정보 및 사용자의 제스처 정보 중 적어도 하나를 기초로 사용자의 응답이 제1기준에 포함되는지 판단할 수 있다.It may be determined whether the user's response is included in the first criterion based on at least one of the words used by the user, the context of the response, the face information of the user, and the gesture information of the user.
사용자가 사용한 단어가 제1발화에서 사용되고 있는 소재에 대해 긍정적인 의미로 사용한 단어인지, 부정적인 의미로 사용한 단어인지를 기준으로 판단할 수 있으며, 정확한 판단을 위해 형용사, 부사, 동사, 명사 순서로 판단을 할 수 있다.The word used by the user can be judged based on whether the word used in the first utterance has a positive meaning or the word used in a negative meaning, and judged in order of adjectives, adverbs, verbs, and nouns for accurate judgment can do.
문맥을 기반으로 사용자의 응답이 제1기준에 포함되는 판단할 수 있으며, 사용자의 위치, 자세 및 생체 정보 등 적어도 하나를 기준으로 사용자의 응답이 제1기준에 포함되는지 판단할 수 있다.It is possible to determine that the user's response is included in the first criterion based on the context, and can determine whether the user's response is included in the first criterion based on at least one of the position, posture, and biometric information of the user.
S120 과정에 따라, 사용자의 응답이 제1기준에 포함된다면, 대화 시스템(100)은 사용자에게 제2발화를 제공할 수 있다.(S130)According to step S120, if the user's response is included in the first criterion, the
구체적으로, 사용자의 응답이 제1기준에 포함되는 경우, 사용자와의 과거 발화 기록을 기초로 사용자에게 제2발화를 제공하거나, 제1발화와 관련된 정보를 포함하고 있는 제2발화를 사용자에게 제공할 수 있다.Specifically, when the user's response is included in the first criterion, the second utterance is provided to the user based on the past utterance record with the user, or the second utterance containing information related to the first utterance is provided to the user can do.
즉, 대화 시스템(100)은 사용자가 제1발화 또는 제2발화와 동일하거나 유사한 발화에 대해 어떠한 반응을 하였는지에 대한 과거 정보를 기초로 사용자에게 제2발화를 제공할 수 있다. That is, the
과거 기록에 따라, 부정적인 반응을 보인 제2발화가 존재한다면, 부정적인 반응을 보인 제2발화는 사용자에게 제공하지 않음으로써, 보다 효율적으로 사용자와 대화를 유지해 나갈 수 있다. According to the past record, if there is a second utterance that has a negative response, the second utterance which has a negative response is not provided to the user, so that it is possible to maintain the conversation with the user more efficiently.
반대로 과거 기록에 따라, 긍정적인 반응을 보인 제2발화가 존재한다면, 긍정적인 반응을 보인 제2발화를 사용자에게 제공함으로써, 보다 효율적으로 사용자와 대화를 유지해 나갈 수 있다.On the other hand, according to the past record, if there is a second utterance which shows a positive response, it is possible to maintain a conversation with the user more efficiently by providing the user with a second utterance showing a positive response.
또한, 대화 시스템(100)은 제1발화와 관련된 정보를 포함하고 있는 제2 발화를 사용자에게 제공함으로써, 보다 적절한 발화를 사용자에게 제공할 수 있다.In addition, the
또한, 도면에는 도시하지 않았으나, 대화 시스템(100)은 사용자에게 발화와 관련된 영상 또는 이미지를 함께 사용자에게 제공할 수 있다.Also, although not shown in the drawing, the
따라서, 대화 시스템(100)은 사용자에게 단순히 발화를 청각적으로만 제공할 뿐만 아니라, 발화와 관련된 영상 또는 이미지를 함께 제공함으로써, 사용자에게 보다 정확하게 발화의 내용을 전달할 수 있고, 사용자의 관심을 향상시킬 수 있다.Accordingly, the
또한, 사용자에게 제2발화를 제공함에 있어서, 기상 정보, 도로 환경 정보, 운행 시간대 정보 및 교통 상황 정보 중 적어도 하나를 기초로 생성된 제2발화를 사용자에게 제공할 수 있으며, 사용자가 특정한 행동을 하도록 제안하거나 특정 기능을 사용하도록 하는 발화를 제공할 수 있다. 이러한 과정을 통하여 사용자가 발화에 보다 적극적으로 참여할 수 있도록 유도할 수 있는 장점이 존재한다.Further, in providing the second utterance to the user, the second utterance generated based on at least one of the weather information, the road environment information, the time zone information, and the traffic situation information may be provided to the user, Or to provide utterance to use a particular function. Through this process, it is possible to induce the user to participate more actively in utterance.
또한, 대화 시스템(100)은 사용자에게 제2발화를 제공함에 있어, 사용자의 응답이 제1기준에 속한다면 제2발화로 가능한 발화의 우선 순위를 정하고, 우선 순위에 따라 정해진 제2발화를 순차적으로 상기 사용자에게 제공할 수 있다. In addition, in providing the second utterance to the user, the
그러나, S120 과정에서 사용자의 응답이 제1기준에 포함되지 않는다면, 즉 사용자의 응답이 제2기준에 포함된다면, 대화 시스템(100)은 사용자에게 제2발화를 제공하지 않거나, 제2발화와 다른 종류의 발화를 사용자에게 제공할 수 있다.However, if the user's response is not included in the first criterion, i.e., if the user's response is included in the second criterion in
제2기준은 제1기준과 반대되는 기준으로서, 사용자가 제1발화에 대해 동의를 하지 않거나 관심을 가지지 않는 등 부정적인 의미로 제1발화에 대해 응답을 한 경우를 말한다. The second criterion is a criterion opposite to the first criterion and refers to a case where the user responds to the first utterance in a negative meaning such as not agreeing or not interested in the first utterance.
그리고 제1기준과 제2기준은 절대적인 기준은 아니며, 사용자에 성향 및 정보에 기초하여 다양한 기준으로 설정될 수 있다. The first and second criteria are not absolute criteria, and may be set to various criteria based on the propensity and information of the user.
S140 과정에 따라, 사용자에게 제2발화를 제공하였다면, 대화 시스템(100)은 제2발화에 대한 사용자의 응답을 기초로 후속 발화의 제공 여부를 결정할 수 있다. (S140)According to the process of S140, if the user has provided a second utterance, the
사용자의 응답이 제2발화에 대해 동의하지 않거나 부정적인 반응을 보였다면 더 이상 제2발화를 사용자에게 제공하지 않을 수 있다.If the user's response does not agree or has a negative response to the second utterance, it may no longer provide the second utterance to the user.
그러나, 사용자의 응답이 제2발화에 대해 동의를 하는 등, 긍정적인 반응을 보였다면 제2발화와 연관된 제3발화, 제4발화 등 후속 발화를 계속 제공할 수 있다.However, if the user's response has a positive response, such as agreeing on the second utterance, it may continue to provide subsequent utterances such as the third utterance, the fourth utterance associated with the second utterance.
도3은 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.3 is a diagram illustrating a process of providing a follow-up speech based on a user's response, according to an embodiment.
도 3을 참조하면, 대화 시스템(100)은 사용자에게 제1발화로 '재질을 느낄 수 있는 증강현실 촉감과, 집의 인테리어에 합성한 VR 이미지에요(S1)'라는 발화를 제공할 수 있다. 이 경우 도면에는 도시하지 않았지만 대화 시스템(100)은 이미지 장치를 이용하여 증강현실 이미지를 표현할 수 있다.Referring to FIG. 3, the
이러한 제1발화에 대해 사용자가 긍정적인 반응을 보인 경우, 대화 시스템(100)은 사용자에게 제2발화를 제공할 수 있다. 즉, 도면에 도시된 바와 같이 사용자가 '좋은데? 증강현실 촉감을 보여줘(S2)'라고 응답을 한 경우에는 사용자가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당하므로, 대화 시스템(100)은 사용자의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 목록의 내용을 제2발화로 사용자에게 제공할 수 있다. If the user has a positive response to this first utterance, the
예를 들어, 도면에 도시된 바와 같이 사용자에게 '네 그럼 첫 번째 커튼을 만져보세요"(S2)라는 제2발화를 사용자에게 제공할 수 있다. For example, the user may be provided with a second utterance of "Yes, touch the first curtain" (S2) to the user, as shown in the figure.
그리고 이에 대해 사용자가 "주름이 잘 안 생겨서 좋겠어'(U2)라는 응답을 한 경우 이 경우에는 제2발화에 대해 긍정적인 반응을 한 것이므로 대화 시스템은(100)은 계속 사용자에게 후속 발화를 제공할 수 있다. 즉, 도면에 도시된 바와 같이 사용자에게 제2발화 내용과 연관된 발화인 '이번엔 두 번째 커튼이예요'(S3) 라는 발화를 제공할 수 있다.In this case, the user has a positive response to the second utterance. Therefore, the
도 3은 본 발명의 일 실시예에 따라 대화 시스템(100)을 포함하고 있는 차량(200)의 외부 모습을 도시한 외관도이고, 도4는 일 실시예에 따라 대화 시스템(100)을 포함하고 있는 차량(200)의 내부 모습을 도시한 내부도이다. 이하에서는 동일한 내용에 대한 설명 중복을 방지하기 위해 함께 설명하도록 한다.Figure 3 is an exterior view illustrating an exterior view of a
도 3 을 참조하면, 일 실시예에 따른 차량(200)의 외관은 차량(200)을 이동시키는 차륜(12,13), 차량(200) 내부를 외부로부터 차폐시키는 도어(15L), 차량(200) 내부의 사용자에게 차량(200) 전방의 시야를 제공하는 전면 유리(16), 사용자에게 차량(200) 후방의 시야를 제공하는 사이드 미러(14L,14R)를 포함할 수 있다.3, the external appearance of the
차륜(12,13)은 차량의 전방에 마련되는 전륜(12), 차량의 후방에 마련되는 후륜(13)을 포함하며, 차량(200) 내부에 마련되는 구동 장치(미도시)는 차량(200)이 전방 또는 후방으로 이동하도록 전륜(12) 또는 후륜(13)에 회전력을 제공할 수 있다. 이와 같은 구동 장치는 화석 연료를 연소시켜 회전력을 생성하는 엔진 또는 축전기로부터 전원을 공급받아 회전력을 생성하는 모터를 채용할 수 있다.The
도어(15L,15R)는 차량(200)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 사용자 또는 동승자가 차량(200)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(200)의 내부를 외부로부터 차폐시킨다.The
또한, 차량(200) 외부에는 도어(15L,15R(도 2 참조))를 개폐할 수 있는 손잡이(17L, 17R)가 마련될 수 있고, 손잡이(17L)에는 블루투스(Low Frequency) 신호를 송신할 수 있는 블루투스 안테나와 사용자의 터치 입력을 인식할 수 있는 터치 감지부(미도시)가 장착될 수 있다. It is also possible to provide
사용자가 원격 조작 장치(미도시)를 소지하고 있는 상태에서 도어(15L,15R)의 터치 감지부가 사용자의 터치 입력을 감지하는 경우, 차량(200)은 무선 통신망을 통해 원격 조작 장치(미도시)와 인증을 수행하고, 인증이 완료되면 차량(200)의 도어 락이 해제되어 사용자의 손잡이(17L, 17R) 당김 조작에 의해 도어(15L)가 개방될 수 있다. 여기서, 사용자는 사용자 뿐만 아니라, 차량(200) 내 탑승한 동승자를 포함할 수 있다.When the touch sensing unit of the
전면 유리(16)는 본체의 전방 상측에 마련되어 차량(200) 내부의 사용자가 차량(200) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.The
또한, 사이드 미러(14L,14R)는 차량(200)의 좌측에 마련되는 좌측 사이드 미러(14L) 및 우측에 마련되는 우측 사이드 미러(14R)를 포함하며, 차량(200) 내부의 사용자가 차량(200)의 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.The side mirrors 14L and 14R include a
이외에도 차량(200)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.In addition, the
근접 센서는 차량의 측면 또는 후면에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신할 수 있다. 수신된 반사 신호의 파형을 기초로 차량(200) 측면이나 후면의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다. 이와 같은 근접 센서의 일 예로서 초음파 또는 적외선을 발신하고, 장애물에 반사된 초음파 또는 적외선을 이용하여 장애물까지의 거리를 검출하는 방식을 채용할 수 있다.The proximity sensor can send a detection signal to the side or rear of the vehicle and receive a reflection signal reflected from an obstacle such as another vehicle. The presence or absence of an obstacle on the side or rear of the
도 5를 참조하면, 대시보드(20)의 중앙 영역에는 AVN(Audio Video Navigation) 단말에서 제공되는 영상 또는 이미지를 표시하는 디스플레이(220)가 마련될 수 있다. 디스플레이(220)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시할 수 있고, 뿐만 아니라 차량(200)과 관련된 각종 제어 화면 또는 부가기능과 관련된 화면을 표시할 수 있다.Referring to FIG. 5, a
디스플레이(220)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.The
운전석(18L)와 조수석(18R) 사이에 죠그 셔틀(jog shuttle) 타입의 센터 입력부(25)가 마련될 수도 있다. 사용자는 센터 입력부(25)를 돌리거나 가압하거나 상, 하, 좌 또는 우 방향으로 미는 방식으로 제어 명령을 입력할 수 있다.A
차량(200)에는 음향을 출력할 수 있는 스피커(19)를 포함할 수 있다. 스피커(19)는 오디오 기능, 비디오 기능, 내비게이션 기능 및 기타 부가 기능을 수행함에 있어 필요한 음향을 출력할 수 있다.The
도 5에서는 스피커(19)가 운전석(18L) 자리와 조수석(18R) 자리에 각각 하나씩 마련되는 것으로(19a, 19b) 도시되어 있으나, 이에 한정되는 것은 아니고 차량(200) 내부의 다양한 위치에 마련될 수 있다.In FIG. 5, speakers 19 are provided in the
운전석(18L) 쪽의 대시보드(29)에는 스티어링 휠(23)이 마련되며, 스티어링 휠(23)과 인접한 영역에 원격 조작 장치(미도시; 일 예로서, 포브(FOB)키를 삽입할 수 있는 키 홈(22)가 형성될 수 있다. 키 홈(22)에 외부 단말기가 삽입되거나, 무선 통신망을 통해 외부 단말기와 차량(200) 간의 인증이 완료되면 외부 단말기와 차량(200)이 연결될 수 있다.A dashboard 29 on the driver's
한편, 차량(200)에는 공조 장치가 구비되어 난방 및 냉방을 모두 수행할 수 있으며, 가열되거나 냉각된 공기를 통풍구(21)를 통해 배출하여 차량(200) 내부의 온도를 제어할 수 있다.On the other hand, the
지금까지 일 실시예에 따른 차량(200)의 외부 및 내부 구성에 대해 알아보았다. 이하 일 실시예에 따른 차량(200)의 구성 요소 및 제어 방법에 대해 알아본다.The outer and inner configurations of the
도 6은 일 실시예에 따른, 차량(200)의 일부 구성 요소를 도시한 블럭도이다. 6 is a block diagram illustrating some components of
도 6을 참조하면, 일 실시예에 따른 차량(200)은 사용자의 상태를 감지하는 감지부(210), 제어부(250)로부터 수신한 영상 또는 이미지를 출력하는 디스플레이(220), 제어부(250)로부터 수신한 음성을 출력하는 출력부(230), 사용자에 관한 정보가 저장되어 있는 저장부(240), 감지부(210)에서 감지된 사용자의 응답 및 사용자에 대한 정보를 기초로 생성된 발화를 출력부(230) 또는 디스플레이(220)를 통해 사용자에게 제공하는 제어부(250)를 포함할 수 있다.6, a
감지부(210)는 사용자의 상태를 실시간으로 감지하고, 감지한 결과를 제어부(250)로 송신할 수 있다. The
구체적으로, 감지부(210)는 제어부(250)가 사용자에게 발화를 제공하기 전이라도 사용자가 현재 어떠한 상태로 운전을 하고 있는지 감지할 수 있다. 제어부(250)가 사용자에게 발화를 제공한 후에는, 사용자가 제공된 발화에 대해 어떠한 상태로 응답을 하였는지 실시간으로 감지한 후, 감지된 결과를 제어부(250)로 송신할 수 있다. 후술하겠지만, 제어부(250)는 감지부(210)에서 송신한 감지 결과를 기초로 사용자가 응답이 제1기준에 속하는지 아니면 제2기준에 속하는지 판단할 수 있다.Specifically, the
또한, 감지부(210)는 사용자의 상태 뿐만 아니라, 차량(200)에 복수의 탑승자가 존재하는 경우, 복수의 사용자에 대한 상태를 감지할 수 있다. 예를 들어, 복수의 사용자의 위치 변화, 자세의 변화 또는 특정 사용자에 대한 생체 정보(표정, 심박 ,체온) 등을 감지할 수 있고 감지한 결과를 제어부(250)로 송신할 수 있다.In addition, the
또한, 감지부(210)는 사용자에 관한 상태 뿐만 아니라, 차량(200)에 관한 각종 상태를 감지할 수 있다. 예를 들어, 현재 차량(200)의 위치, 속도, 주행 경로에 대한 정보들을 감지할 수 있으며, 더 나아가 기상 정보, 도로 환경 정보, 운행 시간대 정보 및 교통 상황 정보 등을 감지할 수 있고 감지된 정보들은 제어부(250)로 송신되고, 제어부(250)는 수신한 정보들을 기초로 사용자의 환경에 맞추어 사용자에게 적절한 발화를 제공할 수 있다.In addition, the
따라서, 감지부(210)는 사용자의 상태를 감지하기 위한 센서를 포함한 각종 장치들을 포함할 수 있다. 예를 들어, 사용자의 안면 정보를 취득하기 위해 안면 센싱 장치, 안구 센싱 장치들을 구비할 수 있으며, 사용자의 상태를 판단하기 위해 심박의 변화량을 센싱할 수 있는 센서들을 포함할 수 도 있다. 또한, 사용자의 제스처를 판단할 수 있는 제스처 인식 장치들 또한 포함될 수 있다.Accordingly, the
디스플레이(220)는 제어부(250)로부터 수신한 영상 또는 이미지를 외부로 출력할 수 있다. The
구체적으로, 디스플레이(220)는 제어부(250)가 사용자에게 제공하는 발화와 관련된 영상 또는 이미지를 출력함으로써, 사용자와 보다 효과적으로 발화의 내용을 전달할 수 있다.Specifically, the
따라서, 디스플레이(220)는 이를 표현하기 위한 디스플레이 패널(미도시)을 포함할 수 있으며,디스플레이 패널은 음극선관(CRT, Cathode Ray Tube) 디스플레이 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널, 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다. Accordingly, the
또한, 디스플레이(220)는 사용자의 입력을 터치로 수신하는 터치 스크린 디스플레이로 구성될 수 있으며, 이러한 경우 디스플레이는(220) 영상 또는 이미지를 표시하는 디스플레이 패널과 터치 입력을 수신하는 터치 패널(미도시)을 포함할 수 있다.In addition, the
출력부(230)는 음성을 출력할 수 있다. 구체적으로, 출력부(230)는 제어부(250)로부터 수신한 발화의 내용을 사용자가 인식할 수 있도록 음성으로 출력할 수 있다.The
따라서, 출력부는(230)는 음성을 출력하기 위해 스피커(19)를 포함할 수 있으며, 스피커(19)는 전술한 바와 같이 차량(200) 내부 다양한 위치에 마련될 수 있다.Accordingly, the
저장부(240)는 사용자에 대한 각종 정보 및 사용자와의 과거 발화 기록 등이 저장될 수 있다.The
구체적으로, 저장부(240)는 사용자에 대한 정보, 사용자의 나이, 성별, 직업, 운전 성향, 취미 등에 대한 각종 정보가 저장될 수 있고, 더 나아가 과거 차량(200)과의 대화 기록이 저장될 수 있다. 제어부(250)는 저장부(240)에 저장되어 있는 이런 정보들을 기초로 사용자에게 상황에 맞는 가장 적절한 발화를 제공할 수 있다.In detail, the
따라서, 저장부(240)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(240)는 제어부(250)와 관련하여 후술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.Accordingly, the
그리고, 도 6에 도시된 차량(200)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.At least one component may be added or deleted corresponding to the performance of the components of the
한편, 도 6에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소일 수 있다.6 may be software and / or hardware components such as Field Programmable Gate Arrays (FPGAs) and Application Specific Integrated Circuits (ASICs).
제어부(250)는 차량(200)에 포함된 각 구성 요소들을 제어함과 동시에 감지부(210)에서 감지된 사용자의 응답 및 저장부(250)에 저장되어 있는 사용자에 대한 정보를 기초로 발화를 생성하고 생성된 발화를 출력부(230) 및 디스플레이(220) 중 적어도 하나를 통하여 사용자에게 제공될 수 있다.The
구체적으로, 제어부(250)는 사용자에게 제공한 제1발화에 대응되는 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 제1발화 및 상기 사용자의 정보를 기초로 상기 사용자에게 제2발화를 제공할 수 있다.Specifically, when the user's response corresponding to the first utterance provided to the user is included in the preset first reference, the
여기서 제1발화는 제2발화는 사용자에게 제공되는 발화의 순서를 의미하는 것이나, 반드시 사용자와 처음 시작하는 발화가 제1발화로 지칭되는 것은 아니며, 사용자와 진행되는 대화 중에 특정 발화가 제1발화로 지칭될 수 있다. Here, the first utterance refers to a sequence of utterances provided to the user, but not necessarily the utterance uttered by the user is referred to as a first utterance, and a specific utterance during a conversation with the user is referred to as a first utterance Lt; / RTI >
또한, 제어부(250)는 사용자의 응답이 제1기준에 포함되는 경우, 사용자와의 과거 발화 기록을 기초로 사용자에게 제2발화를 제공하거나, 제1발화와 관련된 정보를 포함하고 있는 제2발화를 사용자에게 제공할 수 있다.In addition, when the user's response is included in the first criterion, the
또한, 제어부(250)는 보다 효율적으로 사용자에게 발화를 제공하게 위해 출력부(230) 뿐만 아니라 발화와 관련된 영상 또는 이미지를 디스플레이(130)에 표시할 수 있다. In addition, the
또한, 제어부(250)는 차량(200) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일한 칩으로 구현될 수 있다.In addition, the
도 7 내지 도 9은 다른 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다. 7 to 9 are diagrams illustrating a process of providing a follow-up speech based on a user's response, according to another embodiment.
도 7을 참조하면, 차량(200)은 사용자(2)에게 제1발화로 '재질을 느낄 수 있는 증강현실 촉감과, 집의 인테리어에 합성한 VR 이미지에요'(S1)라는 발화를 제공할 수 있다. 이 경우 도면에는 도시하지 않았지만 디스플레이(130)를 통하여 이미지를 표현할 수 있다.Referring to FIG. 7, the
이러한 제1발화에 대해, 도면에 도시된 바와 같이 사용자(2)가 '좋은데? 증강현실 촉감을 보여줘'(U1)라고 응답을 한 경우에는 사용자(2)가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당한다.With respect to this first utterance, as shown in the figure, the
따라서, 이러한 경우 차량(200)은 사용자(2)의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 내용을 제2발화로 사용자(2)에게 제공할 수 있다. 예를 들어, 도면에 도시된 바와 같이 사용자(2)에게 '네 그럼 첫 번째 커튼을 만져보세요"(S2)라는 제2발화를 사용자(2)에게 제공할 수 있다. Therefore, in such a case, the
도 8 다른 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다. 8 is a diagram illustrating a process of providing a subsequent utterance based on a user's response, according to another embodiment.
도 8을 참조하면, 차량(200)은 사용자(2)에게 제1발화로 '어제 작문이 매우 좋았어요'(U1) 라는 발화를 제공할 수 있다.Referring to FIG. 8, the
여기서 제1발화는 사용자(2)가 과거에 작문을 하였다는 정보를 기초로 생성된 발화이다. 즉, 차량(200)은 사용자(2)의 현재 및 과거 정보를 기초로 다양한 발화를 사용자(2)에게 제공할 수 있다.Where the first utterance is a utterance generated based on information that the
이러한 제1발화에 대해, 도면에 도시된 바와 같이 사용자(2)가 '와! 다행이다!'(U1) 라고 응답을 한 경우에는 사용자(2)가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당한다. 따라서, 이러한 경우 차량(200)은 사용자(2)의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 내용의 발화를 사용자(2)에게 제공하거나, 제1발화와 관련된 제2발화를 제공할 수 있다. With respect to this first utterance, as shown in the figure, the
예를 들어, 도면에 도시된 바와 같이 사용자(2)에게 제1발화와 관련된 발화로서, '좋으시겠어요! 비슷한 단어를 더 공부해서 멋진 작문을 더 써볼까요?"(S2)라는 제2발화를 사용자(2)에게 제공할 수 있다. 즉 차량은(200)은 사용자에게 제1발화와 관련된 특정 행동을 하도록 요구하는 제2발화를 제공할 수 있다.For example, as shown in the figure, as the utterance associated with the first utterance to the
그리고 이에 대해 사용자가 "그래, 오늘 오전엔 좀더 작문을 할래. 유명한 문장도 추가해서'(U2)라는 응답을 한 경우 이 경우에는 제2발화에 대해 긍정적인 반응을 한 것이므로 차량(200)은 계속 사용자(2)에게 후속 발화를 제공할 수 있다.In this case, since the
도 9는 또 다른 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다. 9 is a diagram illustrating a process of providing a subsequent utterance based on a user's response, according to another embodiment.
도 9를 참조하면, 차량(200)은 사용자(2)에게 제1발화로 '주인님! 새소리 들리세요?'(S1)라는 발화를 제공할 수 있다. 따라서, 제1발화는 현재 차량(200)의 주변 환경을 감지하고 이를 기초로 생성된 발화일 수 있다.Referring to Fig. 9, the
즉, 차량(200)은 현재 차량(200)의 주행 및 환경 정보를 기초로 생성된 다양한 발화를 사용자에게 제공할 수 있다. 예를 들어, 사용자(2)의 안면정보를 추적하고 사용자(2)가 주시하고 있는 위치에 있는 대상체에 대한 정보를 기초로 생성된 제1발화를 사용자(2)에게 제공할 수 있다.That is, the
이러한 제1발화에 대해, 도면에 도시된 바와 같이 사용자(2)가 '응, 좋은데?'(U1)라고 응답을 한 경우에는 사용자(2)가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당한다. 따라서, 차량(200)은 사용자(2)의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 내용의 발화를 사용자(2)에게 제공하거나, 제1발화와 관련된 제2발화를 제공할 수 있다. In response to the first utterance, as shown in the figure, when the
예를 들어, 도면에 도시된 바와 같이 사용자(2)에게 제1발화와 관련된 발화로서, '방울새인 것 같아요. 녹음해 놓을까요?'(S2) 라는 제2발화를 사용자(2)에게 제공할 수 있다.For example, as shown in the figure, it may be said to be a bell, as an utterance related to the first utterance to the user (2). (S2) "to the
그리고 이에 대해 사용자가 "그래, 고마워'(U2)라는 응답을 한 경우에는 사용자가 제2발화에 대해 긍정적인 반응의 발화를 한 것이므로 차량(200)은 계속 사용자(2)에게 후속 발화를 제공할 수 있다.If the user responds "Yes, thank you" (U2), the
지금까지 일 실시예에 따른 대화 시스템(100) 및 대화 시스템(100)을 포함하고 있는 차량(200)에 대해 알아보았다.[0050] Now, the
대화 시스템에서, 사용자와 지속적인 대화를 유지하기 위해서는 현재 사용자의 상태 및 차량이 제공하는 발화에 대한 운전장의 응답을 판단한 후, 이를 기초로 현재 상황에 맞는 가장 적절한 발화를 제공해주어야 한다. In a conversation system, in order to maintain a continuous conversation with a user, it is necessary to determine the state of the current user and the response of the driver to the utterance provided by the vehicle, and then provide the most appropriate utterance according to the current situation.
그러나 종래 기술의 경우, 사용자의 응답을 기초로 이를 분석하고 후속 발화를 사용자에 상황에 맞추어 적절하게 제공해 주지 않아 대화의 지속성이 유지되기 어려운 문제가 존재하였다.However, in the related art, there has been a problem that it is difficult to maintain continuity of the conversation because the user analyzes the response based on the user's response and does not appropriately provide the subsequent utterance to the user depending on the situation.
그러나 일 실시예에 따른 대화 시스템(100) 및 차량(200)은, 사용자에게 제공한 발화에 대응되는 사용자의 응답을 여러 기준으로 분류한 후, 사용자에 대한 정보와 분류된 정보를 기초로 상황에 맞는 다양한 후속 발화를 제공함으로써, 보다 사용자의 기호에 맞는 후속 발화를 제공할 수 있는 장점이 존재한다.
However, the
지금까지 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 기술자라면 상기 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 실시 예들 및 특허 청구 범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다. Although the embodiments have been described with reference to specific embodiments and drawings, those skilled in the art will appreciate that various modifications and changes may be made by those skilled in the art without departing from the spirit and scope of the invention. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced. Therefore, other embodiments and equivalents to the claims are within the scope of the following claims.
100: 대화시스템
110: 입력부
120: 저장부
130: 출력부
140: 제어부
200: 차량100: Conversation system
110: input unit
120:
130:
140:
200: vehicle
Claims (20)
사용자의 상태를 감지하는 감지부; 및
상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 제어부;를 포함하는 대화 시스템.An output unit for outputting a voice;
A sensing unit for sensing a state of the user; And
Wherein when the user's response corresponding to the first utterance provided to the user is included in a predetermined first reference, the second utterance generated based on the first utterance and the information about the user is transmitted to the user through the output unit And a control unit for providing the message to the user.
상기 제어부는,
상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단하는 대화 시스템.The method according to claim 1,
Wherein,
And determining whether the user's response is included in a first criterion based on at least one of a word used by the user, a context of the response, face information of the user, and gesture information of the user.
상기 제어부는,
상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제 2발화를 생성하는 대화 시스템.The method according to claim 1,
Wherein,
And generates the second utterance based on the past utterance record with the user when the response of the user is included in the first criterion.
상기 제어부는,
상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공하는 대화 시스템.The method according to claim 1,
Wherein,
And if the response of the user is included in the first criterion, providing a second utterance comprising information related to the first utterance to the user.
상기 제어부는,
상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공하는 대화 시스템.The method according to claim 1,
Wherein,
Determining a priority of the second utterance, and sequentially providing the second utterance to the user according to a predetermined priority.
상기 제어부는,
상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공하는 대화 시스템.The method according to claim 1,
Wherein,
Wherein the second speech is not provided to the user if the response of the user is included in a predetermined second criterion or the speech is provided to the user different from the first speech.
상기 제어부는,
상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할지 결정하는 대화 시스템.The method according to claim 1,
Wherein,
And determine whether to provide a follow-up to the user based on the user's response corresponding to the second utterance.
상기 제어부는,
기상 정보, 도로 환경 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공하는 대화 시스템.The method according to claim 1,
Wherein,
And provides the user with utterance based on at least one of weather information, road environment information, and traffic situation information.
상기 발화와 관련된 내용을 표시하는 디스플레이를 더 포함하는 대화 시스템.The method according to claim 1,
Further comprising a display that displays content related to the utterance.
상기 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부;를 더 포함하는 대화 시스템. The method according to claim 1,
And a storage unit for storing ignition information and information about the user.
사용자의 상태를 감지하는 감지부; 및
상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 제어부;를 포함하는 대화 시스템을 포함하는 차량.An output unit for outputting a voice;
A sensing unit for sensing a state of the user; And
Wherein when the user's response corresponding to the first utterance provided to the user is included in a predetermined first reference, the second utterance generated based on the first utterance and the information about the user is transmitted to the user through the output unit And a control unit for providing the vehicle with the vehicle.
상기 제어부는,
상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
Wherein,
And a dialog system for determining whether the user's response is included in a first criterion based on at least one of a word used by the user, a context of the response, face information of the user, and gesture information of the user.
상기 제어부는,
상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제 2발화를 생성하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
Wherein,
And a dialogue system for generating the second utterance based on a past utterance record with the user if the response of the user is included in the first criterion.
상기 제어부는,
상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
Wherein,
And if the user's response is included in the first criterion, providing a second utterance comprising information related to the first utterance to the user.
상기 제어부는,
상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
Wherein,
A dialog system for prioritizing the second utterance and sequentially providing the second utterance to the user according to a predetermined priority.
상기 제어부는,
상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
Wherein,
And a conversation system that does not provide the second utterance to a user if the response of the user is included in a predetermined second criterion or provides the user with a utterance of a different kind than the first utterance.
상기 제어부는,
상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할지 결정하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
Wherein,
And a dialog system for determining whether to provide a follow-up to the user based on the user's response corresponding to the second speech.
상기 제어부는,
기상 정보, 도로 환경 정보, 상기 차량의 주행 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
Wherein,
And an interactive system for providing a speech to the user based on at least one of weather information, road environment information, driving information of the vehicle, and traffic situation information.
상기 발화와 관련된 내용을 표시하는 디스플레이를 더 포함하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
And a display that displays content related to the utterance.
상기 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부를 더 포함하는 대화 시스템을 포함하는 차량.12. The method of claim 11,
And a storage unit for storing ignition information with respect to the user and information about the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170165518A KR102463581B1 (en) | 2017-12-05 | 2017-12-05 | Dialogue processing apparatus, vehicle having the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170165518A KR102463581B1 (en) | 2017-12-05 | 2017-12-05 | Dialogue processing apparatus, vehicle having the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190066116A true KR20190066116A (en) | 2019-06-13 |
KR102463581B1 KR102463581B1 (en) | 2022-11-07 |
Family
ID=66847825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170165518A KR102463581B1 (en) | 2017-12-05 | 2017-12-05 | Dialogue processing apparatus, vehicle having the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102463581B1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010062754A (en) * | 1999-12-28 | 2001-07-07 | 이데이 노부유끼 | Conversation processing apparatus and method, and recording medium therefor |
KR100418736B1 (en) * | 1995-11-06 | 2004-06-12 | 혼다 기켄 고교 가부시키가이샤 | Driving condition monitoring device for vehicle |
KR20040050928A (en) * | 2002-12-11 | 2004-06-18 | 삼성전자주식회사 | Apparatus and method of managing dialog between user and agent |
JP2005100382A (en) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Dialog system and dialog method |
KR20100128068A (en) * | 2009-05-27 | 2010-12-07 | 포항공과대학교 산학협력단 | User profile automatic creation method and apparatus through voice dialog meaning process, and contents recommendation method and apparatus using the same |
JP2014219594A (en) * | 2013-05-09 | 2014-11-20 | ソフトバンクモバイル株式会社 | Conversation processing system and program |
KR20170020841A (en) * | 2014-06-25 | 2017-02-24 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Leveraging user signals for initiating communications |
-
2017
- 2017-12-05 KR KR1020170165518A patent/KR102463581B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100418736B1 (en) * | 1995-11-06 | 2004-06-12 | 혼다 기켄 고교 가부시키가이샤 | Driving condition monitoring device for vehicle |
KR20010062754A (en) * | 1999-12-28 | 2001-07-07 | 이데이 노부유끼 | Conversation processing apparatus and method, and recording medium therefor |
KR20040050928A (en) * | 2002-12-11 | 2004-06-18 | 삼성전자주식회사 | Apparatus and method of managing dialog between user and agent |
JP2005100382A (en) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Dialog system and dialog method |
KR20100128068A (en) * | 2009-05-27 | 2010-12-07 | 포항공과대학교 산학협력단 | User profile automatic creation method and apparatus through voice dialog meaning process, and contents recommendation method and apparatus using the same |
JP2014219594A (en) * | 2013-05-09 | 2014-11-20 | ソフトバンクモバイル株式会社 | Conversation processing system and program |
KR20170020841A (en) * | 2014-06-25 | 2017-02-24 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Leveraging user signals for initiating communications |
Also Published As
Publication number | Publication date |
---|---|
KR102463581B1 (en) | 2022-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11366513B2 (en) | Systems and methods for user indication recognition | |
US11176948B2 (en) | Agent device, agent presentation method, and storage medium | |
JP6604151B2 (en) | Speech recognition control system | |
CN106796786A (en) | Speech recognition system | |
US10861460B2 (en) | Dialogue system, vehicle having the same and dialogue processing method | |
JP2017090611A (en) | Voice recognition control system | |
CN110286745B (en) | Dialogue processing system, vehicle with dialogue processing system, and dialogue processing method | |
US10663312B2 (en) | Vehicle and control method thereof | |
JP2006317573A (en) | Information terminal | |
JP7211856B2 (en) | AGENT DEVICE, AGENT SYSTEM, SERVER DEVICE, CONTROL METHOD FOR AGENT DEVICE, AND PROGRAM | |
US20220198151A1 (en) | Dialogue system, a vehicle having the same, and a method of controlling a dialogue system | |
US10996068B2 (en) | Vehicle and vehicle system | |
JP2020060861A (en) | Agent system, agent method, and program | |
CN111731320B (en) | Intelligent body system, intelligent body server, control method thereof and storage medium | |
KR102371513B1 (en) | Dialogue processing apparatus and dialogue processing method | |
KR102463581B1 (en) | Dialogue processing apparatus, vehicle having the same | |
US20220415318A1 (en) | Voice assistant activation system with context determination based on multimodal data | |
US20210303263A1 (en) | Dialogue system and vehicle having the same, and method of controlling dialogue system | |
KR20230090510A (en) | Terminal device and Vehicle | |
JP7245695B2 (en) | Server device, information providing system, and information providing method | |
JP7175221B2 (en) | AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM | |
JP7252029B2 (en) | SERVER DEVICE, INFORMATION PROVISION METHOD, AND PROGRAM | |
JP7239365B2 (en) | AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM | |
CN116670624A (en) | Interface control method, device and system | |
JP2020060623A (en) | Agent system, agent method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |