KR102463581B1 - 대화 시스템 및 이를 포함하는 차량 - Google Patents

대화 시스템 및 이를 포함하는 차량 Download PDF

Info

Publication number
KR102463581B1
KR102463581B1 KR1020170165518A KR20170165518A KR102463581B1 KR 102463581 B1 KR102463581 B1 KR 102463581B1 KR 1020170165518 A KR1020170165518 A KR 1020170165518A KR 20170165518 A KR20170165518 A KR 20170165518A KR 102463581 B1 KR102463581 B1 KR 102463581B1
Authority
KR
South Korea
Prior art keywords
user
utterance
information
response
vehicle
Prior art date
Application number
KR1020170165518A
Other languages
English (en)
Other versions
KR20190066116A (ko
Inventor
박정미
한지민
이지아
김계윤
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170165518A priority Critical patent/KR102463581B1/ko
Publication of KR20190066116A publication Critical patent/KR20190066116A/ko
Application granted granted Critical
Publication of KR102463581B1 publication Critical patent/KR102463581B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 대화 시스템은, 음성을 출력하는 출력부, 사용자의 상태를 감지하는 감지부 및 상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 제어부를 포함할 수 있다.
일 실시예에 따른 대화 시스템은, 사용자에게 제공한 발화에 대응되는 사용자의 응답을 여러 기준으로 분류한 후, 사용자에 대한 정보와 분류된 정보를 기초로 상황에 맞는 다양한 후속 발화를 제공함으로써, 보다 사용자의 기호에 맞는 대화 시스템을 제공할 수 있다.

Description

대화 시스템 및 이를 포함하는 차량 {DIALOGUE PROCESSING APPARATUS, VEHICLE HAVING THE SAME}
본 발명은 대화 시스템 및 이를 포함하는 차량에 관한 방법으로서, 보다 상세하게는 차량의 사용자와의 발화 시스템에 있어서 사용자에게 제공한 발화에 대응되는 사용자의 응답을 기초로 다양한 종류의 후속 발화를 제공하는 기술에 관한 발명이다.
현대 사회에서 자동차는 가장 보편적인 이동 수단으로서 자동차를 이용하는 사람들의 수는 증가하고 있다. 자동차 기술의 발전으로 인해 과거보다 장거리의 이동이 용이하고, 생활이 편해지는 등 생활에 많은 변화가 발생하고 있다.
차량은 사용자의 편의를 위해 핸즈프리 장치, GPS 수신기, 블루투스 장치 및 하이패스 장치 등의 전자 장치 등이 많이 개발되고 있으며, 자동차 관련 기술 분야들 중에서 전기전자 분야가 새로운 가치를 창출하는 비중이 점점 커지고 있다.
또한, 차량의 보급화 및 도로의 발달로 인해 차량을 운전하는 것은 생활의 일부가 되었고 이로 인해 장거리 운전을 하거나 밤에 운전을 하는 것 또한 일상적인 운전이 되어가고 있다. 이러한 변화로 인해 차량 안에서 사용자가 보내는 시간이 많아짐에 따라 사용자가 보다 좋은 환경에서 운전을 할 수 있도록 다양한 기능들이 개발되고 있다.
그 중 대표적인 기술로, 사용자의 음성을 인식하고 사용자와 대화를 하는 대화 시스템이 존재한다. 차량 음성인식 기술은 음의 강약과 높낮음 등의 음성의 진동이 갖는 특징을 디지털 신호로 바꾼 후 분석하여 데이터베이스에 저장된 음성 자료와 비교함으로써, 음성에 담긴 언어적인 의미를 프로세서가 자동적으로 결정하는 기술로서 요즈음에는 텔레메틱스 시스템(Telematics System)의 발전과 더불어 차량에 적용되어 점차적으로 다양한 분야에서 사용되고 있는 추세이다.
따라서, 발화 시스템의 경우 사용자와 지속적인 대화를 유지하기 위해서는 현재 사용자의 상태 및 차량이 제공하는 발화에 대한 사용자의 응답을 판단한 후, 이를 기초로 상황에 맞는 적절한 발화를 제공해주어야 한다.
그러나 기존 기술의 경우, 사용자의 응답을 기초로 이를 분석하고 후속 발화를 사용자에 상황에 맞추어 적절하게 제공해 주지 않아 대화의 지속성이 없는 문제가 존재하였다.
따라서, 본 발명은 전술한 바와 같이 종래 기술이 가지고 있던 문제점을 해결하기 위해 고안된 발명으로서, 사용자에게 제공한 발화에 대응되는 사용자의 응답을 기초로 다양한 종류의 후속 발화를 제공하여 보다 사용자의 기호에 맞는 대화 시스템을 제공하기 위함이다.
일 실시예에 대화 시스템은 음성을 출력하는 출력부, 사용자의 상태를 감지하는 감지부 및 상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 제어부를 포함할 수 있다.
또한, 상기 제어부는 상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단할 수 있다.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제 2발화를 생성할 수 있다.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공할 수 있다.
또한, 상기 제어부는 상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공할 수 있다.
또한, 상기 제어부는 상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공할 수 있다.
또한, 상기 제어부는 상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할 수 있다.
또한, 상기 제어부는 기상 정보, 도로 환경 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공할 수 있다.
또한, 상기 대화 시스템은 상기 발화와 관련된 내용을 표시하는 디스플레이를 더 포함할 수 있다.
또한, 상기 대화 시스템은 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부를 더 포함할 수 있다.
다른 일 실시예에 따른 차량은, 음성을 출력하는 출력부, 사용자의 상태를 감지하는 감지부 및 상기 상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 대화 시스템을 포함할 수 있다.
또한, 상기 제어부는 상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단하는 대화 시스템을 포함할 수 있다.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제 2발화를 생성하는 대화 시스템을 포함할 수 있다.
또한, 상기 제어부는 상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공하는 대화 시스템을 포함할 수 있다.
또한, 상기 제어부는 상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공할 수 있는 대화 시스템을 포함할 수 있다.
또한, 상기 제어부는 상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공할 수 있는 대화 시스템을 포함할 수 있다.
또한, 상기 제어부는 상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할지 결정할 수 있는 대화 시스템을 포함할 수 있다.
또한, 상기 제어부는 기상 정보, 도로 환경 정보, 상기 차량의 주행 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공할 수 있는 대화 시스템을 포함할 수 있다.
또한, 상기 차량은 상기 발화와 관련된 내용을 표시하는 디스플레이를 더 포함하는 대화 시스템을 포함할 수 있다.
또한, 상기 차량은 상기 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부를 더 포함하는 대화 시스템을 포함할 수 있다.
일 실시예에 따른 대화 시스템은, 사용자에게 제공한 발화에 대응되는 사용자의 응답을 여러 기준으로 분류한 후, 사용자에 대한 정보와 분류된 정보를 기초로 상황에 맞는 다양한 후속 발화를 제공함으로써, 보다 사용자의 기호에 맞는 대화 시스템을 제공할 수 있다.
도 1은 일 실시예에 따른 대화 시스템의 일부 구성 요소 도시한 블럭도이다.
도 2는 일 실시예에 따른 대화 시스템의 동작 순서를 도시한 순서도이다.
도 3은 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 4는 다른 일 실시예에 따라, 대화 시스템을 포함하고 있는 차량의 외관을 도시한 도면이다.
도 5는 다른 실시예에 따라, 대화 시스템을 포함하고 있는 차량의 내부 모습을 도시한 도면이다.
도 6은 다른 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 7내지 도 9는 다른 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예이며, 본 출원의 출원 시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
이하 첨부된 도면들을 참고하여 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법의 실시예를 상세하게 설명한다.
일 실시예에 따른 대화 시스템은 사용자의 음성 및 음성 외 입력을 이용하여 사용자의 의도를 파악하고 사용자의 의도에 적합한 서비스 또는 사용자에게 필요한 서비스를 제공하는 장치로서, 서비스 제공의 일 수단 또는 사용자의 의도를 명확히 파악하기 위한 일 수단으로 시스템 발화를 출력함으로써 사용자와 대화를 수행할 수 있다.
당해 실시예에서 사용자에게 제공되는 서비스는 정보의 제공, 차량의 제어, 오디오/비디오/내비게이션 기능의 실행, 외부 서버로부터 가져온 컨텐츠의 제공 등 사용자의 필요나 사용자의 의도에 부응하기 위해 수행되는 모든 동작을 포함할 수 있다.
또한, 일 실시예에 따른 대화 시스템은 차량 환경에 특화된 대화 처리 기술을 제공함으로써, 차량이라는 특수한 환경에서 사용자의 의도를 정확히 파악할 수 있다.
이러한 대화 시스템과 사용자를 연결하는 게이트 웨이는 차량 또는 차량에 연결된 모바일 기기가 될 수 있다. 후술하는 바와 같이, 대화 시스템은 차량에 마련될 수도 있고, 차량 외부의 원격 서버에 마련되어 차량 또는 차량에 연결된 모바일 기기와의 통신을 통해 데이터를 주고 받을 수도 있다.
또한, 대화 시스템의 구성 요소 중 일부는 차량에 마련되고 일부는 원격 서버에 마련되어 대화 시스템의 동작을 차량과 원격 서버에서 부분적으로 수행하는 것도 가능하다.
도 1은 일 실시예에 따른 대화 시스템의 일부 구성 요소를 도시한 블럭도이다.
도 1을 참조하면, 일 실시예에 따른 대화 시스템(100)은 사용자의 음성 및 음성 외 입력을 포함하는 사용자 입력이나 차량과 관련된 정보 또는 사용자와 관련된 정보를 포함하는 입력을 처리하는 입력부(110), 입력부(110)의 처리 결과를 이용하여 사용자의 의도를 파악하고, 사용자의 의도나 차량의 상태에 대응되는 액션을 결정하는 제어부(140), 제어부(140)의 출력 결과에 따라 특정 서비스를 제공하거나 대화를 계속 이어 나가기 위한 시스템 발화를 출력하는 출력부(130) 및 대화 시스템(100)이 후술하는 동작을 수행하기 위해 필요한 각종 정보를 저장하는 저장부(120)를 포함할 수 있다.
입력부(110)는 사용자 음성과 음성 외 입력, 두 가지 종류의 입력을 수신할 수 있다. 음성 외 입력은 사용자의 제스처 인식이나, 입력 장치의 조작을 통해 입력되는 사용자의 음성 외 입력, 차량의 상태를 나타내는 차량 상태 정보, 차량의 주행 환경과 관련된 주행 환경 정보, 사용자의 상태를 나타내는 사용자 정보 등을 포함할 수 있다.
이러한 정보들 외에도 차량과 사용자와 관련된 정보로서, 사용자의 의도를 파악하거나 사용자에게 서비스를 제공하기 위해 사용될 수 있는 정보이면, 모두 입력부(110)의 입력이 될 수 있다. 사용자는 운전자와 탑승자를 모두 포함할 수 있다.
입력부(110)는 입력된 사용자 음성을 인식하여 텍스트 형태의 발화문으로 변환하고, 사용자의 발화문에 자연어 이해(Natural Language Understanding) 기술을 적용하여 사용자의 의도를 파악할 수 있다.
또한, 입력부(110)는 사용자 음성 외에 차량의 상태나 주행 환경과 관련된 정보를 수집하고, 수집된 정보를 이용하여 상황을 이해할 수 있다.
입력부(110)는 자연어 이해를 통해 파악한 사용자의 의도와 상황에 관련된 정보 등을 제어부(140)로 전달할 수 있다.
제어부(140)는 입력부(110)로부터 전달된 사용자의 의도, 상황에 관련된 정보 등에 기초하여 사용자의 의도와 현재 상황에 대응되는 액션을 결정하고, 해당 액션을 수행하기 위해 필요한 인자들을 관리할 수 있다.
당해 실시예에서 액션은 특정 서비스를 제공하기 위해 수행되는 모든 동작을 의미할 수 있으며, 액션의 종류는 미리 정의될 수 있다. 경우에 따라, 서비스의 제공과 액션의 수행은 동일한 의미일 수 있다.
액션의 종류에 대해서는 제한을 두지 않으며, 대화 시스템(100)이 차량(200)을 통해 수행 가능한 것으로서, 미리 정의되고, 그 추론 규칙이나 다른 액션/이벤트와의 관계 등이 저장되어 있으면 액션이 될 수 있다.
제어부(140)는 결정된 액션에 관한 정보를 출력부(130)로 전달할 수 있다.
출력부(130)는 전달된 액션을 수행하기 위해 필요한 대화 응답 및 명령어를 생성하여 출력한다. 대화 응답은 텍스트, 이미지 또는 오디오로 출력될 수 있고, 명령어가 출력되면 출력된 명령어에 대응되는 차량 제어, 외부 컨텐츠 제공 등의 서비스가 수행될 수 있다.
저장부(120)는 대화 처리 및 서비스 제공에 필요한 각종 정보를 저장한다. 예를 들어, 자연어 이해에 사용되는 도메인, 액션, 화행, 개체명과 관련된 정보를 미리 저장할 수 있고, 입력된 정보로부터 상황을 이해하기 위해 사용되는 상황 이해 테이블을 저장할 수도 있으며, 차량에 마련된 센서가 감지한 데이터, 사용자와 관련된 정보, 액션 수행을 위해 필요한 정보를 미리 저장할 수도 있다. 저장부(120)에 저장되는 정보들에 관한 더 자세한 설명은 후술하도록 한다.
전술한 바와 같이, 대화 시스템(100)은 차량 환경에 특화된 대화 처리 기술을 제공한다. 대화 시스템(100)의 구성요소가 전부 차량에 포함될 수도 있고, 일부만 포함될 수도 있다. 대화 시스템(100)은 원격 서버에 마련되고 차량은 대화 시스템(100)과 사용자 사이의 게이트웨이의 역할만 할 수도 있다. 어느 경우이던지, 대화 시스템(100)은 차량 또는 차량과 연결된 모바일 기기를 통해 사용자와 연결될 수 있다.
도2는 일 실시예에 따른 대화 시스템(100)의 동작 순서를 도시한 순서도이다.
도 2를 참조하면, 일 실시예에 따른 대화 시스템(100)은 사용자에게 제1발화를 제공할 수 있다.(S100)
구체적으로, 대화 시스템(100)의 출력부(130)는 사용자에게 제1발화를 제공할 수 있다. 그리고 제1발화는, 사용자에게 처음으로 제공하는 발화를 의미할 수 도 있으나, 후속 발화를 결정하기 위해 대화 도중에 발생하는 어느 특정 발화가 제1발화로 지칭될 수 있다.
제 1발화는 사용자의 정보 및 차량 환경에 대한 정보를 기초로 제공될 수 있다. 구체적으로, 사용자의 정보, 예를 들어, 사용자의 나이, 성별, 직업, 운전 성향, 취미 등을 기준으로 제1발화가 생성될 수 있으며, 기상 정보, 도로 환경 정보, 운행 시간대 정보 및 교통 상황 정보 중 적어도 하나를 기초로 제1발화가 생성될 수 있다.
제1발화가 사용자에게 제공된 후, 대화 시스템(100)은 사용자에게 제공한 제1발화에 대응되는 사용자의 응답을 분석하고 분석된 결과가 제1기준에 포함되는지 판단할 수 있다. (S110, S120)
S100, S110 과정은 대화 시스템(100)과 사용자가 대화를 유지해 나가기 위한 적절한 발화를 찾는 과정으로써, 구체적으로 사용자의 응답이 제1기준에 포함되는지 여부를 기준으로 사용자에게 제2발화를 제공할지 결정할 수 있다.
제1기준은 제1발화에 대응되는 사용자의 응답이 대화를 계속 진행할 수 있는 대답을 의미한다. 구체적으로, 제1발화에 대해 사용자가 동의하는 응답을 하거나, 제1발화에서 언급된 소재로 계속 발화를 제공해도 사용자와 계속 대화를 유지할 수 있을 정도로 사용자가 응답한 경우를 말한다.
예를 들어, 제1발화에 대해 사용자가 긍정적인 의미로 응답을 한 경우에는, 제1발화에 대해서 사용자가 관심을 가지고 있는 것으로 판단할 수 있다. 따라서, 이 경우에는 제1발화를 기초로 생성된 제2발화를 사용자에게 제공할 수 있다.
제 1기준에 포함되는지 판단함에 있어, 사용자가 사용한 단어, 응답의 문맥, 사용자의 안면 정보 및 사용자의 제스처 정보 중 적어도 하나를 기초로 사용자의 응답이 제1기준에 포함되는지 판단할 수 있다.
사용자가 사용한 단어가 제1발화에서 사용되고 있는 소재에 대해 긍정적인 의미로 사용한 단어인지, 부정적인 의미로 사용한 단어인지를 기준으로 판단할 수 있으며, 정확한 판단을 위해 형용사, 부사, 동사, 명사 순서로 판단을 할 수 있다.
문맥을 기반으로 사용자의 응답이 제1기준에 포함되는 판단할 수 있으며, 사용자의 위치, 자세 및 생체 정보 등 적어도 하나를 기준으로 사용자의 응답이 제1기준에 포함되는지 판단할 수 있다.
S120 과정에 따라, 사용자의 응답이 제1기준에 포함된다면, 대화 시스템(100)은 사용자에게 제2발화를 제공할 수 있다.(S130)
구체적으로, 사용자의 응답이 제1기준에 포함되는 경우, 사용자와의 과거 발화 기록을 기초로 사용자에게 제2발화를 제공하거나, 제1발화와 관련된 정보를 포함하고 있는 제2발화를 사용자에게 제공할 수 있다.
즉, 대화 시스템(100)은 사용자가 제1발화 또는 제2발화와 동일하거나 유사한 발화에 대해 어떠한 반응을 하였는지에 대한 과거 정보를 기초로 사용자에게 제2발화를 제공할 수 있다.
과거 기록에 따라, 부정적인 반응을 보인 제2발화가 존재한다면, 부정적인 반응을 보인 제2발화는 사용자에게 제공하지 않음으로써, 보다 효율적으로 사용자와 대화를 유지해 나갈 수 있다.
반대로 과거 기록에 따라, 긍정적인 반응을 보인 제2발화가 존재한다면, 긍정적인 반응을 보인 제2발화를 사용자에게 제공함으로써, 보다 효율적으로 사용자와 대화를 유지해 나갈 수 있다.
또한, 대화 시스템(100)은 제1발화와 관련된 정보를 포함하고 있는 제2 발화를 사용자에게 제공함으로써, 보다 적절한 발화를 사용자에게 제공할 수 있다.
또한, 도면에는 도시하지 않았으나, 대화 시스템(100)은 사용자에게 발화와 관련된 영상 또는 이미지를 함께 사용자에게 제공할 수 있다.
따라서, 대화 시스템(100)은 사용자에게 단순히 발화를 청각적으로만 제공할 뿐만 아니라, 발화와 관련된 영상 또는 이미지를 함께 제공함으로써, 사용자에게 보다 정확하게 발화의 내용을 전달할 수 있고, 사용자의 관심을 향상시킬 수 있다.
또한, 사용자에게 제2발화를 제공함에 있어서, 기상 정보, 도로 환경 정보, 운행 시간대 정보 및 교통 상황 정보 중 적어도 하나를 기초로 생성된 제2발화를 사용자에게 제공할 수 있으며, 사용자가 특정한 행동을 하도록 제안하거나 특정 기능을 사용하도록 하는 발화를 제공할 수 있다. 이러한 과정을 통하여 사용자가 발화에 보다 적극적으로 참여할 수 있도록 유도할 수 있는 장점이 존재한다.
또한, 대화 시스템(100)은 사용자에게 제2발화를 제공함에 있어, 사용자의 응답이 제1기준에 속한다면 제2발화로 가능한 발화의 우선 순위를 정하고, 우선 순위에 따라 정해진 제2발화를 순차적으로 상기 사용자에게 제공할 수 있다.
그러나, S120 과정에서 사용자의 응답이 제1기준에 포함되지 않는다면, 즉 사용자의 응답이 제2기준에 포함된다면, 대화 시스템(100)은 사용자에게 제2발화를 제공하지 않거나, 제2발화와 다른 종류의 발화를 사용자에게 제공할 수 있다.
제2기준은 제1기준과 반대되는 기준으로서, 사용자가 제1발화에 대해 동의를 하지 않거나 관심을 가지지 않는 등 부정적인 의미로 제1발화에 대해 응답을 한 경우를 말한다.
그리고 제1기준과 제2기준은 절대적인 기준은 아니며, 사용자에 성향 및 정보에 기초하여 다양한 기준으로 설정될 수 있다.
S140 과정에 따라, 사용자에게 제2발화를 제공하였다면, 대화 시스템(100)은 제2발화에 대한 사용자의 응답을 기초로 후속 발화의 제공 여부를 결정할 수 있다. (S140)
사용자의 응답이 제2발화에 대해 동의하지 않거나 부정적인 반응을 보였다면 더 이상 제2발화를 사용자에게 제공하지 않을 수 있다.
그러나, 사용자의 응답이 제2발화에 대해 동의를 하는 등, 긍정적인 반응을 보였다면 제2발화와 연관된 제3발화, 제4발화 등 후속 발화를 계속 제공할 수 있다.
도3은 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 3을 참조하면, 대화 시스템(100)은 사용자에게 제1발화로 '재질을 느낄 수 있는 증강현실 촉감과, 집의 인테리어에 합성한 VR 이미지에요(S1)'라는 발화를 제공할 수 있다. 이 경우 도면에는 도시하지 않았지만 대화 시스템(100)은 이미지 장치를 이용하여 증강현실 이미지를 표현할 수 있다.
이러한 제1발화에 대해 사용자가 긍정적인 반응을 보인 경우, 대화 시스템(100)은 사용자에게 제2발화를 제공할 수 있다. 즉, 도면에 도시된 바와 같이 사용자가 '좋은데? 증강현실 촉감을 보여줘(S2)'라고 응답을 한 경우에는 사용자가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당하므로, 대화 시스템(100)은 사용자의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 목록의 내용을 제2발화로 사용자에게 제공할 수 있다.
예를 들어, 도면에 도시된 바와 같이 사용자에게 '네 그럼 첫 번째 커튼을 만져보세요"(S2)라는 제2발화를 사용자에게 제공할 수 있다.
그리고 이에 대해 사용자가 "주름이 잘 안 생겨서 좋겠어'(U2)라는 응답을 한 경우 이 경우에는 제2발화에 대해 긍정적인 반응을 한 것이므로 대화 시스템은(100)은 계속 사용자에게 후속 발화를 제공할 수 있다. 즉, 도면에 도시된 바와 같이 사용자에게 제2발화 내용과 연관된 발화인 '이번엔 두 번째 커튼이예요'(S3) 라는 발화를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따라 대화 시스템(100)을 포함하고 있는 차량(200)의 외부 모습을 도시한 외관도이고, 도4는 일 실시예에 따라 대화 시스템(100)을 포함하고 있는 차량(200)의 내부 모습을 도시한 내부도이다. 이하에서는 동일한 내용에 대한 설명 중복을 방지하기 위해 함께 설명하도록 한다.
도 3 을 참조하면, 일 실시예에 따른 차량(200)의 외관은 차량(200)을 이동시키는 차륜(12,13), 차량(200) 내부를 외부로부터 차폐시키는 도어(15L), 차량(200) 내부의 사용자에게 차량(200) 전방의 시야를 제공하는 전면 유리(16), 사용자에게 차량(200) 후방의 시야를 제공하는 사이드 미러(14L,14R)를 포함할 수 있다.
차륜(12,13)은 차량의 전방에 마련되는 전륜(12), 차량의 후방에 마련되는 후륜(13)을 포함하며, 차량(200) 내부에 마련되는 구동 장치(미도시)는 차량(200)이 전방 또는 후방으로 이동하도록 전륜(12) 또는 후륜(13)에 회전력을 제공할 수 있다. 이와 같은 구동 장치는 화석 연료를 연소시켜 회전력을 생성하는 엔진 또는 축전기로부터 전원을 공급받아 회전력을 생성하는 모터를 채용할 수 있다.
도어(15L,15R)는 차량(200)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 사용자 또는 동승자가 차량(200)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(200)의 내부를 외부로부터 차폐시킨다.
또한, 차량(200) 외부에는 도어(15L,15R(도 2 참조))를 개폐할 수 있는 손잡이(17L, 17R)가 마련될 수 있고, 손잡이(17L)에는 블루투스(Low Frequency) 신호를 송신할 수 있는 블루투스 안테나와 사용자의 터치 입력을 인식할 수 있는 터치 감지부(미도시)가 장착될 수 있다.
사용자가 원격 조작 장치(미도시)를 소지하고 있는 상태에서 도어(15L,15R)의 터치 감지부가 사용자의 터치 입력을 감지하는 경우, 차량(200)은 무선 통신망을 통해 원격 조작 장치(미도시)와 인증을 수행하고, 인증이 완료되면 차량(200)의 도어 락이 해제되어 사용자의 손잡이(17L, 17R) 당김 조작에 의해 도어(15L)가 개방될 수 있다. 여기서, 사용자는 사용자 뿐만 아니라, 차량(200) 내 탑승한 동승자를 포함할 수 있다.
전면 유리(16)는 본체의 전방 상측에 마련되어 차량(200) 내부의 사용자가 차량(200) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(14L,14R)는 차량(200)의 좌측에 마련되는 좌측 사이드 미러(14L) 및 우측에 마련되는 우측 사이드 미러(14R)를 포함하며, 차량(200) 내부의 사용자가 차량(200)의 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
이외에도 차량(200)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.
근접 센서는 차량의 측면 또는 후면에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신할 수 있다. 수신된 반사 신호의 파형을 기초로 차량(200) 측면이나 후면의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다. 이와 같은 근접 센서의 일 예로서 초음파 또는 적외선을 발신하고, 장애물에 반사된 초음파 또는 적외선을 이용하여 장애물까지의 거리를 검출하는 방식을 채용할 수 있다.
도 5를 참조하면, 대시보드(20)의 중앙 영역에는 AVN(Audio Video Navigation) 단말에서 제공되는 영상 또는 이미지를 표시하는 디스플레이(220)가 마련될 수 있다. 디스플레이(220)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시할 수 있고, 뿐만 아니라 차량(200)과 관련된 각종 제어 화면 또는 부가기능과 관련된 화면을 표시할 수 있다.
디스플레이(220)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.
운전석(18L)와 조수석(18R) 사이에 죠그 셔틀(jog shuttle) 타입의 센터 입력부(25)가 마련될 수도 있다. 사용자는 센터 입력부(25)를 돌리거나 가압하거나 상, 하, 좌 또는 우 방향으로 미는 방식으로 제어 명령을 입력할 수 있다.
차량(200)에는 음향을 출력할 수 있는 스피커(19)를 포함할 수 있다. 스피커(19)는 오디오 기능, 비디오 기능, 내비게이션 기능 및 기타 부가 기능을 수행함에 있어 필요한 음향을 출력할 수 있다.
도 5에서는 스피커(19)가 운전석(18L) 자리와 조수석(18R) 자리에 각각 하나씩 마련되는 것으로(19a, 19b) 도시되어 있으나, 이에 한정되는 것은 아니고 차량(200) 내부의 다양한 위치에 마련될 수 있다.
운전석(18L) 쪽의 대시보드(29)에는 스티어링 휠(23)이 마련되며, 스티어링 휠(23)과 인접한 영역에 원격 조작 장치(미도시; 일 예로서, 포브(FOB)키를 삽입할 수 있는 키 홈(22)가 형성될 수 있다. 키 홈(22)에 외부 단말기가 삽입되거나, 무선 통신망을 통해 외부 단말기와 차량(200) 간의 인증이 완료되면 외부 단말기와 차량(200)이 연결될 수 있다.
한편, 차량(200)에는 공조 장치가 구비되어 난방 및 냉방을 모두 수행할 수 있으며, 가열되거나 냉각된 공기를 통풍구(21)를 통해 배출하여 차량(200) 내부의 온도를 제어할 수 있다.
지금까지 일 실시예에 따른 차량(200)의 외부 및 내부 구성에 대해 알아보았다. 이하 일 실시예에 따른 차량(200)의 구성 요소 및 제어 방법에 대해 알아본다.
도 6은 일 실시예에 따른, 차량(200)의 일부 구성 요소를 도시한 블럭도이다.
도 6을 참조하면, 일 실시예에 따른 차량(200)은 사용자의 상태를 감지하는 감지부(210), 제어부(250)로부터 수신한 영상 또는 이미지를 출력하는 디스플레이(220), 제어부(250)로부터 수신한 음성을 출력하는 출력부(230), 사용자에 관한 정보가 저장되어 있는 저장부(240), 감지부(210)에서 감지된 사용자의 응답 및 사용자에 대한 정보를 기초로 생성된 발화를 출력부(230) 또는 디스플레이(220)를 통해 사용자에게 제공하는 제어부(250)를 포함할 수 있다.
감지부(210)는 사용자의 상태를 실시간으로 감지하고, 감지한 결과를 제어부(250)로 송신할 수 있다.
구체적으로, 감지부(210)는 제어부(250)가 사용자에게 발화를 제공하기 전이라도 사용자가 현재 어떠한 상태로 운전을 하고 있는지 감지할 수 있다. 제어부(250)가 사용자에게 발화를 제공한 후에는, 사용자가 제공된 발화에 대해 어떠한 상태로 응답을 하였는지 실시간으로 감지한 후, 감지된 결과를 제어부(250)로 송신할 수 있다. 후술하겠지만, 제어부(250)는 감지부(210)에서 송신한 감지 결과를 기초로 사용자가 응답이 제1기준에 속하는지 아니면 제2기준에 속하는지 판단할 수 있다.
또한, 감지부(210)는 사용자의 상태 뿐만 아니라, 차량(200)에 복수의 탑승자가 존재하는 경우, 복수의 사용자에 대한 상태를 감지할 수 있다. 예를 들어, 복수의 사용자의 위치 변화, 자세의 변화 또는 특정 사용자에 대한 생체 정보(표정, 심박 ,체온) 등을 감지할 수 있고 감지한 결과를 제어부(250)로 송신할 수 있다.
또한, 감지부(210)는 사용자에 관한 상태 뿐만 아니라, 차량(200)에 관한 각종 상태를 감지할 수 있다. 예를 들어, 현재 차량(200)의 위치, 속도, 주행 경로에 대한 정보들을 감지할 수 있으며, 더 나아가 기상 정보, 도로 환경 정보, 운행 시간대 정보 및 교통 상황 정보 등을 감지할 수 있고 감지된 정보들은 제어부(250)로 송신되고, 제어부(250)는 수신한 정보들을 기초로 사용자의 환경에 맞추어 사용자에게 적절한 발화를 제공할 수 있다.
따라서, 감지부(210)는 사용자의 상태를 감지하기 위한 센서를 포함한 각종 장치들을 포함할 수 있다. 예를 들어, 사용자의 안면 정보를 취득하기 위해 안면 센싱 장치, 안구 센싱 장치들을 구비할 수 있으며, 사용자의 상태를 판단하기 위해 심박의 변화량을 센싱할 수 있는 센서들을 포함할 수 도 있다. 또한, 사용자의 제스처를 판단할 수 있는 제스처 인식 장치들 또한 포함될 수 있다.
디스플레이(220)는 제어부(250)로부터 수신한 영상 또는 이미지를 외부로 출력할 수 있다.
구체적으로, 디스플레이(220)는 제어부(250)가 사용자에게 제공하는 발화와 관련된 영상 또는 이미지를 출력함으로써, 사용자와 보다 효과적으로 발화의 내용을 전달할 수 있다.
따라서, 디스플레이(220)는 이를 표현하기 위한 디스플레이 패널(미도시)을 포함할 수 있으며,디스플레이 패널은 음극선관(CRT, Cathode Ray Tube) 디스플레이 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널, 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다.
또한, 디스플레이(220)는 사용자의 입력을 터치로 수신하는 터치 스크린 디스플레이로 구성될 수 있으며, 이러한 경우 디스플레이는(220) 영상 또는 이미지를 표시하는 디스플레이 패널과 터치 입력을 수신하는 터치 패널(미도시)을 포함할 수 있다.
출력부(230)는 음성을 출력할 수 있다. 구체적으로, 출력부(230)는 제어부(250)로부터 수신한 발화의 내용을 사용자가 인식할 수 있도록 음성으로 출력할 수 있다.
따라서, 출력부는(230)는 음성을 출력하기 위해 스피커(19)를 포함할 수 있으며, 스피커(19)는 전술한 바와 같이 차량(200) 내부 다양한 위치에 마련될 수 있다.
저장부(240)는 사용자에 대한 각종 정보 및 사용자와의 과거 발화 기록 등이 저장될 수 있다.
구체적으로, 저장부(240)는 사용자에 대한 정보, 사용자의 나이, 성별, 직업, 운전 성향, 취미 등에 대한 각종 정보가 저장될 수 있고, 더 나아가 과거 차량(200)과의 대화 기록이 저장될 수 있다. 제어부(250)는 저장부(240)에 저장되어 있는 이런 정보들을 기초로 사용자에게 상황에 맞는 가장 적절한 발화를 제공할 수 있다.
따라서, 저장부(240)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(240)는 제어부(250)와 관련하여 후술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
그리고, 도 6에 도시된 차량(200)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 6에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소일 수 있다.
제어부(250)는 차량(200)에 포함된 각 구성 요소들을 제어함과 동시에 감지부(210)에서 감지된 사용자의 응답 및 저장부(250)에 저장되어 있는 사용자에 대한 정보를 기초로 발화를 생성하고 생성된 발화를 출력부(230) 및 디스플레이(220) 중 적어도 하나를 통하여 사용자에게 제공될 수 있다.
구체적으로, 제어부(250)는 사용자에게 제공한 제1발화에 대응되는 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 제1발화 및 상기 사용자의 정보를 기초로 상기 사용자에게 제2발화를 제공할 수 있다.
여기서 제1발화는 제2발화는 사용자에게 제공되는 발화의 순서를 의미하는 것이나, 반드시 사용자와 처음 시작하는 발화가 제1발화로 지칭되는 것은 아니며, 사용자와 진행되는 대화 중에 특정 발화가 제1발화로 지칭될 수 있다.
또한, 제어부(250)는 사용자의 응답이 제1기준에 포함되는 경우, 사용자와의 과거 발화 기록을 기초로 사용자에게 제2발화를 제공하거나, 제1발화와 관련된 정보를 포함하고 있는 제2발화를 사용자에게 제공할 수 있다.
또한, 제어부(250)는 보다 효율적으로 사용자에게 발화를 제공하게 위해 출력부(230) 뿐만 아니라 발화와 관련된 영상 또는 이미지를 디스플레이(130)에 표시할 수 있다.
또한, 제어부(250)는 차량(200) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일한 칩으로 구현될 수 있다.
도 7 내지 도 9은 다른 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 7을 참조하면, 차량(200)은 사용자(2)에게 제1발화로 '재질을 느낄 수 있는 증강현실 촉감과, 집의 인테리어에 합성한 VR 이미지에요'(S1)라는 발화를 제공할 수 있다. 이 경우 도면에는 도시하지 않았지만 디스플레이(130)를 통하여 이미지를 표현할 수 있다.
이러한 제1발화에 대해, 도면에 도시된 바와 같이 사용자(2)가 '좋은데? 증강현실 촉감을 보여줘'(U1)라고 응답을 한 경우에는 사용자(2)가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당한다.
따라서, 이러한 경우 차량(200)은 사용자(2)의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 내용을 제2발화로 사용자(2)에게 제공할 수 있다. 예를 들어, 도면에 도시된 바와 같이 사용자(2)에게 '네 그럼 첫 번째 커튼을 만져보세요"(S2)라는 제2발화를 사용자(2)에게 제공할 수 있다.
도 8 다른 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 8을 참조하면, 차량(200)은 사용자(2)에게 제1발화로 '어제 작문이 매우 좋았어요'(U1) 라는 발화를 제공할 수 있다.
여기서 제1발화는 사용자(2)가 과거에 작문을 하였다는 정보를 기초로 생성된 발화이다. 즉, 차량(200)은 사용자(2)의 현재 및 과거 정보를 기초로 다양한 발화를 사용자(2)에게 제공할 수 있다.
이러한 제1발화에 대해, 도면에 도시된 바와 같이 사용자(2)가 '와! 다행이다!'(U1) 라고 응답을 한 경우에는 사용자(2)가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당한다. 따라서, 이러한 경우 차량(200)은 사용자(2)의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 내용의 발화를 사용자(2)에게 제공하거나, 제1발화와 관련된 제2발화를 제공할 수 있다.
예를 들어, 도면에 도시된 바와 같이 사용자(2)에게 제1발화와 관련된 발화로서, '좋으시겠어요! 비슷한 단어를 더 공부해서 멋진 작문을 더 써볼까요?"(S2)라는 제2발화를 사용자(2)에게 제공할 수 있다. 즉 차량은(200)은 사용자에게 제1발화와 관련된 특정 행동을 하도록 요구하는 제2발화를 제공할 수 있다.
그리고 이에 대해 사용자가 "그래, 오늘 오전엔 좀더 작문을 할래. 유명한 문장도 추가해서'(U2)라는 응답을 한 경우 이 경우에는 제2발화에 대해 긍정적인 반응을 한 것이므로 차량(200)은 계속 사용자(2)에게 후속 발화를 제공할 수 있다.
도 9는 또 다른 일 실시예에 따라, 사용자의 응답에 기초하여 후속 발화를 제공하는 과정을 나타낸 도면이다.
도 9를 참조하면, 차량(200)은 사용자(2)에게 제1발화로 '주인님! 새소리 들리세요?'(S1)라는 발화를 제공할 수 있다. 따라서, 제1발화는 현재 차량(200)의 주변 환경을 감지하고 이를 기초로 생성된 발화일 수 있다.
즉, 차량(200)은 현재 차량(200)의 주행 및 환경 정보를 기초로 생성된 다양한 발화를 사용자에게 제공할 수 있다. 예를 들어, 사용자(2)의 안면정보를 추적하고 사용자(2)가 주시하고 있는 위치에 있는 대상체에 대한 정보를 기초로 생성된 제1발화를 사용자(2)에게 제공할 수 있다.
이러한 제1발화에 대해, 도면에 도시된 바와 같이 사용자(2)가 '응, 좋은데?'(U1)라고 응답을 한 경우에는 사용자(2)가 제1발화에 대해 긍정적인 반응을 보인 경우에 해당한다. 따라서, 차량(200)은 사용자(2)의 후속 행동 목록을 탐색하고, 탐색된 후보 중 1순위에 해당하는 내용의 발화를 사용자(2)에게 제공하거나, 제1발화와 관련된 제2발화를 제공할 수 있다.
예를 들어, 도면에 도시된 바와 같이 사용자(2)에게 제1발화와 관련된 발화로서, '방울새인 것 같아요. 녹음해 놓을까요?'(S2) 라는 제2발화를 사용자(2)에게 제공할 수 있다.
그리고 이에 대해 사용자가 "그래, 고마워'(U2)라는 응답을 한 경우에는 사용자가 제2발화에 대해 긍정적인 반응의 발화를 한 것이므로 차량(200)은 계속 사용자(2)에게 후속 발화를 제공할 수 있다.
지금까지 일 실시예에 따른 대화 시스템(100) 및 대화 시스템(100)을 포함하고 있는 차량(200)에 대해 알아보았다.
대화 시스템에서, 사용자와 지속적인 대화를 유지하기 위해서는 현재 사용자의 상태 및 차량이 제공하는 발화에 대한 운전장의 응답을 판단한 후, 이를 기초로 현재 상황에 맞는 가장 적절한 발화를 제공해주어야 한다.
그러나 종래 기술의 경우, 사용자의 응답을 기초로 이를 분석하고 후속 발화를 사용자에 상황에 맞추어 적절하게 제공해 주지 않아 대화의 지속성이 유지되기 어려운 문제가 존재하였다.
그러나 일 실시예에 따른 대화 시스템(100) 및 차량(200)은, 사용자에게 제공한 발화에 대응되는 사용자의 응답을 여러 기준으로 분류한 후, 사용자에 대한 정보와 분류된 정보를 기초로 상황에 맞는 다양한 후속 발화를 제공함으로써, 보다 사용자의 기호에 맞는 후속 발화를 제공할 수 있는 장점이 존재한다.
지금까지 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 기술자라면 상기 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 실시 예들 및 특허 청구 범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 대화시스템
110: 입력부
120: 저장부
130: 출력부
140: 제어부
200: 차량

Claims (20)

  1. 음성을 출력하는 출력부;
    사용자의 상태를 감지하는 감지부; 및
    상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 제어부;를 포함하고,
    상기 제어부는,
    상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제1발화에 대응하는 발화에 대해 상기 사용자가 긍정적인 반응을 보인 발화를 상기 제 2발화로 생성하는 대화 시스템.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단하는 대화 시스템.
  3. 삭제
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공하는 대화 시스템.
  5. 제 1항에 있어서,
    상기 제어부는,
    상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공하는 대화 시스템.
  6. 제 1항에 있어서,
    상기 제어부는,
    상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공하는 대화 시스템.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할지 결정하는 대화 시스템.
  8. 제 1항에 있어서,
    상기 제어부는,
    기상 정보, 도로 환경 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공하는 대화 시스템.
  9. 제 1항에 있어서,
    상기 제1발화 또는 상기 제2발화 중 적어도 하나와 관련된 내용을 표시하는 디스플레이를 더 포함하는 대화 시스템.
  10. 제 1항에 있어서,
    상기 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부;를 더 포함하는 대화 시스템.
  11. 음성을 출력하는 출력부;
    사용자의 상태를 감지하는 감지부; 및
    상기 사용자에게 제공한 제1발화에 대응되는 상기 사용자의 응답이 미리 설정된 제1기준에 포함되는 경우, 상기 제1발화 및 상기 사용자에 대한 정보를 기초로 생성된 제2발화를 상기 출력부를 통해 상기 사용자에게 제공하는 제어부;를 포함하고,
    상기 제어부는,
    상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 사용자와의 과거 발화 기록을 기초로 상기 제1발화에 대응하는 발화에 대해 상기 사용자가 긍정적인 반응을 보인 발화를 상기 제 2발화로 생성하는 대화 시스템을 포함하는 차량.
  12. 제 11항에 있어서,
    상기 제어부는,
    상기 사용자가 사용한 단어, 상기 응답의 문맥, 상기 사용자의 안면 정보 및 상기 사용자의 제스처 정보 중 적어도 하나를 기초로 상기 사용자의 응답이 제1기준에 포함되는지 판단하는 대화 시스템을 포함하는 차량.
  13. 삭제
  14. 제 11항에 있어서,
    상기 제어부는,
    상기 사용자의 응답이 상기 제1기준에 포함되는 경우, 상기 제1발화와 관련된 정보를 포함하는 제2발화를 상기 사용자에게 제공하는 대화 시스템을 포함하는 차량.
  15. 제 11항에 있어서,
    상기 제어부는,
    상기 제2발화의 우선 순위를 정하고, 정해서 우선 순위에 따라 상기 제2발화를 순차적으로 상기 사용자에게 제공하는 대화 시스템을 포함하는 차량.
  16. 제 11항에 있어서,
    상기 제어부는,
    상기 사용자의 응답이 미리 설정된 제2기준에 포함되는 경우, 상기 제2발화를 사용자에게 제공하지 않거나, 상기 제1발화와 다른 종류의 발화를 상기 사용자에게 제공하는 대화 시스템을 포함하는 차량.
  17. 제 11항에 있어서,
    상기 제어부는,
    상기 제2발화에 대응되는 상기 사용자의 응답을 기초로 상기 사용자에게 후속 발화를 제공할지 결정하는 대화 시스템을 포함하는 차량.
  18. 제 11항에 있어서,
    상기 제어부는,
    기상 정보, 도로 환경 정보, 상기 차량의 주행 정보 및 교통 상황 정보 중 적어도 하나를 기초로 상기 사용자에게 발화를 제공하는 대화 시스템을 포함하는 차량.
  19. 제 11항에 있어서,
    상기 제1발화 또는 상기 제2발화 중 적어도 하나와 관련된 내용을 표시하는 디스플레이를 더 포함하는 대화 시스템을 포함하는 차량.
  20. 제 11항에 있어서,
    상기 사용자와의 발화 정보 및 상기 사용자에 대한 정보가 저장되는 저장부를 더 포함하는 대화 시스템을 포함하는 차량.
KR1020170165518A 2017-12-05 2017-12-05 대화 시스템 및 이를 포함하는 차량 KR102463581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170165518A KR102463581B1 (ko) 2017-12-05 2017-12-05 대화 시스템 및 이를 포함하는 차량

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165518A KR102463581B1 (ko) 2017-12-05 2017-12-05 대화 시스템 및 이를 포함하는 차량

Publications (2)

Publication Number Publication Date
KR20190066116A KR20190066116A (ko) 2019-06-13
KR102463581B1 true KR102463581B1 (ko) 2022-11-07

Family

ID=66847825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165518A KR102463581B1 (ko) 2017-12-05 2017-12-05 대화 시스템 및 이를 포함하는 차량

Country Status (1)

Country Link
KR (1) KR102463581B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100418736B1 (ko) 1995-11-06 2004-06-12 혼다 기켄 고교 가부시키가이샤 차량용운전상황감시장치
JP2005100382A (ja) 2003-09-01 2005-04-14 Matsushita Electric Ind Co Ltd 対話装置及び対話方法
JP2014219594A (ja) 2013-05-09 2014-11-20 ソフトバンクモバイル株式会社 会話処理システム及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
KR100580619B1 (ko) * 2002-12-11 2006-05-16 삼성전자주식회사 사용자와 에이전트 간의 대화 관리방법 및 장치
KR101072176B1 (ko) * 2009-05-27 2011-10-10 포항공과대학교 산학협력단 음성 대화 의미처리를 통한 사용자 프로파일 자동 구성 장치, 및 그에 따른 콘텐츠 추천 장치
US9807559B2 (en) * 2014-06-25 2017-10-31 Microsoft Technology Licensing, Llc Leveraging user signals for improved interactions with digital personal assistant

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100418736B1 (ko) 1995-11-06 2004-06-12 혼다 기켄 고교 가부시키가이샤 차량용운전상황감시장치
JP2005100382A (ja) 2003-09-01 2005-04-14 Matsushita Electric Ind Co Ltd 対話装置及び対話方法
JP2014219594A (ja) 2013-05-09 2014-11-20 ソフトバンクモバイル株式会社 会話処理システム及びプログラム

Also Published As

Publication number Publication date
KR20190066116A (ko) 2019-06-13

Similar Documents

Publication Publication Date Title
US11366513B2 (en) Systems and methods for user indication recognition
JP6604151B2 (ja) 音声認識制御システム
US9928833B2 (en) Voice interface for a vehicle
US10949886B2 (en) System and method for providing content to a user based on a predicted route identified from audio or images
US11176948B2 (en) Agent device, agent presentation method, and storage medium
US10663312B2 (en) Vehicle and control method thereof
US20190228767A1 (en) Speech recognition apparatus and method of controlling the same
JP6992893B2 (ja) 走行情報処理装置及び処理方法
US20200072630A1 (en) Vehicle and vehicle system
WO2017030521A1 (en) User configurable vehicle parking alert system
JP7211856B2 (ja) エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム
KR20180042971A (ko) 차량 및 차량의 제어방법
KR102463581B1 (ko) 대화 시스템 및 이를 포함하는 차량
JP2019100130A (ja) 車両制御装置及びコンピュータプログラム
US11966664B2 (en) Terminal and vehicle
WO2023036230A1 (zh) 一种执行指令确定方法、装置、设备及存储介质
US20220198151A1 (en) Dialogue system, a vehicle having the same, and a method of controlling a dialogue system
CN111902864A (zh) 用于运行机动车的声音输出装置的方法、语音分析与控制装置、机动车和机动车外部的服务器装置
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
JP2020154994A (ja) エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム
US20210303263A1 (en) Dialogue system and vehicle having the same, and method of controlling dialogue system
KR102426824B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US11914914B2 (en) Vehicle interface control
US20230206918A1 (en) Speech Recognition System and Method for Providing Speech Recognition Service
CN113168833B (zh) 用于运行车辆的交互信息系统的方法以及车辆

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant