KR20180130672A - 상황 기반 대화 개시 장치, 시스템, 차량 및 방법 - Google Patents

상황 기반 대화 개시 장치, 시스템, 차량 및 방법 Download PDF

Info

Publication number
KR20180130672A
KR20180130672A KR1020170066535A KR20170066535A KR20180130672A KR 20180130672 A KR20180130672 A KR 20180130672A KR 1020170066535 A KR1020170066535 A KR 1020170066535A KR 20170066535 A KR20170066535 A KR 20170066535A KR 20180130672 A KR20180130672 A KR 20180130672A
Authority
KR
South Korea
Prior art keywords
vehicle
information
situation
context
target operation
Prior art date
Application number
KR1020170066535A
Other languages
English (en)
Inventor
박성수
예성수
이현우
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170066535A priority Critical patent/KR20180130672A/ko
Priority to US15/804,764 priority patent/US20180350366A1/en
Priority to CN201711159418.7A priority patent/CN108989541A/zh
Publication of KR20180130672A publication Critical patent/KR20180130672A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484—User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

상황 기반 대화 개시 장치, 시스템, 차량 및 방법에 관한 것으로, 상황 기반 대화 개시 장치는, 상황 정보를 수집하는 상황 정보 수집부, 상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하고, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하고, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 프로세서 및 상기 발화 내용을 시각적으로 또는 청각적으로 출력하는 출력부를 포함할 수 있다.

Description

상황 기반 대화 개시 장치, 시스템, 차량 및 방법{APPARATUS, SYSTEM, VEHICLE AND METHOD FOR INITIATING CONVERSATION BASED ON SITUATION}
상황 기반 대화 개시 장치, 시스템, 차량 및 방법에 관한 것이다.
차량은 도로나 선로를 주행하면서 이동할 수 있는 장치를 의미한다. 통상적으로 차량은, 차체에 설치된 하나 이상의 차륜의 회전 구동에 의해 이동 가능하게 마련된다. 이와 같은 차량으로는 예를 들어, 삼륜 또는 사륜 자동차나, 모터사이클 등의 이륜 자동차나, 건설 기계나, 자전거나 또는 선로 상에 배치된 레일 위에서 주행하는 열차 등이 있을 수 있다.
근자에 차량에는, 운전자나 동승자 등의 사용자가 음성으로 차량이나, 또는 차량에 설치된 각종 장치, 일례로 내비게이션 장치, 방송 수신 장치나, 헤드 유닛 등에 대한 명령을 입력할 수 있도록 음성 인식 장치가 설치되어 있다. 이와 같은 음성 인식 장치에 의해 사용자는 차량이나 차량에 설치된 각종 장치를 용이하게 조작할 수 있게 되었다.
각종 데이터를 분석하여 주변 상황을 인지하고, 인지된 상황을 기반으로 사용자와의 대화를 개시할 수 있는 상황 기반 대화 개시 장치, 시스템, 차량 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 상황 기반 대화 개시 장치, 시스템, 차량 및 방법이 제공된다.
상황 기반 대화 개시 장치는, 상황 정보를 수집하는 상황 정보 수집부, 상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하고, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하고, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 프로세서 및 상기 발화 내용을 시각적으로 또는 청각적으로 출력하는 출력부를 포함할 수 있다.
상기 프로세서는, 사용자의 사용 이력을 이용하거나 또는 상기 목표 동작의 결정 결과에 대한 이력을 이용하여 학습을 수행하고, 학습 결과를 기반으로 상기 상황 분석 모델을 생성할 수 있다.
상기 프로세서는, 규칙 기반 학습 및 모델 기반 학습 중 적어도 하나를 기반으로 상기 학습을 수행하여 상기 상황 분석 모델을 생성할 수 있다.
상기 상황 정보 수집부는, 복수의 상황 정보를 수집하고, 상기 프로세서는, 상기 복수의 상황 정보 중 상호 연관된 적어도 두 개의 맥락 데이터를 추출하고, 상기 적어도 두 개의 맥락 데이터 및 상기 상황 분석 모델을 기반으로 상기 목표 동작을 결정할 수 있다.
상기 프로세서는, 상기 목표 동작의 결정 결과에 따라 상기 목표 동작에 대응하는 동작 주체의 동작 시나리오를 결정할 수 있다.
상기 동작 주체는 적어도 하나의 애플리케이션을 포함하고, 상기 프로세서는 상기 목표 동작의 결정 동작에 따라서 상기 애플리케이션의 설정을 변경하고, 상기 애플리케이션을 구동할 수 있다.
상기 상황 정보는, 사용자의 동작, 사용자의 동작 패턴, 차량의 주행 상태, 차량 주변 환경, 현재 시각, 차량의 현 위치, 차량에 설치된 장치들의 상태 또는 동작, 통신 네트워크를 통하여 외부로부터 수신되는 정보 및 사용자 또는 프로세서에 의해 이전에 획득된 정보 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 미리 정의된 이벤트가 발생된 경우, 상기 상황 정보로부터 맥락 데이터의 획득을 개시할 수 있다.
상기 이벤트는, 사용자의 동작, 차량 상태의 변화, 주행 환경의 변화, 특정 시간의 도래, 장소의 변경, 설정 정보의 변경, 내부 환경의 변경 및 주변 장치의 처리 결과의 변경 중 적어도 하나를 포함할 수 있다.
상황 기반 대화 개시 장치는, 상기 발화 내용을 출력한 후 사용자의 음성을 수신하는 음성 수신부를 더 포함하고, 상기 프로세서는 상기 음성에 대한 분석 결과를 기반으로 상기 목표 동작에 대한 제어 신호를 생성할 수 있다.
상황 기반 대화 개시 방법은, 상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하는 단계, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하는 단계, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 단계 및 상기 발화 내용을 시각적으로 또는 청각적으로 출력하는 단계를 포함할 수 있다.
상황 기반 대화 개시 방법은, 상기 목표 동작의 결정 결과에 대한 이력을 저장하는 단계 및 상기 목표 동작의 결정 결과에 대한 이력을 이용하여 학습을 수행하고, 학습 결과를 기반으로 상기 상황 분석 모델을 생성하는 단계를 더 포함할 수 있다.
상기 학습을 수행하는 단계는, 규칙 기반 학습 및 모델 기반 학습 중 적어도 하나를 기반으로 상기 학습을 수행하는 단계를 포함할 수 있다.
상기 상황 정보를 수집하는 단계는, 복수의 상황 정보를 수집하는 단계를 포함하고, 상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하는 단계는, 상기 복수의 상황 정보 중 상호 연관된 적어도 두 개의 맥락 데이터를 추출하는 단계를 포함할 수 있다.
상기 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 단계는, 상기 목표 동작의 결정 결과에 따라 상기 목표 동작에 대응하는 동작 주체의 동작 시나리오를 결정하는 단계를 포함할 수 있다.
상기 동작 주체는 적어도 하나의 애플리케이션을 포함하고, 상기 상기 목표 동작의 결정 결과에 따라 상기 목표 동작에 대응하는 동작 주체의 동작 시나리오를 결정하는 단계는, 상기 목표 동작의 결정 동작에 따라서 상기 애플리케이션의 설정을 변경하고, 상기 애플리케이션이 변경된 설정에 따라 구동되는 단계를 포함할 수 있다.
상기 상황 정보는, 사용자의 동작, 사용자의 동작 패턴, 차량의 주행 상태, 차량 주변 환경, 현재 시각, 차량의 현 위치, 차량에 설치된 장치들의 상태 또는 동작, 통신 네트워크를 통하여 외부로부터 수신되는 정보 및 사용자 또는 프로세서에 의해 이전에 획득된 정보 중 적어도 하나를 포함할 수 있다.
상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하는 단계는, 미리 정의된 트리거가 발생된 이후에 수행될 수도 있다
상기 트리거는, 사용자의 동작, 차량 상태의 변화, 주행 환경의 변화, 특정 시간의 도래, 장소의 변경, 설정 정보의 변경, 내부 환경의 변경 및 주변 장치의 처리 결과의 변경 중 적어도 하나를 포함할 수 있다.
상황 기반 대화 개시 방법은, 상기 발화 내용을 출력한 후 사용자의 음성을 수신하는 단계 및 상기 음성에 대한 분석 결과를 기반으로 상기 목표 동작에 대한 제어 신호를 생성하는 단계를 더 포함할 수 있다.
차량은, 상황 정보를 수집하는 상황 정보 수집부, 상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하고, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하고, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 프로세서 및 상기 발화 내용을 시각적으로 또는 청각적으로 출력하는 출력부를 포함할 수 있다.
상황 기반 대화 개시 시스템은, 상황 정보를 수집하는 차량 및 상기 차량과 직간접적으로 통신 가능하게 연결되고, 상기 상황 정보를 수신하고, 상기 제1 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하고, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하고, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 서버 장치를 포함하되, 상기 차량은 상기 서버 장치에 의해 결정된 발화 내용을 시각적으로 또는 청각적으로 출력할 수 있다.
상술한 상황 기반 대화 개시 장치, 시스템, 차량 및 방법에 의하면, 획득 가능한 다양한 데이터를 분석하여 주변 상황을 인지하고, 인지된 상황을 기반으로 사용자와의 대화를 개시할 수 있게 된다.
상술한 상황 기반 대화 개시 장치, 시스템, 차량 및 방법에 의하면, 차량 주행 환경에서 획득되는 다양한 정보를 기반으로 적절하고 필요한 차량의 동작을 결정하고, 차량이 먼저 대화를 유도하여 결정된 동작을 사용자에게 추천 또는 경고의 형식으로 제공할 수 있게 되고, 이에 따라 운전의 안전성 및 편의성이 증진될 수 있게 된다.
상술한 상황 기반 대화 개시 장치, 시스템, 차량 및 방법에 의하면, 운전자는 주변 환경에 대한 주의를 상대적으로 적게 기울일 수 있게 되므로, 운전자의 주의 분산을 방지, 예방 또는 최소화할 수 있게 되고, 이에 따라 운전자가 운전에 더욱 집중할 수 있게 되어 차량 운전의 안전성이 강화될 수 있게 된다.
도 1은 상황 기반 대화 개시 장치의 일 실시예에 대한 블록도이다.
도 2는 차량의 외형의 일례를 도시한 도면이다.
도 3은 차량의 대시보드 주변의 일례를 도시한 도면이다.
도 4는 차량의 일 실시예에 대한 제어블록도이다.
도 5는 프로세서의 일 실시예에 대한 제어 블록도이다.
도 6은 상황분석부의 일 실시예에 대한 블록도이다.
도 7은 규칙 기반 학습을 설명하기 위한 예시 도면이다.
도 8은 모델 기반 학습을 설명하기 위한 예시 도면이다.
도 9는 목표 동작 결정부의 동작의 제1 실시예를 설명하기 위한 도면이다.
도 10은 목표 동작 결정부의 동작의 제2 실시예를 설명하기 위한 도면이다.
도 11은 목표 동작 결정부의 동작의 제3 실시예를 설명하기 위한 도면이다.
도 12는 목표 동작 결정부의 동작의 제4 실시예를 설명하기 위한 도면이다.
도 13은 대화 처리부의 일 실시예에 대한 블록도이다.
도 14는 상황 기반 대화 개시 시스템의 일 실시예를 도시한 도면이다.
도 15는 상황 기반 대화 개시 방법의 일 실시예에 대한 흐름도이다.
도 16은 사용자의 행동을 기반으로 대화가 개시되는 방법의 일 실시예에 대한 흐름도이다.
도 17은 차량 주행 중 차량에 발생된 특정 상황을 기반으로 대화가 개시되는 방법의 일 실시예에 대한 흐름도이다.
도 18은 사용자의 사용 패턴을 기반으로 대화가 개시되는 방법의 일 실시예에 대한 흐름도이다.
도 19는 차량에 마련된 장치의 동작 개시에 따라서 대화가 개시되는 방법의 일 실시예에 대한 흐름도이다.
도 20은 차량에 마련된 장치의 동작 개시에 따라서 대화가 개시되는 방법의 다른 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예에 따라 '부'가 하나의 부품으로 구현되거나, 하나의 '부'가 복수의 부품들로 구현되는 것도 가능하다.
명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분에 따라서 물리적 연결을 의미할 수도 있고, 또는 전기적으로 연결된 것을 의미할 수도 있다.
또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다.
제 1 이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 13을 참조하여 상황 기반 대화 개시 장치 및 그 일례로 차량의 일 실시예에 대해서 설명한다.
도 1은 상황 기반 대화 개시 장치의 일 실시예에 대한 블록도이다.
도 1에 도시된 바를 참조하면, 상황 기반 대화 개시 장치(1)는, 상황 정보 수집부(90), 프로세서(200), 저장부(400) 및 출력부(500)를 포함할 수 있다.
상황 정보 수집부(90)는, 적어도 하나의 상황 정보를 적어도 일 회 수집할 수 있도록 마련된다.
상황 정보는, 상황 기반 대화 개시 장치(1)가 대화를 개시하기 위해 필요한 각종 정보를 포함할 수 있다.
예를 들어, 상황 정보는, 사용자의 특정한 동작과 관련된 정보, 사용자의 상황 기반 대화 개시 장치(1) 또는 이와 관련된 다른 장치에 대한 조작이나 또는 설정과 관련된 정보, 상황 기반 대화 개시 장치(1) 또는 이와 관련된 다른 장치에 대한 특정한 장치에 대한 사용 패턴 또는 이력에 관한 정보, 상황 기반 대화 개시 장치(1) 자체의 동작이나 상태에 대한 정보, 현재 시간이나 상황 기반 대화 장치(1)가 존재하는 위치에 대한 정보 및 상황 기반 대화 개시 장치(1)와는 별도로 마련된 외부 장치에서 전달된 각종 정보 중 적어도 하나를 포함할 수 있다. 그러나, 상황 정보는 이에 한정되지 않는다. 상황 정보는, 이들 외에도 설계자가 상황 기반 대화 개시 장치(1)가 대화를 개시하기 위해 고려할 수 있는 다양한 정보를 포함 가능하다.
구체적으로 예를 들어, 상황 기반 대화 개시 장치(1)가 차량(도 2의 10)이거나 또는 차량(10)에 설치된 장치, 예를 들어, 헤드 유닛이나 내비게이션 장치 등인 경우, 상황 정보는, 차량(10)의 상태 정보, 차량의 주행 환경과 관련된 정보, 현재 시각에 대한 시간 정보, 현재 차량의 위치에 대한 공간 정보, 차량 내에서 설치된 각종 장치에 대한 운전자 조작 여부에 대한 정보, 운전자에 의해 입력 또는 변경된 각종 장치의 설정에 대한 정보, 주변 장치의 동작 개시에 대한 정보, 주변 장치의 처리에 따라 획득된 처리 결과에 대한 정보, 통신 네트워크를 통하여 외부로부터 수신되는 정보 및 사용자 또는 프로세서에 의해 이전에 획득된 정보에 대한 사전 정보 중 적어도 하나를 포함할 수 있다.
상황 정보 수집부(90)는, 서로 상이한 복수의 상황 정보를 수집할 수도 있다. 이 경우, 상황 정보 수집부(90)는 서로 상이한 물리적 장치를 이용하여 서로 상이한 상황 정보를 수집할 수도 있다. 예를 들어, 상황 정보는 차량의 위치 및 차량의 속도를 포함할 수 있으며, 이 경우 상황 정보 수집부(90)는 GPS 센서를 이용하여 차량의 위치를 수집하고 속도 센서를 이용하여 차량의 속도를 상황 정보로 수집할 수 있다.
상황 정보 수집부(90)는, 주기적으로 상황 정보를 수집할 수도 있고, 또는 미리 정의된 설정에 따라 상황 정보를 수집할 수도 있다. 예를 들어, 상황 정보 수집부(90)는 특정한 조건이 만족된 경우에 한하여 상황 정보를 수집하도록 마련될 수도 있다. 이 경우, 특정한 조건은 소정의 트리거의 발동일 수 있다. 소정의 트리거는, 예를 들어, 사용자의 동작, 상황 기반 대화 개시 장치(1) 상태의 변화, 상황 기반 대화 개시 장치(1)의 동작과 관련된 주변 환경의 변화, 특정 시간의 도래, 상황 기반 대화 개시 장치(1)가 위치한 장소의 변경 또는 상황 기반 대화 개시 장치(1) 또는 관련 장치의 설정 정보나 처리 결과의 변경 등을 포함 가능하다.
상황 정보 수집부(90)가 수집한 적어도 하나의 상황 정보는, 도선, 회로 및/또는 무선 통신 네트워크를 경유하여 프로세서(200)로 전달될 수 있다. 이 경우, 상황 정보 수집부(90)는, 상황 정보를 전기적 신호의 형태로 프로세서(200)로 전달할 수 있다.
프로세서(200)는, 상황 정보 수집부(90)가 수집한 상황 정보를 기반으로 상황에 대응하는 동작(이하 목표 동작)을 결정하고, 결정된 목표 동작을 기반으로 사용자와 대화를 수행할 수 있도록 마련된다. 필요에 따라서, 프로세서(200)는 목표 동작의 결정과 더불어 목표 동작의 수행을 위해 필요한 시나리오를 더 생성하는 것도 가능하다.
일 실시예에 의하면, 프로세서(200)는 상황 정보 수집부(90)가 수집한 적어도 하나의 상황 정보 중에서 필요한 상황 정보(이하 맥락 데이터)만을 추출하고, 추출된 맥락 데이터를 기반으로 목표 동작을 결정할 수 있다. 다시 말해서, 프로세서(200)는 상황 정보 수집부(90)가 복수의 상황 정보를 전달한 경우, 복수의 상황 정보 중에서 적어도 하나의 상황 정보만을 추출할 수도 있고, 및/또는 어느 하나의 상황 정보로부터 일부만을 추출할 수도 있다. 여기서, 맥락 데이터는, 현재의 상황을 분석할 수 있는 데이터를 의미한다.
일 실시예에 의하면, 프로세서(200)는, 기 저장된 각종 이력, 예를 들어, 목표 동작의 결정 결과에 대한 이력을 저장하고 결정된 이력을 이용하여 학습을 수행함으로써 상황 분석 모델을 획득할 수도 있다. 상황 분석 모델은, 특정 상황에 대한 데이터가 입력되면 특정 상황에 대응하는 목표 동작을 출력할 수 있는 모델을 의미한다.
프로세서(200)는, 상황 분석 모델을 이용하여 목표 동작을 결정할 수 있다. 만약 기 저장된 이력이 부재 또는 부족하여 상황 분석 모델 생성이 어려운 경우, 프로세서(200)는 사용자 또는 설계자에 의해 사전에 별도로 저장된 상황 분석 모델이나 또는 각종 설정 값을 기반으로 목표 동작을 결정할 수도 있다.
프로세서(200)는, 결정하고자 하는 목표 동작에 대응하여 서로 상이한 상황 분석 모델을 이용할 수 있다. 예를 들어, 프로세서(200)는 연료 부족 시에는 이에 대응하는 주유소 선택에 대한 상황 분석 모델을 이용하여 목표 동작을 결정할 수 있다.
또한, 프로세서(200)는, 미리 정의된 이벤트가 발생된 경우, 상황 정보에 대응하는 목표 동작을 결정할 수 있다. 다시 말해서, 미리 정의된 이벤트는 프로세서(200)의 동작의 트리거로 이용될 수 있다. 구체적으로 예를 들어, 프로세서(200)는 이벤트의 발생에 응하여 상황 정보로부터 맥락 데이터의 획득을 개시하고, 획득된 맥락 데이터와 상황 분석 모델을 이용하여 목표 동작을 결정할 수 있다.
미리 정의된 이벤트는, 예를 들어, 사용자의 미리 정의된 동작, 상황 기반 대화 개시 장치(1)의 상태의 변화, 상황 기반 대화 개시 장치(1) 주변 환경의 변화, 특정 시간의 도래, 상황 기반 대화 개시 장치(1)의 위치 변경, 상황 기반 대화 개시 장치(1)와 관련되거나 또는 상황 기반 대화 개시 장치(1)가 수집할 수 있는 각종 설정의 변경, 상황 기반 대화 개시 장치(1)와 연결된 주변 장치의 새로운 처리 결과 출력 등 중 적어도 하나를 포함할 수 있다. 실시예에 따라, 미리 정의된 이벤트는 맥락 데이터에 대응하여 마련될 수 있다.
프로세서(200)는, 목표 동작이 결정되면 목표 동작에 대응하여 상황 기반 대화 개시 장치(1)가 대화 개시를 위해 출력할 단어, 구 또는 문장(이하 대화 개시문)을 텍스트 또는 음성 신호의 형태로 생성하고, 생성한 대화 개시문을 출력부(500)로 전달할 수 있다. 또한, 프로세서(200)는 생성한 시나리오를 기반으로 대화 개시문을 생성할 수도 있다. 이에 따라, 프로세서(200)는 능동적으로 사용자와의 대화를 개시할 수 있게 된다
프로세서(200)는, 저장부(400)에 저장된 애플리케이션(프로그램 또는 앱으로 지칭 가능함)을 구동시켜, 소정의 연산, 처리 및 제어 동작을 수행할 수도 있고, 또는 미리 설정된 애플리케이션에 따라 소정의 연산, 처리 및 제어 동작을 수행할 수도 있다. 여기서, 저장부(400)에 저장된 애플리케이션은 전자 소프트웨어 유통망을 통하여 획득된 것일 수도 있다.
프로세서(200)는, 중앙 처리 장치(CPU, Central Processing Unit), 전자 제어 장치(ECU, Electronic Control Unit), 애플리케이션 프로세서(AP, Application Processor), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 마이크로 프로세서(MPU, Microprocessor Unit) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 전자 장치를 포함할 수 있다. 이들 장치는 적어도 하나의 반도체 칩 및 관련 부품을 이용하여 구현 가능하다. 프로세서(200)는 하나의 장치를 이용하여 구현될 수도 있고, 또는 복수의 장치를 이용하여 구현될 수도 있다.
프로세서(200)의 구체적인 동작 및 처리에 대한 보다 자세한 설명은 후술하도록 한다.
저장부(400)는, 상황 기반 대화 개시 장치(1)의 동작과 관련된 애플리케이션이나, 적어도 하나의 정보를 저장할 수 있도록 마련된다. 보다 구체적으로는, 저장부(400)는, 프로세서(200)의 연산, 처리 및 제어 동작과 관련된 애플리케이션이나, 상술한 연산, 처리 및 제어 동작에 요구되는 정보, 일례로 이력 정보, 또는 프로세서(200)의 처리 결과 획득된 정보들을 저장할 수 있도록 마련된다.
여기서, 이력 정보는, 사용자의 상황 기반 대화 개시 장치(1) 또는 이와 관련된 장치의 사용 이력에 대한 정보를 포함할 수도 있다. 예를 들어, 상황 기반 대화 개시 장치(1)와 관련된 장치가 내비게이션 장치(도 3 및 도 4의 110)인 경우, 장치의 사용 이력에 대한 정보는, 내비게이션 장치(110)를 통해 입력된 적이 있는 일련의 목적지 정보와 이에 따른 경로 정보 등을 포함할 수 있다. 또한, 이력 정보는, 프로세서(200)의 목표 동작의 결정 결과에 대응하는 이력에 대한 정보를 포함할 수도 있다.
또한, 다른 예를 들어, 저장부(400)는, 상황 정보 수집부(90)가 획득한 상황 정보나, 또는 프로세서(200)의 연산 또는 처리 과정에서 생성되는 적어도 하나의 데이터, 일례로 맥락 데이터를, 프로세서(200)가 호출할 때까지 일시적 또는 비일시적으로 저장해놓을 수도 있다.
저장부(400)는 하드 디스크나 플로피 디스크와 같은 자기 디스크 저장 매체나, 자기 테이프나, 컴팩트 디스크(CD)나 디브이디(DVD)와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 기록 매체(magneto-optical media)나, 롬(ROM), 램(RAM), SD카드, 플래시 메모리, 솔리드 스테이트 드라이브(SSD) 등과 같은 반도체 저장 장치 등을 이용하여 구현 가능하다.
출력부(500)는 대화 개시문을 출력하여 사용자에게 제공할 수 있다. 이에 따라 사용자와 상황 기반 대화 개시 장치(1) 간의 대화가 개시된다.
출력부(500)는, 예를 들어, 음성 출력부(510) 및 표시부(520) 중 적어도 하나를 포함할 수 있다.
음성 출력부(510)는 대화 개시문을 음성의 형태로 출력한다. 구체적으로 프로세서(200)로부터 대화 개시문에 대응하는 전기적 신호가 전달되어 인가되면 음성 출력부(510)는 인가된 전기적 신호를 파동으로 변환시켜 외부로 출력한다. 음성 출력부(510)는, 예를 들어, 스피커, 이어폰 또는 각종 헤드셋을 이용하여 구현될 수 있다.
표시부(520)는 대화 개시문을 시각적으로 출력할 수 있다. 구체적으로, 표시부(520)는, 프로세서(200)로부터의 제어 신호에 따라서, 대화 개시문을 문자, 기호, 도형, 기타 다양한 형상 또는 이들의 조합의 형태로 출력할 수 있다. 표시부(520)는 예를 들어, 음극선관(Cathode Ray Tube: CRT)이나, 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등의 디스플레이 패널을 이용하여 구현 가능하다.
이외에도 출력부는, 대화 개시문을 사용자에게 제공할 수 있는 다양한 장치를 이용하여 구현 가능하다.
필요에 따라서, 상황 기반 대화 개시 장치(1)는, 사용자로부터 응답을 수신할 수 있는 입력부를 더 포함할 수 있다. 입력부는, 사용자가 발화한 음성을 수신하여 전기적 신호(이하 음성 신호)를 출력하는 음성 수신부를 포함할 수 있다. 음성 수신부는 마이크로폰을 이용하여 구현 가능하다. 또한, 입력부는 물리 버튼, 조이스틱, 마우스 장치, 터치패드, 터치스크린, 트랙패드 또는 트랙볼 등과 같이 사용자의 조작에 따라서 사용자의 조작에 대응하는 전기적 신호를 출력 가능한 각종 장치를 포함할 수도 있다. 입력부에 의해 출력된 신호는 프로세서(200)로 전달되며, 프로세서(200)를 수신한 신호를 기반으로 대화문을 생성하거나 또는 제어 신호를 생성할 수 있다.
상술한 상황 기반 대화 개시 장치(1)는, 연산 처리 및 대화 개시문의 출력이 가능한 다양한 장치를 포함할 수 있다. 예를 들어, 상황 기반 대화 개시 장치(1)는, 데스크톱 컴퓨터, 랩톱 컴퓨터, 셀룰러폰, 스마트폰, 태블릿 피씨, 차량, 로봇, 각종 기계 장치 또는 가전기기 등을 포함할 수 있다.
이하 일 실시예로 차량을 들어 상황 기반 대화 개시 장치(1)에 대해 보다 구체적으로 설명하도록 한다.
도 2는 차량의 외형의 일례를 도시한 도면이고, 도 3은 차량의 대시보드 주변의 일례를 도시한 도면이다. 도 4는 차량의 일 실시예에 대한 제어블록도이다.
도 2에 도시된 바를 참조하면, 차량(10)은, 차량(10)의 외형을 형성하는 차체(11)와, 차체(11)에 설치되고 소정의 방향으로 회전하면서 차량(10)을 이동시키는 적어도 하나의 차륜(12)과, 차량(10)의 동작에 필요한 연료를 보관하는 연료 탱크(40)와, 엔진룸(11a)에 설치되고 연료를 이용하여 차륜(12)의 구동력을 생성하는 엔진(50)을 포함할 수 있다. 차체(11)에는 운전자 또는 동승자의 차량(10) 탑승을 위하여 개폐 가능한 적어도 하나의 도어(17)가 마련된다. 또한, 차량(10)에는 적어도 하나의 외부 조명등(13, 14a, 14b)이 설치될 수 있으며, 외부 조명등은 예를 들어 전조등(13), 방향 지시등(14a, 14b) 등을 포함할 수 있다.
일 실시예에 의하면, 도어(17)에는 윈도우(17a)가 개폐 가능하게 설치될 수 있으며, 윈도우(17a)의 개폐를 위하여 도어(17)에는 윈도우 구동부(17b), 일례로 모터와, 모터의 동작에 따라 윈도우(17a)의 상하 이동을 실현하는 각종 장치를 포함하여 마련된다.
필요에 따라서, 차량(10)은, 엔진(50)과 더불어 또는 엔진(50) 대신에 전기 에너지를 이용하여 차륜(12)의 구동력을 획득하는 모터와, 모터에 전기 에너지를 공급하는 배터리를 더 포함할 수도 있다.
도 2 및 도 3에 도시된 바를 참조하면, 차량(10) 내부에는 운전자나 동승자가 탑승할 수 있는 내부 공간(19)이 형성된다. 엔진룸(11a)과 내부 공간(19)은 윈드실드(16) 하단에 마련되는 대시보드(20)에 의해 구획될 수 있다.
차량(10)의 내부 공간(19)에는 운전자 또는 동승자에게 필요한 각종 주변 장치가 설치될 수 있다. 예를 들어, 내부 공간(19)에는 내비게이션 장치(110), 헤드 유닛(120) 또는 라디오 수신 장치와 같은 멀티미디어 장치와, 데이터 입출력 모듈(117)과, 외부 촬영부(181)와, 내부 촬영부(182)와, 음성 출력부(510)와, 음성 입력부(505)와, 공조 장치(140)와 연결된 토출구(149)와, 표시부(520)와, 입력부(150) 중 적어도 하나가 설치될 수 있다.
이들 장치는 설계자 또는 사용자의 선택에 따라서 차량(10) 내부의 다양한 구역에 설치 가능하다.
내비게이션 장치(110)는, 지도나, 지역 정보나, 경로 설정이나 경로 안내 등을 수행하기 위해 마련된다. 내비게이션 장치(110)는, 예를 들어 대시보드(20)의 상면이나 센터페시아(22)에 설치될 수 있다.
도 4에 도시된 바에 의하면 내비게이션 장치(110)는, 차량의 위치를 결정하기 위한 위치 결정부(119)를 포함할 수 있다. 위치 결정부(119)는, 차량(1)의 위치를 측정할 수 있다. 예를 들어, 위치 결정부(119)는, 예를 들어, 글로벌 내비게이션 위성 시스템(GNSS, Global Navigation Satellite System)를 이용하여 위치 데이터를 획득할 수 있다. 여기서, 글로벌 내비게이션 위성 시스템은 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 포함한다. 예를 들어, 글로벌 내비게이션 위성 시스템은, GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등과 같이 항법 시스템을 포함할 수 있다.
실시예에 따라서, 위치 결정부(119)는, 내비게이션 장치(110)와 별도로 차량(10) 내부, 일례로 대시보드(22) 내측 공간에 내장되어 마련되는 것도 가능하다.
헤드 유닛(120)은 라디오 수신 동작, 라디오 주파수 설정 동작, 음원 재생 동작 또는 이들과 관련된 각종 제어 동작 등을 수행할 수 있는 장치를 의미한다. 헤드 유닛(120) 또는 라디오 수신 장치는, 예를 들어, 대시보드(20)의 중앙에 마련된 센터페시아(22)에 설치될 수도 있다.
데이터 입출력 모듈(117)은, 차량(10)이 외부 단말 장치, 일례로 스마트폰이나 태블릿피씨와의 유선 통신을 수행하기 위해 마련된다. 차량(10)은 데이터 입출력 모듈(117) 및 데이터 입출력 모듈(117)의 단자에 결합된 적어도 하나의 케이블을 통해 외부 장치와 통신 가능하게 연결된다. 데이터 입출력 모듈(117)은, 예를 들어, 범용 직렬 버스(USB: Universal Serial Bus) 단자를 포함할 수 있으며, 이외에도 HDMI(High Definition Multimedia Interface) 단자나 썬더볼트 단자 등과 같은 다양한 인터페이스용 단자 중 적어도 하나를 포함할 수 있다. 데이터 입출력 모듈(117)은, 센터페시아(22)나, 기어 박스나, 콘솔 박스 등 설계자의 선택에 따라 적어도 하나의 위치에 설치될 수 있다.
또한, 내부 공간(19)에는 차량(10) 외부, 일례로 전방에 대한 영상을 촬영하는 외부 촬영부(181) 및 차량(10)의 내부 공간(19)에 대한 영상을 촬영하는 내부 촬영부(182) 중 적어도 하나가 더 설치될 수 있다. 외부 촬영부(181) 및 내부 촬영부(182) 중 적어도 하나는 대시보드(20)에 설치될 수도 있고, 또는 차체(11)의 상부 프레임(11b) 하단에 설치될 수도 있다. 이 경우, 외부 촬영부(181) 및 내부 촬영부(182) 중 적어도 하나는 후방 미러(24) 주변에 설치 가능하다.
외부 촬영부(181) 및 내부 촬영부(182) 중 적어도 하나는 전하 결합 소자(CCD, Charge Coupled Device) 또는 씨모스(CMOS, Complementary Metal-Oxide Semiconductor) 등을 포함하는 카메라 장치를 이용하여 구현 가능하다. 외부 촬영부(181) 및 내부 촬영부(182)는 촬영된 영상에 대응하는 영상 신호를 출력할 수 있다.
또한, 차량(10)의 내부 공간(19)에는 음성을 출력하기 위한 음성 출력부(510)가 설치될 수 있다. 음성 출력부(510)는, 스피커 장치(510a)를 이용하여 구현 가능하며, 스피커 장치(510a)는, 예를 들어, 차량(10)의 도어(17), 대시보드(20) 및/또는 리어 셀프 등 설계자가 고려할 수 있는 다양한 위치에 설치 가능하다. 음성 출력부(510)는, 내비게이션 장치(110)에 마련된 스피커 장치(510b)를 포함할 수도 있다.
또한, 차량(10)에는 운전자 및 동승자 중 적어도 하나가 발화한 음성을 수신할 수 있는 음성 입력부(505, 505a, 505c)가 설치될 수 있다. 음성 입력부(505)는 마이크로폰을 이용하여 구현 가능하다. 음성 입력부(505)는 운전자 및 동승자 중 적어도 하나의 음성을 적절하게 수신할 수 있는 위치에 설치 가능하며, 예를 들어, 차체(11)의 상부 프레임(11b) 하단의 적어도 하나의 구역(505a, 505c)에 설치될 수도 있다.
또한, 엔진룸(11a) 또는 엔진룸(11a)과 대시보드(20) 사이 공간에는 공기를 냉각 또는 가열하는 공조 장치(140)가 마련될 수 있으며, 내부 공간(19)에는 공조 장치(140)에 의해 냉각 또는 가열된 공기를 토출하는 토출구(149)가 마련될 수 있다. 토출구(149)는 대시보드(20)나, 콘솔박스 등에 설치된다.
또한, 차량(10)의 내부 공간(19)에는 운전자나 동승자에게 각종 정보를 시각적으로 제공하기 위한 표시부(520)가 설치되어 있을 수 있다. 여기서, 각종 정보는 차량과 관련된 정보를 포함할 수 있다. 예를 들어, 차량(10)의 속도, 엔진 회전수, 엔진 온도, 냉각수 잔여량, 엔진 오일 부족 여부 및/또는 차량(10)에 설치된 각종 시스템(도 4의 60)의 정상 동작 여부 등과 같이 설계자가 제공하고자 하는 차량(10)에 대한 다양한 정보 중 적어도 하나를 포함할 수 있다.
표시부(520)는, 예를 들어 내비게이션 장치(110)에 설치된 표시부(521) 또는 운전대(23)의 전방에 위치한 대시보드(20)에 설치되고 차량(10)의 각종 정보를 제공하는 계기판(522) 등을 이용하여 구현 가능하다.
입력부(150)는, 운전자 또는 동승자의 조작에 따라서 운전자 또는 동승자의 명령을 수신하고, 이에 대응하는 신호를 프로세서(200)로 전송할 수 있다. 입력부(510)는, 예를 들어, 센터페시아(22), 운전대(23), 기어 박스, 오버헤드콘솔, 도어에 형성된 도어트림 및/또는 콘솔 박스 등에 설치 가능하다. 입력부(510)는, 내비게이션 장치(110)의 터치스크린을 이용하여 구현될 수도 있다.
또한, 내부 공간(19)에는 각종 조명 장치(175)가 더 설치될 수도 있다.
일 실시예에 의하면, 차량(10)에는, 도 4에 도시된 바와 같이, 무선 통신을 수행하기 위한 모듈, 예를 들어 이동 통신 모듈(176) 및 근거리 통신 모듈(178) 중 적어도 하나가 더 설치될 수도 있다.
이동 통신 모듈(176)은, 원격지에 위치한 다른 장치, 일례로 서버 장치나 단말 장치 중 적어도 하나와 데이터를 송수신 가능하게 마련된다. 차량(10)은 이동 통신 모듈(176)을 이용하여 월드 와이드 웹(WWW)에 접속할 수 있게 되며, 이에 따라 차량(10)은 외부의 다양한 정보, 일례로 뉴스, 차량(10) 주변 정보, 날씨 정보 등을 수집할 수 있게 된다.
이동 통신 모듈(176)은, 소정의 이동 통신 기술을 이용하여 구현 가능하다. 예를 들어, 이동 통신 모듈(176)은, 3GPP, 3GPP2 또는 와이맥스 계열 등과 같이 이동 통신 표준을 기반으로 하고 설계자가 고려할 수 있는 적어도 하나의 통신 기술을 이용하여 구현될 수 있다. 이와 같은 이동 통신 표준 기술로는, 예를 들어, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access) 등이 있다.
근거리 통신 모듈(178)은 근거리에 위치한 장치, 일례로 스마트폰, 태블릿 피씨 또는 랩톱 컴퓨터 등과 무선으로 통신 가능하게 마련된다. 차량(10)은 근거리 통신 모듈(178)을 이용하여 근거리에 위치한 장치와 페어링될 수 있게 된다.
일 실시예에 의하면, 근거리 통신 모듈(178)은 소정의 근거리 통신 기술을 이용하여 통신 가능하게 마련된다. 예를 들어, 근거리 통신 모듈(178)은 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 와이맥스(Wi-MAX), 초광대역 통신(UWB, ultra wideband), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등을 이용하여 외부의 장치와 상호 통신을 수행할 수 있다.
이동 통신 모듈(176) 및 근거리 통신 모듈(178)은, 예를 들어, 내비게이션 장치(110)이나 헤드 유닛(120)에 내장 설치될 수도 있고, 또는 엔진룸(11a)과 대시보드(20) 사이 공간에 장착된 기판에 설치될 수도 있다. 실시예에 따라서, 이동 통신 모듈(176) 및 근거리 통신 모듈(178) 중 적어도 하나는, 별도의 장치로 제작된 것일 수도 있으며, 이 경우, 이동 통신 모듈(176) 및 근거리 통신 모듈(178) 중 적어도 하나는 데이터 입출력 모듈(179)의 단자에 장착되어, 차량(10)과 외부의 장치 사이의 통신을 수행할 수 있다.
도 4에 도시된 바를 참조하면, 차량(10)은 적어도 하나의 센서(190)를 포함할 수 있다.
센서(190)는, 예를 들어, 연료 센서(131), 냉각수 센서(132), 엔진 온도 센서(133), 엔진 속도 센서(134), 엔진 오일 센서(135), 시스템 센서(136), 윈도우 개폐 센서(191), 도어 개방 센서(195) 및 타이어 압력 센서(196) 중 적어도 하나를 포함 가능하다.
연료 센서(131)는, 연료 탱크(40)의 잔여 연료량을 측정하여 잔여 연료량에 대한 정보를 출력하고, 냉각수 센서(132)는, 냉각수 탱크(51)의 잔여 냉각수를 측정하고 잔여 냉각수에 대한 정보를 출력하도록 마련된다. 엔진 온도 센서(133)는 엔진(50)의 온도를 측정하고 측정된 온도에 대한 정보를 출력하고, 엔진 속도 센서(134)는 엔진 회전수를 측정하고 대응하는 정보를 출력하도록 마련된다. 또한, 엔진 오일 센서(135)는 엔진 오일 탱크(52)의 잔여 엔진 오일을 측정하여 잔여 엔진 오일에 대한 정보를 출력하도록 마련된다.
시스템 센서(136)는, 차량(10)의 동작에 필요한 각종 시스템(60)이 정상 동작하는지 여부를 감지할 수 있도록 마련된다. 여기서, 시스템(60)은, 예를 들어, 브레이크 유압 조절을 위한 잠김 방지 브레이크 시스템(61, ABS, Anti- lock brake system), 트랙션 컨트롤 시스템(62, TCS, Traction Control System), 반 스핀 레귤러(63, ASR, Anti Spin Regular), 차체 자세 제어 시스템(64, VDS, Vehicle Dynamic Control), 전자 안정성 프로그램 시스템(65, ESP, Electronic Stability Program) 및 차량 안정성 관리 시스템(66, VSM, Vehicle Stability Management) 중 적어도 하나를 포함 가능하다. 또한, 이들 외에도, 시스템 센서(136)는 차량(10)의 주행과 관련되어 차량(10)의 각 부품의 동작을 제어하기 위한 각종 시스템의 정상 동작 여부를 감지할 수 있다. 시스템 센서(136)는, 상술한 시스템(60, 61 내지 66) 각각마다 별도로 마련될 수 있다.
윈도우 개폐 센서(191)는, 윈도우(17a)의 개방 여부를 감지할 수 있다. 윈도우 개폐 센서(191)는, 예를 들어, 윈도우 구동부(17b), 일례로 모터에 연결된 엔코더를 이용하여 구현될 수도 있고, 이외에도 각종 광학 센서나 감압 센서를 이용하여 구현될 수도 있다.
도어 개방 센서(195)는 도어(17)의 개방 여부를 감지할 수 있다. 도어 개방 센서(195)는 감압 센서나, 도어(17)의 폐쇄에 따라 연결되는 스위치 소자 등을 이용하여 구현 가능하다.
타이어 압력 센서(196)는, 차륜(12)의 외부를 둘러싸고 있는 타이어(12a)의 압력을 측정할 수 있도록 마련되며, 예를 들어, 압전 센서나 정전 용량 센서 등을 이용하여 구현 가능하다.
이들 외에도 차량(10)은, 그 목적에 따라서 다양한 센서를 더 포함할 수 있다. 예를 들어, 차량(10)은 소정의 필터의 오염이나 훼손 등을 측정하기 위한 센서를 더 포함할 수도 있다.
상술한 내비게이션 장치(110), 헤드 유닛(120), 공조 장치(140), 입력부(150), 이동 통신부(176), 내부 인터페이스(177), 일례로 근거리 통신 모듈(178) 또는 데이터 입출력 모듈(179), 외부 촬영부(181), 내부 촬영부(182), 적어도 하나의 센서(190), 음성 입력부(505), 음성 출력부(510) 또는 계기판(522)에서 출력되는 정보는, 필요에 따라서, 상황 정보로 이용될 수 있다. 다시 말해서, 이들 장치 각각은 상술한 상황 정보 수집부(90)의 일례가 될 수 있다.
차량(10)은, 도 4에 도시된 바와 같이, 프로세서(200) 및 저장부(400)를 더 포함할 수 있다. 프로세서(200) 및 저장부(400)는 상호 전기적으로 연결되어 데이터를 송수신할 수 있도록 마련된다.
또한, 내비게이션 장치(110), 헤드 유닛(120), 공조 장치(140), 입력부(150), 이동 통신부(176), 내부 인터페이스(177), 일례로 근거리 통신 모듈(178) 또는 데이터 입출력 모듈(179), 외부 촬영부(181), 내부 촬영부(182), 센서(190), 음성 입력부(505), 음성 출력부(510) 및 계기판(522) 중 적어도 하나는, 차량(10)에 내장된 도선, 케이블 또는 무선 통신 네트워크를 통하여 프로세서(200) 및 저장부(400) 중 적어도 하나로 데이터를 송신하거나, 및/또는 프로세서(200) 및 저장부(400) 중 적어도 하나로부터 데이터 또는 제어 신호를 수신할 수 있도록 마련된다. 여기서, 무선 통신 네트워크는 캔 통신을 포함할 수 있다.
이하 프로세서(200)의 동작에 대해 보다 자세히 설명한다.
도 5는 프로세서의 일 실시예에 대한 제어 블록도이다.
일 실시예에 의하면, 프로세서(200)는, 상황 정보 수집부(90)로부터 전달되는 상황 정보 각각으로부터 상황 정보를 분석하기 위한 맥락 데이터를 획득하고, 획득한 맥락 데이터 및 저장부(400)에서 제공되는 상황 분석 모델을 기반으로 목표 동작을 결정하도록 마련된 것일 수 있다.
도 5에 도시된 바를 참조하면, 프로세서(200)는, 맥락 데이터 처리부(210), 상황 분석부(220) 및 목표 동작 결정부(240)를 포함할 수 있으며, 필요에 따라 시나리오 결정부(268)를 더 포함할 수 있다. 또한, 프로세서(200)는, 다른 장치들, 일례로 내비게이션 장치(110), 음성 출력부(510), 공조 장치(140), 윈도우 구동부(17b) 또는 이외 프로세서(200)에 의해 제어 가능한 각종 장치들의 동작 제어를 위하여, 대화 처리부(270), 제어 신호 생성부(290) 및 애플리케이션 구동부(295) 중 적어도 하나를 더 포함할 수도 있다.
프로세서(200)는 도선, 회로 또는 무선 통신 네트워크 등 다양한 방법을 이용하여, 상황 정보 수집부(90), 일례로 상술한 내비게이션 장치(110) 등의 장치로부터 상황 정보(201)를 전달 받을 수 있다. 상황 정보(201)는 맥락 데이터 처리부(210)로 전달된다.
맥락 데이터 처리부(210)는, 적어도 하나의 상황 정보(201)를 수신하고, 수신한 적어도 하나의 상황 정보(201)를 기반으로 맥락 데이터를 획득할 수 있다. 예를 들어, 맥락 데이터 처리부(210)는, 내비게이션 장치(110)로부터 경로 설정 명령 입력, 경로 설정 및 예상 주행 거리에 대한 정보가 전달되고, 연료 센서(131)로부터 잔여 연료량에 대한 정보가 전달되고, 이외 다른 상황 정보 수집부(90), 일례로 다른 센서들(131)로부터 대응하는 정보가 전달된 경우, 경로 설정과 관련되어 필요한 정보, 일례로 잔여 연료량 등을 맥락 데이터로 추출할 수 있다. 이 경우, 다른 정보들은 폐기될 수 있다. 또한, 맥락 데이터 처리부(210)는 어느 하나의 상황 정보 수집부(90)로부터 복수의 정보, 일례로 경로 설정 및 예상 주행 거리에 대한 정보가 전달된 경우, 이들 중 필요한 일부의 정보, 일례로 예상 주행 거리에 대한 정보만을 맥락 데이터로 추출할 수도 있다.
맥락 데이터 처리부(210)는, 사용자 또는 설계자에 의해 미리 정의된 설정에 따라서 상황 정보 수집부(90)가 수집한 상황 정보 중에서 필요한 맥락 데이터를 추출할 수 있다.
일 실시예에 의하면, 맥락 데이터 처리부(210)는, 미리 정의된 이벤트의 발생 여부에 따라서 발생된 이벤트에 대응하여 상황 정보(201) 중에서 적절한 맥락 데이터를 추출할 수 있다. 보다 구체적으로, 맥락 데이터 처리부(210)는 사용자가 미리 정의된 동작을 수행하거나, 차량(10)의 상태나 주변 환경이 미리 정의된 바에 따라 변화하거나, 시간이나 위치가 미리 정의된 범위에 해당하거나, 및/또는 차량(10) 또는 차량(10)에 설치된 각종 장치, 일례로 내비게이션 장치(110)와 관련된 설정이나 출력 값이 변경된 경우, 이에 응하여, 상술한 이벤트에 대응하는 적어도 하나의 특정한 맥락 데이터를 상황 정보(201)로부터 추출할 수 있다.
또한, 맥락 데이터 처리부(210)는 복수의 맥락 데이터를, 동일한 또는 서로 상이한 상황 정보로부터 추출할 수도 있다. 예를 들어, 맥락 데이터 처리부(210)는, 내비게이션 장치(110)로부터 경로 설정 명령 입력, 경로 설정 및 예상 주행 거리를 포함하는 상황 정보가 전달되고, 연료 센서(131)로부터 잔여 연료량을 포함하는 상황 정보가 전달된 경우, 예상 주행 거리 및 잔여 연료량 양자를 모두 상황 정보(201)로부터 맥락 데이터로 추출할 수도 있다.
또한, 맥락 데이터 처리부(210)는 맥락 데이터를 목표 동작 결정부(240)로 전송할지 여부도 결정할 수 있다. 예를 들어, 내비게이션 장치(110)에 경로 결정 명령이 입력되고, 이에 응하여 내비게이션 장치(110)가 경로를 결정한 경우, 맥락 데이터 처리부(210)는 예상 주행 거리 및 잔여 연료량에 대응하는 주행 가능 거리를 상호 비교하여 잔여 연료량이 부족한지 여부나 잔여 연료량만으로도 충분히 주행이 가능한지 여부를 결정할 수 있다. 만약 잔여 연료량이 부족하지 않다면, 맥락 데이터 처리부(210)는 맥락 데이터를 목표 동작 결정부(240)로 전송하지 않으며, 이에 따라 프로세서(200)의 동작은 종료될 수 잇다. 반대로 만약 잔여 연료량이 부족하다면, 맥락 데이터 처리부(210)는 맥락 데이터를 목표 동작 결정부(240) 및/또는 상황 분석부(220)로 전달할 수 있으며, 이에 따라 목표 동작 결정 과정이 수행될 수 있게 된다. 실시예에 따라서, 맥락 데이터 처리부(210)는 맥락 데이터를 목표 동작 결정부(240)로 항상 전송할 수 있으며, 이 경우, 후술하는 바와 같이, 목표 동작 결정부(240)에 의해, 상술한 동작, 일례로 예상 주행 거리 및 잔여 연료량의 비교 동작이 수행될 수 있다.
맥락 데이터 처리부(210)는, 획득된 맥락 데이터는 목표 동작 결정부(240)로 전송할 수 있다. 만약 복수의 맥락 데이터가 획득된 경우, 맥락 데이터 처리부(210)는 복수의 맥락 데이터를 조합한 후 목표 동작 결정부(240)로 전송할 수 있다. 이 경우, 맥락 데이터 처리부(210)는 상호 연관된 복수의 맥락 데이터를 조합하여 출력할 수 있다. 여기서 상호 연관되었다는 것은 특정한 목표 동작 결정을 위해 함께 이용될 수 있다는 것을 의미한다.
도 6은 상황분석부의 일 실시예에 대한 블록도이다.
상황 분석부(220)는, 이력 정보(202)를 기반으로 상황 분석 모델을 생성하거나, 및/또는 생성된 상황 분석 모델을 목표 동작 결정부(240)로 전송할 수 있다. 이 경우, 상황 분석부(220)는 필요에 따라 맥락 데이터 처리부(210)로부터 추출된 맥락 데이터를 수신하고, 수신한 맥락 데이터에 대응하는 상황 분석 모델을 선별한 후, 선별한 상황 분석 모델을 목표 동작 결정부(240)로 전송할 수 있다.
보다 구체적으로, 도 6에 도시된 바를 참조하면, 상황 분석부(220)는, 저장부(400)에 저장되어 축적된 이력 정보(202)를, 회로, 도선 또는 무선 통신 네트워크를 이용하여 수신하고(222), 수신한 이력 정보(202)를 기반으로 학습을 수행하고(224), 학습 결과를 기반으로 상황 분석 모델을 생성할 수 있다(226).
상황 분석부(220)는, 실시예에 따라서 수신한 이력 정보(202)를 기반으로 다양한 학습 방법을 이용하여 학습을 수행할 수 있다. 예를 들어, 상황 분석부(220)는 규칙 기반 학습(Rule-based learning) 및 모델 기반 학습(Model-based learning algorithm) 중 적어도 하나의 방법을 이용하여 학습을 수행할 수 있다.
도 7은 규칙 기반 학습을 설명하기 위한 예시 도면이다.
규칙 기반 학습은, 예를 들어, 결정 트리 학습(decision tree learning)을 포함할 수 있다. 결정 트리 학습은, 규칙과 결과를 트리 구조로 도식화하여 형성된 결정 트리를 이용하여 수행되는 학습을 의미한다. 결정 트리는, 적어도 하나의 노드를 포함할 수 있으며, 어느 하나의 노드는, 부모 노드와 부모 노드에 연결된 복수의 자녀 노드를 포함한다. 부모 노드에 특정 값이 입력되면, 복수의 자녀 노드 중 특정 값에 대응되는 자녀 노드가 선택된다. 이와 같은 과정은 순차적으로 수행될 수 있으며, 이에 따라 최종 결과가 획득된다.
상황 분석부(220)는 입력된 이력 정보(202)를 기반으로 결정 트리를 학습하여 획득 및 갱신하고, 획득 및 갱신된 결정 트리를 상황 분석 모델로서 출력하여 목표 동작 결정부(240)로 전달할 수 있다.
예를 들어, 상황 분석부(220)가 주유소 검색에 대하여 결정 트리 학습을 수행하는 경우, 도 7에 도시된 바와 같이 결정 트리(224-1)가 획득될 수 있다. 이 경우, 결정 트리(224-1)는, 복수의 노드(n1 내지 n5, r1 내지 r6)를 포함할 수 있으며, 복수의 노드(n1 내지 n5, r1 내지 r6) 중 적어도 둘은 상호 연결되도록 마련된다. 각각의 노드(n1 내지 n5, r1 내지 r6)는 사용자 또는 설계자의 선택이나 또는 기존의 학습 결과에 대응하는 값(조건 또는 결과)을 갖는다. 예를 들어, 제1 노드(n1)는, 목적지가 특징 구역(일례로 우리집) 주변에서 검색했는지 여부에 대한 판단을 포함하고, 제1 노드(n1)의 자녀 노드인 제2 노드(n2) 및 제3 노드(n3)는 각각 불편한 동작(일례로 유턴) 수행 여부에 대한 판단 및 특정 주유소 존재 여부에 대한 판단을 포함하도록 마련될 수 있다. 제2 노드(n2)의 자녀 노드인 제4 노드(n4)는 가격의 상대적 저렴 여부(n5)에 대한 판단을 포함하고, 제5 노드(n5)는 방향 선호라는 결과 값을 포함할 수 있다.
도 8은 모델 기반 학습을 설명하기 위한 예시 도면이다.
모델 기반 학습은, 획득한 정보를 학습 알고리즘에 대입하여 수행될 수 있다. 학습 알고리즘은, 예를 들어, 심층 신경망(DNN, Deep Neural Network), 콘볼루션 신경망(CNN, Convolutional Neural Network), 순환 신경망(RNN, Recurrent Neural Network), 심층 신뢰 신경망(DBN, Deep Belief Network) 및 심층 Q-네트워크(Deep Q-Networks) 중 적어도 하나를 이용하여 구현될 수 있다.
상황 분석부(220)는, 도 8에 도시된 바와 같이, 이력 정보(202)가 획득되면, 이력 정보(202) 내에 포함된 각각의 레코드(202-1 내지 202-4)의 적어도 하나의 필드 값(202-11, 202-21, 202-31 및 202-4), 일례로 기존에 선택된 주유소 명칭이나 상호 등을 학습 알고리즘(224-2)에 대입하여 학습을 수행하고, 학습 수행 결과에 대응하여 소정의 상황 분석 모델(226-2)을 생성 및 갱신할 수 있다. 이 경우, 적어도 하나의 필드 값(202-11, 202-21, 202-31 및 202-4)은, 각각 소정의 가중치가 부가된 후 학습 알고리즘(224-2)에 대입될 수도 있으며, 소정의 가중치는 모두 동일하게 정의된 것일 수 있다.
학습 결과 획득된 상황 분석 모델(226-2)은, 사용자의 사용 패턴에 부합되도록 설정된 것일 수 있다. 상황 분석 모델(226-2)는, 사용자의 사용 패턴에 따라 서로 동일하게 또는 상이하게 결정되는 사용자 기반 가중치를 포함할 수 있다. 여기서 사용자 기반 가중치는, 검색 결과에 따라 획득된 각각의 인자, 일례로 가격, 브랜드, 거리 또는 방향에 가중되는 값일 수 있다. 예를 들어, 도 8에 도시된 바와 같이 학습이 수행된 경우, 가격에 대한 가중치는 0.65로, 브랜드에 대한 가중치는, 0.30으로, 거리에 대한 가중치는 0.04로, 방향에 대한 가중치는 0.01로 결정될 수 있다.
학습 결과 획득된 상황 분석 모델(226-2)은, 목표 동작 결정부(240)로 전달된다.
목표 동작 결정부(240)는, 목표 동작을 결정한다. 목표 동작은, 상황 정보에 따라서 수행될 적어도 하나의 동작을 의미한다.
목표 동작 결정부(240)는 목표 동작의 결정과 더불어 목표 동작을 수행하기 위한 적어도 하나의 동작 주체도 결정할 수 있다. 적어도 하나의 동작 주체는, 차량(10) 또는 차량(10)에 설치된 소정의 장치를 포함할 수 있다. 예를 들어, 동작 주체는 물리적 장치일 수도 있고, 또는 논리적 장치일 수도 있다. 물리적 장치는, 예를 들어, 내비게이션 장치(110)일 수도 있고, 헤드 유닛(120)일 수도 있으며, 공조 장치(140)일 수도 있다. 논리적 장치는, 예를 들어 애플리케이션일 수도 있다. 이들 외에도 목표 동작을 수행할 수 있는 다양한 장치가 동작 주체로 이용될 수 있다. 동작 주체는, 하나일 수도 있고, 또는 둘 이상일 수도 있다.
목표 동작 결정부(240)는 맥락 데이터 처리부(210)에서 맥락 데이터가 전송되고, 아울러 상황 분석부(220)에서 상황 분석 모델이 전달되면, 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정한다.
예를 들어, 상황 분석 모델이 도 7에 도시된 바와 같이 규칙 기반 학습 과정에 따라 획득된 경우, 목표 동작 결정부(240)는 맥락 데이터들을 기반으로 각각의 노드(n1 내지 n5)에 대응하는 판단을 순차적으로 수행하면서, 맥락 데이터에 대응하는 결과(r1 내지 r6)를 획득한다. 예를 들어, 상술한 바와 같이, 주유소를 검색하고자 하는 경우, 목표 동작 결정부(240)는 맥락 데이터에 따라서, 방향 선호(r1), 브랜드 선호(r2), 가격 선호(r3, r5) 또는 거리 중심(r4, r6) 등의 결과를 획득하게 된다. 구체적으로 만약 우리 집 주변에서 목적지가 검색되었다는 상황 정보와, 유턴을 해야 할 필요가 없다는 상황 정보가 입력된 경우, 목표 동작 결정부(240)는 방향 선호라는 결과를 획득할 수 있게 된다. 결과(r1 내지 r6)가 획득되면, 획득 결과를 기반으로 목표 동작 결정부(240)는 목표 동작을 결정한다. 예를 들어, 목표 동작 결정부(240)는 규칙 기반 학습 이용 결과 방향 선호(r1)가 최종 결과로 획득되면, 방향 선호(r1)를 기반으로 복수의 주유소를 정렬하는 것을 목표 동작으로 결정할 수 있다. 또는 목표 동작 결정부(240)는 방향 선호(r1)를 기반으로 복수의 주유소 중 가장 선호되는 주유소를 추천하는 것을 목표 동작으로 결정할 수도 있다.
또한, 상황 분석 모델이 도 8에 도시된 바와 같이 모델 기반 학습 과정에 따라 획득된 경우, 목표 동작 결정부(240)는 맥락 데이터들을 상황 분석 모델의 입력층에 입력하여, 맥락 데이터 및 기존의 학습에 따른 결과를 획득할 수 있다.
일 실시예에 따르면, 동작 결정부(240)는 획득된 상황 분석 모델(226-2)과 복수의 인자를 상호 비교하고, 복수의 인자 중에서 유사도가 높은 인자를 검출하여 동작을 결정할 수도 있다. 이를 위해 동작 결정부(240)는 유사도 측정(Similarity Measure) 방법을 이용할 수도 있다. 예를 들어, 동작 결정부(240)는, 어느 하나의 주유소를 결정하고자 하는 경우, 검색되는 적어도 하나의 주유소 중에서 상황 분석 모델(226-2)의 대입 결과와 동일하거나 유사한 주유소를 검출하여 특정한 주유소를 획득하고, 특정한 주유소 추천을 목표 동작으로 결정할 수 있다. 구체적으로는 동작 결정부(240)는 복수의 주유소 레코드에 저장된 필드 값, 일례로 주유소 명칭, 브랜드, 가격, 거리 또는 방향 등에 획득된 사용자 기반 가중치를 가중하고 가중 결과를 상황 분석 모델(226-2)에 대입하여 복수의 주유소 레코드 중 어느 하나의 주유소 레코드를 선택하고, 선택된 레코드에 대응하는 주유소를 추천 주유소로 결정하여 목표 동작을 결정할 수 있다.
상술한 바 이외에도 목표 동작 결정부(240)는, 다양하게 목표 동작을 결정할 수 있다. 이와 같은 목표 동작의 결정 과정 및 결정 결과는, 사용자 또는 설계자의 선택에 따라 다양하게 설계될 수 있다.
목표 동작 결정부(240)는 지능형 에이전트를 이용하여 구현 가능하다.
이하 목표 동작 결정부(240)가 목표 동작을 결정하는 과정의 여러 일례에 대해 보다 상세히 설명하도록 한다.
도 10은 목표 동작 결정부의 동작의 제1 실시예를 설명하기 위한 도면이다. 도 10은 사용자가 차량(10)에 설치된 내비게이션(110)에 목적지를 설정한 경우, 잔여 연료량에 따른 주행 가능 거리가 목적지까지의 예상 잔여 거리보다 상대적으로 짧은 경우에 목표 동작이 결정되는 일례를 도시한 것이다.
도 10에 도시된 바를 참조하면, 목표 동작 결정부(240)는, 맥락 데이터 획득부(210)로부터 목적지까지의 잔여 거리(241a)에 대한 맥락 데이터와 잔여 연료량(241b)에 대한 맥락 데이터를 수신한다. 목적지까지의 잔여 거리(241a)에 대한 맥락 데이터는, 내비게이션 장치(110)로부터 전송된 상황 정보로부터 추출된 것이고, 또한 잔여 연료량(241b)은, 연료 센서(131)로부터 전송된 상황 정보로부터 추출된 것이다. 잔여 연료량(241b)이 획득된 경우, 목표 동작 결정부(240)는 잔여 연료(241b)에 대응하는 주행 가능 거리(241c)를 연산할 수 있다.
목표 동작 결정부(240)는 목적지까지의 잔여 거리(241a)와 주행 가능 거리(241c)를 비교하여 주행 가능 여부를 판단할 수 있다(242). 만약 목적지까지의 잔여 거리(241a)가 주행 가능 거리(241c)보다 작다고 판단되면, 연료와 관련되어 문제가 발생하지 않을 것으로 판단하고, 목표 동작 결정부(240)는 추가적인 동작을 수행하지 않는다. 반대로 만약 목적지까지의 잔여 거리(241a)가 주행 가능 거리(241c)보다 크다고 판단되면, 목표 동작 결정부(240)는 잔여 연료량(241b)이 부족한 것으로 판단하고, 주유가 필요하다고 판단할 수 있다(243). 상술한 바와 같이, 맥락 데이터 처리부(210)에 의해 주행 가능 여부나 주유 필요 여부가 판단된 경우에는, 본 과정은 생략 가능하다.
주유가 필요하다고 판단되면, 목표 동작 결정부(240)는 상황 분석부(220)에서 전달되는 상황 분석 모델을 기반으로 목표 동작을 결정한다(244). 여기서 목표 동작은, 상황 분석 모델을 기반으로 결정된 특정한 주유소를, 목적지까지의 경로 상에 경유지로 추가하는 동작으로 설정될 수 있다. 동작 주체는 내비게이션 장치(110)로 설정될 수 있다.
도 11은 목표 동작 결정부의 동작의 제2 실시예를 설명하기 위한 도면이다. 도 11은 주행 중인 차량(10)의 전방에 터널이 존재하고, 차량(10)의 윈도우(17a)가 개방되고 공조 장치(140)가 외기 모드로 동작하는 경우에 있어서 대응하는 목표 동작이 결정되는 일례를 도시한 것이다.
도 11에 도시된 바를 참조하면, 목표 동작 결정부(240)는, 맥락 데이터 획득부(210)로부터 차량(10)의 물리적 위치(245a, 또는 주행 경로 상에 인접한 터널이 존재한다는 정보일 수도 있다), 차량 윈도우(17a)의 상태(245b) 및 공조 장치(140)의 상태(245c)를 포함하는 맥락 데이터를 수신할 수 있다. 이들 정보는 각각 위치 결정부(119), 공조 장치(140)에 대한 정보를 저장하는 매체, 일례로 저장부(400) 및 윈도우 개폐 센서(191)로부터 전달된 것일 수 있다.
만약 근시간 내에 차량(10)이 터널에 진입될 예정이고, 차량 윈도우(17a)가 개방되어 있으며, 및/또는 공조 장치(140)가 외기 모드로 동작하는 경우라면, 목표 동작 결정부(240)는 상황 분석부(220)에서 전달되는 상황 분석 모델을 기반으로 목표 동작을 결정한다(246). 여기서, 목표 동작은, 차량(10) 내부에 먼지 등이 유입되는 것을 방지하기 위하여, 상황 분석 모델을 기반으로 결정된 동작, 즉 윈도우(17a)를 폐쇄하는 동작 및/또는 공조 장치(140)의 동작 모드를 내기 모드로 전환하는 동작을 포함할 수 있다.
도 12는 목표 동작 결정부의 동작의 제3 실시예를 설명하기 위한 도면이다. 도 12는 사용자의 사용 패턴을 기반으로 목표 동작을 결정하는 일례로써, 특정 시간이 도래하였을 때 목표 동작이 결정되는 과정을 도시한 것이다.
도 12에 도시된 바를 참조하면, 목표 동작 결정부(240)는, 맥락 데이터 획득부(210)로부터 현재 시간 및 헤드 유닛(120, 또는 라디오 장치)의 동작 상태를 나타내는 맥락 데이터를 수신할 수 있다. 이들 정보는 각각 클락(200a) 및 헤드유닛(120)으로부터 전달된 것일 수 있다.
목표 동작 결정부(240)는 현재 시간 및 헤드 유닛(120)의 동작 상태에 대한 정보를 상황 분석부(220)에서 전달된 상황 분석 모델에 적용하여, 특정 시간에서의 헤드 유닛(120)에 대한 목표 동작을 결정한다(246). 이 경우, 상황 분석 모델은 특정 시간 및 선호 미디어(선호 방송)를 입력 값 및 출력 값으로 하여 구현된 것일 수 있다. 만약 사용자가 특정 시간대에 헤드 유닛(120)이 95%의 비율로 제1 주파수의 방송을 수신하고 5%의 비율로 제2 주파수의 방송을 수신하도록 설정하였다면, 이와 같은 이력은 상황 분석 모델에 반영되고, 이에 따라 특정 시간 및 선호 미디어 사이의 관계에 대한 상황 분석 모델이 획득된다. 목표 동작 결정부(240)는, 이와 같은 상황 분석 모델을 기반으로, 현재 시간이 특정 시간대에 해당하거나 또는 특정 시간대의 직전에 해당하는 경우, 선호하는 방송, 일례로 제1 주파수의 방송의 출력(또는 제1 주파수로의 설정 주파수 변경)을 목표 동작으로 결정할 수 있다.
도 13은 목표 동작 결정부의 동작의 제4 실시예를 설명하기 위한 도면이다. 도 13은 차량(10)에 탑승자가 존재하는 상황에서 탑승자의 단말 장치가 존재하는 경우에 가능한 목표 동작을 결정하는 과정의 일례를 도시한 도면이다.
도 12에 도시된 바를 참조하면, 목표 동작 결정부(240)는, 맥락 데이터 획득부(210)로부터 블루투스 연결 정보(249a) 및 촬영 영상(249b)에 대한 맥락 데이터를 수신할 수 있다. 맥락 데이터 획득부(210)는 이들 정보를 각각 데이터 입출력 모듈(179) 및 내부 촬영부(182)으로부터 획득할 수 있다.
목표 동작 결정부(240)는 촬영 영상(249b)을 기반으로 차량(10)에 탑승한 탑승자를 판단하고, 필요에 따라서 탑승자 중에서 운전자가 누구인지 여부를 판단할 수 있다. 운전자가 누구인지 여부는 촬영 영상(249b) 내의 탑승자의 위치를 기반으로 판단 가능하다.
만약 기존에 연결된 이력이 존재하지 않는 단말 장치가 블루투스를 통하여 차량(10)에 연결된 경우라면, 목표 동작 결정부(240)는 상황 분석 모델을 기반으로 운전자의 단말 장치가 차량(10)에 연결된 것으로 판단하고, 신규로 연결된 단말 장치를 운전자의 단말 장치인 것으로 확인 및 결정하는 동작을 목표 동작으로 결정한다(251a).
만약 현재 블루투스를 통해 연결된 단말 장치가 존재하지 않으나, 기존에 단말 장치가 연결된 이력이 존재하며, 또한 연결 가능한 단말 장치가 여러 개가 감지되는 경우, 목표 동작 결정부(240)는 상황 분석부(200)에 의해 획득된 상황 분석 모델을 이용하여 통상적으로 운전자의 단말 장치가 차량(10)에 연결된다고 판단하고, 상황 분석 모델을 기반으로 촬영 영상(249a)의 안면을 인식하여 운전자가 누구인지 판단한다. 이어서, 목표 동작 결정부(240)는 운전자의 단말 장치를 블루투스에 연결하는 동작을 목표 동작으로 결정한다(251b).
이상 목표 동작 결정부(240)의 다양한 동작예에 대해 설명하였으나, 목표 동작 결정부(240)는 이들 외에도 다양한 상황 정보를 이용하여 다양한 목표 동작을 결정할 수 있다.
예를 들어, 목표 동작 결정부(240)는 등록된 일정에 대응하는 시간이 도래한 경우, 일정에 대응하는 장소로의 목적지 설정을 목표 동작으로 결정할 수도 있고, 계기판(522)의 특정 픽토그램이 활성화된 경우 특정 픽토그램에 대한 설명 개시를 목표 동작으로 결정할 수도 있고, 또는 헤드 유닛(120)의 현재의 음량이 선호 음량과 상이한 경우 헤드 유닛(120)의 음량 변경 동작을 목표 동작으로 결정할 수도 있다. 또한, 목표 동작 결정부(240)는 이동 통신부(176)를 통해 수신한 정보, 일례로 날씨 정보가 세차에 적합한 날씨인 경우, 세차 제안 및/또는 세차장까지의 경로 설정을 목표 동작으로 설정할 수도 있고, 차량(10)의 위치가 주유소인 경우 주유구 개방을 목표 동작으로 설정할 수도 있으며, 타이어 압력 센서(196)에 의해 측정된 압력이 미리 정의된 임계값보다 하회하는 경우, 타이어 압력 저하 경고의 출력 및/또는 정비소 경로 안내 동작을 목표 동작으로 설정할 수도 있다.
시나리오 결정부(268)는, 목표 동작 결정부(240)에 의해 결정된 목표 동작을 기반으로, 동작 주체가 목표 동작을 수행하기 위해 필요한 시나리오를 결정 및 생성할 수 있다. 시나리오는, 목표 동작을 수행하기 위해 순차적으로 수행되는 일련의 동작들의 집합을 의미한다. 예를 들어, 상술한 바와 같이 추천 주유소가 결정되면, 시나리오는 주유소 추천에 대한 대화 개시문의 생성, 음성 출력부(510) 또는 표시부(520)에 대한 제어 신호의 생성, 경로 변경 설정 여부 판단 및 경로 변경 제어 신호 생성 및 확인 등과 같은 각종 동작을 포함할 수 있다.
시나리오 결정부(268)는, 필요에 따라 생략 가능하다.
목표 동작 결정부(240)에 의해 목표 동작이 결정되거나, 또는 이와 더불어 시나리오 결정부(268)에 의해 목표 동작의 수행을 위한 일련의 동작에 대한 시나리오가 결정되면, 목표 동작 및 시나리오는 텍스트의 형식으로 변환되고,
대화 처리부(270), 제어 신호 생성부(290) 및 애플리케이션 구동부(295) 중 적어도 하나는, 목표 동작 및 시나리오 중 적어도 하나에 따라서 동작을 수행한다.
도 13은 대화 처리부의 일 실시예에 대한 블록도이다.
대화 처리부(270)는 사용자, 일례로 운전자나 동승자와 대화를 수행할 수 있도록 마련된다. 대화 처리부(270)는 목표 동작 및 시나리오 중 적어도 하나에 대응하는 대화 개시문을 생성하고, 생성한 대화 개시문에 대응하는 신호를 생성하여 출력부(500), 일례로 음성 출력부(510)로 전달한다. 음성 출력부(510)는 대화 개시문에 대응하여 음성을 출력하고, 이에 따라 사용자와 차량(10) 간의 대화가 개시된다.
도 13에 도시된 바를 참조하면, 대화 처리부(270)는, 대화 개시문 생성(271), 구조 분석(272), 음소분석(273), 운율 분석(274) 및 변환(275) 과정을 통하여, 목표 동작에 대응하는 음성 신호를 외부로 출력할 수 있다.
대화 개시문 생성(271)은, 목표 동작 및 시나리오 중 적어도 하나(269)에 대응하는 단어, 구 또는 문장을 텍스트 형식으로 생성하는 동작을 의미한다. 대화 개시문은, 대화 처리부(270)에 전달된 목표 동작 및 시나리오 중 적어도 하나에 따라서 생성될 수 있다. 대화 개시문은, 예를 들어, 별도로 마련된 소정의 데이터베이스를 열람하고 목표 동작 및 시나리오 중 적어도 하나에 대응하는 단어, 구 또는 문장을 검출하여 수행될 수 있다. 또는, 수신한 목표 동작 및 시나리오 중 적어도 하나를 기반으로, 복수의 단어나 접사 등을 조합하거나, 획득된 단어를 변형하여 단어, 구 또는 문장을 생성할 수도 있다. 이 경우, 단어, 구 또는 문장의 생성은 출력하고자 하는 언어의 특성(일례로 교착어, 굴절어, 고립어 또는 포합어)에 따라 수행된다.
구조 분석(272)은 생성된 대화 개시문에 대한 구조, 일례로 문장 구조를 분석하고, 이를 기반으로 단어나 어구 등을 획득하는 과정을 의미한다. 구조 분석(272)은, 사전에 마련된 문법 규칙을 이용하여 수행될 수 있다. 필요에 따라, 구조 분석(272)과 더불어 정규화 과정이 더 수행될 수도 있다. 음소 분석(273)은 운율 단위로 획득된 단어나 어구 등의 낱말에 대해 대응하는 발음을 할당함으로써 텍스트를 음소로 변환하여 음소열(phone sequence)을 획득하는 과정을 의미한다. 운율 분석(274)은, 음소열에 음의 고저나 장단 등과 같은 운율을 할당하여 부가하는 과정을 의미한다. 변환(275)은, 상술한 과정을 통하여 획득된 음소열 및 운율을 합성하여 실제로 출력될 음성 신호를 획득하는 과정을 의미한다. 획득된 음성 신호는 음성 출력부(510)로 전달되며, 음성 출력부(510)는 음성 신호에 대응하는 음파를 생성하여 외부로 출력할 수 있다.
이에 따라 사용자는 목표 동작(269) 및/또는 시나리오에 대응하는 문장을 음성의 형태로 청취할 수 있게 된다. 예를 들어, 사용자는, 목표 동작이 H사 주유소를 목적지(일례로 회사)까지의 경로 상에 경유지로 추가하는 동작으로 결정된 경우, "목적지까지 주유가 부족합니다. 회사까지의 경로에 H사 주유소를 추가할까요"라는 문장에 대응하는 음성을 청취할 수 있게 된다.
사용자, 일례로 운전자 및 동승자 중 적어도 하나는 청취한 음성에 대응하여 응답을 발화할 수 있다. 예를 들어, 사용자는 목표 동작 또는 시나리오에 따른 동작의 수행에 대한 승낙의 의사를 표현하는 응답을 발화할 수도 있고, 또는 이에 대한 거절의 의사를 표현하는 응답을 발화할 수도 있다. 사용자에 의해 발화된 음성은, 음성 입력부(505)에 의해 수신된다.
대화 처리부(270)는, 음성 입력부(505)에 입력된 음성 신호를 프로세서(200)에서 처리 가능한 형태, 일례로 문자열의 형태로 변환할 수도 있다.
도 13에 도시된 바에 의하면, 대화 처리부(270)는, 음성 구간 획득(276), 잡음 처리(277), 특징 추출(278), 패턴 결정(279) 및 언어 처리(280) 과정을 통하여, 사용자의 발화에 따른 음성 신호를 텍스트 형태의 단어, 구 또는 문장으로 변환할 수 있다.
음성 구간의 획득(276)은, 수신한 음성 신호로부터 사용자가 발화한 음성이 존재하거나 또는 존재할 가능성이 높은 구간을 의미한다. 대화 처리부(270)는 수신된 아날로그 음성 신호의 주파수를 분석하거나 또는 이외 별도로 마련된 다양한 수단을 이용하여 음성 구간을 검출할 수 있다.
잡음 처리(277)는 음성 구간에 대해 음성 이외의 불필요한 잡음을 제거할 수 있다. 잡음 처리는 음성 신호의 주파수 특성을 기반으로 수행되거나 또는 수신된 음성의 방향성을 기반으로 수행될 수 있다.
특징 추출(278)은 음성 구간으로부터 음성의 특징, 일례로 특징 벡터를 추출함으로써 수행될 수 있다. 이를 위해 대화 처리부(270)는, 선형 예측 코딩 계수(LPC, Linear Prediction Coefficient), 켑스트럼(Cepstrum), 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstral Coefficient), 및 필터 뱅크 에너지(Filter Bank Energy) 중 적어도 하나를 이용할 수 있다.
패턴 결정(279)는 음성 신호로부터 추출된 특징과 미리 정의된 패턴을 비교하여 추출된 특징에 대응하는 패턴을 결정하는 과정을 의미한다. 여기서, 미리 정의된 패턴은 미리 정의된 음향 모델을 이용하여 수행될 수 있다. 음향 모델은 음성의 신호적 특성을 사전에 모델링 함으로써 획득된 것일 수 있다. 음향 모델은, 인식 대상을 특징 벡터 모델로 설정하고 이를 음성 데이터의 특징 벡터와 비교하는 직접 비교 방법 및 인식 대상의 특징 벡터를 통계적으로 처리하여 이용하는 통계 방법 중 적어도 하나에 따라 패턴을 결정할 수 있도록 마련된 것일 수 있다. 여기서, 직접 비교 방법은 벡터 양자화(Vector Quantization) 방법을 포함할 수 있다. 통계적 모델 방법은 동적 시간 와핑(Dynamic Time Warping: DTW), 히든 마르코프 모델(Hidden Markov Model: HMM) 또는 신경 회로망을 이용한 방식 등을 포함할 수 있다.
언어 처리(280)는, 결정된 패턴을 기반으로 어휘, 문법 구조 및 문장의 주제 등을 판단하고, 판단 결과를 기반으로 최종적으로 인식된 문장을 획득하는 과정을 의미한다. 언어 처리(280)는 소정의 언어 모델을 이용하여 수행될 수 있다. 여기서, 언어 모델은, 인식된 단어, 음절 또는 구 등을 언어적 순서 관계를 결정하기 위해, 인간의 언어 및 문법 등을 기반으로 생성된 것일 수 있다. 언어 모델은, 예를 들어, 통계적 언어 모델 또는 유한 상태 네트워크(Finite State Automata: FSA)에 기반한 모델을 포함할 수 있다.
실시예에 따라서, 패턴 결정(279) 및 언어 처리(280)는, 음향 모델과 음성 모델을 통합한 N-best 탐색법을 이용하여 수행되는 것도 가능하다.
상술한 과정에 따라 사용자가 발화한 음성에 대응하는 텍스트 형태의 단어, 구 또는 문장(즉, 문자열)이 획득된다. 획득된 단어, 구 또는 문장은 프로세서(200)로 전달되고, 프로세서(200)는 단어, 구 또는 문장을 기반으로 사용자의 응답이 무엇인지를 판단하고, 판단 결과에 따라서, 제어 신호를 생성하거나 또는 소정의 애플리케이션을 구동시킬 수 있다. 또한, 프로세서(200)는 대화 처리부(270)를 통하여 사용자의 응답에 대응하는 또 다른 응답을 생성하고, 이를 상술한 방법을 거쳐 대응하는 음성 신호로 출력할 수도 있다.
제어 신호 생성부(290)는, 목표 동작 결정부(240)에 의해 결정된 목표 동작, 시나리오 결정부(268)에 의해 결정된 시나리오 및 대화 처리부(270)에 의해 출력되는 사용자의 응답 중 적어도 하나를 기반으로, 소정의 제어 신호를 생성할 수 있다.
소정의 제어 신호는, 동작 주체에 대한 제어 신호를 포함한다. 예를 들어, 내비게이션 장치(110)의 경로 재설정 동작이 목표 동작으로 결정되면, 제어 신호 생성부(290)는 경로 재설정에 대한 제어 신호를 생성하고, 생성한 제어 신호를 대응하는 동작 주체, 즉 내비게이션 장치(110)로 전송할 수 있다.
일 실시예에 의하면, 제어 신호 생성부(290)는, 표시부(520)에 대한 제어 신호를 생성하여, 표시부(520)가 목표 동작 또는 시나리오에 대응하는 단어, 구 또는 문장을 포함하는 대화 개시문을 사용자에게 제공하도록 할 수도 있다. 이에 따라, 프로세서(200)는, 시각적 방법으로도 사용자와 대화를 개시할 수 있게 된다. 사용자는 이에 응하여 키보드 장치나 터치 스크린과 같은 입력부(150)를 조작하여 응답을 입력할 수 있다. 따라서, 대화 처리부(270)가 부재하는 경우에도, 사용자와 차량(10) 간의 대화가 가능해진다.
애플리케이션 구동부(295)는, 구동 가능하게 설정된 애플리케이션을 구동시켜 차량(10) 또는 차량(10)에 설치된 각종 장치가 소정의 동작을 수행하도록 할 수 있다. 여기서 애플리케이션은, 차량(10) 내에서 구동 가능한 것들을 포함할 수 있으며, 예를 들어, 내비게이션 애플리케이션, 통화 애플리케이션, 사운드 재생 애플리케이션, 정지 화상 표시 애플리케이션, 동화상 재생 애플리케이션, 정보 제공 애플리케이션, 라디오 애플리케이션, 차량 관리 애플리케이션, 디지털 미디어 방송 재생 애플리케이션 또는 후진 보조 애플리케이션 등을 포함할 수 있으나, 이에 한정되지는 않는다.
애플리케이션 구동부(295)는, 목표 동작 결정부(240)에 의해 결정된 목표 동작, 시나리오 결정부(268)에 의해 결정된 시나리오 및 대화 처리부(270)에 의해 출력되는 사용자의 응답 중 적어도 하나를 기반으로, 적어도 하나의 애플리케이션을 구동시키거나, 적어도 하나의 애플리케이션의 설정 정보를 정정하거나, 및/또는 적어도 하나의 애플리케이션의 동작을 중단시킬 수 있다.
이하 상황 기반 대화 개시 시스템의 일 실시예에 대해 설명한다.
도 14는 상황 기반 대화 개시 시스템의 일 실시예를 도시한 도면이다.
상황 기반 대화 개시 시스템(600)은, 도 14에 도시된 바와 같이, 차량(10)과, 차량(10)과 통신 가능하게 연결된 단말 장치(610)와, 단말 장치(610)와 통신 가능하게 연결된 서버 장치(650)를 이용하여 구현될 수 있다.
차량(10)과 단말 장치(610)는 근거리 통신 기술을 이용하여 상호 통신을 수행할 수 있다. 예를 들어, 차량(10)과 단말 장치(610)는 블루투스 기술이나 엔에프씨 기술을 이용하여 상호 통신을 수행할 수 있다. 차량(10)에 의해 획득된 상황 정보는 차량(10)과 단말 장치(610) 사이에 형성된 근거리 통신 네트워크를 통하여 단말 장치(610)로 전송될 수 있다.
단말 장치(610)와 서버 장치(650)는 유선 통신 네트워크 또는 무선 통신 네트워크를 통해 상호 통신을 수행할 수 있다. 단말 장치(610)는 차량(10)에 의해 획득된 상황 정보를 서버 장치(650)로 전송하고, 서버 장치(650)의 처리 결과에 따라 획득된 목표 동작, 시나리오 또는 각종 제어 신호 등을 수신할 수 있다. 수신된 목표 동작, 시나리오 또는 각종 제어 신호 등은, 필요에 따라, 차량(10)으로 전달될 수 있다. 차량(10)은 수신된 목표 동작 또는 시나리오에 따라 음성 출력 등의 동작할 수 있다. 실시예에 따라, 단말 장치(610)가 수신된 목표 동작, 시나리오 또는 각종 제어 신호에 대응하는 동작을 수행하는 것도 가능하다. 예를 들어, 단말 장치(610)가 상술한 대화 처리부(270)의 동작을 수행할 수도 있다.
서버 장치(650)는, 차량(10)의 동작과 관련된 각종 연산, 처리 및 제어를 수행할 수 있다. 서버 장치(650)는 프로세서(651) 및 저장부(653)를 포함할 수 있다.
프로세서(651)는 상술한 바와 같이, 차량(10)으로부터 전달된 상황 정보를 기반으로 목표 동작을 결정할 수 있다. 이 경우, 프로세서(651)는 맥락 데이터를 획득하고, 기 저장된 각종 이력을 기반으로 상황 분석 모델을 획득하고, 맥락 데이터와 상황 분석 모델을 이용하여 목표 동작을 결정할 수 있다. 또한, 프로세서(651)는 목표 동작에 대응하는 시나리오를 결정할 수도 있다. 상술한 바와 같이 획득된 목표 동작 또는 시나리오는 단말 장치(610)로 전송될 수 있다. 또한, 프로세서(651)는, 출력된 음성에 대응하는 사용자의 응답에 따라 차량(10)의 동작을 결정하고, 결정된 동작에 대한 제어 신호를 생성하여 단말 장치(610)로 전송할 수도 있다.
저장부(653)는, 상황 분석 모델 등과 같이 프로세서(651)의 동작에 필요한 각종 정보를 저장 가능하다.
프로세서(651) 및 저장부(653)의 구조, 동작 또는 이들의 예시 등은, 차량(10)의 프로세서(200) 및 저장부(400)의 구조, 동작 또는 이들의 예시와 동일하거나 일부 변형된 형태로 구현될 수 있으므로, 이하 자세한 내용은 생략한다.
실시예에 따라서, 단말 장치(610)는 생략될 수 있다. 이 경우, 차량(10)은 차량(10)에 마련된 이동 통신부(도 4의 176)을 이용하여 서버 장치(650)와 직접 통신을 수행할 수 있으며, 상황 정보를 직접 서버 장치(650)로 전송하고, 서버 장치(650)로부터 목표 동작, 시나리오 또는 각종 제어 신호를 수신할 수 있다.
이하 도 15 내지 도 20을 참조하여 상황 기반 대화 개시 방법에 대해 설명하도록 한다.
도 15는 상황 기반 대화 개시 방법의 일 실시예에 대한 흐름도이다.
도 15에 도시된 상황 기반 대화 개시 방법의 일 실시예를 참조하면, 먼저 상황 정보가 상황 기반 대화 개시 장치(일례로 차량)에 마련된 상황 정보 수집부에 의해 수집된다(700). 여기서 상황 정보는, 예를 들어, 사용자의 동작, 사용자의 동작 패턴, 차량의 주행 상태, 차량 주변 환경, 현재 시각, 차량의 현 위치, 차량에 설치된 장치들의 상태 또는 동작, 통신 네트워크를 통하여 외부로부터 수신되는 정보 및 사용자 또는 프로세서에 의해 이전에 획득된 정보 중 적어도 하나를 포함할 수 있다.
상황 정보 수집부는 주기적으로 또는 미리 정의된 설정에 따라서 상황 정보를 수집할 수 있다.
상황 정보 수집부는 소정의 트리거에 의해 상황 정보를 수집을 개시할 수도 있다. 이와 같은 트리거로는, 예를 들어, 사용자의 동작, 차량 기반 대화 개시 장치, 일례로 차량 상태의 변화, 주변 환경이나 주행 환경의 변화, 특정 시간의 도래, 장소의 변경, 설정 정보의 변경, 내부 환경의 변경 및 주변 장치의 처리 결과의 변경 중 적어도 하나를 포함 가능하다.
상황 정보가 수집되면 상황 정보로부터 맥락 데이터가 획득될 수 있다(701). 맥락 데이터는 둘 이상이 획득되는 것도 가능하며, 둘 이상의 맥락 데이터는 일한 또는 서로 상이한 상황 정보로부터 획득된 것일 수도 있다. 서로 연관된 복수의 맥락 데이터가 획득된 경우, 복수의 맥락 데이터는 조합된 후 처리될 수도 있다.
맥락 데이터의 획득과 동시에 또는 이시에 상황 분석 모델이 획득될 수 있다(702). 상황 분석 모델은 축적된 이력 정보를 기반으로 소정의 학습 방법을 통하여 획득되는 것일 수 있다. 여기서 소정의 학습 방법은 규칙 기반 학습 및 모델 기반 학습 중 적어도 하나를 포함 가능하다. 이력 정보는 사용자의 상황 기반 대화 개시 장치(1) 또는 이와 관련된 장치의 사용 이력을 포함할 수 있다. 또한, 이력 정보는 사용자의 상황 기반 대화 개시 장치(1)의 목표 동작 결정 결과에 이력을 포함할 수도 있다.
맥락 데이터 및 상황 분석 모델이 획득되면, 맥락 데이터 및 상황 분석 모델을 이용하여 목표 동작이 결정될 수 있으며, 필요에 따라 목표 동작에 대응하는 시나리오가 더 결정될 수 있다(703). 구체적으로 맥락 데이터를 상황 분석 모델에 대입하고 상황 분석 모델에서 출력되는 결과 값을 획득함으로써 목표 동작이 결정될 수 있다.
목표 동작 및 시나리오 중 적어도 하나가 결정되면, 목표 동작 및 시나리오에 대응하는 대화 개시문이 생성되고 시각적 또는 청각적으로 사용자에게 제공될 수 있다(704). 이에 따라 상황 기반 대화 개시 장치와 사용자 간의 대화가 시작될 수 있게 된다.
아울러 목표 동작의 결정 결과, 이에 대한 사용자의 응답 및 사용자의 응답에 따른 동작 중 적어도 하나는, 이력 정보에 부가되고, 이에 따라 이력 정보는 갱신될 수 있다(705). 이력 정보는 추후 상황 분석 모델의 획득 과정에 이용될 수 있다(702).
이하 도 16 내지 도 20을 참조하여, 상황 기반 대화 개시 방법의 구체적인 일례들에 대해 설명한다.
도 16은 사용자의 행동을 기반으로 대화가 개시되는 방법의 일 실시예에 대한 흐름도로, 예를 들어 사용자가 내비게이션 장치에 목적지를 설정하는 행동을 취한 경우에 대화가 개시되는 방법의 일례를 도시한 것이다.
도 16에 도시된 바를 참조하면, 사용자가 내비게이션 장치를 조작하여 목적지를 설정하면(710), 이에 응하여 내비게이션 장치는 경로 및 예상 주행 거리를 결정할 수 있다(711).
내비게이션 장치의 동작에 응하여, 상황 정보가 획득될 수 있다(712). 여기서, 상황 정보는, 예를 들어, 예상 주행 거리 및 잔여 연료량을 포함할 수 있다. 예상 주행 거리는 내비게이션 장치에 의해 획득되고, 잔여 연료량은 연료 센서에 의해 획득 가능하다.
잔여 연료량이 획득되면 잔여 연료량에 대응하는 주행 가능 거리가 연산되고, 주행 가능 거리가 예상 주행 거리와 비교된다(713). 만약 주행 가능 거리가 예상 주행 거리보다 큰 경우(713의 아니오), 이후 과정은 생략되고, 이와 관련된 대화는 개시되지 않는다.
반대로 주행 가능 거리가 예상 주행 거리보다 작은 경우(713의 예), 주유소를 선택하기 위하여 별도로 마련된 상황 분석 모델을 기반으로 목표 동작이 결정될 수 있으며, 필요에 따라 목표 동작에 대응하는 시나리오가 결정될 수 있다(714). 여기서, 목표 동작은 주유소를 경유지로 경로에 추가하는 동작일 수 있다.
목표 동작 및/또는 시나리오가 주유소를 경유지로 추가하는 동작으로 결정되면, 이에 대응하여 경로에 상황 분석 모델에 따라 선택된 주유소를 추가할 것이냐에 대한 대화 개시문이 생성되고, 대화 개시문은 시각적 또는 청각적으로 출력되어 사용자에게 제공된다(715).
이에 따라, 연료 부족에 따라 주유소의 경로 추가와 관련된 대화가 개시 및 진행된다(716). 한편, 결정 결과나 이에 대한 사용자의 응답에 대응하는 동작은 이력 정보에 부가되어 저장될 수 있으며, 상황 분석 모델을 생성하는데 이용된다.
도 17은 차량 주행 중 차량에 발생된 특정 상황을 기반으로 대화가 개시되는 방법의 일 실시예에 대한 흐름도이다. 도 17은 차량이 터널이 근접한 경우에 대화가 개시되는 일례를 도시한 것이다.
도 16에 도시된 바를 참조하면, 내비게이션 장치 등에 의해 차량의 위치가 판단되고, 이에 따라 차량의 위치에 대한 상황 정보가 획득된다(721).
이어서 지도 등을 참조하여 주행 중인 차량의 전방에 터널이 존재하는지 여부가 판단될 수 있으며, 따라서 터널의 존재 여부에 대한 상황 정보가 획득된다(721).
만약 차량의 전방에 터널이 존재하지 않는 경우(721의 아니오), 이하 서술하는 과정은 생략될 수 있으며, 이에 따라 터널 존재와 관련된 대화는 개시되지 않는다.
또한, 차량의 상태에 대한 상황 정보 역시 수집될 수 있다(723). 예를 들어, 차량의 윈도우 개방 여부나, 공조 장치의 동작 모드 등이 판단될 수 있다.
차량 위치 판단(721), 차량 전방에 터널 존재 여부의 판단(722) 및 차량의 상태에 대한 상황 정보의 수집(723)은 동시에 수행될 수도 있고, 순차적으로 수행될 수도 있다. 순차적으로 수행되는 경우, 차량 위치 판단(721)이 가장 먼저 수행될 수도 있고, 또는 차량의 상태에 대한 상황 정보의 수집(723)이 가장 먼저 수행될 수도 있다.
획득된 여러 상황 정보 중에서 터널 존재 여부 및 차량 상태에 대한 정보는 맥락 데이터로 추출되고, 이들 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작 및/또는 시나리오가 결정될 수 있다(724). 여기서, 목표 동작은, 윈도우의 폐쇄 동작 및 공조 장치의 내기 모드 동작 중 적어도 하나를 포함할 수 있다.
목표 동작 및/또는 시나리오가 결정되면, 이에 대응하여 윈도우의 폐쇄 동작 및 공조 장치의 내기 모드 동작 중 적어도 하나에 대한 대화 개시문이 생성되고, 시각적 또는 청각적으로 출력되어 사용자에게 제공될 수 있다(725). 이에 따라 사용자와 상황 기반 대화 개시 장치와의 대화가 개시된다.
사용자는 대화 개시문을 청취하고 이에 응하여 응답을 발화할 수 있다(726).
상황 기반 대화 개시 장치는 응답을 수신하고 응답에 대응하여 제어 신호를 생성할 수 있다. 만약 사용자의 응답이 대화 개시문에 포함된 제안에 동의하는 것이라면, 윈도우의 폐쇄 동작 및 공조 장치의 내기 모드 동작 중 적어도 하나에 대한 제어 신호가 생성되고, 이에 따라 윈도우가 폐쇄되거나, 및/또는 공조 장치의 동작 모드가 내기 모드로 변경될 수 있다.
결정 결과나 이에 대한 사용자의 응답에 대한 이력은 별도로 저장되어 추후 상황 분석 모델을 생성하는데 이용될 수 있다.
도 18은 사용자의 사용 패턴을 기반으로 대화가 개시되는 방법의 일 실시예에 대한 흐름도이다. 도 18은 특정 시간이 도래한 경우 사용자의 헤드 유닛의 사용 패턴을 기반으로 대화가 개시되는 일례를 도시한 것이다.
도 18에 도시된 바를 참조하면, 현재 시각에 대한 정보가 상황 정보로 획득된다(731).
현재 시각에 대한 정보는 맥락 데이터로 추출되고, 현재 시각에 대한 정보와, 특정 시간대에서의 사용자의 사용 패턴에 관련된 상황 분석 모델을 기반으로 목표 동작 및/또는 시나리오가 결정된다(732). 예를 들어, 목표 동작은, 헤드 유닛의 동작 개시 및/또는 헤드 유닛의 현재의 주파수가 다른 주파수로 변경 동작 등을 포함 가능하다.
목표 동작 및/또는 시나리오가 결정되면, 이에 대응하여 대화가 개시된다(733). 구체적으로는 헤드 유닛의 동작에 대화 개시문이 생성되고, 생성된 대화 개시문이 시각적 또는 청각적으로 사용자에게 제공됨으로써 대화가 개시될 수 있다.
사용자는 대화 개시문을 청취하고 이에 응하여 응답을 발화할 수 있으며, 상황 기반 대화 개시 장치는 응답을 수신하고 응답에 대응하여 제어 신호를 생성할 수 있다(734). 예를 들어, 헤드 유닛은 특정 주파수의 라디오 방송을 수신할 수 있도록 동작하게 된다.
상술한 바와 동일하게, 결정 결과나 이에 대한 사용자의 응답에 대한 이력은 별도로 저장되어 추후 상황 분석 모델을 생성하는데 이용될 수 있다.
도 19는 차량에 마련된 장치의 동작 개시에 따라서 대화가 개시되는 방법의 일 실시예에 대한 흐름도이다. 도 19는 상황 기반 대화 개시 장치가 차량인 경우, 새로운 단말 장치의 연결에 따라 대화를 개시하는 과정의 일례를 도시한 것이다.
만약 단말 장치가 블루투스를 통하여 차량의 근거리 통신 모듈에 연결되면, 근거리 통신 모듈은 단말 장치의 연결에 응하여 전기적 신호를 출력한다(741). 이 경우, 단말 장치의 연결에 응하여 출력되는 전기적 신호는 상황 정보로 이용될 수 있다.
또한, 단말 장치와 차량 사이의 연결과 동시에 또는 이시에 적어도 하나의 사용자를 포함하는 차량 내부에 대한 영상이 획득된다(742). 영상의 획득은 단말 장치와 차량사이의 블루투스 연결에 선행하여 수행되는 것도 가능하다. 적어도 하나의 사용자에 대한 영상은 운전자가 누구인지 여부를 식별하는데 이용될 수 있다.
만약 연결된 단말 장치가 기존에 연결 이력이 존재하는 단말 장치이고, 이에 따라 단말 장치의 사용자가 판단 가능한 상태라면(743의 예), 판단 결과에 따라서 별도의 단말 장치의 등록 과정 없이 단말 장치와 상황 기반 대화 개시 장치 사이의 연결이 형성된다.
반대로 만약 연결된 단말 장치가 기존에 연결 이력이 존재하지 않는 신규 단말 장치이고, 이에 따라 단말 장치의 사용자가 판단 가능한 상태가 아니라면(743의 아니오), 단말 장치가 사용자가 판단 가능한 상태가 아니라는 정보는 상황 정보로 이용되고 또한 맥락 데이터로 추출될 수 있다.
단말 장치의 등록과 관련된 상황 분석 모델을 기반으로 목표 동작 및/또는 시나리오가 결정된다(745). 이 경우, 만약 상황 분석 모델을 이용한 결과, 통상적으로 단말 장치를 연결한 탑승자는 운전자라는 결과가 획득되면, 목표 동작은 신규로 연결된 단말 장치를 운전자의 단말 장치인 것으로 확인 및 결정하는 동작으로 결정될 수 있으며, 또한 운전자가 특정인으로 식별되면 목표 동작은 신규로 연결된 단말 장치를 특정인의 단말 장치인 것으로 확인 및 결정하는 동작으로 결정될 수도 있다.
목표 동작 및/또는 시나리오가 결정되면, 이에 대응하여 대화 개시문, 즉 현재 연결된 단말 장치가 운전자 소유의 단말 장치인지 여부를 질의하는 대화 개시문이 생성되고, 생성된 대화 개시문은 외부로 출력되어, 차량과 사용자 간의 대화가 개시된다(746). 결정 결과는 이력 정보에 부가되어 추후 상황 분석 모델을 생성하는데 이용될 수 있다.
사용자에 의해 응답이 수신되면, 이에 응하여 상황 기반 대화 개시 장치는 새로운 단말 장치를 운전자의 단말 장치로 등록할 수도 있다. 만약 새로운 단말 장치가 운전자의 단말 장치가 아닌 경우라면, 새로운 단말 장치에 대한 소유주에 대한 정보 입력 요청 메시지를 출력할 수도 있다.
도 20은 차량에 마련된 장치의 동작 개시에 따라서 대화가 개시되는 방법의 다른 실시예에 대한 흐름도이다. 상황 기반 대화 개시 장치가 차량인 경우, 연결 가능한 단말 장치 중 운전자의 단말 장치와 차량 사이의 유선 또는 무선 연결을 위해 대화를 개시하는 과정의 일례를 도시한 것이다.
도 20에 도시된 바와 같이 기존에 단말기가 연결된 이력이 존재하여 단말기 연결 이력이 검출 가능한 경우(751), 차량은 필요에 따라 차량 내부의 사용자, 즉 운전자 및 동승자에 대한 영상을 획득하고(752), 영상을 분석하여 차량의 운전자를 결정한다(753).
순차적으로 차량은, 케이블이나 무선 통신 네트워크(일례로 블루투스) 등을 이용하여 연결 가능한 단말 장치가 존재하는지 판단할 수 있다(754). 만약 연결 가능한 단말 장치가 존재하지 않는 경우에는 단말 장치의 연결을 위한 동작은 중단된다(754의 아니오).
만약 연결 가능한 단말 장치가 존재하고(754의 예), 연결 가능한 단말 장치의 개수가 2보다 작은 경우(즉, 연결 가능한 단말 장치의 개수가 1인 경우)에는 연결 가능한 하나의 단말 장치와 차량이 연결된다(759). 이 경우, 차량은 단말 장치와의 연결 여부를 사용자에게 질의할 수도 있고, 또는 별도로 마련된 상황 분석 모델을 기반으로 단말 장치와의 연결 여부에 대한 대화 개시문을 생성할 수도 있다.
만약 연결 가능한 단말 장치가 복수인 경우, 상황 분석 모델을 이용하여 목표 동작 및/또는 시나리오가 결정될 수 있다(756). 구체적으로, 상황 분석 모델을 이용하여 차량과 어느 단말 장치를 서로 연결할지 여부를 결정할 수 있다. 예를 들어, 상황 분석 모델에는 단말 장치가 복수라는 맥락 데이터가 입력될 수 있으며 상황 분석 모델은 이에 응하여 주로 운전자의 단말 장치가 차량에 연결된다는 결과를 출력할 수 있다.
이에 따라 운전자의 단말 장치를 차량과 유선 케이블 또는 무선 통신 네트워크를 통하여 연결할 것인지 여부를 질의하는 대화 개시문이 생성되고, 생성된 대화 개시문은 음성 출력부 또는 표시부를 통하여 외부로 출력된다. 이에 따라 차량과 사용자 사이의 대화가 개시될 수 있게 된다(757).
사용자에 의해 응답이 수신되면, 이에 응하여 제어 신호가 생성되고, 차량은 목표 동작에 대응하는 동작을 수행하게 된다(758). 예를 들어, 사용자가 대화 개시문을 통해 제시된 제안에 동의하는 경우 운전자의 단말 장치와 차량의 연결 동작이 수행되고, 반대로 제시된 제안에 동의하지 않는 경우 운전자의 단말 장치와 차량의 연결 동작은 수행되지 않는다.
상황 기반 대화 개시 방법은, 동일하게 또는 일부 변형을 거쳐 차량의 제어 방법에도 적용 가능하다.
상술한 실시예에 따른 상황 기반 대화 개시 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 차량 충전 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다.
상황 기반 대화 개시 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 하드 디스크나 플로피 디스크와 같은 자기 디스크 저장 매체, 자기 테이프, 컴팩트 디스크나 디브이디와 같은 광 기록 매체, 플롭티컬 디스크와 같은 자기-광 기록 매체 및 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 다양한 종류의 하드웨어 장치를 포함할 수 있다.
이상 상황 기반 대화 개시 장치, 시스템, 차량 및 방법의 여러 실시예에 대해 설명하였으나, 상황 기반 대화 개시 장치, 시스템, 차량 및 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 실시예 역시 상술한 상황 기반 대화 개시 장치, 시스템, 차량 및 방법의 일례가 될 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나 다른 구성 요소 또는 균등물에 의하여 대치되거나 또는 치환되더라도 상술한 상황 기반 대화 개시 장치, 시스템, 차량 및 방법과 동일하거나 유사한 결과가 획득될 수 있다.
1: 상황 기반 대화 개시 장치 10: 차량
90: 상황 정보 수집부 200: 프로세서
400: 저장부 500: 출력부

Claims (22)

  1. 상황 정보를 수집하는 상황 정보 수집부;
    상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하고, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하고, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 프로세서; 및
    상기 발화 내용을 시각적으로 또는 청각적으로 출력하는 출력부;를 포함하는 상황 기반 대화 개시 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 사용자의 사용 이력을 이용하거나 또는 상기 목표 동작의 결정 결과에 대한 이력을 이용하여 학습을 수행하고, 학습 결과를 기반으로 상기 상황 분석 모델을 생성하는 상황 기반 대화 개시 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 규칙 기반 학습 및 모델 기반 학습 중 적어도 하나를 기반으로 상기 학습을 수행하여 상기 상황 분석 모델을 생성하는 상황 기반 대화 개시 장치.
  4. 제1항에 있어서,
    상기 상황 정보 수집부는, 복수의 상황 정보를 수집하고,
    상기 프로세서는, 상기 복수의 상황 정보 중 상호 연관된 적어도 두 개의 맥락 데이터를 추출하고, 상기 적어도 두 개의 맥락 데이터 및 상기 상황 분석 모델을 기반으로 상기 목표 동작을 결정하는 상황 기반 대화 개시 장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 목표 동작의 결정 결과에 따라 상기 목표 동작에 대응하는 동작 주체의 동작 시나리오를 결정하는 상황 기반 대화 개시 장치.
  6. 제5항에 있어서,
    상기 동작 주체는 적어도 하나의 애플리케이션을 포함하고,
    상기 프로세서는 상기 목표 동작의 결정 동작에 따라서 상기 애플리케이션의 설정을 변경하고, 상기 애플리케이션을 구동하는 상황 기반 대화 개시 장치.
  7. 제1항에 있어서,
    상기 상황 정보는, 사용자의 동작, 사용자의 동작 패턴, 차량의 주행 상태, 차량 주변 환경, 현재 시각, 차량의 현 위치, 차량에 설치된 장치들의 상태 또는 동작, 통신 네트워크를 통하여 외부로부터 수신되는 정보 및 사용자 또는 프로세서에 의해 이전에 획득된 정보 중 적어도 하나를 포함하는 상황 기반 대화 개시 장치.
  8. 제1항에 있어서,
    상기 프로세서는, 미리 정의된 이벤트가 발생된 경우, 상기 상황 정보로부터 맥락 데이터의 획득을 개시하는 상황 기반 대화 개시 장치.
  9. 제8항에 있어서,
    상기 이벤트는, 사용자의 동작, 차량 상태의 변화, 주행 환경의 변화, 특정 시간의 도래, 장소의 변경, 설정 정보의 변경, 내부 환경의 변경 및 주변 장치의 처리 결과의 변경 중 적어도 하나를 포함하는 상황 기반 대화 개시 장치.
  10. 제1항에 있어서,
    상기 발화 내용을 출력한 후 사용자의 음성을 수신하는 음성 수신부;를 더 포함하고,
    상기 프로세서는 상기 음성에 대한 분석 결과를 기반으로 상기 목표 동작에 대한 제어 신호를 생성하는 상황 기반 대화 개시 장치.
  11. 상황 정보를 수집하는 단계;
    상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하는 단계;
    상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하는 단계;
    목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 단계; 및
    상기 발화 내용을 시각적으로 또는 청각적으로 출력하는 단계;를 포함하는 상황 기반 대화 개시 방법.
  12. 제11항에 있어서,
    상기 목표 동작의 결정 결과에 대한 이력을 저장하는 단계; 및
    상기 목표 동작의 결정 결과에 대한 이력을 이용하여 학습을 수행하고, 학습 결과를 기반으로 상기 상황 분석 모델을 생성하는 단계;를 더 포함하는 상황 기반 대화 개시 방법.
  13. 제11항에 있어서,
    상기 학습을 수행하는 단계는, 규칙 기반 학습 및 모델 기반 학습 중 적어도 하나를 기반으로 상기 학습을 수행하는 단계;를 포함하는 상황 기반 대화 개시 방법.
  14. 제11항에 있어서,
    상기 상황 정보를 수집하는 단계는, 복수의 상황 정보를 수집하는 단계;를 포함하고,
    상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하는 단계는, 상기 복수의 상황 정보 중 상호 연관된 적어도 두 개의 맥락 데이터를 추출하는 단계;를 포함하는 상황 기반 대화 개시 방법.
  15. 제11항에 있어서,
    상기 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 단계는,
    상기 목표 동작의 결정 결과에 따라 상기 목표 동작에 대응하는 동작 주체의 동작 시나리오를 결정하는 단계;를 포함하는 상황 기반 대화 개시 방법.
  16. 제15항에 있어서,
    상기 동작 주체는 적어도 하나의 애플리케이션을 포함하고,
    상기 상기 목표 동작의 결정 결과에 따라 상기 목표 동작에 대응하는 동작 주체의 동작 시나리오를 결정하는 단계는,
    상기 목표 동작의 결정 동작에 따라서 상기 애플리케이션의 설정을 변경하고, 상기 애플리케이션이 변경된 설정에 따라 구동되는 단계;를 포함하는 상황 기반 대화 개시 방법.
  17. 제11항에 있어서,
    상기 상황 정보는, 사용자의 동작, 사용자의 동작 패턴, 차량의 주행 상태, 차량 주변 환경, 현재 시각, 차량의 현 위치, 차량에 설치된 장치들의 상태 또는 동작, 통신 네트워크를 통하여 외부로부터 수신되는 정보 및 사용자 또는 프로세서에 의해 이전에 획득된 정보 중 적어도 하나를 포함하는 상황 기반 대화 개시 방법.
  18. 제11항에 있어서,
    상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하는 단계는, 미리 정의된 트리거가 발생된 이후에 수행되는 상황 기반 대화 개시 방법.
  19. 제18항에 있어서,
    상기 트리거는, 사용자의 동작, 차량 상태의 변화, 주행 환경의 변화, 특정 시간의 도래, 장소의 변경, 설정 정보의 변경, 내부 환경의 변경 및 주변 장치의 처리 결과의 변경 중 적어도 하나를 포함하는 상황 기반 대화 개시 방법.
  20. 제11항에 있어서,
    상기 발화 내용을 출력한 후 사용자의 음성을 수신하는 단계; 및
    상기 음성에 대한 분석 결과를 기반으로 상기 목표 동작에 대한 제어 신호를 생성하는 단계;를 더 포함하는 상황 기반 대화 개시 방법.
  21. 상황 정보를 수집하는 상황 정보 수집부;
    상기 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하고, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하고, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 프로세서; 및
    상기 발화 내용을 시각적으로 또는 청각적으로 출력하는 출력부;를 포함하는 차량.
  22. 상황 정보를 수집하는 차량;
    상기 차량과 직간접적으로 통신 가능하게 연결되고, 상기 상황 정보를 수신하고, 상기 제1 상황 정보로부터 현재의 상황 분석을 위한 맥락 데이터를 획득하고, 상기 맥락 데이터 및 상황 분석 모델을 기반으로 목표 동작을 결정하고, 목표 동작의 결정 결과에 따라 출력할 발화 내용을 결정하는 서버 장치;를 포함하되,
    상기 차량은 상기 서버 장치에 의해 결정된 발화 내용을 시각적으로 또는 청각적으로 출력하는 상황 기반 대화 개시 시스템.
KR1020170066535A 2017-05-30 2017-05-30 상황 기반 대화 개시 장치, 시스템, 차량 및 방법 KR20180130672A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170066535A KR20180130672A (ko) 2017-05-30 2017-05-30 상황 기반 대화 개시 장치, 시스템, 차량 및 방법
US15/804,764 US20180350366A1 (en) 2017-05-30 2017-11-06 Situation-based conversation initiating apparatus, system, vehicle and method
CN201711159418.7A CN108989541A (zh) 2017-05-30 2017-11-20 基于情境的会话启动装置、系统、车辆和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170066535A KR20180130672A (ko) 2017-05-30 2017-05-30 상황 기반 대화 개시 장치, 시스템, 차량 및 방법

Publications (1)

Publication Number Publication Date
KR20180130672A true KR20180130672A (ko) 2018-12-10

Family

ID=64459894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170066535A KR20180130672A (ko) 2017-05-30 2017-05-30 상황 기반 대화 개시 장치, 시스템, 차량 및 방법

Country Status (3)

Country Link
US (1) US20180350366A1 (ko)
KR (1) KR20180130672A (ko)
CN (1) CN108989541A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110435660A (zh) * 2019-08-13 2019-11-12 东风小康汽车有限公司重庆分公司 一种车辆驾驶情景模式的自动控制方法及装置
WO2021075909A1 (ko) * 2019-10-18 2021-04-22 삼성전자 주식회사 전자 장치 및 이의 음성 인식 기능 구동 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10449930B1 (en) * 2018-06-07 2019-10-22 International Business Machines Corporation Cloud based cognitive radio frequency intrusion detection audit and reporting
KR102506877B1 (ko) * 2018-09-03 2023-03-08 현대자동차주식회사 군집 주행 제어 장치, 그를 포함한 시스템 및 그 방법
KR102681637B1 (ko) * 2018-12-13 2024-07-05 현대자동차주식회사 문제소음 발음원 식별을 위한 소음데이터의 인공지능 장치 및 전처리 방법
US11087749B2 (en) * 2018-12-20 2021-08-10 Spotify Ab Systems and methods for improving fulfillment of media content related requests via utterance-based human-machine interfaces
CN111382276B (zh) * 2018-12-29 2023-06-20 中国科学院信息工程研究所 一种事件发展脉络图生成方法
CN111483470B (zh) * 2019-01-25 2023-09-08 斑马智行网络(香港)有限公司 车辆交互系统、车辆交互方法、计算设备以及存储介质
US11402222B2 (en) * 2019-02-25 2022-08-02 Verizon Patent And Licensing Inc. Route determination based on fuel stops and waypoints that are part of route restrictions
US11361595B2 (en) * 2019-03-14 2022-06-14 Ford Global Technologies, Llc Systems and methods for providing predictive distance-to-empty for vehicles
JP7286368B2 (ja) * 2019-03-27 2023-06-05 本田技研工業株式会社 車両機器制御装置、車両機器制御方法、およびプログラム
CN110065455A (zh) * 2019-04-24 2019-07-30 深圳市麦谷科技有限公司 车载功能智能启动方法、装置、计算机设备及存储介质
CN112307813A (zh) * 2019-07-26 2021-02-02 浙江吉智新能源汽车科技有限公司 一种智能虚拟管家系统及车辆
US11069357B2 (en) * 2019-07-31 2021-07-20 Ebay Inc. Lip-reading session triggering events
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11042350B2 (en) * 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
CN110765316B (zh) * 2019-08-28 2022-09-27 刘坚 一种小学教科书特色编排方法
US11090986B1 (en) * 2020-04-07 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle tire pressure learning system and method
CN112172827B (zh) * 2020-06-24 2022-12-02 上汽通用五菱汽车股份有限公司 辅助驾驶系统控制方法、装置、设备及存储介质
JP7547979B2 (ja) * 2020-12-14 2024-09-10 株式会社Ｊｖｃケンウッド 車両用ハンズフリー制御装置、及び車両用ハンズフリー制御装置が実行する方法
CN113335205B (zh) * 2021-06-09 2022-06-03 东风柳州汽车有限公司 语音唤醒方法、装置、设备及存储介质
CN117203703A (zh) * 2021-06-30 2023-12-08 华为技术有限公司 一种播报文本生成的方法、装置和电子设备
CN114121033B (zh) * 2022-01-27 2022-04-26 深圳市北海轨道交通技术有限公司 基于深度学习的列车广播语音增强方法和系统
CN114708744B (zh) * 2022-03-22 2023-06-09 燕山大学 一种基于融合交通信息的车辆启动优化控制方法与装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093158A1 (en) * 2009-10-21 2011-04-21 Ford Global Technologies, Llc Smart vehicle manuals and maintenance tracking system
US9091559B2 (en) * 2010-06-17 2015-07-28 International Business Machines Corporation Managing electrical power utilization in an electric vehicle
FR2979030B1 (fr) * 2011-08-11 2013-08-02 Renault Sa Procede d'assistance d'un utilisateur d'un vehicule automobile, systeme multimedia et vehicule automobile
US20130203400A1 (en) * 2011-11-16 2013-08-08 Flextronics Ap, Llc On board vehicle presence reporting module
CN106462909B (zh) * 2013-12-20 2020-07-10 罗伯特·博世有限公司 用于启用对话的上下文相关的和以用户为中心的内容呈现的系统和方法
GB2529997B (en) * 2014-05-01 2019-01-02 Jaguar Land Rover Ltd Vehicle communication system with occupant monitoring
US9234764B2 (en) * 2014-05-20 2016-01-12 Honda Motor Co., Ltd. Navigation system initiating conversation with driver
CN104537913B (zh) * 2014-12-29 2017-04-26 中国铁路总公司 用于高速铁路行车指挥调度的培训与演练模拟方法
DE102015211101A1 (de) * 2015-06-17 2016-12-22 Volkswagen Aktiengesellschaft Spracherkennungssystem sowie Verfahren zum Betreiben eines Spracherkennungssystems mit einer mobilen Einheit und einem externen Server
GB2542560B (en) * 2015-09-21 2019-02-20 Jaguar Land Rover Ltd Vehicle interface apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110435660A (zh) * 2019-08-13 2019-11-12 东风小康汽车有限公司重庆分公司 一种车辆驾驶情景模式的自动控制方法及装置
WO2021075909A1 (ko) * 2019-10-18 2021-04-22 삼성전자 주식회사 전자 장치 및 이의 음성 인식 기능 구동 방법

Also Published As

Publication number Publication date
CN108989541A (zh) 2018-12-11
US20180350366A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
KR20180130672A (ko) 상황 기반 대화 개시 장치, 시스템, 차량 및 방법
CN108242236B (zh) 对话处理装置及其车辆和对话处理方法
KR20180086718A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US11443747B2 (en) Artificial intelligence apparatus and method for recognizing speech of user in consideration of word usage frequency
US10950233B2 (en) Dialogue system, vehicle having the same and dialogue processing method
EP3570276B1 (en) Dialogue system, and dialogue processing method
US10861460B2 (en) Dialogue system, vehicle having the same and dialogue processing method
JP6612707B2 (ja) 情報提供装置
KR20200000155A (ko) 대화 시스템 및 이를 이용한 차량
US11211059B2 (en) Artificial intelligence apparatus and method for recognizing speech with multiple languages
CN109102801A (zh) 语音识别方法和语音识别装置
KR20190011458A (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
US10573308B2 (en) Apparatus and method for determining operation based on context, vehicle for determining operation based on context, and method of controlling the vehicle
US20230315997A9 (en) Dialogue system, a vehicle having the same, and a method of controlling a dialogue system
KR102487669B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20200006738A (ko) 대화 시스템 및 대화 처리 방법
CN111717142A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN110562260A (zh) 对话系统和对话处理方法
US20210303263A1 (en) Dialogue system and vehicle having the same, and method of controlling dialogue system
KR20200000621A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20190031935A (ko) 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법
CN114690896A (zh) 信息处理装置、信息处理方法及存储介质
KR102594310B1 (ko) 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
US20220208213A1 (en) Information processing device, information processing method, and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application