KR102426824B1 - 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 - Google Patents

대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 Download PDF

Info

Publication number
KR102426824B1
KR102426824B1 KR1020170148117A KR20170148117A KR102426824B1 KR 102426824 B1 KR102426824 B1 KR 102426824B1 KR 1020170148117 A KR1020170148117 A KR 1020170148117A KR 20170148117 A KR20170148117 A KR 20170148117A KR 102426824 B1 KR102426824 B1 KR 102426824B1
Authority
KR
South Korea
Prior art keywords
stimulus
user
speech
dialogue
situation
Prior art date
Application number
KR1020170148117A
Other languages
English (en)
Other versions
KR20190052434A (ko
Inventor
박정미
한지민
이지아
김계윤
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170148117A priority Critical patent/KR102426824B1/ko
Publication of KR20190052434A publication Critical patent/KR20190052434A/ko
Application granted granted Critical
Publication of KR102426824B1 publication Critical patent/KR102426824B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

개시된 발명은 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법에 관한 것으로서, 대화 시스템은, 외부자극, 사용자의 발화자극 또는 사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지하기 위한 감지부; 외부상태를 수집하기 위한 외부 정보 수집부; 해석된 자극을 상황별로 저장하는 저장부; 및 감지부를 통해 감지된 적어도 하나 이상의 자극과외부상태의 조합을 통해 자극을 해석하여 상황별로저장부에 기록하며, 기록된상황별 자극에 대한 타 자극과의 연계, 반복 및 반응 이력을상황별 자극에 매칭하여 기록하고,기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 감지된 자극에 대한 우선발화 대화를 작성하여 출력하는 제어부;를 포함할 수 있다.

Description

대화 시스템, 이를 포함하는 차량 및 대화 처리 방법{DIALOGUE PROCESSING APPARATUS, VEHICLE HAVING THE SAME AND DIALOGUE PROCESSING METHOD}
대화 시스템, 이를 포함하는 차량 및 대화 처리 방법에 관한 것이다.
차량은 운전자의 편의성과 안전성을 고려하여 다양한 차량 부가 서비스 장치를 개발 및 장착하고 있는 추세이다.
이와 관련하여, 차량 내에서의부가 서비스 제공을위해 사용자의 발화, 움직임 등을 감지하는 기술이 적용되고 있는 실정이다.
차량 내부에서뿐만 아니라 사용자의 발화, 움직임 등을 감지하여 부가 서비스를 제공하는 기술은 다양한 상황에서 적용되고 있다.
현재, 사용자가 어떠한 목적으로 발화를 하거나, 또는 움직임 등을 입력하였을 때 수동적으로 주변 상황 데이터 또는 기존 사용자 입력 데이터를 활용하여 사용자의 의도를 파악하고 있으나, 보다 나은 부가 서비스 제공을 위해서는 사용자의 상태에 대해 적극적으로 해석하여 관련 지식이나 서비스를 제공할 필요성이 요구되게 되었다.
개시된 실시예는사용자와 관련된 다양한 형태의 자극을 감지하고 감지된 자극에 대한 대응전략을 결정하여 발화를 하거나 또는 관련 서비스 도메인을 제공하기 위한 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 측면에 따른대화 시스템은, 외부자극, 사용자의 발화자극 또는 사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지하기 위한 감지부; 외부상태를 수집하기 위한 외부 정보 수집부; 해석된 자극을 상황별로 저장하는 저장부; 및 상기 감지부를 통해 감지된 적어도 하나 이상의 자극과 상기 외부상태의 조합을 통해 상기 자극을 해석하여 상황별로 상기 저장부에 기록하며, 기록된 상기 상황별 자극에 대한 타 자극과의 연계, 반복 및 반응 이력을 상기 상황별 자극에 매칭하여 기록하고, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 감지된 자극에 대한 우선발화 대화를 작성하여 출력하는 제어부;를 포함할 수 있다.
또한, 상기 제어부는, 상기 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화 재 출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력할 수 있다.
또한, 상기 외부자극은 시각, 청각, 촉각 및 후각을 통한 주변에서 감지되는 외부자극이고, 상기 외부상태는 시간, 위치, 날씨 및 속도를 비롯한 외부상태이며, 사용자의 비언어자극은 복수의 사용자의 위치변화 및 자세변화를 비롯한 움직임 변화와 표정, 심박 및 체온을 비롯한 생체정보를 포함할 수 있다.
또한, 상기 저장부는 상기 해석된 자극을 시스템 로그, 위치 및 시간과 함께 싱크하여 단기 기록하고, 기준시간 이후 상기 단기 기록을 장기 기록하되, 시간, 위치 또는 감지된 항목으로 색인하여 저장할 수 있다.
또한, 상기 저장부는, 특정 상황 또는 해석된 자극에 대한 사용자의 반응, 대화 시스템의 제안에 대한 사용자의 동의, 변경 또는 거절을 비롯한 반응에 이력을 저장할 수 있다.
또한, 상기 제어부는, 상기 대응전략 후보를 판단할 때, 상기 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단할 수 있다.
또한, 상기 제어부는, 상기 우선순위를 판단할 때, 상기 해석된 자극에 대한 상기 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단할 수 있다.
또한, 상기 제어부는, 상기 우선발화 대화 출력 시, 주의환기발화, 응답발화, 상태설명 발화, 행동제안 발화 또는 서비스 도메인 기능제안 발화 중 적어도 하나 이상을 포함하는 우선발화 대화를 출력할 수 있다.
또한, 상기 제어부는, 상기 우선발화 대화를 출력할 때, 대화 시스템 출력 정보의 모달리티 및 시점 또는 속도를 결정하여 출력할 수 있다.
또한, 상기 제어부는, 기 설정된 대화 시스템의 개입 적극도에 따라 전체 대화의 길이, 구간, 턴 별 길이, 시스템 태도 또는 제안 후속안 개수를 결정하고, 진행 경과에 따라 상기 대응전략을 변경할 수 있다.
일 측면에 따른 차량은, 외부자극, 사용자의 발화자극, 사용자의 비언어자극을 감지하기 위한 감지부; 외부상태를 수집하기 위한 외부 정보 수집부; 해석된 자극을 상황별로 저장하는 저장부; 및 상기 감지부를 통해 감지된 적어도 하나 이상의 자극과 상기 외부상태의 조합을 통해 상기 자극을 해석하여 상황별로 상기 저장부에 기록하며, 기록된 상기 상황별 자극에 대한 타 자극과의 연계, 반복 및 반응 이력을 상기 상황별 자극에 매칭하여 기록하고, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 이벤트 발생에 대한 우선발화 대화를 작성하여 출력하는 제어부;를 포함할 수 있다.
또한, 상기 제어부는, 상기 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화 재 출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력할 수 있다.
또한, 상기 제어부는, 상기 대응전략 후보를 판단할 때, 상기 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단할 수 있다.
또한, 상기 제어부는, 상기 우선순위를 판단할 때, 상기 해석된 자극에 대한 상기 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단할 수 있다.
일 측면에 따른 대화 처리 방법은, 외부자극, 사용자의 발화자극 또는 사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지하고, 상기 감지된 자극을 해석하고, 상기 해석된 자극을 상황별로 기록하여 저장하고, 특정 자극이 감지되면, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 상기 감지된 자극에 대한 우선발화 대화를 작성하여 출력하는 것을 포함할 수 있다.
또한, 대화 처리 방법은, 상기 우선발화 대화를 작성하여 출력하는 것 이후에, 상기 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화 재 출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력하는 것을 더 포함할 수 있다.
또한, 상기 해석된 자극을 상황별로 기록하여 저장하는 것은, 상기 해석된 자극을 시스템 로그, 위치 및 시간과 함께 싱크하여 단기 기록하고, 기준시간 이후 상기 단기 기록을 장기 기록하되, 시간, 위치 또는 감지된 항목으로 색인하여 저장하는 것을 포함할 수 있다.
또한, 상기 해석된 자극을 상황별로 기록하여 저장하는 것은, 특정 상황 또는 해석된 자극에 대한 사용자의 반응, 대화 시스템의 제안에 대한 사용자의 동의, 변경 또는 거절을 비롯한 반응에 이력을 저장하는 것을 포함할 수 있다.
또한, 상기 대응전략 후보 및 우선순위를 판단하는 것에서, 상기 대응전략 후보를 판단할 때, 상기 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단할 수 있다.
또한, 상기 대응전략 후보 및 우선순위를 판단하는 것에서, 상기 우선순위를 판단할 때, 상기 해석된 자극에 대한 상기 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단할 수 있다.
전술한 과제 해결 수단에 의하면, 사용자의 다양한 형태의 자극이나 의미불명 사용자 입력에 대해 시스템 동작을 트리거(trigger) 설정하여, 관련된 지식이나 서비스를 사용자에게 먼저 제안할 수 있다는 효과를 기대할 수 있다.
또한, 개시된 발명은 시스템으로부터 제공된 사용자의 반응, 자극이 발생할 때 상황을 외부상태와 매칭하여 이력 형태로 저장하기 때문에, 사용자로부터 감지된 상황을 보다 명확히 해석할 수 있고, 이로 인해 해석된 감지와 관련된 발화 또는 서비스 도메인 제공에 대한 사용자의 만족도가 높을 수 있다는 것이다.
도 1은 차량의 외관을 나타내는 도면이다.
도 2는 차량의 내부를 나타내는 도면이다.
도 3은 대화 시스템의 구성을 상세하게 나타내는 제어 블록도이다.
도 4 내지 도 7은 대화 처리 방법을 설명하기 위한 일 예를 나타내는 도면이다.
도 8은 차량의 구성을 상세하게 나타내는 제어 블록도이다.
도 9는 대화 처리 방법을 설명하기 위한 흐름도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재,블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재,블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재,블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 차량의 외관을 나타내는 도면이다.
도 1을 참조하면, 차량(1)의 외관은 차량(1)의 외관을 형성하는 본체(10), 운전자에게 차량(1) 전방의 시야를 제공하는 윈드 스크린(windscreen)(11), 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(12), 차량(1) 내부를 외부로부터 차폐시키는 도어(13) 및 차량의 전방에 위치하는 앞바퀴(21)와 차량의 후방에 위치하는 뒷바퀴(22)를 포함하여 차량(1)을 이동시키기 위한 바퀴(21, 22)를 포함할 수 있다.
윈드 스크린(11)은 본체(10)의 전방 상측에 마련되어 차량(1) 내부의 운전자가 차량(1) 전방의 시각 정보를 획득할 수 있도록 한다. 또한, 사이드 미러(12)는 본체(10)의 좌측에 마련되는 좌측 사이드 미러 및 우측에 마련되는 우측 사이드 미러를 포함하며, 차량(1) 내부의 운전자가 차량(1) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
도어(13)는 본체(10)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킬 수 있다.
차량(1)은 상술한 구성 이외에도 바퀴(21, 22)를 회전시키는 동력 장치(16), 차량(1)의 이동 방향을 변경하는 조향 장치(미도시), 바퀴의 이동을 정지시키는 제동 장치(미도시)를 포함할 수 있다.
상기 동력 장치(16)는 본체가 전방 또는 후방으로 이동하도록 앞바퀴(21) 또는 뒷바퀴(22)에 회전력을 제공한다. 이와 같은 동력 장치(16)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 포함할 수 있다.
조향 장치는 운전자로부터 주행 방향을 입력받는 조향 핸들(도 2의 42), 조향 핸들(42)의 회전 운동을 왕복 운동으로 전환하는 조향 기어(미도시), 조향 기어(미도시)의 왕복 운동을 앞바퀴(21)에 전달하는 조향 링크(미도시)를 포함할 수 있다. 이와 같은 조향 장치는 바퀴의 회전축의 방향을 변경함으로써 차량(1)의 주행 방향을 변경할 수 있다.
제동 장치는 운전자로부터 제동 조작을 입력받는 제동 페달(미도시), 바퀴(21, 22)와 결합된 브레이크 드럼(미도시), 마찰력을 이용하여 브레이크 드럼(미도시)의 회전을 제동시키는 브레이크 슈(미도시) 등을 포함할 수 있다. 이와 같은 제동 장치는 바퀴(21, 22)의 회전을 정지시킴으로써 차량(1)의 주행을 제동할 수 있다.
도 2는 차량의 내부를 나타내는 도면이다.
차량(1)의 내부는 운전자가 차량(1)을 조작하기 위한 각종 기기가 설치되는 대시 보드(dashboard)(14), 차량(1)의 운전자가 착석하기 위한 운전석(15), 차량(1)의 동작 정보 등을 표시하는 클러스터 표시부(51, 52), 운전자의 조작 명령에 따라 경로 안내 정보를 제공하는 길 안내 기능뿐만 아니라 오디오 및 비디오 기능까지 제공하는 내비게이션(navigation)(70)을 포함할 수 있다.
대시 보드(14)는 윈드 스크린(11)의 하부로부터 운전자를 향하여 돌출되게 마련되며, 운전자가 전방을 주시한 상태로 대시 보드(14)에 설치된 각종 기기를 조작할 수 있도록 한다.
운전석(15)은 대시 보드(14)의 후방에 마련되어 운전자가 안정적인 자세로 차량(1)의 전방과 대시 보드(14)의 각종 기기를 주시하며 차량(1)을 운행할 수 있도록 한다.
클러스터 표시부(51, 52)는 대시 보드(14)의 운전석(15) 측에 마련되며, 차량(1)의 운행 속도를 표시하는 주행 속도 게이지(51), 동력 장치(미도시)의 회전 속도를 표시하는 rpm 게이지(52)를 포함할 수 있다.
내비게이션(70)은 차량(1)이 주행하는 도로의 정보 또는 운전자가 도달하고자 하는 목적지까지의 경로를 표시하는 디스플레이 및 운전자의 조작 명령에 따라 음향을 출력하는 스피커(41)를 포함할 수 있다. 최근에는 오디오 장치, 비디오 장치 및 내비게이션 장치가 일체화된 AVN(Audio Video Navigation) 장치가 차량에 설치되고 있는 추세이다.
상기 내비게이션(70)은 센터페시아(center fascia)에 설치될 수 있다. 이때, 센터페시아는 대시 보드(14) 중에서 운전석과 조수석 사이에 있는 컨트롤 패널 부분을 의미하는 것으로, 대시 보드(14)와 시프트레버가 수직으로 만나는 영역이며, 이곳에는 내비게이션(70)을 비롯하여 에어콘, 히터의 컨트롤러, 송풍구, 시거잭과 재떨이, 컵홀더 등을 설치할 수 있다. 또한, 센터페시아는 센터콘솔과 함께 운전석과 조수석을 구분하는 역할도 할 수 있다.
또한, 내비게이션(70)을 비롯한 각종 구동 조작을 위한 별도의 조그 다이얼(60)을 구비할 수 있다.
개시된 발명의 조그 다이얼(60)은 회전시키거나 압력을 가하여 구동 조작을 수행하는 방법뿐만 아니라, 터치 인식 기능을 구비한 터치 패드를 구비하여 사용자의 손가락 또는 별도의 터치 인식 기능을 구비한 도구를 이용하여 구동 조작을 위한 필기 인식을 수행할 수 있다.
도 3은 대화 시스템의 구성을 상세하게 나타내는 제어 블록도이다.
이하에서는, 대화 처리 방법을 설명하기 위한 일 예를 나타내는 도면인 도 4 내지 도 5 및 7을 참조하여 설명하기로 한다.
도 3을 참조하면, 대화 시스템(100)은 감지부(110), 외부 정보 수집부(120), 입력부(130), 통신부(140), 저장부(150), 디스플레이(160), 출력부(170) 및 제어부(180)를 포함할 수 있다.
감지부(110)는 외부자극, 사용자의 발화자극 또는 사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지하기 위한 구성일 수 있다.
개시된 발명에서 언급하는 자극은 특정한 반응을 일으키는 요인이 되는 외부 조건의 변화를 의미하는 것으로 정의하기로 한다.
구체적으로, 감지부(110)는 시각, 청각, 촉각 및 후각을 통한 주변에서 감지되는 외부자극과 복수의 사용자의 위치변화 및 자세변화를 비롯한 움직임 변화와 표정, 심박 및 체온을 비롯한 생체정보를 포함하는 비언어자극을 감지하는 외부 자극 감지부와 사용자의 발화를 감지하기 위한 발화 감지부를 포함할 수 있다.
외부 정보 수집부(120)는 외부상태를 수집하기 위한 구성일 수 있다.
구체적으로, 외부 정보 수집부(120)는 시간, 위치, 날씨 및 속도를 비롯한 외부상태를 수집할 수 있으며, 수집되는 항목은 이에 한정되지 않는다.
입력부(130)는 사용자에 의한 제어 정보를 비롯하여 각종 정보를 입력하기 위한 구성일 수 있다.
입력부(130)는 사용자의 입력을 위해 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있다.
또한, 입력부(130)는 사용자 입력을 위해 터치 패드(touch pad) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패드는 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 디스플레이(160)와 상호 레이어 구조를 이룰 수 있다.
통신부(140)는 외부 컨텐츠 서버(200)를 비롯하여 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 지그비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232),전력선 통신, 또는 POTS(plain old telephone service)등다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 라디오 데이터 시스템 교통 메시지 채널(Radio Data System-Traffic Message Channel, RDS-TMC), DMB(Digital Multimedia Broadcasting), 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도,GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access),UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
무선 통신 모듈은교통정보 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는무선 통신 인터페이스를 포함할 수 있다.또한, 무선 통신 모듈은무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한교통정보 신호 변환 모듈을 더 포함할 수 있다.
저장부(150)는 해석된 자극을 상황별로 저장하는 구성일 수 있다.
저장부(150)는 해석된 자극을 시스템 로그, 위치 및 시간과 함께 싱크하여 단기 기록하고, 기준시간 이후 상기 단기 기록을 장기 기록하되, 시간, 위치 또는 감지된 항목으로 색인하여 저장할 수 있다.
저장부(150)는 특정 상황 또는 해석된 자극에 대한 사용자의 반응, 대화 시스템의 제안에 대한 사용자의 동의, 변경 또는 거절을 비롯한 반응에 이력을 저장할 수 있다.
저장부(150)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(150)는 제어부(180)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
디스플레이(160)는 우선발화 대화 내용을 사용자가 육안으로 확인할 수 있도록 표시하거나, 또는 서비스 도메인을 표시하는 등 대화 시스템(100)과 관련된 각종 정보를 표시할 수 있다.
디스플레이(160)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
출력부(170)는 대화 시스템에서 제공되는 발화 대화 내용을 비롯하여 대화 시스템에서 제공되는 각종 정보를 음성 형태로 출력하기 위한 구성일 수 있다.
제어부(180)는 감지부(110)를 통해 감지된 적어도 하나 이상의 자극과 외부상태의 조합을 통해 상기 자극을 해석하여 상황별로 상기 저장부에 기록하며, 기록된 상기 상황별 자극에 대한 타 자극과의 연계, 반복 및 반응 이력을 상기 상황별 자극에 매칭하여 기록하고, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 감지된 자극에 대한 우선발화 대화를 작성하여 출력할 수 있다.
이때, 제어부(180)는 우선발화 대화 출력 시,감지된 자극과 관련된 서비스 도메인을 제공하되, 기 저장된 서비스 도메인 정보가 존재하는 경우 해당 서비스 도메인을 출력하도록 하고, 감지된 자극과 관련된 서비스 도메인이 저장되지 않는 경우 외부 컨텐츠 서버(200)와의 정보 송수신을 통해 관련 서비스 도메인을 제공받아 출력할 수 있다.
도 4를 참조하면, 제어부(180)는 감지부(110)를 통해"으앙~~~!"과 같은 청각자극을 수신하면, 대상의 이력 열람 및 이후 행동 시점을 예측하여 현재시점과 비교하여, 대상 상태 설명 및 특정 도메인의 관련 지식을 제안하는 형태의 발화 대화("주인님, 이전 식사 기록을 봤을 때, 아기는 배가 고파서 울어요. 분유 타는 법을 알려 드릴까요")를 출력할 수 있다.즉, 제어부(180)는 식사 등 건강관련 행위 로그 적절시점을 예측하여, 아기식사 및 육아관련 지식 서비스를 제공하는 것이다.
도 4를 참조하면, 제어부(180)는 감지부(110)를 통해 "응애~~~!"와 같은 청각자극을 수신하면, 대상의 안면 영상정보를 추적하여 주시 방향을 도출하여 해당 방향의 물체를 인식하여 명칭을 파악하고, 해당 물체 언급 및 활용방법을 제안하는 형태의 발화 대화("주인님, 아기의 얼굴 방향을 추적했을 때, 무엇인가 찾느라 울고 있어요. 방금 구석으로 던져진 인형을 건네 보실래요?")를 출력할 수 있다. 이를 위해, 감지부(110)는 대상 안면정보, 물체의 위치를 추적할 수 있는 영상 획득부(미도시)를 구비할 수 있다. 제어부(180)는 감지부(110)를 통해 추적된 물체에 대한 명칭을 도출할 수 있다.
도 4를 참조하면, 제어부(180)는 감지부(110)를 통해 "앙앙~~~!"과 같은 청각자극을 수신하면, 대상의 이력 열렴 및 이후 행동시점을 예측하여 현재시점과 비교하여, 대상 상태 개선방법 및 관련 소모품 활용 서비스 연계를 수행하는 형태의 발화 대화("주인님, 이전 식사 기록을 봤을 때, 아기 기저귀를 갈아줄 시간이에요. 새 기저귀가 3일분 남았는데, 주문해 놓을까요?")를 출력할 수 있다. 이때, 제어부(180)는 해당 행위의 소모품 필요 시 저장부(150)에 저장된 잔여 인벤토리를 열람하여 소모품의 보충여부도 제안할 수 있다.
도 4를 참조하면, 제어부(180)는 감지부(110)를 통해 "흑흑흑~!"과 같은 청각자극을 수신하면, "주인님, 아기의 피부전도도와 심박에 따르면, 놀라서 울고 있어요. 방금 옆으로 지나간 큰 개 때문인 것 같아요. 유아용 동영상을 보여드릴까요?"와 같은 형태의 발화 대화를 출력할 수 있다.
도 4를 참조하면, 제어부(180)는 감지부(110)를 통해 "하하하~!"와 같은 청각자극을 수신하면, "주인님, 아기의 표정과 동공 변화를 보면 재미있어 하고 있어요! 방금 주인님의 표정이 효과가 있어요. 한번 더!"와 같은 발화 대화를 출력할 수 있다.
한편, 대화 시스템(100)은 외부 컨텐츠 서버(200) 또는 사용자의 이동통신 단말(미도시)의 메일(또는 문자)의 수신, 특정 발신인(시간, 장소 조건 설정 가능), 기 설정된 문구를 포함하는 알림 메시지를 인식할 수 있도록 연결되어, 메인(또는 문자) 수신에 대한 발화 대화를 출력할 것 역시 가능하다 할 것이다.
도 5를 참조하면, 제어부(180)은 메일(또는 문자) 수신을 인식하여, "주인님! 학교선생님께 온 메시지가 있어요."와 같은 우선발화 대화를 출력하고, 사용자로부터 "그래? 읽어봐."와 같은 발화가 감지된 경우, "지민아, 어제 낸 숙제에서 뛰어난 작문이 좋았어."와 같은 메일(또는 문자) 내용을 후속발화 대화로 출력할 수 있다. 또한, 제어부(180)은 이후 사용자의 반응에 해당하는 발화("와! 다행이다!")를 감지하면, 이를 감지된 자극과 함께 매칭하여 이력으로 저장하고 이후 자극에 대한 대응전략 후보 및 우선순위를 판단할 때 참고할 수 있다.
도 7을 참조하면, 제어부(180)는 감지부(110)를 통해 새소리와 같은 청각자극을 수신하면, "주인님! 새소리 들리세요?"와 같은 우선발화 대화를 출력하고, "응 좋은데?"와 같은 사용자 발화에 대해 "방울새인 것 같아요. 녹음해 놓을까요?"와 같은 후속발화 대화를 출력하고, "그래 고마워!"와 같은 사용자 반응을 수신하여 감지된 자극에 대한 이력으로 저장할 수 있다.
이를 위해, 대화 시스템(100)은 대상 안면정보, 물체 위치를 추적하기 위한 영상 획득부를 구비할 수 있다. 또한, 제어부(180)는 추적된 대상 안면 영상정보를 기초로 주시 방향을 도출하고 주시하고 있는 방향에 위치하는 물체를 인식하여 물체의 명칭을 파악할 수 있다.
제어부(180)는 도 5와 같은 자극 인식 및 발화 대화 출력을 위해서 상태 수집 대상, 기준 정의 판단하는 기능을 구비하여, 발신인주소, 내용, 이력을 기준으로 특정 도메인을 매칭하여 실행할 수 있다.
제어부(180)는우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화 재 출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력할 수 있다.
제어부(180)는 대응전략 후보를 판단할 때, 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단할 수 있다.
제어부(180)는 우선순위를 판단할 때, 해석된 자극에 대한 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단할 수 있다.
제어부(180)는우선발화 대화 출력 시, 주의환기발화, 응답발화, 상태설명 발화, 행동제안 발화 또는 서비스 도메인 기능제안 발화 중 적어도 하나 이상을 포함하는 우선발화 대화를 출력할 수 있다.
이때, 주의환기발화 및 응답발화는 사용자의 대화 의지를 감지한 것이나 사용자 발화에 관심을 표시하는 등 해석된 자극이 중요한 내용이기 보다는 일반적인 대화전략에 따른 것일 때출력하는 기 설정된 단문 발화를 의미하는 것이다. 상기 주의환기발화 및 응답발화에는 도메인 종류 및 정보 종류를 요약하여 포함하는 것도 가능하다.
예를 들어, 주의환기발화 및 응답발화는 "반갑습니다., 네., 아~ 등"과 같은 표현을 포함할 수 있다.
제어부(180)는우선발화 대화를 출력할 때, 대화 시스템 출력 정보의 모달리티(modality) 및 시점 또는 속도를 결정하여 출력할 수 있다.
제어부(180)는기 설정된 대화 시스템(100)의 개입 적극도에 따라 전체 대화의 길이, 구간, 턴 별 길이, 시스템 태도 또는 제안 후속안 개수를 결정하고, 진행 경과에 따라 대응전략을 변경할 수 있다.
구체적으로, 사용자 또는 운용자에 의해서 설정된 대화 시스템의 개입 적극도에 따라 우선발화 대화, 후속발화 대화를 비롯한 전체 대화의 길이, 구간 등을 결정할 수 있다는 것이다. 이때, 적극도에 따른 전체 대화의 길이, 구간, 턴 별 길이, 시스템 태도 또는 제안 후속안 개수 역시 운용자 또는 사용자에 의해서 사전에 설정되는 것은 당연하다 할 것이다.
상술한 제어부(180)는대화 시스템(100) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도 8은 차량의 구성을 상세하게 나타내는 제어 블록도이다.
이하에서는, 대화 처리 방법을 설명하기 위한 일 예를 나타내는 도면인 도 6을 참조하여 설명하기로 한다.
도 8을 참조하면, 차량(300)은 감지부(310), 외부 정보 수집부(320), 입력부(330), 통신부(340), 저장부(350), 디스플레이(360), 출력부(370) 및 제어부(380)를 포함할 수 있다.
감지부(310)는 외부자극, 사용자의 발화자극 또는 사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지하기 위한 구성일 수 있다.
개시된 발명에서 언급하는 자극은 특정한 반응을 일으키는 요인이 되는 외부 조건의 변화를 의미하는 것으로 정의하기로 한다.
구체적으로, 감지부(310)는 시각, 청각, 촉각 및 후각을 통한 주변에서 감지되는 외부자극과 복수의 사용자의 위치변화 및 자세변화를 비롯한 움직임 변화와 표정, 심박 및 체온을 비롯한 생체정보를 포함하는 비언어자극을 감지하는 외부 자극 감지부와 사용자의 발화를 감지하기 위한 발화 감지부를 포함할 수 있다.
외부 정보 수집부(320)는 외부상태를 수집하기 위한 구성일 수 있다.
구체적으로, 외부 정보 수집부(320)는 시간, 위치, 날씨 및 속도를 비롯한 외부상태를 수집할 수 있으며, 수집되는 항목은 이에 한정되지 않는다.
입력부(330)는 사용자에 의한 제어 정보를 비롯하여 각종 정보를 입력하기 위한 구성일 수 있다.
입력부(330)는 사용자의 입력을 위해 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있다.
또한, 입력부(330)는 사용자 입력을 위해 터치 패드(touch pad) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패드는 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 디스플레이(360)와 상호 레이어 구조를 이룰 수 있다.
통신부(340)는 외부 컨텐츠 서버(200)를 비롯하여 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 지그비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232),전력선 통신, 또는 POTS(plain old telephone service)등다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 라디오 데이터 시스템 교통 메시지 채널(Radio Data System-Traffic Message Channel, RDS-TMC), DMB(Digital Multimedia Broadcasting), 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도,GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access),UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
무선 통신 모듈은교통정보 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는무선 통신 인터페이스를 포함할 수 있다.또한, 무선 통신 모듈은무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한교통정보 신호 변환 모듈을 더 포함할 수 있다.
한편, 통신부(340)는 차량(300) 내부의 전자 장치들 사이의 통신을 위한 내부 통신 모듈(미도시)을 더 포함할 수도 있다. 차량(300)의 내부 통신 프로토콜로는 CAN(Controller Area Network), LIN(Local Interconnection Network), 플렉스레이(FlexRay), 이더넷(Ethernet) 등을 사용할 수 있다.
저장부(350)는 해석된 자극을 상황별로 저장하는 구성일 수 있다.
저장부(350)는 해석된 자극을 시스템 로그, 위치 및 시간과 함께 싱크하여 단기 기록하고, 기준시간 이후 상기 단기 기록을 장기 기록하되, 시간, 위치 또는 감지된 항목으로 색인하여 저장할 수 있다.
저장부(350)는 특정 상황 또는 해석된 자극에 대한 사용자의 반응, 대화 시스템의 제안에 대한 사용자의 동의, 변경 또는 거절을 비롯한 반응에 이력을 저장할 수 있다.
저장부(350)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(350)는 제어부(380)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
디스플레이(360)는 우선발화 대화 내용을 사용자가 육안으로 확인할 수 있도록 표시하거나, 또는 서비스 도메인을 표시하는 등 차량(300)과 관련된 각종 정보를 표시할 수 있다.
디스플레이(360)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
출력부(370)는 대화 시스템에서 제공되는 발화 대화 내용을 비롯하여 대화 시스템에서 제공되는 각종 정보를 음성 형태로 출력하기 위한 구성일 수 있다.
제어부(380)는 감지부(310)를 통해 감지된 적어도 하나 이상의 자극과 외부상태의 조합을 통해 상기 자극을 해석하여 상황별로 상기 저장부에 기록하며, 기록된 상기 상황별 자극에 대한 타 자극과의 연계, 반복 및 반응 이력을 상기 상황별 자극에 매칭하여 기록하고, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 감지된 자극에 대한 우선발화 대화를 작성하여 출력할 수 있다.
이때, 제어부(380)는 감지된 자극과 관련된 서비스 도메인을 제공하되, 기 저장된 서비스 도메인 정보가 존재하는 경우 해당 서비스 도메인을 출력하도록 하고, 감지된 자극과 관련된 서비스 도메인이 저장되지 않는 경우 외부 컨텐츠 서버(200)와의 정보 송수신을 통해 관련 서비스 도메인을 제공받아 출력할 수 있다.
도 6을 참조하면, 제어부(380)는 감지부(110)를 통해 전방 시각자극을 수신 및 해석하여, "주인님! 차선 조심하세요."와 같은 발화 대화를 출력하고, "왜? 무슨 문제야?"와 같은 사용자 발화를 감지하여 "왼쪽으로 치우쳐서 차선을 밟고 있어요. 차로이탈방지 보조시스템(LKA) 작동할게요."와 같은 후속발화 대화를 출력할 수 있다. 이후, 제어부(380)는 "그래! 고마워"와 같은 사용자 반응을 감지하여 해당 자극과 매칭하여 이력으로 기록할 수 있다.
이를 위해, 제어부(380)는 주행 행위 로그, 적절시점, 위치, 방향 예측, 연계 가능 차량 기능 탐색을 수행하여 메시지 음성재생 및 주행보조와 같은 해당 도메인을 실행할 수 있다.
제어부(380)는 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화 재 출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력할 수 있다.
제어부(380)는 대응전략 후보를 판단할 때, 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단할 수 있다.
제어부(380)는 우선순위를 판단할 때, 해석된 자극에 대한 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단할 수 있다.
제어부(380)는 우선발화 대화 출력 시, 주의환기발화, 응답발화, 상태설명 발화, 행동제안 발화 또는 서비스 도메인 기능제안 발화 중 적어도 하나 이상을 포함하는 우선발화 대화를 출력할 수 있다.
이때, 주의환기발화 및 응답발화는 사용자의 대화 의지를 감지한 것이나 사용자 발화에 관심을 표시하는 등 해석된 자극이 중요한 내용이기 보다는 일반적인 대화전략에 따른 것일 때 출력하는 기 설정된 단문 발화를 의미하는 것이다. 상기 주의환기발화 및 응답발화에는 도메인 종류 및 정보 종류를 요약하여 포함하는 것도 가능하다.
예를 들어, 주의환기발화 및 응답발화는 "반갑습니다., 네., 아~ 등"과 같은 표현을 포함할 수 있다.
제어부(380)는 우선발화 대화를 출력할 때, 대화 시스템 출력 정보의 모달리티(modality) 및 시점 또는 속도를 결정하여 출력할 수 있다.
제어부(380)는 기 설정된 차량(300)의 개입 적극도에 따라 전체 대화의 길이, 구간, 턴 별 길이, 시스템 태도 또는 제안 후속안 개수를 결정하고, 진행 경과에 따라 대응전략을 변경할 수 있다.
구체적으로, 사용자 또는 운용자에 의해서 설정된 차량(차량 내 마련된 대화 시스템)의 개입 적극도에 따라 우선발화 대화, 후속발화 대화를 비롯한 전체 대화의 길이, 구간 등을 결정할 수 있다는 것이다. 이때, 적극도에 따른 전체 대화의 길이, 구간, 턴 별 길이, 시스템 태도 또는 제안 후속안 개수 역시 운용자 또는 사용자에 의해서 사전에 설정되는 것은 당연하다 할 것이다.
상술한 제어부(380)는차량(300) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도 9는 대화 처리 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 대화 시스템(100)은 외부자극, 사용자의 발화자극 또는 사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지할 수 있다(411).
다음, 대화 시스템(100)은 감지된 자극을 해석할 수 있다(413).
다음, 대화 시스템(100)은 해석된 자극을 상황별로 기록하여 저장할 수 있다(415).
구체적으로, 대화 시스템(100)은 해석된 자극을 시스템 로그, 위치 및 시간과 함께 싱크하여 단기 기록하고, 기준시간 이후 상기 단기 기록을 장기 기록하되, 시간, 위치 또는 감지된 항목으로 색인하여 저장할 수 있다.
또한, 대화 시스템(100)은 특정 상황 또는 해석된 자극에 대한 사용자의 반응, 대화 시스템의 제안에 대한 사용자의 동의, 변경 또는 거절을 비롯한 반응에 이력을 저장할 수 있다.
다음, 대화 시스템(100)은 특정 자극이 감지되면, 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단할 수 있다(417, 419).
대화 시스템(100)은 대응전략 후보를 판단할 때, 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단할 수 있다.
또한, 대화 시스템(100)은 우선순위를 판단할 때, 해석된 자극에 대한 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단할 수 있다.
다음, 대화 시스템(100)은 판단 결과를 기초로 감지된 자극에 대한 우선발화 대화를 작성하여 출력할 수 있다(421).
다음, 대화 시스템(100)은 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화 재 출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력할 수 있다.
즉, 대화 시스템(100)은 단계 421 이후에 우선발화 대화 재 출력 또는 후속발화 대화 등과 같은 후속 진행이 필요한 경우, 후속 절차를 진행할 수 있다(423, 425).
단계 423의 결과, 추가 후속 진행이 요구되지 않는 경우, 대화 시스템(100)은 대화 처리 절차를 종료할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100 : 대화 시스템
110, 310 : 감지부
120, 320 : 외부 정보 수집부
130 , 330 : 입력부
140, 340 : 통신부
150, 350 : 저장부
160, 360 : 디스플레이
170, 370 : 출력부
180, 380 : 제어부
200 : 외부 컨텐츠 서버

Claims (20)

  1. 외부자극, 사용자의 발화자극 또는사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지하기 위한 감지부;
    외부상태를 수집하기 위한 외부정보 수집부;
    해석된 자극을 상황별로 저장하는 저장부; 및
    상기 감지부를 통해 감지된 적어도 하나 이상의 자극과 상기 외부상태의 조합을 통해 상기 자극을 해석하여 상황별로 상기 저장부에 기록하며, 기록된 상기 상황별 자극에 대한타 자극과의 연계, 반복 및 반응 이력을 상기 상황별 자극에 매칭하여 기록하고, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 감지된 자극에 대한 우선발화 대화를 작성하여 출력하는 제어부;
    를 포함하되,
    상기 제어부는,
    상기 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화의 재출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력하고,
    상기 외부자극은 시각, 청각, 촉각 및 후각을 통한 주변에서 감지되는 외부자극이고, 상기 외부상태는 시간, 위치, 날씨 및 속도를 비롯한 외부상태인 대화 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 사용자의 비언어자극은 복수의 사용자의 위치변화 및 자세변화를 비롯한 움직임 변화와 표정, 심박 및 체온을 비롯한 생체정보를 포함하는 비언어자극인 대화 시스템.
  4. 제1항에 있어서,
    상기 저장부는
    상기 해석된 자극을 시스템 로그, 위치 및 시간과 함께 싱크하여 단기 기록하고, 기준시간 이후 상기 단기 기록을 장기 기록하되, 시간, 위치 또는 감지된 항목으로 색인하여 저장하는 대화 시스템.
  5. 제1항에 있어서,
    상기 저장부는,
    특정 상황 또는 해석된 자극에 대한 사용자의 반응, 대화 시스템의 제안에 대한 사용자의 동의, 변경 또는 거절을 비롯한 반응에 이력을 저장하는 대화 시스템.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 대응전략 후보를 판단할 때, 상기 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단하는 대화 시스템.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 우선순위를 판단할 때, 상기 해석된 자극에 대한 상기 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단하는 대화 시스템.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 우선발화 대화의 출력 시, 주의환기발화, 응답발화, 상태설명 발화, 행동제안 발화 또는 서비스 도메인 기능제안 발화 중 적어도 하나 이상을 포함하는 우선발화 대화를 출력하는 대화 시스템.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 우선발화 대화를 출력할 때, 대화 시스템 출력 정보의 모달리티 및 시점 또는 속도를 결정하여 출력하는 대화 시스템.
  10. 제1항에 있어서,
    상기 제어부는,
    기 설정된 대화 시스템의 개입 적극도에 따라 전체 대화의 길이, 구간, 턴 별 길이, 시스템 태도 또는 제안 후속안 개수를 결정하고, 진행 경과에 따라 상기 대응전략을 변경하는 대화 시스템.
  11. 외부자극, 사용자의 발화자극, 사용자의 비언어자극을 감지하기 위한 감지부;
    외부상태를 수집하기 위한 외부 정보 수집부;
    해석된 자극을 상황별로 저장하는 저장부; 및
    상기 감지부를 통해 감지된 적어도 하나 이상의 자극과 상기 외부상태의 조합을 통해 상기 자극을 해석하여 상황별로 상기 저장부에 기록하며, 기록된 상기 상황별 자극에 대한 타 자극과의 연계, 반복 및 반응 이력을 상기 상황별 자극에 매칭하여 기록하고, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고, 판단 결과를 기초로 이벤트 발생에 대한 우선발화 대화를 작성하여 출력하는 제어부;
    를 포함하되,
    상기 제어부는,
    상기 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화의 재출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력하고,
    상기 외부자극은 시각, 청각, 촉각 및 후각을 통한 주변에서 감지되는 외부자극이고, 상기 외부상태는 시간, 위치, 날씨 및 속도를 비롯한 외부상태인 차량.
  12. 삭제
  13. 제11항에 있어서,
    상기 제어부는,
    상기 대응전략 후보를 판단할 때, 상기 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단하는 차량.
  14. 제11항에 있어서,
    상기 제어부는,
    상기 우선순위를 판단할 때, 상기 해석된 자극에 대한 상기 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단하는 차량.
  15. 외부자극, 사용자의 발화자극 또는 사용자의 비언어자극 중 적어도 하나 이상의 자극을 감지하고,
    상기 감지된 자극을 해석하고,
    상기 해석된 자극을 상황별로 기록하여 저장하고,
    특정 자극이 감지되면, 상기 기록된 상황별 자극을 기초로 감지된 자극에 대한 대응전략 후보 및 우선순위를 판단하고,
    판단 결과를 기초로 상기 감지된 자극에 대한 우선발화 대화를 작성하여 출력하고,
    상기 우선발화 대화에 대한 사용자의 발화자극 또는 사용자의 비언어자극을 기초로 상기 우선발화 대화의 재출력 여부를 결정하거나, 또는 후속발화 대화를 작성하여 출력하는 것을 포함하는 대화 처리 방법.
  16. 삭제
  17. 제15항에 있어서,
    상기 해석된 자극을 상황별로 기록하여 저장하는 것은,
    상기 해석된 자극을 시스템 로그, 위치 및 시간과 함께 싱크하여 단기 기록하고, 기준시간 이후 상기 단기 기록을 장기 기록하되, 시간, 위치 또는 감지된 항목으로 색인하여 저장하는 것을 포함하는 대화 처리 방법.
  18. 제15항에 있어서,
    상기 해석된 자극을 상황별로 기록하여 저장하는 것은,
    특정 상황 또는 해석된 자극에 대한 사용자의 반응, 대화 시스템의 제안에 대한 사용자의 동의, 변경 또는 거절을 비롯한 반응에 이력을 저장하는 것을 포함하는 대화 처리 방법.
  19. 제15항에 있어서,
    상기 대응전략 후보 및 우선순위를 판단하는 것에서,
    상기 대응전략 후보를 판단할 때, 상기 해석된 자극, 이전 이력 및 사용자의 반응을 기초로 판단하는 대화 처리 방법.
  20. 제15항에 있어서,
    상기 대응전략 후보 및 우선순위를 판단하는 것에서,
    상기 우선순위를 판단할 때, 상기 해석된 자극에 대한 상기 우선발화 대화 시, 사용자에게 제안이 불필요한지 또는 제안이 필요한지 여부를 고려하여 판단하는 대화 처리 방법.
KR1020170148117A 2017-11-08 2017-11-08 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 KR102426824B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170148117A KR102426824B1 (ko) 2017-11-08 2017-11-08 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170148117A KR102426824B1 (ko) 2017-11-08 2017-11-08 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Publications (2)

Publication Number Publication Date
KR20190052434A KR20190052434A (ko) 2019-05-16
KR102426824B1 true KR102426824B1 (ko) 2022-08-01

Family

ID=66672047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170148117A KR102426824B1 (ko) 2017-11-08 2017-11-08 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Country Status (1)

Country Link
KR (1) KR102426824B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2979030B1 (fr) * 2011-08-11 2013-08-02 Renault Sa Procede d'assistance d'un utilisateur d'un vehicule automobile, systeme multimedia et vehicule automobile

Also Published As

Publication number Publication date
KR20190052434A (ko) 2019-05-16

Similar Documents

Publication Publication Date Title
CN104838335B (zh) 使用凝视检测的设备的交互和管理
US11955126B2 (en) Systems and methods for virtual assistant routing
US10466800B2 (en) Vehicle information processing device
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
US20180357040A1 (en) In-vehicle infotainment with multi-modal interface
US9928833B2 (en) Voice interface for a vehicle
US9613459B2 (en) System and method for in-vehicle interaction
US20170286785A1 (en) Interactive display based on interpreting driver actions
JP2017090613A (ja) 音声認識制御システム
JP6604151B2 (ja) 音声認識制御システム
US10745019B2 (en) Automatic and personalized control of driver assistance components
KR102327195B1 (ko) 차량의 원격 제어방법과 이를 위한 차량 및 이동통신 단말
CN104471353A (zh) 低注意力手势用户界面
US11189274B2 (en) Dialog processing system, vehicle having the same, dialog processing method
JP2010128099A (ja) 車載用音声情報提供システム
US20190228767A1 (en) Speech recognition apparatus and method of controlling the same
US10386853B2 (en) Method for accessing a vehicle-specific electronic device
US20170017497A1 (en) User interface system, user interface control device, user interface control method, and user interface control program
KR102426824B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US20220415321A1 (en) Electronic device mounted in vehicle, and method of operating the same
US20220198151A1 (en) Dialogue system, a vehicle having the same, and a method of controlling a dialogue system
US20220415318A1 (en) Voice assistant activation system with context determination based on multimodal data
KR101767088B1 (ko) 멀티미디어 장치 및 이를 포함하는 차량, 멀티미디어 장치의 사용자 앱 표시 방법
Nakrani Smart car technologies: a comprehensive study of the state of the art with analysis and trends
KR20230090510A (ko) 단말기 및 차량

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant