KR102606026B1 - 상황 인식 개인 비서 - Google Patents

상황 인식 개인 비서 Download PDF

Info

Publication number
KR102606026B1
KR102606026B1 KR1020187037304A KR20187037304A KR102606026B1 KR 102606026 B1 KR102606026 B1 KR 102606026B1 KR 1020187037304 A KR1020187037304 A KR 1020187037304A KR 20187037304 A KR20187037304 A KR 20187037304A KR 102606026 B1 KR102606026 B1 KR 102606026B1
Authority
KR
South Korea
Prior art keywords
personal assistant
electronic personal
situation
driver
computing device
Prior art date
Application number
KR1020187037304A
Other languages
English (en)
Other versions
KR20190022553A (ko
Inventor
태 홍 주
타렉 제트 엘라바디
모나 솔리만 하비브
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20190022553A publication Critical patent/KR20190022553A/ko
Application granted granted Critical
Publication of KR102606026B1 publication Critical patent/KR102606026B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • B60K35/28—
    • B60K35/654—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G06Y10/58—
    • G06Y50/90—

Abstract

모바일 디바이스(300)와 연관된 상황에 기초하여 전자 개인 비서(106)의 거동을 변경시키기 위한 방법, 시스템, 장치 및 컴퓨터 프로그램 제품이 제공된다. 센서 데이터(110A-11OC)를 생성하기 위해 복수의 센서(102A-102C)로 상황이 감지된다. 센서 데이터에 기초하여 상황 점수가 계산된다. 계산된 상황 점수에 기초하여 전자 개인 비서(106)의 거동이 변경된다. 일 양태에서, 상황은 운전자가 도로 상에서 차량을 운전하는 운전 상황이다. 이러한 경우, 센서 데이터에 기초하여 운전 상황 점수가 계산되고, 운전자가 산만해지는 것을 방지하기 위해 전자 개인 비서에 의한 운전자와의 상호작용을 중지하는 것과 같이, 계산된 운전 상황 점수에 기초하여 전자 개인 비서의 거동이 변경된다. 사용자는 선택적으로 요청(108)을 구두로 전자 개인 비서(106)에 제공할 수 있다. 요청(108)은 또한 전자 개인 비서(106)를 통해 운전 상황 모니터(302)에 의해 수신되거나 사용자로부터 직접 수신된다. 정상적인 상황에서, 전자 개인 비서(106)는 요청(108)에 대답(114)으로 구두로 응답할 수 있다. 그러나, 상황 점수(112)는 전자 개인 비서(106)로 하여금 자신의 거동을 변경하게 할 수 있다. 이러한 경우에, 전자 개인 비서(106)는 사용자에게 말하지 않음으로써 대답(114)(또는 다른 상호작용)을 중지할 수 있고/있거나 다른 방식으로 자신의 거동을 변경할 수 있다. 대답(114)을 중지시키는 것은 적어도 전자 개인 비서(106)가 정상적인 상호작용을 재개할 수 있다고 운전 상황 모니터(302)가 결정할 때까지 지속될 수 있다.

Description

상황 인식 개인 비서
"전자 개인 비서" 또는 "지능형 개인 비서"는 사용자가 상호작용할 수 있는 휴대 전화와 같은 사용자 디바이스에서 실행되는 애플리케이션이다. 사용자는 전자 개인 비서에게 말할 수 있으며, 전자 개인 비서는 사용자에게 음성으로 응답할 수 있다. 전자 개인 비서는 작업 및/또는 서비스 수행 요청과 같은 사용자 요청을 처리하여 일반적인 지원을 제공하도록 구성된다. 예를 들어, 전자 개인 비서는 질문에 답하고, 추천하고, 행동을 수행하도록 구성될 수 있다. 전자 개인 비서는 또한 사용자로부터의 사전 지시, 모바일 디바이스의 위치 등에 기초하여 사용자에게 정보를 제공하기 위해 독자적으로 발언하도록 구성될 수 있다. 그러나, 어떤 경우에는, 운전과 같이 사용자가 작업에 집중해야 하는 상황 중에 사용자에게 말하는 것은 사용자를 산만하게 할 수 있고 심지어 위험하게 할 수도 있다.
이 요약은 아래의 상세한 설명에서 더 자세히 설명되는 개념들의 선택을 단순화된 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 주요 특징 또는 필수 특징을 식별하기 위한 것이 아니며, 청구된 주제의 범위를 제한하는 데 사용하고자 하는 것도 아니다.
상황에 기초하여 전자 개인 비서의 거동을 변경하기 위한 방법, 시스템, 장치 및 컴퓨터 프로그램 제품이 제공된다. 센서 데이터를 생성하기 위해 복수의 센서로 상황이 감지된다. 센서 데이터에 기초하여 상황 점수가 계산된다. 계산된 상황 점수에 기초하여 전자 개인 비서의 거동이 변경된다. 일 측면에서, 상황은 운전자가 도로상에서 차량을 운전하는 운전 상황이다. 이러한 경우에, 센서 데이터에 기초하여 운전 상황 점수가 계산되고, 계산된 운전 상황 점수에 기초하여 전자 개인 비서의 거동이 변경되는데, 예를 들어 운전자가 산만해지지 않도록 전자 개인 비서에 의한 운전자와의 상호작용을 중지시킨다.
본 발명의 다양한 실시예의 구조 및 동작뿐만 아니라 본 발명의 다른 특징 및 이점은 첨부 도면을 참조하여 이하에 상세히 설명된다. 본 발명은 여기에 설명된 특정 실시예에 한정되지 않는다는 것에 유의해야 한다. 이러한 실시예는 예시의 목적으로만 여기에서 제시된다. 여기에 포함된 내용에 기초하여 당업자에게는 추가의 실시예가 명백할 것이다.
본 명세서에 포함되고 명세서의 일부를 형성하는 첨부 도면은 본원의 실시예를 설명하며, 또한 상세한 설명과 함께 실시예의 원리를 설명하고 당업자로 하여금 실시예를 제조 및 사용할 수 있게 한다.
도 1은 예시적 실시예에 따른, 센서 데이터가 수신되고 상황 모니터에 의해 처리되어 전자 개인 비서의 거동을 수정하는 상황 인식 시스템의 블록도를 도시한다.
도 2는 예시적 실시예에 따른, 상황에 기초하여 전자 개인 비서의 거동을 변경하기 위한 프로세스를 제공하는 흐름도를 도시한다.
도 3은 예시적 실시예에 따른, 전자 개인 비서가 운전자를 산만하게 하는 것을 방지하기 위해 차량에서 구현된 도 1의 상황 인식 시스템의 블록도를 도시한다.
도 4는 예시적 실시예에 따른, 차량 전자 기기에서 구현된 차량 기반 상황 인식 시스템의 블록도를 도시한다.
도 5는 예시적 실시예에 따른, 부분적으로는 차량 전자 기기에서 구현되고 부분적으로는 모바일 사용자 디바이스에서 구현된 차량 기반 상황 인식 시스템의 블록도를 도시한다.
도 6은 예시적 실시예에 따른, 모바일 사용자 디바이스에서 구현된 차량 기반 상황 인식 시스템의 블록도를 도시한다.
도 7은 예시적 실시예에 따른, 운전 상황을 감지하는 것에 기초하여 차량의 전자 개인 비서의 거동을 변경하기 위한 프로세스를 제공하는 흐름도를 도시한다.
도 8은 예시적 실시예에 따른, 운전 차량과 연관된 양상들을 감지하기 위한 복수의 센서의 블록도를 도시한다.
도 9는 예시적 실시예에 따른, 운전 차량과 연관된 양상들을 감지하는 프로세스를 제공하는 흐름도를 도시한다.
도 10은 예시적 실시예에 따른 상황 모니터의 블록도를 도시한다.
도 11은 예시적 실시예에 따른 상황 인식 시스템의 다른 블록도를 도시한다.
도 12는 예시적 실시예에 따른, 감지된 상태에 기초하여 전자 개인 비서에 의한 운전자와의 상호작용을 중지 및 재개하기 위한 차량에서의 프로세스를 제공하는 흐름도를 도시한다.
도 13은 예시적 실시예에 따른, 전자 개인 비서의 거동을 변경하기 위한 프로세스를 도시한다.
도 14는 실시예를 구현하는 데 사용될 수 있는 예시적 컴퓨팅 디바이스의 블록도를 도시한다.
본 발명의 특징 및 이점은 도면과 함께 고려될 때 아래에 제시되는 상세한 설명으로부터 더욱 명백해질 것인데, 도면에서 동일한 참조 문자는 전반에 걸쳐 대응하는 구성요소를 식별한다. 도면에서, 동일한 참조 번호는 일반적으로 동일하고/하거나, 기능적으로 유사하고/하거나 구조적으로 유사한 요소를 나타낸다. 구성요소가 처음 등장하는 도면은 대응하는 참조 번호의 가장 왼쪽 자리(들)에 의해 표시된다.
I. 도입
본 명세서 및 첨부 도면은 본 발명의 특징을 포함하는 하나 이상의 실시예를 개시한다. 본 발명의 범위는 개시된 실시예에 제한되지 않는다. 개시된 실시예는 단지 본 발명을 예시하는 것이고, 개시된 실시예의 수정된 버전 또한 본 발명에 포함된다. 본 발명의 실시예는 첨부된 청구범위에 의해 정의된다.
명세서에서 "일 실시예", "실시예", "예시적 실시예" 등의 언급은 설명된 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있음을 나타내지만, 모든 실시예가 반드시 특정 특징, 구조 또는 특징을 포함하는 것은 아니다. 또한, 이러한 문구는 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성이 실시예와 관련하여 설명될 때, 다른 실시예와 관련하여 그러한 특징, 구조 또는 특성을 달성하는 것은 명시적으로 설명되든 아니든 당업자의 지식 범위 내에 있다고 생각된다.
설명에서, 달리 언급되지 않는 한, 본 개시물의 실시예의 특징 또는 특징들의 상태 또는 관계 특성을 수식하는 "실질적으로" 및 "대략"과 같은 부사는, 의도되는 애플리케이션에 대한 실시예의 동작에 대해 수용 가능한 허용 오차 내에서 상태 또는 특성이 정의된다는 것을 의미하는 것으로 이해된다.
다수의 예시적 실시예가 다음과 같이 설명된다. 본 명세서에 제공된 임의의 섹션/서브 섹션의 표제는 제한하려는 것이 아님에 유의해야 한다. 실시예들은 본 명세서 전체에 걸쳐 설명되며, 임의 유형의 실시예는 임의의 섹션/서브 섹션에 포함될 수 있다. 또한, 임의의 섹션/서브 섹션에 개시된 실시예는 동일한 섹션/서브 섹션 및/또는 상이한 섹션/서브 섹션에 설명된 임의의 다른 실시예와 임의의 방식으로 결합될 수 있다.
II. 버킷팅(bucketing) 테스트 실패에 대한 예시적 실시예
전자 개인 비서는 사용자가 상호작용할 수 있는 휴대 전화와 같은 사용자 디바이스에서 실행되는 애플리케이션이다. 사용자는 전자 개인 비서에게 말할 수 있으며, 전자 개인 비서는 사용자에게 음성으로 응답할 수 있다. 전자 개인 비서는 정보 요청과 같은 사용자 요청을 처리함으로써 일반적인 지원을 제공하거나 작업 및/또는 서비스를 수행하도록 구성될 수 있다. 예를 들어, 전자 개인 비서는 질문에 답하고, 추천하고, 행동을 수행하도록 구성될 수 있다. 전자 개인 비서는 사용자 요청에 직접 응답하고/하거나 사전 지시, 모바일 디바이스의 위치 등을 포함하는 다양한 요소에 기초하여 사용자에게 정보를 제공하기 위해 독자적으로 발언할 수 있다. 캘리포니아의 쿠퍼티노에 있는 Apple Inc.에 의해 제공되는 Siri®, 캘리포니아의 마운틴 뷰에 있는 Google, Inc에 의해 제공되는 Google Now™, 워싱턴의 시에틀에 있는 Amazon.com, Inc.에 의해 제공되는 Amazon Echo™, 워싱턴의 레드몬드에 있는 Microsoft Corporation에 의해 제공되는 Cortana™을 포함하는 수많은 전자 개인 비서가 시판되고 있다.
정상적인 동작 중에, 전자 개인 비서는 사용자와 통신 또는 상호작용하도록 활성화될 수 있다. 그러나 전자 개인 비서가 정상적인 동작에서 벗어나 자신의 거동을 변경하는 것이 바람직한 경우가 존재할 수 있다. 예를 들어, 차량의 운전자(예컨대, 자동차 또는 트럭의 운전자, 항공기의 조종사)가 전자 개인 비서와 상호작용하는 통상적인 운전 상황에서, 전자 개인 비서에 대한 운전자의 구두 요청은 즉시 처리된다. 이는 부분적으로 전자 개인 비서가 주변 환경에 대한 인식이 부족하기 때문이다. 그러나, 특히 악조건에서 운전자가 운전하고 있는 동안 전자 개인 비서가 운전자에게 말하는 것은 바람직하지 않을 수 있다. 이는 전자 개인 비서의 음성이 사용자 및 차량의 다른 탑승자를 산만하게 하여 위험하게 할 수 있기 때문이다.
따라서, 실시예에서, 전자 개인 비서의 거동은 모바일 디바이스와 연관된 상황에 기초하여 변경된다. 실시예에서, 센서 데이터를 생성하기 위해 복수의 센서로 상황이 감지된다. 센서 데이터에 기초하여 상황 점수가 계산된다. 계산된 상황 점수에 기초하여 전자 개인 비서의 거동이 변경된다.
예를 들어, 운전 상황의 경우, 연구원들에 따르면 운전자가 Siri®와 상호작용할 때 운전자가 산만해지고 운전자의 산만한 상태는 상호작용이 끝난 후 20초 이상 지속되는 것이 발견되었다. 또한, 자동차에서의 휴대 전화 사용은 자동차 사고율을 증가시키만 자동차에 승객이 있을 경우 사고율이 감소된다는 것이 관찰되었다. 이러한 관찰에 대한 한 가지 설명은, 인간 승객은 자신의 말투를 조절하여 중요한 시간 동안 운전자의 주의를 끌기 위해 경쟁하지 않는 대화 패턴을 초래한다는 것이다.
일 실시예에서는, 전자 개인 비서에 의해 사용되는 실제 단어가 아니라, 전자 개인 비서가 차량에서 말하는 방법/시기가 예컨대 승객의 음성 패턴과 유사해 지도록 변경된다.
이러한 차량 실시예에서, 운전 상황에 관한 데이터는, 예컨대, 근처에 있는 다른 차량 및 도로 물체의 위치 및 움직임을 결정하기 위한 차량의 센서(예컨대, 카메라, RADAR, SONAR, 및/또는 LIDAR(light detection and ranging)), 운전자의 스트레스 수준을 추정하기 위해 운전자에 대해 훈련된 비디오 카메라 및/또는 다른 센서, 갑작스러운 가속 및 감속을 결정하기 위한 실시간 차량 운동학적(kinematic) 측정, 및/또는 안개, 비, 눈 등과 같은 국지적 기상 상태를 검출하도록 구성된 센서에 의해 다양한 방식으로 캡처될 수 있는데, 이들은 가까운 주변 환경에 대한 상황 인식을 발현시킨다. 그러한 감지에 의해 제공되는 국지적 인식의 수준은 세심한 승객이 달성할 수 있는 것과 유사하다.
따라서, 다음 상태, 즉, 큰 주변 소음, 극심하고 빠르게 변하는 교통 및/또는 도로 상황, 운전자의 일시적인 부정적 감정 상태(예컨대, 갑작스런 스트레스 또는 혼란), 자동차 속도의 급격한 변화 및/또는 다양한 추가 상태 중 하나 이상의 존재로 인해 사용자를 산만하게 하는 것이 위험할 경우, 전자 개인 비서는 운전자와 상호작용하기 위해(예컨대, 운전자에게 대답하거나 대화를 시작하기 위해) 대기하게 될 수 있다.
운전 상황에서, 음성 또는 텍스트로 사용자(운전자 또는 승객)의 요청에 응답할 때, 전자 개인 비서는 상호작용을 중지(예컨대, 말하기를 중단)하고, 재개하기 전에 상황이 용인될 정도로 평온할 때까지 대기하도록 구성될 수 있다. 일 실시예에서, 전자 개인 비서에 대한 말하기-또는-대기 상태를 나타내는 플래그가 생성될 수 있다. 응답을 적절하게 지연시킴으로써, 전자 개인 비서는 운전자가 직면하는 추가적 혼동과 혼란을 증가시키지 않는다.
다른 실시예에서, 전자 개인 비서는 운전자에게 전제적(proactive) 지원을 제공할 수 있다. 전술된 바와 같이 센서 데이터를 처리함으로써, 운전자에 대한 미래의 잠재적인 부정적 상황이 예측될 수 있고, 운전자는 전자 개인 보조 장치에 의해 미리 경고받을 수 있다. 예를 들어, 근처에 있는 자동차의 움직임을 감지함으로써, 자동차의 궤적이 예측될 수 있고 충돌 가능성이 있다면 전자 개인 비서는 운전자에게 경고할 수 있다.
교통 사고를 피하기 위한 지침을 제공하는 것 외에도, 전자 개인 비서는 향후 계획을 조언하기 위해 자동차의 상태로부터 획득된 정보, 현재 자동차 위치, 및 운전자의 예정된 약속 및 이벤트와 같은 운전자의 개인 정보를 결합할 수 있다. 예를 들어, 차량의 연료가 부족한 경우, 전자 개인 비서는 현재 위치, 교통 상황 및 운전자의 스케줄에 기초하여 편리한 주유소를 제안할 수 있다.
따라서, 운전 상황 실시예에서, 상황 인식 시스템은 국부적 운전 상황에 의해 운전자에게 부과된 인지 요구를 추정하도록 구성되고, 상황 인식 시스템의 출력 값에 기초하여 전자 개인 비서의 음성 사용자 인터페이스가 수정된다. 예를 들어, 다른 운전자에 의한 공격적이고 갑작스런 운전 거동을 갖는 혼잡한 교통은 운전자의 고도의 주의을 요구한다. 그러한 상황에서, 전자 개인 비서의 음성 인터페이스는 운전자와의 상호작용을 재개하기 전에 운전 작업에 의해 요구되는 인지 작업 부하가 완화될 때까지 대기하도록 구성될 수 있다.
일 실시예에서, 전자 개인 비서의 사용자 인터페이스는 주변 교통 상태를 운전 상황 인식(DSA) 시스템에 통합하도록 수정될 수 있다. DSA 시스템은, (a) 운전자의 음성 패턴(예컨대, 긴 끊김 또는 중단된 불완전한 문장은 혼잡한 교통 상황을 나타낼 수 있음) (b) 운전자의 표정(예컨대, 스트레스를 받거나 긴장한 표정은 혼잡한 교통을 나타낼 수 있음), (c) 운전자의 운전 거동(예컨대, 갑작스런 조향(steering) 또는 가속 및 감속은 회피 조작(avoidance maneuver)을 나타낼 수 있음) (d) 센서 신호(예컨대, 레이더, 비디오 카메라, 소나(sonar), IR(적외선) 카메라, 관성 항법 시스템(inertial navigation system), LIDAR 등을 포함하는 자동차 센서로부터의 가용 신호를 사용함) 및/또는 (e) 임의의 다른 감지된 상태를 포함하는 다양한 감지된 상태를 고려하는, 지원 벡터 머신, 회귀 트리(regression tree), 심부 신경망 또는 일반 모델과 같은 다차원 회귀 알고리즘을 사용하도록 구성될 수 있다.
실시예들은 다양한 방식으로 구현될 수 있다. 예를 들어, 도 1은 일 실시예에 따른, 센서 데이터가 처리되어 전자 개인 비서의 거동을 수정하는 상황 인식 시스템(100)의 블록도를 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 제 1 내지 제 3 센서(102A-102C), 상황 모니터(104) 및 전자 개인 비서(106)를 포함한다. 시스템(100)은 도 2와 관련하여 다음과 같이 설명된다. 도 2는 예시적 실시예에 따른, 상황 감지에 기초하여 전자 개인 비서의 거동을 변경하기 위한 프로세스를 제공하는 흐름도(200)를 도시한다. 시스템(100)은 일 실시예에서 흐름도(200)를 수행할 수 있다.
흐름도(200)는 단계 202에서 시작한다. 단계 202에서, 센서 데이터를 생성하기 위해 복수의 센서로 상황이 감지된다. 도 2에 도시된 바와 같이, 센서(102A-102C)는 상황의 양상을 감지하도록 구성될 수 있다. 감지된 상황은 사용자에 의해 사용중인 전자 개인 비서를 포함하는 모바일 디바이스 또는 다른 컴퓨팅 디바이스를 포함하는 환경에서 일어나는 임의의 상황일 수 있다. 예시적 해당 상황은, 운전 상황, 비행 상황(예컨대, 항공기 내 조종사), 항해 상황, 작업장 상황(예컨대, 데스크톱 컴퓨터에 앉아 있는 사용자, 기계를 조작 중인 사용자 등), 도보 상황(예컨대, 걸으면서 모바일 디바이스를 휴대하는 사용자), 운동 상황(예컨대, 체육관에서 달리거나 하이킹 또는 등반하면서 모바일 디바이스를 휴대하는 사용자) 등을 포함한다.
센서(102A-102C)는 각각 동일하거나 상이한 타입의 센서 디바이스이다. 설명을 용이하게 하기 위해 도 1에는 3개의 센서(102A-102C)가 도시되어 있지만, 실시예들에서는 수십 개, 수백 개 또는 심지어 더 많은 수의 센서를 포함하는 임의 수의 센서가 시스템(100)에 존재할 수 있다. 센서(102A-102C)의 예는, 압력 센서(예컨대, 공기압, 수압), 온도 센서(예컨대, 주택 또는 다른 건물 온도, 인체 온도, 엔진 온도, 환경 온도), 초음파 센서, 습도 센서, 가스 센서, 광 센서, PIR(passive infrared) 센서, 잡음 센서, 가속 센서, 움직임 센서, 변위 센서, 생체 센서(예컨대, 지문 센서, 심장 박동 센서, 혈압 센서, 망막 센서, 안면 인식 센서, 음성 센서) 등을 포함한다. 센서(102A-102C)는, 센서 데이터(110A-110C)로서 각각 도시된, 감지된 상태(예컨대, 온도, 압력, 습도 등)를 나타내는 전기 신호를 생성하도록 각각 구성된다. 센서(102A-102C)는 아날로그 전기 신호, 디지털 전기 신호(예컨대, 전기적 하이 및 로우의 형태로 데이터를 전달함) 등을 포함하는 임의 형태의 센서 데이터(110A-110C)를 생성할 수 있고, 센서 데이터(110A-110C)를 무선 또는 유선 방식으로 상황 모니터(104)에 제공할 수 있다.
단계 204에서는 센서 데이터에 기초하여 상황 점수가 계산된다. 도 1에 도시된 바와 같이, 상황 모니터(104)는 센서 데이터(110A-110C)와 같은 센서 데이터를 수신하고, 수신된 센서 데이터에 기초하여 상황 점수(112)를 생성하도록 구성된다. 상황 모니터(104)는 임의의 하나 이상의 센서 데이터 (및/또는 추가 센서 데이터)를 고려할 수 있는 임의 방식으로 상황 점수(112)를 계산할 수 있고, 각각의 수신된 센서 데이터를 임의 방식으로 가중시킬 수 있고, 가중된 센서 데이터를 임의 방식으로(예컨대, 임의의 방정식 또는 공식에 따라) 결합하여 상황 점수(112)를 생성할 수 있다.
단계 206에서는 계산된 상황 점수에 기초하여 전자 개인 비서의 거동이 변경된다. 일 실시예에서, 상황 점수(112)는 전자 개인 비서(106)의 거동을 변경시키는 데 사용된다. 예를 들어, 도 1에 도시된 바와 같이, 상황 모니터(104)는 전자 개인 비서(106)에 의해 수신될 수 있는 상황 점수(112)를 출력할 수 있고, 전자 개인 비서(106)는 상황 점수(112)의 값에 기초하여 자신의 거동(예컨대, 기능/동작)을 변경할 수 있다. 예를 들어, 전자 개인 비서(106)는 수행 중인 동작을 중지(예컨대, 음악 재생 중단, 말하기 중단, 메시지 보여주기 중단, 비디오 보여주기 중단 등)할 수 있고/있거나, 동작을 시작(예컨대, 음악 재생 시작, 말하기 시작, 메시지 보여주기, 비디오 보여주기 등)할 수 있고/있거나 다른 방식으로 거동을 변경할 수 있다. 대안적으로, 이하에서 더 설명되는 바와 같이, 상황 점수(112)를 출력하는 대신에, 상황 모니터(104)는 전자 개인 비서(106)의 출력을 수신하여 사용자에게 제공되지 않게 유지할 수 있다.
예를 들어, 도 1에 도시된 바와 같이, 사용자는 전자 개인 비서(106)에 구두로 요청(108)을 선택적으로 제공할 수 있다. 요청(108)은 또한 (도 1에 도시된 바와 같이) 전자 개인 비서(106)를 통해 상황 모니터(104)에 의해 수신되거나, 사용자로부터 직접 수신된다. 정상적인 경우에, 전자 개인 비서(106)는 요청(108)에 대해 대답(114)으로 구두로 응답할 수 있다. 그러나, 상황 점수(112)는 전자 개인 비서(106)로 하여금 자신의 행동을 변경하게 할 수 있다. 이러한 경우에, 전자 개인 비서(106)는 사용자에게 말하지 않음으로써 대답(114)(또는 다른 상호작용)을 중지할 수 있고/있거나 다른 방식으로 자신의 거동을 변경할 수 있다. 대답(l14)을 중지하는 것은 적어도 전자 개인 비서(106)가 정상적인 상호작용을 재개할 수 있다고(예컨대, 위험이 지나갔다고) 상황 모니터(104)가 판단할 때까지 지속될 수 있다.
이러한 거동의 변화는, 상황 점수(112)의 값에 기초하여 사용자로부터의 증가된 주의를 필요로 하는 상황이라고 결정될 때(예컨대, 감지된 난기류 동안 항공기를 운항 중일 때) 사용자를 산만하게 하지 않기 위해 이루어질 수 있다. 대안 적으로, 거동의 변화는 사용자가 상황의 변화를 처리하는 것을 돕기 위해 사용자에게 정보를 제공하는 것(예컨대, 증가된 혈압이 감지되는 동안 심장 마비를 피하기 위해 활동을 감소시키라는 지침을 사용자에게 제공하는 것)일 수 있다.
도 1의 상황 인식 시스템(100)은 다양한 유형의 상황을 모니터링하고 그에 따라 전자 개인 비서의 거동을 변경하도록 다양한 방식으로 구성될 수 있다. 예를 들어, 도 3 내지 도 6은 운전 상황에 대한 시스템(100)의 예시적 구성을 도시한다. 이러한 운전 상황의 예는 예시의 목적으로 제공되며 제한하려는 것이 아니다. 도 3 내지 도 6은 또한, 본 명세서의 교시로부터 당업자에게 명백한 바와 같이, 본 명세서의 다른 곳에서 언급되거나 공지되어 있는 다른 유형의 상황에도 적용 가능하다. 도 3 내지 도 6은 다음과 같이 설명된다.
도 3은 예시적 실시예에 따른, 차량(300)에서 구현된 상황 인식 시스템(100)의 블록도를 도시한다. 차량(300)은 자동차, 트럭, 기차, 선박, 항공기 또는 다른 유형의 차량일 수 있다. 도 3에 도시된 바와 같이, 제 1 내지 제 3 센서(102A-102C), 운전 상황 모니터(302) 및 전자 개인 비서(106)의 각각은 차량(300)에서 구현된다. 센서(102A-102C)는 각각 차량(300)의 내부 또는 상부 어디에나 장착될 수 있다. 상황 모니터(302)는 운전 상황을 위해 구성된 상황 모니터(104)의 예이다. 상황 모니터(302) 및 전자 개인 비서(106)는 공통 디바이스 또는 전자 기기에서 구현될 수 있거나, 또는 개별적으로 구현될 수 있다.
예를 들어, 도 4는 예시적 실시예에 따른, 차량 전자 기기에서 구현된 시스템(100)의 블록도를 도시한다. 도 4에 도시된 바와 같이, 차량(300)은 하나 이상의 차량 프로세서 회로(402)(예컨대, 마이크로프로세서, CPU 등) 및 하나 이상의 차량 메모리 디바이스(404)(예컨대, 랜덤 액세스 메모리, 판독 전용 메모리 등)를 포함한다. 센서(102A-102C)는 각각 도 4의 차량(300) 내부 또는 상부 어디에나 장착될 수 있다. 운전 상황 모니터(302) 및 전자 개인 비서(106)는, 차량 메모리 디바이스(들)(404)에 저장되어 차량 프로세서 회로(들)(402)에 의해 실행되는 개별 애플리케이션들일 수 있다(또는 단일 애플리케이션으로 결합될 수도 있음). 이러한 실시예에서, 차량 사용자 인터페이스(예컨대, 대시보드-장착형 디스플레이)는 운전자를 위해 전자 개인 비서(106)에 대한 액세스를 제공할 수 있고, 전자 개인 비서(106)는 하나 이상의 차량-장착형 라우드 스피커 및 하나 이상의 마이크로폰을 통해 운전자와 통신할 수 있다. 차량 프로세서 회로(들)(402)에 의해 실행되는 운전 상황 모니터(302)는 센서(102A-102C)를 모니터링할 수 있고, 본 명세서의 실시예들에 따라 전자 개인 비서(106)의 거동을 변경하기 위해 전자 개인 비서(106)와 통신할 수 있다.
도 5는 다른 차량 기반 실시예를 도시하는데, 여기서 시스템(100)은 부분적으로는 차량 컴퓨터에서 구현되고 부분적으로는 모바일 사용자 디바이스(502)에서 구현된다. 모바일 사용자 디바이스(502)는 운전자가 차량(300) 내외로 운반할 수 있는 모바일 디바이스이다. 도 5에서, 센서(102A-102C)는 각각 도 4의 차량(300) 내부 또는 상부 어디에나 장착될 수 있다. 운전 상황 모니터(302)는 차량 메모리 디바이스(들)(404)에 저장되고 차량 프로세서 회로(들)(402)에 의해 실행된다. 전자 개인 비서(106)는 모바일 사용자 디바이스(502)에서 구현되고, 모바일 사용자 디바이스(502)의 마이크로폰(들) 및 라우드스피커(들)를 통해 사용자와 직접 상호작용할 수 있거나 차량(300)의 마이크로폰(들) 및 라우드스피커(들)를 통해 사용자와 상호작용할 수 있다(예컨대, 모바일 사용자 디바이스(502)는 유선 또는 무선 링크를 통해 차량(300)과 통신할 수 있음). 운전 상황 모니터(302)는 센서(102A-102C)를 모니터링하고, 본 명세서의 실시예들에 따라 전자 개인 비서(106)의 거동을 변경하기 위해 모바일 사용자 디바이스(502)와 통신할 수 있다.
도 6은 또 다른 차량 기반 실시예를 도시한다. 도 6에서, 센서(102A-102C)는 각각 도 4의 차량(300) 내부 또는 상부 어디에나 장착될 수 있다. 운전 상황 모니터(302) 및 전자 개인 비서(106)는 모바일 사용자 디바이스(502)에서 구현된다. 이러한 실시예에서, 차량 인터페이스는 운전자를 위해 전자 개인 비서(106)에 대한 액세스를 제공하기 위해 모바일 사용자 디바이스(502)와 (예컨대, 유선 또는 무선으로) 인터페이스할 수 있거나, 또는 운전자는 전자 개인 비서(106)와 직접 통신할 수 있다. 모바일 사용자 디바이스(502)의 운전 상황 모니터(302)는 (예컨대, 차량(300)의 유선 및/또는 무선 인터페이스를 통해) 센서(102A-102C)로부터 센서 데이터를 수신할 수 있고, 본 명세서의 실시예들에 따라 전자 개인 비서(106)의 거동을 변경하기 위해 모바일 사용자 디바이스(502) 내부의 전자 개인 비서(106)와 통신할 수 있다.
모바일 사용자 디바이스(502)의 예는, 모바일 컴퓨터 또는 모바일 컴퓨팅 디바이스(예컨대, Microsoft® Surface® 디바이스, PDA(personal digital assistant), 랩탑 컴퓨터, 노트북 컴퓨터, Apple iPadTM, 넷북 등), 모바일폰(예컨대, 휴대폰, Microsoft Windows® 전화와 같은 스마트폰, Apple iPhone, Google® Android™ 운영 체제를 구현하는 전화, Palm® 디바이스, Blackberry® 디바이스 등) 또는 웨어러블 컴퓨팅 디바이스(예컨대, 스마트 시계, Google® Glass™와 같은 스마트 안경을 포함한 헤드 장착형 디바이스 등)를 포함한다.
도 3 내지 도 6의 운전 상황 모니터(302)는 그 기능을 수행하기 위해 다양한 방식으로 동작할 수 있다. 예를 들어, 도 7은 예시적 실시예에 따라, 운전 상황을 감지하는 것에 기초하여 차량의 전자 개인 비서의 거동을 변경하기 위한 프로세스를 제공하는 흐름도(700)를 도시한다. 흐름도(700)는 다음과 같이 설명된다.
흐름도(700)는 단계 702에서 시작한다. 단계 702에서는, 복수의 센서로부터 운전 상황에 관한 센서 데이터가 수신된다. 전술한 바와 같이, 도 3 내지 도 6을 참조하면, 센서(102A-102C)는 운전 상황의 양상을 감지하고, 운전 상황 모니터(302)에 의해 수신되는 센서 데이터(110A-110C)를 각각 생성한다. 감지된 운전 상황은 사용자에 의해 사용중인 전자 개인 비서를 운반하는 차량을 포함하는 운전 환경에서 발생한다. 운전(또는 다른) 상황에서 다양한 유형의 센서가 존재할 수 있다.
예를 들어, 도 8은 예시적 실시예에 따른, 차량(300)과 연관된 양상들을 감지하기 위한 복수의 센서(802A-802C)의 블록도를 도시한다. 센서(802A-802C)는 센서(102A-102C)의 예이다. 도 8에는 3 개의 센서(802A-802C)가 도시되어 있지만, 임의 수의 센서 및 센서 유형의 조합이 존재할 수 있다. 도 8은 예시의 목적으로 도 9와 관련하여 설명된다. 도 9는 예시적 실시예에 따른, 운전 차량과 연관된 양상들을 감지하기 위한 프로세스를 제공하는 흐름도(900)를 도시한다. 일 실시예에서, 센서(802A-802C)는 흐름도(900)에 따라 동작할 수 있다. 흐름도(900)의 단계들 중 임의의 하나 이상은 실시예들에서 임의의 순서로 수행될 수 있다. 도 8 및 흐름도(900)는 다음과 같이 설명된다.
단계 902에서는 운전자의 적어도 하나의 양상이 감지된다. 일 실시예에서, 센서(802A)는 운전자(804)(차량(300)를 운전하는 사람)의 양상을 감지하도록 구성된 운전자 양상 센서(802A)이다. 운전자 양상 센서(802A)에 의해 생성된 센서 데이터는 적어도 부분적으로 운전 상황을 결정하는 데 사용될 수 있으며, 그에 따라 운전자(804)의 전자 개인 비서(예컨대, 운전자(804)의 모바일 사용자 디바이스 내에 있거나 또는 차량(300)에 통합됨)의 거동을 변경하는 데 사용될 수 있다.
운전자 양상 센서(802A)는 운전자(804)의 양상을 감지할 수 있는 임의 유형의 센서일 수 있다. 예를 들어, 운전자 양상 센서(802A)는 운전자(804)의 음성 패턴을 모니터링하도록 구성된 음성 패턴 센서(예컨대, 음성 인식 소프트웨어/하드웨어와 결합된 마이크로폰(들))일 수 있다. 음성 패턴 센서는 운전자(804)의 음성에서 긴 끊김 또는 중단, 불완전한 문장 또는 혼잡하거나 위험한 교통 상황의 다른 표시를 모니터링할 수 있다. 다른 예에서, 운전자 양상 센서(802A)는 운전자(804)의 표정을 모니터링하도록 구성된 안면 센서(예컨대, 안면 인식 소프트웨어/하드웨어와 결합된 운전자(804)의 얼굴을 향한 카메라(들))일 수 있다. 예를 들어, 안면 센서는 운전자(804)의 얼굴에서 스트레스를 받은 또는 긴장한 표정 또는 혼잡하거나 위험한 교통 상황을 나타낼 수 있는 다른 표현을 모니터링할 수 있다. 다른 예에서, 운전자 양상 센서(802A)는 운전자(804)의 운전 거동을 모니터링하도록 구성된 운전 거동 센서(예컨대, 공간 인식 소프트웨어/하드웨어와 결합된 운전자(804)의 팔 및/또는 다리를 향한 카메라(들))일 수 있다. 예를 들어, 운전 거동 센서는 운전자(804)에 의해 시도된 회피 조작을 나타낼 수 있는 갑작스러운 조향, 가속 및/또는 감속을 운전자(804)에게서 모니터링할 수 있다.
단계 904에서, 차량의 적어도 하나의 양상이 감지된다. 일 실시예에서, 센서(802B)는 차량(300)의 양상을 감지하도록 구성된 차량 양상 센서(802B)이다. 차량 양상 센서(802B)에 의해 생성된 센서 데이터는 적어도 부분적으로 운전 상황을 결정하는 데 사용될 수 있는데, 이는 운전자의 전자 개인 비서(804)의 거동을 그에 따라 변경하는 데 사용될 수 있다.
차량 양상 센서(802B)는 차량(300)의 양상을 감지할 수 있는 임의 유형의 센서일 수 있다. 예를 들어, 차량 양상 센서(802A)는 하나 이상의 가속 센서, 움직임 센서, 방향 센서, 온도 센서, 카메라 등을 포함하는 차량 움직임 모니터 센서일 수 있다. 예를 들어, 차량 양상 센서(802A)는 차량(300)의 자동 운전 시스템에 의한, 운전자(300)에 의한 회피 조작을 나타낼 수 있는, 방향 틀기, 가속, 감속, 갑작스러운 정지 등을 포함하는 움직임 또는 방향의 갑작스러운 변경, 및/또는 충돌을 차량(300)에서 모니터링할 수 있다.
단계 906에서, 도로 환경의 적어도 하나의 양상이 감지된다. 일 실시예에서, 센서(802C)는 도로(806) 상의 차량(300)을 둘러싸는 교통의 양상을 감지하도록 구성된 교통 양상 센서(802C)이다. 교통 양상 센서(802C)에 의해 생성된 센서 데이터는 적어도 부분적으로 운전 상황을 결정하는데 사용될 수 있는데, 이는 운전자의 전자 개인 비서(804)의 거동을 그에 따라 변경하는 데 사용될 수 있다.
교통 양상 센서(802C)는 도로(806) 상의 교통 양상을 감지할 수 있는 임의 유형의 센서일 수 있다. 예를 들어, 차량 양상 센서(802A)는 레이더 접시/안테나, 하나 이상의 비디오 카메라, 소나 송신기/수신기, 하나 이상의 IR(적외선) 카메라, 관성 항법 시스템, LIDAR 시스템(예컨대, 레이저 및 광검출기) 등과 같은 차량/교통 센서일 수 있다. 교통 양상 센서(802C)는 다른 차량들 및/또는 장애물들 등의 사이에서 차량(300)과의 충돌 가능성을 감지하기 위해, 그 위치 및 속도를 포함하여 도로(806) 상의 다른 차량들 및/또는 장애물들을 감지할 수 있다.
운전 상황 모니터(302)(도 3 내지 도 6)는, 흐름도(700)(도 7)의 단계 702에 따라, 운전자 양상 센서(802A), 차량 양상 센서(802B), 및/또는 교통 양상 센서(802C) 중 하나 이상으로부터 임의의 수 및 조합으로 센서 데이터(110A-110C)를 수신할 수 있다.
흐름도(700)를 다시 참조하면, 단계 704에서, 센서 데이터에 기초하여 운전 상황 점수가 계산된다. 실시예에서, 운전 상황 모니터(302)는 실시간 교통 위험 레벨을 나타내는 운전 상황 점수(예컨대, DSA 점수)로서 상황 점수(112)를 계산할 수 있다. 예를 들어, 운전 상황 모니터(302)는 도 10에 도시된 바와 같이 구성될 수 있다. 도 10은 예시적 실시예에 따른 도 1의 상황 모니터(104)의 블록도를 도시한다. 도 10에 도시된 바와 같이, 상황 모니터(104)는 상황 점수 계산기(1002) 및 비서 거동 수정기(1004)를 포함할 수 있다. 운전 상황에서, 상황 점수 계산기(1002)는 운전 상황 점수를 생성하기 위해 단계(704)를 수행하도록 구성될 수 있다. 다른 상황에서, 상황 점수 계산기(1002)는, 본 명세서의 다른 곳에서 설명된 바와 같이, 그리고 본 명세서의 교시로부터 관련 기술 분야의 당업자에게 알려지게 되는 바와 같이, 다른 유형의 상황 점수를 생성할 수 있다. 상황 점수 계산기(1002)는 임의의 적합한 값 시스템에 따라 상황 점수(112)를 생성할 수 있다.
상황 점수 계산기(1002)는 0 내지 1의 범위에 있는 것과 같이 2개의 한계 사이의 값을 갖는 것을 포함하는 임의의 방식으로 운전 상황 점수를 구성할 수 있는데, 여기서 0은 교통량이 전혀 없음을 나타내고 1은 최대로 혼잡한 교통 상태를 나타낸다. 계산된 운전 상황 점수는 전자 개인 비서(106)에 제공될 수 있거나 그 거동을 변경하는 데 사용될 수 있다.
실시예에서, 운전 상황 점수는 운전자 양상 센서(802A), 차량 양상 센서(802B) 및/또는 교통 양상 센서(802C) 중 임의의 하나 이상에 의해 생성된 센서 데이터(및/또는 추가 센서 데이터)에 기초하여 상황 점수 계산기(1002)에 의해 계산될 수 있다. 상황 점수 계산기(1002)는, 임의의 방식으로 각각의 수신된 센서 데이터를 가중하고 (예컨대, 임의의 방정식 또는 공식에 따라) 임의의 방식으로 가중된 센서 데이터를 결합하여 상황 점수(112)를 생성하는 것을 포함하는, 임의의 방식으로 상황 점수(112)를 계산할 수 있다.
예를 들어, 상황 점수 계산기(1002)가 일반적 가산 모델을 구현하는 경우, 각각의 센서 데이터 입력은 하나의 함수에 의해 처리되고 모든 함수의 출력이 다음 수학식 1에 도시된 바와 같이 운전 상황 점수를 결정하기 위해 가산된다:
[수학식 1]
점수 = f1(음성) + f2(얼굴 이미지) + f3(운전 거동) + f4(차량 센서) + f5(교통량) + f6(잡음)
f1 = 음성 패턴 센서 데이터에 기초한 함수
f2 = 얼굴 이미지 센서 데이터에 기초한 함수
f3 = 운전 거동 센서 데이터에 기초한 함수
f4 = 차량 센서 데이터에 기초한 함수
f5 = 교통 센서 데이터에 기초한 함수
f6 = 잡음 센서 데이터(예컨대, 갑작스러운 큰 잡음 등)에 기초한 함수
실시예에서, 운전 상황 점수를 결정하기 위해 함수들(f1 내지 f6) 중 임의의 하나 이상이 결합될 수 있다. 일 실시예에서, 함수들(f1 내지 f6)은 각각 훈련 데이터 세트를 사용하여 또는 다른 방식으로 결정될 수 있다. 다른 실시예에서, 상황 점수 계산기(1002)는 지원 벡터 머신, 회귀 트리, 심 신경 네트워크 등과 같은 다차원 회귀 알고리즘을 포함하는 센서 데이터에 기초하여 상황 점수를 생성하기 위한 다른 기술을 구현할 수 있다.
실시예에서, 상황 점수(112)는 정기적으로, 예정된 시간에, 또는 임의의 다른 기준으로 상황 점수 계산기(1002)에 의해 계산될 수 있다.
흐름도(700)(도 7)를 다시 참조하면, 단계 706에서는 계산된 운전 상황 점수에 기초하여 전자 개인 비서의 거동이 변경된다. 일 실시예에서, 상황 점수(112)는 전자 개인 비서(106)의 거동을 변경하는 데 사용된다. 예를 들어, 도 1, 도 3 내지 도 6 및 도 10에 도시된 바와 같이, 상황 모니터(104/302)는 상황 점수(112)를 출력한다. 전자 개인 비서(106)는 상황 점수(112)의 값을 수신하고 그에 기초하여 자신의 거동(예컨대, 기능/동작)을 변경한다. 대안적으로, 시스템(100)은 도 10에 도시된 바와 같이 구성될 수 있다. 도 10에서, 상황 점수 계산기(1002)는 상황 점수(112)를 생성할 수 있지만, 전자 개인 비서(106)에 직접 상황 점수(112)를 제공하지 않고, 대신에, 전자 개인 비서(106)에 의해 수신되는 거동 변경 지시(1012)를 생성하는 비서 거동 수정기(1004)에 상황 점수(112)를 제공하여, 전자 개인 비서에 하나 이상의 거동을 변경할 것을 지시한다.
또 다른 실시예에서, 시스템(100)은 도 11에 도시된 바와 같이 구성될 수 있다. 도 11에서, 상황 모니터(104)는 전자 개인 비서(106)에 상황 점수(112) 또는 거동 변경 지시(1012)를 제공하지 않는다. 그 대신에, 전자 개인 비서(106) 및 상황 모니터(104)는 모두 요청(108)을 수신한다. 전자 개인 비서(106)는 요청(108)에 기초하여 대답(114)(예컨대, 사용자를 위한 음성)을 생성하고, 대답(114)은 사용자에게 직접 제공되기보다는 상황 모니터(104)에 의해 인터셉트된다. 상황 모니터(104)는 본 명세서에 설명된 상황 점수를 생성하고, 상황 점수가 그러한 전달을 정당화한다면(예컨대, 상황이 위험하지 않다면) 사용자에게 대답(114)을 제공하거나 상황 점수가 그러한 중지를 정당화한다면(예를 들어, 상황이 위험하다고 결정되면) 사용자에게 대답(114)을 제공하는 것을 중지한다.
따라서, 수신된 상황 점수에 기초하여 전자 개인 비서(106)는 자신의 거동을 변경할 수 있다. 운전 상황 실시예에서, 전자 개인 비서(106)는 도 12에 따라 동작할 수 있다. 도 12는 예시적 실시예에 따라, 감지된 상태에 기초하여 전자 개인 비서에 의한 상호작용을 중지 및 재개하는 프로세스를 제공하는 흐름도(1200)를 도시한다. 흐름도(1200)는 흐름도(700)(도 7)의 단계(706) 동안 수행될 수 있으며, 다음과 같이 설명된다.
흐름도(1200)는 단계 1202에서 시작한다. 단계 1202에서, 전자 개인 비서에 의해 운전자가 산만해지는 것을 방지하기 위해, 운전 상황 점수가 제 1 사전 결정된 조건을 만족시키는 경우, 전자 개인 비서에 의한 운전자와의 상호작용이 중지된다. 전술한 바와 같이, 실시예에서, 전자 개인 비서(106)의 거동은, 전자 개인 비서(106)가 상황 점수(112) 또는 거동 변경 지시(1012)를 수신하는 것 또는 상황 모니터(104)가 전자 개인 비서(106)로부터의 대답(114)을 보류시키는 것으로 인해 변경된다. 상황 점수(112) 또는 거동 변경 지시(1012)는 전자 개인 비서(106)로 하여금 운전자와의 상호작용을 중지하게 하도록 구성될 수 있거나, 또는 대답(114)이 전자 개인 비서(106)로부터 보류되어 상호작용이 중지되게 할 수 있다. 이는 혼잡하거나 위험한 운전 상황 동안 운전자가 산만해지지 않도록 하기 위해 수행될 수 있다.
예를 들어, 상황 점수(112)가 제 1 사전 결정된 조건을 만족시키는 경우(예컨대, 제 1 사전 결정된 임계 값보다 크거나, 그와 같거나, 그보다 작은 것과 같이, 제 1 사전 결정된 임계 값과 사전 결정된 관계를 갖는 경우(이것은 상황 점수(112)와 제 1 사전 결정된 임계 값의 비교에 의해 결정될 수 있음)), 전자 개인 비서(106)에 의한 운전자와의 상호작용은 중지된다. 일 실시예에서, 비서 거동 수정기(1004)는 상황 점수(112)가 사전 결정된 임계 값보다 큰 값을 가질 때 거동 변경 지시(1012)를 생성할 수 있다. 운전 상황 실시예에서, 제 1 임계 값은 그 보다 높은 경우 운전자의 주의가 운전에 집중되어야 하는 혼잡한 교통의 임계 레벨에 대응할 수 있다. 다른 실시예에서, 비서 거동 수정기(1004)는 상황 점수(112)의 값을 지시 테이블에 적용할 수 있다. 지시 테이블은 대응하는 상황 점수/범위에 매핑되는 복수의 거동 변경 지시를 나열한다. 거동 변경 지시는 상황 점수(112)의 값에 대응하는(예컨대, 지시에 대응하는 특정 범위에 속하는) 명령 테이블로부터 선택되고, 선택된 지시는 전자 개인 비서(106)에 제공된다. 나열된 지시들 중 하나 이상은 상호작용의 중지를 포함할 수 있다. 다른 실시예에서, 비서 거동 수정기(1004)는 다른 방식으로 거동 변경 지시(1012)을 결정할 수 있다.
흐름도(1200)의 단계 1204에서, 운전 상황 점수가 제 2 조건을 만족시키는 경우, 전자 개인 비서에 의한 운전자와의 상호작용이 재개된다. 실시예에서는, 상황 점수(112) 또는 거동 변경 지시(1012)가 전자 개인 비서(106)로 하여금 운전자와의 상호작용을 재개하게 하거나, 상황 모니터(104)에 의해 대답(114)이 전자 개인 비서(106)에 제공되어 상호작용을 재개하게 할 수 있다. 이는 상호작용에 의해 운전자를 산만하게 할 염려를 충분히 감소시킬 정도로 운전 상태가 개선되었을 때 수행될 수 있다.
예를 들어, 상황 점수(112)가 제 2 사전 결정된 조건을 만족시키는 경우(예컨대, 제 2 사전 결정된 임계 값보다 크거나, 그와 같거나, 그보다 작은 것과 같이, 제 2 사전 결정된 임계 값과 사전 결정된 관계를 갖는 경우), 전자 개인 비서(106)에 의한 운전자와의 상호작용이 재개된다. 일 실시예에서, 비서 거동 수정기(1004)는 상황 점수(112)가 제 2 사전 결정된 임계 값보다 작은 값을 가질 때 거동 변경 지시(1012)를 생성할 수 있다. 이 제 2 임계 값은 상호작용을 중지시키는 데 사용된 제 1 임계 값과 동일할 수도 있고, 또는 제 1 임계 값과 제 2 임계 값은 (예컨대, 히스테리시스를 제공하기 위해) 서로 다를 수도 있다. 운전 상황 실시예에서, 제 2 임계 값은 그 보다 낮은 경우 운전자가 전자 개인 비서(106)에 약간의 주의를 기울일 수 있는 혼잡한 교통의 임계 레벨에 대응할 수 있다. 다른 실시예에서, 비서 거동 수정기(1004)는 상호작용의 재개를 가능하게 하는 엔트리를 포함할 수 있는 전술한 지시 테이블에 상황 점수(112)의 값을 적용할 수 있고, 제공할 대응하는 지시를 추출할 수 있다.
전술한 바와 같이, 상황 점수(112)에 기초하여, 전자 개인 비서(106)는 임의 유형 및 임의 수의 동작의 수행을 중지(예컨대, 음악 재생 중단, 말하기 중단, 메시지 보여주기 중단, 비디오 보여주기 중단 등)할 수 있다. 대안적으로, 상황 점수에 기초하여, 전자 개인 비서(106)는 행동을 시작(예컨대, 음악 재생 시작, 말하기 시작, 메시지 보여주기, 비디오 보여주기 등)할 수 있고/있거나 다른 방식으로 거동을 변경할 수 있다.
일 실시예에서, 흐름도(700)(도 7)의 단계 706은 도 13에 따라 거동을 변경할 수 있다. 도 13은 예시적 실시예에 따라 전자 개인 비서의 거동을 변경하기 위한 단계 1302를 도시한다. 단계 1302는 다음과 같이 설명된다. 단계 1302에서, 운전자와의 구두 통신 또는 시각적 통신 중 적어도 하나를 지연시키는 것, 운전자에게 구두 지원 또는 시각적 지원 중 적어도 하나를 제공하는 것, 또는 운전자에게 제안을 제공하는 것 중 적어도 하나가 수행된다.
실시예에서, 운전자를 산만하게 하는 것을 방지하기 위해, 전자 개인 비서(106)에 의한 운전자와의 구두 통신 또는 시각적(예컨대, 텍스트, 이미지 등) 통신은 지연되거나 중지될 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 전자 개인 비서(106)의 음성 인터페이스(1006)는 상황 점수(112) 또는 거동 변경 지시(1012)를 수신할 수 있다. 음성 인터페이스(1006)는 전자 개인 비서(106)에 의한 음성 통신을 비활성화 및 활성화할 수 있다. 상황 인터페이스(1006)는 상황 점수(112) 또는 거동 변경 지시(1012)를 수신할 경우, (상황 점수(112) 또는 거동 변경 지시(1012)의 대응하는 값/지시에 의해 다시 활성화될 때까지) 전자 개인 비서(106)에 의한 음성 통신을 비활성화할 수 있다.
또한, 단계 1302에 따라, 다른 실시예에서, 전자 개인 비서(106)는 상황 점수(112) 또는 거동 변경 지시(1012)에 기초하여 운전자에게 정보를 제공할 수 있다. 예를 들어, 차량의 상태에 관한 센서 데이터, 현재 위치 및 운전자의 개인 정보(예컨대, 다가오는 약속 및 이벤트)에 기초하여, 전자 개인 비서(106)는 미래 계획을 조언하기 위해 운전자에게 정보를 제공할 수 있다. 예를 들어, 연료가 부족하거나 기계적인 문제가 있는 것으로 차량이 센서에 의해 검출되면, 전자 개인 비서(106)는 현재 위치, 교통 상태 및 운전자의 스케줄에 기초하여 편리한 서비스 스테이션을 제안할 수 있다.
III. 모바일 및 고정 디바이스 실시예
센서 모니터(104), 전자 개인 비서(106), 차량 프로세서 회로(들)(402), 모바일 사용자 디바이스(502), 상황 점수 계산기(1002), 비서 거동 수정기(1004), 음성 인터페이스(1006), 흐름도(200), 흐름도(700), 흐름도(1200) 및 단계(1302)는 하드웨어 또는 소프트웨어 및/또는 펌웨어와 결합된 하드웨어로 구현될 수 있다. 예를 들어, 센서 모니터(104), 전자 개인 비서(106, 402), 상황 점수 계산기(1002), 비서 거동 수정기(1004), 음성 인터페이스(1006), 흐름도(200), 흐름도(700), 흐름도(1200) 및/또는 단계(1302)는, 하나 이상의 프로세서에서 실행되고 컴퓨터 판독가능 저장 매체에 저장되도록 구성된 컴퓨터 프로그램 코드/명령어로서 구현될 수 있다. 대안적으로, 센서 모니터(104), 전자 개인 비서(106), 차량 프로세서 회로(들)(402), 모바일 사용자 디바이스(502), 상황 점수 계산기(1002), 비서 거동 수정기(1004), 음성 인터페이스(1006), 흐름도(200), 흐름도(700), 흐름도(1200) 및 단계(1302)는 하드웨어 로직/전기 회로로서 구현될 수 있다.
예를 들어, 일 실시예에서, 센서 모니터(104), 전자 개인 비서(106), 차량 프로세서 회로(들)(402), 모바일 사용자 디바이스(502), 상황 점수 계산기(1002), 비서 거동 수정기(1004), 음성 인터페이스(1006), 흐름도(200), 흐름도(700), 흐름도(1200) 및 단계(1302) 중 하나 이상은 임의의 조합으로 시스템 온칩(SoC)에서 함께 구현될 수 있다. SoC는 프로세서(예컨대, 중앙 처리 장치(CPU), 마이크로컨트롤러, 마이크로프로세서, 디지털 신호 프로세서(DSP) 등), 메모리, 하나 이상의 통신 인터페이스 및/또는 추가 회로 중 하나 이상을 포함하는 집적 회로 칩을 포함할 수 있으며, 수신된 프로그램 코드를 선택적으로 실행할 수 있고/있거나 기능들을 수행하기 위해 임베딩된 펌웨어를 포함할 수 있다.
도 14는 실시예가 구현될 수 있는 컴퓨팅 디바이스(1400)의 예시적 구현을 도시한다. 예를 들어, 차량 프로세서 회로(들)(402)와 모바일 사용자 디바이스(502)는 각각, 컴퓨팅 디바이스(1400)의 하나 이상의 특징 및/또는 대안적 특징을 포함하는 정지 또는 모바일 컴퓨터 실시예에서 컴퓨팅 디바이스(1400)와 유사한 하나 이상의 컴퓨팅 디바이스에서 구현될 수 있다. 여기에 제공된 컴퓨팅 디바이스(1400)의 설명은 예시의 목적으로 제공되며 제한하려는 것은 아니다. 실시예는, 당업자에게 공지되어 있는 다른 유형의 컴퓨터 시스템에서 구현될 수도 있다.
도 14에 도시된 바와 같이, 컴퓨팅 디바이스(1400)는, 프로세서 회로(1402)로 지칭되는 하나 이상의 프로세서, 시스템 메모리(1404), 및 시스템 메모리(1404)를 포함하는 다양한 시스템 구성요소를 프로세서 회로(1402)에 결합시키는 버스(1406)를 포함한다. 프로세서 회로(1402)는, 중앙 처리 장치(CPU), 마이크로컨트롤러, 마이크로프로세서 및/또는 다른 물리적 하드웨어 프로세서 회로로서 하나 이상의 물리적 하드웨어 전기 회로 디바이스 요소 및/또는 집적 회로 디바이스(반도체 재료 칩 또는 다이)에서 구현된 전기 및/또는 광 회로이다. 프로세서 회로(1402)는, 운영 체제(1430)의 프로그램 코드, 애플리케이션 프로그램(1432), 다른 프로그램(1434) 등과 같은, 컴퓨터 판독가능 매체에 저장된 프로그램 코드를 실행할 수 있다. 버스(1406)는, 다양한 버스 아키텍처 중 임의의 것을 사용하는, 메모리 버스 또는 메모리 제어기, 주변 버스, 가속 그래픽 포트, 및 프로세서 또는 로컬 버스를 포함하는 여러 유형의 버스 구조 중 하나 이상을 나타낸다. 시스템 메모리(1404)는 판독 전용 메모리(ROM)(1408) 및 랜덤 액세스 메모리(RAM)(1410)를 포함한다. 기본 입력/출력 시스템(1412)(BIOS)은 ROM(1408)에 저장된다.
또한, 컴퓨팅 디바이스(1400)는, 하드 디스크로부터 판독하고 그에 기록하기위한 하드 디스크 드라이브(1414), 착탈식 자기 디스크(1418)로부터 판독하거나 그에 기록하기 위한 자기 디스크 드라이브(1416), CD ROM, DVD ROM 또는 다른 광 매체와 같은 착탈식 광 디스크(1422)로부터 판독하거나 그에 기록하기 위한 광 디스크 드라이브(1420) 중 하나 이상을 갖는다. 하드 디스크 드라이브(1414), 자기 디스크 드라이브(1416) 및 광 디스크 드라이브(1420)는, 하드 디스크 드라이브 인터페이스(1424), 자기 디스크 드라이브 인터페이스(1426) 및 광 드라이브 인터페이스(1428)에 의해 버스(1406)에 각각 접속된다. 드라이브 및 그에 연관된 컴퓨터 판독가능 매체는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨터에 대한 다른 데이터의 비휘발성 저장을 제공한다. 하드 디스크, 착탈식 자기 디스크 및 착탈식 광 디스크가 설명되었지만, 플래시 메모리 카드, 디지털 비디오 디스크, RAM, ROM 및 다른 하드웨어 저장 매체와 같은 다른 유형의 하드웨어 기반 컴퓨터 판독가능 저장 매체가 데이터를 저장하는 데 사용될 수 있다.
다수의 프로그램 모듈은 하드 디스크, 자기 디스크, 광 디스크, ROM 또는 RAM에 저장될 수 있다. 이러한 프로그램은 운영 체제(1430), 하나 이상의 애플리케이션 프로그램(1432), 다른 프로그램(1434) 및 프로그램 데이터(1436)를 포함한다. 애플리케이션 프로그램(1432) 또는 다른 프로그램(1434)은 예를 들어, 센서 모니터(104), 전자 개인 비서(106), 상황 점수 계산기(1002), 비서 거동 수정기(l004), 음성 인터페이스(1006), 흐름도(200), 흐름도(700), 흐름도(1200) 및 단계(1302)(흐름도(200, 700, 1200)의 임의의 적합한 단계를 포함함) 및/또는 여기에 설명된 추가 실시예를 구현하기 위한 컴퓨터 프로그램 로직(예컨대, 컴퓨터 프로그램 코드 또는 명령어)을 포함할 수 있다.
사용자는 키보드(1438) 및 포인팅 디바이스(1440)와 같은 입력 디바이스를 통해 컴퓨팅 디바이스(1400)에 커맨드 및 정보를 입력할 수 있다. 다른 입력 디바이스(도시되지 않음)은 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 터치 스크린 및/또는 터치 패드, 음성 입력을 수신하는 음성 인식 시스템, 제스처 입력을 수신하는 제스처 인식 시스템, 등을 포함할 수 있다. 이들 및 다른 입력 디바이스는 종종 버스(1406)에 결합되는 직렬 포트 인터페이스(1442)를 통해 프로세서 회로(1402)에 접속되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus)와 같은 다른 인터페이스에 의해 접속될 수도 있다.
디스플레이 스크린(1444)은 또한 비디오 어댑터(1446)와 같은 인터페이스를 통해 버스(1406)에 접속된다. 디스플레이 스크린(1444)은 컴퓨팅 디바이스(1400)의 외부에 있을 수도 있고 또는 그에 통합될 수도 있다. 디스플레이 스크린(1444)은, (예컨대, 터치, 손가락 제스처, 가상 키보드 등에 의해) 사용자 커맨드 및/또는 다른 정보를 수신하기 위한 사용자 인터페이스일뿐만 아니라, 정보를 디스플레이할 수 있다. 디스플레이 스크린(1444) 이외에, 컴퓨팅 디바이스(1400)는 스피커 및 프린터와 같은 다른 주변 출력 디바이스(도시되지 않음)를 포함할 수 있다.
컴퓨팅 디바이스(1400)는 어댑터 또는 네트워크 인터페이스(1450), 모뎀(1452), 또는 네트워크를 통한 통신을 설정하기 위한 다른 수단을 통해 네트워크(1448)(예컨대, 인터넷)에 접속된다. 내부 또는 외부에 있을 수 있는 모뎀(1452)은, 도 14에 도시된 바와 같이 직렬 포트 인터페이스(1442)를 통해 버스(1406)에 접속될 수도 있고, 또는 병렬 인터페이스를 포함하는 다른 인터페이스 유형을 사용하여 버스(1406)에 접속될 수도 있다.
본 명세서에서 사용될 때, "컴퓨터 프로그램 매체", "컴퓨터 판독가능 매체"및 "컴퓨터 판독가능 저장 매체"라는 용어는, 하드 디스크 드라이브(1414)와 연관된 하드 디스크, 착탈식 자기 디스크(1418), 착탈식 광 디스크(1422)와 같은 물리적 하드웨어 매체, RAM, ROM, 플래시 메모리 카드, 디지털 비디오 디스크, 집(zip) 디스크, MEM, 나노 기술 기반 저장 디바이스와 같은 다른 물리적 하드웨어 매체, 및 다른 유형의 물리적/실재적(tangible) 하드웨어 저장 매체를 지칭하는 데 사용될 수 있다. 그러한 컴퓨터 판독가능 저장 매체는 통신 매체와 구별되고 중첩되지 않는다(통신 매체를 포함하지 않음). 통신 매체는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 반송파와 같은 변조된 데이터 신호로 구현한다. "변조된 데이터 신호"라는 용어는, 정보를 신호로 인코딩하는 방식으로 설정되거나 변경된 하나 이상의 특성을 갖는 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체뿐만 아니라 유선 매체를 포함한다. 또한, 실시예는 컴퓨터 판독가능 저장 매체에 관한 실시예와 분리되고 중첩되지 않는 통신 매체에 관한 것이다.
전술한 바와 같이, 컴퓨터 프로그램 및 모듈(애플리케이션 프로그램(1432) 및 다른 프로그램(1434)을 포함함)은 하드 디스크, 자기 디스크, 광 디스크, ROM, RAM 또는 다른 하드웨어 저장 매체에 저장될 수 있다. 이러한 컴퓨터 프로그램은 또한 네트워크 인터페이스(1450), 직렬 포트 인터페이스(1442), 또는 임의의 다른 인터페이스 유형을 통해 수신될 수 있다. 이러한 컴퓨터 프로그램은 애플리케이션에 의해 실행되거나 로딩될 때 컴퓨팅 디바이스(1400)로 하여금 본 명세서에서 설명된 실시예의 특징을 구현할 수 있게 한다. 따라서, 이러한 컴퓨터 프로그램은 컴퓨팅 디바이스(1400)의 제어기를 나타낸다.
실시예들은 또한 임의의 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 코드 또는 명령어를 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 이러한 컴퓨터 프로그램 제품은 하드 디스크 드라이브, 광 디스크 드라이브, 메모리 디바이스 패키지, 휴대용 메모리 스틱, 메모리 카드 및 기타 유형의 물리적 저장 하드웨어를 포함한다.
IV. 다른 예시적 실시예
일 실시예에서, 적어도 하나의 컴퓨팅 디바이스에서의 방법은, 센서 데이터를 생성하기 위해 복수의 센서로 상황을 감지하는 단계와, 상기 센서 데이터에 기초하여 상황 점수를 계산하는 단계와, 상기 계산된 상황 점수에 기초하여 전자 개인 비서(electronic personal assistant)의 거동(behavior)을 변경시키는 단계를 포함한다.
실시예에서, 상기 상황은 운전자가 도로 상에서 차량을 운행하는 운전 상황이고, 상기 계산하는 단계는 상기 센서 데이터에 기초하여 운전 상황 점수를 계산하는 단계를 포함하고, 상기 변경시키는 단계는 상기 계산된 운전 상황 점수에 기초하여 상기 전자 개인 비서의 거동을 변경시키는 단계를 포함한다.
실시예에서, 상기 감지하는 단계는 상기 운전자의 적어도 하나의 양상(aspect)을 감지하는 단계를 포함한다.
실시예에서, 상기 감지하는 단계는 상기 차량의 적어도 하나의 양상을 감지하는 단계를 포함한다.
실시예에서, 상기 감지하는 단계는 상기 도로의 환경의 적어도 하나의 양상을 감지하는 단계를 포함한다.
실시예에서, 상기 변경시키는 단계는, 상기 운전자가 상기 전자 개인 비서에 의해 산만해지는 것을 방지하기 위해 상기 운전 상황 점수가 사전 결정된 값을 갖는 조건에서 상기 전자 개인 비서에 의한 상기 운전자와의 상호작용을 중지시키는 단계를 포함한다.
실시예에서, 상기 상호작용을 중지시키는 단계는 상기 운전자와의 구두(verbal) 통신 또는 시각적 통신 중 적어도 하나를 지연시키는 단계를 포함한다.
실시예에서, 상기 변경시키는 단계는 구두 지원 또는 시각적 지원 중 적어도 하나를 상기 운전자에게 제공하는 단계를 포함한다.
다른 실시예에서, 적어도 하나의 컴퓨팅 디바이스는, 상황을 감지하는 복수의 센서로부터 수신된 센서 데이터에 기초하여 상황 점수를 계산하도록 구성된 상황 모니터와, 상기 계산된 상황 점수에 기초하여 거동을 변경시키도록 구성된 전자 개인 비서를 포함한다.
실시예에서, 상기 상황은 운전자가 도로 상에서 차량을 운전하는 운전 상황이고, 상기 상황 모니터는 상기 센서 데이터에 기초하여 운전 상황 점수를 계산하도록 구성된 운전 상황 모니터를 포함한다.
실시예에서, 상기 복수의 센서는, 상기 운전자의 적어도 하나의 양상을 감지하도록 구성된 제 1 센서, 상기 차량의 적어도 하나의 양상을 감지하도록 구성된 제 2 센서, 또는 상기 도로의 환경의 적어도 하나의 양상을 감지하도록 구성된 제 3 센서 중 적어도 하나를 포함한다.
실시예에서, 상기 전자 개인 비서는, 상기 운전 상황 점수가 사전 결정된 값을 갖는 조건에서 상기 전자 개인 비서에 의한 상기 운전자와의 상호작용을 중지시킴으로써 거동을 변경하여, 상기 운전자가 상기 전자 개인 비서에 의해 산만해지는 것을 방지하도록 구성된다.
실시예에서, 상기 적어도 하나의 컴퓨팅 디바이스는 상기 운전 상황 모니터 및 상기 전자 개인 비서를 구현하는 모바일 사용자 디바이스를 더 포함한다.
실시예에서, 상기 적어도 하나의 컴퓨팅 디바이스는 상기 전자 개인 비서를 구현하는 모바일 사용자 디바이스를 더 포함하고, 상기 운전 상황 모니터는 상기 차량의 프로세서 회로에 의해 구현된다.
실시예에서, 상기 적어도 하나의 컴퓨팅 디바이스는 상기 운전 상황 모니터 및 상기 전자 개인 비서를 구현하는 상기 차량의 프로세서를 더 포함한다.
또 다른 실시예에서, 컴퓨팅 디바이스는, 적어도 하나의 프로세서 회로와, 상기 적어도 하나의 프로세서 회로에 의해 실행되어 동작을 수행하도록 구성된 프로그램 코드를 저장하는 메모리를 포함하고, 상기 동작은, 상황을 감지하는 복수의 센서로부터 수신된 센서 데이터에 기초하여 상황 점수를 계산하는 것과, 상기 계산된 상황 점수에 기초하여 전자 개인 비서의 거동이 변경되게 하는 것을 포함한다.
실시예에서, 상기 상황은 운전자가 도로 상에서 차량을 운행하는 운전 상황이고, 상기 계산하는 것은 상기 센서 데이터에 기초하여 운전 상황 점수를 계산하는 것을 포함하고, 상기 변경되게 하는 것은 상기 계산된 운전 상황 점수에 기초하여 상기 전자 개인 비서의 거동이 변경되게 하는 것을 포함한다.
실시예에서, 상기 감지하는 것은 상기 운전자의 적어도 하나의 양상을 감지하는 것, 상기 차량의 적어도 하나의 양상을 감지하는 것, 또는 상기 도로의 환경의 적어도 하나의 양상을 감지하는 것 중 적어도 하나를 포함한다.
실시예에서, 상기 변경되게 하는 것은, 상기 운전자가 상기 전자 개인 비서에 의해 산만해지는 것을 방지하기 위해 상기 운전 상황 점수가 사전 결정된 값을 갖는 조건에서 상기 전자 개인 비서로 하여금 상기 운전자와의 상호작용을 중지하게 하는 것을 포함한다.
실시예에서, 상기 전자 개인 비서로 하여금 상기 운전자와의 상호작용을 중지하게 하는 것은, 상기 전자 개인 비서로 하여금 상기 운전자와의 구두 통신 또는 시각적 통신 중 적어도 하나를 지연시키게 하는 것을 포함한다.
VI. 결론
위에서 본 발명의 다양한 실시예가 설명되었지만, 이들음 단지 예시로서 제시된 것이며 제한적인 것이 아님이 이해되어야 한다. 관련 기술 분야의 당업자는 첨부된 청구범위에 정의된 본 발명의 사상 및 범위를 벗어나지 않으면서 형태 및 세부사항에서의 다양한 변화가 이루어질 수 있음을 이해할 것이다. 따라서, 본 발명의 폭 및 범위는 전술한 예시적 실시예들 중 어느 것에 의해서도 제한되어서는 안되며, 오로지 다음의 청구범위 및 그 균등물에 따라서만 정의되어야 한다.

Claims (20)

  1. 적어도 하나의 컴퓨팅 디바이스에서의 방법으로서,
    구두 요청(spoken request)을 수신하고 음성으로 응답하도록 구성되는 것을 포함하여 음성 통신에 의해 사용자와 상호작용하도록 구성된 전자 개인 비서(electronic personal assistant)인 애플리케이션을 상기 컴퓨팅 디바이스에서 실행하는 단계와,
    센서 데이터를 생성하도록 복수의 센서로 상황을 감지하는 단계와,
    상기 센서 데이터에 기초하여 상황 점수를 계산하는 단계와,
    상기 전자 개인 비서에 의해 제 1 임계값에 기초하여 상기 전자 개인 비서와 상기 사용자 간의 상호작용이 이전에 중지된 후에, 상기 계산된 상황 점수가 상기 제 1 임계값과는 다른 제 2 임계값과 사전 결정된 관계를 갖는 경우, 상기 전자 개인 비서와 상기 사용자 간의 상호작용을 재개하는 단계를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 상황은 운전자가 도로 상에서 차량을 운행하는 운전 상황이고,
    상기 계산하는 단계는 상기 센서 데이터에 기초하여 운전 상황 점수를 계산하는 단계를 포함하고,
    상기 재개하는 단계는 상기 계산된 운전 상황 점수에 기초하여 상기 전자 개인 비서와 상기 운전자 간의 상호작용을 재개하는 단계를 포함하는
    방법.
  3. 삭제
  4. 제 2 항에 있어서,
    상기 감지하는 단계는 상기 차량의 적어도 하나의 양상을 감지하는 단계를 더 포함하는
    방법.
  5. 제 2 항에 있어서,
    상기 감지하는 단계는 상기 도로의 환경의 적어도 하나의 양상을 감지하는 단계를 더 포함하는
    방법.
  6. 제 2 항에 있어서,
    상기 운전자가 상기 전자 개인 비서에 의해 산만해지는 것을 방지하기 위해 상기 운전 상황 점수가 제 1 임계값을 갖는 조건에서 상기 전자 개인 비서와 상기 운전자 간의 상호작용이 중지되는,
    방법.
  7. 제 6 항에 있어서,
    상기 운전자와의 언어적(verbal) 통신 또는 시각적 통신 중 적어도 하나를 지연시킴으로서 상기 전자 개인 비서와 상기 운전자 간의 상호작용이 중지되는,
    방법.
  8. 제 2 항에 있어서,
    상기 재개하는 단계는 언어적 지원 또는 시각적 지원 중 적어도 하나를 상기 운전자에게 제공하는 단계를 포함하는
    방법.
  9. 적어도 하나의 컴퓨팅 디바이스로서,
    상황을 감지하는 복수의 센서로부터 수신된 센서 데이터에 기초하여 상황 점수를 계산하도록 구성된 상황 모니터와,
    전자 개인 비서인 애플리케이션을 포함하되,
    상기 전자 개인 비서는,
    구두 요청을 수신하고 음성으로 응답하도록 구성되는 것을 포함하여, 음성 통신에 의해 사용자와 상호작용하고,
    제 1 임계값에 기초하여 상기 전자 개인 비서와 상기 사용자 간의 상호작용이 이전에 중지된 후에, 상기 계산된 상황 점수가 상기 제 1 임계값과는 다른 제 2 임계값과 사전 결정된 관계를 갖는 경우, 상기 전자 개인 비서와 상기 사용자 간의 상호작용을 재개하도록 구성되는,
    적어도 하나의 컴퓨팅 디바이스.
  10. 제 9 항에 있어서,
    상기 상황은 운전자가 도로 상에서 차량을 운전하는 운전 상황이고,
    상기 상황 모니터는 상기 센서 데이터에 기초하여 운전 상황 점수를 계산하도록 구성된 운전 상황 모니터에 해당하는
    적어도 하나의 컴퓨팅 디바이스.
  11. 제 10 항에 있어서,
    상기 복수의 센서는,
    상기 차량의 적어도 하나의 양상을 감지하도록 구성된 제 2 센서, 또는
    상기 도로의 환경의 적어도 하나의 양상을 감지하도록 구성된 제 3 센서
    중 적어도 하나를 더 포함하는
    적어도 하나의 컴퓨팅 디바이스.
  12. 제 10 항에 있어서,
    상기 전자 개인 비서는, 상기 운전 상황 점수가 제 1 임계값을 갖는 조건에서 상기 전자 개인 비서와 상기 운전자 간의 상호작용을 중지시킴으로써, 상기 운전자가 상기 전자 개인 비서에 의해 산만해지는 것을 방지하도록 구성되는
    적어도 하나의 컴퓨팅 디바이스.
  13. 제 10 항에 있어서,
    상기 적어도 하나의 컴퓨팅 디바이스는 모바일 사용자 디바이스를 더 포함하고,
    상기 운전 상황 모니터 및 상기 전자 개인 비서는 상기 모바일 사용자 디바이스에 의해 구현되는,
    적어도 하나의 컴퓨팅 디바이스.
  14. 제 10 항에 있어서,
    상기 적어도 하나의 컴퓨팅 디바이스는 모바일 사용자 디바이스 및 상기 차량의 프로세서 회로를 더 포함하고,
    상기 전자 개인 비서는 상기 모바일 사용자 디바이스에 의해 구현되고,
    상기 운전 상황 모니터는 상기 차량의 프로세서 회로에 의해 구현되는,
    적어도 하나의 컴퓨팅 디바이스.
  15. 제 10 항에 있어서,
    상기 적어도 하나의 컴퓨팅 디바이스는 상기 차량의 프로세서 회로를 더 포함하고,
    상기 운전 상황 모니터 및 상기 전자 개인 비서는 상기 차량의 프로세서에 의해 구현되는,
    적어도 하나의 컴퓨팅 디바이스.
  16. 컴퓨팅 디바이스로서,
    적어도 하나의 프로세서 회로와,
    상기 적어도 하나의 프로세서 회로에 의해 실행되어 동작을 수행하도록 구성된 프로그램 코드를 저장하는 메모리를 포함하되,
    상기 동작은,
    구두 요청을 수신하고 음성으로 응답하도록 구성되는 것을 포함하여 음성 통신에 의해 사용자와 상호작용하도록 구성된 전자 개인 비서인 애플리케이션을 실행하는 것과,
    상황을 감지하는 복수의 센서로부터 수신된 센서 데이터에 기초하여 상황 점수를 계산하는 것과,
    상기 전자 개인 비서에 의해 제 1 임계값에 기초하여 상기 전자 개인 비서와 상기 사용자 간의 상호작용이 이전에 중지된 후에, 상기 계산된 상황 점수가 상기 제 1 임계값과는 다른 제 2 임계값과 사전 결정된 관계를 갖는 경우, 상기 전자 개인 비서와 상기 사용자 간의 상호작용을 재개되게 하는 것을 포함하는,
    컴퓨팅 디바이스.
  17. 제 16 항에 있어서,
    상기 상황은 운전자가 도로 상에서 차량을 운행하는 운전 상황이고,
    상기 계산하는 것은 상기 센서 데이터에 기초하여 운전 상황 점수를 계산하는 것을 포함하고,
    상기 재개되게 하는 것은 상기 계산된 운전 상황 점수에 기초하여 상기 전자 개인 비서와 상기 운전자 간의 상호작용을 재개되게 하는 것을 포함하는
    컴퓨팅 디바이스.
  18. 제 17 항에 있어서,
    상기 감지하는 것은,
    상기 차량의 적어도 하나의 양상을 감지하는 것, 또는
    상기 도로의 환경의 적어도 하나의 양상을 감지하는 것
    중 적어도 하나를 더 포함하는
    컴퓨팅 디바이스.
  19. 제 17 항에 있어서,
    상기 운전자가 상기 전자 개인 비서에 의해 산만해지는 것을 방지하기 위해 상기 운전 상황 점수가 제 1 임계값을 갖는 조건에서 상기 전자 개인 비서와 상기 운전자 간의 상호작용이 중지되게 하는 것을 포함하는
    컴퓨팅 디바이스.
  20. 제 19 항에 있어서,
    상기 전자 개인 비서로 하여금 상기 운전자와의 언어적 통신 또는 시각적 통신 중 적어도 하나를 지연시키게 함으로써 상기 전자 개인 비서와 상기 운전자 간의 상호작용이 중지되게 하는 것을 포함하는
    컴퓨팅 디바이스.
KR1020187037304A 2016-06-24 2017-06-20 상황 인식 개인 비서 KR102606026B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/192,880 2016-06-24
US15/192,880 US10474946B2 (en) 2016-06-24 2016-06-24 Situation aware personal assistant
PCT/US2017/038213 WO2017223013A1 (en) 2016-06-24 2017-06-20 Situation aware personal assistant

Publications (2)

Publication Number Publication Date
KR20190022553A KR20190022553A (ko) 2019-03-06
KR102606026B1 true KR102606026B1 (ko) 2023-11-23

Family

ID=59276847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037304A KR102606026B1 (ko) 2016-06-24 2017-06-20 상황 인식 개인 비서

Country Status (17)

Country Link
US (2) US10474946B2 (ko)
EP (1) EP3475136A1 (ko)
JP (1) JP7195931B2 (ko)
KR (1) KR102606026B1 (ko)
CN (1) CN109328155A (ko)
AU (1) AU2017281436B2 (ko)
BR (1) BR112018074326A2 (ko)
CA (1) CA3023275A1 (ko)
CL (1) CL2018003615A1 (ko)
CO (1) CO2018013675A2 (ko)
IL (1) IL263759B (ko)
MX (1) MX2018015623A (ko)
PH (1) PH12018550195A1 (ko)
RU (1) RU2018145529A (ko)
SG (1) SG11201810890RA (ko)
WO (1) WO2017223013A1 (ko)
ZA (1) ZA201807409B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
JP6558719B2 (ja) * 2017-03-29 2019-08-14 マツダ株式会社 車両運転支援システム及び車両運転支援方法
CN109995934A (zh) * 2019-02-27 2019-07-09 维沃移动通信有限公司 提示方法及终端设备
JP7145105B2 (ja) * 2019-03-04 2022-09-30 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
CN110059650A (zh) * 2019-04-24 2019-07-26 京东方科技集团股份有限公司 信息处理方法、装置、计算机存储介质及电子设备
EP3730332A1 (en) * 2019-04-26 2020-10-28 Zenuity AB Driver distraction determination
US10729368B1 (en) * 2019-07-25 2020-08-04 Facemetrics Limited Computer systems and computer-implemented methods for psychodiagnostics and psycho personality correction using electronic computing device
KR20210015428A (ko) 2019-08-02 2021-02-10 삼성전자주식회사 사용자 인터페이스를 제공하는 전자 장치 및 방법
KR20190099170A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 지능형 단말의 주변 상황에 따른 알림 제공 방법 및 이를 위한 장치
US11157167B2 (en) 2019-09-09 2021-10-26 PAG Financial International LLC Systems and methods for operating a mobile application using a communication tool
US10992605B2 (en) 2019-09-09 2021-04-27 PAG Financial International LLC Systems and methods for operating a mobile application using a conversation interface
TWI815019B (zh) * 2019-10-04 2023-09-11 仁寶電腦工業股份有限公司 資訊推送系統、方法與紀錄媒體
CN112698872A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 语音数据处理的方法、装置、设备及存储介质
JP7447039B2 (ja) * 2021-03-10 2024-03-11 矢崎総業株式会社 車両用表示装置
US20230063708A1 (en) * 2021-08-27 2023-03-02 Nissan North America, Inc. Systems and methods for testing driver awareness within a vehicle and/or intervening during a possible crisis
DE102021126901A1 (de) 2021-10-17 2023-04-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Steuerung einer Sprachinteraktion in einem Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004050975A (ja) * 2002-07-19 2004-02-19 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
US20110077028A1 (en) * 2009-09-29 2011-03-31 Wilkes Iii Samuel M System and Method for Integrating Smartphone Technology Into a Safety Management Platform to Improve Driver Safety

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257426B1 (en) 1999-05-26 2007-08-14 Johnson Controls Technology Company Wireless communications systems and method
JP4400951B2 (ja) * 1999-05-27 2010-01-20 富士通テン株式会社 車載用音声認識装置、及び車載用音声認識制御方法
DE19934105A1 (de) * 1999-07-21 2001-01-25 Nokia Mobile Phones Ltd Bedienbares Gerät
JP2001191871A (ja) * 2000-01-11 2001-07-17 Toyota Central Res & Dev Lab Inc 車載情報提示制御装置
US6580973B2 (en) 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US20020151297A1 (en) 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
US6925425B2 (en) * 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
JP2002120656A (ja) * 2000-10-16 2002-04-23 Mitsubishi Motors Corp 情報表示装置
US6774795B2 (en) 2001-06-30 2004-08-10 Koninklijke Philips Electroncs N.V. Electronic assistant incorporated in personal objects
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
DE10316477A1 (de) 2003-04-09 2004-10-28 Daimlerchrysler Ag Benutzerschnittstelle und Kommunikationssystem für ein Kraftfahrzeug und zugehörige Betriebsverfahren
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US7188012B2 (en) 2004-08-24 2007-03-06 Ford Global Technologies, Llc Adaptive voice control and vehicle collision warning and countermeasure system
EP1827207A2 (en) 2004-10-04 2007-09-05 Cyberkinetics Neurotechnology Systems, Inc. Biological interface system
US20060149544A1 (en) * 2005-01-05 2006-07-06 At&T Corp. Error prediction in spoken dialog systems
US20070032738A1 (en) 2005-01-06 2007-02-08 Flaherty J C Adaptive patient training routine for biological interface system
ATE524784T1 (de) 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US8849501B2 (en) * 2009-01-26 2014-09-30 Lytx, Inc. Driver risk assessment system and method employing selectively automatic event scoring
JP4716371B2 (ja) * 2006-05-19 2011-07-06 富士通株式会社 移動体用運転支援装置
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9587958B2 (en) 2007-01-23 2017-03-07 Visteon Global Technologies, Inc. Mobile device gateway systems and methods
CN100449577C (zh) 2007-02-01 2009-01-07 上海交通大学 交通协管辅助电子控制装置
JP4935392B2 (ja) * 2007-02-07 2012-05-23 富士通株式会社 出力調停プログラム及び装置
JP2008233678A (ja) * 2007-03-22 2008-10-02 Honda Motor Co Ltd 音声対話装置、音声対話方法、及び音声対話用プログラム
US9811935B2 (en) * 2007-04-26 2017-11-07 Ford Global Technologies, Llc Emotive advisory system and method
CN101295013A (zh) * 2007-04-28 2008-10-29 佛山市顺德区顺达电脑厂有限公司 运用全球定位系统控制影音播放之系统及其方法
CA2689757A1 (en) 2007-07-18 2009-01-18 Steven C. Kays Adaptive electronic design
TWI314115B (en) 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100128863A1 (en) 2008-11-21 2010-05-27 Robert Bosch Gmbh Context aware voice communication proxy
US8253564B2 (en) * 2009-02-19 2012-08-28 Panasonic Corporation Predicting a future location of a moving object observed by a surveillance device
US9615213B2 (en) * 2009-07-21 2017-04-04 Katasi Llc Method and system for controlling and modifying driving behaviors
US10679605B2 (en) * 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) * 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8924218B2 (en) 2010-11-29 2014-12-30 Greg L. Corpier Automated personal assistance system
CN104039577B (zh) 2011-08-29 2018-05-15 汽车交通安全联合公司 用于车辆驾驶员中的分析物的非侵入式测量的系统
GB2495222B (en) 2011-09-30 2016-10-26 Apple Inc Using context information to facilitate processing of commands in a virtual assistant
US8698621B2 (en) 2011-11-22 2014-04-15 Verizon Patent And Licensing Inc. Method and system for providing notifications of a mobile device in motion to determine call treatment
US8744492B2 (en) * 2011-11-30 2014-06-03 Mitac International Corp. Method of responding to incoming calls and messages while driving
US20130204813A1 (en) 2012-01-20 2013-08-08 Fluential, Llc Self-learning, context aware virtual assistants, systems and methods
US9171085B2 (en) * 2012-03-07 2015-10-27 Ut-Battelle, Llc Personalized professional content recommendation
WO2014172369A2 (en) 2013-04-15 2014-10-23 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants and incorporating vehicle crate for blade processors
KR101711027B1 (ko) * 2012-04-25 2017-03-13 한국전자통신연구원 차량용 운전자 맞춤형 서비스 제공 방법 및 장치
US10417037B2 (en) * 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20130325878A1 (en) * 2012-06-05 2013-12-05 Daniel de Lichana Community planning system with sensors and social media
EP2690847A1 (en) 2012-07-27 2014-01-29 Constantin Medien AG Virtual assistant for a telecommunication system
US9015099B2 (en) * 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9085303B2 (en) 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
US9171092B2 (en) * 2012-12-07 2015-10-27 Empire Technology Development Llc Personal assistant context building
US20140188920A1 (en) * 2012-12-27 2014-07-03 Sangita Sharma Systems and methods for customized content
US9149236B2 (en) * 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US9223837B2 (en) 2013-03-14 2015-12-29 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
US9729592B2 (en) * 2013-08-27 2017-08-08 Persais, Llc System and method for distributed virtual assistant platforms
US9266536B2 (en) 2014-01-17 2016-02-23 Fca Us Llc Adaptive cruise control system and method
US20150217188A1 (en) * 2014-02-06 2015-08-06 Physical Apps, Llc Physical interaction device for personal electronics and method for use
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) * 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TW201602891A (zh) * 2014-07-01 2016-01-16 緯創資通股份有限公司 切換方法與電腦系統
US20160014062A1 (en) * 2014-07-08 2016-01-14 Rinkesh Patel System and method for blocking or delaying notifications on a mobile device while simultaneously allowing approved integrated functionality
FR3026542B1 (fr) * 2014-09-30 2017-12-29 Xbrainsoft Reconnaissance vocale perfectionnee
US10116748B2 (en) * 2014-11-20 2018-10-30 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface
KR102383791B1 (ko) 2014-12-11 2022-04-08 삼성전자주식회사 전자 장치에서의 개인 비서 서비스 제공
WO2016115053A1 (en) * 2015-01-12 2016-07-21 Harman International Industries, Incorporated Cognitive load driving assistant
US11887164B2 (en) * 2015-05-26 2024-01-30 Microsoft Technology Licensing, Llc Personalized information from venues of interest
US9605970B1 (en) * 2015-09-03 2017-03-28 Harman International Industries, Incorporated Methods and systems for driver assistance
US10769189B2 (en) * 2015-11-13 2020-09-08 Microsoft Technology Licensing, Llc Computer speech recognition and semantic understanding from activity patterns
US10664741B2 (en) * 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10189479B2 (en) * 2016-04-06 2019-01-29 At&T Intellectual Property I, L.P. Methods and apparatus for vehicle operation analysis
US10409876B2 (en) * 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
US20180285827A1 (en) * 2017-03-28 2018-10-04 Microsoft Technology Licensing, Llc Distinguishing events of users for efficient service content distribution
US10783149B2 (en) * 2017-08-02 2020-09-22 Microsoft Technology Licensing, Llc Dynamic productivity content rendering based upon user interaction patterns

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004050975A (ja) * 2002-07-19 2004-02-19 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
US20110077028A1 (en) * 2009-09-29 2011-03-31 Wilkes Iii Samuel M System and Method for Integrating Smartphone Technology Into a Safety Management Platform to Improve Driver Safety

Also Published As

Publication number Publication date
IL263759B (en) 2022-05-01
AU2017281436A1 (en) 2018-11-22
SG11201810890RA (en) 2019-01-30
US11636305B2 (en) 2023-04-25
KR20190022553A (ko) 2019-03-06
PH12018550195A1 (en) 2019-09-30
US20170372189A1 (en) 2017-12-28
US10474946B2 (en) 2019-11-12
ZA201807409B (en) 2020-01-29
JP2019527387A (ja) 2019-09-26
AU2017281436B2 (en) 2022-12-15
CO2018013675A2 (es) 2018-12-28
CL2018003615A1 (es) 2019-03-22
RU2018145529A (ru) 2020-06-22
EP3475136A1 (en) 2019-05-01
CN109328155A (zh) 2019-02-12
US20200034683A1 (en) 2020-01-30
BR112018074326A2 (pt) 2019-07-16
WO2017223013A1 (en) 2017-12-28
MX2018015623A (es) 2019-03-06
JP7195931B2 (ja) 2022-12-26
IL263759A (en) 2019-01-31
CA3023275A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
KR102606026B1 (ko) 상황 인식 개인 비서
US10399575B2 (en) Cognitive load driving assistant
CN108369767B (zh) 基于用户认知状态和/或情境状态的会话调整系统和方法
US10137902B2 (en) Adaptive interactive voice system
EP3675121B1 (en) Computer-implemented interaction with a user
US11031005B2 (en) Continuous topic detection and adaption in audio environments
US10462281B2 (en) Technologies for user notification suppression
CN110843798A (zh) 协调通知到车辆驾驶员的递送以减少注意力分散
JP2017536600A (ja) 複数モードでの会話的対話における話された言語の理解のための凝視
US20190051302A1 (en) Technologies for contextual natural language generation in a vehicle
US9928833B2 (en) Voice interface for a vehicle
CN104769568A (zh) 用于用户装置交互的系统和方法
US11937930B2 (en) Cognitive state-based seamless stimuli
US11769508B2 (en) Artificial intelligence apparatus
US20200114925A1 (en) Interaction device, interaction method, and program
US11912267B2 (en) Collision avoidance system for vehicle interactions
NZ747868A (en) Situation aware personal assistant
CN113147794A (zh) 生成自动驾驶预警信息方法、装置、设备及自动驾驶车辆
WO2019206833A1 (en) Method and apparatus monitoring a space
JP2023155992A (ja) 推定装置、推定方法、およびプログラム
CN114253392A (zh) 用于控制多个车载智能虚拟助手的虚拟对话代理
JP2022175359A (ja) 車両用情報提供装置、情報提供方法、及び情報提供プログラム
CN113822449A (zh) 碰撞检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant