KR20150114981A - 콘텍스트-민감성 방해 처리 - Google Patents

Abstract

복수의 통지 아이템들을 포함하는 통지 아이템들의 리스트가 수신되며, 복수의 통지 아이템들의 각 개별 통지 아이템은 개별 긴급 값과 연관된다. 정보 아이템이 검출된다. 일부 구현들에서, 정보 아이템은 통신이다(예로서, 이메일). 일부 구현들에서, 정보 아이템은 사용자의 콘텍스트의 변화이다. 정보 아이템이 제1 통지 아이템의 긴급 값과 관련되었다는 결정에 따라, 제1 통지 아이템의 긴급 값이 조정된다. 조정된 긴급 값이 사전결정된 임계값을 만족시킨다는 결정에 따라, 제1 오디오 프롬프트가 사용자에게 제공된다.

Description

콘텍스트-민감성 방해 처리{CONTEXT-SENSITIVE HANDLING OF INTERRUPTIONS}

개시된 실시예들은 일반적으로 디지털 어시스턴트에 관련되며, 보다 구체적으로는 현재 콘텍스트(context)에 기초하여 지능적으로 통지들을 처리하는 디지털 어시스턴트에 관련된다.

[관련 출원의 상호 참조]

본 출원은 2013년 3월 15일 출원된 미국 임시 출원 번호 제61/799,996호, 발명의 명칭 "CONTEXT-SENSITIVE HANDLING OF INTERRUPTIONS"의 우선권을 주장하며, 그 전체가 모든 목적을 위해 본 명세서에 참조로서 포함되었다.

사람 개인 어시스턴트와 같이, 디지털 어시스턴트 또는 가상 어시스턴트는 요청된 작업들을 수행하고 요청된 조언, 정보, 또는 서비스를 제공할 수 있다. 사용자의 요청을 이행하는 어시스턴트의 능력은 요청 또는 명령에 대한 어시스턴트의 올바른 이해에 의존한다. 자연 언어 처리에서의 최근의 발전은 종래의 사용자 인터페이스(예를 들어, 메뉴 또는 프로그램된 커맨드)를 사용하기보다는, 사용자가 구술된 또는 텍스트 형태의 자연 언어를 이용하여 디지털 어시스턴트와 상호작용하는 것을 가능하게 한다. 이러한 디지털 어시스턴트는 사용자의 의도를 추론하기 위해 사용자의 입력을 해석하고, 추론된 의도를 행동가능한 작업 및 파라미터로 번역하고, 동작을 실행하거나 작업을 수행하도록 서비스를 배치하며, 사용자가 쉽게 이해할 수 있는 출력들을 생성할 수 있다. 이상적으로, 디지털 어시스턴트에 의해 생성된 출력은 사용자와 디지털 어시스턴트 사이의 자연 언어 상호작용 중에 표현된 사용자의 의도를 이행해야만 한다.

그러나, 다수의 디지털 어시스턴트는 이들이 사용자의 정보에 대한 요청에 응답하여 출력을 제공하기만 한다는 점에서 단지 반응적이다. 예를 들어, 디지털 어시스턴트는 사용자가 운전 방향을 물어볼 때 이를 제공할 것이고, 알람을 설정할 것이고, 웹을 탐색하는 등을 수행할 것이다. 그러나 정보에 대한 요청에 대해서만 반응함으로써, 디지털 어시스턴트의 유용성이 본질적으로 제한된다. 반면에, 사람 개인 어시스턴트들은 프로액티브(proactive)하다. 이들은 한 사람이 어떤 정보를 필요로 할 수 있는지를 결정할 수 있고 요청되기 전이 이를 제공할 수 있다. 그리고 이들은 이러한 정보를 가장 적절한 방식으로 제공하기 위해 사용자를 방해해야 할지, 어떻게 방해해야 할지를 결정할 수 있다.

따라서, 먼저 정보에 대한 특정 요청을 수신하지 않고도 지능적으로 그리고 직관적으로 사용자에게 정보를 제공해야 하는지를 결정하고, 어떤 정보가 사용자를 방해하기 타당한지를 결정하며, 해당 정보를 적절한 방식으로 어떻게 제시하는지를 지능적으로 결정하는 디지털 어시스턴트의 동작 방법에 대한 필요성이 존재한다.

[과제의 해결 수단]

아래에 기술된 실시예들은 통지 아이템들과 연관된 오디오 프롬프트들을 제공하기 위한 향상된 방법을 제공한다. 특히, 일부 실시예들에서, 디지털 어시스턴트는 동적으로 그리고 지능적으로 긴급 값들을 통지 리스트 내의 통지들에 할당하며, 긴급 값이 사전결정된 임계값을 만족시킬 때에만 오디오 프롬프트를 제공한다. 따라서, 종래의 통지 기술들이 모든 통지를 사용자에게 제공하거나 또는 (예를 들어, 디바이스가 무음 모드에 있다면) 통지를 전혀 제공하지 않는 반면, 본 발명의 방법은 디지털 어시스턴트가 메시지의 긴급성 및 사용자의 콘텍스트에 기초하여 사용자를 방해할지 여부를 지능적으로 결정하는 것을 가능하게 한다. 또한, 일부 구현들에서, 디지털 어시스턴트는 변화하는 조건들을 검출하고 현존하는 통지 아이템들의 긴급 값들을 조정하기 위해 새롭게 들어오는 통지들을 모니터링한다. 따라서, 디지털 어시스턴트는 사용자의 통지의 실시간 트리아쥬(triage)를 제공하며, 그에 따라 단순히 사용자가 사업상 점심시간 동안 스포츠 스코어 업데이트의 통지로 방해받기를 원하지 않았다는 이유로 -조건이 변화하거나 새롭게 수신된 정보로 인해 최근에 중요해진 통지를 포함하는- 진짜로 중요한 통지들이 손실되지 않는다.

본 명세서에 개시된 실시예들은 스피치 출력을 제공할지 여부를 지능적으로 그리고 동적으로 결정하기 위한 디지털 어시스턴트에 대한 방법, 시스템, 컴퓨터 판독가능한 저장 매체 및 사용자 인터페이스를 제공한다. 이 방법은 복수의 통지 아이템들을 포함하는 통지 아이템들의 리스트를 제공하는 단계를 포함하고, 이때 복수의 통지 아이템들의 각 개별 통지는 개별 긴급 값과 연관된다. 이 방법은 정보 아이템을 검출하는 단계 및 정보 아이템이 복수의 통지 아이템들 중 제1 통지 아이템의 긴급 값과 관련되는지 여부를 결정하는 단계를 더 포함한다. 이 방법은, 정보 아이템이 제1 통지 아이템의 긴급 값과 관련되었다는 결정에 따라, 제1 통지 아이템의 긴급 값을 조정하는 단계를 더 포함한다. 이 방법은 제1 통지 아이템의 조정된 긴급 값이 사전결정된 임계값을 만족시키는지 여부를 결정하는 단계 및 조정된 긴급 값이 사전결정된 임계값을 만족시킨다는 결정에 따라, 사용자에게 제1 오디오 프롬프트를 제공하는 단계를 더 포함한다.

일부 실시예들에서, 이 방법은 디바이스의 위치에 따라 사전결정된 임계값을 확립하는 단계를 더 포함한다. 일부 실시예들에서, 이 방법은 하루의 시간에 따라 사전결정된 임계값을 확립하는 단계를 더 포함한다. 일부 실시예들에서, 이 방법은 현재 시간과 연관된 캘린더 아이템에 따라 사전결정된 임계값을 확립하는 단계를 더 포함한다. 일부 실시예들에서, 이 방법은 디바이스의 사용자 설정에 따라 사전결정된 임계값을 확립하는 단계를 더 포함한다.

일부 실시예들에서, 정보 아이템은 이메일, 음성메일 및 텍스트 메시지로 구성된 그룹 중 하나이다. 일부 실시예들에서, 정보 아이템은 애플리케이션 통지이다. 일부 실시예들에서, 정보 아이템은 디바이스의 콘텍스트에서의 변화이다.

일부 실시예들에서, 이 방법은 적어도 디바이스의 통신 및 콘텍스트에서의 변화를 포함하는 두 정보 아이템들을 검출하는 단계를 더 포함한다.

일부 실시예들에서, 개별 긴급 값은 개별 통지 아이템과 연관된 시간; 개별 통지 아이템과 연관된 위치 및 개별 통지 아이템의 콘텐츠 중 하나 이상에 기초한다.

일부 실시예들에서, 이 방법은 디바이스의 사용자에게 중요한 토픽을 결정하는 단계 및 개별 통지 아이템이 중요한 토픽에 대응한다는 결정에 기초하여 개별 통지 아이템에 개별 긴급 값들 중 적어도 하나를 할당하는 단계를 더 포함한다. 일부 실시예들에서, 중요한 토픽은 사람의 개입 없이 디바이스에 의해서 자동으로 결정된다.

일부 실시예들에서, 정보 아이템이 제1 통지 아이템의 긴급 값과 관련되는지 여부를 결정하는 단계는 정보 아이템이 제1 통지 아이템과 연관된 위치로의 변화에 대응한다고 결정하는 단계를 포함한다. 일부 실시예들에서, 정보 아이템이 제1 통지 아이템의 긴급 값과 관련되는지 여부를 결정하는 단계는 정보 아이템이 제1 통지 아이템과 연관된 시간에서의 변화에 대응한다고 결정하는 단계를 포함한다.

일부 실시예들에서, 이 방법은 조정된 긴급 값이 사전결정된 임계값을 만족시키지 않는다는 결정에 따라, 사용자에게 오디오 프롬프트를 제공하는 것을 지연시키는 단계를 더 포함한다.

일부 실시예들에서, 정보 아이템을 검출하는 단계는 들어오는 통신을 수신하는 단계를 포함하고, 정보 아이템이 제1 통지 아이템의 긴급 값과 관련되는지 여부를 결정하는 단계는 들어오는 통신을 수신하는 것에 응답하여 수행된다.

일부 실시예들에서, 이 방법은 사용자가 제1 오디오 프롬프트를 수신확인(acknowledge)하였는지 여부를 결정하는 단계; 및 사용자가 제1 오디오 프롬프트를 수신확인하지 않았다는 결정에 따라, 사용자에게 제1 오디오 프롬프트와는 상이한 제2 오디오 프롬프트를 제공하는 단계를 더 포함한다. 일부 실시예들에서, 제2 오디오 프롬프트는 제1 오디오 프롬프트보다 더 시끄럽다. 일부 실시예들에서, 제2 오디오 프롬프트는 제1 오디오 프롬프트보다 더 길다. 일부 실시예들에서, 제1 오디오 프롬프트는 제1 링톤(ringtone)이고 제2 오디오 프롬프트는 제1 링톤과 상이한 제2 링톤이다.

일부 실시예들에서, 이 방법은 사용자가 제2 오디오 프롬프트를 수신확인하였는지 여부를 결정하는 단계; 및 사용자가 제2 오디오 프롬프트를 수신확인하지 않았다는 결정에 따라, 사용자에게 제1 오디오 프롬프트 및 제2 오디오 프롬프트와 상이한 제3 오디오 프롬프트를 제공하는 단계를 더 포함한다. 일부 실시예들에서, 제3 오디오 프롬프트는 스피치 출력이다. 일부 실시예들에서, 제1 오디오 프롬프트는 링톤이고 제2 오디오 프롬프트는 제1 볼륨의 제1 스피치 출력이며 제3 오디오 프롬프트는 제1 볼륨보다 시끄러운 제2 볼륨의 제2 스피치 출력이다. 일부 실시예들에서, 제1 오디오 프롬프트는 링톤이고 제2 오디오 프롬프트는 제1 길이의 제1 스피치 출력이며 제3 오디오 프롬프트는 제1 길이보다 더 긴 제2 길이의 제2 스피치 출력이다.

일부 실시예들에서, 이 방법은 정보 아이템으로부터의 정보를 제1 통지 아이템에 통합시키는 단계를 더 포함한다.

일부 실시예들에 따르면, 전자 디바이스는 디스플레이, 터치-민감성 표면, 선택적으로 터치-민감성 표면과의 접촉 세기를 검출하기 위한 하나 이상의 센서, 하나 이상의 프로세서, 메모리 및 하나 이상의 프로그램을 포함하며; 하나 이상의 프로그램은 메모리 내에 저장되고 하나 이상의 프로세서에 의해 실행되도록 구성되며, 하나 이상의 프로그램은 전술된 방법들 중 어느 하나의 동작들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 컴퓨터 판독가능한 저장 매체는 디스플레이, 터치-민감성 표면 및 선택적으로 터치-민감성 표면과의 접촉 강도를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스에 의해 실행되었을 때, 디바이스로 하여금 전술된 방법들 중 어느 하나의 동작들을 수행하게 하는 명령어들을 저장한다.

일부 실시예들에 따르면, 전자 디바이스는: 디스플레이, 터치-민감성 표면 및 선택적으로 터치-민감성 표면과의 접촉 강도를 검출하기 위한 하나 이상의 센서; 전술된 방법들 중 어느 하나의 동작들을 수행하기 위한 수단을 포함한다. 일부 실시예들에 따르면, 디스플레이, 터치-민감성 표면 및 선택적으로 터치-민감성 표면과의 접촉 강도를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스에서 사용하기 위한 정보 처리 장치는 전술된 방법들 중 어느 하나의 동작들을 수행하기 위한 수단을 포함한다.

본 명세서에 기술된 주제사항의 하나 이상의 실시예들의 세부사항이 첨부된 도면 및 아래의 설명에 개진된다. 주제사항의 다른 특성들, 양태들 및 장점들이 설명, 도면 및 청구범위로부터 명확해질 것이다.

도 1은 디지털 어시스턴트가 일부 실시예들에 따라 동작하는 환경을 도시한 블록도.
도 2는 일부 실시예들에 따른 디지털 어시스턴트 클라이언트 시스템을 도시한 블록도.
도 3a는 일부 실시예들에 따른 디지털 어시스턴트 시스템 또는 그의 서버 부분을 도시한 블록도.
도 3b는 일부 실시예들에 따른 도 3a에 도시된 디지털 어시스턴트의 기능들을 도시한 블록도.
도 3c는 일부 실시예들에 따른 온톨로지의 일부분을 도시한 도면.
도 4a-4c는 일부 실시예들에 따라 디지털 어시스턴트가 스피치 출력을 제공할지 여부를 결정하는 예시적인 시나리오를 도시한 도면.
도 5a-5d는 일부 실시예들에 따라, 디바이스가 현재 사용자로부터 스피치 입력을 수신하고 있는 중인지의 여부뿐만 아니라 스피치 출력의 긴급성에 대한 결정에 기초하여 사용자에게 스피치 출력을 제공할지 여부를 결정하기 위해 디지털 어시스턴트에 의해 구현되는 예시적인 방법의 순서도.
도 6은 일부 실시예들에 따라, 통지 리스트를 관리하기 위해 디지털 어시스턴트에 의해 구현되는 예시적인 방법의 순서도.
유사한 참조번호들이 도면들에 걸쳐 상응하는 부분을 지칭한다.

도 1은 일부 실시예들에 따른 디지털 어시스턴트의 운영 환경(100)의 블록도이다. “디지털 어시스턴트”, “가상 어시스턴트”, “인텔리전트 자동화 어시스턴트” 또는 “자동화 디지털 어시스턴트”와 같은 용어들은 자연 언어 입력을 사용자 의도를 추론하기 위해 구술 및/또는 텍스트 형태로 통역하고 추론된 사용자 의도에 기초하여 행동을 수행하는 임의의 정보 처리 시스템을 지칭한다. 예를 들어, 추론된 사용자 의도에 따라 행동하기 위해서, 시스템은: 추론된 사용자 입력을 달성하도록 설계된 단계들 및 파라미터들을 갖는 작업 흐름을 식별하고 추론된 사용자 의도로부터 작업 흐름으로 특정 요구사항을 입력하고; 프로그램, 방법, 서비스, API 등을 호출함으로써 작업 흐름을 실행하며, 사용자에 대한 출력 응답을 청각적(예로서, 스피치) 및/또는 시각적 형태로 생성하는 것 중 하나 이상을 수행할 수 있다.

특히, 디지털 어시스턴트는 적어도 부분적으로 자연 언어 커맨드, 요청, 진술, 서술, 및/또는 질의의 형태로 사용자 요청을 수용할 수 있다. 통상적으로, 사용자 요청은 디지털 어시스턴트에 의한 정보성 답변 또는 작업 수행을 추구한다. 사용자 요청에 대한 만족스러운 응답은 요청된 정보성 답변, 요청된 작업의 수행, 또는 이들의 조합의 공급이다. 예를 들어, 사용자는 디지털 어시스턴트에게 “내가 지금 어디에 있습니까?”와 같은 질문을 할 수 있다. 사용자의 현재 위치에 기초하여, 디지털 어시스턴트는 “당신은 지금 서문 근처 센트럴파크에 있습니다.” 라고 답변할 수 있다. 사용자는 또한 예를 들어 “다음주 내 여자 친구의 생일파티에 내 친구들을 초대해주세요”와 같은 작업의 수행을 요청할 수 있다. 그에 대한 응답으로, 디지털 어시스턴트는 “네 바로 초대하겠습니다,”라고 말함으로써 요청에 대한 수신확인을 할 수 있으며 그 다음 사용자의 전자 주소록 내에 나열된 사용자의 친구들 각각에게 사용자를 대신하여 적절한 캘린더 초대장을 전송할 수 있다. 요청된 작업의 수행 중에, 디지털 어시스턴트는 때때로 연장된 기간에 걸쳐 다수의 정보 교환을 포함하는 연속적인 대화에서 사용자와 상호작용한다. 정보 또는 다양한 작업들의 수행을 요청하기 위해 디지털 어시스턴트와 상호작용하는 다수의 다른 방식들이 존재한다. 언어 응답을 제공하고 프로그램된 행동을 취하는 것에 더하여, 디지털 어시스턴트는 또한 예로서 텍스트, 알람, 음악, 비디오, 애니메이션 등과 같은 다른 시각적 또는 오디오 형태의 응답을 제공한다.

디지털 어시스턴트의 예는 2011년 1월 10일 출원된 본 출원인의 미국 실용출원 시리얼 번호 제12/987,982호의 “INTELLIGENT AUTOMATED ASSISTANT”에 기술되었다.

도 1에 도시된 바와 같이, 일부 실시예들에서, 디지털 어시스턴트는 클라이언트-서버 모델에 따라 구현된다. 디지털 어시스턴트는 사용자 디바이스(104a, 104b) 상에서 실행되는 클라이언트 측 부분(102a, 102b)(아래에서는 “DA 클라이언트(102)”로 지칭됨) 및 서버 시스템(108) 상에서 실행되는 서버 측 부분(106)(아래에서는 “DA 서버(106)”로 지칭됨)을 포함한다. DA 클라이언트(102)는 하나 이상의 네트워크(110)를 통해 DA 서버(106)와 통신한다. DA 클라이언트(102)는 사용자-대면 입력 및 출력 처리 및 DA 서버(106)와의 통신과 같은 클라이언트 측 기능들을 제공한다. DA 서버(106)는 각각이 개별 사용자 디바이스(104) 상에 존재하는 임의의 수의 DA 클라이언트(102)에 대해 서버 측 기능들을 제공한다.

일부 실시예들에서, DA 서버(106)는 클라이언트-대면 입출력 인터페이스(112), 하나 이상의 처리 모듈(114), 데이터 및 모델(116) 및 외부 서비스로의 입출력 인터페이스(118)를 포함한다. 클라이언트-대면 입출력 인터페이스는 디지털 어시스턴트 서버(106)를 위한 클라이언트-대면 입력 및 출력 처리를 가능하게 한다. 하나 이상의 처리 모듈(114)은 자연 언어 입력에 기초하여 사용자의 의도를 결정하기 위해 데이터 및 모델(116)을 활용하고 추론된 사용자 의도에 기초하여 작업 실행을 수행한다. 일부 실시예들에서, DA 서버(106)는 작업 완료 또는 정보 획득을 위해 네트워크(들)(110)를 통해 외부 서비스(120)와 통신한다. 외부 서비스로의 입출력 인터페이스(118)는 이러한 통신을 가능하게 한다.

사용자 디바이스(104)의 예들은 핸드헬드 컴퓨터, PDA, 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크톱 컴퓨터, 셀룰러 전화, 스마트폰, 향상된 일반 패킷 무선 서비스(EGPRS) 이동전화, 미디어 플레이어, 내비게이션 디바이스, 게임 콘솔, 텔레비전, 원격 제어, 또는 이러한 데이터 처리 디바이스들 또는 다른 데이터 처리 디바이스들 중 임의의 둘 이상의 조합을 포함하지만, 이것으로 제한되지 않는다. 사용자 디바이스(104)에 대한 더 많은 세부사항들이 도 2에 도시된 예시적인 사용자 디바이스(104)를 참조로 제공된다.

통신 네트워크(들)(110)의 예들은 로컬 영역 네트워크(“LAN”) 및 광역 네트워크(“WAN”), 예로서 인터넷을 포함한다. 통신 네트워크(들)(110)는 예로서 이더넷, USB, 파이어와이어(FIREWIRE), 이동통신용 글로벌 시스템(GSM), 향상된 데이터 GSM 환경(EDGE), 코드 분할 다중 접속(CDMA), 시간 분할 다중 접속(TDMA), 블루투스, 와이파이(Wi-Fi), VoIP, Wi-MAX, 또는 임의의 다른 적합한 통신 프로토콜과 같은 다양한 유선 또는 무선 프로토콜을 포함하는 임의의 알려진 네트워크 프로토콜을 이용하여 구현될 수 있다.

서버 시스템(108)은 하나 이상의 독립형 데이터 처리 장치 또는 컴퓨터들의 분산된 네트워크 상에 구현된다. 일부 실시예들에서, 서버 시스템(108)은 또한 언더라잉 컴퓨팅 리소스 및/또는 서버 시스템(108)의 인프라구조 리소스를 제공하기 위해 다양한 가상 디바이스들 및/또는 제3자 서비스 제공자들(예를 들어, 제3자 클라우드 서비스 제공자들)의 서비스를 사용할 수 있다.

도 1에 도시된 디지털 어시스턴트가 클라이언트 측 부분(예를 들어, DA 클라이언트(102)) 및 서버 측 부분(예를 들어, DA 서버(106)) 모두를 포함하지만, 일부 실시예들에서, 디지털 어시스턴트의 기능들은 사용자 디바이스 상에 설치된 독립형 애플리케이션으로서 구현된다. 또한, 디지털 어시스턴트의 클라이언트와 서버 부분들 사이의 기능들의 분할은 서로 다른 실시예들에서 달라질 수 있다. 예를 들어, 일부 실시예들에서, DA 클라이언트는 사용자-대면 입력 및 출력 처리 기능만을 제공하고, 백엔드 서버에 디지털 어시스턴트의 다른 모든 기능들을 위임하는 씬-클라이언트(thin-client)이다.

도 2는 일부 실시예들에 따른 사용자 디바이스(104)의 블록도이다. 사용자 디바이스(104)는 메모리 인터페이스(202), 하나 이상의 프로세서(204) 및 주변기기 인터페이스(206)를 포함한다. 사용자 디바이스(104) 내의 다양한 구성요소들은 하나 이상의 통신 버스 또는 신호 라인들에 의해 연결된다. 사용자 디바이스(104)는 주변기기 인터페이스(206)에 연결된 다양한 센서, 서브시스템 및 주변 디바이스들을 포함한다. 센서, 서브시스템 및 주변 디바이스들은 정보를 수집하고/하거나 사용자 디바이스(104)의 다양한 기능들을 가능하게 한다.

예를 들어, 동작 센서(210), 광 센서(212) 및 근접 센서(214)가 배향, 광 및 근접 감지 기능들을 가능하게 하도록 주변기기 인터페이스(206)에 연결된다. 위치 확인 시스템(예로서, GPS 수신기)과 같은 하나 이상의 다른 센서(216), 온도 센서, 생체측정 센서, 자이로, 나침반, 가속도계 등과 같은 하나 이상의 다른 센서(216) 또한 관련된 기능들을 가능하게 하도록 주변기기 인터페이스(206)로 접속된다.

일부 실시예들에서, 카메라 서브시스템(220) 및 광학 센서(222)는 사진을 찍고 비디오 클립을 녹화하는 것과 같은 카메라 기능들을 가능하게 하도록 활용된다. 통신 기능들은 다양한 통신 팟, 무선 주파수 수신기 및 송신기, 및/또는 광학적(예를 들어, 적외선) 수신기 및 송신기를 포함할 수 있는 하나 이상의 유선 및/또는 무선 통신 서브시스템(224)을 통해 가능해진다. 오디오 서브시스템(226)은 음성 인식, 음성 복제, 디지털 녹음 및 텔레포니 기능과 같이 음성-인에이블되는 기능을 가능하게 하도록 스피커(228) 및 마이크로폰(230)에 연결된다.

일부 실시예들에서, 입출력 서브시스템(240)은 또한 주변기기 인터페이스(206)에 연결된다. 입출력 서브시스템(240)은 터치 스크린 컨트롤러(242) 및/또는 다른 입력 컨트롤러(들)(244)를 포함한다. 터치-스크린 컨트롤러(242)는 터치 스크린(246)에 연결된다. 터치 스크린(246) 및 터치 스크린 컨트롤러(242)는 예를 들어 용량성, 저항성, 적외선, 표면 음향파 기술, 근접 센서 어레이 등과 같은 복수의 터치 민감성 기술들 중 임의의 기술을 이용하여 접촉 및 이동을 검출하거나 이들의 차단을 검출할 수 있다. 다른 입력 컨트롤러(들)(244)는 하나 이상의 버튼, 로커 스위치, 썸-휠, 적외선 포트, USB 포트, 및/또는 스타일러스와 같은 포인터 디바이스와 같은 다른 입력/출력 디바이스들(248)에 연결될 수 있다.

일부 실시예들에서, 메모리 인터페이스(202)는 메모리(250)에 연결된다. 메모리(250)는 고속 랜덤 액세스 메모리 및/또는 하나 이상의 자기 디스크 저장 디바이스, 하나 이상의 광학 저장 디바이스, 및/또는 플래시 메모리(예를 들어, NAND, NOR)와 같은 비휘발성 메모리를 포함할 수 있다.

일부 실시예들에서, 메모리(250)는 운영 체제(252), 통신 모듈(254), 사용자 인터페이스 모듈(256), 센서 처리 모듈(258), 전화 모듈(260) 및 애플리케이션(262)을 저장한다. 운영 체제(252)는 기본 시스템 서비스를 다루고 하드웨어 의존 작업들을 수행하기 위한 명령어들을 포함한다. 통신 모듈(254)은 하나 이상의 추가 디바이스, 하나 이상의 컴퓨터 및/또는 하나 이상의 서버와 통신하는 것을 가능하게 한다. 사용자 인터페이스 모듈(256)은 그래픽 사용자 인터페이스 처리를 가능하게 하고 다른 출력 채널들(예를 들어, 스피커)을 이용하여 처리를 출력한다. 센서 처리 모듈(258)은 센서-관련 처리 및 기능들을 가능하게 한다. 전화 모듈(260)은 전화-관련 프로세스 및 기능들을 가능하게 한다. 애플리케이션 모듈(262)은 전자-메시징, 웹 브라우징, 미디어 처리, 내비게이션, 이미징 및/또는 다른 프로세스 및 기능과 같은 사용자 애플리케이션의 다양한 기능들을 가능하게 한다.

본 명세서에 기술된 바와 같이, 메모리(250)는 또한 디지털 어시스턴트의 클라이언트 측 기능들을 제공하기 위해서 (예를 들어, 디지털 어시스턴트 클라이언트 모듈(264) 내에) 클라이언트 측 디지털 어시스턴트 명령어들 및 다양한 사용자 데이터(266)(예를 들어, 사용자-특정 어휘 데이터, 선호 데이터, 및/또는 사용자의 전자 주소록, 할 일 리스트, 쇼핑 리스트 등과 같은 다른 데이터)를 저장한다.

다양한 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 디바이스(104)의 다양한 사용자 인터페이스들(예를 들어, 입출력 서브시스템(244))을 통한 음성 입력(예를 들어, 스피치 입력), 텍스트 입력, 터치 입력, 및/또는 제스처 입력을 수용할 수 있다. 디지털 어시스턴트 클라이언트 모듈(264)은 또한 오디오(예를 들어, 스피치 출력), 시각적, 및/또는 촉각적 형태로 출력을 제공할 수 있다. 예를 들어, 출력은 음성, 사운드, 알람, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션, 진동, 및/또는 이들 중 둘 이상의 조합으로서 제공될 수 있다. 동작 중에, 디지털 어시스턴트 클라이언트 모듈(264)은 통신 서브시스템(224)을 이용하여 디지털 어시스턴트 서버와 통신한다.

일부 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자, 현재 사용자 상호작용, 및/또는 현재 사용자 입력과 연관된 콘텍스트를 확립하기 위해 사용자 디바이스(104)를 둘러싼 환경으로부터 추가적인 정보를 수집하도록 다양한 센서, 서브시스템 및 주변 디바이스들을 활용한다. 일부 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 의도를 추론하는 것을 돕도록 디지털 어시스턴트 서버에 사용자 입력을 갖는 콘텍스트 정보 또는 이것의 하위세트를 제공한다. 일부 실시예들에서, 디지털 어시스턴트는 또한 출력을 준비하여 사용자에게 전달하는 방식을 결정하기 위해 콘텍스트 정보를 사용한다.

일부 실시예들에서, 사용자 입력과 동반하는 콘텍스트 정보는 예를 들어 광, 주변 소음, 주변 온도, 주변 환경의 이미지 또는 비디오 등과 같은 센서 정보를 포함한다. 일부 실시예들에서, 콘텍스트 정보는 또한 예를 들어 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 동작 패턴, 셀룰러 신호 강도 등과 같은 디바이스의 물리적 상태를 포함한다. 일부 실시예들에서, 예를 들어 사용자 디바이스(104)의 작동 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동들, 백그라운드 서비스, 오류 로그, 리소스 사용 등과 같은 사용자 디바이스(104)의 소프트웨어 상태와 관련된 정보가 사용자 입력과 연관된 콘텍스트 정보로서 디지털 어시스턴트 서버에 제공된다.

일부 실시예들에서, DA 클라이언트 모듈(264)은 선택적으로 디지털 어시스턴트 서버로부터의 요청에 응답하여 사용자 디바이스(104) 상에 저장된 정보(예로서, 사용자 데이터(266))를 제공한다. 일부 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 또한 자연 언어 대화 또는 디지털 어시스턴트 서버(106)에 의한 요청에 따른 다른 사용자 인터페이스를 통한 사용자로부터의 추가적인 입력을 이끌어낸다. 디지털 어시스턴트 클라이언트 모듈(264)은 디지털 어시스턴트 서버(106)의 의도 추론 및/또는 사용자 요청으로 표현된 사용자 의도의 이행을 돕도록 추가적인 입력을 디지털 어시스턴트 서버(106)에 전달한다.

다양한 실시예들에서, 메모리(250)는 추가적인 명령어들 또는 더 적은 명령어들을 포함한다. 또한, 사용자 디바이스(104)의 다양한 기능들이 하나 이상의 신호 처리 및/또는 ASIC를 포함하는 하드웨어 및/또는 펌웨어로 구현될 수 있다.

도 3a는 일부 실시예들에 따른 예시적인 디지털 어시스턴트 시스템(300)의 블록도이다. 일부 실시예들에서, 디지털 어시스턴트 시스템(300)은 독립형 컴퓨터 시스템 상에 구현된다. 일부 실시예들에서, 디지털 어시스턴트 시스템(300)은 다수의 컴퓨터들에 걸쳐 분산된다. 일부 실시예들에서, 디지털 어시스턴트의 일부 모듈들 및 기능들이 서버 부분 및 클라이언트 부분으로 분할되며, 이때 클라이언트 부분은 사용자 디바이스(예로서, 사용자 디바이스(104)) 상에 존재하고 예를 들어 도 1에 도시된 바와 같은 하나 이상의 네트워크를 통해 서버 부분(예로서, 서버 시스템(108))과 통신한다. 일부 실시예들에서, 디지털 어시스턴트 시스템(300)은 도 1에 도시된 서버 시스템(108)(및/또는 디지털 어시스턴트 서버(106))의 실시예이다. 디지털 어시스턴트 시스템(300)이 단지 디지털 어시스턴트 시스템의 일 예시이고, 디지털 어시스턴트 시스템(300)이 도시된 것보다 더 많거나 더 적은 구성요소들을 구비할 수 있고, 둘 이상의 구성요소들을 결합할 수 있거나, 또는 구성요소들의 상이한 구성 또는 배치를 가질 수 있다는 것이 인지되어야만 한다. 도 3a에 도시된 다양한 구성요소들은 하나 이상의 신호 처리 및/또는 주문형 집적 회로를 포함하여, 하드웨어, 하나 이상의 프로세서에 의해 실행하기 위한 소프트웨어 명령어, 펌웨어 또는 이들의 조합으로 구현될 수 있다.

디지털 어시스턴트 시스템(300)은 메모리(302), 하나 이상의 프로세서(304), 입력/출력(입출력) 인터페이스(306) 및 네트워크 통신 인터페이스(308)를 포함한다. 이들 구성요소들은 하나 이상의 통신 버스 또는 신호 라인들(310) 상에서 서로 통신한다.

일부 실시예들에서, 메모리(302)는 고속 랜덤 액세스 메모리와 같은 비일시적 컴퓨터 판독가능한 매체 및/또는 비휘발성 컴퓨터 판독가능한 저장 매체(예를 들어, 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 고체 상태 메모리 디바이스들)를 포함한다.

일부 실시예들에서, 입출력 인터페이스(306)는 디스플레이, 키보드, 터치스크린 및 마이크로폰과 같은 디지털 어시스턴트 시스템(300)의 입력/출력 디바이스(316)를 사용자 인터페이스 모듈(322)에 연결한다. 입출력 인터페이스(306)는 사용자 인터페이스 모듈(322)과 함께 사용자 입력(예로서, 음성 입력, 키보드 입력, 터치 입력 등)을 수신하고 그에 따라 이들을 처리한다. 일부 실시예들에서, 예를 들어 디지털 어시스턴트가 독립형 사용자 디바이스 상에 구현되는 경우, 디지털 어시스턴트 시스템(300)은 도 2의 사용자 디바이스(104)와 관련하여 기술된 임의의 구성요소들 및 입출력 및 통신 인터페이스들을 포함한다. 일부 실시예들에서, 디지털 어시스턴트 시스템(300)은 디지털 어시스턴트 구현의 서버 부분을 나타내고, 사용자 디바이스(예를 들어, 도 2에서 도시된 사용자 디바이스(104)) 상에 존재하는 클라이언트 측 부분을 통해 사용자와 상호작용한다.

일부 실시예들에서, 네트워크 통신 인터페이스(308)는 유선 통신 포트(들)(312) 및/또는 무선 송신 및 수신 회로(314)를 포함한다. 유선 통신 포트(들)는 예로서 이더넷, USB, 파이어와이어 등의 하나 이상의 유선 인터페이스를 통해 통신 신호들을 수신 및 전달한다. 무선 회로(314)는 통신 네트워크 및 다른 통신 디바이스들로부터/로 RF 신호들 및/또는 광학 신호들을 수신 및 전달한다. 무선 통신은 GSM, EDGE, CDMA, TDMA, 블루투스, 와이파이, VoIP, Wi-MAX, 또는 임의의 다른 적합한 통신 프로토콜과 같은 복수의 통신 표준, 프로토콜 및 기술들 중 임의의 것을 이용할 수 있다. 네트워크 통신 인터페이스(308)는 인터넷, 인트라넷과 같은 네트워크 및/또는 셀룰러 전화 네트워크와 같은 무선 네트워크, 무선 로컬 영역 네트워크(LAN) 및/또는 도시권 네트워크(MAN)와 같은 네트워크들을 갖는 디지털 어시스턴트 시스템(300)과 다른 디바이스들 사이의 통신을 가능하게 한다.

일부 실시예들에서, 메모리(302) 또는 메모리(302)의 컴퓨터 판독가능한 저장 매체가, 운영 체제(318), 통신 모듈(320), 사용자 인터페이스 모듈(322), 하나 이상의 애플리케이션(324) 및 디지털 어시스턴트 모듈(326)의 전부 또는 하위세트를 포함하는 프로그램, 모듈, 명령어 및 데이터 구조를 저장한다. 하나 이상의 프로세서(304)는 이러한 프로그램, 모듈, 명령어를 실행하고 데이터 구조로부터/로 판독/기록한다.

운영 체제(318)(예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체제)는 일반적인 시스템 작업들(예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 구성요소들 및/또는 드라이버들을 포함하며 다양한 하드웨어, 펌웨어 및 소프트웨어 구성요소들 사이의 통신을 가능하게 한다.

통신 모듈(320)은 네트워크 통신 인터페이스(308) 상에서 다른 디바이스들과 디지털 어시스턴트 시스템(300) 사이의 통신을 가능하게 한다. 예를 들어, 통시 모듈(320)은 도 2에 도시된 디바이스(104)의 통신 인터페이스(254)와 통신할 수 있다. 통신 모듈(320)은 또한 무선 회로(314) 및/또는 유선 통신 포트(312)에 의해 수신된 데이터를 다루기 위한 다양한 구성요소들을 포함한다.

사용자 인터페이스 모듈(322)은 (예를 들어, 키보드, 터치스크린, 포인팅 디바이스, 컨트롤러, 및/또는 마이크로폰으로부터) 입출력 인터페이스(306)를 통해 사용자로부터의 커맨드 및/또는 입력을 수신하며, 디스플레이 상에 사용자 인터페이스 객체들을 생성한다. 사용자 인터페이스 모듈(322)은 또한 입출력 인터페이스(306)를 통해(예로서, 디스플레이, 오디오 채널, 스피커 및 터치패드 등을 통해) 사용자에게 출력(예를 들어, 스피치, 사운드, 애니메이션, 텍스트, 아이콘, 진동, 햅틱 피드백 및 광 등)을 준비하고 전달한다.

애플리케이션(324)은 하나 이상의 프로세서(304)에 의해 실행되도록 구성된 프로그램 및/또는 모듈을 포함한다. 예를 들어, 만약 디지털 어시스턴트 시스템이 독립형 사용자 디바이스 상에 구현되면, 애플리케이션(324)은 게임, 캘린더 애플리케이션, 내비게이션 애플리케이션, 또는 이메일 애플리케이션과 같은 사용자 애플리케이션을 포함할 수 있다. 만약 디지털 어시스턴트 시스템(300)이 서버 팜(server farm) 상에 구현되면, 애플리케이션(324)은 예를 들어 리소스 관리 애플리케이션, 진단 애플리케이션, 또는 스케줄링 애플리케이션을 포함할 수 있다.

메모리(302)는 또한 디지털 어시스턴트 모듈(또는 디지털 어시스턴트의 서버 부분)(326)을 저장한다. 일부 실시예들에서, 디지털 어시스턴트 모듈(326)은: 입력/출력 처리 모듈(328), 스피치-텍스트 변환(STT) 처리 모듈(330), 자연 언어 처리 모듈(332), 대화 흐름 처리 모듈(334), 작업 흐름 처리 모듈(336), 서비스 처리 모듈(338) 및 방해 처리 모듈(340)의 하위-모듈들 또는 하위세트 또는 상위세트를 포함한다. 이들 모듈 각각은 디지털 어시스턴트(326)의 다음의 데이터 및 모델들: 온톨로지(360), 어휘 인덱스(344), 사용자 데이터(348), 작업 흐름 모델(354), 서비스 모델(356) 및 우선순위 파라미터 데이터베이스(358) 중 하나 이상, 또는 하위세트 또는 상위세트에 대한 액세스를 갖는다.

일부 실시예들에서, 처리 모듈, 데이터 및 디지털 어시스턴트 모듈(326) 내에 구현되는 모델을 이용하여, 디지털 어시스턴트가 사용자로부터 수신된 자연 언어 입력에서 표현된 사용자의 의도를 식별하고; (예를 들어, 단어, 이름, 의도 등을 명확하게 함으로써) 사용자의 의도를 완전히 추론하는 데에 필요한 정보를 적극적으로 유도하여 획득하고; 추론된 의도를 이행하기 위한 작업 흐름을 결정하며, 추론된 의도를 이행하기 위한 작업 흐름을 실행하는 것들 중 적어도 일부를 수행한다. 본 명세서에서, 방해 처리 모듈에 관련된 더 자세한 세부사항 및 우선순위 파라미터들의 이용에 관련된 더 자세한 세부사항들이 이후에 제공된다.

일부 실시예들에서, 도 3b에 도시된 바와 같이, 입출력 처리 모듈(328)은 사용자 입력(예로서, 스피치 입력)을 획득하고 사용자 입력에 대한 응답(예로서, 스피치 출력)을 제공하기 위해 도 3a의 입출력 디바이스들(316)을 통해서 사용자와 상호작용하거나 또는 도 3a의 네트워크 통신 인터페이스(308)를 통해서 사용자 디바이스(예를 들어, 도 1의 사용자 디바이스(104))와 상호작용한다. 입출력 처리 모듈(328)은 선택적으로 사용자 입력의 수신과 함께 또는 그 직후에 사용자 디바이스로부터 사용자 입력과 연관된 콘텍스트 정보를 획득한다. 콘텍스트 정보는 사용자-특정 데이터, 어휘, 및/또는 사용자 입력과 관련된 선호도를 포함한다. 일부 실시예들에서, 콘텍스트 정보는 또한 사용자 요청이 수신된 시간에 디바이스(예를 들어, 도 1의 사용자 디바이스(104))의 소프트웨어 및 하드웨어 상태, 및/또는 사용자 요청이 수신된 시간에 사용자를 둘러싼 환경과 관련된 정보를 포함한다. 일부 실시예들에서, 입출력 처리 모듈(328)은 또한 사용자 요청과 관련된 사용자에게 팔로우-업 질문을 전송하고 그로부터 답변을 수신한다. 사용자 요청이 입출력 처리 모듈(328)에 의해 수신되고 사용자 요청이 스피치 입력을 포함할 때, 입출력 처리 모듈(328)은 스피치-텍스트 변환을 위해 스피치 입력을 스피치-텍스트 변환(STT) 처리 모듈(330)에 포워딩한다.

스피치-텍스트 변환 처리 모듈(330)은 입출력 처리 모듈(328)을 통해 스피치 입력(예를 들어, 음성 기록 내에 캡처된 사용자 발언)을 수신한다. 일부 실시예들에서, 스피치-텍스트 변환 처리 모듈(330)은 음소들의 시퀀스, 그리고 궁극적으로는 하나 이상의 언어들로 기록된 단어들 또는 토큰(token)들의 시퀀스로서 스피치 입력을 인식하기 위해 다양한 음향 및 언어 모델들을 사용한다. 스피치-텍스트 변환 처리 모듈(330)은 히든 마코브 모델(Hidden Markov Models), 동적 시간 워핑(Dynamic Time Warping; DTW)-기반 스피치 인식 및 다른 통계적 및/또는 분석적 기술들과 같은 임의의 적합한 스피치 인식 기술, 음향 모델 및 언어 모델을 이용하여 구현될 수 있다. 일부 실시예들에서, 스피치-텍스트 변환 처리는 적어도 부분적으로 제3자 서비스에 의해 또는 사용자의 디바이스 상에서 수행될 수 있다. 스피치-텍스트 변환 처리 모듈(330)이 예를 들어 단어들 또는 토큰들의 시퀀스와 같은 스피치-텍스트 변환 처리의 결과를 획득하면, 이 결과를 의도 추론을 위해 자연 언어 처리 모듈(332)로 전달한다.

디지털 어시스턴트의 자연 언어 처리 모듈(332)(“자연 언어 프로세서”)은 스피치-텍스트 변환 처리 모듈(330)에 의해 생성된 단어들 또는 토큰들의 시퀀스("토큰 시퀀스")를 취하여, 이러한 토큰 시퀀스를 디지털 어시스턴트에 의해 인식되는 하나 이상의 "행동가능한 의도(actionable intent)"와 연관시키고자 시도한다. 본 명세서에서 사용되는 "행동가능한 의도"는 디지털 어시스턴트에 의해 수행될 수 있는 작업을 나타내며, 작업 흐름 모듈(354)에서 구현되는 연관된 작업 흐름을 갖는다. 연관된 작업 흐름은 작업을 수행하기 위해 디지털 어시스턴트가 취하는 일련의 프로그램된 행동들 및 단계들이다. 디지털 어시스턴트 시스템의 능력의 범위는 작업 흐름 모듈(354) 내에서 구현되고 저장된 작업 흐름들의 수와 다양성에 의존하거나, 다시 말하면, 디지털 어시스턴트가 인식하는 "행동가능한 의도"의 수와 다양성에 의존한다. 그러나, 디지털 어시스턴트의 실효성은 자연 언어로 표현된 사용자 요청으로부터 올바른 "행동가능한 의도(들)"를 추론하기 위한 어시스턴트의 능력에도 의존한다.

일부 실시예들에서, 스피치-텍스트 변환 처리 모듈(330)로부터 획득된 단어들 또는 토큰들의 시퀀스에 더하여, 자연 언어 프로세서(332)가 또한 예를 들어 입출력 처리 모듈(328)로부터의 사용자 요청과 관련된 콘텍스트 정보를 수신한다. 자연 언어 프로세서(332)는, 스피치-텍스트 변환 처리 모듈(330)로부터 수신된 토큰 시퀀스에 포함된 정보를 명확히 하고, 보충하고/하거나 추가로 정의하기 위해 콘텍스트 정보를 선택적으로 사용한다. 콘텍스트 정보는, 예를 들어 사용자 선호도, 사용자 디바이스의 하드웨어 및/또는 소프트웨어 상태, 사용자 요청 전, 요청 중, 또는 요청 직후에 수집된 센서 정보, 디지털 어시스턴트와 사용자 간의 이전의 상호작용(예를 들어, 대화) 등을 포함한다. 본 명세서에 기술된 바와 같이, 콘텍스트 정보는 동적이며, 시간, 위치, 대화의 내용 및 다른 인자들로 변화할 수 있다.

일부 실시예들에서, 자연 언어 처리는 온톨로지(360)에 기초한다. 온톨로지(360)는 다수의 노드들을 포함하고, 각 노드가 하나 이상의 "행동가능한 의도들" 또는 다른 "속성들"과 관련된 "행동가능한 의도" 또는 "속성"을 나타내는 계층적 구조이다. 위에서 언급된 바와 같이, "행동가능한 의도"는 디지털 어시스턴트가 수행할 수 있는 작업, 즉 "행동가능"하거나 그에 따라 행동될 수 있는 작업을 나타낸다. "속성"은 행동가능한 의도와 연관된 파라미터 또는 다른 속성의 하위-양태를 나타낸다. 온톨로지(360) 내의 행동가능한 의도 노드와 속성 노드의 연결성은 속성 노드에 의해 표현되는 파라미터가 행동가능한 의도 노드에 의해 표현되는 작업에 관련되는 방식을 정의한다.

일부 실시예들에서, 온톨로지(360)는 행동가능한 의도 노드들 및 속성 노드들로 구성된다. 온톨로지(360) 내에서, 각각의 행동가능한 의도 노드는 하나 이상의 속성 노드들에 직접적으로 또는 하나 이상의 중간 속성 노드들을 통해 링크된다. 유사하게, 각각의 속성 노드는 하나 이상의 행동가능한 의도 노드들에 직접적으로 또는 하나 이상의 중간 속성 노드들을 통해 링크된다. 예를 들어, 도 3c에 도시된 바와 같이, 온톨로지(360)는 "레스토랑 예약" 노드(즉, 행동가능한 의도 노드)를 포함할 수 있다. 속성 노드들 "레스토랑", (예약에 대한) "날짜/시간" 및 "인원수"는 각각 행동가능한 의도 노드(즉, "레스토랑 예약" 노드)에 직접 링크된다. 또한, 속성 노드들 "요리들", "가격 범위", "전화 번호" 및 "위치"는 속성 노드 "레스토랑"의 하위-노드들이며, 각각이 중간 속성 노드 "레스토랑"을 통해 "레스토랑 예약" 노드(즉, 행동가능한 의도 노드)에 링크된다. 다른 예에 있어서, 도 3c에 도시된 바와 같이, 온톨로지(360)는 또한 "리마인더 설정" 노드(즉, 다른 행동가능한 의도 노드)를 포함할 수 있다. (리마인더를 설정하기 위한) 속성 노드들 "날짜/시간" 및 (리마인더를 위한) "제목"이 각각 "리마인더 설정" 노드에 링크된다. 속성 "날짜/시간"이 레스토랑 예약 작업 및 리마인더 설정 작업 모두와 관련되기 때문에, 속성 노드 "날짜/시간"은 온톨로지(360) 내의 "레스토랑 예약" 노드 및 "리마인더 설정" 노드 모두에 링크된다.

자신이 링크된 개념 노드들과 함께, 행동가능한 의도 노드는 "도메인"으로서 기술될 수 있다. 본 논의에서, 각 도메인은 개별 행동가능한 의도와 연관되며, 구체적인 행동가능한 의도와 연관된 노드들의 그룹(및 그들 간의 관계)을 지칭한다. 예를 들어, 도 3c에 도시된 온톨로지(360)는 온톨로지(360) 내의 레스토랑 예약 도메인(362)의 일례 및 리마인더 도메인(364)의 일례를 포함한다. 레스토랑 예약 도메인은 행동가능한 의도 노드 "레스토랑 예약", 속성 노드들 "레스토랑", "날짜/시간" 및 "인원수" 및 하위-속성 노드들 "요리", "가격 범위", "전화 번호" 및 "위치"를 포함한다. 리마인더 도메인(364)은 행동가능한 의도 노드 "리마인더 설정" 및 속성 노드들 "주제" 및 "날짜/시간"을 포함한다. 일부 실시예들에서, 온톨로지(360)는 다수의 도메인들로 구성된다. 각각의 도메인은 하나 이상의 속성 노드들을 하나 이상의 다른 도메인들과 공유할 수도 있다. 예를 들어, "날짜/시간" 속성 노드는 레스토랑 예약 도메인(362) 및 리마인더 도메인(364)에 더하여 다수의 다른 도메인들(예를 들어, 스케줄링 도메인, 여행 예약 도메인, 영화 티켓 도메인 등)과 연관될 수 있다.

도 3c가 온톨로지(360) 내의 두 개의 예시적인 도메인들을 도시하지만, 다른 도메인들(또는 행동가능한 의도들)이 예를 들어 "전화 통화 개시", "방향 찾기", "미팅 스케줄링", "메시지 전송" 및 "질문에 대한 답변 제공", “리스트 판독”, “내비게이션 명령 제공”, “작업에 대한 명령 제공” 등을 포함할 수 있다. "메시지 전송" 도메인은 "메시지 전송" 행동가능한 의도 노드와 연관되고, "수신자(들)", "메시지 타입" 및 "메시지 내용"과 같은 속성 노드들을 추가로 포함할 수 있다. 속성 노드 "수신자"는 예를 들어 "수신자 이름" 및 "메시지 주소"와 같은 하위-속성 노드들에 의해 추가로 정의될 수 있다.

일부 실시예들에서, 온톨로지(360)는 디지털 어시스턴트가 이해할 수 있고 그에 따라 행동할 수 있는 모든 도메인들(및 이에 따른 행동가능한 의도들)을 포함한다. 일부 실시예들에서, 온톨로지(360)는, 예컨대 전체 도메인들 또는 노드들을 추가하거나 제거함으로써, 또는 온톨로지(360) 내의 노드들 간의 관계를 수정함으로써 수정될 수 있다.

일부 실시예들에서, 다수의 관련된 행동가능한 의도들과 연관된 노드들이 온톨로지(360) 내의 "상위 도메인" 하에서 클러스터될 수 있다. 예를 들어, "여행" 상위 도메인이 여행과 관련된 속성 노드들 및 행동가능한 의도 노드들의 클러스터를 포함할 수 있다. 여행과 관련된 행동가능한 의도 노드들은 "항공권 예약", "호텔 예약", "차량 렌트", "길 찾기", "관심 지점 찾기" 등을 포함할 수 있다. 동일한 상위 도메인(예를 들어, "여행" 상위 도메인) 하의 행동가능한 의도 노드들은 다수의 속성 노드들을 공통으로 가질 수 있다. 예를 들어, "항공권 예약", "호텔 예약", "차량 렌트", "길 찾기", "관심 지점 찾기"에 대한 행동가능한 의도 노드들은 하나 이상의 속성 노드들 "시작 위치", "목적지", "출발 날짜/시간", "도착 날짜/시간" 및 "인원수"를 공유할 수 있다.

일부 실시예들에서, 온톨로지(360) 내의 각각의 노드는 노드에 의해 표현되는 속성 또는 행동가능한 의도와 관련된 단어들 및/또는 구(phrase)들의 세트와 연관된다. 각각의 노드와 연관된 단어들 및/또는 구들의 개별 세트는 각각의 노드와 연관된 이른바 "어휘"이다. 각각의 노드와 연관된 단어들 및/또는 구들의 개별 세트는 노드에 의해 표현되는 속성 및 행동가능한 의도와 연관되어 어휘 인덱스(344)에 저장될 수 있다. 예를 들어, 도 3b로 돌아오면, "레스토랑"의 속성에 대한 노드와 연관된 어휘는 "음식", "음료", "요리", "배고픔", "먹다", "피자", "패스트 푸드", "식사" 등과 같은 단어들을 포함할 수 있다. 다른 예를 들면, "전화 통화 개시"의 행동가능한 의도에 대한 노드와 연관된 어휘는 "통화", "전화", "다이얼", "신호음", "이 번호로 전화", "-에게 전화 걸기" 등과 같은 단어들 및 구들을 포함할 수 있다. 어휘 인덱스(344)는 상이한 언어들의 단어들과 구들을 선택적으로 포함한다.

자연 언어 프로세서(332)는 스피치-텍스트 변환 처리 모듈(330)로부터 토큰 시퀀스(예컨대, 텍스트 스트링)를 수신하고, 토큰 시퀀스 내의 단어들에 의해 어떤 노드들이 연루되는지를 결정한다. 일부 실시예들에서, 만약 토큰 시퀀스 내의 단어 또는 구가 (어휘 인덱스(344)를 통해) 온톨로지(360) 내의 하나 이상의 노드와 연관되는 것으로 발견되면, 단어 또는 구는 이러한 노드들을 "트리거" 또는 "활성화"할 것이다. 활성화된 노드들의 수 및/또는 상대적인 중요도에 기초하여, 자연 언어 프로세서(332)는 디지털 어시스턴트가 수행하도록 사용자가 의도한 작업으로서 행동가능한 의도들 중 하나를 선택할 것이다. 일부 실시예들에서, 가장 "트리거된" 노드들을 갖는 도메인이 선택된다. 일부 실시예들에서, (예컨대, 그의 다양한 트리거된 노드들의 상대적 중요도에 기초하여) 최고 신뢰 값을 갖는 도메인이 선택된다. 일부 실시예들에서, 도메인은 트리거된 노드들의 수 및 중요성의 조합에 기초하여 선택된다. 일부 실시예들에서, 디지털 어시스턴트가 사용자로부터의 유사한 요청을 이전에 올바르게 통역했는지 여부와 같은 추가 인자들 또한 노드를 선택하는 데에 고려된다.

일부 실시예들에서, 디지털 어시스턴트는 또한 어휘 인덱스(344) 내의 특정 엔티티(entity)들의 이름들을 저장하여, 이들 이름들 중 하나가 사용자 요청에서 검출되는 경우, 자연 언어 프로세서(332)는 이름이 온톨로지 내의 속성 또는 하위 속성의 특정 인스턴스(instance)를 지칭한다는 것을 인식할 수 있을 것이다. 일부 실시예들에서, 특정 엔티티들의 이름은 사업체, 레스토랑, 사람, 영화 등의 이름이다. 일부 실시예들에서, 디지털 어시스턴트는 사용자의 주소록, 영화 데이터베이스, 음악가 데이터베이스 및/또는 레스토랑 데이터베이스와 같은 다른 데이터 소스들로부터 특정 엔티티 이름을 검색 및 식별한다. 일부 실시예들에서, 토큰 시퀀스 내의 단어가 (사용자의 주소록 내의 이름과 같은) 특정 엔티티의 이름이라는 것을 자연 언어 프로세서(332)가 식별하는 경우, 그 단어는 사용자 요청에 대한 온톨로지 내의 행동가능한 의도를 선택함에 있어서 추가적인 중요성을 부여받는다.

예를 들어, "Mr. Santo"라는 단어들이 사용자 요청으로부터 인식된 경우, 성인 "Santo"가 사용자의 연락처 목록 내의 연락처들 중 하나로서 어휘 인덱스(344) 내에서 발견되며, 그에 따라 사용자 요청이 "메시지 전송" 또는 "전화 통화 개시" 도메인에 대응할 가능성이 있다. 다른 예를 들면, "ABC 카페"라는 단어들이 사용자 요청으로부터 발견된다면, 용어 "ABC 카페"가 사용자의 도시 내의 특정 레스토랑의 이름으로서 어휘 인덱스(344)에서 발견되며, 그에 따라 사용자 요청이 "레스토랑 예약" 도메인에 대응할 가능성이 있다.

사용자 데이터(348)는, 사용자 특정 어휘, 사용자 선호도, 사용자 주소, 사용자의 디폴트 및 제2 언어들, 사용자의 연락처 목록 및 각각의 사용자에 대한 다른 단기 또는 장기 정보와 같은 사용자 특정 정보를 포함한다. 일부 실시예들에서, 자연 언어 프로세서(332)는 사용자 특정 정보를 사용해서 사용자 입력에 포함된 정보를 보충하여 사용자 의도를 추가로 정의한다. 예를 들어, "나의 친구들을 나의 생일 파티에 초대해주세요"라는 사용자 요청에 대해서, 사용자에게 그의 요청 내에 이러한 정보를 명확하게 제공할 것을 요구하지 않고 자연 언어 프로세서(332)가 "친구들"이 누구이며 "생일 파티"가 언제 어디에서 열리는지를 결정하기 위해 사용자 데이터(348)에 액세스할 수 있다.

토큰 스트링에 기초하여 온톨로지를 검색하는 것의 다른 세부사항들은 2008년 12월 22일 출원된 미국 실용출원 일련번호 제12/341,743호의 “Method and Apparatus for Searching Using An Active Ontology”에 기술되었으며, 그 개시내용 전체가 본 명세서에 참조로서 포함된다.

일부 실시예들에서, 자연 언어 프로세서(332)가 사용자 요청에 기초하여 행동가능한 의도(또는 도메인)를 식별하면, 자연 언어 프로세서(332)는 식별된 행동가능한 의도를 나타내기 위하여 구조화된 쿼리(structured query)를 생성한다. 일부 실시예들에서, 구조화된 쿼리는, 행동가능한 의도에 대한 도메인 내의 하나 이상의 노드에 대한 파라미터들을 포함하고, 파라미터들 중 적어도 일부에는 사용자 요청에 명시된 특정 정보 및 요구사항들이 기재된다. 예를 들어, 사용자는 "초밥집에 7시로 저녁 예약을 해주세요"라고 말할 수 있다. 이러한 경우에, 자연 언어 프로세서(332)는 사용자 입력에 기초하여 행동가능한 의도가 "레스토랑 예약"인 것으로 올바르게 식별하는 것이 가능할 수 있다. 온톨로지에 따라서, "레스토랑 예약" 도메인에 대해 구조화된 쿼리가 {요리}, {시간}, {날짜}, {인원수} 등과 같은 파라미터들을 포함할 수 있다. 일부 실시예들에서, 사용자의 발언에 포함된 정보에 기초하여, 자연 언어 프로세서(332)는 레스토랑 예약 도메인에 대해 부분적으로 구조화된 쿼리를 생성하며, 여기에서 부분적인 구조화된 쿼리는 파라미터들 {요리= "초밥"} 및 {시간= "저녁 7시"}를 포함한다. 그러나, 이러한 예에서, 사용자의 발언은 도메인과 연관된 구조화된 쿼리를 완성하기에 불충분한 정보를 포함한다. 따라서, {인원수} 및 {날짜}와 같은 다른 필요한 파라미터들이 현재 이용가능한 정보에 기초하여 구조화된 쿼리에서 식별되지 않는다. 일부 실시예들에서, 자연 언어 프로세서(332)는 수신된 콘텍스트 정보를 구조화된 쿼리의 일부 파라미터들에 기재한다. 예를 들어, 일부 실시예들에서, 만약 사용자가 "내 근처에 있는" 초밥 레스토랑을 요청하였다면, 자연 언어 프로세서(332)는 사용자 디바이스(104)로부터의 GPS 좌표를 이용하여 구조화된 쿼리 내에 {위치} 파라미터를 기재할 수 있다.

일부 실시예들에서, 자연 언어 프로세서(332)는 (임의의 완성된 파라미터들을 포함하는) 구조화된 쿼리를 작업 흐름 처리 모듈(336)("작업 흐름 프로세서")로 전달한다. 작업 흐름 프로세서(336)는: 자연 언어 프로세서(332)로부터 구조화된 쿼리를 수신하고, 구조화된 쿼리를 완성하고, 만약 필요하다면 사용자의 궁극적인 요청을 "완성"하기 위해 요구되는 행동들을 수행하도록 구성된다. 일부 실시예들에서, 이들 작업들을 완수하는 데 필요한 다양한 절차들이 작업 흐름 모델(354)에서 제공된다. 일부 실시예들에서, 작업 흐름 모델은 사용자로부터 추가 정보를 획득하기 위한 절차 및 행동가능한 의도와 연관된 행동들을 수행하기 위한 작업 흐름들을 포함한다.

위에서 설명된 바와 같이, 구조화된 쿼리를 완성시키기 위해, 작업 흐름 프로세서(336)는 추가적인 정보를 얻고/얻거나 잠재적으로 중의적인 발언들을 명확하게 하도록 사용자와 추가적인 대화를 개시할 필요가 있을 수 있다. 이러한 상호작용이 필요한 경우, 작업 흐름 프로세서(336)는 사용자와의 대화에 관여하기 위해 대화 처리 모듈(334)("대화 프로세서")을 호출한다. 일부 실시예들에서, 대화 처리 모듈(334)은 어떻게(그리고/또는 언제) 사용자에게 추가 정보를 요청할 것인지 결정하고, 사용자 응답들을 수신하고 처리한다. 질문들은 입출력 처리 모듈(328)을 통해 사용자들에게 제공되고 사용자들로부터 답변들이 수신된다. 일부 실시예들에서, 대화 프로세서(334)는 청각적 및/또는 시각적 출력을 통해 사용자에게 대화 출력을 제시하고, 구두의 또는 물리적인(예를 들어, 클릭) 응답을 통해 사용자로부터 입력을 수신한다. 위의 예시에서 계속하여, 작업 흐름 프로세서(336)가 도메인 "레스토랑 예약"과 연관된 구조화된 쿼리에 대한 "인원수" 및 "날짜" 정보를 결정하도록 대화 흐름 프로세서(334)를 호출하면, 대화 흐름 프로세서(335)는 사용자에게 전달하기 위한 "인원수는 몇 명입니까?" 및 "날짜는 언제입니까?"와 같은 질문들을 생성한다. 사용자로부터 대답이 수신되면, 대화 흐름 프로세서(334)가 구조화된 쿼리에 부족한 정보를 기재할 수 있거나, 또는 정보를 작업 흐름 프로세서(336)에 전달하여 구조화된 쿼리로부터 부족한 정보를 완성한다.

몇몇 경우들에서, 작업 흐름 프로세서(336)는 하나 이상의 중의적인 속성들을 갖는 구조화된 쿼리를 수신할 수도 있다. 예를 들어, "메시지 전달" 도메인에 대한 구조화된 쿼리는 의도된 수신자가 "Bob"임을 나타낼 수 있고, 사용자가 "Bob"이라는 이름의 다수의 연락처를 가지고 있을 수 있다. 작업 흐름 프로세서(336)는 대화 프로세서(334)가 이러한 구조화된 쿼리의 속성의 중의성을 해결할 것을 요청할 것이다. 그 결과, 대화 프로세서(334)는 사용자에게 "어떤 Bob?"이라고 물어볼 수 있고, 사용자가 선택할 수 있는 "Bob"이라는 이름의 연락처들의 리스트를 디스플레이(또는 읽어주기)할 수 있다.

작업 흐름 프로세서(336)가 행동가능한 의도에 대한 구조화된 쿼리를 완성시키면, 작업 흐름 프로세서(336)는 행동가능한 의도와 관련된 궁극적인 작업을 수행하도록 진행한다. 따라서, 작업 흐름 프로세서(336)는 구조화된 쿼리에 포함된 특정 파라미터에 따라 작업 흐름 모델 내의 단계들 및 명령어들을 실행한다. 예를 들어, "레스토랑 예약"의 행동가능한 의도에 대한 작업 흐름 모델은 레스토랑에 접촉하여 특정 시간에 특정 인원수에 대해 실제로 예약을 요청하기 위한 단계들 및 명령어들을 포함할 수 있다. 예를 들어, {레스토랑 예약, 레스토랑 = ABC 카페, 날짜 = 3/12/2012, 시간 = 오후 7시, 인원수 = 5}와 같은 구조화된 쿼리를 이용하여, 작업 흐름 프로세서(336)가: (1) ABC 카페의 서버 또는 OPENTABLE과 같은 레스토랑 예약 시스템에 로그온하는 단계, (2) 웹사이트 상에서 소정 양식에 날짜, 시간 및 인원수 정보를 입력하는 단계, (3) 양식을 제출하는 단계 및 (4) 사용자의 달력에 예약에 대해 입력하는 단계들을 수행할 수 있다.

일부 실시예들에서, 작업 흐름 프로세서(336)는 사용자 입력 내에서 요청된 작업을 완수하기 위해 또는 사용자 입력 내에서 요청된 정보성 답변을 제공하기 위해 서비스 처리 모듈(338)("서비스 프로세서")의 지원을 사용할 수 있다. 예를 들어, 서비스 프로세서(338)는 전화 통화, 달력 입력 설정, 지도 탐색 호출, 사용자 디바이스 상에 설치된 다른 사용자 애플리케이션들 호출 또는 그와의 상호작용 및 제3자 서비스(예를 들어, 레스토랑 예약 포털, 소셜 네트워킹 웹사이트, 은행 포털 등)의 호출 또는 그와의 상호작용을 위해 작업 흐름 프로세서(336)를 대신하여 행동할 수 있다. 일부 실시예들에서, 각각의 서비스에 의해 요구되는 프로토콜 및 애플리케이션 프로그래밍 인터페이스(API)는 서비스 모델들(356)의 개별 서비스 모델에 의해 명시될 수 있다. 서비스 프로세서(338)는 서비스를 위한 적절한 서비스 모델에 액세스하고 서비스 모델에 따른 서비스에 의해 요구되는 프로토콜 및 API에 따라 서비스에 대한 요청을 생성한다.

예를 들어, 만약 레스토랑이 온라인 예약 서비스를 가능하게 한 경우, 레스토랑은 예약에 필요한 파라미터들 및 온라인 예약 서비스에 필요한 파라미터의 값을 전달하기 위한 API를 명시하는 서비스 모델을 제출할 수 있다. 작업 흐름 프로세서(336)에 의해 요청되는 경우, 서비스 프로세서(338)는 서비스 모델에 저장된 웹 주소를 사용하여 온라인 예약 서비스와의 네트워크 접속을 확립할 수 있고, 온라인 예약 서비스의 API에 따른 포맷으로 예약에 필요한 파라미터(예를 들어, 시간, 날짜, 인원수)를 온라인 예약 인터페이스에 전송할 수 있다.

일부 실시예들에서, 자연 언어 프로세서(332), 대화 프로세서(334) 및 작업 흐름 프로세서(336)는 사용자의 의도를 추론 및 정의하고, 사용자 의도를 더 명확히 하고 세밀하게 하도록 정보를 획득하고, 최종적으로 사용자의 의도를 이행하기 위해 응답을 생성(즉, 사용자에게 출력을 제공하거나, 작업을 완수)하도록 집합적이고 반복적으로 사용된다.

일부 실시예들에서, 사용자의 요청을 이행하는 데 필요한 모든 작업들이 수행된 후, 디지털 어시스턴트(326)는 확인(confirmation) 응답을 만들어내고, 입출력 처리 모듈(328)을 통해 사용자에게 응답을 회신한다. 만약 사용자 요청이 정보성 답변을 추구하는 경우, 확인 응답은 사용자에게 요청된 정보를 제시한다. 일부 실시예들에서, 디지털 어시스턴트는 또한 사용자가 디지털 어시스턴트(326)에 의해 생성된 응답에 만족하는지 여부를 표시할 것을 사용자에게 요청한다.

디지털 어시스턴트에 대한 다른 세부사항들을 2010년 1월 18일 출원된 미국 실용출원 번호 제12/987,982호의 발명의 명칭 “Intelligent Automated Assistant” 및 2011년 6월 3일 출원된 미국 실용출원 번호 제61/493,201호의 발명의 명칭 “Generating and Processing Data Items That Represent Tasks to Perform”에서 찾을 수 있으며, 이들의 개시내용 전체가 본 명세서에 참조로서 포함된다.

대부분의 시나리오에서, 디지털 어시스턴트가 사용자로부터 사용자 입력을 수신할 때, 디지털 어시스턴트는 가능한 한 짧은 지연을 가지고 사용자 입력에 대한 적절한 응답을 제공하고자 시도한다. 예를 들어, 스피치 입력(예를 들어, “지금 현재 교통 상황이 어때 보이나요?”)을 제공함으로써 사용자가 소정의 정보(예를 들어, 현재 교통 정보)를 요청한다고 가정하자. 디지털 어시스턴트가 스피치 입력을 수신하여 처리한 직후에, 디지털 어시스턴트는 선택적으로 사용자 요청을 수신하였음을 수신확인하는 스피치 출력(예를 들어, “교통 정보를 찾는 중입니다...”)을 제공한다. 디지털 어시스턴트가 사용자 요청에 응답하여 요청된 정보를 획득한 후에, 디지털 어시스턴트는 추가적인 지연 없이 사용자에게 요청된 정보를 제공하도록 진행한다. 예를 들어, 사용자의 교통 정보 요청에 응답하여, 디지털 어시스턴트는 스피치 출력들이 생성된 직후에 짧은 일시정지(pause)에 의해 분리되는 하나 이상의 구별되는 일련의 스피치 출력들을 제공할 수 있다(예를 들어, “도로 위에 2건의 사고가 있습니다. <일시정지> 하나의 사고는 Whipple Avenue 부근 101 노스 바운드 상에서 발생했습니다. <일시정지> 다른 사고는 280 부근 85 노스에서 발생하였습니다.”).

이러한 명세의 목적을 위해, 사용자 요청의 초기 수신확인 및 사용자 요청에 응답하여 제공되는 하나 이상의 구별되는 일련의 스피치 출력들이 모두 사용자 요청에 대한 완전한 응답의 하위-응답으로 간주된다. 다시 말하면, 디지털 어시스턴트는 사용자 요청의 수신에 따라 사용자 요청에 대한 정보 제공 프로세스를 개시하고, 정보 제공 프로세스 동안, 디지털 어시스턴트는 사용자로부터의 추가 프롬프트를 필요로 하지 않고 사용자 요청에 대한 완전한 응답의 각 하위-응답을 제공한다.

때때로, 요청된 정보가 획득될 수 있기 이전에 추가 정보 또는 명확화(예로서, 루트 정보)가 요구된다. 이러한 시나리오에서, 디지털 어시스턴트는 추가 정보 또는 명확화를 요청하는 질문(예를 들어, “어디로 가고 있습니까?”)을 사용자에게 출력한다. 일부 실시예들에서, 디지털 어시스턴트는 새로운 입력이 사용자로부터 수신될 때까지 추가적인 행동을 취하거나 사용자 요청에 대한 어떠한 추가 응답도 제공하지 않을 것이기 때문에, 디지털 어시스턴트에 의해 제공되는 질문은 사용자 요청에 대한 완전한 응답으로 간주된다. 일부 실시예들에서, 사용자가 추가 정보 또는 명확화를 제공하면, 디지털 어시스턴트는 원래의 사용자 요청 및 추가 사용자 입력에 기초하여 확립된 “새로운” 사용자 요청에 대한 새로운 정보 공급 프로세스를 개시한다.

일부 실시예들에서, 디지털 어시스턴트는 각 새로운 사용자 입력의 수신에 따라 새로운 정보 제공 프로세스를 개시하며, (1) 사용자 요청에 대한 완전한 응답의 모든 하위-응답들이 사용자에게 제공되었거나 또는 (2) 디지털 어시스턴트가 현존하는 정보 제공 프로세스를 시작시킨 이전 사용자 요청과 관련하여 사용자에게 추가 정보 또는 명확화에 대한 요청을 제공하였을 때, 각 현존하는 정보 제공 프로세스가 종료된다.

일반적으로 정보 또는 작업의 수행에 대한 사용자 요청이 디지털 어시스턴트에 의해 수신된 후에, 디지털 어시스턴트가 가능한 한 즉각적으로 응답(예를 들어, 요청된 정보, 요청된 작업의 수신확인을 포함하는 출력, 또는 명확화를 요청하기 위한 출력)을 제공하는 것이 바람직하다. 디지털 어시스턴트의 실시간 응답성은 디지털 어시스턴트의 성능을 평가하는데 있어서 중요한 요인들 중 하나이다. 이러한 경우들에서, 응답은 가능한 한 신속하게 준비되고, 응답을 위한 디폴트 전달 시간은 응답이 준비된 직후의 시간이다.

그러나 때때로, 초기 하위-응답이 사용자 입력의 수신 직후에 제공된 후, 디지털 어시스턴트가 연장된 기간에 걸쳐 한 번에 남아있는 하나 이상의 하위-응답들을 제공한다. 일부 실시예들에서, 사용자 요청에 대한 정보 제공 프로세스는 각 하위-응답을 개별적으로 제공하기 위해 요청된 시간의 합산보다 더 긴 연장된 기간에 걸쳐 생산 지연(stretched out)된다. 예를 들어, 일부 실시예들에서, 인접하는 하위-응답들의 쌍(예를 들어, 연이은 스피치 출력들의 쌍)이 오디오-출력 채널을 통해 사용자에게 전달될 때, 짧은 일시정지(즉, 짧은 무음 기간)가 이러한 쌍 사이에 삽입된다.

일부 실시예들에서, 하위-응답은 이것이 준비된 후 일시적으로 중단된 채로 유지되고, 사전결정된 조건이 만족될 때에만 전달된다. 일부 실시예들에서, 사전결정된 조건은 시스템 클락에 따라 사전결정된 트리거 시간에 도달하였을 때 및/또는 사전결정된 트리거 이벤트가 발생하였을 때 만족된다. 예를 들어, 만약 사용자가 디지털 어시스턴트에 “5분으로 타이머를 설정해주세요”라고 말하면, 디지털 어시스턴트는 사용자 요청의 수신에 따라 정보 제공 프로세스를 개시한다. 정보 제공 프로세스 중에, 디지털 어시스턴트는 제1 하위-응답(예를 들어, “알겠습니다, 타이머 시작됨.”)을 즉시 제공하고, 5분 후까지 제2 및 최종 하위-응답(예를 들어, “5분이 종료되었습니다.”)를 제공하지 않는다. 이러한 경우들에서, 제1 하위-응답에 대한 디폴트 전달 시간은 제1 하위-응답이 준비된 직후의 시간이며, 제2의 최종 하위-응답에 대한 디폴트 전달 시간은 트리거 이벤트의 발생(예를 들어, 타이머의 시작으로부터 5분의 경과) 직후의 시간이다. 정보 제공 프로세스는 디지털 어시스턴트가 사용자에 대한 최종 하위-응답을 제공하는 것을 완료하였을 때 종료된다. 다양한 실시예들에서, 제2 하위-응답이 제2 하위-응답에 대한 디폴트 전달 시간 이전의 임의의 시간에 준비된다(예를 들어, 제1 하위-응답이 준비된 직후, 또는 제2 하위-응답에 대한 디폴트 전달 시간 직전까지).

본 명세서에서 아래에 더욱 자세하게 기술되는 바와 같이, 콘텍스트-민감성 방해 처리자(예로서, 도 3a의 방해 처리 모듈(340))가 사용자 요청에 대한 응답을 제공하기 위해 및/또는 리마인더 및 통지에 대한 경고 아이템을 제공하기 위해 디폴트 규칙들의 가장 위에 구현된다. 일부 실시예들에서, 방해 처리자는 현재 콘텍스트와 관련된 정보를 실시간으로 수집하고, (예를 들어, 디바이스가 사용자에 대한 스피치 입력을 현재 수신하고 있거나, 또는 리마인더, 통지, 또는 다른 스피치 출력의 긴급성을 변경하는 추가 정보가 검출되었기 때문에) 응답, 리마인더 및/또는 통지의 제공을 위한 디폴트 규칙들이 변경되어야만 하는지 여부를 실시간으로 결정한다. 예를 들어, 일부 콘텍스트들에서, 사용자가 디바이스에 말하고 있기 때문에, 또는 (예로서, 사용자가 미팅 중이거나 취침 중이므로) 사용자의 콘텍스트가 방해가 방지되어야 한다고 제안하기 때문에 긴급하지 않은 스피치 출력의 제공을 지연(예로서, 최소한 일시적으로 유예함)하는 것이 더욱 적합할 수 있지만, 다른 경우에는 긴급한 스피치 출력을 즉시 제공하는 것이 더욱 적합할 수 있다(예를 들어, 사용자를 방해하거나 "불쑥 끼어듬(barge-in)"). 또한, 일부 콘텍스트에서는, 실제로 스피치 출력을 제공하는 것을 완전히 포기하는 것이 더욱 적합하다는 것이 수용될 수 있다.

콘텍스트-민감성 방해 처리자는 또한 일부 정보(예를 들어, 통지 아이템)에 대해 사용자에게 경고하는 몇몇 가능한 오디오 프롬프트들 중에서 오디오 프롬프트를 선택한다. 일부 실시예들에서, 특정 오디오 프롬프트 또는 특정 타입의 오디오 프롬프트가 통지의 긴급성 및/또는 사용자의 콘텍스트에 기초하여 선택된다. 예를 들어, 일부 실시예들에서, 사용자의 콘텍스트가 불쑥 끼어드는 것이 불편하지 않다고 제안한다면 낮은 긴급성을 갖는 통지 아이템이 수신되는 즉시 제공된다. 다른 한편으로, 일부 실시예들에서, 사용자의 콘텍스트가 아무리 중요한 정보라고 해도 불쑥 끼어드는 것이 바람직하지 않을 것이라고 제안하면, 더 높은 긴급성을 갖는 통지 아이템이 지연될 수 있다.

도 4a-4c는 일부 실시예들에 따라, 디지털 어시스턴트가 스피치 출력을 제공하거나 또는 스피치 출력을 제공하지 않는 예시적인 시나리오들을 도시한다. 도 4a-4c에서, 스피치 출력(예로서, 도 4a의 SO1)에 상응하는 실선 박스들은 디바이스에 의해 실제로 제공되는 스피치 출력들을 나타낸다. 다른 한편으로, 점선 박스들(예로서, 도 4a의 SO2)은 상응하는 시간 및 위치에서 디바이스에 의해 실제로 제공되지 않지만, 만약 사용자에 의한 스피치 입력의 검출을 위해서가 아니라면 다른 방식으로 제공될 수 있는 스피치 출력들을 나타내며, 이는 개별적인 도면들을 참조로 하여 아래에서 자세하게 기술된다.

도 4a는 스피치 출력이 디바이스에 의해 영구적으로 포기된 예시적인 시나리오를 도시한다. 처음에, 사용자는 이스트 앨더 애브뉴(East Alder Ave) 상에서 동쪽을 향한다. 제1 위치(402-1)에서, 사용자는 스피치 입력(SI1)으로서 “도서관으로 데려가 주세요”라고 말함으로써 디바이스가 도서관으로의 턴-바이-턴(turn-by-turn) 방향을 제공할 것을 요청한다. 사용자가 발언을 완료한 위치(402-2)는 사용자가 발언하는 동안 이동한다는 사실로 인해 위치(402-1)로부터 구별된다. 따라서, 개별 스피치 입력 및 출력에 상응하는 바(bar)(예를 들어, SI1에 상응하는 위치(402-1)와 위치(402-2) 사이의 바)는 거리, 또는 그와 동등하게, 개별 입력/출력이 인용하길 요구하는(예로서, 발언하는) 시간의 길이를 나타낸다.

디바이스는 방법(500) 및 도 5a-5d를 참조로 더욱 자세하게 기술되는 바와 같이, 예를 들어 가장 가까운 도서관의 위치를 결정하기 위해 스피치 입력을 수신하고 필요한 동작들을 수행한다. 이러한 예시에서, 디바이스는 도서관(404)이 가장 가까운 도서관이라고 결정하고 스피치 출력(SO1)으로 즉각적으로 응답한다(“네, 계속 직진하세요.”).

위치(405-1)에서, 디지털 어시스턴트와 동일한 디바이스 상에 포함된 전화 특성이 링톤 아이콘(406)에 의해 표시된 것과 같은 수신 호출을 수신한다. 사용자는 “안녕 존! 오랜만이다. 가족들은 어떻게 지내?”라고 말하는 스피치 입력(SI2)을 제공함으로써 전화에 응답한다. 스피치 입력(SI2)의 완료 시에, 사용자는 위치(405-2)에 있다. 그러나, 위치(405-1)와 위치(405-2) 사이의 중간에, 디바이스는 (예를 들어, 서버 또는 동일한 디바이스 상의 상이한 모듈로부터) “3마일 앞에서 제1 스트리트로 우회전 하세요”라고 표시하는 스피치 출력(SO2)을 수신한다. 이러한 예에서, 스피치 출력(SO2)은 사용자가 제1 스트리트에 도달하기 전에 하나 이상의 추가적으로 다가오는 방향전환을 사용자에게 경고하도록 디바이스가 스케줄링 되어있기 때문에(예를 들어, “1마일 앞에서 우회전 하세요” 및/또는 “이제 제1 스트리트로 우회전 하세요”와 같은 추가 경고), 스피치 출력(SO2)이 낮은 긴급성 측정값을 갖는다. 스피치 출력(SO2)이 출력될 때((407-1)에서 (407-2)까지) 디바이스가 스피치 입력(SI2)을 수신하고 있기 때문에, 디바이스는 스피치 출력(SO2)의 출력을 유예한다. 또한, 스피치 출력(SO2)과 연관된 매우 낮은 우선순위로 인해(예를 들어, 이 예에서는 턴-바이-턴 방향과 연관된 중복성으로 인해), 유예는 실질적으로 스피치 출력(SO2)의 출력을 완전히 포기시킨다(예를 들어, 3마일 앞에서 좌회전 하라는 커맨드를 전혀 출력하지 않으며, 대신 1마일 및 즉각 경고에 의존한다).

도 4b는 일부 실시예들에 따라 스피치 출력이 사용자에게 즉시 제공되는 예시적인 시나리오를 도시한다. 도 4a와 도 4b 사이에 공유되는 동일한 참조 번호들은 각각의 시나리오들의 유사한 양태들을 지칭한다. 따라서, 간결성을 위해 유사한 양태들은 여기에서 반복되지 않는다.

도 4b는 전화가 도 4a에서보다 제1 스트리트에 훨씬 더 근접했을 때 링톤 아이콘(406)에 의해 표시되는 수신 호출을 수신한다는 점에서 도 4a와 다르다. 사용자가 스피치 입력(SI2)을 통해 전화에 답변하는 동안, 디바이스는 사용자가 이제 곧(예를 들어, 이 예에서는 100피트 앞에서) 우회전 해야만 한다는 것을 표시하는 턴-바이-턴 방향 커맨드에 상응하는 스피치 출력(SO3)을 수신한다. 메시지의 긴급성으로 인해, 디바이스는 “100피트 앞에서 우회전 하세요.”를 출력하기 위해 “불쑥 끼어든다”(예를 들어, 사용자가 발언하는 동안 사용자를 방해한다).

도 4c는 일부 실시예들에 따라 스피치 출력이 임시로 유예되고, 그 후에 사용자에게 제공되는 예시적인 시나리오를 도시한다. 도 4a와 4c 사이에 공유되는 동일한 참조 번호들은 각각의 시나리오들의 유사한 양태들을 지칭한다. 따라서, 간결성을 위해 유사한 양태들은 여기에서 반복되지 않는다.

스피치 입력(SI3) 중에, 사용자는 “게임이 종료될 때 닉(Knick)의 스코어를 말해주세요”라고 말함으로써 게임이 종료되어야만 할 때마다 닉의 스코어를 사용자에게 알려줄 것을 디바이스에 요청한다. 디바이스는 “네, 닉의 게임이 종료될 때 점수를 말해드리겠습니다.”라고 말함으로써 요청에 대해 즉각적으로 수신확인하여 응답한다. 전술된 바와 같이, 전화는 수신 호출을 수신하고, 사용자는 스피치 출력(SI2)에서 “안녕 존! 오랜만이다. 가족들은 어떻게 지내”라고 말함으로써 답변한다. SI2 동안에, 닉의 게임이 종료될 때 디바이스는 요청된 바와 같이 사용자에게 제공될 스코어를 나타내는 스피치 출력(SO5)을 수신한다. 이 예에서, 닉의 스코어가 사용자가 발언하는 시간 중에(예를 들어, 디바이스가 스피치 입력을 수신하는 시간 동안) 변하지 않을 것이기 때문에 스피치 출력(SO5)은 긴급한 것으로 간주되지 않는다. 이러한 이유로, 디바이스는 화살표(408)에 의해 표시된 것과 같이 사용자가 발언을 완료할 때까지 스피치 출력(SO5)을 유예하고, 그 후에 스피치 출력(SO5)을 출력한다. 그러나 일부 실시예들에서, 디바이스는 예로서 디바이스의 디스플레이 상에 닉의 스코어를 디스플레이 함으로써, 비청각적 방식으로 사용자 요청에 응답한다. 일부 실시예들에서, 디스플레이된 응답은 사용자의 스피치를 방해하지 않을 것이기 때문에, 이러한 응답은 지연 없이 제공된다. 일부 실시예들에서, 이렇게 디스플레이되는 응답은 지연된 스피치 출력과 함께, 또는 대안적으로 지연된 스피치 출력 대신 제공된다(예를 들어, 디스플레이된 응답이 스피치 출력을 대신할 때, 스피치 출력은 완전히 포기된다).

디지털 어시스턴트가 제공되는(또는 사용자가 디지털 어시스턴트와 상호작용하는) 디바이스는 종종 사용자에게 다양한 종류의 통지들을 제공하도록 사용된다. 예를 들어, 디바이스(예로서, 사용자 디바이스(104))는 이메일, 전화 호출, 음성메일, 텍스트 메시지 및 다른 전자 통신을 수신할 수 있고, 이러한 통신을 수신한 사용자에게 통지를 제공할 수 있다. 예를 들어, 디바이스는 사용자에게 통신을 수신하였음을 알리기 위해서 청각적 출력(예로서, 링톤, 삐 소리 등) 및/또는 시각적 출력을 제공할 수 있다. 또한, 디바이스는 애플리케이션 통지(예를 들어, 소셜 네트워킹 애플리케이션, 유틸리티, 게임 등을 포함하는 디바이스 상에 설치된 애플리케이션들로부터의 메시지), 작업 리스트 통지(예를 들어, 사용자가 작업 또는 리마인더 리스트에 올린 아이템들과 관련된 리마인더들), 캘린더 통지(예를 들어, 캘린더 아이템 및/또는 약속과 관련된 경고 또는 리마인더) 등과 같은 다수의 다른 소스들로부터 통지를 제공할 수 있다. 일부 경우들에서, 이러한 통지들은 이들이 수신되었을 때 및/또는 연관된 리마인더 또는 경고 시간에 도달하였을 때 사용자에게 제공된다. 만약 사용자가 방해받기를 원치 않는다면, 디바이스를 “무음” 모드에 놓음으로써 단순히 모든 통지들을 턴오프할 수 있다. 또는, 사용자가 디바이스로 하여금 일부 타입의 통지들을 제공하고 다른 통지들은 제공하지 않는 것을 가능하게 하는 규칙을 생성할 수 있다. 예를 들어, 사용자는 소정의 사람 또는 사람들로부터의 통신에 대한 통지만이 제공되어야만 한다는 규칙을 수동으로 설정할 수 있다.

일부 실시예들에서, 디지털 어시스턴트(예로서, 디지털 어시스턴트 시스템(300))는 사용자에 대한 통지 아이템들의 리스트를 관리하고, 통지를 제공하기 위해 사용자를 방해할지 여부 및 어떻게 방해할지를 지능적으로 결정한다. 따라서, 디지털 어시스턴트는 사용자가 낮은 긴급성을 갖는 통지들에 의해 불필요하게 방해되는 것을 방지할 수 있는 동시에, 또한 다소 불편한 시간에 있더라도 높은 긴급성을 갖는 통지들이 사용자에게 제공되는 것을 보장한다. 구체적인 예로서, 만약 사용자가 중요한 업무 미팅 중에 있다면, 디지털 어시스턴트는 통지(예를 들어, 세션이 타임아웃 되었다는 뱅크 애플리케이션으로부터의 통지)가 낮은 긴급성을 갖는다고 결정하고, 해당 통지 아이템에 대한 오디오 프롬프트를 사용자에게 제공하는 것을 지연하거나 포기한다. 그러나, 만약 사용자가 단순히 TV를 시청하고 있다면, 사용자의 콘텍스트가 방해 또는 불쑥 끼어듬이 성가시지 않을 것이라고 제안하기 때문에 디지털 어시스턴트는 오디오 프롬프트를 제공한다. 그러나, 만약 중요한 통신이 수신되었다면(예를 들어, 가족의 긴급한 일과 관련된 텍스트 메시지 또는 음성메일), 디지털 어시스턴트는 사용자가 중요한 미팅 중이라고 해도 통신의 긴급성이 방해하는 타당한 이유가 된다고 결정한다.

또한, 도 6을 참조로 하여 아래에서 논의되는 바와 같이, 디지털 어시스턴트는 사용자의 콘텍스트 및 특정한 통지의 긴급성에 기초하여 통지를 확대할 수 있다. 예를 들어, 통지 아이템이 방해하는 타당한 이유가 되기에 충분하다고 간주되면, 디바이스는 사용자에게 경고하기 위한 제1 오디오 프롬프트를 제공한다. 만약 사용자가 프롬프트에 대한 수신확인을 하지 않으면, 디바이스는 제2 오디오 프롬프트를 출력한다. 만약 사용자가 제2 오디오 프롬프트에 대한 수신확인을 하지 않으면, 디바이스는 제3 오디오 프롬프트를 출력한다. 일부 실시예들에서, 오디오 프롬프트들은 서로 다른 타입이며, 이들이 제공될 때 특수성 및/또는 강도가 증가한다. 예를 들어, 제1 오디오 프롬프트는 단일의 삐 소리 또는 링톤일 수 있고, 제2 오디오 프롬프트는 반복적인 삐 소리 또는 링톤일 수 있으며(또는 더 큰 삐 소리 또는 링톤이거나 단순히 다른 링톤일 수 있음), 제3 오디오 프롬프트는 스피치 출력일 수 있다(예를 들어, 어시스턴트가 “방해해서 미안하지만, 이것은 매우 중요한 일입니다”라고 발언한다). 통지들의 리스트를 관리하는 디지털 어시스턴트와 관련된 추가적인 세부사항 및 실시예들이 도 6과 관련하여 아래에서 제공된다.

새로운 통지들이 끊임없이 도착하며, 이미 현존하는 통지 아이템들의 긴급 값에 영향을 미치는 새로운 정보가 종종 검출되거나 검출가능하기 때문에, 통지 리스트들은 고정적이지 않다. 사람 어시스턴트는 사용자에게 통지를 제공하기 위해 사용자를 방해할지 여부 및 방해하는 방식을 결정할 때 이러한 정보를 고려할 것이다. 따라서, 일부 실시예들에서, 본 명세서에 개시된 디지털 어시스턴트는 사용자 및/또는 통지와 관련하여 변화하는 조건들에 기초하여 통지들의 긴급 값들을 조정한다. 따라서, 디지털 어시스턴트는 단지 사용자에 의해 확립되는 규칙들(예를 들어, “높은 중요도”로 마크된 메일들에 대해서만 경고하기 위한 규칙)의 고정 세트에 반응하는 것을 넘어서, 예상치 못한 및/또는 자발적인 발생에 기초해 긴급 값들을 실질적으로 조정한다. 구체적인 예로서, 만약 사용자가 소정의 행동을 취할 것을 요청하는 이메일(예를 들어, “가장 최근 매출액을 보내주세요”)을 디지털 어시스턴트가 검출하였을 때 사용자가 업무 미팅 중이라면, 디지털 어시스턴트는 이러한 바쁜 기간 동안에 방해를 할 충분히 타당한 이유가 될만큼 긴급하지 않다고 결정한다. 그러나, 만약 디지털 어시스턴트가 데드라인을 변경하거나 다른 방식으로 이전 메시지의 긴급성을 증가시키는 후속 이메일을 검출하면(예를 들어, “5분 내에 매출액을 보내주지 않으면 우리는 판매에 실패할 것입니다”), 디지털 어시스턴트는 원본 메시지와 연관된 통지의 긴급 값을 조정한다(및/또는 높아진 긴급 값을 갖는 하나의 통지 아이템으로 두 메시지들을 결합한다). 만약 새로운 긴급 값이 방해하기에 충분히 높으면, 디지털 어시스턴트는 이메일에 대해 사용자에게 경고할 것이다. 따라서, 사용자는 긴급 값이 조정되지 않았다면 “방해하지 마시오” 필터에 기초한 단순한 규칙을 통과하지 못했을 (그리고 아마도 만약 디바이스가 무음 모드에 있었다면 제공되지 않았을) 중요한 메시지들에 대해 경고받는다. 아래에서 더욱 자세하게 기술되는 바와 같이, 수신된 통신들(예를 들어, 후속 이메일 및 전화 호출), 교통 상황의 변화, 기상 상태의 변화, 디바이스의 콘텍스트의 변화 등과 같은 다수의 서로 다른 상황들이 디지털 어시스턴트로 하여금 통지 아이템의 긴급성을 조정하게 한다.

도 5a-5d는 디바이스가 현재 사용자로부터 스피치 입력을 수신하고 있는 중인지 아닌지의 여부뿐만 아니라 스피치 출력의 긴급성에 대한 결정에 기초하여 사용자에게 스피치 출력을 제공할지 여부를 결정하기 위해 디지털 어시스턴트에 의해 구현되는 예시적인 방법(500)의 순서도이다. 일부 실시예들에서, 스피치 출력이 제공될지 여부에 대한 결정이 현재-콘텍스트에 기초해 실시간으로 디지털 어시스턴트의 방해 처리자(예를 들어 도 3a 의 방해 처리자(340))에 의해 동적으로 수행된다.

일부 실시예들에서, 스피치 출력을 수신하기 이전에(단계(506) 참조), 디바이스가 디지털 어시스턴트 작업을 수행하도록 사용자로부터 요청을 수신한다(502). 예를 들어, 사용자가 디지털 어시스턴트에게 예를 들어 스피치 입력으로서“너무 비싸지 않은 곳으로 저녁 식사할 곳을 찾아주세요”라고 발언함으로써 근처의 저렴한 레스토랑을 찾을 것을 요청한다. 대안적으로, 사용자는 디지털 어시스턴트에게 예를 들어 스피치 입력으로서 “ 블루바드에 4명 예약해주세요”라고 발언함으로써 특정 레스토랑에 예약할 것을 요청한다. 대안적으로, 사용자는 지역 랜드마크로의 턴-바이-턴 방향을 묻거나(“금문교로 가는 방향”), 또는 야구 스코어를 묻거나(“삭스(Sox)는 어떻게 되었나요”), 또는 주식 가격을 묻는다(“오늘 애플(Apple) 사의 주식은 어땠습니까”).

일부 실시예들에서, 스피치 출력을 수신하기 이전에(단계(506) 참조), 디바이스는 디지털 어시스턴트 서버에 요청을 전송한다(504). 스피치 출력은 요청에 대한 응답을 서버로부터 수신한다. 일부 실시예들에서, 서버에 요청을 전송하기 이전에, 디바이스는 (예를 들어, STT 프로세싱 모듈(330)을 이용하여) 스피치-텍스트 변환 동작을 수행한다. 일부 실시예들에서, 스피치-텍스트 변환은 서버에서 수행된다. 일부 실시예들에서, 디바이스는 (예를 들어, 즐겨찾기, 브라우저 히스토리 및/또는 디지털 어시스턴트 요청 히스토리와 같은 선호도에 기초하여 사용자가 흥미 있는 것이 어떤 “삭스” 팀인지를 분명하게 하기 위해서) 사용자 데이터를 이용한 온톨로지 수행, 어휘 분석 및 콘텍스트 매칭을 포함하는 (예를 들어, 자연 언어 프로세싱 모듈(322)을 이용한) 자연 언어 프로세싱을 수행한다. 그 다음 서버는 요청을 서비스하기 위해 필요한 남아있는 임의의 동작들을 수행한다(예를 들어, 하나 이상의 행동가능한 아이템들, 행동가능한 속성들로부터의 하나 이상의 손실된 속성을 식별하고, 손실된 정보에 대해 하나 이상의 데이터베이스 및/또는 인터넷을 탐색하는 등). 일부 실시예들에서, 서버는 응답(예를 들어, 텍스트 스트링)을 준비하여 사용자에게 응답을 반환한다. 일부 실시예들에서, 서버는 스피치 응답(예를 들어, 오디오 데이터)을 준비하여 디지털 어시스턴트에 스피치 응답을 전송한다.

어느 이벤트이든, 디바이스는 디바이스의 사용자에게 제공될 스피치 출력을 수신한다(506). 일부 실시예들에서, 스피치 출력은 요청에 응답하여 서버로부터 수신된다(예를 들어, 스피치 출력은 사용자에 의해 이루어진, 저녁 예약 또는 턴-바이-턴 방향에 대한 요청과 같은 요청에 대한 적절한 응답이다). 일부 실시예들에서, 스피치 출력을 수신하는 것은 디바이스에서 스피치 출력을 생성하는 것을 포함한다(508)(예를 들어, 서버는 요청에 대한 응답으로 텍스트 스트링을 반환하고 디바이스는 텍스트-스피치 엔진을 이용하여 텍스트 스트링으로부터 스피치 출력을 생성한다). 일부 실시예들에서, 스피치 출력을 수신하는 것은 (텍스트-스피치 동작들과 같은 추가적인 처리 동작들을 선택적으로 포함하는) 서버로부터 수신하는 것을 의미한다는 것이 이해되어야만 한다. 대안적으로, 또는 이에 더하여, 스피치 출력을 수신하는 것은 제1 디바이스 구성요소(예를 들어, 방해 처리 모듈(340)과 같은 모듈 또는 방해 처리 모듈(340)과 같은 모듈 내에 보유되는 명령어들을 실행시키는 프로세서(304))에서 제2 디바이스 구성요소(예를 들어, 자연 언어 처리 모듈(332) 또는 자연 언어 처리 모듈(332)과 같은 모듈 내에 보유되는 명령어들을 실행시키는 프로세서(304))로부터 수신하는 것을 의미한다.

디바이스는 디바이스가 현재 사용자로부터 스피치 입력을 수신하고 있는지를 결정한다(510). 예를 들어, 일부 실시예들에서, 디바이스는 전화기이고, 디바이스가 현재 사용자로부터 스피치 입력을 수신하고 있는지를 결정하는 것은 사용자가 원거리 사용자와의 전화 대화에 참여하고 있는지를 결정하는 것을 포함한다(512). 일부 실시예들에서, 디바이스는 만약 사용자가 현재 대화에서 말하고 있다면 사용자로부터 스피치 입력을 수신하고 있다고 결정한다. 일부 실시예들에서, 전화 대화의 다른 편의 사람이 말하고 있을 때, 또는 사용자와 상대방이 다른 일을 진행하는 동안에 무음이 흐르는 경우에, 디바이스는 현재 스피치 입력을 수신하고 있지 않다고 결정한다(예를 들어, 일부 실시예들에서, 활발한 전화 대화가 디바이스가 스피치 입력을 수신하고 있다고 결정하기에 충분한 반면, 다른 실시예들에서, 디바이스는 사용자가 실질적으로 대화에서 말하고 있는 사람일 때에 스피치 입력이 수신 중이라고 결정한다).

일부 실시예들에서, 디바이스가 현재 사용자로부터 스피치 입력을 수신하고 있는지를 결정하는 것은 마지막 스피치 입력이 사전결정된 기간 내에 수신되었는지를 결정하는 것을 포함한다(514). 예를 들어, 대화의 주기적인 변화에서 자연스러운 일시정지가 존재하기 때문에(예를 들어, 숨을 고르기 위한 일시정지, 다음에 무슨 말을 할지 생각하기 위한 일시정지), 일부 실시예들에서, 디바이스들은 즉각적으로 또는 거의 즉각적인 방식으로 스피치 입력을 검출하기 보다는 사용자가 말하고 있지 않다고 결론내리기 이전에 사전결정된 길이의 시간을 기다린다. 일부 실시예들에서, 사전결정된 시간은 출력의 긴급성의 측정값의 함수이다(516). 예를 들어, 디바이스가 출력 큐(queue) 내의 긴급 메시지(“당장 우회전하시오!”)를 가질 때, 디바이스는 사용자가 말하고 있지 않다고 결정하기 전에 더 짧은 길이의 시간을 기다릴 것이고, 따라서 사용자가 자신의 숨을 고르거나 다음에 무슨 말을 할지 생각하기 위해 일시정지하는 순간에 불쑥 끼어든다. 일부 실시예들에서, 디바이스가 현재 스피치 입력을 수신하고 있는지를 결정하는 것은 (예를 들어, 전화 통화 중에 사용자가 상대방에게 말하기 위해 대화를 일시정지 하였을 때) 예를 들어 스피치 입력으로서 의도되지 않고 사용자에 의해 만들어진 배경 노이즈 및/또는 스피치를 명확하게 하도록 (예로서, 디바이스 마이크로폰에서의 특정 세기 또는 방향성 임계값에 기초한) 스?치(squelch) 결정을 포함한다.

디바이스가 현재 사용자로부터 스피치 입력을 수신하고 있지 않다는 결정에 따라, 디바이스는 사용자에게 스피치 출력을 제공한다(518). 일부 실시예들에서, 디바이스는 원거리 사용자(단계(512) 참조, 사용자가 전화 대화에 참여하고 있을 때)로부터 수신된 오디오 데이터 및 스피치 출력을 수신된 오디오 데이터로 인한 스피치 출력 제공의 유예 없이 사용자에게 동시에 제공한다(520). 예를 들어, 이러한 실시예들에서, 원거리 사용자(즉, 상대방)가 전화 대화 중에 말하고 있을 때에도, 디바이스는 디지털 어시스턴트로부터의 스피치 출력을 제공할 것이다. 일부 실시예들에서, 원거리 사용자로부터 수신된 오디오 데이터(예로서, 스피치) 및 스피치 출력을 사용자에게 동시에 제공하는 것은 스피치 출력이 제공되는 동안 임시적으로 원거리 사용자로부터의 오디오 데이터가 무음이 된다는 것을 의미한다. 예를 들어, 이러한 실시예들에서, 원거리 사용자가 “여든 하고도 일곱해 전, 우리의 선조들은 자유 속에 잉태된 나라, 모든 사람은 평등하다는 믿음에 바쳐진 새 나라를 이 대륙에 낳았습니다.”라고 말하고 출력 큐 내의 스피치 출력이 “좌회전하시오”라면, 사용자에게 실질적으로 제공되는 오디오는 “여든 하고도 일곱해 전, 우리의 선조들은 자유 속에 잉태된 나라... ‘좌회전하시오’... 새 나라를 이 대륙에 낳았습니다.”일 것이다. 따라서 사용자는 원거리 사용자가 링컨의 게티즈버그 연설을 인용하고 있음을 인식할 것이고, 또한 좌회전하라는 명령도 이해할 것이다. 일부 실시예들에서, 원거리 사용자로부터 수신된 오디오 데이터 및 스피치 출력은 디지털 어시스턴트로부터 원거리 사용자를 명확하게 하도록 서로 다른 음성 액센트 및/또는 볼륨을 이용하여 제공된다.

일부 상황들에서, 사용자는 스피치 출력의 제공을 기각하도록 디바이스를 구성했을 것이다. 예를 들어, 디바이스가 방해금지 동작 모드에 있을 때, 스피치 출력의 제공이 포기된다(522). 일부 실시예들에서, 디바이스는 사용자가 방해금지 동작 모드에 있도록 디바이스를 구성하였을 때 방해금지 동작 모드에 있게 된다. 일부 실시예들에서, 디바이스는 사용자가 방해금지로부터 구별되는 모드에서 동작하도록 디바이스를 구성하였지만 그럼에도 방해금지를 특성으로서 포함할 때 방해금지 동작 모드에 있게 된다(예를 들어, 디바이스가 비행 모드 또는 정숙 모드에 있거나, 또는 사용자가 하루의 특정 시간대 동안에 디바이스가 정숙 모드에 있도록 구성하는 등).

일부 실시예들에서, 스피치 출력을 제공하는 동안(524), 디바이스는 사용자로부터 스피치 입력을 수신한다(526). 예를 들어, 디바이스는 사용자가 전화 대화의 일부로서 말함으로써 방해하거나 디지털 어시스턴트 동작에 대한 다른 요청을 말할 때 스피치 출력을 제공하는 중에 있다. 후자의 시나리오의 예로서, 디바이스가 부근의 중식 레스토랑의 위치를 찾을 것을 사용자가 이전에 요청하였을 때, 사용자는 그 또는 그녀가 동료에게 SMS 메시지를 전송해야만 한다는 것을 나타내도록 응답을 방해할 수 있다. 이러한 실시예들에서, 디바이스는 스피치 출력을 중단할 것이다(528). 이러한 실시예들에서, 디바이스는 스피치 출력에 상응하는 완료 기준이 만족되었는지를 결정할 것이다(530). 일부 실시예들에서, 사전정의된 비율의 스피치 출력이 이미 사용자에게 제공되었을 때 완료 기준이 만족된다(532). 예를 들어, 일부 실시예들에서, 사전정의된 비율의 스피치 출력은 50%, 60%, 70% 및 80%로 구성된 그룹으로부터의 비율이다(534). 완료 기준이 만족되지 않았다는 결정에 따라, 디바이스는 이후를 위해 스피치 출력의 적어도 일부를 유예하고(536), 완료 기준이 만족되었다는 결정에 따라, 디바이스는 스피치 출력의 나머지 출력을 완전히 포기한다. 일부 실시예들에서, 메시지의 나머지는 고려할 가치가 없다고 디바이스가 결정하는 경우 완료 기준이 만족된다(예를 들어, 중국 음식을 요청한 후에, 그리고 지역의 중식 레스토랑들의 리스트를 디바이스에 의해 상술하는 중일 때, 사용자가 “잊어버려, 나는 타이 음식이 먹고 싶어”라고 말할 때).

디바이스가 사용자로부터 스피치 입력을 수신함에 따라, 디바이스는 스피치 출력의 제공이 긴급한지를 결정한다(538). 일부 실시예들에서, 스피치 출력은 이것이 즉각적인 제공을 위한 사용자-구성가능한 기준을 만족시킬 때 긴급하다(540). 예를 들어, 일부 실시예들에서, 사용자-구성가능한 기준은 디바이스가 사용자에 의해 매우 중요한 인물(VIP)로 이전에 식별된 사람으로부터 전자 메시지를 수신하였을 때 만족된다(542). 이와 다르게 또는 이에 더하여, 일부 실시예들에서, 사용자-구성가능한 기준은 디바이스가 주식 가격 업데이트를 수신하고 사용자가 이전에 주식 가격 업데이트를 즉시 제공하도록 디바이스를 구성하였을 때 만족된다(544)(예를 들어, 사용자는 특정 주식 가격이 특정 값을 초과하였을 때 사용자에게 경고하도록 구성하고, 그에 따라 사용자는 주식을 가능한 한 빨리 매매하고자 고려할 수 있다). 일부 실시예들에서, 스피치 입력의 제공이 콘텍스트에 기초해 긴급한지 아닌지 여부에 대한 결정이 이루어진다. 예를 들어, 스피치 출력이 가까운 미래에 방향을 전환하라는 지시를 포함하는 경우(“지금 좌회전하시오!”), 디바이스는 그 메시지가 긴급하다고 인식한다. 스피치 출력의 제공이 긴급하다는 결정에 따라, 디바이스는 사용자에게 스피치 출력을 제공한다(546)(예를 들어, 디바이스가 “불쑥 끼어들어” 사용자로부터 스피치 입력을 수신하고 있음에도 불구하고 스피치 출력을 제공한다). 일부 실시예들에서, 디바이스는 사용자에게 지연 없이 스피치 출력을 제공한다(548)(예를 들어, 출력을 생성하기 위해 필요한 임의의 요구되는 처리 시간 위에, 사용자가 말하고 있다는 사실로 인해 추가적인 지연이 추가된다).

스피치 출력의 제공 긴급하지 않다는 결정에 따라, 디바이스는 사용자에 대한 스피치 출력의 제공을 유예한다(550). 아래에서 더욱 자세하게 설명되는 바와 같이, 일부 상황들에서 스피치 출력의 제공을 유예하는 것은 이후의 시간까지 스피치 출력의 제공을 지연시키고, 그 후에 스피치 출력을 제공하는 것을 의미하는 반면, 다른 상황에서는 유예한다는 것은 스피치 출력의 제공을 완전히 포기하고 특정한 스피치 출력을 절대 제공하지 않는 것을 의미한다. 일부 상황들에서, 유예하는 것이 스피치 출력의 제공을 영구적으로 포기하는 것인지 또는 스피치 출력의 제공을 임시로 지연시키는 것인지 여부는 특정한 실시예, 구현 및 스피치 출력을 둘러싼 콘텍스트에 의존한다((562) 참조). 일부 실시예들에서, 디바이스가 특별한 동작 모드에 있을 때, 디바이스는 지연 없이(예를 들어, 디바이스가 현재 사용자로부터 스피치 입력을 수신하고 있는 중이라고 해도) 스피치 출력을 제공한다(552). 예를 들어, 일부 실시예들에서, 디바이스는 “방해 가능” 동작 모드를 포함하고, 그에 따라 디바이스가 스피치 입력을 수신하고 있는 중인지 여부와 무관하게 디지털 어시스턴트에 의해 사용자가 방해받는다(예를 들어, 디지털 어시스턴트가 불쑥 끼어든다). 일부 실시예들에서, 특별한 동작 모드는 홀드 동작 모드 및 무음 동작 모드로 구성된 하나 이상의 그룹이다(553).

흐름 경로(553-1, 553-2, 553-3)는 방법(500)의 일부 실시예들에 따라 스피치 출력의 제공이 긴급하지 않다고 결정함에 따라 선택적으로 수행되는 추가적인 동작을 나타낸다. 흐름 경로(553)와 관련하여 기술된 다양한 동작들이 반드시 서로 배제되는 것은 아니며, 일부 상황들에서는 결합될 수 있음이 이해되어야만 한다.

예를 들어, 일부 실시예들에 따르면, 디바이스가 더 이상 사용자로부터 스피치 입력을 수신하지 않는다는 결정에 따라, 디바이스는 사용자에게 스피치 출력을 제공한다(554). 일부 실시예들에서, 디바이스가 더 이상 사용자로부터 스피치 입력을 수신하기 않는다고 결정하는 것은 마지막 스피치 입력 시간과 현재 시간 사이에 사전정의된 길이의 시간이 경과되었다고 결정하는 것을 포함한다(556). 일부 실시예들에서, 사전정의된 시간의 길이는 스피치 출력의 긴급성의 측정값의 함수이다. 일부 실시예들에서, 사전결정된 길이의 시간은 스피치 출력의 긴급성의 측정값의 단조 감소 함수이며, 그에 따라 더 적은 길이의 시간에서 더 큰 긴급성의 측정값을 갖는 스피치 출력을 제공한다(560). 예를 들어, 이러한 실시예들에서, 디바이스는 스피치 출력이 덜 긴급할 때보다 사용자가 말하기를 완료한 후 긴급한 스피치 출력을 제공하기 전에 더 짧은 길이의 시간 동안 기다린다.

일부 실시예들에서, 디바이스는 출력이 메시지 스킵(skipping) 기준을 만족시키는지를 결정한다(562). 일부 실시예들에서, 메시지 스킵 기준은 긴급성의 측정값이 사전정의된 임계값보다 더 낮을 때 만족된다(564). 예를 들어, 스피치 출력이 경고들의 시퀀스 내의 몇몇 경고들 중 하나인 경우에, 일부 상황들에서 사용자에게 경고들의 시퀀스 내의 각 경고를 제공하는 것이 불필요하다. 일부 실시예들에서, 메시지 스킵 기준은 스피치 출력이 턴-바이-턴 방향들의 세트 내의 내비게이션 커맨드이고 디바이스가 이후에 상응하는 내비게이션 커맨드를 제공하도록 스케줄링 되었을 때 만족된다(566). 예를 들어, 디바이스는 방향 전환 전 2마일, 1마일, 1/2마일 및 방향 전환 직전에 내비게이션 커맨드를 제공하도록 스케줄링된다. 이러한 상황들에서, 1마일 커맨드가 다른 경우에 상술될 수 있는 경우 사용자가 스피치 입력을 제공하고 있을 때, 디바이스는 1마일 커맨드의 제공을 완전히 포기한다. 드라이버는 그에 맞게 여전히 방향 전환 직전의 순간뿐 아니라 1/2마일에 방향 전환 커맨드를 통지받을 것이다.

일부 실시예들에서, 디바이스가 디스플레이를 포함할 때, 스피치 출력의 제공이 긴급하지 않다는 결정에 따라, 디바이스는 스피치 출력에 상응하는 디스플레이된 출력을 제공한다(568).

도 6은 통지 아이템들의 리스트를 관리하고 통지 아이템들에 대한 오디오 프롬프트를 제공하기 위해 디지털 어시스턴트에 의해 구현되는 예시적인 방법(600)의 순서도이다. 일부 실시예들에서, 이 방법은 하나 이상의 프로세서 및 메모리를 구비하는 하나 이상의 디바이스(예를 들어, 디바이스(104) 및/또는 예로서 서버 시스템(108)을 포함하는 디지털 어시스턴트 시스템(300)의 구성요소들)에서 수행된다. 일부 실시예들에서, 통지 아이템에 대한 오디오 프롬프트를 제공할지 여부의 결정은 디바이스 및/또는 사용자의 현재 콘텍스트에 기초하여 방해 처리자(예를 들어, 도 3a의 방해 처리자(340))에 의해 동적으로 수행된다. 아래의 단계들이 디바이스(예를 들어, 하나의 디바이스)에 의해 수행되는 것으로 이해될 수 있지만, 이 방법을 이러한 특정 실시예로 제한되지 않는다. 예를 들어, 일부 실시예들에서, 이 단계들은 서로 다른 디바이스들에 의해 수행될 수 있으며, 단일 단계를 수행하기 위해 함께 작업하는 몇몇 디바이스들, 하나 이상의 단계를 여러 디바이스들 각각이 개별적으로 수행하는 것 등을 포함한다.

통지 아이템들의 리스트가 제공된다(602). 통지 아이템들은 통지가 사용자에게 제공되게 하도록 구성된 아이템들이다. 예를 들어, 통지 아이템들은 통신(예를 들어, 수신된 이메일, 텍스트 메시지, 음성메일 메시지 등), 캘린더 경고(예를 들어, 캘린더 애플리케이션 또는 서비스 내의 약속 또는 다른 엔트리들과 연관된 리마인더), 리마인더 경고(예를 들어, 작업 리스트 또는 리마인더 리스트와 연관된 리마인더 또는 작업 아이템들), 애플리케이션 경고 등과 연관될 수 있고/있거나 이들에 의해 트리거링될 수 있다. 애플리케이션 경고는 전자 디바이스 상에 설치된 애플리케이션에 의해 발생되는 경고이며, 임의의 정보를 포함할 수 있다. 예를 들어, 애플리케이션 경고는 애플리케이션에 의해 취해지는 행동의 통지(예를 들어, 보안 목적으로 온라인 뱅킹 세션이 종료될 것임을 사용자에게 통지), 또는 애플리케이션과 연관된 서비스로부터의 통지(예를 들어, 애플리케이션이 액세스를 제공하는 소셜 네트워크 내의 활동을 사용자에게 통지)를 포함할 수 있다. 예를 들어, 통지 아이템들은 애플 인크.의 IOS의 “통지 센터” 내에 디스플레이된 아이템들에 대응한다.

통지 아이템들의 리스트는 복수의 통지 아이템들을 포함하고, 이때 복수의 통지 아이템들의 각각의 개별 통지 아이템이 개별 긴급 값과 연관된다. 긴급 값은 디지털 어시스턴트에 의해 통지 아이템들에 할당된다. 일부 실시예들에서, 긴급 값들은 사용자에 의해 할당되지 않는다. 일부 실시예들에서, 긴급 값들은 사용자-정의된 통지 규칙에 기초하여 결정되지 않는다. 예를 들어, 일부 실시예들에서, 긴급 값들은 소정의 사람들, 도메인, 애플리케이션 등으로부터의 통지를 허용 또는 거부하라는 사용자의 요청에 기초하지 않는다. 그러나 일부 실시예들에서, 규칙들은 디지털 어시스턴트에 의해 적절히 기각되거나 무시될 수 있지만, 긴급 값들을 할당할 때 긴급 값이 사용자-정의된 통지 규칙을 고려한다.

긴급 값은 아래에서 논의되는 바와 같이 다양한 서로 다른 요인들에 기초할 수 있다. 긴급 값은 0 내지 10 사이의 숫자 범위와 같은 임의의 메트릭일 수 있으며, 이때 더 높은 값이 더 긴급한 통지에 대응한다. 긴급 값은 또한 “높은 긴급성”, “중간 긴급성” 및 “낮은 긴급성”일 수 있다. 임의의 다른 적절한 값 또는 메트릭 또한 사용될 수 있다.

일부 실시예들에서, 긴급 값은 개별 통지 아이템과 연관된 시간; 개별 통지 아이템과 연관된 위치; 개별 통지 아이템의 콘텐츠 중 하나 이상에 기초한다. 일부 구현들에서, 긴급 값은 각 구성요소의 긴급성 영향의 가중된 평균과 같은 구성요소들의 조합에 기초한다. 일부 구현들에서, 긴급 값은 이러한 구성요소들 중 하나 또는 하위세트에 기초한다.

일부 실시예들에서, 캘린더 엔트리 및 시간-기반 리마인더와 같은 소정의 시간과 연관된 통지 아이템들에 대한 긴급 값은 통지의 시간적 근접도를 고려한다. 따라서, 만약 통지가 (예로서, 다른 이벤트 또는 리마인더에 비해) 시간적으로 근접한 이벤트 또는 리마인더에 관련된다면 긴급 값의 시간 구성요소는 더 높고, 만약 통지가 (예로서, 다른 이벤트 또는 리마인더에 비해) 시간적으로 더 멀리 있는 이벤트 또는 리마인더에 관련된다면 시간 구성요소가 더 낮다.

일부 실시예들에서, 위치를 명시하는 캘린더 엔트리와 같이 위치와 연관된 통지 아이템들에 대한 긴급 값은 사용자가 현재 해당 위치로부터 얼마나 멀리 있는지를 고려한다. 따라서, 일부 실시예들에서, 만약 통지가 (예로서, 다른 약속에 비해) 더 긴 이동 시간을 요구하는 약속과 관련된다면 긴급 값의 위치 구성요소가 더 높고, 만약 통지가 (예로서, 다른 약속에 비해) 더 짧은 이동 시간을 요구하는 이벤트 또는 리마인더와 관련된다면 위치 구성요소가 더 낮다.

일부 실시예들에서, 긴급 값들은 통지의 의미론적(semantic) 콘텐츠에 기초해 자동으로 결정된다. 예를 들어, 디지털 어시스턴트는 (예를 들어, 자연 언어 처리 모듈(322)을 이용하여) 각 통지의 의미를 결정하고 결정된 의미에 기초해 긴급 값을 할당한다. 예를 들어, 디지털 어시스턴트는 통지 아이템의 콘텐츠(예를 들어, 이메일 또는 텍스트 메시지의 바디, 또는 애플리케이션 통지의 텍스트 콘텐츠)가 알려진 의미들의 세트 중 하나와 관련되었는지 여부를 결정할 수 있다. 예를 들어, 일부 실시예들에서, 디지털 어시스턴트는 통지 아이템이 응급 상황, 업무 긴급 상황, 가족 긴급 상황, 루틴 애플리케이션 통지, 캘린더 아이템, 리마인더 또는 태스크 리스트 아이템 등과 관련되는 가능성이 있는지를 결정할 수 있다. 일부 실시예들에서, 알려진 의미 및/또는 의미들의 분류는 긴급 값들 및/또는 긴급 값들의 범위와 연관되며, 디지털 어시스턴트는 그것이 결정한 의미 및/또는 의미의 분류에 따라 통지 아이템에 긴급 값을 할당한다.

일부 실시예들에서, 긴급 값을 결정하는 것은 디바이스의 사용자에 대한 중요한 토픽을 결정하고 개별 통지 아이템이 중요한 토픽에 대응한다는 결정에 기초해 개별 통지 아이템에 개별 긴급 값들 중 적어도 하나를 할당하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 디지털 어시스턴트는 (예를 들어, 사용자가 통상적으로 소정 토픽에 대한 통신에 신속하게 응답한다고 결정함으로써) 사용자와 연관된 히스토리 데이터, (예를 들어, 해당 토픽에 관련된 통지 아이템들의 수가 2, 3, 5, 또는 더 많은 통지 아이템들과 같은 사전결정된 임계값을 만족시킨다고 결정함으로써) 해당 토픽에 관련된 통지 아이템들의 리스트 내의 통지 아이템들의 수, 사용자-명시된 토픽(예를 들어, 사용자가 특정 토픽과 관련된 임의의 통지에 대해 경고받을 것을 요청) 등 중에서 임의의 것에 기초하여 사용자에게 중요한 토픽을 결정한다. 일부 실시예들에서, 중요한 토픽은 예를 들어 전술된 바와 같이 사용자와 연관된 히스토리 데이터에 기초해 중요한 토픽을 결정함으로써 사람의 개입 없이 자동으로 디바이스에 의해 결정된다.

일부 실시예들에서, 긴급 값들은 유사한 통지들에 대해 디지털 어시스턴트에 의해 이전에 할당되었던 긴급 값, 통지와 연관된 내장된 플래그 또는 중요도 표시자(예를 들어, “높은 중요도”를 가지고 전송된 이메일), 통지 내의 키워드(예를 들어, “보스”, “긴급”, “응급상황”, “병원”, “사망”, “탄생”, “당장”, “어디에 있습니까” 등), 통지를 발행한 애플리케이션 또는 애플리케이션의 타입(예를 들어, 게임과 같이 중요한 통지를 제공할 가능성이 낮은 애플리케이션으로부터의 통지는 통상적으로 사람 대 사람 통신을 허용하는 애플리케이션으로부터의 통지보다 덜 중요하다), 통신의 전송자 및 수신자, 유사한 통신과 관련된 사용자 히스토리(예를 들어, 사용자가 유사한 통신을 신속하게 확인하고/하거나 그에 대해 반응한 히스토리를 갖는지 여부, 또는 유사한 통신이 종종 무시되고/되거나 묵살되었는지, 또는 소정의 사람으로부터의 통신에 대해 사용자가 얼마나 신속하게 응답하는지) 등에 추가로 기초한다.

도 6으로 복귀하면, 정보 아이템이 검출된다(604). 일부 실시예들에서, 정보 아이템은 통신이다(예를 들어, 이메일, 음성메일, 텍스트 메시지 등). 일부 실시예들에서, 정보 아이템은 애플리케이션 통지이다. 일부 실시예들에서, 정보 아이템은 디바이스가 차량 내에 있다는 표시와 같은 디바이스의 콘텍스트에서의 변화에 대응한다. 예를 들어, 디지털 어시스턴트는 소정의 GPS 수신기 또는 가속도계로 디바이스의 동작, 속도, 및/또는 위치를 검출함으로써, 또는 디바이스가 예를 들어 블루투스(BLUTETOOTH) 또는 도킹 스테이션을 통해 차량에 통신상 연결되었음을 검출함으로써, 자신이 차량 내에 있다고 결정할 수 있다. 콘텍스트의 변화에 상응하는 정보 아이템의 다른 예는 디바이스가 위치를 변경하였음을 나타내는 표시이다(예를 들어, 사용자가 직장, 또는 집 등에 도착하였음을 나타내는 표시). 일부 실시예들에서, 적어도 통신(예를 들어, 이메일, 음성메일, 또는 텍스트 메시지) 및 디바이스의 콘텍스트 변화(예를 들어, 디바이스가 위치를 변경하였음을 검출)를 포함하는 두 정보 아이템들이 검출된다.

디지털 어시스턴트는 정보 아이템이 복수의 통지 아이템들 중 제1 통지 아이템의 긴급 값과 관련되었는지 여부를 결정한다(606). 일부 실시예들에서, 두 정보 아이템들이 수신되고, 디지털 어시스턴트는 두 정보 아이템들의 조합이 복수의 통지 아이템들 중 제1 통지 아이템과 관련되는지를 결정한다.

예를 들어, 일부 실시예들에서, 디지털 어시스턴트는 들어오는 통신(예를 들어, 정보 아이템)이 통지 아이템들의 리스트 내의 임의의 통지 아이템과 관련되는지 여부를 결정한다. 예를 들어, 들어오는 통신은 만약 동일하거나 유사한 주제 사항을 갖는다면, 동일한 전송자로부터 전송되었다면, 동일하거나 유사한 의미론적 분류를 갖는다면(전술된 바와 같이 자연 언어 처리 모듈에 의해 결정됨), 하나 이상의 공통적인 단어들 및/또는 키워드들을 갖는 등의 경우에 통지 아이템들의 리스트 내의 통지와 관련된다. 구체적인 예로서, 특정 전송자로부터 기록된 음성메일은 통지 리스트 내에 포함된 최근 이메일을 지칭할 수 있다(예를 들어, “방금 조시로부터의 이메일을 포워딩하였습니다-받는 즉시 나에게 전화해주세요”). 그 후 디지털 어시스턴트는 (예를 들어, 두 메일이 모두 동일한 사람에 의해 전송되었고, 두 메일이 모두 “조시”로부터 포워딩된 메일을 인용하고 있는 등에 기초해) 음성메일이 특정한 메일과 관련되었음을 기록된 음성메일과 연관된 정보로부터 결정한다.

일부 실시예들에서, 디지털 어시스턴트는 통지 아이템들의 리스트 내의 임의의 통지 아이템과 디바이스의 콘텍스트 변화가 관련되었는지 여부를 결정한다. 예를 들어, 디지털 어시스턴트는 디바이스의 위치 변화가 다가오는 약속에 도달하기 위해 필요한 이동 시간에 영향을 미치는지 여부를 결정한다. 일부 실시예들에서, 디지털 어시스턴트는 애플리케이션 통지가 통지 아이템들의 리스트 내의 임의의 통지 아이템과 관련되는지 여부를 결정한다. 예를 들어, 디지털 어시스턴트는 리마인더 또는 작업 리스트 애플리케이션으로부터의 통지가 캘린더 엔트리와 관련된 현존하는 통지와 동일하거나 유사한 콘텐츠를 갖는다고 결정할 수 있다. 특히, 디지털 어시스턴트는 “주디의 생일 선물 픽업하기”에 대한 리마인더가 캘린더 엔트리 “주디의 생일”의 통지와 관련된다고 결정할 수 있다.

일부 실시예들에서, 디지털 어시스턴트가 정보 아이템이 복수의 통지 아이템들 중 제1 통지 아이템과 관련된다고 결정하면, 디지털 어시스턴트는 정보 아이템이 해당 통지 아이템의 긴급성과 관련되는지 여부를 결정한다((606) 참조). 예를 들어, 디지털 어시스턴트는 정보 아이템이: 통지 아이템과 연관된 시간(예를 들어, 정보 아이템이 약속을 더 이르거나 더 늦은 시간으로 변경하고, 정보 아이템이 비행 또는 다른 이동 지연을 나타낸다), 통지 아이템과 연관된 위치(예를 들어, 약속의 위치를 변경한다), 약속까지의 이동 시간(예를 들어, 사용자가 지금 다가오는 약속의 위치로부터 멀리 있기 때문에, 또는 교통 상황이 변화되었기 때문에), 통지 아이템의 중요도(예를 들어, 특정한 토픽과 관련된 다수의 통신들이 검출되었기 때문에, 또는 정보 아이템의 의미론적 내용이 통지 아이템의 중요도의 단계적 확대를 나타내기 때문에) 등에 영향을 미치는지 여부를 결정한다.

정보 아이템이 제1 통지 아이템의 긴급 값과 관련된다는 결정에 따라, 디지털 어시스턴트는 제1 통지 아이템의 긴급 값을 조정한다(608). 일부 실시예들에서, 긴급 값은 검출된 정보 아이템이 제1 통지 아이템에 영향을 미치는 방식에 따라 더 긴급하게 또는 덜 긴급하게 조정된다. 일부 구현들에서, 디지털 어시스턴트는 예로서 제1 통지 아이템의 기한, 약속 시간, 위치 등을 변경함으로써 제1 통지 아이템 내에 정보 아이템을 포함한다. 예를 들어, 일부 구현들에서, 만약 통지 아이템이 특정한 시간과 연관된 캘린더 엔트리와 관련되고, 정보 아이템은 캘린더 엔트리가 재스케줄링되었음을 나타내는 이메일이면, 정보 아이템은 캘린더 엔트리가 재스케줄링되었음을 나타내는 이메일이고, 디지털 어시스턴트는 시간이 변경되었음을 나타내도록 통지 아이템을 업데이트할 것이다. 일부 구현들에서, 디지털 어시스턴트는 제1 통지 아이템과 정보 아이템 모두로부터의 정보를 포함하는 새로운 통지 아이템을 생성하고 그것에 두 아이템 모두에 기초하여 긴급 값을 할당한다. 예를 들어, 일부 구현들에서, 디지털 어시스턴트는 오리지널 이메일(예를 들어, 제1 통지 아이템) 및 후속하는 음성메일(예를 들어, 정보 아이템)과 같은 다수의 통신들과 관련되는 통지 아이템을 생성할 것이다. 일부 구현들에서, 새로운 통지 아이템은 자신의 구성성분 통지 아이템 및/또는 정보 아이템과 상이한 긴급 값을 갖는다.

디지털 어시스턴트는 제1 통지 아이템의 조정된 긴급 값이 사전결정된 임계값을 만족시키는지 여부를 결정한다(610). 일부 실시예들에서, 임계값은 사용자가 해당 시간에 방해받는 것이 타당함을 보장하기 위해 통지 아이템이 소유해야만 하는 긴급성 레벨을 확립한다. 일부 실시예들에서, 임계값은 사용자 또는 디지털 어시스턴트에 의해 결정될 수 있다. 예를 들어, 일부 실시예들에서, 디지털 어시스턴트는 특정한 긴급 임계값을 연속적으로 결정하고 적용하며, 사용자는 자동으로 결정된 임계값을 언제든지 기각 및/또는 조정할 수 있다.

일부 실시예들에서, 사전결정된 수의 임계값들이 존재한다. 예를 들어, 디지털 어시스턴트 및/또는 사용자가 낮은 긴급성 임계값, 중간 긴급성 임계값, 또는 높은 긴급성 임계값을 선택할 수 있다. 일부 실시예들에서, 낮은 긴급성 임계값은 임의의 그리고 모든 통지들이 제한 없이 제공될 수 있음을 나타내고; 중간 긴급성 임계값은 중간 또는 높은 긴급 값을 갖는 통지들만이 제공될 것임을 나타내며; 높은 긴급성 임계값은 높은 긴급 값을 갖는 통지만이 제공될 것임을 나타낸다. 전술된 바와 같이, 긴급 값들은 저/중/고/ 분류보다는(또는 그에 더하여) 숫자 범위에 대응할 수 있다. 따라서, 일부 실시예들에서, 제1 값들의 하위 범위 내에 있는 긴급 값들은 낮은 긴급성에 대응하고(예를 들어, 긴급 값의 범위가 1-10일 때 1-5인 경우), 제2 값들의 하위 범위 내에 있는 긴급 값들은 중간 긴급성에 대응하며(예를 들어, 긴급 값의 범위가 1-10일 때 6-8인 경우), 제3 값들의 하위 범위 내에 있는 긴급 값들은 높은 긴급성에 대응한다(예를 들어, 긴급 값의 범위가 1-10일 때 9-10인 경우). 임의의 다른 적절한 전체 범위 및 하위 범위들 또한 사용될 수 있다. 본 내용에서, 임계값들이 저, 중, 또는 고로 지칭되지만, 이것이 특정한 “저/중/고” 방식으로 긴급 값들을 제한하지 않으며, 다른 임계값들 및 긴급 값들이 기술된 방식 대신 또는 그에 더하여 사용될 수 있음이 이해될 것이다. 일부 실시예들에서, 사용자는 원하는 포인트로 (예를 들어, 디바이스의 터치스크린 상에 디스플레이된) 슬라이더 제어를 조작함으로써 임계값을 설정할 수 있다. 예를 들어, 슬라이더 제어 상의 더 높은 값(예를 들어, 더 오른쪽)이 더 높은 긴급성 임계값에 대응할 수 있다.

전술된 바와 같이, 일부 실시예들에서, 디지털 어시스턴트는 사용자 개입 없이 자동으로 사전결정된 임계값을 확립한다. 일부 실시예들에서, 디지털 어시스턴트는 디바이스의 위치에 따라 사전결정된 임계값을 확립한다. 일부 실시예들에서, 소정의 위치들이 디폴트로 소정의 임계값들과 연관될 수 있다(사용자에 의해 임시로 또는 영구적으로 변경가능함). 예를 들어, 집은 낮은 임계값과 연관될 수 있고, 침실은 중간 임계값과 연관되고, 직장은 중간 임계값과, 영화관은 높은 임계값과 연관될 수 있는 등이다. 일부 실시예들에서, 다양한 위치에서 사용될 임계값은 예를 들어 디지털 어시스턴트의 초기화 또는 트레이닝의 일부로서 사용자에 의해 먼저 확립된다. 따라서, 한 사용자가 그가 업무 중일 때 낮은 임계값이 사용되어야만 한다고 명시할 수 있으며, 다른 사용자는 업무 중일 때 높은 임계값을 명시할 수 있다. 그러나, 일부 경우들에서, 디지털 어시스턴트는 모든 사용자들에 대해 소정의 위치에 디폴트 임계값을 할당한다. 예를 들어, 디지털 어시스턴트는 사용자가 해당 위치를 임계값과 연관시키지 않았다고 해도, 영화관, 공원, 교회, 박물관, 상점 등에서는 언제든지 디바이스를 디폴트에 의해 높은 임계값으로 선택할 수 있다. 일부 실시예들에서, 디지털 어시스턴트는 사용자가 그렇게 하도록 이전에 트레이닝하지 않고도 낮은 임계값 외에 다른 것을 적용할 때 이를 사용자에게 통지한다. 따라서, 사용자는 상승된 임계값에 대해 쉽게 옵트 아웃(또는 옵트 인)할 수 있다. 일부 구현들에서, 사용자는 디바이스가 낮은 임계값보다 더 높은 임의의 임계값을 자동으로 선택하는 모드를 명확하게 인에이블해야만 한다. 이러한 방식으로, 사용자는 사용자에 의해 명확하게 요청된 조건 하에서만 디바이스가 긴급성 임계값을 상승시킬 것이라고 신뢰할 수 있다.

일부 실시예들에서, 디지털 어시스턴트는 디바이스의 콘텍스트에 따라 사전결정된 임계값을 확립한다. 예를 들어, 디바이스가 차량 내에 있을 때(예를 들어, 동작/위치/속도 프로파일, 주변 노이즈 프로파일에 의해 검출되거나 또는 차량과의 통신 링크를 검출함으로써 검출됨), 디지털 어시스턴트는 낮은 긴급성 임계값을 확립한다.

일부 실시예들에서, 디지털 어시스턴트는 하루의 시간에 따라 사전결정된 임계값을 확립한다. 예를 들어, 낮 시간대에는 낮은 긴급성 임계값과 연관될 수 있고, 밤 시간대에는 높은 긴급성 임계값과 연관될 수 있다.

일부 실시예들에서, 디지털 어시스턴트는 현재 시간과 연관된 캘린더 아이템에 따라 사전결정된 임계값을 확립한다. 특히, 일부 실시예들에서, 디지털 어시스턴트는 사용자의 캘린더 엔트리들에 기초하여 사용자가 어디에 있고 사용자가 무엇을 하고 있는지를 추론할 수 있다. 만약 사용자가 소정의 시간 동안에 미팅 중이도록 스케줄링되어 있다면, 예를 들어, 디바이스는 해당 시간 동안 사용자가 해당 미팅 중일 가능성이 높다고 추론할 수 있다. (일부 실시예들에서, 디지털 어시스턴트는 이벤트의 위치를 사용자의 실제 위치와 비교함으로써 사용자가 스케줄링된 이벤트에 참석하였는지 여부를 확인할 수 있다.) 따라서, 만약 캘린더 엔트리가 소정의 임계값이 적절하다고 제안하는 정보를 포함하면, 디바이스는 그에 따라 임계값을 확립할 것이다. 디지털 어시스턴트는 예를 들어 미팅의 참여자(예를 들어, 참여자들의 수 및/또는 이름), 미팅의 위치, 미팅의 토픽, 또는 캘린더 엔트리와 연관된 임의의 텍스트(예를 들어, “점심식사”는 낮은 임계값에 대응하는 반면, “면접”은 높은 임계값에 대응할 수 있다)에 기초하여 캘린더 이벤트가 소정의 임계값을 제안하는 것을 결정한다.

일부 실시예들에서, 디지털 어시스턴트는 디바이스의 사용자 설정에 따라 사전결정된 임계값을 확립한다. 예를 들어, 만약 사용자가 “방해금지” 모드를 활성화하였다면 높은 긴급성 임계값이 사용될 수 있다.

도 6으로 돌아가면, 조정된 긴급 값이 사전결정된 임계값을 만족시킨다는 결정에 따라((610) 참조), 디지털 어시스턴트는 사용자에게 제1 오디오 프롬프트를 제공한다(612).

일부 실시예들에서, 조정된 긴급 값이 사전결정된 임계값을 만족시키지 않는다는 결정에 따라, 디지털 어시스턴트는 사용자에게 오디오 프롬프트를 제공하는 것을 지연한다(614). 일부 실시예들에서, 지연된 오디오 프롬프트는 긴급성 임계값이 변화하면 제공되거나, 또는 통지 아이템의 긴급 값이 변화하면 제공된다. 일부 실시예들에서, 조정된 긴급 값이 사전결정된 임계값을 만족시키지 않는다는 결정에 따라, 디지털 어시스턴트는 (긴급 값이 후에 검출되는 정보 아이템에 응답하여 변화하지 않는 한) 해당 통지 아이템에 대한 오디오 프롬프트를 단순히 제공하지 않는다. 일부 실시예들에서, 조정된 긴급 값이 사전결정된 임계값을 만족시키지 않는다는 결정에 따라, 디지털 어시스턴트는 사용자에게 시각적 프롬프트(예를 들어, 디바이스(104)의 스크린 상의 배너 또는 팝업 통지)를 제공한다. 일부 실시예들에서, 통지 아이템의 텍스트 구성요소는 통지 사용자 인터페이스 내에 남아있으며, 그에 따라 사용자가 이 후에 통지 아이템을 읽고, 수신확인 할 수 있고/있거나 그에 따라 행동할 수 있으며, 통지 아이템은 손실되지 않는다.

일부 실시예들에서, 디지털 어시스턴트는 사용자가 제1 오디오 프롬프트를 수신확인하였는지 여부를 결정하고(616); 사용자가 (예를 들어, 소정의 사전결정된 기간 내에) 제1 오디오 프롬프트를 수신확인하지 않았다는 결정에 따라, 제1 오디오 프롬프트와는 상이한 제2 오디오 프롬프트를 사용자에게 제공한다(618). 일부 실시예들에서, 제2 오디오 프롬프트는 제1 오디오 프롬프트보다 더 구별성 있고/있거나 더 강도가 세다. 예를 들어, 일부 실시예들에서, 제2 오디오 프롬프트는 제1 오디오 프롬프트보다 더 시끄럽다. 일부 실시예들에서, 제2 오디오 프롬프트는 제1 오디오 프롬프트보다 더 길다. 예를 들어, 제2 오디오 프롬프트는 더 긴 링톤이거나, 또는 제1 오디오 프롬프트보다 더 많은 횟수만큼(및/또는 더 빨리) 반복하는 톤 또는 사운드일 수 있다. 일부 실시예들에서, 제1 오디오 프롬프트는 제1 사운드(예로서, 제1 링톤)이고 제2 오디오 프롬프트는 제1 사운드와는 상이한 제2 사운드(예로서, 제2 링톤)이다. 따라서, 사용자는 제2 오디오 프롬프트로부터 제1 오디오 프롬프트를 구별할 수 있다. 일부 실시예들에서, 사용자는 제1 및 제2 오디오 프롬프트들과 연관되도록 특정한 사운드 및/또는 링톤을 선택할 수 있다. 일부 구현들에서, 디바이스의 진동이 오디오 프롬프트로 간주된다.

일부 실시예들에서, 제1, 제2, 또는 제3 오디오 프롬프트들 중 하나가 전화 호출 또는 음성메일에 대응한다. 예를 들어, 디지털 어시스턴트는 실제로 전화 호출(또는 가상 전화 호출)을 할 수 있으며, 이것은 사용자의 스마트폰으로 하여금 전화벨이 울리게 하고, 그에 따라 사용자에게 통지의 긴급성을 경고한다. 특히, 수신 전화 호출에 대한 통지는 수신 전화 호출이 관리되는 통지 리스트를 우회하도록 통지와 다르게 처리될 수 있다. 따라서, (예를 들어, 정상적인 전화 링톤 및 시각적 통지가 사용자에게 제공되도록) 사용자에게 전화 호출을 함으로써, 사용자는 통지의 긴급성에 대해 경고를 받을 수 있다. 일부 구현들에서, 디지털 어시스턴트는 전화 호출이 사용자에 의해 응답될 때 (예를 들어, 텍스트-스피치 엔진을 이용하여) 통지를 실제로 음성화할 것이다. 일부 구현들에서, 만약 전화 호출이 사용자에 의해 응답되지 않는다면, 디지털 어시스턴트는 사용자에 대한 구두의 음성메일을 남긴다.

일부 실시예들에서, 디지털 어시스턴트는 사용자가 제2 오디오 프롬프트에 수신확인하였는지 여부를 결정하고(620); 사용자가 (예를 들어, 소정의 사전결정된 기간 내에) 제2 오디오 프롬프트에 수신확인하지 않았다는 결정에 따라, 제1 오디오 프롬프트 및 제2 오디오 프롬프트와 상이한 제3 오디오 프롬프트를 사용자에게 제공한다(622). 일부 실시예들에서, 제3 오디오 프롬프트는 제1 및 제2 오디오 프롬프트들보다 더 시끄럽고 및/또는 더 길다. 일부 실시예들에서, 제3 오디오 프롬프트는 스피치 출력이다.

일부 실시예들에서, 제1 오디오 프롬프트는 링톤이고, 제2 오디오 프롬프트는 제1 볼륨의 제1 스피치 출력이며, 제3 오디오 프롬프트는 제1 볼륨보다 시끄러운 제2 볼륨의 스피치 출력이다.

일부 실시예들에서, 제1 오디오 프롬프트는 링톤이고, 제2 오디오 프롬프트는 제1 길이의 제1 스피치 출력이며, 제3 오디오 프롬프트는 제1 길이보다 긴 제2 길이의 제2 스피치 출력이다.

일부 실시예들에서, 오디오 프롬프트를 단계적으로 상승시키는 프로세스(예를 들어, 위에서 제1, 제2 및 제3 오디오 프롬프트를 이용하는 것에 상응함)는 포괄적이고 최소한으로 거슬리는 프로액티브 통지 방식을 제공하도록 임계값 결정과 결합된다. 특히, 일부 실시예들에서, 가장 긴급한 통지조차도 최소한으로 거슬리는 오디오 프롬프트로 시작한다(예를 들어, 단일 톤 또는 삐 소리, 또는 진동 또는 팝업 통지와 같이 접촉 또는 심지어 시각적 출력과 같은 무음 프롬프트). 만약 (예를 들어, 통지를 보기 위해 사용자가 버튼, 스위치를 누르거나 또는 스크린을 턴온함으로써 디바이스와 상호작용하지 않기 때문에) 오디오 프롬프트가 수신확인되지 않으면, 제2 오디오 프롬프트가 제공될 것이다. 만약 제2 오디오 프롬프트가 수신확인되지 않으면, 제3 오디오 프롬프트가 제공된다. 그러나, 만약 통지가 덜 긴급하면, 추가적인 오디오 프롬프트를 발생시키지 않을 수 있다. 따라서, 더 낮은 긴급성 메시지는 제1 오디오 프롬프트가 사용자에게 제공되게 할 수 있지만, 후속하는 오디오 프롬프트를 발생시키지 않을 것이다. 일부 실시예들에서, 모든 통지 아이템들은 제1 오디오 프롬프트가 제공되게 하지만, 오직 사전결정된 임계값을 만족시키는 통지들만이 제2 또는 제3 오디오 프롬프트로 단계적으로 상승시킬 것이다.

도 5a-6을 참조로 하여 위에서 기술된 동작들은, 선택적으로 도 2 및/또는 도 3에 도시된 구성요소들에 의해 구현된다. 예를 들어, 수신 동작(504), 제공 동작(520), 수신 동작(526)은, 선택적으로 위에서 자세하게 기술된 디지털 어시스턴트(326), 입출력 처리 모듈(328), 방해 처리 모듈(340), 및/또는 자연 언어 처리 모듈(332)에 의해 구현된다. 유사하게, 도 2 및/또는 도 3에 도시된 구성요소들에 기초해 다른 프로세스들이 구현될 수 있다는 것이 당업자에게 명백할 것이다.

위에서 동작들이 기술된 특정한 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 동작을 나타내고자 하는 것은 아님이 이해되어야만 한다. 당업자는 본 명세서에 기술된 동작들을 재순서화하기 위한 다양한 방식들을 인식할 것이다.

전술된 내용은, 설명을 위해서 특정한 실시예들을 참조하여 기술되었다. 그러나, 위의 예시적인 논의가 개시된 정확한 형태로 본 발명을 망라하거나 본 발명을 제한하고자 하는 것은 아니다. 다수의 수정 및 변화들이 위의 가르침의 관점에서 가능하다. 실시예들은 본 발명의 원리 및 그의 실질적인 적용을 가장 잘 설명하도록 선택되고 기술되었으며, 그에 따라 당업자가 본 발명 및 고안되는 특정한 용도에 맞춰진 다양한 수정을 갖는 다양한 실시예들을 가장 잘 활용하는 것을 가능하게 한다.

Claims (30)

1. 디지털 어시스턴트를 동작시키는 방법으로서,
   하나 이상의 프로세서 및 메모리를 구비하는 디바이스에서,
   통지 아이템들의 리스트 -상기 리스트는 복수의 통지 아이템들을 포함하고, 상기 복수의 통지 아이템들의 각 개별 통지는 개별 긴급 값과 연관됨- 를 제공하는 단계;
   정보 아이템을 검출하는 단계;
   상기 정보 아이템이 상기 복수의 통지 아이템들 중 제1 통지 아이템의 긴급 값과 관련되는지 여부를 결정하는 단계;
   상기 정보 아이템이 상기 제1 통지 아이템의 상기 긴급 값과 관련되었다는 결정에 따라, 상기 제1 통지 아이템의 상기 긴급 값을 조정하는 단계;
   상기 제1 통지 아이템의 상기 조정된 긴급 값이 사전결정된 임계값을 만족시키는지 여부를 결정하는 단계; 및
   상기 조정된 긴급 값이 상기 사전결정된 임계값을 만족시킨다는 결정에 따라, 사용자에게 제1 오디오 프롬프트를 제공하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 디바이스의 위치에 따라 상기 사전결정된 임계값을 확립하는 단계를 더 포함하는, 방법.
3. 제1항에 있어서, 하루의 시간에 따라 상기 사전결정된 임계값을 확립하는 단계를 더 포함하는, 방법.
4. 제1항에 있어서, 현재 시간과 연관된 캘린더 아이템에 따라 상기 사전결정된 임계값을 확립하는 단계를 더 포함하는, 방법.
5. 제1항에 있어서, 상기 디바이스의 사용자 설정에 따라 상기 사전결정된 임계값을 확립하는 단계를 더 포함하는, 방법.
6. 제1항에 있어서, 상기 정보 아이템은
   이메일;
   음성메일; 및
   텍스트 메시지로 구성된 그룹 중 하나인, 방법.
7. 제1항에 있어서, 상기 정보 아이템은 애플리케이션 통지인, 방법.
8. 제1항에 있어서, 상기 정보 아이템은 상기 디바이스의 콘텍스트(context)에서의 변화인, 방법.
9. 제1항에 있어서, 적어도 상기 디바이스의 콘텍스트에서의 통신 및 변화를 포함하는 두 정보 아이템들을 검출하는 단계를 더 포함하는, 방법.
10. 제1항에 있어서,
    상기 개별 긴급 값은 상기 개별 통지 아이템과 연관된 시간;
    상기 개별 통지 아이템과 연관된 위치; 및
    상기 개별 통지 아이템의 콘텐츠 중 하나 이상에 기초하는, 방법.
11. 제1항에 있어서,
    상기 디바이스의 사용자에게 중요한 토픽을 결정하는 단계 및 개별 통지 아이템이 상기 중요한 토픽에 대응한다는 결정에 기초하여 상기 개별 통지 아이템에 상기 개별 긴급 값들 중 적어도 하나를 할당하는 단계를 더 포함하는, 방법.
12. 제11항에 있어서, 상기 중요한 토픽은 사람의 개입 없이 상기 디바이스에 의해서 자동으로 결정되는, 방법.
13. 제1항에 있어서, 상기 정보 아이템이 상기 제1 통지 아이템의 상기 긴급 값과 관련되는지 여부를 결정하는 단계는 상기 정보 아이템이 상기 제1 통지 아이템과 연관된 위치로의 변화에 대응한다고 결정하는 단계를 포함하는, 방법.
14. 제1항에 있어서, 상기 정보 아이템이 상기 제1 통지 아이템의 상기 긴급 값과 관련되는지 여부를 결정하는 단계는 상기 정보 아이템이 상기 제1 통지 아이템과 연관된 시간에서의 변화에 대응한다고 결정하는 단계를 포함하는, 방법.
15. 제1항에 있어서, 상기 조정된 긴급 값이 상기 사전결정된 임계값을 만족시키지 않는다는 결정에 따라, 상기 사용자에게 상기 오디오 프롬프트를 제공하는 것을 지연시키는 단계를 더 포함하는, 방법.
16. 제1항에 있어서, 상기 정보 아이템을 검출하는 단계는 들어오는 통신을 수신하는 단계를 포함하고, 상기 정보 아이템이 상기 제1 통지 아이템의 상기 긴급 값과 관련되는지 여부를 결정하는 단계는 상기 들어오는 통신을 수신하는 것에 응답하여 수행되는, 방법.
17. 제1항에 있어서,
    상기 사용자가 상기 제1 오디오 프롬프트를 수신확인(acknowledge)하였는지 여부를 결정하는 단계; 및
    상기 사용자가 상기 제1 오디오 프롬프트를 수신확인하지 않았다는 결정에 따라, 상기 사용자에게 상기 제1 오디오 프롬프트와는 상이한 제2 오디오 프롬프트를 제공하는 단계를 더 포함하는, 방법.
18. 제17항에 있어서, 상기 제2 오디오 프롬프트는 상기 제1 오디오 프롬프트보다 더 시끄러운, 방법.
19. 제17항에 있어서, 상기 제2 오디오 프롬프트는 상기 제1 오디오 프롬프트보다 더 긴, 방법.
20. 제17항에 있어서, 상기 제1 오디오 프롬프트는 제1 링톤(ringtone)이고 상기 제2 오디오 프롬프트는 상기 제1 링톤과 상이한 제2 링톤인, 방법.
21. 제17항에 있어서,
    상기 사용자가 상기 제2 오디오 프롬프트를 수신확인하였는지 여부를 결정하는 단계; 및
    상기 사용자가 상기 제2 오디오 프롬프트를 수신확인하지 않았다는 결정에 따라, 상기 사용자에게 상기 제1 오디오 프롬프트 및 상기 제2 오디오 프롬프트와 상이한 제3 오디오 프롬프트를 제공하는 단계를 더 포함하는, 방법.
22. 제21항에 있어서, 상기 제3 오디오 프롬프트는 스피치 출력인, 방법.
23. 제21항에 있어서, 상기 제1 오디오 프롬프트는 링톤이고, 상기 제2 오디오 프롬프트는 제1 볼륨의 제1 스피치 출력이며, 상기 제3 오디오 프롬프트는 상기 제1 볼륨보다 시끄러운 제2 볼륨의 제2 스피치 출력인, 방법.
24. 제21항에 있어서, 상기 제1 오디오 프롬프트는 링톤이고, 상기 제2 오디오 프롬프트는 제1 길이의 제1 스피치 출력이며, 상기 제3 오디오 프롬프트는 상기 제1 길이보다 더 긴 제2 길이의 제2 스피치 출력인, 방법.
25. 제1항에 있어서, 상기 정보 아이템으로부터의 정보를 상기 제1 통지 아이템에 통합시키는 단계를 더 포함하는, 방법.
26. 제1항 내지 제25항에 따른 방법들의 임의의 조합의 특성들을 포함하는, 방법.
27. 전자 디바이스로서,
    디스플레이;
    터치-민감성 표면;
    하나 이상의 프로세서;
    메모리; 및
    하나 이상의 프로그램을 포함하며,
    상기 하나 이상의 프로그램은 상기 메모리 내에 저장되고 상기 하나 이상의 프로세서에 의해 실행되도록 구성되며, 제1항 내지 제25항에 따른 방법들 중 어느 하나를 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
28. 디스플레이, 터치-민감성 표면을 갖는 전자 디바이스에 의해 실행되었을 때, 상기 디바이스로 하여금 제1항 내지 제25항에 따른 방법들 중 어느 하나를 수행하게 하는 명령어들을 포함하는 하나 이상의 프로그램을 저장하는 컴퓨터 판독가능한 저장 매체.
29. 전자 디바이스로서,
    디스플레이;
    터치-민감성 표면; 및
    제1항 내지 제25항에 따른 방법들 중 어느 하나를 수행하기 위한 수단을 포함하는, 전자 디바이스.
30. 디스플레이, 터치-민감성 표면을 갖는 전자 디바이스에서 사용하기 위한 정보 처리 장치로서,
    제1항 내지 제25항에 따른 방법들 중 어느 하나를 수행하기 위한 수단을 포함하는, 정보 처리 장치.

Images