KR20200004359A

KR20200004359A - 자동으로 액션 그룹을 커스터마이징하도록 구성된 가상 어시스턴트

Info

Publication number: KR20200004359A
Application number: KR1020197035907A
Authority: KR
Inventors: 비크람 아가르왈; 마이클 앤드류 굿맨
Original assignee: 구글 엘엘씨
Priority date: 2017-09-19
Filing date: 2018-09-19
Publication date: 2020-01-13
Also published as: US20220100465A1; KR102408926B1; US20230367545A1; KR102597571B1; WO2019060341A1; US20190087152A1; KR20220082945A; US11200027B2; EP3929842A1; US11893311B2; EP3533013A1; CN110770772A; US11556309B2; CN110770772B

Abstract

방법은 하나 이상의 프로세서에서 실행하는 어시스턴트에 의해, 특정 가청 커맨드를 수신하는 것에 응답하여 어시스턴트가 실행하도록 구성된 디폴트 액션 그룹을 결정하는 단계를 포함한다. 이 방법은 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하는 단계를 포함한다. 이 방법은 또한 어시스턴트에 의해 특정 가청 커맨드의 표시를 수신하는 단계 및 어시스턴트에 의해 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부를 결정하는 단계를 포함한다. 이 방법은 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트에 의해 커스텀 액션 그룹으로부터 각 액션을 실행하는 단계를 더 포함한다.

Description

자동으로 액션 그룹을 커스터마이징하도록 구성된 가상 어시스턴트

일부 컴퓨팅 플랫폼은 사용자가 가상, 지능형 또는 계산 어시스턴트(예를 들어, 간단히 "어시스턴트"라고도 함)와 채팅, 말하기 또는 통신하여 어시스턴트가 정보를 출력하거나, 사용자의 요구에 응답하거나 또는 사용자가 액션을 수행하는 것을 지원하기 위해 특정 동작들을 수행할 수 있는 사용자 인터페이스를 제공할 수 있다. 예를 들어, 컴퓨팅 디바이스는 마이크로폰으로 사용자 발언에 대응하는 음성 입력(예를 들어, 오디오 데이터)을 수신할 수 있다. 컴퓨팅 디바이스에서 적어도 부분적으로 실행되는 어시스턴트는 음성 입력을 분석할 수 있고 발언에 기초하여 액션을 수행할 수 있다. 어시스턴트는 발언에 기초하여 단일 액션을 수행할 수 있다. 어시스턴트는 어시스턴트의 모든 사용자에 대한 발언에 기초하여 동일 액션을 수행할 수 있다.

개시된 주제는 어시스턴트가 개별 사용자에 대한 액션 그룹을 자동으로 커스터마이징할 수 있게 하는 기술에 관한 것이다. 어시스턴트는 어시스턴트가 특정 사용자로부터 특정 커맨드를 수신할 때 수행할 커스터마이즈된 액션 그룹을 결정하고, 어시스턴트는 다른 사용자로부터 동일한 특정 커맨드를 수신하는 것에 응답하여 수행할 상이한, 커스터마이즈된 또는 디폴트의 액션 그룹을 결정한다. 어시스턴트는 예를 들어 개별 사용자 프로필, 히스토리 행위, 어시스턴트와의 과거 상호 작용, 컨텍스트 정보 및 개별 사용자와 관련된 다른 정보에 기초하여, 개별 사용자와 더 관련되도록 액션 그룹을 커스터마이즈한다. 이러한 방식으로, 어시스턴트는 개별 사용자와 특히 관련된 액션 그룹을 자동으로 결정하고 그 개별 사용자로부터 커맨드를 수신하는 것에 응답하여 특히 관련된 액션만을 실행하도록 구성된다. 따라서, 설명된 기술들은 다른 사용자에게만 도움이되거나 관심을 가질 수 있는 겉보기에는 관련이 없거나 바람직하지 않은 액션을 실행하는 동안 그렇지 않으면 소비 될 처리 전력을 감소시킬 수 있다. 또한, 커스터마이즈된 액션 그룹을 자동으로 생성함으로써, 어시스턴트는 커맨드와 관련된 액션 그룹을 생성하기 위해 더 적은 사용자 입력을 요구할 수 있으며, 이는 컴퓨팅 디바이스에 의해 소비되는 전력을 더욱 감소시키고 사용자 경험을 향상시킬 수 있다. 게다가, 일부 예들에서, 어시스턴트는 복수의 액션을 병렬로 실행할 수 있어서, 그 액션들이 실행되는 속도를 증가시킬 수 있다.

아래의 설명 외에도, 사용자는 본 명세서에 기술된 어시스턴트, 컴퓨팅 디바이스 또는 컴퓨팅 시스템이 개인 정보를 수집 또는 이용할 수 있는 경우 및 시기 그리고 사용자에게 컨텐츠 또는 통신이 서버로부터 전송되는 경우 및 시기에 대해 사용자가 선택할 수있게 하는 컨트롤들이 제공될 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거되도록 저장 또는 사용되기 전에 하나 이상의 방식으로 처리될 수 있다. 예를 들어, 사용자의 신원은 사용자에 대한 개인 식별 정보가 결정될 수 없도록 처리될 수 있거나, 사용자의 특정 위치가 결정될 수 없도록 사용자의 지리적 위치는 위치 정보가 획득된 곳(도시, 우편 번호 또는 주 수준과 같은)으로 일반화될 수 있다. 따라서, 사용자는 어떤 정보가 사용자에 대해 수집되는지, 그 정보가 어떻게 사용되는지, 그리고 어떤 정보가 사용자에게 제공되는지를 제어할 수 있다.

일 예에서, 본 개시는 하나 이상의 프로세서에서 실행되는 어시스턴트에 의해, 어시스턴트가 특정 가청 커맨드의 수신에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하는 단계를 포함하는 방법에 관한 것이다. 이 방법은 어시스턴트에 의해, 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하는 단계를 포함한다. 이 방법은 또한 어시스턴트에 의해, 특정 가청 커맨드의 표시를 수신하는 단계를 포함한다. 이 방법은 어시스턴트에 의해, 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부를 결정하는 단계와; 그리고 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트에 의해, 커스텀 액션 그룹으로부터 각각의 액션을 실행하는 단계를 포함한다.

다른 예에서, 본 개시는 출력 디바이스와; 적어도 하나의 프로세서와; 그리고 적어도 하나의 메모리를 포함하는 컴퓨팅 디바이스에 관한 것이다. 상기 메모리는 실행될 때 적어도 하나의 프로세서로 하여금 어시스턴트를 실행하게 하는 명령들을 포함하고, 상기 어시스턴트는, 어시스턴트가 특정 가청 커맨드를 수신한 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하고; 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하고; 특정 가청 커맨드의 표시를 수신하고; 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부 여부를 결정하고; 그리고 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 커스텀 액션 그룹으로부터 각각의 액션을 실행하도록 구성된다.

다른 예에서, 본 개시는 실행될 때 실행될 때 디지털 어시스턴트 시스템의 적어도 하나의 프로세서로 하여금: 어시스턴트가 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하고; 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하고; 특정 가청 커맨드의 표시를 수신하고; 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부를 결정하고; 그리고 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 커스텀 액션 그룹으로부터 각의 액션을 실행하게 하는 명령들을 포함하는 컴퓨터-판독 가능 저장 매체에 관한 것이다.

다른 예에서, 본 개시는 어시스턴트가 특정 가청 커맨드를 수신한 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하고; 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정고; 특정 가청 커맨드의 표시를 수신하고; 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부를 결정하고; 그리고 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 커스텀 액션 그룹으로부터 각각의 액션을 실행하기 위한 수단을 포함하는 시스템에 관한 것이다.

하나 이상의 예들의 세부 사항은 첨부 도면 및 이하의 설명에 기재되어 있다. 본 개시의 다른 특징, 목적 및 이점은 상세한 설명 및 도면 및 청구 범위로부터 명백할 것이다.

도 1은 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하는 예시적인 시스템을 도시하는 개념도이다.
도 2는 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하도록 구성된 예시적인 컴퓨팅 디바이스를 도시하는 블록도이다.
도 3은 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하는 하나 이상의 프로세서에 의해 수행되는 예시적인 동작들을 도시하는 흐름도이다.
도 4는 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하도록 구성된 예시적인 디지털 어시스턴트 서버를 도시하는 블록도이다.

도 1은 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하는 예시적인 시스템을 도시하는 개념도이다. 도 1의 시스템(100)은 네트워크(130)를 통해 컴퓨팅 디바이스(110A-110N)(통칭하여 "컴퓨팅 디바이스(110)") 및 컴퓨팅 디바이스(116A-116N)(통칭하여 "컴퓨팅 디바이스(116)")와 통신하는 디지털 어시스턴트 서버(160)를 포함한다. 시스템(100)이 디지털 어시스턴트 서버(160) 및 컴퓨팅 디바이스(110, 116) 사이에 분산된 것으로 도시되어 있지만, 다른 예들에서, 시스템(100)에 귀속되는 특징 및 기술은 컴퓨팅 디바이스(110, 116)의 로컬 컴포넌트들에 의해 내부적으로 수행될 수 있다. 유사하게, 디지털 어시스턴트 서버(160)는 특정 컴포넌트들을 포함할 수 있고, 이하의 설명에서 컴퓨팅 디바이스(110, 116)에 귀속되는 다양한 기술을 수행할 수 있다.

네트워크(130)는 컴퓨팅 시스템, 서버 및 컴퓨팅 디바이스 사이에서 데이터를 전송하기 위한 임의의 공용 또는 사설 통신 네트워크, 예를 들어 셀룰러, Wi-Fi® 및/또는 다른 유형의 네트워크를 나타낸다. 디지털 어시스턴트 서버(160)는 컴퓨팅 디바이스(110, 116)가 네트워크(130)에 연결될 때 컴퓨팅 디바이스(110, 116)에 액세스 가능한 가상 어시스턴트 서비스를 제공하기 위해 네트워크(130)를 통해 컴퓨팅 디바이스(110, 116)와 데이터를 교환할 수 있다.

네트워크(130)는 동작 가능하게 상호 연결되어 서버 시스템(160)과 컴퓨팅 디바이스(110, 116) 사이에 정보 교환을 제공하는 하나 이상의 네트워크 허브, 네트워크 스위치, 네트워크 라우터 또는 임의의 다른 네트워크 장비를 포함할 수 있다. 컴퓨팅 디바이스(110, 116) 및 디지털 어시스턴트 서버(160)는 임의의 적절한 통신 기술을 사용하여 네트워크(130)를 통해 데이터를 전송 및 수신할 수 있다. 컴퓨팅 디바이스(110, 116) 및 디지털 어시스턴트 서버(160)는 각각의 네트워크 링크를 사용하여 네트워크(130)에 각각 동작 가능하게 연결될 수 있다. 컴퓨팅 디바이스들(110, 112) 및 디지털 어시스턴트 서버(160)를 네트워크(130)에 커플링하는 링크는 이더넷 또는 다른 유형의 네트워크 연결일 수 있고, 이러한 연결들은 무선 및/또는 유선 연결일 수 있다.

디지털 어시스턴트 서버(160)는 어시스턴트를 실행하고 네트워크상에서 통신하도록 구성된 임의의 유형의 컴퓨팅 디바이스를 나타낸다. 디지털 어시스턴트 서버(160)의 예는 클라우드 컴퓨팅 환경, 데스크탑 컴퓨터, 랩탑 컴퓨터, 서버, 휴대폰, 태블릿 컴퓨터, 웨어러블 컴퓨팅 디바이스, 주방(countertop) 컴퓨팅 디바이스, 홈 자동화 컴퓨팅 디바이스, 텔레비전, 스테레오, 자동차, 또는 가상 어시스턴트 서비스를 실행하도록 구성된 다른 유형의 모바일 또는 비-모바일 컴퓨팅 디바이스를 포함한다.

컴퓨팅 디바이스(110)는 특정 사용자 또는 사용자 프로필과 관련되고 네트워크(130)를 통해 제공된 가상 어시스턴트 서비스에 액세스하도록 구성된 개별 모바일 또는 비-모바일 컴퓨팅 디바이스를 나타낸다. 일부 예에서, 특정 사용자와 관련됨으로써, 하나 이상의 컴퓨팅 디바이스(110)는 특정 사용자와 관련되거나 또는 특정 사용자에 의해 자주 액세스되는 특정 네트워크에 연결될 수 있다. 예를 들어, 컴퓨팅 디바이스(110)의 서브 세트는 사용자의 집에 위치할 수 있고 홈 네트워크를 통해 통신할 수 있다. 컴퓨팅 디바이스(110)와 달리, 컴퓨팅 디바이스(116)는 다른 사용자 또는 다른 사용자 프로필(예를 들어, 컴퓨팅 디바이스(110)와 관련된 특정 사용자 이외의 사용자들)과 관련되고 네트워크(130)를 통해 제공된 가상 어시스턴트 서비스에 액세스하도록 구성된 개별 모바일 또는 비-모바일 컴퓨팅 디바이스를 나타낸다. 다시 말해서, 컴퓨팅 디바이스(110)는 도 1의 예에서 특정 사용자와 관련되는 반면, 컴퓨팅 디바이스(116)는 다른 사용자들과 관련되고 컴퓨팅 디바이스(110)와 관련된 특정 사용자와 관련되지 않는다.

컴퓨팅 디바이스(110, 116)의 예는 휴대 전화, 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 서버, 메인 프레임, 셋탑 박스, 텔레비전, 웨어러블 디바이스(예를 들어, 컴퓨터화된 시계, 컴퓨터화된 안경, 컴퓨터화된 장갑 등), 홈 자동화 디바이스 또는 시스템(예를 들어, 지능형 온도 조절기 또는 보안 시스템), 가전 제품(예를 들어, 커피 메이커, 냉장고 등), 음성 인터페이스 또는 주방 홈 어시스턴트 디바이스, 개인용 정보 단말기(PDA), 게임 시스템, 미디어 플레이어, 전자 책 리더, 모바일 텔레비전 플랫폼, 자동차 네비게이션 또는 인포테인먼트 시스템, 또는 다른 유형의 모바일, 비-모바일, 웨어러블 및 비-웨어러블 컴퓨팅 디바이스를 포함한다. 컴퓨팅 디바이스(110, 116)의 다른 예는 위에 나열된 것 이외의 것으로 존재할 수 있다. 컴퓨팅 디바이스(110, 116)는 네트워크(130)를 통해 제공된 가상 어시스턴트 서비스에 액세스하도록 구성된 임의의 디바이스, 컴포넌트 또는 프로세서일 수 있다.

도 1의 예에서, 디지털 어시스턴트 서버(160)는 어시스턴트 모듈(122B) 및 사용자 정보 데이터 저장소(124B)를 포함한다. 컴퓨팅 디바이스(110A)는 사용자 인터페이스 컴포넌트(UIC)(112), 사용자 인터페이스(UI) 모듈(120), 어시스턴트 모듈(122) 및 사용자 정보 데이터 저장소(124A)를 포함한다. 도시되지는 않았지만, 컴퓨팅 디바이스(110B-1) 및/또는 컴퓨팅 디바이스(116)는 컴퓨팅 디바이스(110A)와 유사한 컴포넌트 및/또는 모듈을 포함할 수 있다.

모듈(120, 122A 및 122B)은 컴퓨팅 디바이스(110A) 또는 디지털 어시스턴트 서버(160) 중 하나에 상주하고 및/또는 실행하는 소프트웨어, 하드웨어, 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어의 조합을 사용하여 기술된 동작들을 수행할 수 있다. 컴퓨팅 디바이스(110A) 및 디지털 어시스턴트 서버(160)는 다수의 프로세서 또는 다수의 디바이스로 모듈(120, 122A 및 122B)을 실행할 수 있다. 컴퓨팅 디바이스(110A) 및 디지털 어시스턴트 서버(160)는 기본 하드웨어상에서 실행되는 가상 머신으로서 모듈(120, 122A 및 122B)을 실행할 수 있다. 모듈(120, 122A 및 122B)은 운영 체제 또는 컴퓨팅 플랫폼의 하나 이상의 서비스로서 실행될 수 있다. 모듈(120, 122A 및 122B)은 운영 체제 또는 컴퓨팅 플랫폼의 애플리케이션 계층에서 하나 이상의 실행 가능한 프로그램으로서 실행될 수 있다.

컴퓨팅 디바이스(110)의 UIC(112)는 컴퓨팅 디바이스(110A)에 대한 입력 및/또는 출력 디바이스로서 기능할 수 있다. UIC(112)는 다양한 기술을 사용하여 구현될 수 있다. 예를 들어, UIC(112)는 존재 감지 입력 스크린, 마이크로폰 기술, 적외선 센서 기술, 카메라, 또는 사용자 입력을 수신하는데 사용하기 위한 다른 입력 디바이스 기술을 사용하여 입력 디바이스로서 기능할 수 있다. UIC(112)는 사용자에게 정보를 출력하는데 사용하기 위한 임의의 하나 이상의 디스플레이 디바이스, 스피커 기술, 햅틱 피드백 기술, 또는 사용자에게 정보를 출력하는데 사용하기 위한 다른 출력 디바이스 기술을 사용하여 사용자에게 출력을 제시하도록 구성된 출력 디바이스로서 기능할 수 있다.

UI 모듈(120)은 UIC(112) 및 컴퓨팅 디바이스(110A)의 다른 컴포넌트와의 사용자 상호 작용을 관리할 수 있고, UIC(112)를 통해 어시스턴트 서비스를 제공하기 위해 디지털 어시스턴트 서버(160)와 상호 작용할 수 있다. UI 모듈(120)은 컴퓨팅 디바이스(110A)의 사용자가 출력을 보고 및/또는 UIC(112)에서 입력을 제공함에 따라 UIC(112)가 사용자 인터페이스를 출력하게 할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, UI 모듈(120)은 UIC(112)가 UIC(112)의 디스플레이 스크린에서 사용자 인터페이스(114A 또는 114B)(통칭하여, 사용자 인터페이스(114))를 디스플레이하게 하는 명령을 UIC(112)에 전송할 수 있다.

사용자 인터페이스(114)는 컴퓨팅 디바이스(110A)의 개별 사용자와 어시스턴트 모듈(122A)에 의해 제공되는 어시스턴트 간의 대화의 텍스트를 포함한다. 도 1의 예에서, 사용자 인터페이스(114)는 주로 그래픽 사용자 인터페이스이지만, 일부 예에서 사용자 인터페이스(114)는 주로 가청, 햅틱, 또는 그래픽, 가청의 조합, 또는 햅틱 유형 사용자 인터페이스일 수 있다. 다시 말해서, 사용자 인터페이스(114)는 가청 사운드, 음성 통지, 진동, 텍스트, 그래픽, 콘텐츠 카드, 이미지 등과 같은 다양한 형태의 가상 어시스턴트 정보를 포함할 수 있다.

UI 모듈(120) 및 UIC(112)는 상이한 시간에 그리고 사용자와 컴퓨팅 디바이스(110A)가 상이한 위치에 있을 때, 사용자가 사용자 인터페이스(114)의 사용자 인터페이스와 상호 작용함에 따라 사용자로부터 입력(예를 들어, 음성 입력, 터치 입력, 비-터치 또는 존재 감지 입력, 비디오 입력, 오디오 입력 등)의 하나 이상의 표시를 수신할 수 있다. UI 모듈(120) 및 UIC(112)는 UIC(112)에서 검출된 입력을 해석할 수 있고, 예를 들어 컴퓨팅 디바이스(110A)가 액션을 수행하게 하도록 UIC(112)에서 검출된 입력에 관한 정보를 어시스턴트 모듈(122A) 및/또는 컴퓨팅 디바이스(110A)에서 실행되는 하나 이상의 다른 관련 플랫폼, 운영 체제, 애플리케이션 및/또는 서비스에 중계할 수 있다.

UI 모듈(120)은 컴퓨팅 디바이스(110A) 및/또는 서버 시스템(160)과 같은 하나 이상의 원격 컴퓨팅 시스템에서 실행되는 하나 이상의 관련 플랫폼, 운영 체제, 애플리케이션 및/또는 서비스로부터 정보 및 명령을 수신할 수 있다. 또한, UI 모듈(120)은 UI 모듈(120)은 컴퓨팅 디바이스(110A)에서 실행되는 하나 이상의 관련 플랫폼, 운영 체제, 애플리케이션 및/또는 서비스, 및 컴퓨팅 디바이스(110A)로 출력(예를 들어, 그래픽, 광 플래시, 사운드, 햅틱 응답 등)을 생성하기 위한 컴퓨팅 디바이스(110A)의 다양한 출력 디바이스스(예를 들어, 스피커, LED 표시기, 오디오 또는 햅틱 출력 디바이스 등)사이의 중개자로서 작용할 수 있다. 예를 들어, UI 모듈(120)은 UI 모듈(120)이 디지털 어시스턴트 서버(160)로부터 네트워크(130)를 통해 수신하는 데이터에 기초하여 UIC(112)가 사용자 인터페이스(114)를 출력하게 할 수 있다. UI 모듈(120)은 디지털 어시스턴트 서버(160) 및/또는 어시스턴트 모듈(122A)로부터 입력으로서, 사용자 인터페이스(114)로서 제시하기 위한 정보(예를 들어, 오디오 데이터, 텍스트 데이터, 이미지 데이터 등) 및 명령을 수신할 수 있다.

어시스턴트 모듈(122A) 및 어시스턴트 모듈(122B)은 컴퓨팅 디바이스(110)를 통해 액세스된 가상 어시스턴트 서비스의 일부로서 사용자 정보 데이터 저장소(124A 및 124B)를 협력적으로 유지할 수 있다. 어시스턴트 모듈(122B) 및 사용자 정보 데이터 저장소(124B)는 예시적인 어시스턴트의 서버 측 또는 클라우드 구현을 나타내는 반면, 어시스턴트 모듈(122A) 및 사용자 정보 데이터 저장소(124A)는 예시적인 어시스턴트의 클라이언트 측 또는 로컬 구현을 나타낸다. 일부 예에서, 어시스턴트 모듈(122A)에 귀속되는 일부 또는 모든 기능은 어시스턴트 모듈(122B)에 의해 수행될 수 있으며, 그 역도 마찬가지이다.

통칭하여 참조된 어시스턴트 모듈(122), 어시스턴트 모듈(122A) 및 어시스턴트 모듈(122B)은 컴퓨팅 디바이스(110)의 사용자와 같은 개인에 대한 액션 또는 서비스를 수행할 수 있는 지능형 개인 어시스턴트로서 실행되도록 구성된 소프트웨어 에이전트를 포함할 수 있다. 어시스턴트 모듈(122)은 사용자 입력(예를 들어, UIC(112)에서 검출된), 상황 인식(예를 들어, 위치 등에 기초한) 및/또는 다양한 정보 소스(예를 들어, 컴퓨팅 디바이스(110), 디지털 어시스턴트 서버(160)에 로컬로 저장되거나, 검색 또는 다른 정보 검색 서비스를 통해 획득된)로부터 다른 정보(예를 들어, 날씨 또는 교통 상황, 뉴스, 주가, 스포츠 스코어, 사용자 스케줄, 운송 스케줄, 소매 가격 등)에 액세스하는 능력에 기초하여 이들 액션 또는 서비스를 수행할 수 있다. 어시스턴트 모듈(122)은 다른 애플리케이션(예를 들어, 제 3 자 애플리케이션), 서비스 또는 다른 디바이스(예를 들어, 텔레비전, 자동차, 시계, 홈 자동화 시스템, 엔터테인먼트 시스템 등)에 의존하여 개인에 대한 액션 또는 서비스를 수행할 수 있다.

명시적인 사용자 동의를 수신한 후, 어시스턴트 모듈(122)은 (예를 들어, 컴퓨팅 디바이스(110)에 위치한 정보 소스, 서버 시스템(160) 또는 네트워크(130)의 다른 곳에 위치한 임의의 다른 서버 또는 디바이스에 의해 저장된) 사용자와 관련된 정보 또는 사용자와 관련된 정보의 위치에 대한 포인터를 자동으로 유지할 수 있다. 어시스턴트 모듈(122)은 사용자 정보 데이터 저장소(124A 및 124B)(통칭하여 "사용자 정보 데이터 저장소(124)")로서 사용자와 관련된 정보 또는 정보에 대한 포인터를 유지할 수 있다. 데이터 저장소(124)는 어시스턴트 모듈(122)에 의해 실행된 어시스턴트가 그 어시스턴트에 의해 요구되는 사용자 정보에 빠르게 액세스하여 실제(real-world) 액션, 가상 액션을 완료하거나, 그렇지 않으면 컴퓨팅 디바이스(110) 사용자의 즉각적인 및/또는 미래의 요구에 응답할 수 있게 할 수 있다. 어시스턴트 모듈(122)은 사용자가 사용자와 관련된 정보에 대한 액세스를 취소하고 및/또는 사용자와 관련된 정보의 사본을 삭제하도록 허용할 수 있다.

데이터 저장소(124)는 컴퓨팅 디바이스(110, 116)의 개별 사용자와 각각 관련된 하나 이상의 사용자 프로필을 포함할 수 있다. 예를 들어, 사용자 프로필은 사용자와 어시스턴트 사이의 대화 또는 상호 작용 동안, 사용자로부터 허가를 받아 획득한 정보, 캘린더 정보, 연락처 정보, 사용자 관심사, 사용자 선호도, 및 어시스턴트 모듈(122)에 의해 사용될 수 있는 사용자와 관련된 임의의 다른 정보를 포함할 수 있다. 사용자 프로필에 대한 정보 소스의 예는 전자 메일 시스템에 내장된 인텔리전스, 어시스턴트 모듈(122)과의 사용자 상호 작용, 사용자와 관련된 디바이스(예를 들어, 컴퓨팅 디바이스(110))상의 사용자 상호 작용 및 애플리케이션 이용, 또는 다른 정보 소스를 포함할 수 있지만, 이에 한정되는 것은 아니다.

본 개시의 기술에 따르면, 어시스턴트 모듈(122)은 컴퓨팅 디바이스(110)에서 실행되거나 그로부터 액세스 가능한 어시스턴트를 제공할 수 있다. 일반적으로, 어시스턴트 모듈(122)은 복수의 액션을 각각 포함하고 상이한 사용자 프로필에 대해 루틴(routine)을 커스터마이즈할 수 있는 하나 이상의 루틴을 실행하도록 구성될 수 있다. 다시 말해서, 본 명세서에서 사용된 바와같이 "루틴"이라는 용어는 거의 동시에(예를 들어, 병렬 또는 직렬로) 어시스턴트 모듈(122)에 의해 수행되는 액션 그룹을 일반적으로 지칭한다. 본 개시 전반에 걸쳐 사용되는 바와 같이, 거의 동시에(예를 들어, 정확한 시간과 달리)는 1 초, 30 초, 1 분, 5 분 등과 같은 임계값 또는 사전 결정된 시간 내에 있는 것을 의미한다.

어시스턴트 모듈(122)은 특정 사용자로부터 특정 커맨드(예를 들어, "컴퓨터, 나 일하러 가")를 수신하는 것에 응답하여 특정 루틴을 실행하도록 구성될 수 있고, 특정 사용자로부터 다른 명령(예를 들어, "컴퓨터, 나 퇴근할 거야")을 수신하는 것에 응답하여 다른 루틴을 실행할 수 있다. 다시 말해서, 상이한 커맨드는 상이한 루틴에 대응할 수 있다. 일부 경우(instance)에서, 특정 루틴은 다수의 커맨드와 관련될 수 있다. 예를 들어, 아침 루틴은 "헤이 컴퓨터, 나 일어 났어"(Hey computer, I'm awake)라는 커맨드 또는 "컴퓨터, 하루를 시작하자"라는 명령과 관련될 수 있다. 일부 예들에서, 각각의 루틴은 어시스턴트 모듈들(122)에 의해 실행 가능한 복수의 액션을 포함한다. 따라서, 일부 예들에서, 하나 이상의 어시스턴트 모듈(122)은 특정 커맨드(예를 들어, 가청 커맨드)의 수신에 응답하여 복수의 액션을 실행하도록 구성된다.

일부 예들에서, 어시스턴트 모듈(122)은 어시스턴트 모듈(122)이 특정 커맨드를 수신한 것에 응답하여 실행되도록 구성되는 디폴트 액션 그룹을 결정한다. 다시 말해서, 어시스턴트 모듈(122)은 특정 커맨드와 관련된 루틴에 포함된 디폴트 액션 그룹을 결정한다. 어시스턴트 모듈(122)은 메모리 디바이스로부터 미리 프로그래밍된 액션 그룹을 검색함으로써 디폴트 액션 그룹을 결정할 수 있다. 디폴트 액션 그룹은 팩토리(factory)에서 프로그래밍되거나 애플리케이션 개발자로부터 소프트웨어 업데이트의 일부로서 수신될 수 있다. 일부 경우에서, 디폴트 액션 그룹은 초기에 컴퓨팅 디바이스(110 및 116)의 모든 사용자와 관련된다.

어시스턴트 모듈(122)은 기계 학습을 사용하여 디폴트 액션 그룹을 결정할 수 있다. 예를 들어, 어시스턴트 모듈(122)은 일부 경우에 컴퓨팅 디바이스(110, 116)의 사용자가 어시스턴트 모듈(122)이 서로 다른 환경에서 함께 수행하게 하는 액션들을 분석함으로써 디폴트 액션 그룹을 결정한다. 상이한 시나리오 또는 컨텍스트에 걸쳐 가장 빈번하게 나타나는 액션들은 어시스턴트 모듈(122)이 일반적으로 컴퓨팅 디바이스(110, 116)의 모든 사용자에게 적용 가능한 것으로 결정되는 디폴트 액션 그룹을 형성할 수 있다.

어시스턴트 모듈(122)은 사용자 정보 데이터 저장소(124)에 저장된 개별 사용자 및/또는 디바이스 정보를 분석하기 위해 기계 학습을 이용함으로써 커맨드와 관련된 디폴트 액션 그룹을 생성할 수 있다. 어시스턴트 모듈(122)은 사용자들이 그러한 정보의 사용 또는 수집에 긍정적으로 동의하는 경우 컴퓨팅 디바이스(110, 116) 및/또는 컴퓨팅 디바이스(110, 116)의 사용자들과 관련된 정보만을 분석할 수 있다. 어시스턴트 모듈(122)은 개별 사용자가 동의를 철회할 기회를 더 제공할 수 있으며, 이 경우 어시스턴트 모듈(122)은 개별 사용자와 관련된 정보 또는 개별 사용자와 관련된 컴퓨팅 디바이스의 수집 또는 유지를 중단할 수 있다. 데이터 저장소(124) 내의 사용자 프로필은 얼마나 자주 컴퓨팅 디바이스(110 및/또는 116)의 사용자들이 특정 애플리케이션 및/또는 애플리케이션 특징을 이용하거나, 특정 유형의 정보(예를 들어, 날씨, 교통)를 요청하거나, 또는 컴퓨팅 디바이스(110, 116) 및/또는 어시스턴트 모듈(122)과 상호 작용하는 것을 나타내는 사용자 상호 작용 데이터를 포함할 수 있다.

어시스턴트 모듈(122)은 컴퓨팅 디바이스(110, 116)의 사용자들이 자주 수행하는 액션, 컴퓨팅 디바이스(110, 116)의 사용자들이 수행하기 위해 컴퓨팅 디바이스(110, 116)를 자주 이용하는 액션, 또는 둘 모두를 식별할 수 있다. 예를 들어, 어시스턴트 모듈(122B)은 데이터 저장소(124)에 저장된 과거의 사용자 상호 작용 데이터(액션 사용 데이터로도 지칭됨)에 적어도 부분적으로 기초하여, 컴퓨팅 디바이스(110, 116)의 사용자들이 종종 아침에 컴퓨팅 디바이스(110, 116)로부터 뉴스 및 날씨 정보를 요청한다고 결정할 수 있다. 따라서, 일부 예들에서, 어시스턴트 모듈(122)은 아침 루틴에 대한 디폴트 액션 그룹이 뉴스 및 날씨 정보를 출력하는 것을 포함한다고 결정한다. 따라서, 어시스턴트 모듈(122)은 특정 커맨드(예를 들어, "굿 모닝 컴퓨터" 또는 "컴퓨터, 하루를 시작하자"와 같은 아침 루틴과 관련된 커맨드)에 대응하는 디폴트 액션 그룹이 뉴스 및 날씨 정보를 출력하는 것을 포함한다고 결정할 수 있다.

일부 예들에서, 어시스턴트 모듈(122)은 어시스턴트 모듈(122)이 루틴의 일부로서 실행되도록 구성되는 커스텀 액션 그룹을 결정한다. 어시스턴트 모듈(122)은 디폴트 액션 그룹 및 컴퓨팅 디바이스(110)의 특정 사용자와 관련된 사용자 프로필에 기초하여 커스텀 액션 그룹을 결정할 수 있다. 전술한 바와 같이, 사용자 프로필과 관련된 정보는 하나 이상의 데이터 저장소(124)에 저장될 수 있다. 일부 예에서, 어시스턴트 모듈(122)은 (예를 들어, 특정 사용자와 관련된 사용자 프로필에 대한 사용자 정보에 기초하여) 특정 커맨드와 관련된 디폴트 액션 그룹으로부터의 하나 이상의 액션이 특정 사용자 프로필과 관련된 사용자와 관련이 있는지 여부를 결정할 수 있다. 예를 들어, 데이터 저장소(124)는 사용자가 컴퓨팅 디바이스(110)로 하여금 특정 액션을 수행하게 하는 정도를 나타내는 사용자 상호 작용 데이터를 포함하는 특정 사용자에 대한 사용자 프로필을 포함할 수 있다. 사용자 상호 작용 데이터는 특정 사용자가 아침에 뉴스 정보를 거의 요청하지 않는다는 것을 표시할 수 있어서, 어시스턴트 모듈(122)은 뉴스 정보가 특정 사용자와 관련이 없다고 결정할 수 있다. 따라서, 일부 시나리오에서, 어시스턴트 모듈(122)은 뉴스 정보를 포함하지 않는 특정 사용자에 대한 커스텀 활동(activities) 그룹을 생성한다.

어시스턴트 모듈(122)은 특정 커맨드와 관련된 커스텀 액션 그룹이 디폴트 액션 그룹에 포함되지 않은 액션을 포함한다고 결정할 수 있다. 예를 들어, 어시스턴트 모듈(122)은 데이터 저장소(124)에 저장된 사용자 프로필 내의 사용자 상호 작용 데이터에 기초하여, 특정 사용자가 거의 동시에(예를 들어, 특정 시간의 임계 시간 내에) 을 결정할 수 있다) 매일 교통 정보를 요청한다고 결정할 수 있다. 어시스턴트 모듈(122)은 특정 사용자와 관련된 사용자 정보에 기초하여 커스텀 액션 그룹에 액션을 추가할 수 있다. 예를 들어, 어시스턴트 모듈(122)은 사용자의 차량 시동 및 교통 정보 출력을 포함하도록 커스텀 액션 그룹을 업데이트할 수 있다.

일부 예들에서, 어시스턴트 모듈(122)은 특정 커맨드를 수신하는 것에 응답하여 액션 그룹을 실행하도록 구성된다. 예를 들어, 어시스턴트 모듈(122)은 사용자 입력(예를 들어, 제스처, 가청 커맨드 등)의 표시를 수신하고, 그 사용자 입력이 특정 커맨드에 대응하는지 여부를 결정하여, 사용자 입력이 특정 커맨드에 대응한다는 결정에 응답하여 액션 그룹(예를 들어, 특정 루틴과 관련된 액션 그룹)을 실행할 수 있다. 예를 들어, UIC(112)는 존재-감지 디스플레이에서 제스처를 검출할 수 있고, 그 제스처의 표시를 어시스턴트 모듈(122)로 전송할 수 있다. 어시스턴트 모듈(122)은 제스처가 특정 커맨드에 대응하는지 여부를 결정할 수 있다. 다른 예로서, UIC(112)는 오디오 데이터(예를 들어, 발화된 오디오 커맨드)를 검출할 수 있고 그 오디오 데이터의 표시를 어시스턴트 모듈(122)로 전송할 수 있다. 어시스턴트 모듈(122)은 (예를 들어, 오디오 데이터에 대해 음성 인식 기술을 수행함으로써) 오디오 데이터가 특정 오디오 커맨드를 포함하는지 여부를 결정할 수 있다. 일부 예들에서, 어시스턴트 모듈(122)은 오디오 데이터가 특정 커맨드를 포함한다는 결정에 응답하여 액션 그룹을 실행하도록 구성된다.

일부 시나리오에서, 어시스턴트 모듈(122)은 커맨드의 표시를 수신하여 그 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정한다. 예를 들어, 어시스턴트 모듈(122)은 "컴퓨터, 내 일과에 대해 말해줘"라는 가청 커맨드의 표시를 수신할 수 있다. 어시스턴트 모듈(122)은 커맨드의 표시를 수신하는 것에 응답하여, 그 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정한다. 어시스턴트 모듈(122)은 생체 인식(예를 들어, 음성, 얼굴 또는 필기 인식)에 기초하여 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정할 수 있다. 예를 들어, 사용자 정보 데이터 저장소(124A)는 특정 사용자에 대한 음성 지문을 포함할 수 있고, 가청 커맨드의 표시를 그 음성 지문과 비교하여 가청 커맨드가 특정 사용자에 의해 발화되었는지 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(122A)은 그 발화된 커맨드가 특정 사용자에 대한 음성 지문에 대응한다는 결정에 응답하여 특정 사용자에 의해 가청 커맨드가 발화되었다고 결정할 수 있다. 일부 예들에서, 컴퓨팅 디바이스(110A)는 커맨드를 신하기 전, 동안 및/또는 후에 하나 이상의 이미지를 캡처할 수 있고, 어시스턴트 모듈(122A)은 그 하나 이상의 이미지에 기초하여 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(122A)은 적어도 하나의 캡처된 이미지에 대해 얼굴 인식을 수행할 수 있고, 적어도 하나의 캡처된 이미지가 특정 사용자의 이미지를 포함한다는 결정에 응답하여 커맨드가 특정 사용자로부터 발신되었다고 결정할 수 있다.

일부 예들에서, 어시스턴트 모듈(122)은 커맨드가 특정 사용자로부터 발신되지 않았다고 결정한다. 예를 들어, 컴퓨팅 디바이스(110)는 사용자의 집에 위치될 수 있고, "헤이 컴퓨터, 내 일과에 대해 말해줘"라는 가청 커맨드를 수신할 수 있고, (예를 들어, 음성 인식에 기초하여) 특정 사용자가 상기 커맨드를 말하지 않았다고 결정할 수 있다. 그 커맨드가 특정 사용자로부터 발신되지 않았다는 결정에 응답하여, 어시스턴트 모듈(122)은 디폴트 액션 그룹으로부터 하나 이상의 액션을 실행할 수 있다. 예를 들어, 사용자 인터페이스(114A)에 의해 도시된 바와 같이, 디폴트 액션 그룹이 뉴스 및 날씨 정보를 출력하는 것을 포함하는 경우, 어시스턴트 모듈(122)은 하나 이상의 컴퓨팅 디바이스(110)로 하여금 뉴스 및 날씨 정보를 출력하게 할 수 있다.

커맨드가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트 모듈(122)은 특정 사용자와 관련된 커스텀 액션 그룹으로부터 하나 이상의 액션을 실행할 수 있다. 예를 들어, 커스텀 액션 그룹이 날씨 및 교통 정보를 출력하는 것 및 사용자 차량을 시동거는 것을 포함하는 경우, 어시스턴트 모듈(122)은 하나 이상의 컴퓨팅 디바이스(110)로 하여금 날씨 및 교통 정보를 출력하고 사용자 차량을 시동 걸도록 할 수 있다. 예를 들어, 사용자 인터페이스(114B)에 의해 도시된 바와 같이, 어시스턴트 모듈(122)은 컴퓨팅 디바이스(110A)(예를 들어, 디스플레이 디바이스를 갖지 않을 수 있는 주방 홈 어시스턴트)가 날씨 정보를 청각적으로 출력하게 하고, 컴퓨팅 디바이스(HOB)를(예를 들어, 차량 내의)가 차량을 시동하고 (예를 들어 차량내의 디스플레이 디바이스를 통해) 교통 정보(예를 들어, 교통 맵)를 디스플레이하기 위한 디스플레이를 위해 출력하도록 할 수 있다.

일부 경우, 어시스턴트 모듈(122)은 거의 동시에 하나 이상의 액션(예를 들어, 디폴트 액션 그룹 또는 커스텀 액션 그룹의 액션)을 실행한다. 예를 들어, 어시스턴트 모듈(122)은 뉴스 및 날씨 정보를 거의 동시에(예를 들어, 순차적으로) 출력할 수 있다.

어시스턴트 모듈(122)은 가청 커맨드를 수신하는 것에 응답하여 액션 그룹(예를 들어, 디폴트 액션 그룹 또는 커스텀 액션 그룹)을 실행하도록 구성되는 것으로 기술되어 있지만, 어시스턴트 모듈(122)은 스케쥴링된 이벤트(예를 들어, 캘린더 이벤트, 알람 등)의 발생, 사전 결정된 통지의 수신, 커맨드의 수신(예를 들어, 제스처 입력 또는 가청 입력) 등과 같은 트리거링 이벤트를 검출하는 것에 응답하여 루틴에 포함된 액션 그룹을 실행하도록 구성될 수 있다. 예를 들어, 트리거링 이벤트가 스케줄링 시간에 발생하도록 설정된 알람을 포함하는 경우, 어시스턴트 모듈(122)은 그 알람 발생에 응답하여 특정 루틴과 관련된 액션 그룹을 실행할 수 있다. 다른 예로서, 트리거링 이벤트가 도어(예를 들어, 차고 도어)가 열렸거나(예를 들어, 사용자가 퇴근 후 집으로 돌아 왔을 때) 또는 닫혔다는(예를 들어, 사용자가 출근할 때) 통지를 수신하는 것을 포함하는 경우, 어시스턴트 모듈 122는 도어를 열거나 닫는 것과 관련된 액션 그룹을 실행할 수 있다. 어시스턴트 모듈(122)은 트리거링 이벤트의 검출에 응답하여 어시스턴트 모듈(122)이 실행하도록 구성된 디폴트 액션 그룹 및 커스텀 액션 그룹을 결정할 수 있고, 트리거링 이벤트를 검출하는 것에 응답하여 디폴트 또는 커스텀 액션 그룹을 실행할 수 있다.

어시스턴트 모듈(122)은 커맨드 당 하나의 액션을 실행하는 일부 컴퓨팅 디바이스와 달리, 단일 커맨드를 수신한 것에 응답하여 액션 그룹을 실행할 수 있다. 이러한 방식으로, 어시스턴트 모듈(122)은 액션 그룹을 실행하는데 필요한 커맨드의 수를 감소시킬 수 있는데, 이는 하나 이상의 컴퓨팅 디바이스에 의해 수행되는 프로세싱(처리)을 감소시킬 수 있다. 또한, 액션 그룹을 단일 커맨드로 관련시킴으로써, 어시스턴트 모듈(122)은 컴퓨팅 디바이스(110A)와 서버(160)사이의 네트워크(130)상의 데이터 트래픽(예를 들어, 발화된 커맨드에 대한 음성 인식을 수행하기 위해), 통신 버스(예를 들어, 도 2의 통신 채널(250))상의 데이터 트래픽, 메모리에 대한 호출, 배터리 사용량 등을 감소시킬 수 있다. 액션 그룹을 실행하는데 필요한 커맨드의 수를 줄이는 것은 어시스턴트가 자연스럽고, 덜 어색하며 사용자에게 더 바람직해 보이게 함으로써 사용자 경험을 향상시킬 수 있다. 개별 사용자에 대한 액션 그룹을 자동으로 커스터마이징함으로써, 어시스턴트 모듈(122)은 사용자와 특히 관련이 있는 것으로 결정된 액션들만 실행할 수 있으며, 이는 하나 이상의 컴퓨팅 디바이스에 의해 수행되는 프로세싱을 감소시킬 수 있다. 또한, 개인에 대한 액션 그룹을 자동으로 커스터마이징함으로써, 어시스턴트는 액션 그룹을 생성하기 위해 더 적은 수의 사용자 입력을 요구할 수 있으며, 이는 하나 이상의 컴퓨팅 디바이스에 의해 소비되는 전력을 감소시킬 수 있다.

전술한 접근법에 의해 제공되는 몇몇 이점들 중에는, (1) 한번에 하나씩 액션을 실행하는 것이 아니라 트리거에 응답하여 액션 그룹을 실행함으로써 동작할 디바이스에 대한 처리 복잡성 및 시간이 감소될 수 있고; (2) 의미 있는 정보 및 사용자와 관련된 정보가 로컬로 저장되어, 개인 데이터에 대한 사용자의 디바이스에서 복잡하고 메모리 소비가 많은 전송 보안 프로토콜의 필요성을 감소시키고; (3) 예시적인 어시스턴트가 트리거에 응답하여 액션 그룹을 실행하기 때문에, 사용자로부터 더 적은 특정 문의(inquiry) 또는 커맨드가 수신될 수 있고, 이에 의해 쿼리 재작성 및 다른 계산적으로 복잡한 데이터 검색을 위한 사용자 디바이스에 대한 요구가 감소되며, (4) 특정 문의 및/또는 커맨드의 양이 감소함에 따라 네트워크 사용량이 감소될 수 있다는 점이 있다.

도 2는 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하도록 구성된 예시적인 컴퓨팅 디바이스를 도시하는 블록도이다. 도 2의 컴퓨팅 디바이스(210)는 도 1의 컴퓨팅 디바이스(110, 116)의 예로서 이하에서 설명된다. 도 2는 컴퓨팅 디바이스(210)의 하나의 특정 예만을 도시하고, 컴퓨팅 디바이스(210)의 다른 많은 예는 다른 경우에 사용될 수 있고, 예시적인 컴퓨팅 디바이스(210)에 포함된 컴포넌트의 서브 세트를 포함하거나 도 2에 도시되지 않은 추가 컴포넌트를 포함할 수 있다 .

도 2의 예에 도시된 바와 같이, 컴퓨팅 디바이스(210)는 사용자 인터페이스 컴포넌트(UIC)(212), 하나 이상의 프로세서(240), 하나 이상의 통신 유닛(242), 하나 이상의 입력 컴포넌트(244), 하나 이상의 출력 컴포넌트(246) 및 하나 이상의 저장 컴포넌트(248)를 포함한다. UIC(212)는 출력 컴포넌트(202) 및 입력 컴포넌트(204)를 포함한다. 컴퓨팅 디바이스(210)의 저장 컴포넌트(248)는 UI 모듈(220), 어시스턴트 모듈(222), 사용자 정보 데이터 저장소(224) 및 하나 이상의 애플리케이션 모듈(226)을 포함한다.

통신 채널(250)은 컴포넌트 간 통신(물리적으로, 통신으로 및/또는 동작적으로)을 위해 컴포넌트(212, 240, 242, 244, 246 및 248) 각각을 상호 연결할 수 있다. 일부 예들에서, 통신 채널들(250)은 시스템 버스, 네트워크 연결, 프로세스 간 통신 데이터 구조, 또는 데이터를 전달하기 위한 임의의 다른 방법을 포함할 수 있다.

컴퓨팅 디바이스(210)의 하나 이상의 통신 유닛(242)은 하나 이상의 네트워크상에서 네트워크 신호를 송신 및/또는 수신함으로써 하나 이상의 유선 및/또는 무선 네트워크를 통해 외부 디바이스와 통신할 수 있다. 통신 유닛(242)의 예는 네트워크 인터페이스 카드(예를 들어, 이더넷 카드), 광 송수신기, 무선 주파수 송수신기, GPS(global positioning satellite) 수신기, 또는 정보를 송신 및/또는 수신할 수 있는 임의의 다른 유형의 디바이스를 포함한다. 통신 유닛(242)의 다른 예는 단파 라디오, 셀룰러 데이터 라디오, 무선 네트워크 라디오 및 범용 직렬 버스(USB) 제어기를 포함할 수 있다.

컴퓨팅 디바이스(210)의 하나 이상의 입력 컴포넌트(244)는 입력을 수신할 수 있다. 입력의 예는 촉각, 오디오 및 비디오 입력이다. 일 예에서, 컴퓨팅 디바이스(210)의 입력 컴포넌트(244)는 존재 감지 입력 디바이스(예를 들어, 터치 감지 스크린, PSD), 마우스, 키보드, 음성 응답 시스템, 비디오 카메라, 마이크로폰 또는 사람 또는 기계로부터의 입력을 검출하기 위한 임의의 다른 유형의 디바이스를 포함한다. 일부 예에서, 입력 컴포넌트(244)는 하나 이상의 위치 센서(예를 들어, GPS 컴포넌트), 하나 이상의 온도 센서, 하나 이상의 움직임 센서(예를 들어, 가속도계, 자이로), 하나 이상의 압력 센서 및 하나 이상의 다른 센서(예를 들어, 마이크로폰, 광학 이미지 센서, 적외선 근접 센서 등과 같은 오디오 센서)와 같은 하나 이상의 센서 컴포넌트를 포함할 수 있다. 다른 센서는 몇몇 다른 비 제한적인 예를 언급하기 위해 심박 센서, 자력계, 포도당 센서, 습도계 센서, 후각 센서, 나침반 센서, 스텝 카운터 센서를 포함할 수 있다.

컴퓨팅 디바이스(110)의 하나 이상의 출력 컴포넌트(246)는 출력을 생성할 수 있다. 출력의 예는 촉각, 오디오 및 비디오 출력이다. 일 예에서, 컴퓨팅 디바이스(210)의 출력 컴포넌트(246)는 PSD, 사운드 카드, 비디오 그래픽 어댑터 카드, 스피커, 음극선 관(CRT) 모니터, 액정 디스플레이(LCD), 또는 인간이나 기계로 출력을 생성하기 위한 임의의 다른 유형의 디바이스를 포함한다.

컴퓨팅 디바이스(210)의 UIC(212)는 컴퓨팅 디바이스(110)의 UIC(112)와 유사할 수 있고 출력 컴포넌트(202) 및 입력 컴포넌트(204)를 포함한다. 출력 컴포넌트(202)는 UIC(212)에 의해 정보가 디스플레이되는 스크린과 같은 디스플레이 컴포넌트일 수 있고, 입력 컴포넌트(204)는 출력 컴포넌트(202)에서 및/또는 근처에서 객체를 검출하는 존재-감지형 입력 컴포넌트일 수 있다. 출력 컴포넌트(202) 및 입력 컴포넌트(204)는 스피커 및 마이크로폰 쌍 또는 입력 컴포넌트(244) 및 출력 컴포넌트(246)와 같은 하나 이상의 입력 및 출력 컴포넌트의 임의의 다른 조합일 수 있다. 도 2의 예에서, UIC(212)는 (도 1의 사용자 인터페이스(114)와 같은) 사용자 인터페이스를 제시할 수 있다.

컴퓨팅 디바이스(210)의 내부 컴포넌트로서 도시되어 있지만, UIC(212)는 입력 및 출력을 전송 및/또는 수신하기 위해 컴퓨팅 디바이스(210)와 데이터 경로를 공유하는 외부 컴포넌트를 제시할 수도 있다. 예를 들어, 일 예에서, UIC(212)는 컴퓨팅 디바이스(210)의 외부 패키징(예를 들어, 휴대 전화의 스크린) 내에 위치하고 외부 패키징에 물리적으로 연결된 컴퓨팅 디바이스(210)의 빌트-인 컴포넌트를 나타낸다. 다른 예에서, UIC(212)는 컴퓨팅 디바이스(210)의 패키징 또는 하우징(예를 들어, 컴퓨팅 디바이스(210)과 유선 및/또는 무선 데이터 경로를 공유하는 모니터, 프로젝터 등) 외부에 위치하고 그와 물리적으로 분리된 컴퓨팅 디바이스(210)의 외부 컴포넌트를 나타낸다.

컴퓨팅 디바이스(210) 내의 하나 이상의 저장 컴포넌트(248)는 컴퓨팅 디바이스(210)의 동작 동안 처리를 위한 정보를 저장할 수 있다(예를 들어, 컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)에서 실행되는 동안 모듈(220, 222 및 226) 및 데이터 저장소(224)에 의해 액세스된 데이터를 저장할 수 있다). 일부 예들에서, 저장 컴포넌트(248)는 임시 메모리이며, 이는 저장 컴포넌트(248)의 주요 목적이 장기 저장이 아님을 의미한다. 컴퓨팅 디바이스(210)상의 저장 컴포넌트(248)는 휘발성 메모리로서 정보의 단기 저장을 위해 구성될 수 있고, 따라서 전원이 꺼지는 경우 저장된 컨텐츠를 유지하지 않을 수 있다. 휘발성 메모리의 예는 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM) 및 당 업계에 공지된 다른 형태의 휘발성 메모리를 포함한다.

일부 예에서, 저장 컴포넌트(248)는 또한 하나 이상의 컴퓨터 판독 가능 저장 매체를 포함한다. 일부 예에서 저장 컴포넌트(248)는 하나 이상의 비-일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 저장 컴포넌트(248)는 휘발성 메모리에 의해 전형적으로 저장된 것보다 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 컴포넌트들(248)은 또한 비-휘발성 메모리 공간으로서 정보를 장기간 저장하고 전원 온/오프 사이클 후에 정보를 유지하도록 구성될 수 있다. 비-휘발성 메모리의 예는 자기 하드 디스크, 광 디스크, 플로피 디스크, 플래시 메모리, 또는 EPROM (Electrical Programmable Memory) 또는 EEPROM(Electrically Erasable and Programmable) 메모리의 형태를 포함한다. 저장 컴포넌트(248)는 모듈(220, 222 및 226) 및 데이터 저장소(224)와 관련된 프로그램 명령 및/또는 정보(예를 들어, 데이터)를 저장할 수 있다. 저장 컴포넌트(248)는 모듈(220, 222 및 226) 및 데이터 저장소(224)와 관련된 데이터 또는 다른 정보를 저장하도록 구성된 메모리를 포함할 수 있다.

하나 이상의 프로세서(240)는 기능을 구현할 수 있고 및/또는 컴퓨팅 디바이스(210)와 관련된 명령을 실행할 수 있다. 프로세서(240)의 예는 애플리케이션 프로세서, 디스플레이 컨트롤러, 보조 프로세서, 하나 이상의 센서 허브, 및 프로세서, 프로세싱 유닛 또는 프로세싱 디바이스로서 기능하도록 구성된 임의의 다른 하드웨어를 포함한다. 모듈(220, 222 및 226)은 컴퓨팅 디바이스(210)의 다양한 액션, 동작 또는 기능을 수행하기 위해 프로세서(240)에 의해 동작 가능할 수 있다. 예를 들어, 컴퓨팅 디바이스(210)의 프로세서(240)는 프로세서(240)로 하여금 동작 모듈(220, 222 및 226)을 수행하게 하는 저장 컴포넌트(248)에 의해 저장된 명령들을 검색하고 실행할 수 있다. 명령들은 프로세서(240)에 의해 실행될 때 컴퓨팅 디바이스(210)로 하여금 예를 들어 데이터 저장소(224)에서 저장 컴포넌트(248) 내에 정보를 저장하게 할 수 있다.

UI 모듈(220)은 도 1의 모든 기능 UI 모듈(120)을 포함할 수 있으며, 컴퓨팅 디바이스(210)의 일부로서 어시스턴트를 실행하기 위한 UI 모듈(120)과 유사한 동작들을 수행할 수 있다. UI 모듈(220)은 UIC(212) 및 컴퓨팅 디바이스(210)의 다른 컴포넌트와의 사용자 상호 작용을 관리할 수 있다. UI 모듈(220)은 컴퓨팅 디바이스(210)의 사용자가 출력을 보고 및/또는 UIC(212)에서 입력을 제공함에 따라 UIC(212)가 사용자 인터페이스를 출력하게 할 수 있다.

사용자 정보 데이터 저장소(224)는 도 1의 사용자 정보 데이터 저장소(124A)의 예이다. 사용자 정보 데이터 저장소(224)는 컴퓨팅 디바이스(210)의 개별 사용자 및/또는 다른 컴퓨팅 디바이스(예를 들어, 도 1의 컴퓨팅 디바이스(116))의 사용자들과 관련된 하나 이상의 사용자 프로필을 포함할 수 있다. 일부 예들에서, 사용자 프로필은 사용자로부터 허가를 받아 획득된 사용자 정보를 포함할 수 있다. 예를 들어, 각각의 사용자 프로필은 사용자와 어시스턴트 간의 대화 또는 상호 작용 동안 획득된 정보를 포함할 수 있다. 각각의 사용자 프로필은 사용자의 관심사 및/또는 사용자 선호도를 나타내는 정보를 포함할 수 있다. 사용자 프로필은 사용자 상호 작용 데이터를 포함할 수 있으며, 이는 사용자가 어시스턴트로 하여금 특정 동작을 수행하게 하는 시기 및/또는 정도를 나타낼 수 있다. 일부 예에서, 사용자 프로필은 지리적 위치(예를 들어, 사용자가 거주하는 도시, 주 또는 국가), 사용자의 연령, 직업 등과 같이 사용자와 관련된 인물 정보 (biographical information)를 포함할 수 있다.

애플리케이션 모듈(226)은 사용자에게 정보를 제공하고 및/또는 태스크 또는 액션을 수행하기 위해 컴퓨팅 디바이스(210)에 의해 실행될 수 있고 어시스턴트에 의해 액세스될 수 있는 다양한 개별 애플리케이션 및 서비스를 나타낸다. 애플리케이션 모듈(226)의 예는 피트니스 애플리케이션, 캘린더 애플리케이션, 검색 애플리케이션, 지도, 교통 또는 내비게이션 애플리케이션, 여행 애플리케이션(예를 들어, 계획, 예약, 발권 등), 소셜 미디어 애플리케이션, 게임 애플리케이션, 전자 메일 애플리케이션, 채팅 또는 메시징 애플리케이션, 인터넷 브라우저 애플리케이션, 또는 컴퓨팅 디바이스(210)에서 실행될 수 있는 임의의 다른 애플리케이션을 포함한다. 어시스턴트 모듈(222)과 같은 컴퓨팅 디바이스(210)에서 실행되는 어시스턴트는 애플리케이션(226)으로 하여금 그 어시스턴트와 관련된 액션들을 수행하기 위한 명령을 실행하게 할 수 있다. 다시 말해, 어시스턴트는 애플리케이션 모듈(226)에 의존하여 그 어시스턴트를 대신하여 하나 이상의 액션을 수행할 수 있다.

어시스턴트 모듈(222)은 도 1의 어시스턴트 모듈(122)의 모든 기능을 포함할 수 있고, 컴퓨팅 디바이스(210)의 일부로서 어시스턴트를 실행하고 사용자 정보 데이터 저장소(224)에서 사용자 정보를 유지 및 액세스하기 위한 어시스턴트 모듈(122)과 유사한 동작들을 수행할 수 있다. 일부 예에서, 어시스턴트 모듈(222)은 어시스턴트 기능을 제공하기 위해 로컬로(예를 들어, 프로세서(240)에서) 실행될 수 있다. 일부 예들에서, 어시스턴트 모듈(222)은 컴퓨팅 디바이스(210)에 액세스 가능한 원격 어시스턴트 서비스에 대한 인터페이스로서 작용할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 도 1의 디지털 어시스턴트 서버(160)의 어시스턴트 모듈(122B)에 대한 인터페이스 또는 애플리케이션 프로그래밍 인터페이스(API)일 수 있다.

어시스턴트 모듈(222)은 스케쥴링된 이벤트(예를 들어, 캘린더 이벤트, 알람 등)의 발생, 서전 결정된 통지의 수신, 또는 커맨드(예를 들어,제스처 또는 가청 커맨드)의 수신과 같은 트리거링 이벤트에 응답하여 액션 그룹을 실행하도록 구성될 수 있다. 예를 들어, 어시스턴트 모듈(222)은 특정(예를 들어, 가청) 커맨드와 관련된 루틴의 일부인 액션 그룹을 실행하도록 구성될 수 있다.

일 예로서, 아침 루틴은 "헤이 컴퓨터, 하루를 시작하자"와 같은 가청 커맨드와 관련될 수 있으며, 아침 루틴으로 수행되는 액션 그룹은 뉴스 정보 및 트래픽 정보를 출력하는 것과 커피 한 잔을 추출하는 것을 포함할 수 있다. 오후 루틴은 "컴퓨터, 나 퇴근할 거야"라는 가청 커맨드와 관련될 수 있으며, 오후 루틴은 교통 정보 및 캘린더 정보(예를 들어, 그날 저녁 후속 이벤트에 대한)를 출력하는 것을 포함할 수 있다. 저녁 루틴은 "오케이 컴퓨터, 내일 무슨 일이 있지?"라는 가청 커맨드와 관련될 수 있고, 저녁 루틴으로 수행되는 액션 그룹은 (다음 날을 위해) 캘린더 정보를 출력하는 것과 (이른 아침 미팅에 기초하여) 알람을 조정하는 것을 포함할 수 있다.

루틴의 일부로서 실행되는 각각의 액션 그룹은 하나 이상의 가청 커맨드와 관련될 수 있다. 가청 커맨드는 어시스턴트 모듈(222)로부터의 응답을 요구하거나 요구하지 않을 수 있다. 예를 들어, 어시스턴트 모듈(222)은 "헤이 안녕, 내 일과에 대해 말해줘"와 같은 응답을 요청하는 가청 커맨드를 수신한 것에 응답하여 액션 그룹을 실행하도록 구성될 수 있다. 유사하게, 어시스턴트 모듈(222)은 "헤이 컴퓨터, 나 출근 중이야"와 같은 응답에 대한 요청을 포함하지 않는 가청 커맨드를 수신한 것에 응답하여 액션 그룹을 실행하도록 구성될 수 있다.

어시스턴트 모듈(222)은 특정 커맨드와 관련된 디폴트 액션 그룹을 실행하도록 구성될 수 있다. 일부 예에서, 디폴트 액션 그룹은 어시스턴트를 이용하는 모든 사용자와 관련되고, 다른 예에서, 특정 커맨드와 관련된 디폴트 액션 그룹은 사용자들의 서브 세트(예를 들어, 컴퓨팅 디바이스(210, 110 및/또는 116)의 사용자들)와만 관련될 수 있다. 예를 들어, 어시스턴트 모듈(222)은 사용자의 제 1 서브 세트에 대한 특정 커맨드와 관련된 제 1 그룹의 디폴트 액션 및 사용자의 제 2(예를 들어, 제 1과 다른) 서브 세트에 대한 동일 커맨드와 관련된 제 2 그룹의 디폴트 액션을 결정할 수 있다.

일부 예들에서, 어시스턴트 모듈(222)은 사용자들을 다양한 서브 세트로 그룹화한다. 예를 들어, 어시스턴트 모듈(222)은 서로 유사한 유형의 사용자를 포함하는 것으로 사용자의 서브 세트를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 컴퓨팅 디바이스(210, 110 및/또는 116)의 사용자 그룹이 사용자 정보 데이터 저장소(예를 들어, 데이터 저장소(224))에 저장된 하나 이상의 사용자 프로필에 기초하여 유사하다고 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 개별 사용자와 관련된 사용자 프로필이 사용자가 유사한 지리적 영역(예를 들어, 도시, 주, 국가)에서 왔고, 유사한 관심사를 가지고 있고, 동일한 언어를 말하고, 동일한 연령 그룹내에 있고, 유사한 직업을 갖고 있으며, 컴퓨팅 디바이스(210, 116)가 유사한 액션을 수행하도록 나타낸다는 결정에 응답하여 사용자 그룹이 유사하다고 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 제 1 유형의 사용자는 영국에 거주하는 사용자들을 포함하고 제 2 유형의 사용자는 프랑스에 거주하는 사용자들을 포함한다고 결정할 수 있다.

어시스턴트 모듈(222)은 상이한 유형의 사용자가 상이한 유형의 루틴과 관련되어 있다고 결정할 수 있다. 일부 예에서, 어시스턴트 모듈(222)은 (예를 들어, 사용자 프로필에 저장된 정보에 기초하여) 제 1 유형의 사용자(예를 들어, 집 밖에서 일하는 사람)가 아침 루틴(예를 들어, 출근 전에 수행되는 액션 그룹), 오후 루틴(예를 들어, 퇴근 전에 수행되는 액션 그룹) 및 저녁 루틴(예를 들어, 다음 날 준비를 위해 수행되는 액션 그룹)과 관련되어 있다고 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 제 1 유형의 사용자가 컴퓨팅 디바이스(210) 또는 다른 어시스턴트 작동 컴퓨팅 디바이스로 하여금 아침, 오후 및 저녁에 다양한 액션을 수행하게 하는 것을 자주 결정할 수 있다. 유사하게, 어시스턴트 모듈(222)은 제 2 유형의 사용자(예를 들어, 집에 머무르는 부모)가 아침 루틴, 점심 루틴, 쇼핑 루틴, 놀이 시간 루틴 등과 관련되어 있다고 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 제 2 유형의 사용자가 컴퓨팅 디바이스(210) 또는 다른 어시스턴트 작동 컴퓨팅 디바이스로 하여금 아침, 오전 중반(mid-morning), 정오(mid-day), 오후 중반, 및 저녁에 다양한 동작을 액션을 수행하게 하는 것을 자주 결정할 수 있다. 어시스턴트 모듈(222)은 각각의 루틴이 상이한 명령과 관련되어 있고 각각의 명령과 관련된 액션을 포함한다고 결정할 수 있다.

일부 예들에서, 어시스턴트 모듈(222)은 특정 커맨드와 관련된 디폴트 액션 그룹을 결정한다. 디폴트 액션 그룹은 컴퓨팅 디바이스(210, 110, 116)의 모든 사용자와 관련되거나 특정 유형의 유사한 사용자들과 관련될 수 있다. 특정 커맨드와 관련된 디폴트 액션 그룹은 정보를 출력하기 위한 하나 이상의 액션(예를 들어, 사람이 소비하기 위해 시각적 또는 청각 적으로), 태스크를 수행하기 위한 하나 이상의 액션, 또는 하나 이상의 다른 유형의 액션 또는 조합을 포함할 수 있다. 태스크의 예는 커피 한 잔 추출, 조명 켜기/끄기, 차고 문 열기 또는 닫기, 온도 조절기 조정, 쇼 녹화, 음악 재생, 주문하기, 전자 목록 작성 또는 주석 달기, 또는 어시스턴트가 사용자 인터페이스를 통해 정보를 출력하는 것 이외(예를 들어, 인간 소비를 위한 정보를 출력하는 것 이외)를 수행할 수 있는 임의의 다른 가능한 액션을 포함할 수 있다.

일부 예들에서, 어시스턴트 모듈(222)은 미리 프로그래밍된 액션 그룹을 검색하기 위해 저장 디바이스(248)에 질의함으로써 디폴트 액션 그룹을 결정한다. 미리 프로그램된 액션 그룹은 팩토리에서 프로그래밍되거나 소프트웨어 개발자로부터 소프트웨어 업데이트의 일부로서 수신될 수 있다.

어시스턴트 모듈(222)은 기계 학습 기술에 의해 생성된 모델을 이용함으로써 특정 커맨드와 관련된 디폴트 액션 그룹을 결정할 수 있다. 모델을 생성하기 위해 이용될 수 있는 예시적인 기계 학습 기술은 지도 학습, 비지도 학습 및 반-지도 학습과 같은 다양한 학습 스타일을 포함할 수 있다. 이러한 기술을 통해 생성된 모델 유형의 예로는 베이지안 모델, 클러스터링 모델, 의사 결정 트리 모델, 정규화 모델, 회귀 모델, 인스턴스 기반 모델, 인공 신경망 모델, 딥 러닝 모델, 차원 축소 모델 등이 있다.

일부 예들에서, 어시스턴트 모듈(222)은 그 모델을 하나 이상의 입력에 적용하여 디폴트 액션 그룹을 출력한다. 사용자로부터 명시적인 동의를 받은 후, 어시스턴트 모듈(222)은 그 모델을 사용자 정보(예를 들어, 데이터 저장소(224) 및/또는 데이터 저장소(124)에 저장된 하나 이상의 사용자 프로필로부터의)에 적용하여, 컴퓨팅 디바이스(210)의 사용자가 컴퓨팅 디바이스(210)로 하여금 수행하게 할 가능성이 있는 액션들을 식별할 수 있다.

일부 경우에, 디폴트 액션 그룹은 다른 시나리오나 컨텍스트에서 가장 자주 나타나는 액션을 포함한다. 예를 들어, 어시스턴트 모듈(222)은 모델을 적용하여, 컴퓨팅 디바이스(210)에 의해 자주 수행되는 액션, 컴퓨팅 디바이스(210)의 개별 사용자와 관련된 다른 컴퓨팅 디바이스에 의해 수행된 액션 및 다른 사용자와 관련된 컴퓨팅 디바이스(예를 들어, 도 1의 컴퓨팅 디바이스(116))에 의해 수행되는 액션을 결정할 수 있다. 예를 들어, 모델은 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(210, 110, 116)의 사용자의 85%가 아침에 날씨 정보를 요청하고, 사용자의 80%가 아침에 교통 정보를 요청하고, 사용자의 30%가 아침에 커피를 추출하는 것을 나타내는 사용자 정보에 대해 트레이닝될 수 있다. 어시스턴트 모듈(222)은 액션이 얼마나 자주 수행되는지를 임계 사용량(예를 들어, 사용자의 50%)과 비교할 수 있다. 일부 예들에서, 어시스턴트 모듈(222)은 디폴트 액션 그룹이 그 액션의 사용량이 임계 사용량을 만족시키는(예를 들어, 그 이상) 액션을 포함하는 것으로 결정한다. 따라서, 일부 경우에서, 어시스턴트 모듈(222)은 특정 커맨드(예를 들어, "헤이 컴퓨터, 내 일과에 대해 말해줘")와 관련된 루틴(예를 들어, 아침 루틴)이 교통 정보를 출력하기 위한 액션과 날씨 정보를 출력하기 위한 액션을 포함하고, 커피를 추출하기 위한 액션을 포함하지 않을 수 있다고 결정할 수 있다.

일부 예들에서, 디폴트 액션 그룹은 서로 관련된 액션들을 포함한다. 2개 이상의 액션은 사용자가 거의 동시에 그 2개 이상의 액션을 수행할 때 및/또는 컴퓨팅 디바이스로 하여금 거의 동시에 그 2개 이상의 액션을 수행하게 할 때 서로 관련될 수 있다. 어시스턴트 모듈(222)은 개별 사용자의 임계량(예를 들어, 모든 사용자들의 임계량 또는 유사한 사용자들의 특정 서브 세트의 임계량)이 개별 사용자 각각과 관련된 컴퓨팅 디바이스로 하여금 거의 동시에(예를 들어, 날씨 정보를 요청하는 임계 시간 윈도우 내에) 2개 이상의 액션을 수행하게 하는 결정에 응답하여 2개 이상의 액션이 서로 연관되어 있고 디폴트 액션 그룹의 일부라고 결정할 수있다. 다시 말해, 어시스턴트 모듈(222)은 사용자들의 임계량이 하나 이상의 개별 컴퓨팅 디바이스로 하여금 각각의 액션을 수행하게 할 때 2개 이상의 액션이 서로 관련되어 있다고 결정할 수 있다. 예를 들어, 모델은 사용자의 65%가 아침에 날씨 및 교통 정보 모두를 요청한다는 것을 나타내는 사용자 정보에 대해 트레이닝될 수 있다. 따라서, 이러한 예들에서, 어시스턴트 모듈(222)은 특정 커맨드(예를 들어, "헤이 컴퓨터, 내 일과에 대해 말해줘")와 관련된 루틴(예를 들어, 아침 루틴)이 트래픽 정보를 출력하기 위한 액션과 날씨 정보를 출력하기 위한 액션을 포함한다고 결정할 수 있다.

일부 예들에서, 어시스턴트 모듈(222)은 특정 사용자 및 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할지 여부를 결정한다. 어시스턴트 모듈(222)은 사용자 정보 데이터 저장소(224)에 저장되고 특정 사용자와 관련된 사용자 프로필에 적어도 부분적으로 기초하여 액션 그룹을 커스터마이즈할지 여부를 결정할 수 있다. 일부 예들에서, 사용자 프로필은 어시스턴트 모듈(222)이 사용자로부터의 명시적 및/또는 암시적 피드백에 기초하여 특정 사용자 및 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할지 여부를 결정할 수 있도록, 사용자로부터의 명시적 및/또는 암시적 피드백의 하나 이상의 표시를 포함한다. 예를 들어, 사용자 프로필은 커스텀 액션 그룹에 하나 이상의 액션을 포함하고 및/또는 포함하는 것을 억제하기 위한 명시적 커맨드와 같은 명시적 피드백의 표시를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(210)는 어시스턴트 모듈(222)이 해당 커맨드와 관련된 액션 그룹을 커스터마이즈해야한다고 어시스턴트 모듈(222)이 결정할 수 있도록 명시적 커맨드(예를 들어, "헤이 컴퓨터, 내가 일과를 물을 때 뉴스를 말하지 마")를 수신할 수 있다. 따라서, 일부 예들에서, 어시스턴트 모듈(222)은 사용자가 뉴스 정보에 관심이 없다는 것을 나타내기 위하여 특정 사용자와 관련된 사용자 프로필을 업데이트할 수 있다. 어시스턴트 모듈(222)은 그 특정 커맨드와 관련된 액션 그룹이 뉴스 정보를 포함하지 않아야 함을 나타내거나 (예를 들어, 그 커맨드에 관계없이) 특정 사용자와 관련된 어느 액션 그룹도 뉴스 정보를 포함하지 않아야 함을 나타내도록 사용자 프로필을 업데이트할 수 있다.

일부 예들에서, 어시스턴트 모듈(222)은 특정 액션에 관한 명시적 피드백에 대한 요청을 포함하는 통지(예를 들어, 가청 메시지)를 출력할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 새로운 액션이 특정 사용자와 관련된 하나 이상의 컴퓨팅 디바이스에 이용 가능하다는 표시를 수신할 수 있고 사용자로부터 명시적 피드백을 요청할 수 있다. 특정 애플리케이션 모듈(226)의 개발자는 특정 애플리케이션 모듈(226)에 특징(feature)을 추가하여 컴퓨팅 디바이스(210)가 특정 커맨드를 수신하는 것에 응답하여 새로운 동작을 수행할 수 있게 한다. 컴퓨팅 디바이스 제조자(예를 들어, 지능형 온도 조절기 제조자)는 컴퓨팅 디바이스에 새로운 특징을 추가할 수 있다. 어시스턴트 모듈(222)은 (예를 들어, 애플리케이션 개발자 또는 디바이스 제조자로부터) 새로운 액션의 표시를 수신할 수 있고, 그 새로운 액션의 표시를 수신하는 것에 응답하여 특정 커맨드 및 특정 사용자와 관련된 액션 그룹을 커스터마이즈하기로 결정할 수 있다. .

(온도 조절기를 원격으로 조정하는) 새로운 액션이 사용자와 관련된 차량에 대해 존재한다는 결정에 응답하여, 어시스턴트 모듈(222)은 새로운 액션을 나타내고 사용자에게 추가 명령을 요청하는 통지를 출력할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 출력 디바이스(예를 들어, 스피커)로 하여금 "차의 온도를 조절할 수 있음을 알고 있습니까? 당신의 오후 루틴의 일부로서 AC를 켜시겠습니까?"라는 메시지를 출력하게 할 수 있다. 새로운 액션을 액션 그룹(예를 들어, 특정 루틴과 관련된 액션 그룹)에 추가하기 위한 커맨드를 수신하는 것에 응답하여, 어시스턴트 모듈(222)은 그 새로운 액션을 포함하도록 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 "헤이 컴퓨터, 5분 후에 퇴근할거야"라는 커맨드와 관련된 커스텀 액션 그룹이 차량 캐빈 내부의 온도를 조절하는 것과 같이 차량과 관련된 하나 이상의 액션을 실행하는 것을 포함한다고 결정할 수 있다.

일부 경우에서, 어시스턴트 모듈(222)은 반복되는 사용자 상호 작용과 같은 암시적 피드백에 기초하여 특정 커맨드 및 특정 사용자와 관련된 액션 그룹을 커스터마이즈할지 여부를 결정할 수 있다. 예를 들어, 사용자 정보 데이터 저장소(예를 들어, 데이터 저장소(224))는 특정 사용자 명령 어시스턴트 모듈(222)(또는 특정 사용자와 관련된 다른 컴퓨팅 디바이스상의 어시스턴트 모듈)이 다양한 액션을 수행하는 정도를 나타내는 특정 사용자와 관련된 사용자 프로필을 포함할 수 있다. 특정 사용자로부터 적어도 임계 횟수(또는 특정 시간 주기내의 적어도 임계 횟수)만큼 특정 커맨드의 표시를 수신하는 것에 응답하여, 어시스턴트 모듈(222)은 특정 커맨드와 관련된 액션 그룹을 커스터마이즈하기로 결정할 수 있다. 다시 말해, 어시스턴트 모듈(222)은 특정 사용자로부터 적어도 임계 횟수만큼 특정 커맨드를 수신한 후 특정 커맨드 및 특정 사용자와 관련된 액션 그룹을 커스터마이즈하기로 결정할 수 있다.

어시스턴트 모듈(222)은 특정 사용자와 이전에 관련되지 않은 컴퓨팅 디바이스가 이제 그 특정 사용자와 관련되어 있다는 결정에 응답하여 특정 커맨드 및 특정 사용자와 관련된 액션 그룹을 커스터마이즈할 수 있다. 일부 예에서, 특정 사용자는 어시스턴트 모듈을 포함하는 컴퓨팅 디바이스를 갖는 차량을 구매할 수 있어서, 어시스턴트 모듈(222)은 특정 사용자와 관련된 컴퓨팅 디바이스 그룹이 새로운 차량을 포함함을 나타내도록 특정 사용자에 대응하는 사용자 프로필을 업데이트할 수 있다. 이들 예에서, 어시스턴트 모듈(222)은 사용자가 어시스턴트 작동 차량과 관련되어 있다고 결정하는 것에 응답하여 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할 수 있다. 따라서, 일부 경우, 어시스턴트 모듈(222)은 차량과 관련된 액션들을 그 액션 그룹에 추가함으로써(예를 들어, 차량의 원격 시동, 캐빈 온도 조절 등) "컴퓨터, 나 출근한다"라는 커맨드와 관련된 액션 그룹을 커스터마이즈할 수 있다.

일부 예들에서, 어시스턴트 모듈(222)은 통지를 수신하는 것에 응답하여 액션 그룹을 커스터마이즈한다. 예를 들어, 어시스턴트 모듈(222)은 다른 컴퓨팅 디바이스(예를 들어, 특정 사용자와 관련된 어시스턴트 작동 컴퓨팅 디바이스)로부터 또는 컴퓨팅 디바이스(210)에서 실행되거나 컴퓨팅 디바이스(210)로부터 액세스 가능한 애플리케이션 또는 서비스로부터 통지를 수신할 수 있고, 통지를 수신하는 것에 응답하여 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할 수 있다. 예를 들어, 주방 홈 어시스턴트 디바이스는 컴퓨팅 디바이스(210)의 사용자의 아내로부터 커맨드(예를 들어, "컴퓨터, 집으로 가는 길에 우유를 사라고 남편에게 말해 줘")라는 커맨드를 수신할 수 있다. 컴퓨팅 디바이스(210)의 어시스턴트 모듈(222)은 그 커멘드를 수신하는 것에 응답하여 오후 루틴과 관련된 액션 그룹을 커스터마이즈할 수 있다. 다른 예로서, 컴퓨팅 디바이스(210)는 통지(예를 들어, 텍스트 메시지)를 수신할 수 있고 그 통지의 표시를 사용자 프로필에 저장할 수 있다. 예를 들어, 컴퓨팅 디바이스(210)는 "집으로 가는 길에 우유를 사시겠습니까?"라는 메시지를 포함하는 문자 메시지를 수신할 수 있고, 우유를 사라는 리마인더(reminder)를 사용자 프로파필에 추가할 수 있다. 따라서, 어시스턴트 모듈(222)은 우유를 사라는 리마인더를 포함하는 통지 또는 메시지를 출력하는 것을 포함하도록 오후 루틴(예를 들어, "헤이 컴퓨터, 집에 갈 준비를 하자")에 대한 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할 수 있다.

일부 예에서, 어시스턴트 모듈(222)은 특정 커맨드 및 특정 사용자와 관련된 커스텀 액션 그룹을 결정한다. 예를 들어, 어시스턴트 모듈(222)은 새로운 커스텀 액션 그룹을 생성하고 및/또는 특정 사용자(예를 들어, 및 특정 루틴)와 관련된 하나 이상의 액션을 포함하도록 기존 커스텀 액션 그룹을 업데이트할 수 있다.

어시스턴트 모듈(222)은 액션에 관련성 스코어를 결정 및 할당하고, 그 관련성 스코어를 관련성 임계값과 비교함으로써 특정 액션이 특정 사용자와 관련이 있는지 여부를 결정한다. 특정 액션에 대한 관련성 스코어는 사용자가 어시스턴트 모듈(222)로 하여금 액션을 수행하게 할 확률을 나타낼 수 있다. 어시스턴트 모듈(222)은 특정 액션(예를 들어, 날씨 정보 출력하기)이 그 액션에 대응하는 관련성 스코어가 관련성 임계값을 만족할 때(예를 들어, 크거나 같을 때) 사용자와 관련이 있다고 결정할 수 있다.

어시스턴트 모듈(222)은 기존의 디폴트 액션 그룹을 수정 또는 업데이트함으로써 커스텀 액션 그룹을 생성할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 특정 커맨드와 관련된 디폴트 액션 그룹으로부터 각각의 액션에 관련성 스코어를 할당하여, 디폴트 액션 그룹의 액션 중 임의의 액션이 특정 사용자와 관련이 있는지 여부(예를 들어, 관련성 임계값을 만족시킴으로써)를 결정하고 따라서 커스텀 액션 그룹에 포함되어야 한다고 결정할 수 있다. 일부 경우에, 어시스턴트 모듈(222)은 디폴트 액션 그룹에 아직 포함되지 않은 하나 이상의 액션에 관련성 스코어를 할당할 수 있다. 어시스턴트 모듈(222)은 관련성 임계값을 만족하고 특정 커맨드 또는 루틴과 관련되는 관련성 스코어를 갖는 디폴트 그룹으로부터의 또는 디폴트 그룹으로부터가 아닌 임의의 액션들을 조합함으로써 커스텀 액션 그룹을 생성할 수 있다. 이러한 방식으로, 커스텀 액션 그룹에 포함된 액션들은 커맨드와 관련된 디폴트 액션 그룹의 하나 이상의 액션 및/또는 반드시 디폴트 액션 그룹의 일부가 아닌 하나 이상의 액션을 포함할 수 있다.

어시스턴트 모듈(222)은 명시적인 사용자 피드백에 기초하여 관련성 스코어를 할당할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 명시적인 커맨드(예를 들어, "헤이 컴퓨터, 내가 일과에 대해 물을 때 뉴스는 말하지 마")를 수신할 수 있고, 그 커맨드와 관련된 액션(예를 들어, 그 커멘드에 의해 식별된 액션)에 관련성 스코어(예를 들어, 100 만점에 0)를 할당할 수 있다. 일부 예들에서, 어시스턴트 모듈(222)은 데이터 저장소(224)에 저장된 사용자 프로필 내의 사용자 상호 작용 데이터에 기초하여 개별 액션에 관련성 스코어를 할당한다. 예를 들어, 어시스턴트 모듈(222)은 사용자가 컴퓨팅 디바이스(210)로 하여금 그 액션을 수행하게 할수록 특정 액션에 더 높은 관련성 스코어를 할당할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 사용자가 컴퓨팅 디바이스(210)로 하여금 일주일에 여러 번 액션을 실행하게 하면 그 특정 액션에 높은 관련성 스코어(예를 들어, 100 만점에 90)를 할당할 수 있고, 사용자가 컴퓨팅 디바이스(210)로 하여금 일주일에 한 번 그 액션을 실행하게 하면 중간 관련성 스코어(예를 들어, 100 만점에 50) 및 사용자가 컴퓨팅 디바이스(210)로 하여금 일주일에 한 번 미만 그 액션을 실행하게 하면 낮은 관련성 스코어(예를 들어, 100 만점에 20)를 할당할 수 있다. 어시스턴트 모듈(222)은 특정 액션에 대응하는 관련성 스코어가 관련성 임계값을 만족하는지(예를 들어, 크거나 같은지) 여부를 결정할 수 있고, 특정 액션에 대응하는 관련성 스코어가 관련성 임계값을 만족한다는 결정에 응답하여 커스텀 액션 그룹 내의 특정 액션을 포함할 수 있다.

일 예로, 어시스턴트 모듈(222)은 특정 사용자가 컴퓨팅 디바이스(210)로 하여금 사용자가 출근과 거의 동시에 집 온도 조절기를 자주(예를 들어, 매주 매일) 조정하게 한다는 것을 나타내는 정보를 데이터 저장소(224)가 포함한다고 결정할 수 있고, 그 사용 정보에 기초하여 상대적으로 높은(예를 들어, 100 만점에 90) 관련성 스코어를 할당할 수 있다. 따라서 이 예에서, 어시스턴트 모듈(222)은 (예를 들어, 아침 루틴에 대한 커맨드와 관련된 디폴트 액션 그룹이 온도 조절기 조정을 포함하지 않더라도) 그 커맨드 및 특정 사용자와 관련된 커스텀 액션 그룹이 온도 조절기 조정을 포함한다고 결정한다. 일부 예에서, 어시스턴트 모듈(222)은 대응하는 관련성 스코어가 관련성 임계값을 만족하지 않는다는 결정에 응답하여 커스텀 액션 그룹이 특정 액션(예를 들어, 디폴트 액션 그룹의 액션)을 포함하지 않는 것으로 결정한다. 예를 들어, 데이터 저장소(224)는 특정 사용자가 드물게(예를 들어, 한 달에 한 번) 컴퓨팅 디바이스(210)로 하여금 커피 한 잔을 추출하게 하는 것을 나타내는 정보를 포함할 수 있다. 어시스턴트 모듈(222)은 그 사용 정보에 기초하여 상대적으로 낮은(예를 들어, 100 만점에 10) 관련성 스코어를 할당할 수 있다. 따라서, 아침 루틴에 대한 커맨드와 관련된 디폴트 액션 그룹은 커피 추출을 포함할 수 있지만, 그 커맨드 및 특정 사용자와 관련된 커스텀 액션 그룹은 커피 추출을 포함하지 않을 수 있다.

일부 예들에서, 어시스턴트 모듈(222)은 사용자가 상호 작용하는 컴퓨팅 디바이스의 유형에 기초하여 커스텀 액션 그룹을 결정한다. 예를 들어, 어시스턴트 모듈(222)은 사용자가 상호 작용하는 컴퓨팅 디바이스의 유형에 기초하여 특정 액션에 대한 관련성 스코어를 결정할 수 있다. 예를 들어, 특정 사용자가 컴퓨팅 디바이스(210)와 상호 작용하는 경우, 어시스턴트 모듈(222)은 컴퓨팅 디바이스(210)가 특정 유형의 컴퓨팅 디바이스일 때 하나의 관련성 스코어를 특정 액션에 할당할 수 있고, 컴퓨팅 디바이스(210)가 상이한 유형의 컴퓨팅 디바이스일 때 다른 관련성 스코어를 동일한 액션에 할당할 수 있다. 일부 예에서, 사용자가 특정 유형의 컴퓨팅 디바이스(210)(예를 들어, 휴대 전화, 차량 헤드 유닛 등)와 상호 작용하는 경우, 어시스턴트 모듈(222)은 그 특정 유형의 컴퓨팅 디바이스가 수행하도록 구성된 액션들에 더 높은 관련성 스코어를 할당할 수 있다.

예를 들어, 특정 사용자가 컴퓨팅 디바이스(210)와 상호 작용하고 컴퓨팅 디바이스(210)가 차량 헤드 유닛을 포함하는 경우, 어시스턴트 모듈(222)은 교통 정보를 출력하기 위한 액션에 상대적으로 높은(예를 들어, 임계값보다 높은) 관련성 스코어를 할당할 수 있고, 커피 추출에 상대적으로 낮은(예를 들어, 임계값보다 낮은) 관련성 스코어를 할당할 수 있다. 따라서, 어시스턴트 모듈(222)은 "컴퓨터, 하루를 시작하자"라는 커맨드와 관련된 커스텀 액션 그룹이 교통 정보를 (예를 들어, 시각적으로) 출력하는 것은 포함하지만 컴퓨팅 디바이스(210)가 차량일 때 커피 메이커를 켜는 것은 포함하지 않는다고 결정할 수 있다. .

다른 예로서, 컴퓨팅 디바이스(210)가 주방 홈 어시스턴트 디바이스를 포함하는 경우, 어시스턴트 모듈(222)은 커피 추출에 상대적으로 높은(예를 들어, 임계값보다 낮은) 관련성 스코어를 할당할 수 있다. 따라서, 일부 경우에, 어시스턴트 모듈(222)은 특정 사용자 및 커맨드(예를 들어, "컴퓨터, 하루를 시작하자")와 관련된 커스텀 액션 그룹이 컴퓨팅 디바이스(210)가 주방 홈 어시스턴트 디바이스를 포함할 때 커피 메이커를 켜는 것을 포함하는 것으로 결정할 수 있다. 이러한 방식으로, 어시스턴트 모듈(222)은 컴퓨팅 디바이스(210)가 특정 유형의 컴퓨팅 디바이스일 때 커스텀 액션 그룹이 하나의 액션 그룹을 포함하고, 컴퓨팅 디바이스(210)가 상이한 유형의 컴퓨팅 디바이스일 때 다른 액션 그룹을 포함한다고 결정할 수 있다.

어시스턴트 모듈(222)은 특정 커맨드의 표시를 수신할 수 있다. 예를 들어, UIC(212)는 커맨드를 나타내는 키보드 입력, 제스처 입력 또는 가청 입력을 검출할 수 있고, 커맨드의 표시를 어시스턴트 모듈(222)로 전송할 수 있다. 일부 예들에서, 어시스턴트 모듈(222)은 통신 유닛(242)을 통해 다른(another) 컴퓨팅 디바이스(예를 들어, 지능형 락 또는 차고 문 오프너)로부터 특정 커맨드의 표시를 수신할 수 있다. 예를 들어, (예를 들어, 사용자가 직장에서 퇴근시에) 차고 문을 열기 위한 커맨드를 수신하는 것에 응답하여, 지능형 차고 문 오프너는 어시스턴트 모듈(222)이 그 문을 열기 위한 커맨드를 나타내는 통지를 수신할 수 있도록, 문을 열기 위한 커맨드를 나타내는 통지를 컴퓨팅 모듈(210)로 전송할 수 있다. 다른 예로서, 어시스턴트 모듈(222)은 "컴퓨터, 내 일과에 대해 말해줘"라는 가청 커맨드의 표시를 수신할 수 있다.

특정 커맨드의 표시를 수신하는 것에 응답하여, 어시스턴트 모듈(222)은 그 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정할 수 있다. 어시스턴트 모듈(222)은 생체 인식(예를 들어, 음성, 얼굴 또는 필기 인식)에 기초하여 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정할 수 있다. 예를 들어, 사용자 정보 데이터 저장소(224)는 특정 사용자에 대한 음성 지문을 포함할 수 있고, 그 가청 커맨드의 표시를 음성 지문과 비교하여 가청 커맨드가 특정 사용자에 의해 발화되었는지 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 발화된 커맨드가 특정 사용자에 대한 음성 지문에 대응한다는 결정에 응답하여 가청 커맨드가 특정 사용자에 의해 발화되었다고 결정할 수 있다. 어시스턴트 모듈(222)은 커맨드를 수신하기 전, 동안 및/또는 후에 하나 이상의 이미지를 캡처하여, 그 하나 이상의 이미지에 기초하여 커맨드가 특정 사용자로부터 발신(유래)되었는 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 적어도 하나의 캡처된 이미지에 대해 얼굴 인식을 수행하여, 적어도 하나의 캡처된 이미지가 특정 사용자의 이미지를 포함한다는 결정에 응답하여 커맨드가 특정 사용자로부터 발신된 것으로 결정할 수 있다.

커맨드가 특정 사용자로부터 발신되지 않았다는 결정에 응답하여, 어시스턴트 모듈(222)은 특정 커맨드와 관련된 디폴트 액션 그룹으로부터 하나 이상의 액션을 실행할 수 있다. 일부 예들에서, 어시스턴트 모듈(222)은 디폴트 액션 그룹으로부터 각각의 액션을 실행할 수 있다. 예를 들어, "헤이 컴퓨터, 오늘 밤에 대해 말해줘"라는 커맨드를 수신하는 것 및 그 커맨드가 특정 사용자로부터 발신되지 않았다고 결정하는 것(예를 들어, 어시스턴트 모듈(222)은 그 커맨드를 생성하는 음성이 미지의 사용자를 위한 것인지 결정할 수 있음)에 응답하여, 어시스턴트 모듈 222는 날씨 정보 및 그날 저녁에 발생하는 주변 활동들에 관한 정보를 출력할 수 있다.

커맨드가 특정 사용자로부터 발신된 것으로 결정하는 것에 응답하여, 어시스턴트 모듈(222)은 그 커맨드와 관련된 커스텀 액션 그룹이 특정 사용자에 대해 존재하는지 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 사용자 정보 데이터 저장소(예를 들어, 하나 이상의 데이터 저장소(224 및/또는 124))에 질의(query)하여, 데이터 저장소가 특정 사용자에 대한 커스텀 액션 그룹을 포함하는지 여부를 결정할 수 있다. 일부 예들에서, 어시스턴트 모듈(222)은 (예를 들어, w질의 결과에 기초하여) 특정 커맨드 및 특정 사용자와 관련된 커스텀 액션 그룹이 존재하지 않는 것으로 결정한다. 특정 커맨드 및 특정 사용자와 관련된 커스텀 액션 그룹이 존재하지 않는다는 결정에 응답하여, 어시스턴트 모듈(222)은 그 특정 커맨드와 관련된 디폴트 액션 그룹으로부터 적어도 하나의 액션을 실행할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 그 특정 커맨드 및 특정 유형의 사용자와 관련된 하나 이상의 액션을 실행할 수 있다. 예를 들어, 특정 사용자가 제 1 유형의 사용자(예를 들어, 특정 지리적 영역에 거주하는 사용자)인 경우, 어시스턴트 모듈(222)은 사용자 정보 데이터 저장소(224)에 질의하여 특정 커맨드 및 그 유형의 사용자와 관련된 액션 그룹을 결정할 수 있다.

어시스턴트 모듈(222)은 커맨드가 특정 사용자로부터 발신되었다는 결정에 응답하여 커스텀 액션 그룹으로부터 하나 이상의 액션을 실행할 수 있다. 일부 시나리오에서, 어시스턴트 모듈(222)은 커맨드가 특정 사용자로부터 발신되고 그 커맨드와 관련된 커스텀 액션 그룹이 특정 사용자에 대해 존재한다는 결정에 응답하여 커스텀 액션 그룹으로부터 하나 이상의 액션을 실행할 수 있다. 어시스턴트 모듈(222)은 커스텀 액션 그룹으로부터 각각의 액션을 실행할 수 있다. 어시스턴트 모듈(222)은 사용자와 관련된 하나 이상의 컴퓨팅 디바이스로 하여금 복수의 액션의 각 액션을 실행하게 함으로써 커스텀 액션 그룹으로부터 복수의 액션(예를 들어, 전부 또는 서브 세트)을 실행할 수 있다. 예를 들어, 커스텀 액션 그룹이 커피 한 잔을 추출하고, 차량 캐빈의 온도를 조절하고, 교통 정보를 출력하는 것을 포함하는 경우, 어시스턴트 모듈(222)은 커피 메이커(예를 들어, 도 1의 컴퓨팅 디바이스(110) 중 하나)에게 커피 한잔을 추출하도록 지시하는 메시지를 커피 메이커로 출력하고, 예상 교통 상황을 나타내는 오디오 데이터를 출력(예를 들어, 정보를 가청으로 출력)할 수 있다. 따라서, 제 1 컴퓨팅 디바이스(예를 들어, 커피 메이커)는 커스텀 액션 그룹의 제 1 액션을 실행할 수 있고, 제 2 컴퓨팅 디바이스(예를 들어, 차량 헤드 유닛)는 커스텀 액션 그룹의 제 2 액션을 실행할 수 있으며, 제 3 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(210))는 커스텀 액션 그룹의 제 3 액션을 실행할 수 있다. 일부 예에서, 어시스턴트 모듈(222)은 다른 컴퓨팅 디바이스(예를 들어, 커피 메이커)로 직접 (예를 들어, 컴퓨팅 디바이스(210) 및 다른 컴퓨팅 디바이스가 동일한 홈 네트워크 상에 있을 때 블루투스® 또는 Wi-Fi®를 통해)에 메시지를 출력할 수 있다. 일부 예들에서, 어시스턴트 모듈(222)은 서버와 같은 다른 컴퓨팅 디바이스를 통해 간접적으로 다른 컴퓨팅 디바이스에 메시지로 메시지를 출력할 수 있다. 예를 들어, 어시스턴트 모듈(222)은 도 1의 서버(160)에 메시지를 출력할 수 있어서, 어시스턴트 모듈(122B)은 메시지를 도 1의 서버(160)로 출력할 수 있어서, 어시스턴트 모듈(122B)은 커피를 추출하도록 커피 메이커에게 메시지를 전송할 수있다. 커스텀 액션 그룹 내의 액션들을 실행하기 위해 3 개의 컴퓨팅 디바이스를 이용하는 것으로 설명되었지만, 어시스턴트 모듈(222)은 컴퓨팅 디바이스의 임의의 수(예를 들어, 1개, 2개, 5개 등)가 커스텀 액션 그룹의 액션들을 실행하게 할 수 있다.

일부 예들에서, 커스텀 액션 그룹은 특정 커맨드가 수신될 때마다 실행될 적어도 하나의 액션을 포함한다. 예를 들어, 어시스턴트 모듈(222)은 특정 커맨드가 수신될 때마다(예를 들어, "컴퓨터, 내 일과에 대해 말해줘"라는 커맨드가 특정 사용자로부터 수신될 때마다) 그 사용자와 관련된 하나 이상의 컴퓨팅 디바이스로 하여금 날씨 정보와 교통 정보를 출력하게 할 수 있다. 일부 예에서, 커스텀 액션 그룹은 사전 결정된 횟수(예를 들어, 한 번, 두 번 등)로 실행될 하나 이상의 액션을 포함한다. 예를 들어, "집으로 가는 길에 우유를 사십시요"라는 사용자의 아내로부터의 메시지를 포함하는 통지를 수신하는 것에 응답하여, 컴퓨팅 디바이스(210)의 어시스턴트 모듈(222)은 컴퓨팅 디바이스(210)로 하여금 한 번 우유를 사라는 리마인더가 포함된 메시지를 출력하게 할 수 있다(다음에 어시스턴트 모듈(222)은 오후 루틴과 관련된 카맨드를 수신한다). 일부 시나리오에서, 어시스턴트 모듈(222)은 특정 커맨드가 특정 시간 기간 내에(예를 들어, 다음 24 시간 안에) 특정 사용자로부터 수신될 때 통지를 출력하는 것을 포함하도록 그 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할 수 있다.

도 3은 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하는 하나 이상의 프로세서에 의해 수행되는 예시적인 동작들을 도시하는 흐름도이다. 도 3은 도 1의 컴퓨팅 디바이스(110)의 컨텍스트에서 아래에서 설명된다. 예를 들어, 어시스턴트 모듈(122B)은 컴퓨팅 디바이스(110A)의 하나 이상의 프로세서에서 실행되는 동안 본 개시의 하나 이상의 양태에 따른 동작(300-316)을 수행할 수 있다.

동작시, 컴퓨팅 디바이스(110A)는 개인 정보를 이용하고 저장하기 위해 사용자로부터 동의를 수신한다(300). 예를 들어, 잠재적인 개인 정보를 식별하는 것에 응답하여, 어시스턴트 모듈(122B)은 UI 모듈(120)로 하여금 어시스턴트 모듈(122B) 및 사용자와 상호 작용하는 동안 획득된 개인 정보를 저장하고 사용하도록 사용자에게 허가를 요청하게 할 수 있다. 컴퓨팅 디바이스(110A)는 어시스턴트 모듈(122B)이 개인 정보를 이용하거나 저장하기를 원할 때마다 사용자에게 사전 동의를 요구하지 않을 수 있음을 이해해야한다. 예를 들어, 컴퓨팅 디바이스(110A)가 1 년에 한 번, 하루에 한 번 또는 심지어 한 번만 동의를 받는 경우(예를 들어, 초기 제품 구매, 설정 후 등), 컴퓨팅 디바이스(110A)는 그 사전 동의를 미래에 개인 정보를 사용하고 저장하기 위한 동의로 취급할 수 있다.

어시스턴트 모듈(122B)은 어시스턴트가 특정 가청 커맨드를 수신하는 것에 응답하여 실행되도록 구성된 디폴트 액션 그룹을 결정한다(302). 다시 말해, 어시스턴트 모듈(122B)은 특정 커맨드와 관련된 디폴트 액션 그룹을 결정할 수 있고, 어시스턴트 모듈(122B)은 특정 가청 커맨드를 수신한 것에 응답하여 디폴트 액션 그룹을 실행하도록 구성될 수 있다. 일부 예들에서, 어시스턴트 모듈(122B)은 어시스턴트 모듈(122B)의 모든 사용자들과 관련된 디폴트 액션 그룹을 결정한다. 어시스턴트 모듈(122B)은 특정 유형의 사용자와 관련된 디폴트 액션 그룹을 결정할 수 있다. 어시스턴트 모듈(122B)은 미리 프로그램된 액션 그룹을 질의함으로써 디폴트 액션 그룹을 결정할 수 있다. 일부 예들에서, 어시스턴트 모듈(122B)은 기계 학습을 사용하여 디폴트 액션 그룹을 결정한다. 예를 들어, 어시스턴트 모듈(122B)은 데이터 저장소(124B)에 저장된 사용자 정보에 모델을 적용할 수 있고 특정 커맨드와 관련된 액션 그룹을 출력할 수 있다.

어시스턴트 모듈(122B)은 특정 사용자에 대한 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할 것인지 여부를 결정한다(304). 예를 들어, 어시스턴트 모듈(122B)은 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 커스텀 액션 그룹을 실행하도록 구성될 수 있다. 어시스턴트 모듈(122B)은 특정 사용자와 관련된 사용자 프로필에 적어도 부분적으로 기초하여 액션 그룹을 커스터마이즈할지 여부를 결정할 수 있다. 일부 예들에서, 사용자 프로필은 사용자로부터의 명시적 및/또는 암시적 피드백의 하나 이상의 표시를 포함하여, 어시스턴트 모듈(122B)은 사용자의 명시적 및/또는 암시적 피드백에 기초하여 특정 사용자 및 특정 커맨드와 관련된 액션 그룹을 커스터마이즈할지 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(122B)은 어시스턴트 모듈(122B)이 아침 루틴에 대한 커맨드와 관련된 액션 그룹을 커스터마이즈애야 한다고 결정할 수 있도록 명시적 피드백을 제공하는 커맨드(예를 들어, "컴퓨터, 내 아침 루틴에 차량 시동을 추가해")를 수신할 수 있다. 일부 예들에서, 사용자 프로필은 사용자 상호 작용 데이터를 포함하고 그 사용자 상호 작용 데이터에 기초하여 액션 그룹을 커스터마이즈하도록 결정할 수 있다. 예를 들어, 사용자는 아침에 커피 한잔을 추출하도록 어시스턴트 모듈(122B)에 자주 커맨드할 수 있어, 어시스턴트 모듈(122)은 특정 사용자가 어시스턴트 모듈(122B)에게 적어도 임계량의 액션을 수행하도록 요청했다는 결정에 응답하여 특정 커맨드(예를 들어, 아침 루틴과 관련된)와 관련된 액션 그룹을 커스터마이즈하도록 결정할 수 있다. 일부 예들에서, 어시스턴트 모듈(122B)은 통지를 수신한 것에 응답하여 특정 커맨드와 관련된 액션 그룹을 커스터마이즈하도록 결정한다. 다른 예로서, 어시스턴트 모듈(122B)은 이전에 특정 사용자와 관련되지 않은 새로운 컴퓨팅 디바이스가 이제 특정 사용자와 관련되어 있다는 결정에 응답하여 커맨드와 관련된 액션 그룹을 커스터마이즈할 수 있다.

일부 예에서, 특정 커맨드과 관련된 액션 그룹을 커스터마이즈하기로 결정한 것에 응답하여(단계(304)의 "YES" 분기), 어시스턴트 모듈(122B)은 특정 커맨드 및 특정 사용자와 관련된 커스텀 액션 그룹을 결정한다(305). 예를 들어, 어시스턴트 모듈(122B)은 커스텀 액션 그룹을 생성함으로써 특정 커맨드 및 특정 사용자와 관련된 커스텀 액션 그룹을 결정할 수 있다. 어시스턴트 모듈(122B)은 특정 커맨드 및 특정 사용자와 관련된 기존의 커스텀 액션 그룹을 업데이트함으로써(예컨대, 액션들을 추가 및/또는 제거함으로써) 커스텀 액션 그룹을 결정할 수 있다. 커스텀 액션 그룹은 특정 커맨드와 관련된 디폴트 액션 그룹의 하나 이상의 액션, 특정 커맨드와 관련된 디폴트 액션 그룹에 포함되지 않은 하나 이상의 액션을 포함할 수 있다. 일부 경우에, 커스텀 액션 그룹은 특정 커맨드와 관련된 디폴트 액션 그룹의 하나 이상의 액션을 포함하지 않는다. 어시스턴트 모듈(122B)은 (예를 들어, 특정 사용자에 대한 사용자 프로필에 기초하여) 하나 이상의 각각의 액션에 관련성 스코어를 할당할 수 있고, 그 각각의 관련성 스코어를 관련성 임계값와 비교할 수 있다. 예를 들어, 어시스턴트 모듈(122B)은 사용자로부터 명시적 피드백을 수신하는 것에 응답하여(예를 들어, "헤이 컴퓨터, 내가 출근할 때 문을 잠가라") 특정 액션(예를 들어, 문 잠그기)에 상대적으로 높은 관련성 스코어(예를 들어 100 만점에 100)를 할당할 수 있다. 일부 예들에서, 어시스턴트 모듈(122B)은 커스텀 액션 그룹이 관련성 스코어가 관련성 임계값을 만족시키는 결정에 응답하여 특정 액션을 포함한다고 결정한다.

어시스턴트 모듈(122B)은 특정 커맨드의 표시를 수신한다(306). 예를 들어, UIC(112)는 커맨드를 나타내는 사용자 입력을 검출하여 그 커맨드의 표시를 어시스턴트 모듈(122B)로 전송할 수 있다. 예를 들어, UIC(112)는 가청 커맨드를 검출하는 마이크로폰을 포함할 수 있고, 가청 커맨드의 검출에 응답하여 가청 커맨드의 표시를 어시스턴트 모듈(122B)에 전송할 수 있다.

어시스턴트 모듈(122B)은 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지를 결정한다(308). 예를 들어, 어시스턴트 모듈(122B)은 UIC(112)로부터 수신된 데이터에 대해 음성 인식을 수행하여 특정 사용자가 특정 커맨드를 발화했는지 여부를 결정할 수 있다. 일부 예들에서, 어시스턴트 모듈(122B)은 예를 들어, 가청 커맨드가 수신되는 것과 거의 동시에 컴퓨팅 디바이스(110A)의 이미지 센서에 의해 캡처된 하나 이상의 이미지의 표시를 수신할 수 있다. 어시스턴트 모듈(122B)은 적어도 하나의 캡처된 이미지에 대해 얼굴 인식을 수행할 수 있고, 적어도 하나의 캡처된 이미지가 특정 사용자의 이미지를 포함한다는 결정에 응답하여 커맨드가 특정 사용자로부터 발신된 것으로 결정할 수 있다.

특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여(단계(308)의 "아니오" 분기), 어시스턴트 모듈(122B)은 디폴트 액션 그룹으로부터 각각의 액션을 실행한다(310). 예를 들어, 어시스턴트 모듈(122B)은 하나 이상의 컴퓨팅 디바이스(110)로 하여금 디폴트 액션 그룹으로부터 다양한 액션을 실행하게 할 수 있다.

특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다고 결정하는 것에 응답하여(단계(308)의 "예" 분기), 어시스턴트 모듈(122)은 특정 사용자 및 특정 가청 커맨드에 대한 커스텀 액션 그룹이 존재하는지 여부를 결정한다(312). 일부 예들에서, 어시스턴트 모듈(122B)은 사용자 정보 데이터 저장소(예를 들어, 하나 이상의 데이터 저장소(224 및/또는 124))에 질의하여, 데이터 저장소가 특정 사용자에 대한 커스텀 액션 그룹을 포함하는지 여부를 결정한다. 예를 들어, 어시스턴트 모듈(122B)은 특정 사용자 및 특정 커맨드와 관련된 하나 이상의 커스텀 액션 그룹을 나타내는 정보를 수신하는 것에 응답하여 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다고 결정할 수 있고, 빈(empty) 세트를 리턴하는 질의에 응답하여 커스텀 액션 그룹이 존재하지 않는 것으로 결정할 수 잇다.

어시스턴트 모듈(122B)은 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하지 않는다는 결정에 응답하여 특정 사용자 및 특정 커맨드(316)의 유형과 관련된 디폴트 액션 그룹의 적어도 하나의 액션을 실행한다(단계(312)의 "NO" 분기). 예를 들어, 어시스턴트 모듈(122B)은 특정 사용자에 대한 사용자의 유형을 결정하여 그 유형의 사용자와 관련된 액션들에 대해 사용자 정보 데이터 저장소(124)를 질의할 수 있다. 해당 유형의 사용자와 관련된 하나 이상의 액션의 표시를 수신하는 것에 응답하여, 어시스턴트 모듈(122B)은 하나 이상의 액션 중 적어도 하나의 액션을 실행한다. 예를 들어, 어시스턴트 모듈(122B)은 특정 사용자와 관련된 하나 이상의 컴퓨팅 디바이스에 커맨드를 전송하여, 해당 유형의 사용자와 관련된 디폴트 액션 그룹의 하나 이상의 액션을 실행할 수 있다.

특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다는 결정에 응답하여(단계(312)의 "예" 분기). 어시스턴트 모듈(122B)은 그 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹의 하나 이상의 액션을 실행한다(314). 일부 예들에서, 어시스턴트 모듈(122B)은 커스텀 액션 그룹의 각각의 액션을 실행한다. 어시스턴트 모듈(122B)은 컴퓨팅 디바이스들(110)로 하여금 커스텀 액션 그룹내의 하나 이상의 액션을 수행하게 할 수 있다. 예를 들어, 컴퓨팅 디바이스(110A)가 주방 홈 어시스턴트 디바이스를 포함하고 커스텀 액션 그룹이 날씨 정보를 출력하는 것을 포함하는 경우, 어시스턴트 모듈(122B)은 컴퓨팅 디바이스(110A)로 하여금 날씨 정보를(예를 들어, 청각적으로) 출력하게 할 수 있다. 일부 예들에서, 어시스턴트 모듈(122B)은 사용자와 관련된 다른 컴퓨팅 디바이스로 하여금 디폴트 액션 그룹으로부터의 하나 이상의 액션을 실행하게 할 수 있다. 예를 들어, 커스텀 액션 그룹이 교통 정보를 출력하는 것을 포함하고 컴퓨팅 디바이스(HOB)가 차량 헤드 유닛을 포함하는 경우, 어시스턴트 모듈(122B)은 컴퓨팅 디바이스(HOB)로 하여금 교통 정보를 (예를 들어, 디스플레이를 위해) 출력하게 할 수 있다.

도 4는 본 개시의 하나 이상의 양태에 따른 예시적인 가상 어시스턴트를 실행하도록 구성된 예시적인 컴퓨팅 시스템을 도시하는 블록도이다. 도 4의 디지털 어시스턴트 서버(460)는 도 1의 디지털 어시스턴트 서버(160)의 예로서 아래에서 설명된다. 도 4는 디지털 어시스턴트 서버(460)의 하나의 특정 예만을 도시하고, 디지털 어시스턴트 서버(460)의 많은 다른 예는 다른 경우에 사용될 수 있고 예시적인 디지털 어시스턴트 서버(460)에 포함된 컴포넌트의 서브 세트를 포함하거나 도 4에 도시되지 않은 추가 컴포넌트를 포함할 수 있다.

도 4의 예에 도시된 바와 같이, 디지털 어시스턴트 서버(460)는 하나 이상의 프로세서(440), 하나 이상의 통신 유닛(442) 및 하나 이상의 저장 디바이스(448)를 포함한다. 저장 디바이스(448)는 어시스턴트 모듈(422), 사용자 정보 데이터 저장소(424) 및 검색 모듈(482)을 포함한다.

프로세서(440)는 도 2의 컴퓨팅 시스템(210)의 프로세서(240)와 유사하다. 통신 유닛(442)은 도 2의 컴퓨팅 시스템(210)의 통신 유닛(242)과 유사하다. 저장 디바이스(448)는 도 2의 컴퓨팅 시스템(210)의 저장 디바이스(248)와 유사하다. 통신 채널(450)은 도 2의 컴퓨팅 시스템(210)의 통신 채널(250)과 유사하고, 따라서 컴포넌트 간 통신을 위해 컴포넌트(440, 442 및 448) 각각을 상호 연결할 수 있다. 일부 예들에서, 통신 채널(450)은 시스템 버스, 네트워크 연결, 프로세스 간 통신 데이터 구조, 또는 데이터를 전달하기 위한 임의의 다른 방법을 포함할 수 있다.

사용자 정보 데이터 저장소(424)는 도 2의 사용자 정보 데이터 저장소(224)와 유사하며, 어시스턴트 모듈(422)이 사용자와 어시스턴트 모듈(422)에 제공된 어시스턴트 사이의 대화 동안 컴퓨팅 디바이스의 사용자에 관해 학습한 사용자와 관련된 정보를 저장하도록 구성된다. 어시스턴트 모듈(422)은 데이터 저장소(424)에 저장된 정보에 의존하여 이벤트를 결정하고, 어시스턴트 모듈(422)에 의해 전송된 통지에 포함하기 위해 그 이벤트와 관련된 액션들을 선택한다.

어시스턴트 모듈(422)은 도 1의 어시스턴트 모듈(122) 및 도 2의 컴퓨팅 디바이스(210)의 어시스턴트 모듈(222)의 일부 또는 모든 기능을 포함할 수 있다. 어시스턴트 모듈(422)은 네트워크(130)와 같은 네트워크를 통해 액세스 가능한 어시스턴트 서비스를 제공하기 위한 어시스턴트 모듈(122 및 222)과 유사한 동작을 수행할 수 있다. 즉, 어시스턴트 모듈(422)은 디지털 어시스턴트 서버(460)와 네트워크를 통해 통신하는 컴퓨팅 디바이스에 액세스 가능한 원격 어시스턴트 서비스에 대한 인터페이스로서 작용할 수 있다. 예를 들어, 어시스턴트 모듈(422)은 도 1의 디지털 어시스턴트 서버(160)의 어시스턴트 모듈(122B)에 대한 인터페이스 또는 API일 수 있다.

동작시, 어시스턴트 모듈(422)은 특정(예를 들어, 가청) 커맨드와 관련된 디폴트 액션 그룹을 결정할 수 있다. 디폴트 액션 그룹은 컴퓨팅 디바이스(110, 116)의 모든 사용자 또는 사용자의 서브 세트(예를 들어, 서로 유사한 유형의 사용자들)와 관련될 수 있다. 예를 들어, 어시스턴트 모듈(422)은 메모리 디바이스로부터 미리 프로그램된 액션 그룹을 검색함으로써 디폴트 액션 그룹을 결정할 수 있다. 어시스턴트 모듈(422)은 데이터 스토어(424)에 저장된 사용자 정보에 모델을 적용함으로써 디폴트 액션 그룹을 결정할 수 있다. 디폴트 액션 그룹은 컴퓨팅 디바이스(110, 116)의 사용자들이 자주 수행하거나, 수행하기 위해 컴퓨팅 디바이스(110, 116)가 이용하거나 둘 다 수행하는 액션을 포함할 수 있다. 디폴트 액션 그룹은 빈번하게 수행되는 동작(예를 들어, 가장 빈번하게 수행되는 액션 또는 아침, 오후, 저녁 등과 같이 하루 중 특정 시간에 가장 빈번하게 실행되는 액션)을 포함할 수 있다. 일부 예에서, 디폴트 액션 그룹은 (예를 들어, 하나의 액션을 수행하는 사용자들의 임계량이 또한 거의 동시에 두 번째 액션을 수행하는 경우) 서로 관련된 액션들을 포함한다.

어시스턴트 모듈(422)은 특정 커맨드 및 특정 사용자와 관련된 액션 그룹을 커스터마이즈할지 여부를 결정할 수 있다. 어시스턴트 모듈(422)은 특정 사용자와 관련된 사용자 프로필에 적어도 부분적으로 기초하여 액션 그룹을 커스터마이즈할지 여부를 결정할 수 있다. 일부 예에서, 사용자 프로필은 어시스턴트 모듈(422)이 사용자로부터의 명시적 및/또는 암시적 피드백에 기초하여 특정 사용자 및 특정 커맨드와 관련된 액션 그룹을 커스터마이징즈지 여부를 결정할 수 있도록, 사용자로부터의 명시적 및/또는 암시적 피드백의 하나 이상의 표시를 포함한다. 어시스턴트 모듈(422)은 통지를 수신하는 것에 응답하여 특정 커맨드와 관련된 액션 그룹을 커스터마이즈하기로 결정할 수 있다. 일부 경우에서, 어시스턴트 모듈(422)은 특정 사용자와 이전에 관련되지 않은 새로운 컴퓨팅 디바이스가 이제 그 특정 사용자와 관련되어 있다는 결정에 응답하여 특정 커맨드와 관련된 액션 그룹을 커스터마이즈하기로 결정할 수 있다.

어시스턴트 모듈(422)은 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여 커스텀 액션 그룹을 결정할 수 있다. 예를 들어, 데이터 저장소(424)는 사용 정보, 관심사 등과 같은 특정 사용자와 관련된 사용자 프로필을 포함할 수 있다. 어시스턴트 모듈(422)은 특정 액션이 특정 사용자와 관련이 있다는 결정에 응답하여 커스텀 액션 그룹에 특정 액션을 포함할 수 있다. 예를 들어, 어시스턴트 모듈(422)은 사용자 프로필 내의 정보(예를 들어, 액션 사용 정보, 사용자 관심사 등)에 기초하여 하나 이상의 액션에 관련성 스코어를 할당할 수 있고, 관련성 스코어가 관련성 임계값을 만족(예를 들어, 크거나 같은)하는 경우 특정 액션이 해당 특정 사용자와 관련이 있다고 결정할 수 있다. 일부 예들에서, 어시스턴트 모듈(422)은 사용자가 상호 작용하는 컴퓨팅 디바이스의 유형에 기초하여 커스텀 액션 그룹에 액션을 포함할지 여부를 결정한다.

어시스턴트 모듈(422)은 커맨드의 표시를 수신할 수 있다. 예를 들어, 도 1의 컴퓨팅 디바이스(110A)는 커맨드(예를 들어, 키보드 입력, 제스처, 가청 커맨드)을 나타내는 입력을 수신할 수 있고, 그 커맨드의 표시를 컴퓨팅 디바이스(460)에 전송할 수 있다. 어시스턴트 모듈(422)은 커맨드의 표시를 수신할 수 있고, 특정 커맨드의 표시를 수신한 것에 응답하여 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(422)은 생체 인식(예를 들어, 음성, 얼굴 또는 필기 인식)에 기초하여 커맨드가 특정 사용자로부터 발신되었는지 여부를 결정할 수 있다. 예를 들어, 사용자 정보 데이터 저장소(424)는 특정 사용자에 대한 음성 지문을 포함할 수 있고, 가청 커맨드의 표시를 음성 지문과 비교하여 가청 커맨드가 특정 사용자에 의해 발화되었는지 여부를 결정할 수 있다. 예를 들어, 어시스턴트 모듈(422)은 발화된 커맨드가 특정 사용자에 대한 음성 지문에 대응한다는 결정에 응답하여 상기 가청 커맨드가 특정 사용자에 의해 발화되었다고 결정할 수 있다.

커맨드가 특정 사용자로부터 발신되지 않았다는 결정에 응답하여, 어시스턴트 모듈(422)은 디폴트 액션 그룹으로부터 하나 이상의 액션을 실행할 수 있다. 예를 들어, 디폴트 액션 그룹이 뉴스 및 날씨 정보를 출력하는 것을 포함하는 경우, 어시스턴트 모듈(422)은 하나 이상의 컴퓨팅 디바이스(110)로 하여금 뉴스 정보 및 날씨 정보를 출력하게 할 수 있다.

커맨드가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트 모듈(422)은 특정 사용자와 관련된 커스텀 액션 그룹으로부터 하나 이상의 액션을 실행할 수 있다. 예를 들어, 커스텀 액션 그룹이 날씨 및 교통 정보를 출력하는 것 및 사용자 차량을 시동하는 것을 포함하는 경우, 어시스턴트 모듈(422)은 하나 이상의 컴퓨팅 디바이스(110)로 하여금 날씨 및 교통 정보를 출력하고 사용자 차량을 시동하게 할 수 있다. 예를 들어, 어시스턴트 모듈(422)은 제 1 컴퓨팅 디바이스(예를 들어, 디스플레이 디바이스를 갖지 않을 수 있는 주방 홈 어시스턴트)가 날씨 정보를 청각적으로 출력하고, 제 2의 상이한 컴퓨팅 디바이스(예를 들어, 차량 내)가 차량을 시동하고 교통 정보(예를 들어, 교통 맵)를 표시하기 위해 (예를 들어, 차량 내의 디스플레이 디바이스를 통해) 디스플레이를 위해 출력하게 할 수 있다.

다음의 번호가 매겨진 예시들은 본 개시의 하나 이상의 양태를 예시할 수 있다.

예시 1. 방법은 하나 이상의 프로세서에서 실행되는 어시스턴트에 의해, 어시스턴트가 특정 가청 커맨드를 수신한 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하는 단계와; 어시스턴트에 의해, 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하는 단계와; 어시스턴트에 의해, 특정 가청 커맨드의 표시를 수신하는 단계와; 어시스턴트에 의해, 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부를 결정하는 단계와; 그리고 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트에 의해, 커스텀 액션 그룹으로부터 각각의 액션을 실행하는 단계를 포함한다.

예시 2. 예시 1의 방법에 있어서, 상기 특정 가청 커맨드의 표시는 특정 가청 커맨드의 제 1 표시이고, 상기 방법은 어시스턴트에 의해, 특정 가청 커맨드의 제 2 표시를 수신하는 단계와; 어시스턴트에 의해, 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었는지 여부를 결정하는 단계와; 그리고 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되지 않았다는 결정에 응답하여, 어시스턴트에 의해, 디폴트 액션 그룹으로부터 각각의 액션을 실행하는 단계를 더 포함한다.

예시 3. 예시 1 내지 예시 2 중 어느 하나의 방법에 있어서, 상기 커스텀 액션 그룹으로부터 각각의 액션을 실행하는 단계는 사용자와 관련된 하나 이상의 컴퓨팅 디바이스로 하여금 커스텀 액션 그룹으로부터 각각의 액션을 실행하게 하는 단계를 포함한다.

예시 4. 예시 1 내지 예시 3 중 어느 하나의 방법에 있어서, 어시스턴트에 의해, 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하는지 여부를 결정하는 단계를 더 포함하고, 상기 커스텀 액션 그룹으로부터 각각의 액션을 실행하는 단계는 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다고 결정하는 것에 더 응답한다.

예시 5. 예시 4의 방법에 있어서, 상기 특정 가청 커맨드의 표시는 제 1 시간에 수신되는 특정 가청 커맨드의 제 1 표시이고, 상기 방법은 어시스턴트에 의해, 제 1 시간보다 빠른 제 2 시간에 특정 가청 커맨드의 제 2 표시를 수신하는 단계와; 어시스턴트에 의해, 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었는지 여부를 결정하는 단계와; 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트에 의해, 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하는지 여부를 판단하는 단계와; 그리고 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하지 않는다는 결정에 응답하여, 어시스턴트에 의해, 특정 커맨드 및 특정 사용자에 대응하는 사용자 유형과 관련된 디폴트 액션 그룹으로부터 각각의 액션을 실행하는 단계를 더 포함한다.

예시 6. 예시 1 내지 예시 5 중 어느 하나의 방법에 있어서, 어시스턴트에 의해, 어시스턴트가 특정 가청 커맨드의 표시를 적어도 임계 횟수만큼 수신했는지 여부를 결정하는 단계를 더 포함하고, 상기 커스텀 액션 그룹을 결정하는 단계는 어시스턴트가 적어도 임계 횟수만큼 특정 가청 커맨드의 표시를 수신했다는 결정에 응답한다.

예시 7. 예시 1 내지 예시 6 중 어느 하나의 방법에 있어서, 상기 커스텀 액션 그룹을 결정하는 단계는 새로운 컴퓨팅 디바이스가 특정 사용자와 관련되어 있다는 결정에 응답한다.

예시 8. 예시 7의 방법에 있어서, 어시스턴트에 의해, 새로운 컴퓨팅 디바이스와 관련된 새로운 액션을 결정하고, 어시스턴트에 의해, 그 새로운 액션의 표시를 출력하는 단계와; 그리고 어시스턴트에 의해, 새로운 액션을 커스텀 액션 그룹에 추가하라는 커맨드의 표시를 수신하는 단계를 더 포함하고, 상기 커스텀 액션 그룹을 결정하는 단계는 새로운 액션을 커스텀 액션 그룹에 추가하기 위해 커맨드의 표시를 수신하는 것에 더 응답한다.

예시 9. 예시 1 내지 예시 8 중 어느 하나의 방법에 있어서, 상기 커스텀 액션 그룹을 결정하는 단계는 특정 사용자가 상호 작용하는 컴퓨팅 디바이스의 유형에 기초하여 커스텀 액션 그룹을 결정하는 단계를 더 포함한다.

예시 10. 예시 1 내지 예시 9 중 어느 하나의 방법에 있어서, 상기 커스텀 액션 그룹은 특정 가청 커맨드가 수신될 때마다 실행될 액션 및 사전 결정된 횟수만큼 실행될 액션을 포함한다.

예시 11. 예시 1 내지 예시 10 중 어느 하나의 방법에 있어서, 상기 액션 그룹으로부터 각각의 액션을 실행하는 단계는 제 1 컴퓨팅 디바이스에 의해, 커스텀 액션 그룹으로부터 적어도 제 1 액션을 실행하는 단계와; 그리고 제 2 컴퓨팅 디바이스에 의해, 커스텀 액션 그룹으로부터 적어도 제 2 액션을 실행하는 단계를 포함한다.

예시 12. 컴퓨팅 시스템은 출력 디바이스와; 적어도 하나의 프로세서와; 그리고 실행될 때 적어도 하나의 프로세서로 하여금 어시스턴트를 실행하게 하는 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 상기 어시스턴트는, 어시스턴트가 특정 가청 커맨드를 수신한 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하고; 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하고; 특정 가청 커맨드의 표시를 수신하고; 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부 여부를 결정하고; 그리고 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 커스텀 액션 그룹으로부터 각각의 액션을 실행하도록 구성된다.

예시 13. 예시 12의 방법에 있어서, 상기 어시스턴트는 커스텀 액션 그룹으로부터 각각의 액션을 실행하도록 더 구성되고, 사용자와 관련된 하나 이상의 컴퓨팅 디바이스로 하여금 커스텀 액션 그룹으로부터 각각의 액션을 적어도 실행하게 하는 것을 포함한다.

예시 14. 예시 12 내지 예시 13 중 어느 하나의 방법에 있어서, 상기 어시스턴트는 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하는지 여부를 결정하고; 그리고 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다는 결정에 더 응답하여 커스텀 액션 그룹으로부터 각각의 액션을 실행하도록 더 구성된다.

예시 15. 예시 14의 방법에 있어서, 상기 특정 가청 커맨드의 표시는 제 1 시간에 수신된 특정 가청 커맨드의 제 1 표시이고, 상기 어시스턴트는, 제 1 시간보다 빠른 제 2 시간에 특정 가청 커맨드의 제 2 표시를 수신하고; 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었는지 여부를 결정하고; 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하지 않는지 여부를 결정하고; 그리고 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다는 결정에 응답하여, 특정 커맨드 및 특정 사용자에 대응하는 사용자 유형과 관련된 디폴트 액션 그룹으로부터 각각의 액션을 실행하도록 더 구성된다.

예시 16. 예시 11 내지 예시 14 중 어느 하나의 방법에 있어서, 상기 어시스턴트는 어시스턴트가 특정 가청 커맨드의 표시를 적어도 임계 횟수만큼 수신했는지 여부를 결정하고; 어시스턴트가 적어도 임계 횟수만큼 특정 가청 커맨드의 표시를 수신했다는 결정에 응답하여 커스텀 액션 그룹을 결정하도록 더 구성된다.

예시 16. 예시 11 내지 예시 15 중 어느 하나의 방법에 있어서, 상기 어시스턴트는 새로운 컴퓨팅 디바이스가 특정 사용자와 관련되어 있다는 결정에 응답하여 커스텀 액션 그룹을 결정하도록 더 구성된다.

예시 17. 예시 16의 방법에 있어서, 상기 어시스턴트는 새로운 컴퓨팅 디바이스와 관련된 새로운 액션을 결정하고, 새로운 액션의 표시를 출력하고; 그리고 새로운 액션을 커스텀 액션 그룹에 추가하라는 커맨드의 표시를 수신하도록 더 구성되고, 상기 어시스턴트는 새로운 액션을 커스텀 액션 그룹에 추가하라는 커맨드의 표시를 수신하는 것에 더 응답하여 커스텀 액션 그룹을 결정하도록 구성된다.

예시 18. 예시 11 내지 예시 17 중 어느 하나의 방법에 있어서, 상기 어시스턴트는 특정 사용자가 상호 작용하는 컴퓨팅 디바이스의 유형에 더 기초하여 커스텀 액션 그룹을 결정하도록 구성된다.

예시 19. 예시 11 내지 예시 18 중 어느 하나의 방법에 있어서, 상기 커스텀 액션 그룹은 특정 가청 커맨드가 수신될 때마다 실행될 액션 및 사전 결정된 횟수만큼 실행될 액션을 포함한다.

예시 20. 컴퓨터-판독 가능 저장 매체는 실행될 때 디지털 어시스턴트 시스템의 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하는 명령들을 포함하는 컴퓨터-판독 가능 저장 매체로서, 상기 동작들은 어시스턴트가 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하고; 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하고; 특정 가청 커맨드의 표시를 수신하고; 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부를 결정하고; 그리고 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 커스텀 액션 그룹으로부터 각의 액션을 실행하는 것을 포함한다.

예시 21. 컴퓨팅 디바이스는 적어도 하나의 프로세서 및 실행될 때 적어도 하나의 프로세서로 하여금 예시 1 내지 예시 11 중 어느 하나의 방법을 수행하게 하는 명령들을 포함하는 적어도 하나의 메모리를 포함한다.

예시 22. 컴퓨터-판독 가능 저장 매체는 실행될 때 컴퓨팅 디바이스의 적어도 하나의 프로세서로 하여금 예시 1 내지 예시 11 중 어느 하나의 방법을 수행하게 하는 명령들을 포함한다.

예시 23. 시스템은 예시 1 내지 예시 11 중 어느 하나의 방법을 수행하기 위한 수단을 포함한다.

하나 이상의 예에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독 가능 매체에 하나 이상의 명령 또는 코드로서 저장되거나 전송될 수 있고 하드웨어 기반 처리 디바이스에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체(media) 또는 매체(mediums)를 포함할 수 있고, 이는 데이터 저장 매체와 같은 유형의 매체, 또는 예를 들어 통신 프로토콜에 따라 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체에 해당한다. 이런 방법으로, 컴퓨터 판독 가능 매체는 일반적으로 (1) 비-일시적인 유형의(tangible) 컴퓨터 판독 가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 해당할 수 있다. 데이터 저장 매체는 본 개시에서 설명된 기술의 구현을 위한 명령, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.

예로서, 이러한 컴퓨터 판독 가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 저장 장치(스토리지), 자기 디스크 저장 장치, 또는 다른 자기 저장 디바이스, 플래시 메모리, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 저장 매체를 포함할 수 있지만, 이에 한정되는 것은 아니다. 또한, 임의의 연결은 컴퓨터 판독 가능 매체로 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 트위스트 페어(twisted pair), DSL(Digital Subscriber Line), 또는 적외선, 라디오 및 마이크로 웨이브와 같은 무선 기술을 사용하여 웹 사이트, 서버 또는 다른 원격 소스에서 명령을 전송하는 경우, 그 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL, 또는 적외선, 라디오 및 마이크로 웨이브와 같은 무선 기술은 매체의 정의에 포함된다. 그러나, 컴퓨터 판독 가능 저장 매체 및 미디어 및 데이터 저장 매체는 연결, 반송파, 신호 또는 다른 일시적 매체를 포함하지 않지만, 대신 비-일시적인, 유형의 저장 매체에 관한 것으로 이해해야 한다. 본 명세서에서 사용되는 디스크(Disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크(disc), 광 디스크(disc), DVD(digital versatile disc), 플로피 디스크(disk) 및 블루 레이 디스크(disc)를 포함하며, 여기서 디스크(disks)는 일반적으로 자기적으로 데이터를 재생하는 반면, 디스크(discs)는 레이저로 광학적으로 데이터를 재생한다. 위의 조합은 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

명령(들)은 하나 이상의 디지털 신호 프로세서(DSP), 범용 마이크로 프로세서, 주문형 집적 회로(ASIC), 필드 프로그램머블 논리 어레이(FPGA), 또는 다른 등가의 통합 또는 이산 논리 회로와 같은 하나 이상의 프로세서에 의해 실행될 수 있다. 따라서, 본 명세서에서 사용되는 "프로세서"라는 용어는 전술한 구조 중 어느 하나 또는 본 명세서에 설명된 기술의 구현에 적합한 임의의 다른 구조를 지칭할 수 있다. 또한, 일부 양태에서, 본 명세서에 설명된 기능은 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공될 수 있다. 또한, 그 기술들은 하나 이상의 회로 또는 논리 요소에서 완전히 구현될 수 있다.

본 개시의 기술들은 무선 핸드셋, 집적 회로(IC) 또는 IC 세트(예를 들어, 칩 세트)를 포함하여 다양한 디바이스 또는 장치에서 구현될 수 있다. 개시된 컴포넌트들을 수행하도록 구성된 디바이스의 기능적 측면들을 강조하기 위해 다양한 컴포넌트, 모듈 또는 유닛이 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 전술한 바와 같이, 다양한 유닛은 하드웨어 유닛으로 조합되거나 적절한 소프트웨어 및/또는 펌웨어와 함께 전술한 바와 같은 하나 이상의 프로세서를 포함하여 상호 운용 가능한 하드웨어 유닛의 컬렉션에 의해 제공될 수 있다.

다양한 실시예들이 설명되었다. 이들 및 다른 실시 양태는 하기 청구 범위의 범주 내에 있다.

Claims

방법으로서,
하나 이상의 프로세서에서 실행되는 어시스턴트에 의해, 어시스턴트가 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하는 단계;
어시스턴트에 의해, 디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하는 단계;
어시스턴트에 의해, 특정 가청 커맨드의 표시를 수신하는 단계;
어시스턴트에 의해, 특정 가청 커맨드의 표시가 특정 사용자로부터 발신(originated)되었는지 여부를 결정하는 단계; 및
특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트에 의해, 커스텀 액션 그룹으로부터 각각의 액션을 실행하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 특정 가청 커맨드의 표시는 특정 가청 커맨드의 제 1 표시이고,
상기 방법은,
어시스턴트에 의해, 특정 가청 커맨드의 제 2 표시를 수신하는 단계;
어시스턴트에 의해, 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었는지 여부를 결정하는 단계; 및
특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되지 않았다는 결정에 응답하여, 어시스턴트에 의해, 디폴트 액션 그룹으로부터 각각의 액션을 실행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 커스텀 액션 그룹으로부터 각각의 액션을 실행하는 단계는,
사용자와 관련된 하나 이상의 컴퓨팅 디바이스로 하여금 커스텀 액션 그룹으로부터 각각의 액션을 실행하게 하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
어시스턴트에 의해, 특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하는지 여부를 결정하는 단계를 더 포함하고,
상기 커스텀 액션 그룹으로부터 각각의 액션을 실행하는 단계는,
특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다고 결정하는 것에 더 응답하는 것을 특징으로 하는 방법.
제4항에 있어서,
상기 특정 가청 커맨드의 표시는 제 1 시간에 수신되는 특정 가청 커맨드의 제 1 표시이고, 상기 방법은,
어시스턴트에 의해, 제 1 시간보다 빠른 제 2 시간에 특정 가청 커맨드의 제 2 표시를 수신하는 단계;
어시스턴트에 의해, 특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었는지 여부를 결정하는 단계;
특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 어시스턴트에 의해, 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하는지 여부를 판단하는 단계; 및
특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하지 않는다는 결정에 응답하여, 어시스턴트에 의해, 특정 커맨드 및 특정 사용자에 대응하는 사용자 유형과 관련된 디폴트 액션 그룹으로부터 각각의 액션을 실행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
어시스턴트에 의해, 어시스턴트가 특정 가청 커맨드의 표시를 적어도 임계 횟수만큼 수신했는지 여부를 결정하는 단계를 더 포함하고,
상기 커스텀 액션 그룹을 결정하는 단계는,
어시스턴트가 적어도 임계 횟수만큼 특정 가청 커맨드의 표시를 수신했다는 결정에 응답하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 커스텀 액션 그룹을 결정하는 단계는,
새로운 컴퓨팅 디바이스가 특정 사용자와 관련되어 있다는 결정에 응답하는 것을 특징으로 하는 방법.
제7항에 있어서,
어시스턴트에 의해, 새로운 컴퓨팅 디바이스와 관련된 새로운 액션을 결정하고, 어시스턴트에 의해, 그 새로운 액션의 표시를 출력하는 단계; 및
어시스턴트에 의해, 새로운 액션을 커스텀 액션 그룹에 추가하라는 커맨드의 표시를 수신하는 단계를 더 포함하고,
상기 커스텀 액션 그룹을 결정하는 단계는,
새로운 액션을 커스텀 액션 그룹에 추가하기 위해 커맨드의 표시를 수신하는 것에 더 응답하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 커스텀 액션 그룹을 결정하는 단계는,
특정 사용자가 상호 작용하는 컴퓨팅 디바이스의 유형에 기초하여 커스텀 액션 그룹을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 커스텀 액션 그룹은,
특정 가청 커맨드가 수신될 때마다 실행될 액션 및 사전 결정된 횟수만큼 실행될 액션을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 액션 그룹으로부터 각각의 액션을 실행하는 단계는,
제 1 컴퓨팅 디바이스에 의해, 커스텀 액션 그룹으로부터 적어도 제 1 액션을 실행하는 단계; 및
제 2 컴퓨팅 디바이스에 의해, 커스텀 액션 그룹으로부터 적어도 제 2 액션을 실행하는 단계를 포함하는 것을 특징으로 하는 방법.
컴퓨팅 시스템으로서,
출력 디바이스;
적어도 하나의 프로세서; 및
실행될 때 적어도 하나의 프로세서로 하여금 어시스턴트를 실행하게 하는 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 상기 어시스턴트는,
어시스턴트가 특정 가청 커맨드를 수신한 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하고;
디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하고;
특정 가청 커맨드의 표시를 수신하고;
특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부 여부를 결정하고; 그리고
특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 커스텀 액션 그룹으로부터 각각의 액션을 실행하도록 구성되는 것을 특징으로 하는 컴퓨팅 시스템.
제12항에 있어서,
상기 어시스턴트는,
커스텀 액션 그룹으로부터 각각의 액션을 실행하도록 더 구성되고, 사용자와 관련된 하나 이상의 컴퓨팅 디바이스로 하여금 커스텀 액션 그룹으로부터 각각의 액션을 적어도 실행하게 하는 것을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
제12항에 있어서,
상기 어시스턴트는,
특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하는지 여부를 결정하고; 그리고
특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다는 결정에 더 응답하여 커스텀 액션 그룹으로부터 각각의 액션을 실행하도록 더 구성되는 것을 특징으로 하는 컴퓨팅 시스템.
제14항에 있어서,
상기 특정 가청 커맨드의 표시는 제 1 시간에 수신된 특정 가청 커맨드의 제 1 표시이고, 상기 어시스턴트는,
제 1 시간보다 빠른 제 2 시간에 특정 가청 커맨드의 제 2 표시를 수신하고;
특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었는지 여부를 결정하고;
특정 가청 커맨드의 제 2 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재하지 않는지 여부를 결정하고; 그리고
특정 사용자 및 특정 커맨드와 관련된 커스텀 액션 그룹이 존재한다는 결정에 응답하여, 특정 커맨드 및 특정 사용자에 대응하는 사용자 유형과 관련된 디폴트 액션 그룹으로부터 각각의 액션을 실행하도록 더 구성되는 것을 특징으로 하는 컴퓨팅 시스템.
제12항에 있어서,
상기 어시스턴트는,
어시스턴트가 특정 가청 커맨드의 표시를 적어도 임계 횟수만큼 수신했는지 여부를 결정하고;
어시스턴트가 적어도 임계 횟수만큼 특정 가청 커맨드의 표시를 수신했다는 결정에 응답하여 커스텀 액션 그룹을 결정하도록 더 구성되는 것을 특징으로 하는 컴퓨팅 시스템.
제12항에 있어서,
상기 어시스턴트는,
새로운 컴퓨팅 디바이스가 특정 사용자와 관련되어 있다는 결정에 응답하여 커스텀 액션 그룹을 결정하도록 더 구성되는 것을 특징으로 하는 컴퓨팅 시스템.
제17항에 있어서,
상기 어시스턴트는,
새로운 컴퓨팅 디바이스와 관련된 새로운 액션을 결정하고,
새로운 액션의 표시를 출력하고; 그리고
새로운 액션을 커스텀 액션 그룹에 추가하라는 커맨드의 표시를 수신하도록 더 구성되고,
상기 어시스턴트는 새로운 액션을 커스텀 액션 그룹에 추가하라는 커맨드의 표시를 수신하는 것에 더 응답하여 커스텀 액션 그룹을 결정하도록 구성되는 것을 특징으로 하는 컴퓨팅 시스템.
제12항에 있어서,
상기 어시스턴트는,
특정 사용자가 상호 작용하는 컴퓨팅 디바이스의 유형에 더 기초하여 커스텀 액션 그룹을 결정하도록 구성되는 것을 특징으로 하는 컴퓨팅 시스템.
실행될 때 디지털 어시스턴트 시스템의 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하는 명령들을 포함하는 컴퓨터-판독 가능 저장 매체로서, 상기 동작들은,
어시스턴트가 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 디폴트 액션 그룹을 결정하고;
디폴트 액션 그룹 및 특정 사용자와 관련된 사용자 프로필에 기초하여, 어시스턴트가 특정 사용자로부터 특정 가청 커맨드를 수신하는 것에 응답하여 실행하도록 구성된 커스텀 액션 그룹을 결정하고;
특정 가청 커맨드의 표시를 수신하고;
특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었는지 여부를 결정하고; 그리고
특정 가청 커맨드의 표시가 특정 사용자로부터 발신되었다는 결정에 응답하여, 커스텀 액션 그룹으로부터 각의 액션을 실행하는 것을 포함하는 것을 특징으로 하는 컴퓨터-판독 가능 저장 매체.