KR20210002604A

KR20210002604A - 자동 어시스턴트 루틴에 포함을 위한 자동 어시스턴트 액션 추천

Info

Publication number: KR20210002604A
Application number: KR1020207033556A
Authority: KR
Inventors: 마이클 앤드류 굿맨
Original assignee: 구글 엘엘씨
Priority date: 2018-05-07
Filing date: 2019-05-04
Publication date: 2021-01-08
Also published as: JP7012883B2; US11749278B2; EP3776253A1; KR20220124819A; CN112236762A; US20220358927A1; WO2019217248A1; KR102581348B1; JP2021523457A; US20200175983A1; KR102439144B1; US11398231B2; US20230352018A1; KR20230136696A

Abstract

사용자의 기존 자동 어시스턴트 루틴에 포함을 위한 자동 어시스턴트 액션이 추천되고, 기존 자동 어시스턴트 루틴은 복수의 이전 존재하고 있는 자동 어시스턴트 액션을 포함하다. 사용자가 긍정 사용자 인터페이스 입력을 통해 추천을 확인하면, 자동 어시스턴트 액션은 기존 자동 어시스턴트 루틴에 부가될 수 있다. 따라서 이후에, 자동 어시스턴트 루틴이 초기화되면, 추천에 응답하여 수신된 긍정 사용자 인터페이스 입력에 응답하여 루틴에 자동으로 부가되었던 자동 어시스턴트 액션뿐만 아니라, 이전 존재하고 있는 루틴의 자동 어시스턴트 액션이 수행될 것이다.

Description

자동 어시스턴트 루틴에 포함을 위한 자동 어시스턴트 액션 추천

인간은 본 명세서에서 "자동 어시스턴트" ("디지털 에이전트", "챗봇", "대화형 개인 어시스턴트", "지능형 개인 어시스턴트", "대화 에이전트 "등이라고도 함)라고도 하는 대화형 소프트웨어 애플리케이션을 사용하여 인간 대 컴퓨터 대화에 참여할 수 있다.)　예를 들어, 어떤 경우에는 텍스트로 변환된 다음 처리될 수 있는 음성 자연어 입력 (예: 발화)를 이용하고/하거나 텍스트 (예: 입력된) 자연어 입력을 제공하여, 인간 (자동 어시스턴트와 상호 작용할 때 "사용자"라고 함)은 명령 및/또는 요청을 제공할 수 있다.

자동 어시스턴트는 예를 들어 특정 명령 (예를 들어, 바로 가기 명령)을 수신하는 것에 응답하여 여러 동작의 루틴을 수행할 수 있다.　예를 들어, "Good Night"의 음성 발화를 수신하면 자동 어시스턴트가 네트워크 조명을 끄고 내일의 일기 예보를 렌더링하고 사용자의 일정을 표시하는 등 일련의 액션을 수행할 수 있다.　자동 어시스턴트 루틴은 사용자 및/또는 클라이언트 장치의 에코 시스템에 특정화될 수 있으며, 사용자는 특정 루틴에 특정 액션을 수동으로 추가하도록 제어할 수 있다.　예를 들어, 첫 번째 사용자는 첫 번째 사용자에 의해 정의된 첫 번째 굿모닝 자동 어시스턴트 액션 세트와 함께 "Good Morning" 자동 어시스턴트 루틴, 첫 번째 사용자에 의해 정의된 첫 번째 세트의 good night 자동 어시스턴트 액션을 갖는 "good night"자동 어시스턴트 루틴, 및 첫 번째 사용자에 의해 정의된 부가 자동 어시스턴트 액션을 갖는 부가 자동 어시스턴트 루틴을 가질 수 있다. 별도의 두 번째 사용자는 두 번째 사용자에 의해 정의된 별도의 good morning 자동 어시스턴트 액션 세트를 갖는 good morning 자동 어시스턴트 루틴, 두 번째 사용자 등에 의해 정의된 별도의 good night 자동 어시스턴트 액션 세트가 있는 "Good Night"루틴을 가질 수 있다.

본 명세서에 설명된 바와 같이, 다양한 자동 어시스턴트 루틴은 클라이언트 장치에서 가상 또는 하드웨어 요소와의 사용자 상호 작용에 응답하여 개시된 사용자의 음성 또는 입력된 사용자 인터페이스 입력에서 바로 가기 명령을 감지하는 것에 응답하여 개시될 수 있다. 사용자 제스처를 감지하는 것에 응답하여 및/또는 다른 축약된 사용자 인터페이스 입력(들)에 응답하여 개시된다.　 자동 어시스턴트 루틴을 개시하기 위한 축약된 사용자 인터페이스 입력은 자동 어시스턴트 루틴의 액션을 수행하는 데 필요한 것보다 더 적은 사용자 입력 및/또는 사용자 입력 처리를 필요로 한다는 점에서 축약된다.　 예를 들면 일련의 액션의 자동 루틴을 수행하는 바로 가기 명령은 말하거나 입력해야 하는 명령보다 길이가 짧다는 점에서 축약될 수 있지만 압축된 명령의 경우 자동 어시스턴트가 일련의 액션을 수행한다.　다양한 자동 어시스턴트 루틴은 하나 이상의 조건이 발생하면 추가로 또는 대안적으로 자동으로 개시될 수 있으며 선택적으로 명시적인 사용자 인터페이스 입력이 필요하지 않다.　자동 어시스턴트 루틴의 이러한 자동 개시는 또한 자동 어시스턴트 루틴의 액션을 수행하는 데 필요한 것보다 더 적은 사용자 입력 및/또는 더 적은 사용자 입력의 처리를 요구할 수 있다.　

자동 어시스턴트 루틴의 존재에도 불구하고, 사용자의 어떤 자동 어시스턴트 루틴에 통합되지 않고, 대신 사용자가 자동 어시스턴트와의 장기간 상호 작용 및/또는 장기간의 상호 작용을 통해 수행하는 다양한 자동 어시스턴트 액션이 여전히 존재한다. 다른 컴퓨터 응용 프로그램과 함께.　이러한 장기간의 상호 작용이 발생할 때마다 상당한 컴퓨터 및/또는 네트워크 리소스가 소모될 수 있다.　예를 들어, 자동 어시스턴트를 통해 주방에서 네트워크로 연결된 조명을 켜려면 사용자가 클라이언트 장치의 자동 어시스턴트 인터페이스에 "주방 조명 켜기"또는 유사한 음성 발화를 말해야 할 수 있다.　음성 발화에 해당하는 오디오 데이터는 클라이언트 장치에서 원격 시스템으로 전송될 수 있다.　원격 시스템은 오디오 데이터 (e.이들 및 다른 고려 사항의 관점에서, 본 명세서에 개시된 구현은 사용자의 기존 자동 어시스턴트 루틴에 포함시키기 위해 자동 어시스턴트 액션을 추천하는 것과 관련되며, 여기서 기존의 자동 어시스턴트 루틴은 하나 이상의 기존의 자동 어시스턴트 액션을 포함한다.　사용자가 긍정 사용자 인터페이스 입력을 통해 추천을 확인하면 기존 자동 어시스턴트 루틴에 자동 어시스턴트 액션이 자동으로 추가될 수 있다.　이후, 자동 어시스턴트 루틴이 초기화되면, 기존 루틴의 자동 어시스턴트 액션과 추천에 대한 응답으로 수신된 긍정 사용자 인터페이스 입력에 응답하여 루틴에 자동으로 추가된 자동 어시스턴트 액션이 수행될 것이다.

이들 및 다른 고려 사항을 고려하여, 본 명세서에 개시된 구현은 사용자의 기존 자동 어시스턴트 루틴에 포함시키기 위해 자동 어시스턴트 액션을 추천하는 것과 관련되며, 여기서 기존의 자동 어시스턴트 루틴은 하나 이상의 기존의 자동화 된 어시스턴트 액션을 포함한다. 사용자가 긍정 사용자 인터페이스 입력을 통해 추천을 확인하면 기존 자동 어시스턴트 루틴에 자동 어시스턴트 액션이 자동으로 부가될 수 있다. 이후, 자동 어시스턴트 루틴이 초기화되면, 기존 루틴의 자동 어시스턴트 액션과 추천에 대한 응답으로 수신된 긍정 사용자 인터페이스 입력에 응답하여 루틴에 자동으로 추가된 자동화 된 어시스턴트 액션이 수행될 것이다.

이것은 사용자가 액션이 수행되도록 하기 위해 더 많은 자원 집약적인 장기 상호 작용을 대신 수행할 필요성을 제거한다.　오히려 액션이 추가되는 자동 어시스턴트 루틴의 여러 액션 중 하나로 수행된다.　이는 예를 들어 사용자가 제공해야 하는 입력의 양을 줄여 (예를 들어, 사용자가 자동 어시스턴트 인터페이스에 제공) 액션을 수행하도록 함으로써 인간-컴퓨터 상호 작용을 개선할 수 있다.　인간-컴퓨터 상호 작용을 개선하는 것 외에도, 이는 예를 들어 사용자가 액션을 수행하도록 추가 사용자 인터페이스 입력을 제공하도록 요구하는 것과 관련하여 다양한 컴퓨터 및/또는 네트워크 효율성을 직접 가져올 수 있다.　또한, 상기 및 본원의 다른 곳에서 설명된 바와 같이,　자동 어시스턴트 루틴의 초기화는 효율적으로 처리될 수 있는 축약된 사용자 인터페이스 입력에 응답할 수 있고/있거나 사용자 인터페이스 입력의 처리를 필요로 하지 않는 조건(들)의 발생시 자동 일 수 있다.　또한 기존 루틴에 포함하기 위해 자동 어시스턴트 액션을 추천하고 원터치 및/또는 단일 발화 (예: "예, 추가") 긍정 입력에 대한 응답으로 루틴에 액션을 자동으로 추가하는 것은 효율적인 보충을 제공한다. 기존 루틴의.　예를 들어, 단순화된 사용자 인터페이스 입력에 대한 응답으로 액션을 자동으로 추가하는 것은 사용자가 수동으로 액션을 추가하기 위해 장시간 상호 작용에 참여하도록 요구하는 것보다 계산적으로 더 효율적일 수 있다.

본 명세서에 개시된 구현은 사용자의 하나 이상의 자동 어시스턴트 루틴에 포함되도록 잠재적으로 추천하기 위한 자동 어시스턴트 액션을 결정할 수 있다.　또한, 자동 어시스턴트 액션은 사용자와 연관되어 저장된 복수의 자동 어시스턴트 루틴 각각과 비교될 수 있으며, 비교 (예를 들어, 하나 이상의 기준이 충족되는 경우), 서브 세트 (예를 들어, 하나의 )의 자동 보조 루틴을 선택할 수 있다.　그래픽 및/또는 청각적 사용자 인터페이스 출력은 사용자의 클라이언트 장치를 통해 렌더링될 수 있으며, 여기서 사용자 인터페이스 출력은 사용자에게 서브 세트의 선택된 루틴(들)에 액션을 추가하도록 프롬프트 한다.　사용자 인터페이스 출력에 대한 응답으로 긍정 사용자 인터페이스 입력이 수신되면 자동 어시스턴트 액션이 자동으로 수행될 수 있다 (예:　추가 사용자 인터페이스 입력이 필요하지 않음) 긍정 사용자 인터페이스 입력으로 표시된 선택된 루틴 중 하나에 추가된다.　그 후, 선택된 루틴 중 하나가 개시될 때, 루틴의 기존 자동 어시스턴트 액션의 자동 수행이 초기화될 수 있을 뿐만 아니라 선택된 액션(들) 중 추가된 하나의 자동 수행이 초기화될 수 있다.

사용자의 하나 이상의 자동 어시스턴트 루틴에 포함되도록 잠재적으로 추천하기 위한 자동 어시스턴트 액션을 결정하기 위해 다양한 기술이 활용될 수 있다. 일부 구현에서, 자동 어시스턴트 액션을 결정하는 것은 사용자에 의해 제공되는 사용자 인터페이스 입력의 하나 이상의 인스턴스를 통해 사용자에 의해 개시되는 자동 어시스턴트 액션에 기초한다. 예를 들어, "스마트 온도 조절기를 72 °로 조정"자동 어시스턴트 액션은 자동 어시스턴트에게 제공되는 음성 및/또는 다른 사용자 인터페이스 입력을 통해 자동 어시스턴트 액션을 개시하는 사용자의 하나 이상의 이전 인스턴스에 기초하여 결정될 수 있다. 일부 구현에서, 자동 어시스턴트 액션을 결정하는 것은 사용자에 의해 제공되는 사용자 인터페이스 입력의 하나 이상의 인스턴스를 통해 사용자에 의해 개시되는 다르지만 관련된 자동 어시스턴트 액션에 기초한다. 예를 들어, 그릴 링과 관련된 다른 팁이 수행될 때마다 렌더링 되도록 하는 "그릴 링 팁"자동 어시스턴트 액션은 그릴 링과 관련된 사용자 인터페이스 입력의 하나 이상의 과거 인스턴스를 제공하는 사용자를 기반으로 결정될 수 있다 ( 예: "그릴에서 치킨을 요리하는 시간"). 일부 구현들에서, 자동 어시스턴트 액션을 결정하는 것은 자동 어시스턴트 액션이 사용자의 하나 이상의 비자 동화된 어시스턴트 상호 작용과 관련된다는 결정에 기초한다. 예를 들어, "스마트 온도 조절기를 72 °로 조정"자동 어시스턴트 액션은 사용자가 스마트 온도 조절기를 수동으로 조정하거나 (예를 들어, 스마트 온도 조절기와 직접 상호 작용을 통해) 스마트 온도 조절기를 조정하는 한 번 이상의 발생을 감지하여 결정할 수 있다. 스마트 온도 조절기 제어를 위한 비 자동 보조 애플리케이션을 통해. 감지는 예를 들어 자동 어시스턴트로 전송되고 스마트 온도 조절기가 72 °로 조정되었음을 나타내는 상태 변경 표시를 기반으로 할 수 있다. 상태 변경 표시는 스마트 온도 조절기를 제어하는 에이전트에 의해 자동 어시스턴트에게 전송될 수 있으며 자동 어시스턴트의 상태 요청에 응답하여 푸시되거나 제공될 수 있다. 일부 구현에서, 자동 어시스턴트 액션을 결정하는 것은 사용자가 자동 어시스턴트 액션 및/또는 관련 액션을 수행했음을 반드시 결정하지 않고, 인간이 자동 어시스턴트 상호 작용을 개선할 수 있다는 결정에 기초한다.

사용자의 자동 어시스턴트 루틴(들)의 서브세트를 선택하여 루틴과 액션을 비교하여 자동 어시스턴트 액션을 추가하도록 권장하면 루틴 (있는 경우)을 수정할 가능성이 높아질 수 있다. 액션에 권장되므로 무시하거나 무시할 권장 사항을 제공하는 위험을 완화한다. 또한, 사용자의 전체 루틴 대신 자동 어시스턴트 루틴의 서브 세트를 렌더링하면 렌더링에 사용되는 리소스를 절약할 수 있다. 일부 구현에서, 자동 어시스턴트 루틴의 서브 세트는 루틴의 과거 발생의 시간 속성을 자동 어시스턴트 액션 (또는 자동 어시스턴트 액션과 관련된 액션)의 과거 발생(들)의 시간 속성과 비교하는 것에 기초하여 선택된다. 예를 들어, 사용자에 대한 자동 어시스턴트 액션의 과거 발생이 평일 아침에만 발생한 경우, 평일 아침에 자주 개시되는 사용자의 루틴이 사용자의 루틴보다 서브세트에 대해 선택될 가능성이 더 높다. 평일 저녁에 자주 개시되거나 주말 아침에 자주 개시되는 사용자의 루틴이다.

일부 구현에서, 자동 어시스턴트 루틴의 서브 세트는 루틴에서 사용되는 디바이스(들)의 디바이스 토폴로지 속성(들)을 자동 어시스턴트에서 사용되는 디바이스(들)의 디바이스 토폴로지 속성(들)과 추가적으로 또는 대안적으로 비교하는 것에 기초하여 선택된다. 동작. 예를 들어, 자동 어시스턴트 액션이 할당된 장치 토폴로지 속성이 "location = living room"인 텔레비전의 제어와 관련된 경우 할당된 장치 토폴로지 속성을 가진 다른 장치를 제어하는 액션을 포함하는 루틴 "location = living room"(예: 거실 조명, 거실 스피커 등)은 "location = living room"이 있는 장치를 제어하는 액션이 없는 루틴보다 서브세트에 대해 선택될 가능성이 더 높다. 장치 토폴로지 속성. 또 다른 예로서, 자동 어시스턴트 액션이 할당된 장치 토폴로지 속성이 "디스플레이 가능"인 장치를 통해 콘텐츠를 표시해야 하는 경우, 장치가 있는 영역에 있는 장치를 제어하는 액션을 포함하는 루틴 "디스플레이 가능"디바이스 토폴로지 속성은 "디스플레이 가능" 디바이스 토폴로지 속성을 가진 디바이스가 있는 영역에서 디바이스를 제어하는 액션이 없는 루틴보다 서브 세트에 대해 선택될 가능성이 더 높다.

일부 구현에서, 자동 어시스턴트 루틴의 서브 세트는 자동 어시스턴트 액션과 모순을 포함하는 임의의 루틴을 서브 세트로부터 추가적으로 또는 대안적으로 제외하는 것에 기초하여 선택된다. 예를 들어, "스마트 온도 조절기를 72 °로 조정" 자동 어시스턴트 액션의 경우 충돌하는 "스마트 온도 조절기를 75 °로 조정" 액션이 있는 경우 주어진 루틴을 제외할 수 있다. 또한 예를 들어 에이전트와 인터페이스하여 저녁에만 사용할 수 있는 서비스를 수행하는 자동 어시스턴트 액션의 경우 저녁이 아닌 아침에 자동으로 발생하는 루틴을 기준으로 지정된 루틴을 제외할 수 있다.

일부 구현에서, 자동 어시스턴트 루틴의 서브 세트는 자동 어시스턴트 액션과 모순을 포함하는 임의의 루틴을 서브 세트로부터 추가적으로 또는 대안적으로 제외하는 것에 기초하여 선택된다. 예를 들어, "스마트 온도 조절기를 72 °로 조정"자동 어시스턴트 액션의 경우 충돌하는 "스마트 온도 조절기를 75 °로 조정"액션이 있는 경우 주어진 루틴을 제외할 수 있다. 또한 예를 들어 에이전트와 인터페이스하여 저녁에만 사용할 수 있는 서비스를 수행하는 자동 어시스턴트 액션의 경우 저녁이 아닌 아침에 자동으로 발생하는 루틴을 기준으로 지정된 루틴을 제외할 수 있다.

일부 구현에서, 적어도 하나의 선택된 자동 어시스턴트 루틴에 자동 어시스턴트 액션을 추가하도록 사용자에게 프롬프트하는 사용자 인터페이스 출력은 선택된 루틴의 수행 또는 자동 어시스턴트의 수행의 결론에 제공될 수 있다. 동작. 예를 들어, "Good Morning"루틴을 수행한 후 자동 어시스턴트는 "그런데 Action X가이 루틴에 추가하는 것이 좋을 것 같다. 추가를 원한다."라는 그래픽 및/또는 청각 적 프롬프트를 제공할 수 있다. 그리고 응답으로 긍정입력이 수신되면 "Action X"를 "Good Morning"루틴에 추가할 수 있다. 또한, 예를 들어, 사용자의 사용자 인터페이스 입력 (예: "어시스턴트, 액션 X 수행"의 음성 입력)에 응답하여 "액션 X"를 수행 한 후, 자동 어시스턴트는 "에 의한 그래픽 및/또는 청각 적 프롬프트"를 제공할 수 있다. 굿모닝 루틴에 추가하는 것이 좋을 것 같다. 긍정입력이 응답으로 수신되면 "Action X"를 "Good Morning"루틴에 추가할 수 있다. 이러한 방식과 다른 방식으로 제시된 사용자 인터페이스 출력은 인간이 자동화 한 어시스턴트 상호 작용을 촉진하고, 이에 대한 응답으로 긍정입력이 수신되면 루틴의 기존 액션을 모두 수행하는 데 필요한 사용자 입력의 양을 줄이다. , 루틴에 추가된 조치. 예를 들어, "액션 X"는 연결된 장치를 제어할 수 있으며 제시된 사용자 인터페이스 입력은 사용자가 응답으로 긍정입력을 제공할 수 있게 함으로써 인간이 자동화 한 어시스턴트 상호 작용을 더욱 강화할 수 있으며, 그 결과 연결된 장치를 제어할 수 있다. 해당 루틴의 추가 개시에 대한 응답으로 자동으로 발생한다.

일부 구현에서, 루틴에 자동 어시스턴트 액션을 추가할 때, 루틴의 기존 액션 중에서 자동 어시스턴트 액션의 수행 위치가 결정될 수 있다. 이러한 구현의 일부 버전에서 위치는 자동 어시스턴트 액션에 필요한 사용자 인터페이스 출력 (있는 경우)의 기간 및 루틴의 기존 액션. 예를 들어, 자동 어시스턴트 액션이 스마트 장치를 제어하고 사용자 인터페이스 출력 (또는 매우 짧은 "장치 제어"출력)을 필요로 하지 않는 경우 하나 이상의 액션 전에 수행되도록 배치할 수 있다. 렌더링하려면 더 오래 지속되는 사용자 인터페이스 출력이 필요한다. 일부 추가 또는 대체 버전에서는 성능 위치가 마지막 일 수 있으며 선택적으로 시간 지연으로 발생할 수 있다. 시간적 지연은 예를 들어, 루틴의 과거 수행에 대한 (사용자의 과거 입력(들)에 응답하여) 자동 어시스턴트 액션의 과거 수행의 시간적 지연(들)에 기초할 수 있다. 예를 들어 자동 어시스턴트 액션이 스마트 커피 메이커의 추출주기를 개시하고 "Good Morning"루틴에 추가되었다고 가정한다. 또한 "어시스턴트, 내 커피를 끓이세요"라는 음성 발화에 대한 응답으로 굿모닝 루틴이 끝난 후 세 번 ( "Good Morning"루틴에 추가하기 전에) 자동 어시스턴트 액션이 이전에 수행되었다고 가정한다. 굿모닝 루틴이 끝난 후 2 분, 3 분, 4 분 동안 세 번의 음성 발화가 발생한 경우, 3 분 (3 분의 평균)과 같은 시간 지연으로 굿모닝 루틴에 자동 어시스턴트 액션을 추가할 수 있다.

위에서 언급했듯이 일부 자동 어시스턴트 루틴은 사용자의 음성 또는 입력된 자연어 입력에서 바로 가기 구문 또는 명령을 감지하는 데 응답하여 초기화될 수 있다. 바로 가기 명령(shortcut command)은 자동 어시스턴트가 선택적으로 일련의 액션을 수행하도록 하는 축약된 명령을 제공한다. 특정 순서로. 일련의 액션에 대해 더 긴 명령 대신 일련의 액션의 성능을 유발하는 바로 가기 명령을 제공하면 사용자 입력을 더 적게 제공 (및 전송 및/또는 처리)할 수 있으므로 계산 및 네트워크 리소스를 절약할 수 있다. 또한, 기존의 바로 가기 명령에 응답하여 수행할 루틴의 추가 동작으로 자동 어시스턴트 액션을 자동으로 추가 한 후 바로 가기 명령에 대한 응답으로 루틴의 추가 동작과 기존 액션을 수행할 수 있다. 따라서, 바로 가기 명령은 추가 동작에 대한 명령과 바로 가기 명령을 모두 말하는 대신 사용자가 말하거나 입력할 수 있다. 자동 어시스턴트 루틴에 대한 축약된 명령의 한 예로서, 사용자가 아침에 일어나면 사용자는 주방 어시스턴트 장치 (즉, 클라이언트 컴퓨팅 장치가 위치한 부엌에서). 음성 발화는 예를 들어, "Good Morning"루틴을 초기화하기 위해 어시스턴트 장치 및/또는 원격 어시스턴트 장치 (어시스턴트 장치와 통신)에 의해 처리될 수 있는 "Good Morning"일 수 있다. 예를 들어, 어시스턴트 장치 및/또는 원격 장치는 음성 발화에 해당하는 오디오 데이터를 처리하여 음성 발화를 텍스트로 변환할 수 있으며, 사용자에 대해 "Good Morning"이라는 텍스트가 일련의 "Good Morning"의 음성 발화에 대한 응답으로 수행되는 자동 어시스턴트 액션. 여기에 설명된 구현에 따라 "Good Morning"루틴에 새로운 액션을 추가하는 것은 사용자를 위한 새로운 액션을 "Good Morning"텍스트에 추가로 할당한다.

다양한 자동 어시스턴트 루틴이 음성 또는 입력된 바로 가기 명령에 응답하여 초기화될 수 있지만, 일부 구현에서 자동 어시스턴트 루틴은 사용자가 클라이언트 장치 또는 주변 장치에서 가상 또는 하드웨어 요소를 누르는 것에 응답하여 추가로 또는 대안적으로 초기화될 수 있다. 클라이언트 장치의 센서(들)를 통해 감지되는 제스처를 수행하고, 클라이언트 장치에서 다른 촉각 입력(들)을 제공하고, 및/또는 임의의 다른 유형의 컴퓨터 판독 가능 사용자 인터페이스 입력을 제공하는 것이다. 예를 들어, 그래픽 사용자 인터페이스 (GUI)는 선택 가능한 아이콘과 함께 클라이언트 장치에 제공될 수 있으며, 여기서 선택 가능한 아이콘은 사용자가 자동 어시스턴트 루틴을 초기화하도록 제안한다. 사용자가 선택 가능한 아이콘 (예: "Good Morning"이라고 표시된 GUI 버튼)을 선택하면 자동 어시스턴트는 이에 대응하여 해당 자동 어시스턴트 루틴을 초기화할 수 있다. 추가적으로 또는 대안적으로, 자동 어시스턴트 루틴은 예를 들어 사용자의 존재를 감지하는 자동 어시스턴트 (예를 들어, 음성 인증 및/또는 얼굴 인식을 사용하여 특정 사용자를 감지 함), 사용자의 위치 (예: 집, 자동차, 거실 및/또는 추가 위치와 같은 위치에서 음성 인증 및/또는 안면 인식을 사용하여 특정 사용자를 감지) 알람이 해제되는 경우 (예: 기상 알람 연결된 전화 또는 다른 장치에 설정), 애플리케이션 열기 및/또는 자동 어시스턴트에 의해 인식될 수 있는 다른 사용자 동작 (예: 하나 이상의 클라이언트 장치의 신호에 기초). 예를 들어, "Good Morning"루틴은 "Morning"에 얼굴 인식을 사용하여 부엌에서 사용자가 감지될 때 (즉, 루틴과 연관된 특정 시간에, 일정 시간 동안 및/또는 추가 시간 (들)에서) 초기화될 수 있다.

"Good Morning"루틴의 예로는 사용자의 일정을 렌더링하고, 특정 어플라이언스를 켜고, 팟 캐스트를 렌더링하는 등의 액션이 포함될 수 있다. 다시 말하지만, 자동 어시스턴트가 바로 가기 명령에 응답할 수 있도록 함으로써 사용자는 자동 어시스턴트가 대응 액션을 수행하도록 하기 위해 반드시 일련의 명령을 제공할 필요가 없다 (예: 사용자가 말한 내용을 암송할 필요가 없다). utterance: "Assistant, 내 일정을 읽어주고, 기기를 켜고, 내 팟 캐스트를 재생한다."). 대신 자동 어시스턴트는 바로 가기 명령에 응답할 수 있으며, 자동 어시스턴트는 바로 가기 명령에 해당하는 액션을 식별하기 위해 처리할 수 *?*있다. 일부 구현에서, 루틴은 개인화될 수 있으며, 따라서 루틴의 성능으로 인해 특정 액션 세트가 한 사용자에 대해 자동 어시스턴트에 의해 수행되도록 하는 특정 바로 가기 명령 또는 기타 입력을 가능하게 하는 반면, 동일한 입력은 다른 사용자를 위해 자동 어시스턴트가 수행할 다른 조치 세트. 예를 들어, 특정 사용자는 바로 가기 명령에 응답하여 첫 번째 액션 세트를 수행하도록 자동 어시스턴트를 구체적으로 구성할 수 있으며, 특정 사용자의 배우자는 동일한 바로 가기 명령에 대한 응답으로 두 번째 액션 세트를 수행하도록 자동 어시스턴트를 구성할 수 있다. 자동 어시스턴트는 하나 이상의 센서 입력 및/또는 음성 서명, 얼굴 인식, 이미지 피드, 동작 특성 및/또는 기타 데이터와 같은 하나 이상의 결정된 특성을 사용하여 바로 가기 명령을 제공하는 사용자를 구별할 수 있다. 더욱이, 본 명세서에서 설명된 바와 같이, 자동 어시스턴트는 주어진 사용자에게 추천할 자동 어시스턴트 액션을 결정하고, 사용자에게 특정한 자동 어시스턴트 루틴(들)을 결정하고, 사용자의 루틴에 자동 어시스턴트 액션을 추가하기 위해 프롬프트하는 사용자 인터페이스 출력을 제공할 시기를 결정하는 데, 사용자들 간에 구별을 할 수 있다 (예를 들어, 사용자에게 특정 사용자 인터페이스 출력은 사용자가 자동 어시스턴트와 상호 작용하는 것으로 결정된 경우에만 제공될 수 있음).

사용자가 주방 보조 장치와 같은 보조 장치에 "Good Morning"과 같은 바로 가기 명령을 제공하면 루틴의 하나 이상의 동작에 해당하는 콘텐츠가 처음에 주방 보조 장치에 의해 렌더링될 수 있다. 음성이 주방 보조 기기로 전달된다. 예를 들어, 다른 장치가 바로 가기 명령을 승인했음에도 불구하고 콘텐츠는 처음에는 주방 보조 장치에서만 (즉, 다른 클라이언트 장치에서 동시에 렌더링되지 않고) 렌더링될 수 있다. 예를 들어, 여러 장치가 각각의 자동 어시스턴트 인터페이스에서 수신되는 바로 가기 명령을 인식할 수 있지만, 가장 시끄럽거나 왜곡된 바로 가기 명령을 수신하는 장치는 자동 어시스턴트 루틴이 초기화될 장치로 지정될 수 있다.

사용자가 사무 보조 장치를 사용하여 사무실에서 액션을 수행하는 경우 자동 어시스턴트는 여전히 "Good Morning"루틴에 액션을 추가하도록 제안할 수 있다. 예를 들어, 사용자가 부엌에서 "Good Morning"루틴을 완료한 후 사무실로 이동한 다음 사무실 어시스턴트 장치에 뉴스 헤드 라인에 대한 음성 발화를 요청하면 자동 어시스턴트가 "뉴스 헤드 라인 렌더링 액션을"에 추가할 것을 제안할 수 있다. Good Morning"루틴은 주방 보조 장치를 통해 주방에서 수행된다. 일부 구현에서, 사무 보조 장치는 액션이 "Good Morning"루틴과 다른 장치에서 수행되더라도 사무실에서 수행되는 액션 (즉, 뉴스 헤드 라인 렌더링)을 "Good Morning"루틴에 추가하는 것을 제안할 수 있다. 일부 구현에서, 사무실 장치는 사용자가 사무실 어시스턴트에게 뉴스 헤드 라인을 요청한 후 사용자가 사무실에 있는 동안 뉴스 헤드 라인을 "Good Morning"루틴에 렌더링하는 액션을 추가하는 것을 제안하는 데 활용될 수 있다. 다른 구현에서, 주방 보조 장치는 사용자가 여전히 주방 장치에 근접한 상태에서 "Good Morning"루틴이 완료된 후 "Good Morning"루틴에 뉴스 헤드 라인을 렌더링하는 새로운 액션을 추가하도록 제안할 수 있다. 추가적으로 또는 대안적으로, 일부 구현에서 자동 어시스턴트는 사용자가 "Good Morning"루틴이 수행되기 전이지만 사용자가 주방 장치의 바로 가기 명령을 통해 루틴을 요청한 후에 사용자가 주방 장치 근처에서 감지되는 경우, 사무실에서 역사적으로 수행된 액션을 추가하도록 사용자에게 제안할 수 있다.

일부 구현에서, 자동 어시스턴트 루틴에 액션을 추가하는 데 제한이 있을 수 있다. 예를 들어, 배우자와 함께 사는 사용자는 "Good Morning"루틴을 가질 수 있고 그들의 배우자는 자신의 "Good Morning"루틴을 가질 수 있다. 사용자는 배우자의 굿모닝 루틴에 액션을 추가하고 싶지 않을 수 있다 (반대의 경우도 마찬가지). 일부 구현에서, 자동 어시스턴트는 사용자 또는 그들의 배우자가 센서 입력 및/또는 음성 서명, 얼굴 인식, 이미지 피드, 동작 특성 및/또는 기타 데이터와 같은 하나 이상의 결정된 특성을 통해 행동을 수행하고 있는지 결정할 수 있다. 일부 구현에서, 다중 사용자 가정에서 자동 어시스턴트 루틴에 대한 기본 설정은 루틴의 사용자 만이 개인 루틴을 수정할 수 있는 권한을 가질 수 있다. 일부 구현에서, 사용자는 다른 사용자 (예: 배우자)가 자신의 개인 루틴에 액션을 추가할 수 있도록 자동 어시스턴트에게 권한을 부여할 수 있다. 추가적으로, 일부 구현에서, 조치를 추가하는 루틴을 제안하기 전에 자동 어시스턴트가 적절한 동의를 얻은 경우 다른 가구 구성원에 대해 유사한 루틴의 조치를 검토할 수 있다. 예를 들어, 스마트 커피 메이커와 같은 기기를 켜는 액션을 사용자의 굿모닝 루틴에 추가하도록 제안하기 전에 자동 어시스턴트가 배우자의 굿모닝 루틴을 검토하고 해당 동작이 이미 가정에서 수행되고 있는지 확인할 수 있다. 아침. 즉, 액션 추가를 제안하는 루틴을 결정할 때 자동 어시스턴트가 사용자의 루틴을 검토하고 이를 가족의 다른 구성원과 관련된 루틴과 비교하여 예를 들어 두 명의 사용자가 "Good Morning"루틴의 일부로 아침에 커피 메이커를 모두 켜는 것과 같은 중복 액션을 방지할 수 있다.

일부 구현에서, 루틴 실행에서 자동 어시스턴트는 하나 이상의 로컬 및/또는 원격 에이전트와 인터페이스 한다. 예를 들어, 세 가지 액션을 포함하는 루틴의 경우 자동 어시스턴트는 첫 번째 액션을 수행하는 첫 번째 에이전트, 두 번째 액션을 수행하는 두 번째 에이전트, 세 번째 액션을 수행하는 세 번째 에이전트와 인터페이스할 수 있다. 본 명세서에서 사용되는 "에이전트"는 자동 어시스턴트에 의해 활용되는 하나 이상의 컴퓨팅 장치 및/또는 소프트웨어를 참조한다. 일부 상황에서 에이전트는 자동 어시스턴트와 분리될 수 있고/있거나 하나 이상의 통신 채널을 통해 자동 어시스턴트와 통신할 수 있다. 이러한 상황 중 일부에서, 자동 어시스턴트는 제 1 네트워크 노드로부터 에이전트 기능의 모든 또는 측면을 구현하는 제 2 네트워크 노드로 데이터 (예를 들어, 에이전트 명령)를 전송할 수 있다. 일부 상황에서 에이전트는 자동 어시스턴트를 관리하는 당사자와 분리된 당사자에 의해 관리된다는 점에서 타사 (3P) 에이전트 일 수 있다. 일부 다른 상황에서 에이전트는 자동 어시스턴트를 관리하는 동일한 당사자에 의해 관리된다는 점에서 자사 (1P) 에이전트 일 수 있다.

에이전트는 자동 어시스턴트로부터 호출 요청 및/또는 기타 에이전트 명령을 수신하도록 (예를 들어, 네트워크를 통해 및/또는 API를 통해) 구성된다. 에이전트 명령을 수신하면 에이전트는 에이전트 명령을 기반으로 반응 형 콘텐츠를 생성하고 반응 형 콘텐츠를 기반으로 하는 사용자 인터페이스 출력을 제공하기 위해 반응 형 콘텐츠를 전송한다. 예를 들어, 에이전트는 응답 콘텐츠를 기반으로 하는 자동 어시스턴트에 의한 출력의 제공을 위해 응답 콘텐츠를 자동 어시스턴트로 전송할 수 있다. 다른 예로, 에이전트는 자체적으로 출력을 제공할 수 있다. 예를 들어, 사용자는 클라이언트 장치를 통해 자동 어시스턴트와 상호 작용할 수 있으며 (예를 들어, 자동 어시스턴트는 클라이언트 장치에서 및/또는 클라이언트 장치와의 네트워크 통신에서 구현될 수 있음) 에이전트는 클라이언트 장치에 설치된 애플리케이션 일 수 있다. 클라이언트 장치 또는 클라이언트 장치에서 원격으로 실행 가능한 응용 프로그램이지만 클라이언트 장치에서는 "스트리밍 가능"한다. 응용 프로그램이 호출되면 클라이언트 장치에 의해 실행되고 /되거나 클라이언트 장치에 의해 최전방에 표시될 수 있다 (예: 해당 콘텐츠가 클라이언트 장치의 디스플레이를 차지할 수 있음).

상기 내용은 여기에 개시된 다양한 구현의 개요로서 제공된다. 이러한 다양한 구현 및 추가 구현에 관한 추가 세부 사항이 여기에 제공된다.

일부 구현에서, 하나 이상의 프로세서에 의해 구현되는 방법이 제공되고 자동 어시스턴트에 의해 개시되는 액션을 결정하는 단계를 포함한다. 액션은 자동 어시스턴트와 상호 작용하는 하나 이상의 자동 어시스턴트 인터페이스를 통해 사용자에 의해 제공된 사용자 인터페이스 입력의 하나 이상의 인스턴스에 응답하여 자동 어시스턴트에 의해 개시된다. 상기 방법은 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계를 더 포함한다. 각각의 자동 어시스턴트 루틴은 자동 어시스턴트 루틴의 초기화에 응답하여 자동 어시스턴트를 통해 자동으로 수행될 복수의 대응하는 액션을 정의하며, 액션은 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴의 액션에 부가된다. 상기 방법은 액션을 사용자와 관련하여 저장되는 복수의 자동 어시스턴트 루틴과 비교하는 단계를 더 포함한다. 상기 방법은 비교에 기초하여, 사용자와 관련하여 저장되는 자동 어시스턴트 루틴의 서브 세트를 선택하는 단계를 포함한다. 상기 방법은 사용자가 제공한 사용자 인터페이스 입력에 대한 응답으로 개시되는 액션에 기초하고, 자동 어시스턴트 루틴의 서브세트를 선택하는 것에 기초하여, 사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계를 더 포함한다. 사용자 인터페이스 출력은 사용자가 서브세트의 하나 이상의 자동 어시스턴트 루틴에 액션을 부가하도록 프롬프트 한다. 상기 방법은 사용자 인터페이스 출력에 응답하여 긍정(affirmative) 사용자 인터페이스 입력을 수신하는 단계를 더 포함하고, 긍정 사용자 인터페이스 입력은 서브 세트의 자동 어시스턴트 루틴 중 주어진 루틴을 표시한다. 상기 방법은 긍정 사용자 인터페이스 입력을 수신하는 것에 응답하여, 주어진 루틴의 초기화에 응답하여 자동으로 수행되는 주어진 루틴의 복수의 대응 액션 중 추가 액션으로서 액션을 자동으로 부가하는 단계를 더 포함한다.

본 명세서에 개시된 기술의 이들 및 다른 구현은 다음 특징 중 하나 이상을 포함할 수 있다.

일부 구현에서, 하나 이상의 사용자 인터페이스 입력 인스턴스는 텍스트로 변환될 때 제1 길이의 제1 텍스트를 포함하는 하나 이상의 음성 발화를 포함한다. 이러한 구현에서, 주어진 루틴의 초기화는 텍스트로 변환될 때 제 2 길이의 제 2 텍스트를 포함하는 주어진 음성 발화에 응답하여 발생하며, 제 2 길이는 제 1 길이보다 짧다.

일부 구현에서, 사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계는 주어진 루틴을 수행하는 것에 더 기초하고 주어진 루틴을 수행한 결과로 발생한다.

일부 구현에서, 액션을 개시한 사용자 인터페이스 입력의 하나 이상의 인스턴스는 음성 발화를 포함한다. 이러한 구현의 일부 버전에서, 상기 방법은 음성 발화의 하나 이상의 음성 특성에 기초하여 사용자의 프로필을 식별하는 단계를 포함한다. 이러한 버전에서, 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계는 사용자의 프로파일과 관련하여 저장되는 복수의 자동 어시스턴트 루틴에 기초하여 복수의 자동 어시스턴트 루틴을 식별하는 단계를 포함한다. 또한, 이러한 버전에서, 주어진 루틴을 수행하는 단계는 사용자로부터의 추가적인 음성 발화에 응답하여 발생할 수 있고, 사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계는 추가적인 음성 발화가 사용자의 프로파일에 대응하는 하나 이상의 음성 특성을 갖는 것으로 결정하는 것에 더 기초할 수 있다.

일부 구현에서, 사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계는 하나 이상의 사용자 인터페이스 입력의 인스턴스에 응답하여 자동 어시스턴트에 의해 개시되는 액션의 결과로 발생한다.

일부 구현에서, 액션은 자동 어시스턴트에 의해 관리되는 연결된 장치의 적어도 하나의 상태를 변경하기 위한 명령을 제공하는 것을 포함한다.

일부 구현에서, 액션은 써드 파티에 의해 제어되는 에이전트에 명령을 제공하는 것을 포함하고, 써드 파티는 자동 어시스턴트를 제어하는 대상(party)과 구별될 수 있다.

일부 구현에서, 자동 어시스턴트 루틴의 서브 세트를 선택하는 단계는 액션을 각각의 자동 어시스턴트 루틴의 복수의 대응하는 액션 각각과 비교하는 단계; 비교에 기초하고, 각각의 자동 어시스턴트 루틴에 대해, 액션이 자동 어시스턴트 루틴의 복수의 대응하는 액션 중 임의의 것과 하나 이상의 모순(contradiction)을 포함하는지를 결정하는 단계; 및 서브세트의 자동 어시스턴트 루틴의 복수의 대응하는 액션이 액션과 하나 이상의 모순이 없다는 결정에 기초하여 자동 어시스턴트 루틴의 서브세트를 선택하는 단계를 포함한다.

일부 구현에서, 하나 이상의 모순은 시간적 모순 및/또는 장치 비 호환성 모순(device incompatibility contradiction)을 포함한다. 시간적 모순은 복수의 대응하는 액션 각각의 시간 프레임 동안 액션을 완료할 수 없음을 포함할 수 있다. 장치 비 호환성 모순은 특정 능력을 갖는 장치를 요구하는 액션 및 특정 능력을 갖는 임의의 장치와 관련되지 않는 복수의 대응 액션 각각을 포함할 수 있다.

일부 구현에서, 액션을 자동으로 부가하는 단계는 주어진 루틴에서 액션을 수행하기 위한 위치를 결정하는 단계를 포함하고, 위치는 주어진 루틴의 복수의 대응하는 액션에 상대적이다. 이러한 구현의 일부 버전에서, 액션을 수행하기 위한 위치는 복수의 대응 액션 전, 복수의 대응 액션 후, 또는 복수의 대응 액션 중 두 액션 사이에 있다. 이러한 구현의 일부 버전에서, 위치는 복수의 대응하는 액션 이후이고, 시간적 지연을 포함한다. 시간적 지연은 사용자에 의해 주어진 루틴의 하나 이상의 과거 개시 이후에, 사용자에 의한 과거 개시의 하나 이상의 과거 지연에 기초할 수 있다.

일부 구현에서, 액션을 개시한 사용자 인터페이스 입력의 하나 이상의 인스턴스는 사용자 인터페이스 출력이 렌더링되는 클라이언트 장치에 연결되지만 이로부터 분리된 추가 클라이언트 장치를 통해 수신된다.

일부 구현에서, 사용자 인터페이스 출력은 그래픽 출력을 포함하고, 상기 방법은, 클라이언트 장치가 디스플레이 능력이 결여되고, 추가 클라이언트 장치가 디스플레이 능력을 포함한다는 결정에 기초하여 사용자 인터페이스 출력을 제공하기 위한 추가 클라이언트 장치를 선택하는 단계를 포함한다.

일부 구현에서, 액션을 개시한 사용자 인터페이스 입력의 하나 이상의 인스턴스는 음성 발화를 포함하고, 상기 방법은 음성 발화의 하나 이상의 음성 특성에 기초하여 사용자의 프로필을 식별하는 단계를 더 포함한다. 이러한 구현의 일부로, 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계는 사용자의 프로파일과 관련하여 저장되는 복수의 자동 어시스턴트 루틴에 기초한다.

일부 구현에서, 하나 이상의 프로세서에 의해 구현되는 방법이 제공되고, 상기 방법은 자동 어시스턴트 액션을 결정하는 단계 및 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계를 포함한다. 각각의 자동 어시스턴트 루틴은 자동 어시스턴트 루틴의 초기화에 응답하여 자동 어시스턴트를 통해 자동으로 수행될 복수의 대응하는 액션을 정의한다. 결정된 자동 어시스턴트 액션은 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴의 액션에 부가된다. 상기 방법은 자동 어시스턴트 액션을 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴과 비교하는 단계를 포함한다. 상기 방법은 비교에 기초하여, 사용자와 관련하여 저장되는 자동 어시스턴트 루틴의 서브 세트를 선택하는 단계를 더 포함한다. 상기 방법은 클라이언트 장치의 하나 이상의 센서로부터의 센서 데이터에 기초하여, 사용자가 클라이언트 장치와 상호 작용하고 있음을 결정하는 단계를 더 포함한다. 상기 방법은 사용자가 클라이언트 장치와 상호 작용하고 있다는 결정에 기초하고, 자동 어시스턴트 루틴의 서브세트를 선택하는 것에 기초하여, 사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계를 더 포함하고, 사용자 인터페이스 출력은 사용자가 서브세트의 하나 이상의 자동 어시스턴트 루틴에 자동 액션을 부가하도록 프롬프트 한다. 상기 방법은 사용자 인터페이스 출력에 응답하여 긍정(affirmative) 사용자 인터페이스 입력을 수신하는 단계를 더 포함한고, 긍정 사용자 인터페이스 입력은 서브 세트의 자동 어시스턴트 루틴 중 주어진 루틴을 표시한다. 상기 방법은 긍정 사용자 인터페이스 입력을 수신하는 것에 응답하여, 주어진 루틴의 초기화에 응답하여 자동으로 수행되는 주어진 루틴의 복수의 대응 액션 중 추가 액션으로서 액션을 자동으로 부가하는 단계를 더 포함한다.

일부 구현에서, 상기 부가하는 단계는 긍정 사용자 인터페이스 입력을 수신하는 것에 응답하여 임의의 추가 사용자 인터페이스 입력을 요구하지 않고 수행된다.

일부 구현에서, 센서 데이터는 클라이언트 장치의 하나 이상의 마이크로폰에 기초한 음성 데이터를 포함하고, 사용자가 클라이언트 장치와 상호 작용하고 있음을 결정하는 단계는, 음성 데이터에 기초하여 하나 이상의 음성 특성을 결정하는 단계; 및 사용자의 사용자 프로파일에 따르는 음성 특성에 기초하여 사용자를 식별하는 단계를 포함한다.

일부 구현에서, 자동 어시스턴트 액션은 특정 연결된 장치를 제어하는 것을 포함한다. 이러한 구현의 일부 버전에서, 자동 어시스턴트 액션을 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴과 비교하는 단계는, 사용자의 연결된 장치의 장치 토폴로지에 기초하여, 주어진 루틴의 복수의 대응 동작 중 적어도 하나에 의해 제어되는 특정 연결된 장치와 추가 연결된 장치가 모두 장치의 동일한 물리적 위치에 할당되는지를 결정하는 단계를 포함한다. 이러한 버전의 일부로, 비교에 기초하여, 서브세트에 포함을 위한 주어진 루프를 선택하는 단계는, 특정 연결된 장치와 추가 연결된 장치가 모두 동일한 물리적 위치에 할당되는 것으로 결정에 기초하여 서브세트에 포함을 위한 주어진 루틴을 선택하는 단계를 포함한다

일부 구현에서, 자동 어시스턴트 액션은 특정 연결된 장치를 제어하는 것을 포함하고, 자동 어시스턴트 액션을 결정하는 단계는, 특정 연결된 장치의 보고된 상태에 기초하여, 특정 연결된 장치가 비-자동 어시스턴트 상호 작용에 응답하여 특정 방식으로 제어되었음을 결정하는 단계; 및 특정 연결된 장치가 특정 방식으로 제어되도록 하기 위해 자동 어시스턴트 액션을 결정하는 단계를 포함한다.

일부 구현에서, 자동 어시스턴트 액션을 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴과 비교하는 단계는, 자동 액션, 또는 사용자에 의한 관련된 액션 중 하나 이상의 수행에 기초하여 자동 어시스턴트 액션의 적어도 하나의 액션 시간 속성을 결정하는 단계; 자동 어시스턴트 루틴의 하나 이상의 과거 수행에 기초하여 자동 어시스턴트 루틴의 적어도 하나의 루틴 시간 속성을 결정하는 단계; 및 적어도 하나의 액션 시간 속성을 적어도 하나의 루틴 시간 속성과 비교하는 단계를 포함한다.

일부 구현에서, 자동 어시스턴트 액션은 특정 써드 파티에 의해 제어되는 써드 파티 에이전트와의 상호 작용을 포함하고, 자동 어시스턴트 액션을 결정하는 단계는 사용자에 의한 별도의 써드 파티와의 개별 상호 작용에 대한 과거 수행을 결정하는 단계를 포함한다.

일부 구현에서, 자동 어시스턴트 액션을 결정하는 단계는 별도의 상호 작용과 자동 어시스턴트 액션 사이의 관계에 기초하여 자동 어시스턴트 액션을 결정하는 단계에 기초한다.

부가적으로, 일부 구현은 하나 이상의 컴퓨팅 장치의 하나 이상의 프로세서를 포함하고, 여기서 하나 이상의 프로세서는 연관된 메모리에 저장된 명령어를 실행하도록 동작할 수 있고, 명령어는 전술한 방법 중 임의의 것을 수행하도록 구성된다. 일부 구현은 또한 전술한 방법 중 임의의 방법을 수행하기 위해 하나 이상의 프로세서에 의해 실행 가능한 컴퓨터 명령어를 저장하는 하나 이상의 비 일시적 컴퓨터 판독 가능 저장 매체를 포함한다.

도 1은 다양한 구현이 실시될 수 있는 예시적인 환경을 나타내는 블록도이다.
도 2는 사용자와 자동 어시스턴트와의 예시적인 상호작용을 나타내는 도면이다.
도 3은 사용자와 자동 어시스턴트와의 다른 예시적인 상호작용을 나타내는 도면이다.
도 4는 본 명세서에서 개시되는 구현에 따른 예시적인 프로세스를 나타내는 흐름도이다.
도 5는 컴퓨팅 장치의 예시적인 아키텍쳐를 나타내는 블록도이다.

본 명세서에 개시된 구현은 사용자를 위한 자동 어시스턴트 루틴에 통합되는 자동 어시스턴트 액션을 추천할지 여부를 결정하기 위한 방법, 장치 및 컴퓨터 판독 가능 매체 (일시적 및 비 일시적)에 관한 것이다. 이러한 구현 중 일부에서, 사용자 인터페이스 출력은 액션이 루틴에 통합되도록 권장하는 것으로 결정될 때 사용자에게 표시하기 위해 렌더링된다. 사용자 인터페이스 출력은 사용자가 루틴에 액션을 추가할 것인지 묻는 메시지를 표시할 수 있다. 또한, 이러한 구현의 일부 버전에서는 사용자 인터페이스 출력에 대한 응답으로 수신되는 긍정 사용자 인터페이스 입력에 응답하여 액션이 루틴에 추가된다. 예를 들어, 수신된 긍정 사용자 인터페이스 입력에 대한 응답으로 액션이 루틴에 자동으로 추가될 수 있다.

예시적인 루틴은 자동 어시스턴트가 사용자의 하루를 준비하기 위해 아침에 여러 가지 다른 액션을 순차적으로 수행하는 아침 루틴 일 수 있으며, 예를 들어, 아침 루틴은 자동 어시스턴트가 특정 날짜 (예: 현재 날짜)의 사용자가 클라이언트 장치를 통해 청각 적으로 렌더링 되도록 하고, 자동 어시스턴트가 장치 (예: 스마트 조명)를 켜고 클라이언트를 통해 팟 캐스트를 청각 적으로 렌더링하도록 한다. 사용자가 준비하는 동안 장치. 아침 루틴이 완료된 후 사용자는 아침 루틴에 포함될 수 있는 액션을 수행할 수 있다. 예를 들어, 사용자는 아침 루틴이 완료된 후 제 2 클라이언트 장치의 어시스턴트 인터페이스에 음성 발화를 제공할 수 있으며, 여기서 발화는 자동 어시스턴트가 자동 어시스턴트 (예: 스마트 커피 메이커)와 관련된 기기를 켜도록 한다). 아침 루틴의 성능의 일시적인 근접성 및 자동 어시스턴트가 기기를 켜도록 하는 음성 발화를 제공하는 사용자를 기반으로 하여 "기기 켜기"액션을 아침 루틴에 포함하도록 권장할 수 있다. 사용자가 권장 사항을 수락하면 "어플라이언스 켜기"액션이 루틴에 자동으로 추가될 수 있다. 그 후, 사용자가 어시스턴트에게 기기를 켜기 위해 별도의 명령을 내리는 대신, 자동 어시스턴트는 아침 루틴 개시에 응답하여 기기가 켜지도록 할 수 있다.

이제 도면을 참조하면, 도 1은 다양한 구현이 구현될 수 있는 예시적인 환경 (100)을 도시한다. 예시적인 환경 (100)은 하나 이상의 클라이언트 장치 (102)를 포함한다. 각 클라이언트 장치는 자동 어시스턴트 클라이언트 (112)의 개별 인스턴스를 실행할 수 있다. 자연어 프로세서 (122) 및/또는 루틴 모듈 (124)과 같은 하나 이상의 클라우드 기반 자동 어시스턴트 컴포넌트 (116) , 일반적으로 114로 표시된 하나 이상의 로컬 및/또는 광역 네트워크 (예를 들어, 인터넷)를 통해 클라이언트 장치 (102)에 통신적으로 결합된 하나 이상의 컴퓨팅 시스템 ( "클라우드"컴퓨팅 시스템으로 총칭함)으로 구현될 수 있다.

클라우드 기반 자동 어시스턴트 컴포넌트 (116)와의 상호 작용을 통해, 사용자의 관점에서 볼 때 클라이언트의 논리적 인스턴스 인 것처럼 보이는 것을 형성할 수 있다. 사용자가 대화에 참여할 수 있는 자동 어시스턴트 (112). 자동 어시스턴트 (112)의 그러한 예가 도 1에 1 점선으로 도시되어 있다. 따라서, 클라이언트 장치 (102)에서 실행되는 자동 어시스턴트 클라이언트 (108)와 관여하는 각 사용자는 사실상 자동 어시스턴트 (112)의 자신의 논리적 인스턴스에 관여할 수 있다는 것을 이해해야 한다. 특정 사용자를 "서비스하는"것으로 본 명세서에서 사용되는 "자동 어시스턴트"는 종종 사용자에 의해 운영되는 자동 어시스턴트 클라이언트 (108)와 하나 이상의 클라우드 기반 자동 어시스턴트 컴포넌트 (116) (여러 자동 어시스턴트 클라이언트 (108) 사이에서 공유될 수 있음)의 조합을 지칭할 수 있다). 또한, 일부 구현에서, 자동 어시스턴트 (112)는 사용자가 자동 어시스턴트 (112)의 특정 인스턴스에 의해 실제로 "서비스"를 받는지 여부에 관계없이 임의의 사용자로부터의 요청에 응답할 수 있다는 것을 이해해야 한다.

클라이언트 장치 (102)는 예를 들어 데스크톱 컴퓨팅 장치, 랩톱 컴퓨팅 장치, 태블릿 컴퓨팅 장치, 터치 감지 컴퓨팅 장치 (예: 사용자로부터 터치를 통해 입력을 수신할 수 있는 컴퓨팅 장치), 휴대폰 컴퓨팅 장치, 사용자 차량의 컴퓨팅 장치 (예: 차량용 통신 시스템, 차량용 엔터테인먼트 시스템, 차량용 내비게이션 시스템), 독립형 대화형 스피커, 스마트 기기 스마트 텔레비전 및/또는 컴퓨팅 장치를 포함하는 사용자의 웨어러블 장치 (예: 컴퓨팅 장치를 가진 사용자의 시계, 컴퓨팅 장치를 가진 사용자의 안경, 가상 또는 증강 현실 컴퓨팅 장치) 중 하나 이상을 포함할 수 있다. 부가 및/또는 대체 클라이언트 컴퓨팅 장치가 제공될 수 있다.

다양한 구현에서, 클라이언트 장치 (102)는 다양한 형태로 올 수 있는 하나 이상의 센서 (도시되지 않음)를 포함할 수 있다. 센서는 구두, 텍스트, 그래픽, 물리적 (예를 들어, 터치 감지 프로젝터 및/또는 컴퓨팅 디바이스의 터치 감지 스크린을 포함하는 디스플레이 디바이스에 대한 터치)과 같은 자동 어시스턴트 (112)에 대한 다양한 유형의 입력을 감지할 수 있고/또는 시각적 (예: 제스처) 기반 입력. 일부 클라이언트 장치 (102)는 시야에서 검출된 움직임을 나타내는 신호(들)를 캡처하고 제공하도록 구성된 하나 이상의 디지털 카메라를 구비할 수 있다. 추가적으로 또는 대안적으로, 일부 클라이언트 장치에는 하나 이상의 마이크와 같은 음향 (또는 압력) 파를 감지하는 센서가 장착될 수 있다.

클라이언트 장치 (102) 및/또는 클라우드 기반 자동 어시스턴트 구성 요소 (116)는 하나 이상의 장치 (104)와 통신할 수 있다. 장치 (104)는 다음을 포함하는 다양한 장치 중 임의의 것을 포함할 수 있다. 장치 (104)는 클라이언트 장치 (102) (및/또는 클라이언트 장치 (102)의 특정 사용자)와 그리고 서로 연결된다. 예를 들어, 장치 (104)는 클라이언트 장치 (102) (및 선택적으로 다른 클라이언트 장치)에 할당된 프로파일에 연결될 수 있고/있거나 클라이언트 장치 (102)의 사용자에게 할당된 프로파일에 연결될 수 있다. 총체적으로, 클라이언트 장치 (102)는, 다른 클라이언트 장치(들) 및 장치 (104)는 조정된 장치 에코 시스템을 정의할 수 있다. 다양한 구현에서, 장치는 사용자 생성 및/또는 자동 생성될 수 있는 장치 토폴로지 표현을 통해 서로 연결되며, 각 장치 및/또는 속성에 대해 다양한 어시스턴트 클라이언트 장치, 다양한 스마트 장치, 식별된 장치를 정의할 수 있다. (s) 각각. 예를 들어, 장치의 식별자(들)는 장치가 위치한 구조 (예: 거실, 주방)의 방 (및/또는 기타 영역)을 지정하거나 별명(들)을 지정할 수 있다) 및/또는 장치의 별칭 (예: 소파 램프, 현관문 잠금 장치, 침실 스피커, 주방 보조원 등). 이러한 방식으로, 장치의 식별자는 사용자가 각 장치와 연관시킬 가능성이 있는 각 장치의 이름, 별칭 및/또는 위치 일 수 있다. 본 명세서에 설명된 바와 같이, 이러한 식별자(들)는 본 명세서에 개시된 다양한 구현에서 활용될 수 있다. 예를 들어, 그러한 식별자(들)은 자동 어시스턴트 액션이 자동 어시스턴트 루틴을 따르는 지 여부를 결정하는데 활용될 수 있다.

장치 (104)는 자동 어시스턴트 (112)에 의해 직접 제어될 수 있고/있거나 장치 (104)는 원격 장치(들) (예를 들어, 다른 클라우드 기반 구성 요소)에 의해 호스팅되는 하나 이상의 써드 파티 에이전트 (106)에 의해 제어될 수 있다. 또한, 하나 이상의 써드 파티 에이전트 (106)는 또한 장치 (104)를 제어하고 /하거나 다른 하드웨어 장치를 제어하는 것 외에 기능(들)을 수행할 수 있다. 예를 들어, 자동 어시스턴트 (112)는 써드 파티 에이전트 (106)와 상호 작용하여 서비스가 수행되도록 하고, 트랜잭션이 개시되도록 할 수 있다. 예를 들어, 사용자 음성 명령 "에이전트 X로부터 큰 페퍼로니 피자를 주문"하면 써드 파티 에이전트 "에이전트 X"에 에이전트 명령을 전송하기 위해 자동 어시스턴트 클라이언트 (108) (또는 클라우드 기반 자동 어시스턴트 컴포넌트(들) (116)). 예를 들어 에이전트 명령에는 음성 명령에서 결정된 "순서 지정"의도를 나타내는 의도 값과 "type = pizza", "toppings = pepperoni"및 "size = large"와 같은 선택적 슬롯 값이 포함될 수 있다". 이에 응답하여, 써드 파티 에이전트는 대형 페퍼로니 피자에 대한 주문이 개시되도록 할 수 있고, 주문이 성공적으로 개시되었음을 나타내는 콘텐츠를 자동 어시스턴트 (112)에 제공할 수 있다. 그 후, 콘텐츠 (또는 그 변환)는 클라이언트 장치 (102)의 출력 장치 (예를 들어, 스피커(들) 및/또는 디스플레이(들))를 통해 사용자에게 렌더링되도록 할 수 있다. 구현은 "에이전트 X에서 큰 페퍼로니 피자 주문"액션 및/또는 유사한 액션이 사용자의 기존 루틴에 추가되도록 권장할 수 있다. 사용자의 기존 루틴에 추가될 때, "에이전트 X로부터 큰 페퍼로니 피자 주문"자동 어시스턴트 액션이 기존 루틴의 개시에 대한 응답으로 개시될 수 있다. 따라서, 이러한 음성을 캡처하는 오디오 데이터의 전송 및/또는 처리가 생략될 수 있으므로 컴퓨터 및/또는 네트워크 리소스를 절약할 수 있다.

많은 구현에서, 자동 어시스턴트 (112)는 하나 이상의 클라이언트 장치 (102)의 사용자 인터페이스 입력 및 출력 장치를 통해 하나 이상의 사용자와 대화 세션에 참여할 수 있다. 일부 구현에서, 자동 어시스턴트 (112)는 클라이언트 장치 (102) 중 하나의 하나 이상의 사용자 인터페이스 입력 장치를 통해 사용자에 의해 제공되는 사용자 인터페이스 입력에 응답하여 사용자와 대화 세션에 참여할 수 있다. 이러한 구현 중 일부에서, 사용자 인터페이스 입력은 명시적으로 자동 어시스턴트 (112)에 직접 전달된다. 예를 들어, 사용자는 미리 정해진 "OK, Assistant"또는 "Hey, Assistant"와 같은 호출 문구는 자동 어시스턴트 (112)가 적극적으로 청취를 개시하게 한다. 많은 구현에서, 사용자는 "OK Assistant, Good Morning"과 같은 루틴 실행을 개시하기 위해 미리 결정된 단축 문구를 말하여 Good Morning 루틴 실행을 개시할 수 있다.

일부 구현에서, 자동 어시스턴트 (112)는 사용자 인터페이스 입력이 자동 어시스턴트 (112)에 명시적으로 직접적이지 않은 경우에도 사용자 인터페이스 입력에 응답하여 대화 세션에 참여할 수 있다. 예를 들어, 자동 어시스턴트 (112)는 사용자의 콘텐츠를 검사할 수 있다. 인터페이스 입력 및 사용자 인터페이스 입력에 존재하는 특정 용어에 응답하여 및/또는 다른 단서에 기초하여 대화 세션에 참여. 많은 구현에서, 자동 어시스턴트 (112)는 음성 인식을 활용하여 사용자의 발화를 텍스트로 변환하고, 예를 들어 시각 정보 제공, 검색 결과 제공, 일반 정보 제공 및/또는 하나 또는 더 많은 대응 조치 (예: 미디어 재생, 게임 개시, 음식 주문 등). 일부 구현에서, 자동 어시스턴트 (112)는 발화를 텍스트로 변환하지 않고 발화에 추가적으로 또는 대안적으로 응답할 수 있다. 예를 들어, 자동 어시스턴트 (112)는 음성 입력을 임베딩, (음성 입력에 존재하는 엔티티/엔티티를 나타내는) 엔티티 표현(들) 및/또는 다른 "비 텍스트"표현으로 변환하고 그러한 비- 텍스트 표현. 따라서, 추가적으로 및/또는 대안적으로 음성 입력으로부터 직접 및/또는 음성 입력의 다른 비 텍스트 표현에 대해 동작하는 음성 입력으로부터 변환된 텍스트에 기초하여 동작하는 것으로 본 명세서에 설명된다.

클라우드 기반 자동 어시스턴트 구성 요소 (116)를 운영하는 클라이언트 컴퓨팅 디바이스 (102) 및 컴퓨팅 디바이스(들) 각각은 데이터 및 소프트웨어 애플리케이션의 저장을 위한 하나 이상의 메모리, 데이터에 액세스하고 애플리케이션을 실행하기 위한 하나 이상의 프로세서, 및 기타 구성 요소를 포함할 수 있다. 네트워크를 통한 통신을 용이하게 한다. 하나 이상의 컴퓨팅 장치 (102) 및/또는 자동 어시스턴트 (112)에 의해 수행되는 동작은 복수의 컴퓨터 시스템에 분산될 수 있다. 자동 어시스턴트 (112)는 예를 들어, 네트워크를 통해 서로 연결된 하나 이상의 위치에서 실행되는 하나 이상의 컴퓨터에서 실행되는 컴퓨터 프로그램으로서 구현될 수 있다.

위에서 언급한 바와 같이, 다양한 구현에서, 클라이언트 컴퓨팅 장치 (102)는 자동 어시스턴트 클라이언트 (108)를 동작시킬 수 있다. 다양한 구현에서, 각각의 자동 어시스턴트 클라이언트 (108)는 대응하는 음성 캡처/텍스트 음성 변환 ( "TTS")/음성 대 텍스트 ( "STT") 모듈 (110)을 포함할 수 있다. 다른 구현에서, 음성 캡처/TTS/STT 모듈 (110)의 하나 이상의 양상은 자동 어시스턴트 클라이언트 (108)와 별도로 구현될 수 있다.

각각의 음성 캡처/TTS/STT 모듈 (110)은 하나 이상의 기능을 수행하도록 구성될 수 있다: 예를 들어, 마이크로폰 (일부 경우에 클라이언트 장치 (102)의 센서를 포함할 수 있음)을 통해 사용자의 음성을 캡처하고; 캡처한 오디오를 텍스트 (및/또는 다른 표현 또는 임베딩으로 변환)로 변환 및/또는 텍스트를 음성으로 변환한다. 예를 들어, 일부 구현에서, 클라이언트 장치 (102)는 컴퓨팅 리소스 (예를 들어, 프로세서 사이클, 메모리, 배터리 등)의 관점에서 상대적으로 제한될 수 있기 때문에, 각각에 로컬 인 음성 캡처/TTS/STT 모듈 (110) 클라이언트 장치 (102)는 한정된 수의 상이한 음성 문구, 특히 자동 어시스턴트 (112)를 호출하는 문구를 텍스트 (또는 저 차원 임베딩과 같은 다른 형태)로 변환하도록 구성될 수 있다. 다른 음성 입력은 클라우드 기반 TTS 모듈 (118) 및/또는 클라우드 기반 STT 모듈 (120)을 포함할 수 있는 클라우드 기반 자동 어시스턴트 컴포넌트 (116)로 전송될 수 있다.

클라우드 기반 STT 모듈 (120)은 음성 캡처/TTS/STT 모듈 (110)에 의해 캡처된 오디오 데이터를 텍스트 (자연어 프로세서 (122)에 제공될 수 있음)로 변환하기 위해 클라우드의 사실상 무한한 자원을 활용하도록 구성될 수 있다. 클라우드 기반 TTS 모듈 (118)은 텍스트 데이터 (예를 들어, 자동 어시스턴트 (112)에 의해 공식화된 자연어 응답)를 컴퓨터 생성 음성 출력으로 변환하기 위해 클라우드의 사실상 무한한 자원을 활용하도록 구성될 수 있다. 일부 구현에서, TTS 모듈 (118)은 예를 들어 하나 이상의 스피커를 사용하여 직접 출력되도록 컴퓨터 생성 음성 출력을 클라이언트 장치 (102)에 제공할 수 있다. 다른 구현에서, 자동 어시스턴트 (112)에 의해 생성된 텍스트 데이터 (예를 들어, 자연어 응답)는 음성 캡처/TTS/STT 모듈 (110)에 제공될 수 있으며, 이는 텍스트 데이터를 로컬로 출력되는 컴퓨터 생성 음성으로 변환할 수 있다.

자동 어시스턴트 (112)에 의해 생성된 텍스트 데이터 (예를 들어, 자연어 응답)는 음성 캡처/TTS/STT 모듈 (110)에 제공될 수 있으며, 이는 텍스트 데이터를 로컬로 출력되는 컴퓨터 생성 음성으로 변환할 수 있다. 자동 어시스턴트 (112) (예를 들어, 클라우드 기반 어시스턴트 컴포넌트 (116))는 자연어 프로세서 (122), 전술 한 TTS 모듈 (118), 전술 한 STT 모듈 (120) 및 기타 컴포넌트를 포함할 수 있으며, 이들 중 일부는 아래에서 더 상세히 설명된다. 일부 구현에서, 자동 어시스턴트 (112)의 엔진 및/또는 모듈 중 하나 이상은 자동 어시스턴트 (112)와 분리된 컴포넌트에서 생략, 결합 및/또는 구현될 수 있다. 일부 구현에서, 프라이버시를 보호하기 위해, 하나 이상의 자연어 프로세서 (122), 음성 캡처/TTS/STT 모듈 (110), 루틴 모듈 (124) 등과 같은 자동화 어시스턴트 (112)의 구성 요소의 구성 요소는 클라이언트 장치 (102) (예를 들어, 클라우드)에서 적어도 부분적으로 구현될 수 있다.

일부 구현에서, 자동 어시스턴트 (112)는 자동 어시스턴트 (112)와의 인간 대 컴퓨터 대화 세션 동안 클라이언트 장치 (102)의 사용자에 의해 생성된 다양한 입력에 응답하여 응답 콘텐츠를 생성한다. 자동 어시스턴트 (112)는 응답 콘텐츠를 제공할 수 있다 (예를 들어, 하나를 통해). 대화 세션의 일부로 사용자에게 표시하기 위해 사용자의 클라이언트 장치와 분리된 경우 더 많은 네트워크). 예를 들어, 자동 어시스턴트 (112)는 클라이언트 장치 (102)를 통해 제공되는 자유 형식의 자연어 입력에 응답하여 반응 형 콘텐츠를 생성할 수 있다. 여기에서 사용되는 바와 같이, 자유 형식 입력은 사용자가 선택하기 위해 제공되는 옵션 그룹에 제한되지 않은 사용자에 의해 공식화된 입력이다.

자동 어시스턴트 (112)의 자연어 프로세서 (122)는 클라이언트 장치 (102)를 통해 사용자에 의해 생성된 자연어 입력을 처리하고 자동 어시스턴트 (112)의 하나 이상의 구성 요소에 의해 사용하기 위해 주석이 달린 출력을 생성할 수 있다. 예를 들어, 자연어 프로세서 (122)는 자연어를 처리할 수 있다. 클라이언트 장치 (102)의 하나 이상의 사용자 인터페이스 입력 장치를 통해 사용자에 의해 생성되는 언어 자유 형식 입력을 처리할 수 있다. 생성된 주석이 달린 출력은 자연어 입력의 하나 이상의 주석 및 선택적으로 자연어 입력의 조건 중 하나 이상 (예를 들어, 모두)을 포함한다.

일부 구현에서, 자연어 프로세서 (122)는 자연어 입력에서 다양한 유형의 문법 정보를 식별하고 주석을 달도록 구성된다. 예를 들어, 자연어 프로세서 (122)는 문법적 역할을 가진 용어에 주석을 달도록 구성된 음성 태거(speech tagger)의 일부를 포함할 수 있다. 또한, 예를 들어, 일부 구현에서 자연어 프로세서 (122)는 자연어 입력에서 용어들 간의 구문 관계를 결정하도록 구성된 종속성 파서 (도시되지 않음)를 추가적으로 및/또는 대안적으로 포함할 수 있다.

일부 구현에서, 자연어 프로세서 (122)는 추가적으로 및/또는 대안적으로 사람들에 대한 참조 (예를 들어, 문학 캐릭터, 유명인, 대중을 포함)와 같은 하나 이상의 세그먼트에서 엔티티 참조에 주석을 달도록 구성된 엔티티 태거 (도시되지 않음)를 포함할 수 있다. 숫자 등), 조직, 위치 (실제 및 가상) 등. 자연어 프로세서 (122)의 엔티티 태거는 (예를 들어, 사람과 같은 엔티티 클래스에 대한 모든 참조의 식별을 가능하게 하기 위해) 높은 레벨의 엔티티에 대한 참조 및/또는 더 낮은 레벨의 세분화 (예를 들어, 특정 사람과 같은 특정 엔티티에 대한 모든 참조를 식별할 수 있다. 엔티티 태거는 특정 엔티티를 해결하기 위해 자연어 입력의 콘텐츠에 의존할 수 있고 그리고/또는 특정 엔티티를 해결하기 위해 지식 그래프 또는 다른 엔티티 데이터베이스와 선택적으로 통신할 수 있다.

일부 구현에서, 자연어 프로세서 (122)는 추가적으로 및/또는 대안적으로 하나 이상의 컨텍스트 단서에 기초하여 동일한 엔티티에 대한 참조를 그룹화하거나 "클러스터"하도록 구성된 상호 참조 해결 기 (도시되지 않음)를 포함할 수 있다. 예를 들어, 상호 참조 해석기는 자연어 입력 "저번에 그곳에서 먹었을 때 가상 카페를 좋아했다"에서 "거기"라는 용어를 "가상 카페"로 해석하는 데 활용될 수 있다.

일부 구현에서, 자연어 프로세서 (122)는 추가적으로 및/또는 대안적으로 사람들에 대한 참조 (예를 들어, 문학 캐릭터, 유명인, 대중을 포함)와 같은 하나 이상의 세그먼트에서 엔티티 참조에 주석을 달도록 구성된 엔티티 태거 (도시되지 않음)를 포함할 수 있다. 숫자 등), 조직, 위치 (실제 및 가상) 등. 자연어 프로세서 (122)의 엔티티 태거는 (예를 들어, 사람과 같은 엔티티 클래스에 대한 모든 참조의 식별을 가능하게 하기 위해) 높은 수준의 세분성 및/또는 더 낮은 수준의 세분성 (예를 들어, 특정 사람과 같은 특정 엔티티에 대한 모든 참조를 식별할 수 있다. 엔티티 태거는 특정 엔티티를 분석하기 위해 자연어 입력의 콘텐츠에 의존할 수 있고/있거나 특정 엔티티를 분석하기 위해 선택적으로 지식 그래프 또는 다른 엔티티 데이터베이스와 통신할 수 있다. 많은 구현에서, 자연어 프로세서 (122)의 하나 이상의 컴포넌트는 예를 들어, 일부 구현에서, 명명된 엔티티 태거는 특정 엔티티에 대한 모든 언급에 주석을 달 때 상호 참조 해석기 및/또는 종속성 파서의 주석에 의존할 수 있다. 또한, 예를 들어 일부 구현에서 상호 참조 해석기는 동일한 엔티티에 대한 참조를 클러스터링할 때 종속성 파서의 주석에 의존할 수 있다. 많은 구현에서, 특정 자연어 입력을 처리할 때, 자연어 프로세서 (122)의 하나 이상의 구성 요소는 하나 이상의 주석을 결정하기 위해 특정 자연어 입력 외부의 관련 이전 입력 및/또는 다른 관련 데이터를 사용할 수 있다.

자동 어시스턴트 (112)의 루틴 모듈 (124)은 사용자의 자동 어시스턴트 루틴에 추가하기 위한 후보 액션을 결정할 수 있고, 후보 액션을 추가하도록 권장할 사용자의 사용 가능한 루틴의 서브 세트를 결정할 수 있으며, 다음에 대한 추천을 제공할 수 있다. 서브 세트의 루틴에 조치를 추가하고, 권장 사항에 대한 응답으로 수신되는 루틴 중 하나를 나타내는 긍정 입력을 기반으로 루틴 중 하나에 조치를 추가할 수 있다. 루틴 모듈 (124)은 도시된 바와 같이 클라우드 기반 자동 어시스턴트 컴포넌트 (116)에 의해 구현될 수 있고/있거나 클라이언트 장치 (102)의 자동 어시스턴트 클라이언트 (108)에 의해 구현될 수 있다.

일부 구현에서, 루틴 모듈 (124)은 자동 어시스턴트 (112)의 하나 이상의 인스턴스와 상호 작용을 통해 사용자에 의해 개시되는 액션에 기초하여, 사용자의 루틴에 추가하기 위해 잠재적으로 추천하기 위한 자동 어시스턴트 액션을 결정한다. 일부 구현에서, 루틴 모듈 (124)은 자동 어시스턴트 (112)의 하나 이상의 인스턴스와의 상호 작용을 통해 사용자에 의해 개시되는 관련되지만 상이한 동작에 기초하여, 사용자의 루틴에 추가하기 위해 잠재적으로 추천하기 위한 자동 어시스턴트 액션을 추가로 또는 대안적으로 결정한다. 일부 구현에서, 루틴 모듈 (124)은 사용자가 동작 또는 관련 액션을 수행했을 가능성이 있음을 나타내는 사용자와 관련된 데이터에 기초하여 사용자의 루틴에 추가하기 위해 잠재적으로 추천하기 위한 자동 어시스턴트 액션을 추가적으로 또는 대안적으로 결정한다. 사용자와 관련된 데이터는 다른 비 자동 어시스턴트 애플리케이션과 사용자의 상호 작용에 기반한 데이터, 스마트 장치의 직접적인 사용자 제어에 대한 응답으로 스마트 장치의 상태에 기반한 데이터, 위치 및/또는 사용자의 거래 등을 나타내는 데이터를 포함할 수 있다.

일부 구현에서, 루틴 모듈 (124)은 사용자를 위한 루틴의 저장된 목록에 액세스할 수 있고, 결정된 자동 어시스턴트 액션을 추가하도록 권장할 루틴(들)의 서브 세트를 결정할 수 있다. 이러한 구현 중 일부에서, 루틴 모듈 (124)은 루틴의 과거 발생의 시간 속성을 자동 어시스턴트 액션 (또는 자동 어시스턴트 액션과 관련된 액션의 과거 발생(들)의 시간 속성)과 비교하는 것에 기초하여 자동 어시스턴트 루틴의 서브 세트를 선택한다. 어시스턴트 액션). 예를 들어, 자동 어시스턴트 액션이 스마트 온도 조절기를 수동으로 조정 한 사용자의 과거 발생을 기반으로 결정된 "스마트 온도 조절기 설정치 3 ° 감소"액션 인 경우, 과거 발생 시간은 그 감소를 반영하는 스마트 온도 조절기. 또한, 그 시간 근처에서 (예를 들어, 1 시간 이내에) 자주 개시되는 사용자의 루틴은 해당 시간 근처에서 거의 개시되지 않거나 전혀 개시되지 않는 사용자의 루틴보다 서브 세트에 대해 선택될 가능성이 더 높다.

이러한 구현의 일부에서, 루틴 모듈 (124)은 루틴에서 사용되는 장치의 장치 토폴로지 속성(들)을 사용된 장치(들)의 장치 토폴로지 속성(들)과 비교하는 것에 기초하여 자동 어시스턴트 루틴의 서브 세트를 추가로 또는 대안적으로 선택한다. 자동 어시스턴트 액션에서, 예를 들어, 자동 어시스턴트 액션이 "location = vehicle"의 할당된 장치 토폴로지 속성을 갖는 사용자의 차량 구성 요소의 제어와 관련이 있는 경우, 다음을 갖는 다른 장치(들)를 제어하는 액션(들)을 포함하는 루틴 "location = vehicle"의 할당된 장치 토폴로지 속성은 "location = vehicle"장치 토폴로지 속성을 가진 장치를 제어하는 액션이 없는 루틴보다 서브 세트에 대해 선택될 가능성이 더 높다.

이러한 구현들 중 일부에서, 루틴 모듈 (124)은 부가 적으로 또는 대안적으로 자동 어시스턴트 액션과 모순을 포함하는 임의의 루틴을 서브 세트로부터 제외하는 자동 어시스턴트 루틴의 서브 세트를 선택한다. 예를 들어 "거실 조명을 50 %로 어둡게"자동 어시스턴트 액션의 경우 충돌하는 "거실 조명 끄기" 액션이 있는 경우 지정된 루틴을 제외할 수 있다. 또한 예를 들어 에이전트와 상호 작용하여 주문형 항목을 사용자의 집으로 배달하는 서비스를 수행하는 자동 어시스턴트 액션의 경우 "액션"에 할당된 루틴을 제외할 수 있다.

일부 구현에서, 루틴 모듈은 자동 어시스턴트 루틴에 추가하기 위한 다중 경쟁 액션을 고려하고, 루틴에 추가하기 위해 사용자 인터페이스 출력을 통해 실제로 추천할 수 있는 경쟁 동작의 서브 세트 (예를 들어, 하나)만을 선택한다. 이러한 구현 중 일부에서, 여러 경쟁 동작 각각은 루틴과 비교할 수 있으며 선택된 동작은 루틴에 가장 근접하고 루틴과의 충돌이 없는 하나 이상의 동작 일 수 있다. 다른 기준을 충족한다.

액션(들)이 추가될 수 있는 액션(들) 및/또는 루틴(들)을 결정하기 위해 사용되는 기술에 관계없이, 루틴 모듈 (124)은 사용자에게 다음에 대해 프롬프트하는 사용자 인터페이스 출력이 추가되도록 할 수 있다. 루틴에 액션을 추가할지 여부. 일부 구현에서, 루틴에 액션을 추가하는 것을 추천할 때, 루틴 모듈 (124)은 액션을 수행하기 위해 자동 어시스턴트와의 사용자 상호 작용에 응답하여 대응하는 사용자 인터페이스 출력이 렌더링되도록 한다 (예를 들어, 액션이 응답으로 완료된 후에 사용자 상호 작용). 일부 구현에서, 루틴에 액션을 추가하는 것을 추천할 때, 루틴 모듈 (124)은 루틴의 개시에 응답하여 (예를 들어, 루틴의 임의의 액션을 수행하기 전 또는 모두 완료한 후) 대응하는 사용자 인터페이스 출력이 렌더링되도록 한다.

루틴 모듈 (124)에 의해 제공된 추천에 응답하여 긍정 사용자 인터페이스 입력이 수신되면, 루틴 모듈 (124)은 해당 루틴에 해당 액션이 추가되도록 할 수 있다. 예를 들어, 루틴 모듈 (124)은 사용자로부터 추가 사용자 인터페이스 입력을 요구하지 않고 루틴에 자동으로 액션을 추가할 수 있다. 일부 구현에서, 루틴에 자동 어시스턴트 액션을 추가할 때, 루틴 모듈 (124)은 루틴의 기존 액션 중에서 자동 어시스턴트 액션의 수행 위치를 결정할 수 있다. 이러한 구현의 일부 버전에서 위치는 자동 어시스턴트 액션에 필요한 사용자 인터페이스 출력 (있는 경우)의 기간 및 루틴의 기존 액션. 일부 추가 또는 대체 버전에서는 성능 위치가 마지막 일 수 있으며 선택적으로 시간 지연으로 발생할 수 있다.

자동 어시스턴트 루틴에 액션을 추가하기 위해 클라이언트 장치와 상호 작용하는 사용자의 예가 도 2에 도시되어 있다. 이미지 (200)는 사용자 (202) 및 클라이언트 장치 (204)를 포함하는 방의 장면을 포함한다. 사용자 (202)는 대화 상자 (206)에 표시된 음성 발화를 통해 클라이언트 장치 (204)와 상호 작용한다. 대화 상자 (206)의 음성 발화는 자동 어시스턴트가 액션을 수행하도록 요청한다. 이는 클라이언트 장치 (204)와 연결된 스마트 온도 조절기의 설정 값을 5도 증가시킨다. 클라이언트 장치 (204)와 관련된 자동 어시스턴트는 스마트 장치의 설정 값을 유발하기 위한 적절한 명령을 결정하기 위해 음성 발화를 처리할 수 있다. 온도 조절기를 5도 올릴 수 있다. 일부 구현에서, 클라이언트 장치 (204)와 연관된 자동 어시스턴트는 온도를 변경하기 위해 스마트 온도 조절기와 직접 인터페이스할 수 있다. 예를 들어, 자동 어시스턴트는 스마트 온도 조절기에 직접 명령을 제공할 수 있다. 추가적으로 또는 대안적으로, 자동 어시스턴트는 온도를 변경하기 위해 스마트 온도 조절기와 관련된 써드 파티 에이전트와 인터페이스할 수 있다. 예를 들어, 자동 어시스턴트는 제3의 에이전트에게 명령을 제공할 수 있으며, 이 명령은 차례로 해당 명령을 생성하여 스마트 온도 조절기에 전송하여 온도 변화를 유발할 수 있다.

일부 구현에서, 대화 상자 (208)에 도시된 바와 같이, 클라이언트 장치 (204)는 온도가 증가했음을 확인하는 가청 사용자 인터페이스 입력을 렌더링할 수 있고, 사용자의 "Good Morning"에 온도를 5도 올리는 것을 추가할 것을 추가로 추천할 수 있다. " 일상. 이 권장 사항에는 사용자가 권장 루틴에 액션을 추가할 것인지 묻는 메시지가 포함될 수 있다. 일부 구현에서, 사용자가 일반적으로 "Good Morning"루틴을 완료한 후 아침에 온도를 높이면이 권장 사항이 만들어 질 수 있다. 일부 구현에서, 이 추천은 사용자가 제 1 클라이언트 장치를 사용하여 "Good Morning"루틴을 수행하고 사용자가 제 2 클라이언트 장치를 사용하여 온도를 변경하더라도 만들어질 수 있다.

이러한 추천을 하기 전에, 클라이언트 장치 (204)와 연관된 자동 어시스턴트는 "온도 상승"자동 어시스턴트 액션이 추가를 위해 추천되어야 하는 루틴으로서 사용자의 복수의 다른 루틴으로부터 "Good Morning"루틴을 선택할 수 있다. 여기에 상세히 설명된 다양한 기술과 같이, 사용자의 다른 루틴을 배제하기 위해 "Good Morning"루틴을 선택하기 위해 다양한 기술이 이용될 수 있다.

사용자는 추천 루틴에 액션을 추가할지 여부를 결정하고 대화 상자 (210)에 의해 표시된 추가 음성 발화를 통해 프롬프트에 응답할 수 있다. 사용자가 음성 발화로 표시된 바와 같이 프롬프트에 긍정적으로 응답하는 경우 대화 상자 (210)의 자동 어시스턴트는 사용자의 "Good Morning"루틴에 액션을 자동으로 추가한다. 또한, 자동 어시스턴트는 대화 상자 (212)에 표시된 바와 같이 클라이언트 장치 (204)를 통해 추가 가청 사용자 인터페이스 출력이 제공되도록 하는데, 여기서 추가 가청 출력은 온도를 5도까지 증가시키는 것을 확인하는 "Good Morning"루틴에 추가되었다. 그러나 일부 구현에서는 이러한 확인이 선택 사항일 수 있다. 추가적으로 또는 대안적으로, 클라이언트 장치 (204)는 사용자가 다음에 루틴을 실행할 때 액션이 루틴에 추가되었음을 확인할 수 있다. 예를 들어 사용자가 자신의 배우자에게 사용자의 루틴에 액션을 추가할 수 있는 권한을 부여한 다양한 구현에서 이는 특정 루틴에 액션을 추가하기를 원하는 사용자에게 추가 확인을 제공할 수 있다.

일부 구현에서, 사용자 (202)는 클라이언트 장치가 하나 이상의 써드 파티 에이전트와 상호 작용하여 스마트 장치를 제어하는 동작이 아닌 동작의 수행을 야기하도록 클라이언트 장치 (204)에 입력을 제공할 수 있다. 예를 들어, 온도 변경을 요청하는 대신 사용자는 클라이언트 장치 (204)를 사용하여 "로컬 커피 숍"과 관련된 써드 파티 에이전트로부터 온라인 주문을 한 다음 출근길에 주문한 커피를 픽업할 수 있다. 사용자는 클라이언트 장치 (204)와 관련된 자동 어시스턴트와 그러한 주문을 하거나 클라이언트 장치 (204)의 개별 애플리케이션과 상호 작용할 수 있다. 많은 구현에서, 클라이언트 (204)와 관련된 자동 어시스턴트 (예를 들어, 그 루틴 모듈 (124))는 도 1에서 상술 한 설명은 커피 주문 액션을 결정할 수 있고, 그 액션을 사용자의 "Good Morning"루틴 및/또는 다른 자동 어시스턴트 루틴(들)에 추가하도록 권장할지 여부를 결정할 수 있다. 예를 들어, 사용자가 "Good Morning"루틴이 완료된 직후 매일 아침 클라이언트 장치 (204)를 사용하여 "Local Coffee Shop"에서 커피를 주문하면, 자동 어시스턴트 액션은 시간적 근접성에 적어도 부분적으로 기초하여 결정할 수 있다. "Good Morning"루틴에 조치를 추가하여 "Good Morning"루틴에 조치를 추가하도록 권장한다. 일부 구현들에서, 사용자는 클라이언트 장치 (204)를 사용하여 "로컬 커피 숍"으로부터의 커피 주문을 예를 들어, 클라이언트 장치 (204)가 "Good Morning"루틴 (즉, 사용자)의 렌더링을 완료한 후 평균 25 분 동안 지연시킬 수 있다. "Good Morning"루틴을 완료한 후 평균 25 분 동안 발생하는 집을 떠나면서 주문을 하므로 사용자가 "로컬 커피 숍"에 도착하면 뜨거운 커피 한 잔을 기다리고 있다. 이러한 구현 중 일부에서는 "로컬 커피 숍"의 커피 주문이 "Good Morning"루틴에 계속 추가될 수 있으므로 "Good Morning"루틴의 수행에 응답하여 자동으로 수행되고 다른 기존 커피와 함께 수행된다. 그러나 자동 어시스턴트는 "Good Morning"루틴이 "Local Coffee Shop"에서 커피를 주문하기 전에 선택적으로 지연 (예: 기존 "Good Morning"루틴의 마지막 액션 완료 후 25 분)을 포함할 수 있다. 써드 파티 에이전트를 통해 사용자. 추가적으로 또는 대안적으로, 자동 어시스턴트는 마지막 액션 완료 후 지연 후 프롬프트 (예: "커피 주문 준비 완료")가 제공되도록 하는 방식으로 "Good Morning"루틴에 이를 추가할 수 있다. 기존의 "Good Morning"루틴 및 프롬프트에 대한 응답으로 긍정입력이 수신된 경우에만 주문이 개시된다.

추가적으로 또는 대안적으로, 일부 구현에서, 사용자가 클라이언트 장치 (204)를 사용하여 "로컬 커피 숍"으로부터 커피 주문을 한 번만 하면, 자동 어시스턴트는 "Good Morning"루틴에서 액션을 검토할 수 있다. 예를 들어, 루틴에 커피 메이커를 켜는 것이 포함된 경우 사용자가 그날 아침에 커피가 다 떨어졌을 가능성이 있으며 자동 어시스턴트는 "Good Morning"루틴에 커피 주문을 추가하는 것을 권장해서는 안 된다. 그러나 일부 구현에서는 사용자가 클라이언트 장치를 사용하여 미리 커피를 사전 주문하지 않더라도 사용자가 아침에 "현지 커피 숍"을 자주 방문하는 경우 자동 어시스턴트가 커피 주문 액션을 "Good Morning"루틴에 추가하는 것을 천하도록 결정할 수 있다.

더욱이, 자동 어시스턴트는 사용자가 액션이 수행될 써드 파티와 이전에 상호 작용을 하지 않았더라도 루틴에 자동 어시스턴트 액션을 추가할 것을 제안할 수 있다. 예를 들어, 사용자는 지난달에 문을 연 새로운 커피 숍 "New Coffee Shop"을 모를 수 있으며 사용자의 집과 직장 사이의 경로에서 편리한 위치에 있다. 현재 커피 주문 액션이 없는 사용자의 "Good Morning"루틴에 추가하기 위해 "New Coffee Shop"에서 커피를 주문하도록 하는 액션을 권장할 수 있다. 추가적으로 또는 대안적으로, 일부 구현에서, "새로운 커피 숍"에서 커피를 주문하게 하는 조치는 기존 루틴에 추가하고 커피가 다른 커피 숍으로 주문되도록 하는 루틴의 기존 조치를 대체하기 위해 권장될 수 있다.

일부 구현에서, 사용자는 루틴에 잠재적으로 추가하기 위한 하나 이상의 액션을 제공받을 수 있으며, 여기서 각각의 동작은 다른 써드 파티 에이전트와 연관된다. 예를 들어, "Local Coffee Shop"에서 클라이언트 장치 (204)를 통해 매일 모닝 커피를 주문하는 사용자는 기존의 "Good Morning"루틴에 세 가지 개별 동작 중 하나를 추가하라는 추천을 받을 수 있다. 세 가지 액션 각각은 커피 주문을 개시하도록 할 수 있지만, 첫 번째는 "현지 커피 숍"으로 주문하도록 할 수 있고, 두 번째는 '뉴 커피 숍'으로 주문하도록 만들 수 있으며, 세 번째는 커피 주문을 유발할 수 있다. "클래식 커피 숍"과 함께 주문해야 한다. 일부 구현에서, 각각의 동작은 다음과 같은 대응하는 추가 정보와 함께 제공될 수 있다: 대응하는 커피 숍을 방문하는 시간의 양은 사용자의 통근을 증가 및/또는 감소시킬 것이고, 커피 주문의 대응하는 가격, 대응하는 보상 프로그램 및/또는 사용자가 "Good Morning"루틴에 추가할 커피 숍에 대해 정보에 입각한 결정을 내리는 데 도움이 되는 기타 정보. 일부 구현에서, 하나 이상의 권장 조치는 포함에 대한 금전적 고려를 제공하는 해당 당사자를 기반으로 권장될 수 있다. 일부 구현에서, 포함에 필요한 금전적 고려의 양은 액션이 추가를 위해 제안되는 루틴과 얼마나 밀접하게 일치하는지, 루틴이 사용자에 의해 얼마나 자주 수행되는지 및/또는 다른 기준과 관련될 수 있다.

사용자 (202)의 음성 발화 및 클라이언트 장치 (204)의 가청 출력이 도 2에 도시되어 있지만. 도 2에 도시된 바와 같이, 추가 또는 대체 사용자 입력이 사용자 (202)에 의해 제공될 수 있고/있거나 클라이언트 장치 (204)에 의해 추가 또는 대체 양식을 통해 렌더링된 콘텐츠가 제공될 수 있다. 예를 들어, 사용자 (202)는 추가적으로 또는 대안적으로 입력된 입력, 터치 입력, 제스처 입력을 제공할 수 있다. 또한, 예를 들어, 출력은 클라이언트 장치 (204)에 의해 추가적으로 또는 대안적으로 그래픽으로 렌더링될 수 있다. 하나의 특정 인스턴스로서, 클라이언트 장치 (204)는 다음과 같은 선택 가능한 인터페이스 요소와 함께 루틴에 액션을 추가하기 위한 프롬프트를 그래픽으로 렌더링할 수 있다. 동작이 루틴에 자동으로 추가되도록 사용자 (202)의 터치 상호 작용에 의해 선택될 수 있다.

자동 어시스턴트 루틴에 액션을 추가하기 위해 클라이언트 장치와 상호 작용하는 사용자의 추가 예가 도 3에 도시되어 있다. 이미지 (300)는 사용자 (302) 및 클라이언트 장치 (304)를 포함하는 방의 장면을 포함한다. 사용자 (302)는 미리 정의된 단축 문구를 포함하는 음성 발화를 제공함으로써 루틴을 개시하기 위해 클라이언트 장치 (304)와 상호 작용할 수 있다. 예를 들어, 대화 상자 (306)에서, 사용자 (302)는 클라이언트 장치 (304)에 의해 검출되고 "Good Morning"이라는 문구를 포함하는 음성 발화를 제공함으로써 "Good Morning"루틴을 개시한다. 클라이언트 장치 (304)와 연관된 자동 어시스턴트는 음성 발화를 캡처하고, 발화가 "Good Morning"루틴에 대한 단축 문구를 포함하는지 결정하고, 이에 응답하여 "Good Morning"루틴의 각 액션을 수행하는 오디오 데이터를 처리할 수 있다. 일부 구현에서, 자동 어시스턴트는 클라이언트 장치 (304)를 통해 사용자 (302)가 루틴 완료 시 방금 완료된 루틴에 액션을 추가하고 싶은 지 물어볼 수 있다. 예를 들어, 대화 상자 (308)는 클라이언트 장치 (304)가 사용자의 "Good Morning"루틴을 수행했음을 표시하고 사용자가 "Good Morning"루틴에 조명 제어를 추가하기를 원하는지 묻다. 추가적으로 또는 대안적으로, 일부 구현에서, 클라이언트 장치 (304)는 루틴을 실행하기 전에 그리고 루틴 실행의 일부로서 새로운 액션을 포함하기 전에 사용자가 조명 제어를 자신의 "Good Morning"루틴에 추가하기를 원하는지 물어볼 수 있다.

많은 구현에서, 클라이언트 장치 (304)와 연관된 자동 어시스턴트는 사용자의 과거 행동에 기초하여 방금 완료된 루틴 (이 경우 "Good Morning" 루틴)에 새로운 행동을 추가하기 위해이 추천을 결정할 수 있다. 예를 들어, "Good Morning"루틴이 완료되면 사용자가 항상 클라이언트 장치 (304)를 사용하여 스마트 조명을 켜는 것에 기초하여 추천이 결정될 수 있다. 추가적으로 또는 대안적으로, 일부 구현에서, 사용자는 집에 스마트 조명(들)을 가질 수 있지만, 자동 어시스턴트를 사용하여 스마트 조명을 제어할 수 있는 능력을 인식하지 못하기 때문에 이전에 스마트 조명을 제어하기 위해 자동 어시스턴트에 활용한 적이 없다. 이러한 예에서, 자동 어시스턴트는 사용자가 인식하지 못할 수 있는 사용자 루틴에 기능을 추가하려는 시도에서 사용자가 조명 제어 액션을 수행하지 않았다는 결정에 기초하여 추천을 할 수 있다. 추가적으로 또는 대안적으로, 일부 구현에서, 자동 어시스턴트는 스마트 조명의 제어가 다른 사용자가 관련 루틴에서 자주하는 행동이라는 결정에 기초하여 추천을 할 수 있다. 예를 들어 조명 제어에 필요한 장치를 보유한 사용자의 90 % 이상 (사용자의 장치 토폴로지를 통해 결정됨)이 조명 제어 액션을 수행하는 경우 어시스턴트가 "Good Morning"루틴에 조명 제어를 추가하도록 추천할 수 있다.

사용자는 제안된 액션을 루틴에 추가할지 여부를 결정할 수 있다. 예를 들어, 대화 상자 (310)는 사용자가 제안된 동작 (즉, 조명 제어)을 "Good Morning"루틴에 추가하기로 긍정적으로 결정했음을 표시한다. 그러나 사용자는 제안된 루틴에 권장 조치를 추가할 필요가 없다. 일부 구현에서, 자동 어시스턴트와 연관된 클라이언트 장치 (304)는 권장 동작이 루틴에 추가되었음을 확인할 수 있다. 예를 들어, 대화 상자 (312)는 조명 제어가 사용자 "Good Morning"루틴에 추가되었음을 나타낸다. 그러나, 다양한 구현에서, 클라이언트 장치 (304)는 다음에 사용자가 그 루틴을 실행할 때 특정 루틴에 액션이 추가되었음을 사용자와 함께 확인할 수 있다. 일부 구현에서, 이것은 사용자가 여전히 루틴에서 새로운 액션을 원하고 다음 루틴에서 마음을 바꾸지 않았음을 확인하기 위한 추가 백업을 제공할 수 있다. 또한 일부 구현에서는 사용자가 자신의 루틴을 수정할 수 있는 권한을 다른 사람에게 제공할 수 있다. 이러한 일부 구현에서, 사용자가 루틴을 실행하기 전에 새로운 액션이 추가되었는지 확인하면 사용자가 사용자의 배우자와 같은 다른 사용자가 사용자의 루틴에 추가된 액션을 확인할 수 있다.

다양한 구현에 따라 자동 어시스턴트 루틴에 액션을 추가할지 여부를 결정하는 프로세스가 도 4에 도시되어 있다. 프로세스 (400)는 하나 이상의 클라이언트 장치 및/또는 자동 어시스턴트와 상호 작용할 수 있는 임의의 다른 장치에 의해 수행될 수 있다. 프로세스는 자동 어시스턴트 액션을 결정 (402)하는 것을 포함한다. 일부 구현들에서, 액션은 자동 어시스턴트와의 사용자의 상호 작용에 응답하여 한 번 이상 수행된 것에 기초하여 결정될 수 있다. 일부 구현에서, 동작은 물리적 장치 제어 (예: 스마트 온도 조절기 제어, 스마트 커피 메이커 켜기, 스마트 스피커 제어 등) 및/또는 원격 에이전트 (예: 캘린더 에이전트)와 상호 작용하는 것을 포함할 수 있다. 사용자에게 일일 에이전트, 사용자에게 그날의 날씨를 제공할 수 있는 날씨 에이전트 등을 제공할 수 있다.) 일부 구현에서, 사용자에 의해 역사적으로 여러 번 수행된 것에 기초하여 액션이 결정될 수 있다. 예를 들어, 특정 스마트 조명을 제어하기 위한 동작은 매일 밤 잠자리에 들기 전에 특정 스마트 조명을 제어하는 사용자, 자동 어시스턴트와의 상호 작용, 수동 상호 작용 및/또는 스마트 조명을 제어하기 위한 전용 앱과의 상호 작용을 통해 결정될 수 있다. 액션은 적어도 임계 횟수의 수행에 기초하여 결정될 수 있다. 일부 구현에서, 자동 어시스턴트 액션은 사용자가 액션을 수행한 적이 없는 경우에도 결정될 수 있다. 예를 들어, 스마트 잠금 장치가 사용자에 의해 방금 설치되었거나 자동 어시스턴트가 제어할 수 있는 연결된 장치의 토폴로지에 추가되었다는 결정에 응답하여 스마트 잠금 제어와 관련된 동작이 결정될 수 있다. 예를 들어 사용자가 새로 설치했지만 스마트 록(Smart Lock)이 루틴과 연결되어 있지 않을 수 있다.

자동 어시스턴트는 사용자를 위한 루틴을 식별할 수 있다 (404). 사용자는 많은 루틴을 가질 수 있으며 그중 일부는 겹칠 수 있다. 예를 들어, 사용자는 주중에 첫 번째 "Good Morning"루틴을, 주말에 두 번째 "Good Morning"루틴을 가질 수 있다. 추가적으로 또는 대안으로, 사용자는 직장에서 집에 도착할 때 선택할 수 있는 여러 루틴을 가질 수 있다. 예를 들어, 사용자는 "Veg Out"루틴과 "Read a Book"루틴을 가질 수 있다. 일부 구현에서, 사용자에 대한 프로파일이 식별될 수 있고, 사용자에 대한 프로파일에 할당된 루틴 세트는 그 사용자와 연관된 식별된 루틴 세트일 수 있다. 이들 구현 중 일부에서, 사용자의 프로파일에 대해 수행된 액션을 (402)에서 결정한 것에 기초하여 (402)에서 결정된 동작에 대해 사용자의 프로파일에 대한 루틴 세트가 식별된다. 도 1과 관련하여 위에서 설명된 다양한 센서들 중 임의의 것. 도 1은 자동 어시스턴트에 대한 입력 (예를 들어, 오디오 데이터에 기초한 음성 매칭)과 연관된 사용자 프로파일 및 그 사용자 프로파일과 연관된 자동 어시스턴트 루틴을 식별하는 데 사용될 수 있다. 다양한 구현에서 일련의 루틴을 동일한 가구 구성원 간에 공유할 수 있다. 예를 들어, 사용자와 그 배우자는 함께 요리를 즐기고 두 사용자가 하나 이상의 자동 어시스턴트 클라이언트 및 하나 이상의 클라이언트 장치와 상호 작용하는 공유 "그릴링 야간(Grilling Night)"루틴을 가질 수 있다. 예를 들어, 그릴 야간 루틴에는 주방의 조명을 켜고, 외부 그릴을 켜서 예열을 개시하고, 주방과 실외 그릴 영역에서 스피커를 렌더링하여 동일한 음악을 재생하는 액션이 포함될 수 있다. 두 사용자 모두 다양한 시점에서 주방과 그릴의 장치와 상호 작용할 수 있다. 일부 구현에서는 공유 루틴이기 때문에 "그릴링 야간"루틴은 두 사용자의 사용자 프로필에 포함될 수 있으며 잠재적으로 새 루틴에 새 액션을 추가할 때 두 사용자 모두에게 고려되어야 한다. 한 사용자가 공유 루틴에 액션을 추가하도록 허용하면 두 사용자가 공유 루틴에 새 액션을 추가하는 프로세스를 수동으로 수행할 필요가 없기 때문에 계산 리소스를 추가로 공유할 수 있다.

자동 어시스턴트 루틴의 그룹은 (402)에서 식별된 액션을 잠재적으로 추가하기 위해 (404)에서 식별된 동작의 그룹으로부터 선택될 수 있다 (406). 예를 들어, 사용자가 직장에서 집에 도착했을 때 액션을 수행하는 경우 "Veg Out"루틴과 "Read a Book"루틴은 액션에 추가할 잠재적 인 자동 보조 루틴이다. 그러나, 자동 어시스턴트는 모든 이용 가능한 자동 어시스턴트 루틴의 서브 세트인 자동 어시스턴트 루틴의 그룹을 선택하기 위해 이러한 루틴(들) 및/또는 다른 루틴과 액션을 비교할 수 있다. 예를 들어, "Veg Out"루틴에는 거실 TV 켜기 및 거실 조명 끄기가 포함될 수 있다. 대조적으로, " Book Reading "루틴에는 연구에서 책 읽기를 위한 맞춤형 조명 설정과 연구에서 부드러운 재즈 음악 재생이 포함될 수 있다. 사용자 액션이 그날 저녁에 재생되는 현재 TV 프로그램과 관련된 정보를 요청하는 것이라면, 많은 구현에서 자동 어시스턴트는 잠재적으로 액션을 추가할 그룹에 포함할 TV를 포함하는 루틴을 선택한다. 또한, 예를 들어, 사용자를 위해 연결된 장치의 장치 토폴로지를 사용하여 자동 어시스턴트가 "Book Reading"루틴의 모든 액션과 관련된 연구실에 표시할 수 있는 장치가 없음을 결정할 수 있다. 그 결과, 자동 어시스턴트는 잠재적으로 액션을 광고할 그룹에서 "Book Reading"루틴을 제외할 수 있다. 액션에는 정보를 표시할 수 있는 장치로 푸시하는 것이 포함되며 "Book Reading "루틴은 현재 디스플레이가 가능한 장치가 없는 방에만 연관되어 있다. 일부 구현에서, 자동 어시스턴트는 액션을 분석하고 사용자에 대한 모든 루틴의 모든 동작 및/또는 액션을 잠재적으로 추가할 루틴 그룹을 생성하기 위해 루틴이 일반적으로 수행되는 위치와 비교할 수 있다.

일부 구현에서, 잠재적으로 액션을 추가하기 위해 루틴 (또는 루틴 그룹)을 선택하기 전에 가능한 액션을 많은 루틴과 비교할 수 있다. 예를 들어 사용자는 "Party Time", "Good Morning", "Good Night"및 "드라이브 홈"의 네 가지 루틴을 가질 수 있다. "Party Time"루틴에는 파티 음악을 거실에 있는 스피커로 렌더링하고, 거실의 네트워크 조명을 임의의 색상 패턴으로 깜박이도록 조정하고, ""Local Pizza Shop"의 타사 에이전트를 통해 배달할 피자를 주문하는 액션이 포함될 수 있다. 'Good Morning'루틴에는 사용자를 위해 그날의 일정을 렌더링하고, 침실에 네트워크 조명을 켜고, 사용자를 위해 그날의 날씨를 렌더링하고, 사용자를 위해 뉴스 헤드 라인을 렌더링하는 액션이 포함될 수 있다. 사용자를 위한 "Good Night"루틴에는 집의 모든 네트워크 조명을 끄고, 사용자를 위해 내일의 일정을 렌더링하고, 사용자를 위해 내일 날씨를 렌더링하고, 사용자를 위해 2 시간 동안 백색 소음을 렌더링하는 액션이 포함될 수 있다. 또한 사용자의 " Drive Home"루틴에는 사용자의 저녁 일정을 렌더링하고, 사용자가 집으로 운전하고 있는 다른 클라이언트 장치에서 사용자의 배우자에게 알리고, 사용자가 결정한 주가 그룹에 대한 정보를 렌더링하고, 나머지 운전 동안 팟 캐스트를 렌더링하는 액션이 포함될 수 있다.

예를 들어 자동 어시스턴트는 사용자의 4 가지 루틴을 검토하고 "Local Coffee Shop"에서 커피를 주문하는 액션을 추가할 것을 제안할 루틴을 선택할 수 있다. 다양한 구현에서 자동 어시스턴트는 각 루틴에 대한 다양한 정보를 분석할 수 있다. 여기에는 새로운 액션과 비교 한 루틴에 포함된 액션, 새 액션과 루틴 간의 과거 관계 (있는 경우), 시간적 관계 (만약 있다면) 새로운 행동과 루틴 사이에, 다른 사용자가 일반적으로 비슷한 루틴으로 행동을 하는 경우 등등. "Party Time"루틴과 관련하여 자동 어시스턴트는 커피를 주문하는 새로운 행동을 루틴과 비교할 수 있다. 다른 사용자는 일반적으로 파티를 열기 전에 커피를 주문할 수 있다 (즉, 파티 중에 깨어 있음). "Party Time"은 고유 한 시간 제약이 있으며 "현지 피자 가게"가 열려 있는 동안 실행되어야 한다. 사용자는 "Party Time"루틴을 실행하는 것과 같은 시간에 커피를 주문할 수 있다 (즉, 사용자가 집에서 일할 때 오후 커피 한 잔을 주문하지만 사용자는 오후에도 같은 시간에 파티를 열 수 있음). 사용자가 "Party Time"루틴을 실행할 때의 기록 데이터는 사용자에게 제안해야 함을 나타낼 수 있다. 그러나 "현지 피자 가게"에서 배달하기 위해 피자를 주문하는 행위는 커피 한 잔을 집으러 집을 떠나는 것과 충돌한다 (즉, 사용자가 커피 주문을 픽업하기 위해 집을 떠난 경우 피자가 배달될 때 집에 있지 않을 수 있다.). 따라서 자동 어시스턴트는 일반적으로 "현지 커피 숍"에서 커피 한 잔을 주문하는 액션을 "Party Time"루틴에 추가하는 것을 권장해서는 안된다. 추가적으로 또는 대안적으로, 일부 구현에서 자동 어시스턴트는 "Party Time"루틴을 실행한 후 사용자의 과거 액션을 볼 수 있다.

마찬가지로, 자동 어시스턴트는 새로운 커피 주문 액션과 비교하여 "Good Morning"루틴을 분석할 수 있다. 다른 사용자는 일반적으로 비슷한 루틴으로 커피를 주문한다. 사용자가 "Good Morning"루틴을 실행하는 동안 "Local Coffee Shop"이 열릴 가능성이 높다. 또한, "Good Morning"루틴의 기존 액션이 커피 주문과 충돌하지 않다 (예: "Good Morning"루틴에 포함된 커피 메이커를 켜지 않음). 또한, 사용자가 아침에 커피를 주문하는 동작과 거의 같은 시간에 사용자가 "Good Morning"루틴을 실행하는 것은 "Local Coffee Shop"에서 커피를 주문하는 새로운 액션을 "Good Morning" 루틴에 추가할 것을 제안하는 표시자가 될 수 있다.

반대로, "Good Night"루틴은"Local Coffee Shop"이 닫혀 있을 때 수행될 수 있으며 이는 어시스턴트가 액션 추가를 제안하지 않는다는 표시 일 수 있다. 그러나 일부 구현에서 자동 어시스턴트는 사용자가 선호하는 커피 숍이 문을 닫은 경우 다른 커피 숍을 추천하여 커피를 주문할 수 있다. 대부분의 사용자는 유사한 저녁 루틴에 커피 주문을 포함하지 않으며, 이는 자동 어시스턴트에게 조치를 제안하지 않도록 지시할 수 있다. 또한, 집 전체에 네트워크 조명을 끄고 2 시간 동안 백색 소음을 재생하는 것과 같은 "Good Night"루틴에서 사용자의 행동은 커피 한 잔을 집에서 집을 떠나는 것과 모순된다. 집 전체의 조명을 끄는 동작 자체는 커피를 집는 것과 모순되지 않지만, "Good Night"루틴에서 다른 동작과 짝을 이루는 동작은 집에서 커피를 픽업하러 나가는 것과 모순된다.

또한, "Drive Home"루틴을 새로운 커피 주문 액션과 비교할 수 있다. 사용자는 이미 자동차 운전을 하고 있으므로 "Drive Home"루틴의 모든 액션과 커피 한 잔을 줍는 것 사이에 모순이 없다. 그러나 자동 어시스턴트는 일반적으로 새 액션을 추가하는 루틴을 제안하기 전에 여러 요소를 검토한다. 자동 어시스턴트는 다른 사용자의 유사한 루틴과 비교할 수 있으며 대부분의 사용자는 퇴근 후 집으로 운전할 때 저녁에 커피를 주문하지 않는다는 것을 알 수 있다. 이것은 자동 어시스턴트에게 "Drive Home"루틴에 액션 추가를 제안하지 않음을 나타낼 수 있다. 또한 사용자의 커피 주문 내역을 분석할 수 있으며, 자동 어시스턴트는 사용자가 오후 3시 이후에는 커피를 주문하지 않고 일반적으로 오후 5시에서 6시 사이에 '집으로 이동'루틴을 개시한다는 것을 확인할 수 있다. 사용자가 "집으로 이동"루틴을 수행하는 시간은 사용자가 "현지 커피 숍"에서 커피를 주문한시기에 대한 과거 데이터와 모순된다. 이것은 자동 어시스턴트에게 커피를 주문하는 새로운 액션을 "Drive Home"루틴에 추가하지 않도록 제안할 수도 있다.

따라서 사용자에 대한 모든 루틴을 분석한 후 이러한 예시적인 자동 어시스턴트는 "Local Coffee Shop"에서 커피 한 잔을 주문하는 새로운 액션을 추가할 것을 제안하기 위해 "Good Morning"루틴을 선택해야 한다.

자동 어시스턴트는 가능한 자동 어시스턴트 루틴 그룹의 루틴 중 임의의 것에 액션이 추가되어야 하는지 여부를 프롬프트하는 사용자 인터페이스 출력 (408)을 렌더링할 수 있다. 일부 구현에서, 사용자는 여러 루틴에 동일한 액션을 추가할 수 있다. 일부 구현에서, 사용자는 단일 루틴에 액션을 추가하기를 원할 수 있다. 또한, 일부 구현에서, 사용자는 전술한 도 2와 유사한 액션을 수행한 후에 액션이 루틴에 추가되어야 하는지 문의할 수 있다. 추가적으로 또는 대안적으로, 사용자는 전술한 도 3과 유사한 특정 루틴을 실행한 후 루틴에 액션이 추가되어야 하는지 여부를 문의할 수 있다.

긍정 사용자 인터페이스 입력이 (408)에서의 출력에 응답하여 수신되면 (410), 자동 어시스턴트는 대응하는 자동 어시스턴트 루틴에 액션을 추가할 수 있다. 예를 들어, (408)의 출력이 액션이 특정 루틴에 추가되어야 하는지 여부를 프롬프트하는 경우, "예(yes)"의 음성 발화는 액션이 특정 루틴에 추가되도록 할 수 있다. 또한, 예를 들어, (408)의 출력이 액션이 첫 번째 특정 루틴에 추가되어야 하는지 아니면 두 번째 특정 루틴에 추가되어야 하는지 묻는다면, "첫 번째 (first one)"의 음성 발화로 인해 대응 액션이 첫 번째 특정 루틴에 추가될 수 있다. 루틴이지만 두 번째 특정 루틴은 아니다. "두 번째"의 음성 발화는 동작이 두 번째 특정 루틴에 추가되도록 할 수 있지만 첫 번째 특정 루틴에는 추가되지 않다. 그리고 "둘 다(both)"의 음성 발화는 첫 번째 및 두 번째 특정 루틴 모두에 액션이 추가되도록 할 수 있다. 많은 구현에서 자동 어시스턴트는 사용자에게 특정 루틴의 이름을 프롬프트할 수 있으며 사용자는 특정 루틴의 명칭을 말하여 루틴에 액션을 추가할 수 있다. 예를 들어, 출력 (408)이 사용자에게 굿모닝 루틴에 루틴을 추가하고 액션 루틴에 드라이브를 추가하도록 제안하는 경우 루틴 명칭의 음성 발화 (예: "Drive to Work")가 "Drive to Work"루틴에 액션이 부가되도록 할 수 있다. 일부 구현에서, 자동 어시스턴트는 루틴에 액션을 자동으로 추가할 수 있고 액션이 루틴에 추가되면 사용자에게 신호를 보낼 수 있다. 일부 구현에서, 자동 어시스턴트는 전술한 도 2의 논의와 유사한 새로운 액션을 추가하기 위해 기존 루틴의 동작 시퀀스에서 어디에 있는지 결정할 수 있다.

도 5는 예시적인 컴퓨터 시스템 (510)의 블록도이다. 컴퓨터 시스템 (510)은 일반적으로 버스 서브 시스템 (512)을 통해 복수의 주변 장치와 통신하는 적어도 하나의 프로세서 (514)를 포함한다. 이러한 주변 장치는 예를 들어 메모리 (525) 및 파일 저장 서브 시스템 (526), 사용자 인터페이스 출력 장치 (520), 사용자 인터페이스 입력 장치 (522) 및 네트워크 인터페이스 서브 시스템 (516)을 포함하는 저장 서브 시스템 (524)을 포함할 수 있다. 입력 및 출력 장치는 컴퓨터 시스템 (510)과 사용자 상호 작용을 허용한다. 네트워크 인터페이스 서브 시스템 (516)은 외부 네트워크에 인터페이스를 제공하고, 다른 컴퓨터 시스템의 해당 인터페이스 장치에 연결된다.

사용자 인터페이스 입력 장치 (522)는 키보드, 마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿과 같은 포인팅 장치, 스캐너, 디스플레이에 통합된 터치 스크린, 음성 인식 시스템과 같은 오디오 입력 장치, 마이크 및/또는 다른 유형의 입력 장치. 일반적으로, "입력 장치"라는 용어의 사용은 컴퓨터 시스템 (510) 또는 통신 네트워크에 정보를 입력하는 모든 가능한 유형의 장치 및 방법을 포함하도록 의도된다.

사용자 인터페이스 출력 장치 (520)는 디스플레이 서브 시스템, 프린터, 팩스 기계, 또는 오디오 출력 장치와 같은 비 시각적 디스플레이를 포함할 수 있다. 디스플레이 서브 시스템은 음극선 관 (CRT), 액정 디스플레이 (LCD)와 같은 평판 장치, 프로젝션 장치, 또는 가시적 이미지를 생성하기 위한 다른 메커니즘을 포함할 수 있다. 디스플레이 서브 시스템은 또한 오디오 출력 장치를 통해 비 시각적 디스플레이를 제공할 수 있다. 일반적으로, "출력 장치"라는 용어의 사용은 모든 가능한 유형의 장치 및 컴퓨터 시스템 (510)에서 사용자 또는 다른 기계 또는 컴퓨터 시스템으로 정보를 출력하는 방법을 포함하도록 의도된다.

저장 서브 시스템 (524)은 본 명세서에서 설명된 모듈의 일부 또는 전부의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들어, 저장 서브 시스템 (524)은 도 1의 선택된 양상들을 수행하기 위한 로직 및/또는 프로세스 (400) 및/또는 본 명세서에서 논의되거나 그리고/또는 클라우드 기반 자동 구성 요소 (116), 자동 어시스턴트 (112), 클라이언트 장치 (102) 및/또는 임의의 다른 장치 또는 애플리케이션 중 하나 이상을 구현하기 위한 임의의 동작(들)을 포함할 수 있다.

이러한 소프트웨어 모듈은 일반적으로 프로세서 (514)에 의해 단독으로 또는 다른 프로세서와 결합하여 실행된다. 저장 서브 시스템 (524)에서 사용되는 메모리 (525)는 프로그램 실행 동안 명령어 및 데이터를 저장하기 위한 메인 랜덤 액세스 메모리 (RAM) (530) 및 고정 명령어가 저장되는 읽기 전용 메모리 (ROM) (532)를 포함하는 복수의 메모리를 포함할 수 있다. 파일 저장 서브 시스템 (526)은 프로그램 및 데이터 파일을 위한 영구 저장을 제공할 수 있으며, 하드 디스크 드라이브, 플로피 디스크 드라이브와 관련된 이동식 미디어, CD-ROM 드라이브, 광학 드라이브 또는 이동식 미디어 카트리지를 포함할 수 있다. 특정 구현의 기능을 구현하는 모듈은 저장 서브 시스템 (524)의 파일 저장 서브 시스템 (426)에 의해 또는 프로세서(들) (514)에 의해 액세스 가능한 다른 기계에 저장될 수 있다.

버스 서브 시스템 (512)은 컴퓨터 시스템 (510)의 다양한 구성 요소 및 서브 시스템이 의도된 대로 서로 통신하게 하는 메커니즘을 제공한다. 버스 서브 시스템 (512)이 개략적으로 단일 버스로 도시되어 있지만, 버스 서브 시스템의 대안적인 구현은 다중 버스를 사용할 수 있다.

컴퓨터 시스템 (510)은 워크 스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜, 또는 임의의 다른 데이터 처리 시스템 또는 컴퓨팅 장치를 포함하는 다양한 유형일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 특성으로 인해, 도 5에 도시된 컴퓨터 시스템 (510)은 일부 구현을 설명하기 위한 단지 특정 예시적인 목적으로 의도된다. 컴퓨터 시스템 (510)의 많은 다른 구성은 도 5에 도시된 컴퓨터 시스템보다 더 많거나 더 적은 구성 요소를 가질 수 있다.

본 명세서에서 설명된 시스템이 사용자 (또는 여기에서 "참가자"라고도 함)에 대한 개인 정보를 수집하거나 개인 정보를 사용할 수 있는 상황에서 사용자는 프로그램 또는 기능은 사용자 정보 (예: 사용자의 소셜 네트워크, 소셜 활동 또는 활동, 직업, 사용자의 선호도 또는 사용자의 현재 지리적 위치에 대한 정보)를 수집하거나 사용자와 더 관련이 있을 수 있는 콘텐츠 서버에서 콘텐츠를 수신할지 여부 및/또는 방법을 제어한다. 또한 특정 데이터는 저장 또는 사용되기 전에 하나 이상의 방법으로 처리되어 개인 식별 정보가 취급될 수 있다. 예를 들어, 사용자에 대한 개인 식별 정보를 확인할 수 없도록 사용자의 신원을 처리하거나 지리적 위치 정보 (예: 도시, 우편 번호 또는 주 수준)를 획득한 사용자의 지리적 위치를 일반화할 수 있다. 이므로 사용자의 특정 지리적 위치를 확인할 수 없다. 따라서, 사용자는 사용자에 대한 정보 수집 및/또는 사용 방법을 제어할 수 있다.

Claims

하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 방법은,
자동 어시스턴트와 상호 작용하는 하나 이상의 자동 어시스턴트 인터페이스를 통해 사용자에 의해 제공된 사용자 인터페이스 입력의 하나 이상의 인스턴스에 응답하여 자동 어시스턴트에 의해 개시되는 액션을 결정하는 단계;
사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계 - 각각의 자동 어시스턴트 루틴은 자동 어시스턴트 루틴의 초기화에 응답하여 자동 어시스턴트를 통해 자동으로 수행될 복수의 대응 액션을 정의하며, 액션은 자동 어시스턴트 루틴의 액션에 부가됨 -;
액션을 사용자와 관련하여 저장되는 복수의 자동 어시스턴트 루틴과 비교하는 단계;
비교에 기초하여, 사용자와 관련하여 저장되는 자동 어시스턴트 루틴의 서브 세트를 선택하는 단계;
사용자가 제공한 사용자 인터페이스 입력에 대한 응답으로 개시되는 액션에 기초하고, 자동 어시스턴트 루틴의 서브세트를 선택하는 것에 기초하여,
사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계 - 사용자 인터페이스 출력은 사용자가 서브세트의 하나 이상의 자동 어시스턴트 루틴에 액션을 부가하도록 프롬프트함 -;
사용자 인터페이스 출력에 응답하여 긍정(affirmative) 사용자 인터페이스 입력을 수신하는 단계 -상기 긍정 사용자 인터페이스 입력은 서브 세트의 자동 어시스턴트 루틴 중 주어진 루틴을 표시함-; 및
긍정 사용자 인터페이스 입력을 수신하는 것에 응답하여:
주어진 루틴의 초기화에 응답하여 자동으로 수행되는 주어진 루틴의 복수의 대응 액션 중 추가 액션으로서 액션을 자동으로 부가하는 단계를 포함하는, 방법.
제 1 항에 있어서, 하나 이상의 사용자 인터페이스 입력 인스턴스는 텍스트로 변환될 때 제1 길이의 제1 텍스트를 포함하는 하나 이상의 음성 발화를 포함하고; 주어진 루틴의 초기화는 텍스트로 변환될 때 제 2 길이의 제 2 텍스트를 포함하는 주어진 음성 발화에 응답하여 발생하며, 제 2 길이는 제 1 길이보다 짧은, 방법.
제 1 항 및 제 2 항 중 어느 한 항에 있어서, 사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계는 주어진 루틴을 수행하는 것에 더 기초하고 주어진 루틴을 수행한 결과로 발생하는, 방법.
제 3 항에 있어서, 액션을 개시한 사용자 인터페이스 입력의 하나 이상의 인스턴스는 음성 발화를 포함하고, 상기 방법은,
음성 발화의 하나 이상의 음성 특성에 기초하여 사용자의 프로필을 식별하는 단계를 더 포함하고,
사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계는 사용자의 프로파일과 관련하여 저장되는 복수의 자동 어시스턴트 루틴에 기초하여 복수의 자동 어시스턴트 루틴을 식별하는 단계를 포함하고;
주어진 루틴을 수행하는 단계는 사용자로부터의 추가적인 음성 발화에 응답하여 발생하고; 그리고
사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계는 추가적인 음성 발화가 사용자의 프로파일에 대응하는 하나 이상의 음성 특성을 갖는 것으로 결정하는 것에 더 기초하는, 방법.
제 1 항, 제 2 항 또는 제 4 항에 있어서, 사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계는 하나 이상의 사용자 인터페이스 입력의 인스턴스에 응답하여 자동 어시스턴트에 의해 개시되는 액션의 결과로 발생하는, 방법.
제 1 항에 있어서, 액션은 자동 어시스턴트에 의해 관리되는 연결된 장치의 적어도 하나의 상태를 변경하기 위한 명령을 제공하는 것을 포함하는, 방법.
제 1 항 내지 제6항 중 어느 한 항에 있어서, 액션은 써드 파티에 의해 제어되는 에이전트에 명령을 제공하는 것을 포함하고, 써드 파티는 자동 어시스턴트를 제어하는 대상(party)과 구별되는, 방법.
제 1 항 내지 제 7 항 중 어느 한 한에 있어서, 자동 어시스턴트 루틴의 서브 세트를 선택하는 단계는 :
액션을 각각의 자동 어시스턴트 루틴의 복수의 대응 액션 각각과 비교하는 단계; 및
비교에 기초하고, 각각의 자동 어시스턴트 루틴에 대해, 액션이 자동 어시스턴트 루틴의 복수의 대응 액션 중 임의의 것과 하나 이상의 모순(contradiction)을 포함하는지를 결정하는 단계; 및
서브세트의 자동 어시스턴트 루틴의 복수의 대응 액션이 액션과 하나 이상의 모순이 없다는 결정에 기초하여 자동 어시스턴트 루틴의 서브세트를 선택하는 단계를 포함하는, 방법.
제 8 항에 있어서, 하나 이상의 모순은 시간적 모순을 포함하는, 방법.
제 9 항에 있어서, 시간적 모순은 복수의 대응 액션 각각의 시간 프레임 동안 액션을 완료할 수 없음을 포함하는, 방법.
제 8 항 내지 제 10 항 중 어느 한 항에 있어서, 하나 이상의 모순은 장치 비 호환성 모순(device incompatibility contradiction)을 포함하는, 방법.
제 11 항에 있어서, 장치 비 호환성 모순은 특정 능력을 갖는 장치를 요구하는 액션 및 특정 능력을 갖는 임의의 장치와 관련되지 않는 복수의 대응 액션 각각을 포함하는, 방법.
제 1 항 내지 제12 항 중 어느 한 항에 있어서, 액션을 자동으로 부가하는 단계는 주어진 루틴에서 액션을 수행하기 위한 위치를 결정하는 단계를 포함하고, 위치는 주어진 루틴의 복수의 대응 액션에 상대적인, 방법.
제 13 항에 있어서, 액션을 수행하기 위한 위치는 복수의 대응 액션 전, 복수의 대응 액션 후, 또는 복수의 대응 액션 중 두 액션 사이에 있는, 방법.
제 13 항에 있어서, 위치는 복수의 대응 액션 이후이고, 시간적 지연을 포함하고, 시간적 지연은 사용자에 의해 주어진 루틴의 하나 이상의 과거 개시 이후에, 사용자에 의한 과거 개시의 하나 이상의 과거 지연에 기초하는, 방법.
제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 액션을 개시한 사용자 인터페이스 입력의 하나 이상의 인스턴스는 사용자 인터페이스 출력이 렌더링되는 클라이언트 장치에 연결되지만 이로부터 분리된 추가 클라이언트 장치를 통해 수신되는, 방법.
제 16 항에 있어서, 사용자 인터페이스 출력은 그래픽 출력을 포함하고, 상기 방법은,
클라이언트 장치가 디스플레이 능력이 결여되고, 추가 클라이언트 장치가 디스플레이 능력을 포함한다는 결정에 기초하여 사용자 인터페이스 출력을 제공하기 위한 추가 클라이언트 장치를 선택하는 단계를 더 포함하는, 방법.
제 1 항에 있어서, 액션을 개시한 사용자 인터페이스 입력의 하나 이상의 인스턴스는 음성 발화를 포함하고, 상기 방법은,
음성 발화의 하나 이상의 음성 특성에 기초하여 사용자의 프로필을 식별하는 단계를 더 포함하고;
사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계는 사용자의 프로파일과 관련하여 저장되는 복수의 자동 어시스턴트 루틴에 기초하여 복수의 자동 어시스턴트 루틴을 식별하는 단계를 포함하는, 방법.
하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 방법은,
자동 어시스턴트 액션을 결정하는 단계;
사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴을 식별하는 단계 -각각의 자동 어시스턴트 루틴은 자동 어시스턴트 루틴의 초기화에 응답하여 자동 어시스턴트를 통해 자동으로 수행될 복수의 대응 액션을 정의하며, 자동 어시스턴트 액션은 자동 어시스턴트 루틴의 복수의 대응 액션에 부가됨 -;
자동 어시스턴트 액션을 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴과 비교하는 단계;
비교에 기초하여, 사용자와 관련하여 저장되는 자동 어시스턴트 루틴의 서브 세트를 선택하는 단계;
클라이언트 장치의 하나 이상의 센서로부터의 센서 데이터에 기초하여, 사용자가 클라이언트 장치와 상호 작용하고 있음을 결정하는 단계;
사용자가 클라이언트 장치와 상호 작용하고 있다는 결정에 기초하고, 자동 어시스턴트 루틴의 서브세트를 선택하는 것에 기초하여,
사용자 인터페이스 출력이 사용자의 클라이언트 장치를 통해 렌더링 되도록 하는 단계 - 사용자 인터페이스 출력은 사용자가 서브세트의 하나 이상의 자동 어시스턴트 루틴에 자동 어시스턴트 액션을 부가하도록 프롬프트함 -;
사용자 인터페이스 출력에 응답하여 긍정(affirmative) 사용자 인터페이스 입력을 수신하는 단계- 긍정 사용자 인터페이스 입력은 서브 세트의 자동 어시스턴트 루틴 중 주어진 루틴을 표시함-; 및
긍정 사용자 인터페이스 입력을 수신하는 것에 응답하여:
주어진 루틴의 초기화에 응답하여 자동으로 수행되는 주어진 루틴의 복수의 대응 액션 중 추가 액션으로서 자동 어시스턴트 액션을 부가하는 단계를 포함하는, 방법.
제 19 항에 있어서, 센서 데이터는 클라이언트 장치의 하나 이상의 마이크로폰에 기초한 음성 데이터를 포함하고, 사용자가 클라이언트 장치와 상호 작용하고 있음을 결정하는 단계는,
음성 데이터에 기초하여 하나 이상의 음성 특성을 결정하는 단계; 및 사용자의 사용자 프로파일에 따르는 음성 특성에 기초하여 사용자를 식별하는 단계를 포함하는, 방법.
제 19 항 또는 제 20 항에 있어서,
자동 어시스턴트 액션은 특정 연결된 장치를 제어하는 것을 포함하고,
자동 어시스턴트 액션을 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴과 비교하는 단계는,
사용자의 연결된 장치의 장치 토폴로지에 기초하여, 주어진 루틴의 복수의 대응 액션 중 적어도 하나에 의해 제어되는 특정 연결된 장치와 추가 연결된 장치가 모두 장치의 동일한 물리적 위치에 할당되는지를 결정하는 단계를 포함하고, 비교에 기초하여, 서브세트에 포함을 위한 주어진 루프를 선택하는 단계는,
특정 연결된 장치와 추가 연결된 장치가 모두 동일한 물리적 위치에 할당되는 것으로 결정에 기초하여 서브세트에 포함을 위한 주어진 루틴을 선택하는 단계를 포함하는, 방법.
제 21 항에 있어서, 동일한 물리적 위치는 사용자의 집 내 방의 사용자 할당 시맨틱 식별자(user assigned semantic identifier)인 방법.
제 19 항 내지 제 22 항 중 어느 한 항에 있어서, 자동 어시스턴트 액션은 특정 연결된 장치를 제어하는 것을 포함하고, 자동 어시스턴트 액션을 결정하는 단계는,
특정 연결된 장치의 보고된 상태에 기초하여, 특정 연결된 장치가 비-자동 어시스턴트 상호 작용에 응답하여 특정 방식으로 제어되었음을 결정하는 단계; 및
특정 연결된 장치가 특정 방식으로 제어되도록 하기 위해 자동 어시스턴트 액션을 결정하는 단계를 포함하는, 방법.
제 19 항 내지 제 23 항 중 어느 한 항에 있어서, 자동 어시스턴트 액션을 사용자와 관련하여 저장된 복수의 자동 어시스턴트 루틴과 비교하는 단계는,
자동 액션, 또는 사용자에 의한 관련된 액션 중 하나 이상의 수행에 기초하여 자동 어시스턴트 액션의 적어도 하나의 액션 시간 속성을 결정하는 단계;
자동 어시스턴트 루틴의 하나 이상의 과거 수행에 기초하여 자동 어시스턴트 루틴의 적어도 하나의 루틴 시간 속성을 결정하는 단계; 및
적어도 하나의 액션 시간 속성을 적어도 하나의 루틴 시간 속성과 비교하는 단계를 포함하는, 방법.
제 19 항에 있어서, 자동 어시스턴트 액션은 특정 써드 파티에 의해 제어되는 써드 파티 에이전트와의 상호 작용을 포함하고, 자동 어시스턴트 액션을 결정하는 단계는,
사용자에 의한 별도의 써드 파티와의 개별 상호 작용에 대한 과거 수행을 결정하는 단계;
별도의 상호 작용과 자동 어시스턴트 액션 사이의 관계에 기초하여 자동 어시스턴트 액션을 결정하는 단계를 포함하는, 방법.