KR20230035157A - 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정 - Google Patents

제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정 Download PDF

Info

Publication number
KR20230035157A
KR20230035157A KR1020237007650A KR20237007650A KR20230035157A KR 20230035157 A KR20230035157 A KR 20230035157A KR 1020237007650 A KR1020237007650 A KR 1020237007650A KR 20237007650 A KR20237007650 A KR 20237007650A KR 20230035157 A KR20230035157 A KR 20230035157A
Authority
KR
South Korea
Prior art keywords
session
content
client device
data
user
Prior art date
Application number
KR1020237007650A
Other languages
English (en)
Inventor
쉘팅거 안드레아 터비스차 반
니콜로 데르콜레
자히드 사부르
비보 쉬
메간 나이트
엘빈 아브다직
얀 라멕키
보 장
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20230035157A publication Critical patent/KR20230035157A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

이전 제1 자동화 어시스턴트 세션을 중단 및 대체한 제2 자동화 어시스턴트 세션의 중단시, (1) 이전 제1 자동화 어시스턴트 세션을 자동으로 재개할지, 또는 이전 제1 자동화 어시스턴트 세션이 자동으로 재개되지 않는 대체 자동화 어시스턴트 상태로 전환할지 여부를 결정한다. 구현은 또한 그 결정에 기초하여 제2 자동화 어시스턴트 세션의 중단시, 인터럽트된 이전의 제1 자동화 어시스턴트 세션의 자동 재개 또는 제1 자동화 어시스턴트 세션이 자동으로 재개되지 않는 상태로의 전환을 선택적으로 야기하는 것과 관련된다.

Description

제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정{DETERMINING WHETHER TO AUTOMATICALLY RESUME FIRST AUTOMATED ASSISTANT SESSION UPON CESSATION OF INTERRUPTING SECOND SESSION}
사람은 본 명세서에서 "자동화 어시스턴트"("챗봇", "대화형 개인 비서", "지능형 개인 비서", "개인 음성 비서", "대화 에이전트 등으로도 지칭됨)로 지칭되는 대화형 소프트웨어 애플리케이션으로 사람 대 컴퓨터 대화에 참여할 수 있다. 예를 들어, 자동화 어시스턴트와 상호 작용할 때 "사용자"로 지칭될 수 있는 사람은 자유 형식의 자연어 입력을 사용하여 명령, 질의 및/또는 요청을 제공할 수 있다. 자유 형식의 자연어 입력에는 자동 음성 인식 및/또는 입력된 자유 형식의 자연어 입력을 사용하여 텍스트로 변환된 음성 발화가 포함될 수 있다.
사용자들에게 자동화 어시스턴트와 음성으로 교감할 수 있는 기능을 제공하는 독립형 음성 응답 스피커가 점점 보편화되고 있다. 이러한 디바이스에는 일반적으로 음소거 버튼, 볼륨 조정을 위한 터치 감지 인터페이스 등 외에 마이크로폰(들)에 추가되는 하드웨어 입력 메커니즘은 거의 포함되지 않는다. 이들 스피커의 목적은 사용자들이 다양한 작업을 수행하기 위해 키보드 또는 마우스와 같은 소정 사용자 인터페이스 엘리먼트와 물리적으로 상호 작용할 필요 없이 사용자들이 자동화 어시스턴트와 쉽게 음성으로 교감할 수 있도록 하는 것이다.
종래의 독립형 음성 응답 스피커는 일반적으로 제대로 된(full-fledged) 디스플레이가 없다. 기껏해야 간단한 메시지를 전달하기 위해 기초적인 색상 및/또는 애니메이션을 사용할 수 있는 발광 다이오드 등과 같은 비교적 단순한 시각적 출력 메커니즘을 포함하는 경향이 있다. 차세대 독립형 음성 응답 스피커에는 디스플레이 또는 심지어 터치 스크린 디스플레이와 같은 보다 강력한 시각적 출력 메커니즘이 포함될 수 있다. 이러한 디바이스는 독립형 음성 응답 스피커와 달리 본 명세서에서 "독립형 멀티-모달 어시스턴트 디바이스"로 지칭될 것이다. 종래의 독립형 대화형 스피커의 경우와 마찬가지로 독립형 멀티-모달 어시스턴트 디바이스는 음성으로 상호 작용하도록 설계될 수 있으며, 일반적으로 키보드, 마우스 또는 기타 복잡한 물리 입력 구성요소는 포함하지 않는다. 그러나, 독립형 멀티-모달 어시스턴트 디바이스는 일반적으로 음성 상호 작용을 위한 마이크로폰(들) 및 터치 스크린을 통해 수신된 다양한 터치 입력을 통한 상호 작용을 위한 터치 스크린을 포함할 것이다.
독립형 멀티-모달 어시스턴트 디바이스를 사용하여, 디바이스와 교감하는 사용자는 종종 터치 입력 또는 음성 발화를 사용하여 디바이스와 상호 작용할 수 있다. 더욱이, 사용자는 디바이스에 비교적 가깝거나(예를 들어, 몇 피트 이내), 디바이스에서 비교적 멀리 떨어져 있을 때(예를 들어, 10 피트 이상), 심지어 환경 주위를 이동할 때에도 디바이스와 교감할 수 있다. 예를 들어, 사용자는 멀티-모달 어시스턴트 디바이스와 교감하여 새로운 스마트 온도 조절기 설치 및 구성과 같은 다단계 작업 수행시에 도움을 요청할 수 있다. 작업 수행 중에, 사용자는 터치 및/또는 음성 입력을 통해 멀티-모달 어시스턴트 디바이스와 상호 작용하여, 멀티-모달 어시스턴트 디바이스가 새로운 스마트 온도 조절기 설치 및 구성과 관련된 다양한 단계 및/또는 다른 안내를 청각 및/또는 그래픽으로 렌더링하도록 할 수 있다. 이러한 입력을 제공할 때 및/또는 멀티-모달 어시스턴트 디바이스에 의해 렌더링된 컨텐츠를 확인할 때, 사용자는 환경 전체를 이동할 수 있다. 따라서, 디바이스의 디스플레이에 대한 사용자의 관점이 변경되어 디스플레이를 통해 렌더링된 컨텐츠를 보는 사용자의 능력에 영향을 미칠 수 있다. 또한, 사용자의 위치 변경은 멀티-모달 디바이스의 스피커(들)를 통해 음성적으로 렌더링된 임의의 컨텐츠를 듣는 사용자의 능력에 영향을 미칠 수 있다.
이들 및 다른 고려 사항을 고려하여, 본 명세서에 개시된 구현들은 사용자와의 활성(화) 세션 동안 그 활성 세션과 관련된 컨텐츠만을 렌더링한다. 예를 들어, "스마트 온도 조절기(X) 설치법을 안내해 줘"라는 음성 발화에 응답하여, 독립형 멀티-모달 어시스턴트 디바이스의 디스플레이와 그 디바이스의 스피커(들)는 "스마트 온도 조절기(X)" 설치법 및 구성법과 관련된 컨텐츠를 전적으로 렌더링할 수 있다. 즉, 이전에 렌더링된 컨텐츠는 활성 세션의 컨텐츠로 완전히 대체될 수 있다. 예를 들어, 이전 세션에서 "오늘의 날씨 예보해 줘"라는 이전의 음성 발화에 응답하여 일일 날씨 예보가 디스플레이에 렌더링되었다고 가정한다. "스마트 온도 조절기(X) 설치법을 안내해 줘"라는 음성 발화에 응답하여, 날씨 예보의 디스플레이는 새롭게 활성화된 세션에서 "스마트 온도 조절기(X)" 설치법과 관련된 시각적 컨텐츠로 대체될 수 있다. 이들 및 다른 방식으로, 활성 세션에 대한 컨텐츠의 렌더링은 두 세션으로부터의 컨텐츠를 제시하기 위해 디스플레이를 "분할"하지 않고 그리고 두 개의 상이한 세션으로부터의 오디오를 동시에 렌더링하지 않고도(예를 들어, 하나는 "낮은" 볼륨으로) 멀티-모달 어시스턴트 디바이스의 디스플레이 및/또는 스피커(들)의 전체 범위를 활용할 수 있다. 두 세션으로부터의 컨텐츠를 동시에 렌더링하는 것을 방지하여 자원을 절약하는 것 외에도 이것은 또한 사용자가 활성 세션의 컨텐츠를 보다 쉽고 빠르게 확인할 수 있게 하여 활성 세션의 지속 시간을 잠재적으로 단축할 수 있다.
활성 세션과 관련된 컨텐츠만을 렌더링하는 것은 다양한 이점을 제공하지만, 이전 세션이 완료되기 전에 활성 세션이 이전 세션을 인터럽트하는 경우에도 문제가 발생할 수 있다. 예를 들어, 이전 세션을 인터럽트하는 활성 세션의 중단시, 그 인터럽트된 이전 세션이 자동으로 재개(예를 들어, 활성 세션의 중단시 추가 사용자 인터페이스 입력없이 재개)되어야 하는지: 자동으로 재개되지는 않지만 재개를 제안(예를 들어, 이전 세션을 재개하기 위해 터치될 수 있는 인터페이스 엘리먼트가 디스플레이)되어야 하는지; 자동으로 재개되지 않고 재개를 제안하지 않지만, 명시적인 사용자 요청(예를 들어, "이전 세션 재개"라는 음성 발화)에 응답하여 재개할 수 있는지; 또는 자동으로 재개되지 않고 완전히 만료되어야 하는지(예를 들어, 인터럽트된 상태에서, 이전 세션을 재개하기 위해 메모리에서 지워진 데이터는 이전 세션의 상태를 다시 생성하기 위해 장기간 사용자 상호 작용없이는 불가능함) 여부가 명확하지 않을 수 있다.
이전 세션을 전적으로(exclusively) 완전히 만료시키는 기술은 컴퓨터 및 네트워크 자원의 낭비를 직접적으로 초래할 수 있다. 예를 들어, 이전 세션이 다수의 사람-자동화 어시스턴트 대화 턴(turn)의 결과인 상태에 있고, 사용자가 인터럽트 세션의 중단 후 이전 세션으로 리턴하기를 원한다고 가정한다. 이전 세션을 전적으로 완전히 만료하는 기술을 사용하는 경우, 이전 세션의 재개는 이전 세션의 상태를 다시 생성하기 위해 자원 집약적인 다수의 사람-자동화 어시스턴트 대화 턴을 다시 수행하지 않고서는 불가능하다. 전적으로 항상 이전 세션으로 리턴하는 기술은 컴퓨터와 네트워크 자원의 낭비를 직접적으로 초래할 수 있다. 예를 들어, 사용자가 업터럽트 세션의 중단 후 이전 세션으로 리턴하를 원하지 않는 경우, 이전 세션으로부터 컨텐츠를 다시 렌더링하고 및/또는 그의 상태를 메모리에 저장하는 것은 다양한 자원을 불필요하게 소비할 수 있다.
일반적으로, 복수의 중첩(overlapping) 세션 및 이들을 위해 제공된 자원을 효율적으로 관리할 수 있도록 어시스턴트 디바이스에 챌린지가 제시된다. 특히 어시스턴트에 의해 제시된 인터페이스의 하나 이상의 양태가 오디오로 구현되는 경우 (예를 들어, 음성 발화를 통해) 선형 프리젠테이션 양태를 포함하는 환경에서 병렬 세션 정보를 제시하는 챌린지가 있다. 디스플레이를 포함하는 멀티-모달 어시스턴트 디바이스는 추가 인터페이스 정보를 전달할 수 있는 기회를 제공할 수 있으며, 상호 작용이 다수의 세션을 구성할 수 있는 더 큰 기회를 제공한다. 어시스턴트 환경에서 중첩 작업에 적용된 자원 사용을 관리하면 이전에 대체 인터페이스에서 사용된 솔루션에 적합하지 않은 챌린지를 제시한다.
이들 및 다른 고려 사항을 고려하여, 본 명세서에 개시된 구현들은 이전의 제1 자동화 어시스턴트 세션을 인터럽트하고 대체한 제2 자동화 어시스턴트 세션의 중단시, (1) 이전 제1 세션을 자동으로 재개할지 또는 (2) 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환할지 여부를 결정하는 것과 관련된다. 일부 구현에서, 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환하기로 결정될 때, 대체 상태는 이전 세션이 자동으로 재개되지 않고 완전히 만료되는 대체 상태; 이전 세션이 자동으로 재개되지 않지만 사용자 인터페이스 출력을 통해(예를 들어, 그래픽 엘리먼트의 렌더링을 통해) 재개를 제안하는 대체 상태; 또는 이전 세션이 자동으로 재개되지 않고 재개를 제안하지 않지만 명시적인 사용자 요청에 응답하여 재개할 수 있는 대체 상태일 수 있다. 이러한 구현들 중 일부는 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환하기로 결정될 때 항상 동일한 대체 상태로 전환될 수 있다. 다른 구현은 제1 세션이 자동으로 재개되지 않는 대체 상태로의 전환을 결정할 때 이러한 대체 상태들 중 하나 이상에서 선택할 수 있다.
본 명세서에 설명된 구현들은 제2 세션의 중단시, 인터럽트된 이전 제1 세션의 자동 재개 또는 제1 세션이 자동으로 재개되지 않는 상태로의 전환을 선택적으로 야기하는 것과 추가로 관련된다. 이러한 구현은 (1) 이전 제1 세션을 자동으로 재개할지 또는 (2) 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환할지 여부의 결정에 기초하여 두 액션 중 하나를 선택적으로 야기한다. 본 명세서에 상세히 설명된 바와 같이, 이전 제1 세션 및/또는 입터럽트 제2 세션의 하나 이상의 속성을 고려하는 기술과 같은 다양한 기술이 이러한 결정을 내리는데 이용될 수 있다. 이러한 결정을 내리고 두 액션 중 하나만의 수행을 선택적으로 야기하는 것은 다양한 이점을 직접적으로 얻을 수 있다. 특히, 세션간 전환 관리에 대한 대안적인 접근 방식을 제공함으로써 자원 할당을 개선할 수 있다. 예를 들어, 이전 제1 세션의 선택적 자동 재개는 사용자가 이전 제1 세션을 재개하기 위해 입력해야 하는 입력의 양을 줄일 수 있으며(예를 들어, 0으로), 다양한 고려 사항(들)에 기초하여 선택적으로만 수행되어 원하지 않을 때 자동 재개의 위험을 완화할 수 있다. 또한, 예를 들어, 이전 제1 세션이 자동으로 재개되지 않는 상태로의 선택적 전환은 제1 세션에서 컨텐츠의 자동 렌더링을 방지하고 및/또는 어시스턴트 디바이스가 더 빨리 저전력 상태로 전환되도록 할 수 있으며, 다양한 고려 사항(들)에 기초하여 선택적으로만 수행되어 원하지 않을 때 비-자동 재개의 위험을 완화할 수 있다. 게다가, 두 액션 중 하나의 선택적 수행은 스마트 디바이스 제어, 스마트 디바이스 구성, 스마트 디바이스 설치 등과 같은 다양한 작업의 수행에서 사람-자동화 어시스턴트 상호 작용을 촉진하는 향상된 상호 작용 프로토콜을 제공한다.
일부 구현에서, 이전 제1 세션을 인터럽트하고 대체한 제2 세션의 중단시, (1) 이전 제1 세션을 자동으로 재개할지 또는 (2) 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환할지 여부의 결정은 이전 제1 세션의 하나 이상의 속성 및/또는 제2 세션의 하나 이상의 속성에 적어도 부분적으로 기초한다. 이러한 구현 중 일부에서, 제1 세션의 이용되는 속성은 제1 컨텐츠에 할당된 분류를 포함할 수 있고 및/또는 제2 세션의 이용되는 속성은 제2 컨텐츠에 할당된 분류를 포함할 수 있다. 예를 들어 분류는 대응하는 컨텐츠가 일시형(transient)인지 또는 지속형 (Enduring)인지 여부를 나타낼 수 있다. 이러한 방식으로, 상이한 분류를 갖는 세션은 다중 세션 환경에 포함될 때 다르게 처리될 수 있음을 인식할 수 있으므로 필요하거나 원하는 컨텐츠에 자원을 적절하게 할당할 수 있음을 인식할 수 있다. .
지속형 컨텐츠는 예를 들어, 복수의 대화 턴에 걸쳐 렌더링되고 및/또는 대화 턴 동안 사용자 인터페이스 입력에 따라 동적으로 렌더링되는 컨텐츠를 포함할 수 있다. 예를 들어, 스마트 디바이스의 사용자 설치법 및 구성법을 안내할 때 렌더링되는 컨텐츠는 다수의 대화 턴에 걸쳐 렌더링되고 및/또는 동적 방식으로 렌더링된다는 점에서 지속형일 수 있다(예를 들어, 사용자가 대화 턴에서 배선 옵션 A를 선택하면 추가 컨텐츠 A가 제공되는 반면, 사용자가 대화 턴에서 배선 옵션 B를 대신 선택하면 추가 컨텐츠 B가 제공된다). 지속형 컨텐츠는 추가적으로 또는 대안적으로, 예를 들어 전체 렌더링이 적어도 임계 기간(duration)을 갖는 컨텐츠 및/또는 특정 유형의 컨텐츠를 포함할 수 있다. 예를 들어, 시각적 및 청각적으로 렌더링된 컨텐츠의 임계 기간 이상을 적어도 포함하는 뮤직 비디오와 같은 많은(또는 모든) 비디오는 지속형으로 분류될 수 있다. 반면에, 일시형 컨텐츠는 청각적 및/또는 시각적 날씨 예보, 용어에 대한 정의, 질문에 대한 답변 등과 같이 정적이고 및/또는 단일 대화 턴에서만 렌더링되는 컨텐츠를 포함할 수 있다. 일부 구현에서, 컨텐츠는 컨텐츠의 소스에 적어도 부분적으로 기초하여 지속형 또는 일시형으로 분류될 수 있다. 예를 들어, 비디오 컨텐츠를 제공하는 에이전트의 컨텐츠는 모두 지속형으로 분류될 수 있는 반면 날씨 정보를 제공하는 에이전트의 컨텐츠는 지속형으로 분류될 수 있다. 일부 구현에서, 컨텐츠는 음성 발화 또는 컨텐츠가 응답하는 통지에 기초하여 결정된 의도에 적어도 부분적으로 기초하여 지속형 또는 일시형으로 분류될 수 있다. 예를 들어, 본 명세서에 설명된 바와 같이, 음성 발화는 의도를 도출하기 위해 처리될 수 있고 및/또는 통지는 대응하는 의도와 연관될 수 있고, 일부 의도는 지속형 컨텐츠와 연관될 수 있는 반면 다른 의도는 일시형 컨텐츠와 연관될 수 있다. 컨텐츠를 일시형 또는 지속형으로 분류하기 위한 추가 및/또는 대체 기술이 제공될 수 있다.
일부 구현에서, 이전 제1 세션을 자동으로 재개하기로 결정하는 것은 이전 제1 세션의 컨텐츠는 지속형으로 분류되고 제2 세션의 컨텐츠는 일시형으로 분류되는 것에 기초할 수 있다. 일부 추가적 또는 대안적인 구현에서, 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로의 전환하기로 결정하는 것은 일시형으로 분류되는 이전 제1 세션의 내용에 기초할 수 있다. 이러한 구현 중 일부에서, 대체 상태는 이전 제1 세션이 자동으로 재개되지 않고 완전히 만료되는 상태이다. 일부 추가적 또는 대안적인 구현에서, 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환하기로 결정하는 것은 이전 제1 세션의 컨텐츠가 지속형으로 분류되고, 제2 세션의 컨텐츠도 지속형으로 분류되는 것에 기초할 수 있다. 이러한 구현의 일부 버전에서, 대체 상태는 이전 제1 세션이 자동으로 재개되지 않지만 사용자 인터페이스 출력을 통해(예를 들어, 본 명세서에 더 상세히 설명된 바와같이 "홈" 스크린에서 그래픽 엘리먼트의 렌더링을 통해) 재개를 제안하는 상태이다. 이러한 구현의 일부 다른 버전에서, 대체 상태는 이전 세션이 자동으로 재개되지 않고 재개를 제안하지 않지만 명시적인 사용자 요청에 응답하여 재개할 수 있는 상태이다. 일부 추가적 또는 대안적인 구현에서, 이전 제1 세션을 자동으로 재개하기로 결정하는 것은 이전 제1 세션의 컨텐츠가 지속형으로 분류되는 것, 제2 세션의 컨텐츠가 지속형으로 분류되는 것 및 이전 제1 세션의 컨텐츠가 엔티티를 구현하고 정의된 관계가 제2 세션의 엔티티 컨텐츠 사이에 존재한다는 추가 결정에 기초할 수 있다.
본 명세서에 설명된 다양한 구현에서, 인터럽트 데이터는 제1 세션에 대한 제1 컨텐츠의 렌더링 동안 수신되고, 인터럽트 데이터를 수신하는 것에 응답하여, 대체 컨텐츠가 제2 세션 동안 렌더링된다. 이들 구현 중 일부에서, 인터럽트 데이터는 사용자의 음성 입력이고, 대체 컨텐츠에 대한 요청을 포함하는 음성 입력 및 제1 세션의 제1 컨텐츠와 상이한 대체 컨텐츠에 기초하여 인터럽트 데이터인 것으로 결정된다. 예를 들어 제1 세션의 제1 컨텐츠는 스마트 디바이스 구성법과 관련될 수 있으며, 음성 입력은 "어떻게 민트 줄렙을 만들지?"가 될 수 있으며, 제1 세션의 스마트 디바이스 구성 컨텐츠와 관련없는 컨텐츠 요청(민트 줄렙 제작에 관련된 안내)을 포함하여 인터럽트 데이터로 결정될 수 있다. 반면에, 제1 세션동안 디스플레이되는 제1 컨텐츠가 스마트 디바이스 구성법과 관련된 여러 단계 중 하나이고 음성 입력이 "다음(next)"인 경우, 그 음성 입력은 인터럽트 데이터가 아닌 것으로 결정되지 않고 대신 렌더링될 제1 컨텐츠의 다음 부분에 대한 요청인 것으로 결정될 것이다.
일부 추가적 또는 대안적인 구현에서, 인터럽트 데이터는 제1 세션 동안 수신되고 제1 세션 동안 제1 컨텐츠를 렌더링하는 동안 시각적으로 및/또는 청각적으로 렌더링되는 통지와 상호 작용하려는 욕구를 나타내는 사용자 인터페이스 입력일 수 있다. 예를 들어, 통지는 들어오는 오디오 및/또는 시각적 호출일 수 있으며 대화형 그래픽 인터페이스 엘리먼트는 제1 세션의 시각적으로 렌더링된 컨텐츠 위에 오버레이될 수 있다. 통지 그래픽 인터페이스 엘리먼트의 긍정적 선택은 인터럽트 데이터일 수 있고, 제2 세션 동안 렌더링된 대체 컨텐츠는 오디오 및/또는 시각적 호출일 수 있다. 긍정적 선택은 예를 들어 특정 긍정적 터치 선택(예를 들어, 오른쪽으로 스와이프 또는 더블 탭) 또는 긍정적 음성 발화(예를 들어, "OK", "통지 수락") 일 수 있다. 반면에, 그래픽 인터페이스 엘리먼트의 부정적 선택(예를 들어, 아래로 스와이프와 같은 특정 부정적 터치 선택)은 제1 세션의 인터럽트없이 통지가 해제되도록 할 수 있다. 본 명세서에 사용된 인터럽트 데이터는 대체 컨텐츠를 대체 세션의 일부로 렌더링하려는 욕구를 나타내는 데이터를 지칭하며, 현재의 중단을 중단하려는 사용자 인터페이스 입력(예를 들어, "중지" 또는 "일시 중지"라는 음성 명령, 대화형 "X" 또는 다른 중단 그래픽 엘리먼트의 터치)과 대비될 수 있다.
다양한 구현에서, 인터럽트된 제1 세션에 대한 제1 세션 데이터는 인터럽트 데이터가 수신되었을 때 제1 세션의 상태에서 제1 세션을 자동으로 재개하기 위해 저장되고 활용될 수 있다. 이들 구현 중 일부에서, 제1 세션 데이터는 제1 세션을 재개하기로 결정한 것에 응답해서만 선택적으로 보존된다. 제1 세션 데이터는 다양한 방법으로 저장될 수 있다. 일부 구현에서, 예를 들어, 보존된 전사에 있는 의도, 슬롯값, 엔티티 등을 검출함으로써 즉시 및/또는 필요에 따라 제1 세션의 상태가 재구축되거나 재개될 수 있도록 제1 세션의 사람 대 컴퓨터 대화의 전체 전사가 보존될 수 있다. 추가적으로 또는 대안적으로, 일부 구현에서, 검출된 의도(들), 슬롯값, 언급된 엔티티들 등과 같은 상태의 핵심 엘리먼트만 JSON(JavaScript Object Notation) 또는 다른 유사한 포멧과 같이 다양한 포멧으로으로 보존될 수 있다. 제1 세션 데이터는 다양한 위치에 보존될 수 있다. 일부 구현에서, 제1 세션 데이터는 자동화 어시스턴트와 교감하기 위해 사용자에 의해 조작되는 컴퓨팅 디바이스에 로컬인 메모리에 보존될 수 있다. 이는 제1 세션 재개시 지연 시간을 줄이는 등 다양한 기술적 이점을 줄 수 있다. 추가적으로 또는 대안적으로, 일부 구현에서, 제1 세션 데이터는 사용자의 컴퓨팅 디바이스로부터 원격으로, 예를 들어 "클라우드 기반 서비스"로 종종 지칭되는 것을 일괄적으로 운영하는 하나 이상의 컴퓨팅 시스템의 메모리에 보존될 수 있다.
위의 설명은 본 명세서에 설명된 다양한 구현의 개요로서만 제공된다. 이러한 다양한 구현 및 추가 구현에 대한 추가 설명이 본 명세서에 제공된다.
일부 구현에서, 하나 이상의 프로세서에 의해 수행되는 방법이 제공되어 클라이언트 디바이스의 사용자 인터페이스 입력 컴포넌트를 통해 검출된 사용자 입력을 나타내는 사용자 입력 데이터를 수신하는 단계를 포함한다. 방법은 사용자 입력 데이터에 기초하여, 사용자 입력에 응답하는 제1 컨텐츠를 식별하는 단계를 더 포함한다. 방법은 사용자 입력 데이터를 수신하는 것에 응답하여, 클라이언트 디바이스가 제1 세션 동안 제1 컨텐츠의 적어도 일부를 렌더링하게 하는 단계를 더 포함한다. 방법은 제1 세션 동안 클라이언트 디바이스에 의해 제1 컨텐츠를 렌더링하는 동안 인터럽트 데이터(interruption data)를 수신하는 단계를 더 포함한다. 인터럽트 데이터는 제1 세션 동안 제1 컨텐츠의 렌더링 중에 검출되는 사용자의 추가 사용자 인터페이스 입력에 응답하여 수신된다. 방법은 인터럽트 데이터를 수신하는 것에 응답하여, 클라이언트 디바이스가 제2 세션 동안 제1 세션을 적어도 일시적으로 대체하는 대체 컨텐츠를 렌더링하게 하는 단계를 더 포함한다. 대체 컨텐츠는 제1 컨텐츠와 상이하며, 클라이언트 디바이스가 제2 세션 동안 대체 컨텐츠를 렌더링하게하는 단계는 클라이언트 디바이스가 제1 컨텐츠 대신 대체 컨텐츠를 렌더링하게하는 단계를 포함한다. 방법은 제2 세션의 중단시, 클라이언트 디바이스가 제1 세션을 자동으로 재개하도록 할 것인지, 또는 클라이언트 디바이스가 제1 세션을 자동으로 재개하지 않는 대체 상태로 전환하게 할 것인지 여부를 결정하는 단계를 더 포함한다. 결정은 적어도 제1 세션의 하나 이상의 속성에 기초한다. 방법은 제2 세션의 중단시 그 결정에 의존하여, 선택적으로 클라이언트 디바이스가 제1 세션을 자동으로 재개하거나 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환하게 하는 단계를 포함한다.
본 명세서에 설명된 기술의 이들 및 다른 구현은 다음의 특징 중 하나 이상을 포함할 수 있다.
일부 구현에서, 사용자 입력 데이터는 클라이언트 디바이스의 하나 이상의 마이크로폰을 통해 검출된 사용자의 음성 발화를 나타내는 음성 발화 데이터를 포함한다.
일부 구현에서, 결정의 기초가 되는 제1 세션의 적어도 하나의 속성은 제1 컨텐츠에 할당된 분류를 포함한다. 이러한 구현의 일부 버전에서, 제1 컨텐츠에 할당된 분류는 제1 컨텐츠가 일시형인지 또는 지속형인지 여부를 나타낸다. 이들 버전 중 일부에서, 상기 결정하는 단계는 제1 컨텐츠가 일시형임을 나타내는 컨텐츠에 할당된 분류에 기초하여, 클라이언트 디바이스가 제1 세션을 자동으로 재개하지 않는 대체 상태로 클라이언트 디바이스가 천이하도록 결정하는 단계를 포함한다.
일부 구현에서, 결정의 기초가 되는 제1 세션의 적어도 하나의 속성은 제1 컨텐츠가 일시형인지 또는 지속형인지를 나타내며, 상기 결정은 제2 세션의 하나 이상의 속성에 추가로 기초한다. 이러한 구현 중 일부에서, 제2 세션의 적어도 하나의 속성은 대체 컨텐츠가 일시형인지 또는 지속형인지 여부를 나타낸다. 이러한 구현의 일부 버전에서, 상기 결정하는 단계는 제1 컨텐츠가 지속형임을 나타내는 제1 컨텐츠에 할당된 분류 및 대체 컨텐츠가 일시형임을 나타내는 제2 세션의 적어도 하나의 속성에 기초하여 클라이언트 디바이스가 제1 세션을 자동으로 재개하도록 결정하는 단계를 포함한다. 이러한 구현의 일부 다른 버전에서, 상기 결정하는 단계는 컨텐츠가 지속형임을 나타내는 제1 컨텐츠에 할당된 분류 및 대체 컨텐츠가 지속형임을 나타내는 제2 세션의 적어도 하나의 속성에 기초하여 클라이언트 디바이스가 제1 세션을 자동으로 재개하지 않는 대체 상태로 전환하도록 결정하는 단계를 포함한다.
일부 구현에서, 추가 사용자 인터페이스 입력은 사용자의 추가 음성 발화이다. 이러한 구현 중 일부에서, 방법은 대체 컨텐츠에 대한 요청 및 제1 세션의 제1 컨텐츠와 상이한 대체 컨텐츠를 포함하는 추가 음성 입력에 기초하여 추가 음성 입력이 인터럽트 데이터임을 결정하는 단계를 더 포함한다.
일부 구현에서, 결정의 기초가 되는 제1 세션의 적어도 하나의 속성은 제1 컨텐츠로 구현된 엔티티를 포함하고, 상기 결정하는 단계는 대체 컨텐츠와 제1 컨텐츠에 의해 구현된 엔티티 사이의 관계를 결정하는 것에 기초하여 클라이언트 디바이스가 제1 세션을 자동으로 재개하도록 결정하는 단계를 포함한다.
일부 구현에서, 방법은 제1 세션 동안 클라이언트 디바이스에 의한 제1 컨텐츠의 렌더링 동안, 클라이언트 디바이스에서 렌더링될 통지를 수신하는 단계; 및 통지를 수신하는 것에 응답하여, 클라이언트 디바이스가 통지를 렌더링하게 하는 단계를 더 포함한다. 이러한 구현 중 일부에서, 추가 사용자 인터페이스 입력은 통지를 렌더링하는 클라이언트 디바이스에 응답하여 제공되는 사용자의 긍정적 터치 또는 음성 입력이고, 사용자의 긍정적 입력은 통지와 상호 작용하려는 사용자의 욕구를 나타내고, 대체 컨텐츠는 그 통지에 기초한다.
일부 구현에서, 방법은 제1 세션에 대해, 인터럽트 수신되었을 때 제1 세션의 상태를 나타내는 제1 세션 상태 데이터를 저장하는 단계를 더 포함한다. 이러한 구현에서, 클라이언트 디바이스가 제1 세션을 자동으로 재개하게 하는 단계는 인터럽트 데이터가 수신되었을 때 제1 세션 상태 데이터를 사용하여 제1 세션의 상태에서 제1 세션을 재개하는 단계를 포함할 수 있다.
일부 구현에서, 상기 결정하는 단계는 클라이언트 디바이스로 하여금 클라이언트 디바이스가 제1 세션을 자동으로 재개하지 않는 상태로 천이하도록 결정하는 단계를 포함한다. 이들 구현 중 일부에서, 방법은 응답으로, 제1 세션에 대해, 클라이언트 디바이스 또는 클라이언트 디바이스와 네트워크 통신하는 원격 서버의 메모리로부터 세션 데이터를 지우는 단계를 더 포함한다.
일부 구현에서, 클라이언트 디바이스는 디스플레이 및 적어도 하나의 스피커를 포함하고, 상기 컨텐츠를 렌더링하는 단계는 디스플레이 및 적어도 하나의 스피커를 통해 컨텐츠를 렌더링하는 단계를 포함한다.
일부 구현에서, 클라이언트 디바이스가 제1 세션을 자동으로 재개하지 않는 대체 상태는 홈 스크린 또는 앰비언트 스크린의 디스플레이를 포함한다. 이러한 구현의 일부 버전에서, 홈 스크린 또는 앰비언트 스크린의 디스플레이에는 제1 세션에 대한 참조가 없다. 이러한 구현의 일부 다른 버전에서, 홈 스크린 또는 앰비언트 스크린의 디스플레이에는 제1 세션을 재개하도록 선택될 수 있는 선택 가능한 그래픽 인터페이스 엘리먼트가 포함된다.
또한, 일부 구현은 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는 관련 메모리에 저장된 명령들을 실행하도록 동작 가능하며, 상기 명령들은 전술한 방법 중 임의의 것을 수행하도록 구성된다. 일부 구현은 또한 전술한 방법 중 임의의 것을 수행하기 위해 하나 이상의 프로세서에 의해 실행 가능한 컴퓨터 명령들을 저장하는 하나 이상의 비-일시적 컴퓨터 판독 가능 저장 매체를 포함한다.
도 1은 본 명세서에 개시된 구현이 구현될 수 있는 예시적인 환경의 블록도이다.
도 2는 다양한 구현에 따라 구현될 수 있는 예시적인 상태 머신을 도시한다.
도 3은 본 명세서에 개시된 구현에 따른 예시적인 방법을 예시하는 흐름도를 도시한다.
도 4는 제1 세션 동안 제1 컨텐츠를 렌더링하고, 제1 세션 동안 제1 컨텐츠의 렌더링 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠를 렌더링하고, 제2 세션의 중단시 제1 세션을 자동으로 재개하는 예를 도시한다.
도 5는 제1 세션 동안 제1 컨텐츠를 렌더링하고, 제1 세션 동안 제1 컨텐츠의 렌더링 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠를 렌더링하고, 제2 세션의 중단시 제1 세션이 재개를 제안하지만 자동으로 재개되지 않는 대체 상태로 전환하는 예를 도시한다.
도 6은 제1 세션 동안 제1 컨텐츠를 렌더링하고, 제1 세션 동안 제1 컨텐츠의 렌더링 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠를 렌더링하고, 제2 세션의 중단시 제1 세션을 자동으로 재개하는 다른 예를 도시한다.
도 7은 제1 세션 동안 제1 컨텐츠를 렌더링하고, 제1 세션 동안 제1 컨텐츠의 렌더링 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠를 렌더링하고, 제2 세션의 중단시 제1 세션이 자동으로 재개되지 않고 재개를 제안하지 않는 대체 상태로 전환하는 예를 도시한다.
도 8은 제1 세션 동안 제1 컨텐츠를 렌더링하고, 제1 세션 동안 제1 컨텐츠의 렌더링 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠를 렌더링하고, 제2 세션의 중단시 제1 세션을 자동으로 재개하는 다른 예를 도시한다.
도 9는 예시적인 컴퓨팅 디바이스의 블록도이다.
이제 도 1을 참조하면, 본 명세서에 개시된 기술들이 구현될 수 있는 예시적인 환경이 도시된다. 예시적인 환경은 복수의 클라이언트 컴퓨팅 디바이스(1061-N)를 포함한다. 각각의 클라이언트 디바이스(106)는 자동화 어시스턴트 클라이언트(118)의 개별 인스턴스를 실행할 수 있다. 자연어 이해 엔진(135)과 같은 하나 이상의 클라우드 기반 자동화 어시스턴트 컴포넌트(119)는 110에서 일반적으로 표시된 하나 이상의 로컬 및/또는 광역 네트워크(예를 들어, 인터넷)를 통해 클라이언트 디바이스(1061-N)에 통신적으로 결합된 하나 이상의 컴퓨팅 시스템(통칭하여 "클라우드" 컴퓨팅 시스템이라고 함)상에서 구현될 수 있다.
일부 구현에서, 자동화 어시스턴트 클라이언트(118)의 인스턴스는 하나 이상의 클라우드 기반 자동화 어시스턴트 컴포넌트(119)와의 상호 작용을 통해 사용자의 관점에서 볼 때 사용자가 사람 대 컴퓨터 대화에 참여할 수 있는 자동화 어시스턴트(120)의 논리적 인스턴스를 형성할 수 있다. 그러한 자동화 어시스턴트(120)의 두 가지 인스턴스가 도 1에 도시되어 있다. 점선으로 둘러싸인 제1 자동화 어시스턴트(120A)는 제1 클라이언트 디바이스(1061)를 작동하는 제1 사용자(미도시)에게 서비스를 제공하고, 자동화 어시스턴트 클라이언트(1181) 및 하나 이상의 클라우드 기반 자동화 어시스턴트 컴포넌트(119)를 포함한다. 대시-대시-점선으로 둘러싸인 제2 자동화 어시스턴트(120B)는 다른 클라이언트 디바이스(106N)를 작동하는 제2 사용자(미도시)에게 서비스를 제공하고, 자동화 어시스턴트 클라이언트(118N) 및 하나 이상의 클라우드 기반 자동화 어시스턴트 컴포넌트(119)를 포함한다.
따라서, 클라이언트 디바이스(106)에서 실행되는 자동화 어시스턴트 클라이언트(118)와 교감하는 각 사용자는 사실상 자신의 자동화 어시스턴트(120)의 논리적 인스턴스에 참여할 수 있음을 이해해야 한다. 간결함과 단순함을 위해, 본 명세서에서 특정 사용자를 "서비스하는"것으로 사용되는 "자동화 어시스턴트"라는 용어는 사용자에 의해 작동되는 클라이언트 디바이스(106)에서 실행되는 자동화 어시스턴트 클라이언트(118) 및 (다수의 자동화 어시스턴트 클라이언트(118) 사이에서 공유될 수 있는) 하나 이상의 클라우드 기반 자동화 어시스턴트 컴포넌트(119)의 조합을 지칭할 것이다. 또한, 일부 구현에서, 자동화 어시스턴트(120)는 사용자가 자동화 어시스턴트(120)의 특정 인스턴스에 의해 실제로 "서비스"를 받는지 여부에 관계없이 임의의 사용자로부터의 요청에 응답할 수 있음을 이해해야 한다.
클라이언트 디바이스(1061-N)는 예를 들어, 데스크탑 컴퓨팅 디바이스, 랩탑 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 모바일 폰 컴퓨팅 디바이스, 사용자 차량의 컴퓨팅 디바이스(예를 들어, 차량용 통신 시스템, 차량용 엔터테인먼트 시스템, 차량용 내비게이션 시스템), 독립형 대화형 스피커, 스마트 TV와 같은 스마트 기기 및/또는 컴퓨팅 디바이스를 포함하는 사용자의 웨어러블 디바이스(예를 들어, 컴퓨팅 디바이스가 있는 사용자의 시계, 컴퓨팅 디바이스가 있는 사용자의 안경, 가상 또는 증강 현실 컴퓨팅 디바이스)중 하나 이상을 포함할 수 있다. 추가 및/또는 대체 클라이언트 컴퓨팅 디바이스가 제공될 수 있다.
본 개시의 목적을 위해, 도 1에서, 제1 클라이언트 디바이스(1061)는 스피커(1091) 및 디스플레이(1111)가 있는 독립형 멀티-모달 어시스턴트 디바이스의 형태를 취하며 (일부 구현에서 터치 스크린인 디스플레이(111)를 제외하고) 키보드 또는 마우스와 같은 복잡한 하드웨어 입력 컴포넌트가 없을 수 있다. 본 명세서에 설명된 기술은 1061과 같은 독립형 멀티-모달 어시스턴트 디바이스를 사용하여 수행되는 맥락에서 설명될 것이지만 이것은 제한을 의미하지는 않는다. 본 명세서에 설명된 기술은 주로 음성 및/또는 터치 상호 작용을 통해 상호 작용하는 차량 컴퓨팅 디바이스와 같은 다른 폼 팩터(그러나 표준 키보드 및 마우스가 아직 없음)를 갖는 클라이언트 디바이스에서 구현될 수 있다. 제2 클라이언트 디바이스(106N)는 자동화 어시스턴트(120A)가 자연어 출력을 제공할 수 있는 스피커(109N)를 포함하는 독립형 음성 응답 스피커이다. 본 명세서에 설명된 기술은 제2 클라이언트 디바이스(106N)를 통해 렌더링되는 세션의 오디오 컨텐츠와 관련하여 제2 클라이언트 디바이스(106N)를 통해 추가로 또는 대안적으로 구현될 수 있다.
본 명세서에서 더 상세히 설명되는 바와 같이, 자동화 어시스턴트(120)는 하나 이상의 클라이언트 디바이스(1061-N)의 사용자 인터페이스 입력 및 출력 디바이스를 통해 하나 이상의 사용자와 사람 대 컴퓨터 대화 세션에 참여한다. 클라이언트 디바이스(1061)와 같은 독립형 멀티-모달 어시스턴트 디바이스의 경우, 이러한 입력 디바이스는 예를 들어 근처에 있는 사람의 존재를 검출하는데 사용될 수 있는 선택적으로 다른 센서(예를 들어, PIR, 카메라)뿐만 아니라 마이크로폰(미도시) 및 디스플레이(111)(디스플레이(111)가 터치 스크린인 구현에서)로 제한될 수 있다. 일부 구현에서, 자동화 어시스턴트(120)는 클라이언트 디바이스(1061-N) 중 하나의 하나 이상의 사용자 인터페이스 입력 디바이스를 통해 사용자에 의해 제공된 사용자 인터페이스 입력에 응답하여 사용자와 사람 대 컴퓨터 대화 세션에 참여할 수 있다. 이들 구현 중 일부에서, 사용자 인터페이스 입력은 명시적으로 자동화 어시스턴트(120)에 지시된다. 예를 들어, 특정 사용자 인터페이스 입력은 하드웨어 버튼 및/또는 가상 버튼(예를 들어, 탭, 롱 탭), 구두 명령(예를 들어, "헤이 자동화 어시스턴트") 및/또는 다른 특정 사용자 인터페이스 입력과의 사용자 상호 작용일 수 있다.
일부 구현에서, 자동화 어시스턴트(120)는 사용자 인터페이스 입력이 자동화 어시스턴트(120)에 명시적으로 지시되지 않은 경우에도 사용자 인터페이스 입력에 응답하여 사람 대 컴퓨터 대화 세션에 참여할 수 있다. 예를 들어, 자동화 어시스턴트(120)는 사용자 인터페이스 입력의 컨텐츠를 검사하고 사용자 인터페이스 입력에 존재하는 특정 용어에 응답하여 및/또는 다른 단서에 기초하여 대화 세션에 참여할 수 있다. 많은 구현에서, 사용자는 명령, 검색 등을 발화할 수 있고, 자동화 어시스턴트(120)는 음성 인식을 이용하여 발화를 텍스트로 변환하고, 예를 들어, 검색 결과, 일반 정보 및/또는 제공하고 및/또는 하나 이상의 응답 액션(예를 들어, 미디어 재생, 게임 시작, 음식 주문 등)을 수행함으로써 그에 따라 텍스트에 응답할 수 있다. 일부 구현에서, 자동화 어시스턴트(120)는 발화를 텍스트로 변환하지 않고 발화에 추가적으로 또는 대안적으로 응답할 수 있다. 예를 들어, 자동화 어시스턴트(120)는 음성 입력을 임베딩, 엔티티 표현(음성 입력에 존재하는 엔티티/엔티티들을 나타냄) 엔티티 표현(들) 및/또는 다른 "비-텍스트" 표현으로 변환하고 그러한 비-텍스트 표현에 대해 동작할 수 있다. 따라서, 음성 입력으로부터 변환된 텍스트에 기초하여 동작하는 것으로 본 명세서에서 설명된 구현은 추가적으로 및/또는 대안적으로 음성 입력에 대해 직접 및/또는 음성 입력의 다른 비-텍스트 표현에 대해 동작할 수 있다.
클라이언트 컴퓨팅 디바이스(1061-N) 및 클라우드 기반 자동화 어시스턴트 컴포넌트(119)를 동작시키는 컴퓨팅 디바이스(들) 각각은 데이터 및 소프트웨어 애플리케이션의 저장을 위한 하나 이상의 메모리, 데이터에 액세스하고 애플리케이션을 실행하는 하나 이상의 프로세서, 및 네트워크를 통한 통신을 용이하게 하는 다른 컴포넌트틀 포함할 수 있다. 하나 이상의 클라이언트 컴퓨팅 디바이스(1061-N) 및/또는 자동화 어시스턴트(120)에 의해 수행되는 동작들은 다수의 컴퓨터 시스템에 걸쳐 분산될 수 있다. 자동화 어시스턴트(120)는 예를 들어 네트워크를 통해 서로 연결된 하나 이상의 위치에 있는 하나 이상의 컴퓨터에서 실행되는 컴퓨터 프로그램으로서 구현될 수 있다.
전술한 바와 같이, 다양한 구현에서, 클라이언트 컴퓨팅 디바이스(1061-N) 각각은 자동화 어시스턴트 클라이언트(118)를 동작시킬 수 있다. 다양한 실시예에서, 각 자동화 어시스턴트 클라이언트(118)는 대응하는 음성 캡처/텍스트-음성 변환("TTS")/음성-텍스트 음성 변환("STT") 모듈(114)을 포함할 수 있다. 다른 구현에서, 음성 캡처/TTS/STT 모듈(114)의 하나 이상의 양태는 자동화 어시스턴트 클라이언트(118)와 별도로 구현될 수 있다. 각 음성 캡처/TTS/STT 모듈(114)은 예를 들어 마이크로폰을 통해 사용자의 음성을 캡처(음성 캡처); 캡처된 오디오를 텍스트 및/또는 다른 표현 또는 임베딩(STT)으로 변환 및/또는 텍스트를 음성으로 변환(TTS)과 같은 하나 이상의 기능을 수행하도록 구성될 수 있다. 예를 들어, 일부 구현에서, 클라이언트 디바이스(106)는 컴퓨팅 자원(예를 들어, 프로세서 사이클, 메모리, 배터리 등) 측면에서 상대적으로 제한될 수 있기 때문에, 각각의 클라이언트 디바이스(106)에 로컬인 STT 모듈(114)은 한정된 수의 서로 다른 음성 문구를 텍스트(또는 저차원 임베딩과 같은 다른 형식)로 변환하도록 구성될 수 있다. 다른 음성 입력은 클라우드 기반 STT 모듈(117)을 포함할 수 있는 클라우드 기반 자동화 어시스턴트 컴포넌트(119)로 전송될 수 있다.
클라우드 기반 STT 모듈(117)은 클라우드의 사실상 무한한 자원을 활용하여 음성 캡처/TTS/STT 모듈(114)에 의해 캡처된 오디오 데이터를 텍스트(자연어 처리기(122)에 제공될 수 있음)로 변환하도록 구성될 수 있다. 클라우드 기반 TTS 모듈(116)은 클라우드의 사실상 무한한 자원을 활용하여 텍스트 데이터(예를 들어, 자동화 어시스턴트(120)에 의해 공식화된 자연어 응답)를 컴퓨터 생성 음성 출력으로 변환하도록 구성될 수 있다. 일부 구현에서, TTS 모듈(116)은 예를 들어 하나 이상의 스피커를 사용하여 직접 출력되도록 컴퓨터 생성 음성 출력을 클라이언트 디바이스(106)에 제공할 수 있다. 다른 구현에서, 자동화 어시스턴트(120)에 의해 생성된 텍스트 데이터(예를 들어, 자연어 응답)는 음성 캡처/TTS/STT 모듈(114)에 제공될 수 있으며, 이는 이어서 텍스트 데이터를 로컬로 출력되는 컴퓨터 생성 음성으로 변환할 수 있다.
자동화 어시스턴트(120)(특히, 클라우드 기반 자동화 어시스턴트 컴포넌트(119))는 자연어 이해 엔진(135), 전술한 TTS 모듈(116), 전술한 STT 모듈(117), 및 아래에서 더 상세히 설명되는 다른 컴포넌트를 포함할 수 있다. 일부 구현에서, 자동화 어시스턴트(120)의 엔진 및/또는 모듈 중 하나 이상이 생략, 결합되고 및/또는 자동화 어시스턴트(120)와 별개인 컴포넌트에서 구현될 수 있다. 일부 구현에서, 자연어 이해 엔진(135), 음성 캡처/TTS/STT 모듈(114) 등과 같은 자동화 어시스턴트(120)의 컴포넌트 중 하나 이상은 클라이언트 디바이스(106)상에서 적어도 부분적으로(예를 들어, 클라우드를 제외하고) 구현될 수 있다.
일부 구현에서, 자동화 어시스턴트(120)는 자동화 어시스턴트(120)와의 사람 대 컴퓨터 대화 세션 동안 클라이언트 디바이스(1061-N) 중 하나의 사용자에 의해 생성된 다양한 입력에 응답하여 응답 컨텐츠를 생성한다. 자동화 어시스턴트(120)는 대화 세션의 일부로서 사용자에게 프리젠테이션을 위해(예를 들어, 사용자의 클라이언트 디바이스로부터 분리될 때 하나 이상의 네트워크를 통해) 응답 컨텐츠를 제공할 수 있다. 예를 들어, 자동화 어시스턴트(120)는 클라이언트 디바이스(1061-N) 중 하나를 통해 제공된 자유 형식의 자연어 입력에 응답하여 응답 컨텐츠를 생성할 수 있다. 본 명세서에서 사용되는 바와 같이, 자유 형식의 자연어 입력은 사용자에 의해 공식화되고 사용자가 선택하기 위해 제시된 옵션 그룹에 제한되지 않는 입력이다.
자연어 이해 엔진(135)의 자연어 프로세서(122)는 클라이언트 디바이스 (1061-N)를 통해 사용자에 의해 생성된 자연어 입력을 처리하여 자동화 어시스턴트(120)의 하나 이상의 다른 컴포넌트에 의해 사용하기 위한 주석이 달린 출력(예를 들어, 텍스트 형식)을 생성할 수 있다. 예를 들어, 자연어 프로세서(122)는 클라이언트 디바이스(1061)의 하나 이상의 사용자 인터페이스 입력 디바이스를 통해 사용자에 의해 생성된 자연어 자유 형식 입력을 처리할 수 있다. 생성된 주석이 달린 출력은 자연어 입력의 하나 이상의 주석 및 선택적으로 자연어 입력의 용어들 중 하나 이상(예를 들어, 모두)을 포함한다.
일부 구현에서, 자연어 프로세서(122)는 자연어 입력에서 다양한 유형의 문법 정보를 식별하고 주석을 달도록 구성된다. 예를 들어, 자연어 프로세서(122)는 개별 단어를 형태소로 분리하고 및/또는 형태소에, 예를 들어, 그들의 클래스에 주석을 달 수 있는 형태소 엔진을 포함할 수 있다. 자연어 프로세서(122)는 또한 그들의 문법적 역할과 함께 용어들에 주석을 달도록 구성된 음성 태거의 일부를 포함할 수 있다. 또한, 예를 들어, 일부 구현에서 자연어 프로세서(122)는 자연어 입력에서 용어들 간의 구문 관계를 결정하도록 구성된 종속성 파서를 추가로 및/또는 대안적으로 포함할 수 있다.
일부 구현에서, 자연어 프로세서(122)는 추가적으로 및/또는 대안적으로 사람에 대한 참조(예를 들어 문학 인물, 유명인, 공인 등을 포함), 조직, 위치(실제및 가상)와 같은 하나 이상의 세그먼트에서 엔티티 참조에 주석을 달도록 구성된 엔티티 태거를 포함할 수 있다. 일부 구현에서, 엔티티에 관한 데이터는 지식 그래프(미도시)와 같은 하나 이상의 데이터베이스에 저장될 수 있다. 일부 구현에서, 지식 그래프는 공지된 엔터티(및 일부 경우 엔터티 속성)를 나타내는 노드뿐만 아니라 노드들을 연결하고 엔터티들 간의 관계를 나타내는 에지가 포함될 수 있다. 예를 들어, "바나나" 노드는 "과일" 노드에 (예를 들어, 자식으로서) 연결될 수 있으며, 차례로 연결되어 (예를 들어, 자식으로서) "생산" 및/또는 "음식" 노드에 연결될 수 있다. 다른 예로, "가상 카페(Hypothetical Cafe)"라는 레스토랑은 주소, 서비스되는 음식 유형, 시간, 연락처 정보 등과 같은 속성을 또한 포함하는 노드로 표현될 수 있다. "가상 카페" 노드는 일부 구현에서 에지(예를 들어, 자식-부모 관계를 나타냄)에 의해 "레스토랑" 노드, "비즈니스" 노드, 레스토랑이 위치하는 도시 및/또는 주를 나타내는 노드 등과 같은 하나 이상의 다른 노드에 연결될 수 있다.
자연어 프로세서(122)의 엔티티 태거는 높은 수준의 입도(예를 들어, 사람과 같은 엔티티 클래스에 대한 모든 참조의 식별을 가능하게 하기 위해) 및/또는 더 낮은 수준의 입도(예를 들어, 특정 사람과 같은 특정 엔티티에 대한 모든 참조를 식별하기 위해)에서 엔티티에 대한 참조에 주석을 달 수있다. 엔티티 태거는 특정 엔티티를 해석하기 위해 자연어 입력의 컨텐츠에 의존할 수 있고 및/또는 특정 엔티티를 해석하기 위해 지식 그래프 또는 다른 엔티티 데이터베이스와 선택적으로 통신할 수 있다.
일부 구현에서, 자연어 프로세서(122)는 추가적으로 및/또는 대안적으로 하나 이상의 컨텍스트 단서에 기초하여 동일한 엔티티에 대한 참조를 그룹화하거나 "클러스터"하도록 구성된 상호 참조 해석기를 포함할 수 있다. 예를 들어, 상호 참조 해석기는 자연어 입력 "나는 우리가 거기서 식사한 지난번 가상 카페가 좋았어"라는 자연어 입력에서 "거기"라는 용어를 "가상 카페"로 해석하는데 활용될 수 있다.
일부 구현에서, 자연어 프로세서(122)의 하나 이상의 컴포넌트는 자연어 프로세서(122)의 하나 이상의 다른 컴포넌트로부터의 주석에 의존할 수 있다. 예를 들어, 일부 구현에서 명명된 엔터티 태거는 특정 엔터티에 대한 모든 언급에 주석을 달 때 상호 참조 해석기 및/또는 종속성 파서로부터의 주석에 의존할 수 있다. 또한, 예를 들어 일부 구현에서, 상호 참조 해석기는 동일한 엔티티에 대한 참조를 클러스터링할 때 종속성 파서로주터의 주석에 의존할 수 있다. 일부 구현에서, 특정 자연어 입력을 처리할 때, 자연어 프로세서(122)의 하나 이상의 컴포넌트는 특정 자연어 입력 외부의 관련 이전 입력 및/또는 다른 관련 데이터를 사용하여 하나 이상의 주석을 결정할 수 있다.
자연어 이해 엔진(135)은 또한, 자연어 처리기(122)의 주석이 달린 출력에 기초하여, 자동화 어시스턴트(120)와의 사람 대 컴퓨터 대화 세션에 참여한 사용자의 의도를 결정하도록 구성된 의도 매칭기(136)를 포함할 수 있다. 도 1에서 자연어 프로세서(122)와 별도로 도시되었지만, 다른 구현에서, 의도 매칭기(136)는 자연어 프로세서(122)(또는 더 일반적으로 자연어 프로세서(122)를 포함하는 파이프 라인의) 필수 부분일 수 있다. 일부 구현에서, 자연어 프로세서(122)와 의도 매칭기(136)는 전술한 "자연어 이해" 엔진(135)을 집합적으로 형성할 수 있다.
의도 매칭기(136)는 다양한 기술을 사용하여 사용자의 의도를 결정할 수 있다. 일부 구현에서, 의도 매칭기(136)는 예를 들어 문법과 응답 액션(또는 보다 일반적으로 의도) 사이의 복수의 매핑을 포함하는 하나 이상의 데이터베이스(137)에 액세스할 수 있다. 추가적으로 또는 대안적으로, 일부 구현에서, 하나 이상의 데이터베이스(137)는 사용자의 입력에 기초하여 사용자 의도를 나타내는 출력을 생성하도록 트레이닝된 하나 이상의 기계 학습 모델을 저장할 수 있다.
문법은 예를 들어 사용자의 가장 일반적인 의도를 나타 내기 위해 선택, 공식화(예를 들어, 손으로) 및/또는 시간에 따라 학습될 수 있다. 예를 들어, "play <artist>"라는 하나의 문법은 <artist>에 의한 음악이 사용자에 의해 작동되는 클라이언트 디바이스(106)에서 재생되게 하는 응답 액션을 호출하는 의도에 매핑될 수 있다. 다른 문법인 "[weather|forecast] today"는 "오늘 날씨는 어때?", "오늘의 예보는 어때?"와 같은 사용자 질의에 매칭될 수 있다. "play <artist>"인 예제문법에서 볼 수 있듯이, 일부 문법에는 슬롯값(또는 "파라미터")으로 채울 수 있는 슬롯(예를 들어, <artist>)이 있다. 슬롯값은 다양한 방식으로 결정될 수 있다. 종종 사용자는 사전에 슬롯값을 제공한다. 예를 들어, "Order me a <topping> pizza"라는 문법에 대해, 사용자는 "order me a sausage pizza"라는 문구를 말할 수 있으며, 이 경우 슬롯 <topping>이 자동으로 채워진다. 추가적으로 또는 대안적으로, 사용자가 사전에 슬롯값을 제공하지 않고 슬롯값으로 채워질 슬롯을 포함하는 문법을 호출하는 경우, 자동화 어시스턴트(120)는 사용자로부터 이러한 슬롯값을 요청할 수 있다(예를 들어, "피자에 어떤 유형의 크러스트를 원하십니까?").
(수동으로 생성될 수 있는) 많은 문법과 달리, 기계 학습 모델은 예를 들어 사용자와 자동화 어시스턴트 간의 상호 작용 로그를 사용하여 자동으로 트레이닝될 수 있다. 기계 학습 모델은 신경망과 같은 다양한 형태를 취할 수 있다. 이들은 사용자 입력에서 사용자 의도를 예측하기 위해 다양한 방법으로 트레이닝될 수 있다. 예를 들어, 일부 구현에서, 개별 트레이닝 예제를 포함하는 트레이닝 데이터가 제공될 수 있다. 각 트레이닝 예제는 예를 들어 사용자의 자유 형식 입력(예를 들어, 텍스트 또는 비 텍스트 형식)을 포함할 수 있고 의도로 라벨링(예를 들어, 손으로)될 수 있다. 트레이닝 예제는 출력을 생성하기 위해 기계 학습 모델(예를 들어, 신경망)에 대해 입력으로 적용될 수 있다. 출력은 오류를 확인하기 위해 레이블과 비교될 수 있다. 이 오류는 모델의 은닉 계층(들)과 관련된 가중치를 조정하기 위해 기울기 하강(예를 들어, 확률적, 배치(batch) 등) 및/또는 역전파와 같은 기술을 사용하여 모델을 트레이닝하는데 사용될 수 있다. 일단 이러한 모델이 (일반적으로 많은) 수의 학습 예제로 학습되면, 레이블이 지정되지 않은 자유 형식의 자연어 입력에서 의도를 예측하는 출력을 생성하는데 사용될 수 있다.
일부 구현에서, 자동화 어시스턴트(120)는 제3자 애플리케이션과 같은 애플리케이션(에이전트로도 지칭도)과 사용자간의 트랜잭션을 용이하게(또는 "브로커")할 수 있다. 이러한 애플리케이션은 예를 들어 클라우드 기반 자동화 어시스턴트 컴포넌트(119)를 작동하는 것과 별개인 컴퓨팅 시스템에서 작동하거나 작동하지 않을 수 있다. 따라서, 의도 매칭기(136)에 의해 식별될 수 있는 한 종류의 사용자 의도는 제3자 애플리케이션과 같은 애플리케이션에 참여하는 것이다. 예를 들어, 자동화 어시스턴트(120)는 피자 배달 서비스에 대한 애플리케이션 프로그래밍 인터페이스("API")에 대한 액세스를 제공할 수 있다. 사용자는 자동화 어시스턴트(120)를 호출하여 "피자를 주문하고 싶어"와 같은 명령(command)을 제공할 수 있다. 의도 매칭기(136)는 이 문법을 자동화 어시스턴트(120)를 트리거하는 문법(일부 경우 제3자에 의해 데이터베이스(137)에 추가될 수 있음)에 매핑하여 제3자 피자 배달 서비스에 참여할 수 있다. 제3자 피자 배달 서비스는 피자 배달 주문을 이행하기 위해 채워야하는 최소 슬롯 목록을 자동화 어시스턴트(120)에 제공할 수 있다. 자동화 어시스턴트(120)는 슬롯들에 대한 파라미터를 요청하는 자연어 출력을 생성하여 (클라이언트 디바이스(106)를 통해) 사용자에게 제공할 수 있다.
이행 엔진(124)은 의도 매칭기(136)에 의해 출력된 의도뿐만 아니라 임의의 연관된 슬롯값(사용자에 의해 사전에 제공되었거나 사용자에게 요청했는지 여부)을 수신하고 의도를 이행하도록 구성될 수 있다. 다양한 실시 예에서, 사용자의 의도의 이행은 다양한 이행 정보가 예를 들어 이행 엔진(124)에 의해 생성/획득되게 할 수 있다. 후술되는 바와 같이, 이행 정보는 일부 구현에서 자연어 생성기(126)에 제공될 수 있으며, 이는 이행 정보에 기초하여 자연어 출력을 생성할 수 있다.
이행 정보는 의도가 다양한 방식으로 이행될 수 있기 때문에 다양한 형태를 취할 수 있다. 사용자가 " '샤이닝(Shining)'의 야외 촬영은 어디에서 촬영되었지?"와 같은 순수한 정보를 요청한다고 가정해 본다. 사용자의 의도는 예를 들어 의도 매칭기(136)에 의해 검색 질의인 것으로 결정될 수 있다. 그 검색 질의의 의도 및 컨텐츠는 이행 엔진(124)으로 제공될 수 있으며, 이는 도 1에 도시된 바와 같이 응답 정보를 위해 문서 및/또는 다른 데이터 소스(예를 들어, 지식 그래프 등)의 말뭉치를 검색하도록 구성된 하나 이상의 검색 엔진(150)과 통신할 수 있다. 이행 엔진(124)은 검색 질의(예를 들어, 질의의 텍스트, 감소된 차원 임베딩 등)를 나타내는 데이터를 검색 엔진(150)으로 제공할 수 있다. 검색 엔진(150)은 "오리건주, 후드 마운틴, 팀버라인 로지와 같은 응답 정보를 제공할 수 있다. 이 응답 정보는 이행 엔진(124)에 의해 생성된 이행 정보의 일부를 형성할 수 있다.
추가적으로 또는 대안적으로, 이행 엔진(124)은 예를 들어 자연어 이해 엔진(135)으로부터 사용자의 의도 및 사용자에 의해 제공되거나 다른 수단(예를 들어, 사용자의 GPS 좌표, 사용자 선호도 등)을 사용하여 결정된 임의의 스롯값을 수신하고 응답 액션을 트리거하도록 구성될 수 있다. 응답 액션에는 예를 들어 상품/서비스 주문, 작업을 수행하기 위해 대화형 대화에 참여, 타이머 시작, 리마인더 설정, 전화 통화 시작, 미디어 재생, 메시지 보내기 등이 포함될 수 있다. 일부 이러한 구현에서, 이행 정보는 이행과 연관된 슬롯값, 확인 응답(일부 경우 사전 결정된 응답에서 선택될 수 있음) 등을 포함할 수 있다.
전술한 바와 같이, 자연어 생성기(126)는 다양한 소스로부터 획득된 데이터에 기초하여 자연어 출력(예를 들어, 인간의 음성을 모방하도록 설계된 음성 단어/문구)을 생성 및/또는 선택하도록 구성될 수 있다. 일부 구현에서, 자연어 생성기(126)는 입력으로서 이행 엔진(124)에 의한 의도의 이행과 관련된 이행 정보를 수신하고 그 이행 정보에 기초하여 자연어 출력을 생성하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 자연어 생성기(126)는 제3자 애플리케이션(예를 들어, 필수 슬롯)과 같은 다른 소스로부터 정보를 수신할 수 있으며, 이는 사용자를 위한 자연어 출력을 공식화하는데 사용할 수 있다. 더욱이, 본 명세서에 설명된 바와 같이, 사용자에게 출력으로 렌더링하기 위해 제공되는 컨텐츠는 선택적으로 대응하는 가청 컨텐츠와 함께 그래픽 컨텐츠를 포함할 수 있다.
세션 엔진(138)은 제1 클라이언트 디바이스(1061) 또는 제2 클라이언트 디바이스(106N)를 통해 발생하는 활성 자동화 어시스턴트 세션을 식별하도록 구성될 수 있다. 세션 엔진(138)은 활성 세션과 관련된 컨텐츠만이 활성 세션 동안 렌더링되도록 야기할 수 또한, 세션 엔진(138)은 활성 제1 세션 동안 인터럽트 데이터를 수신하는 것에 응답하여, 개별 클라이언트 디바이스가 적어도 일시적으로 제2 세션을 대체하는 제2 세션 동안 대체 컨텐츠를 렌더링하도록 구성될 수 있다. 제2 세션 동안 렌더링되는 대체 컨텐츠는 제1 세션의 컨텐츠와 상이하며, 클라이언트 디바이스가 대체 컨텐츠를 렌더링하도록 하는 것은 클라이언트 디바이스가 제1 세션의 컨텐츠 대신 대체 컨텐츠를 렌더링하게 하는 것을 포함한다.
세션 엔진(138)은 제1 세션 동안 제공되는 컨텐츠 대신에 제공되는 대체 컨텐츠를 요청하는 인스턴스들에 기초하여, 사용자에 의해 제공된 사용자 인터페이스 입력의 일부 인스턴스가 인터럽트 데이터를 구성한다고 결정할 수 있다. 그러한 결정을 내릴 때, 세션 엔진(138)은 음성 입력을 나타내는 출력 및/또는 다른 자연어 입력이 현재 의도에서 새로운 의도로의 변경을 나타내는 출력과 같은 자연어 이해 엔진(135)의 출력에 의존할 수 있다. 인터럽트 데이터인 이러한 음성 입력이 수신될 때, 세션 엔진(138)은 새로운 의도에 응답하고 이행 엔진(124)에 의해 결정된 대체 컨텐츠가 제1 세션을 위해 렌더링되는 컨텐츠를 대체하도록 할 수 있다. 세션 엔진(138)은 제1 세션 동안 제공된 통지를 이용하여 긍정적인 사용자 상호 작용이 인터럽트 데이터임을 추가로 또는 대안적으로 결정할 수 있다. 이러한 긍정적인 사용자 상호 작용이 수신될 때, 세션 엔진(138)은 통지에 대응하는 대체 컨텐츠가 제1 세션을 위해 렌더링되는 컨텐츠를 대체하도록 할 수 있다.
세션 엔진(138)은 제2 세션의 중단시 (1) 이전 제1 세션을 자동으로 재개할지 또는 (2) 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환할지 여부를 결정하도록 추가로 구성될 수 있다. 세션 엔진(138)은 제2 세션의 중단시 인터럽트된 이전 제1 세션의 자동 재개 또는 제1 세션이 자동으로 재개되지 않는 상태로의 전환을 선택적으로 야기하도록 추가로 구성된다. 세션 엔진(138)은 (1) 이전 제1 세션을 자동으로 재개할지 또는 (2) 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환할지 여부의 결정에 기초하여 두 액션 중 하나가 선택적으로 발생되도록할 수 있다. 본 명세서에 설명된 바와 같이, 세션 엔진(138)이 이전 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환하기로 결정한 경우, 대체 상태는 이전 세션이 자동으로 재개되지 않고 완전히 만료되는 대체 상태; 이전 세션이 자동으로 재개되지 않지만 사용자 인터페이스 출력을 통해 재개를 제안하는 대체 상태 또는 이전 세션이 자동으로 재개되지 않고 재개를 제안하지 않지만 명시적인 사용자 요청에 응답하여 재개될 수 있는 대체 상태일 수 있다.
세션 엔진(138)은 본 명세서에 설명된 디스플레이 오프, 엠비언트, 홈 및 세션 상태와 같은, 본 명세서에 설명된 구현에 따라 다양한 상태 사이에서 선택적 전환을 야기하도록 추가로 구성될 수 있다. 예를 들어, 세션 엔진(138)은 인터럽트 세션 상태로부터 이전 세션 상태의 자동 재개로 또는 대안적으로 이전 세션 상태가 자동으로 재개되지 않는 상태로 선택적으로 전환할 수 있다. 더욱이, 세션 엔진(138)이 이전 세션 상태가 자동으로 재개되지 않는 홈 상태로 전환하는 구현에서, 세션 엔진(138)은 본 명세서에 설명된 다양한 고려 사항에 기초하여 홈 상태를 적응시킬지 여부(예를 들어, 이전 세션 상태를 재개하기 위한 상호 작용 엘리먼트를 포함할지 여부)를 선택적으로 결정할 수 있다. 세션 엔진(138)의 이들 및 다른 양태들에 대한 추가 설명이 본 명세서에(예를 들어, 요약에서 그리고 아래의 도 2-8과 관련하여) 설명된다. 세션 엔진(138)이 클라우드 기반 자동화 어시스턴트 컴포넌트(들)(119)의 일부로서 구현되는 것으로 도 1에 도시되어 있지만, 다양한 구현에서 세션 엔진(138)의 전부 또는 일부는 개별 자동화 어시스턴트 클라이언트(118)에 의해 구현될 수 있다.
도 2는 다양한 구현에 따라 예를 들어 세션 엔진(138)에 의해 구현될 수 있는 하나의 예시적인 상태도를 도시한다. 도시된 상태 다이어그램은 5개의 상태인 디스플레이 오프(DISPLAY OFF) 181, 엠비언트(AMBIENT)(183), 홈(HOME)(185), 제1 세션(187) 및 제2 세션(189)을 포함한다. 5개의 상태가 도시되지만 더 적거나 더 많은 상태가 제공될 수 있다. 예를 들어, 본 명세서에 설명된 바와 같이, 제2 세션(189)은 항상 활성 상태가 아니라, 컨텐츠가 제1 세션(187)에서 렌더링되는 동안 수신되는 인터럽트 데이터에 응답하여 온-디맨드(on-demand)로 생성될 수 있다. 또한, 예를 들어, 추가적인 제3 세션 상태는 컨텐츠가 제2 세션(189)에서 렌더링되는 동안 수신되는 추가 인터럽트 데이터에 응답하여 세션 엔진(138)에 의해 온-디맨드로 생성될 수 있다. 이러한 제3 세션 상태가 생성되는 경우, 제3 세션 상태로부터의 전환은 제2 세션으로부터의 전환과 관련하여 본 명세서에 설명된 것과 유사한 방식으로 처리될 수 있다(예를 들어, 제2 세션(189)이 자동으로 재개되거나, 제2 세션(189)이 자동으로 재개되지 않는 대체 상태로 전환될 수 있다).
디스플레이 오프(181)는 디스플레이(111)가 예를 들어 전력을 거의 또는 전혀 사용하지 않는 절전 상태를 유지하는 디폴트 상태일 수 있다. 독립형 멀티-모달 어시스턴트 디바이스(1061)는 근처에 사람 없이 홀로 남아 있는 동안 디스플레이 오프(181)는 현재 상태를 유지할 수 있다. 일부 구현에서, 현재 상태가 디스플레이 오프(181)인 동안, (아직 존재하는 것으로 검출되지 않은) 사용자는 예를 들어, 호출 문구 다음에 특정 요청을 말함으로써 여전히 자동화 어시스턴트 (120)로부터 활동(activity)을 요청할 수 있으며, 이는 현재 상태를 제1 세션(187) 상태로 직접 전환할 수 있다.
일부 구현에서, 한 명 이상의 사람이 근처에서 검출되면(즉, "점유"), 현재 상태는 엠비언트(183) 상태로 전환될 수 있다. 엠비언트(183) 상태에서, 자동화 어시스턴트(120)는 클라이언트 디바이스(1061)의 디스플레이(1111)가 예를 들어 미적 매력에 기초하여 선택될 수 있는 주변 컨텐츠를 렌더링하게 할 수 있다. 예를 들어, 하나 이상의 디지털 이미지 및/또는 풍경 또는 다른 유사한 컨텐츠의 비디오가 시각적으로 디스플레이될 수 있으며, 선택적으로 편안한 자연 소리의 청각적 렌더링이 가능한다. 컨텐츠가 엠비언트(183) 상태에서 렌더링되더라도 엠비언트(183) 상태는 본 명세서에서 사용되는 용어이므로 세션으로 간주되지 않는다. 예를 들어, 엠비언트(183) 상태에서 렌더링된 컨텐츠는 식별되지 않으며 음성 발화 또는 사용자의 통지 수락에 응답하여 렌더링되지 않기 때문에 세션으로 간주되지 않을 수 있다. 일부 구현에서, 점유자가 예를 들어, 적어도 사전 결정된 시간 기간 동안 더 이상 독립형 멀티-모달 어시스턴트 디바이스와 공존하지 않는 것으로 결정되는 경우, 현재 상태는 엠비언트(183)로부터 디스플레이 오프(181)로 다시 전환될 수 있다.
도 2에 나타낸 바와 같이, 일부 구현에서, 현재 상태가 엠비언트(183)인 동안, 사용자는 예를 들어, 호출 문구에 이어서 특정 요청을 말함으로써 여전히 자동화 어시스턴트(120)로부터 활동을 요청할 수 있으며, 이는 현재 상태를 제1 세션(187) 상태로 전환할 수 있다. 다른 구현에서, 엠비언트(183) 상태가 없을 수 있으며, 현재 상태는 사람의 공존(점유)을 검출하는 것에 응답하여 직접 디스플레이 오프(181)로부터 홈(185)으로 전환될 수 있다.
홈(185) 상태에서, 사용자가 자동화 어시스턴트와의 상호 작용을 통해 수행하기 위한 제안된 액션, 현재 시간, 현재 날씨 상태, 사용자 캘린더의 간략한 요약 등과 같은 다양한 그래픽 엘리먼트가 렌더링될 수 있다. 일부 구현에서, 데이터 아이템은 (예를 들어, 디스플레이(111)가 터치 스크린인지 여부에 따라) 대화형일 수도 있고 아닐 수도 있는 카드 또는 타일로 디스플레이될 수 있다. 데이터 아이템은 데이터 아이템에 (자동 또는 수동으로) 할당된 우선 순위, 공존하는 사람의 신원(결정된 경우), 하루 중 시간, 연중 시간 등과 같은 다양한 기준에 기초하여 순위가 매겨질 수 있다. 데이터 아이템이 카드로, 예를 들어 스택으로 제시되는 경우, 순위는 예를 들어, 상위 카드가 가장 높은 우선 순위를 갖는 것으로 반영될 수 있고, 밑의 카드들은 상대적으로 낮은 우선 순위를 갖는다. 데이터 아이템이 타일로 제시되는 경우, 예를 들어, 디스플레이(111)의 일부를 차지하는 경우, 순위는 예를 들어 타일의 배치(예를 들어, 왼쪽 상단 또는 오른쪽 상단이 가장 높은 우선 순위일 수 있음) 및/또는 타일의 크기(예를 들어, 타일이 클수록 우선 순위가 높음)에 반영될 수 있다. 본 명세서에 상세히 설명된 바와 같이, 다양한 구현에서, 지속형 컨텐츠를 포함하는 세션이 완료되기 전에 홈(185) 상태가 전환되는 경우, 데이터 아이템은 세션을 재개하기 위해 선택될 수 있는 선택 가능한 그래픽 엘리먼트를 선택적으로 포함한다. 컨텐츠가 홈(185) 상태에서 렌더링되지만, 홈(185) 상태는 본 명세서에서 사용되는 용어이므로 세션으로 간주되지 않는다. 예를 들어, 홈(185) 상태에서 렌더링된 컨텐츠가 식별되지 않으며 음성 발화 또는 사용자의 통지 수락에 응답하여 렌더링되지 않기 때문에 세션으로 간주되지 않을 수 있다.
홈(185) 상태에 있는 동안, 사용자가 예를 들어 타일 또는 카드를 탭함으로써 데이터 아이템을 나타내는 하나 이상의 그래픽 엘리먼트에 참여하면, 현재 상태는 제1 세션(187) 상태로 전환되어 사용자에 의해 상호 작용하는 그래픽 엘리먼트(들)에 응답하는 컨텐츠를 렌더링할 수 있다. 예를 들어, 그래픽 엘리먼트 중 하나가 사용자의 관심을 끌 수 있는 뮤직 비디오에 대한 제안인 경우, 제1 세션(187) 상태는 뮤직 비디오에 대한 가청 및 그래픽 컨텐츠가 렌더링되도록 할 수 있다. 마찬가지로, 사용자가 자동화 어시스턴트(120)에게 음성 요청(예를 들어, "오케이, 어시스턴트, …무엇이지 ?")을 말하면, 현재 상태는 제1 세션(187) 상태로 전환되어 음성 요청에 응답하는 컨텐츠를 렌더링할 수 있다. 일부 구현에서, 공존하는 사용자가 적어도 사전 결정된 시간 간격(즉, 타임아웃) 동안 디스플레이(111) 상에 렌더링된 데이터 아이템들과 상호 작용하지 않거나 자동화 어시스턴트(120)와 음성적으로 참여하지 않는 경우, 현재 상태는 홈(185)에서 엠비언트(183)로 다시 전환되거나 또는 엠비언트(183) 상태가 없는 경우 디스플레이 오프(181)로 전헌될 수 있다. 홈(185) 상태에서 엠비언트(183)(또는 디스플레이 오프(181)) 상태로의 전환을 트리거할 수 있는 다른 이벤트는 사용자의 특정 요청(예를 들어, 디스플레이상의 종료 버튼 탭핑), 엠비언트(183) 등으로 다시 전환하려는 공존 사용자의 의도를 시그널링할 수 백(back) 제스처(예를 들어, 카메라 또는 기타 센서 앞에서 손 흔들기)를 포함하지만 이에 한정되지 않는다.
제1 세션(187)에서 요청된 활동 또는 작업과 관련된 컨텐츠는 디스플레이(111)에서 전적으로 렌더링될 수 있고 선택적으로 스피커(들)(191)를 통해 전적으로 렌더링될 수 있다. 예를 들어, 공존 사용자가 스마트 디바이스 설치를 안내하기 위해 음성 요청을 말한다고 가정한다. 이에 응답하여, 전체 디스플레이(111) 및 스피커(들)(191)는 스마트 디바이스 설치 프로세스를 통해 사용자를 안내하기 위해 다수의 대화 턴 상호 작용에 전념할 수 있다. 다른 예로, 공존 사용자가 유명인에 관한 정보에 대한 음성 요청을 말한다고 가정한다. 일부 구현에서,응답 컨텐츠는 자동화 어시스턴트(120)에 의해 출력되고 및/또는 디스플레이(111)에 렌더링되는 자연어 출력으로서 스피커들(109)을 통해 음성으로 제공될 수 있다. 일부 구현에서, 자동화 어시스턴트(120)가 응답 컨텐츠를 청각적으로 제공하는 동안 사용자의 요청에 응답하는 다른 컨텐츠(그러나 사용자에 의해 특별히 요청되지는 않음)가 디스플레이될 수 있다. 예를 들어, 사용자가 유명인의 생일을 요청하는 경우, 유명인의 생일이 청각적으로 출력될 수 있는 반면 유명인에 관한 다른 정보(예를 들어, 유명인이 출연한 영화 시간, 유명인의 사진을 보여주는 딥링크)는 디스플레이(111)에 렌더링될 수 있다.
현재 상태는 제1 세션(187)의 중단에 응답하여 제1 세션(187) 상태에서 다시 홈(185) 상태(또는 심지어 엠비언트(183) 또는 디스플레이 OFF(181))로 전환될 수 있다. 제1 세션 187의 중단은 제1 세션 상태(187)의 지속형 컨텐츠의 렌더링 완료(예를 들어, 뮤직 비디오 재생 완료), 일시형 컨텐츠 렌더링 완료 및 선택적으로 그 완료 후 타임 아웃 이후에 발생할 수 있다. 다른 이벤트는 중단 이벤트로 간주될 수 있지만, 사용자가 제1 세션(187)을 취소하기 위한 명시적인 입력(예를 들어, "stop" 음성 발화, "back" 터치 입력, "X" 또는 다른 취소 대화형 그래픽 엘리먼트ㅇ에 대한 터치 입력) 또는 홈(185) 상태로 돌아가기 위한 특정 요청 등과 같은 제1 세션(187)의 완료를 구성하지 않는다.
일부 구현에서, 홈(185) 상태로의 전환을 야기하는 중단이 있을 때 제1 세션(187)의 활동 및/또는 작업이 완료되지 않을 수 있고 및/또는 열려(예를 들어, 명시적으로 취소되지 않음)있을 수 있다. 예를 들어, 사용자는 렌더링 도중에 노래 나 비디오를 일시 중지할 수 있다. 다른 예로, 사용자는 활동 파라미터로 채워져야 하는 다수의 슬롯이 필요한 작업을 요청하기 시작할 수 있지만 필요한 모든 슬롯을 채우지 못할 수 있다. 예를 들어, 사용자는 피자 주문을 시작할 수 있지만 중단하고 방을 떠나 다른 사람에게 그들이 원하는 토핑을 묻거나 다른 사람에게 결재 정보를 요청할 수 있다. 이러한 구현 중 일부에서, 불완전한 제1 세션(187)을 나타내는 홈 상태(185)의 디스플레이(111)상에 새로운 타일 또는 카드가 렌더링될 수 있다. 일부 경우, 이 새로운 타일 또는 카드는 제1 세션(187)을 계속하기 위해 사용자에 의해 탭될 수 있다. 많은 구현에서, 이 새로운 타일 또는 카드는 지속형 작업으로 분류된 불완전한 작업에 대해서만 생성될 수 있다(반면에 일시형 작업으로 분류되는 불완전한 작업에 대해서는 타일이나 카드가 생성되지 않음).
도 2에 도시된 바와 같이, 현재 상태는 인터럽트 데이터를 수신하는 것에 응답하여 제1 세션(187) 상태에서 제2 세션(189) 상태로 천이될 수 있다. 이것은 제1 세션(187)이 여전히 활성이고 제1 세션(187)에 대한 컨텐츠가 디스플레이(111) 및/또는 스피커(들)(109)를 통해 전적으로 렌더링되는 동안 발생할 수 있다. 본 명세서에 기술된 바와 같이, 인터럽트 데이터는 음성 발화가 제1 세션(187) 동안 제공되는 컨텐츠 대신 대체 컨텐츠 제공을 요청하는 경우, 사용자에 의해 제공되는 음성 발화일 수 있다. 인터럽트 데이터는 추가적으로 또는 대안적으로 제1 세션(187) 동안 제공된 통지와 함께 긍정적인 사용자 상호 작용일 수 있다. 인터럽트 데이터와 관계없이, 인터럽트 데이터의 수신은 인터럽트 데이터에 해당하는 대체 컨텐츠가 제1 세션(187) 상태 동안 렌더링되는 컨텐츠를 대체하는 제2 세션(189) 상태로 전환된다.
제2 세션(189)의 중단이 발생하면, 제1 세션(187)의 컨텐츠 렌더링이 자동으로 재개되는 제1 세션(187); 또는 제1 세션(187) 상태의 컨텐츠 렌더링이 자동으로 재개되지 않는 홈(185) 상태 또는 엠비언트(183) 상태 중 하나로 전환된다. 본 명세서에 설명되는 바와 같이, 제1 세션(187) 상태로의 전환이 발생해야 하는지 여부 또는 홈(185) 또는 엠비언트(183) 상태로의 전환이 발생해야 하는지 여부는 제1 세션(187) 및/또는 제2 세션(189)의 하나 이상의 속성(properties)에 기초하여 동적으로 결정될 수 있다. 이러한 속성은 예를 들어, 제1 세션(187)이 지속형 또는 일시형 컨텐츠를 렌더링하는지 여부 및/또는 제2 세션이 지속형 또는 일시형 컨텐츠를 렌더링하는지 여부를 포함할 수 있다. 홈(185) 상태로의 전환이 발생하고 제1 세션(187) 상태가 지속형 컨텐츠를 렌더링하는 상황에서, 선택 가능한 타일, 카드 또는 다른 그래픽 엘리먼트는 선택적으로 홈(185) 상태에서 렌더링되도록 할 수 있는데, 여기서 선택은 제1 세션(187) 상태로 다시 전환되도록 하고, 그런 다음 제1 세션(187)이 재개된다.
제2 세션(189) 상태의 중단은 제2 세션(189)의 지속형 컨텐츠의 렌더링 완료(예를 들어, 비디오 재생 완료) 또는 일시형 컨텐츠의 렌더링 완료에 응답하여 그리고 선택적으로 그 완료 후 타임 아웃 이후에 발생할 수 있다. 다른 이벤트는 제2 세션(189)에 대한 중단 이벤트로 간주될 수 있지만, 제2 세션(189)를 취소하기위한 사용자의 명시적인 입력(예를 들어, "stop" 음성 발화, "back" 터치 입력, "X" 또는 다른 취소 대화형 그래픽 엘리먼트에 대한 터치 입력)과 같이 제2 세션(189)의 완료를 구성하지 않는다. 많은 상황에서, 제2 세션(189)의 중단은 사용자가 제1 세션(187)으로 리턴하기를 원하는지 여부를 직접 나타내는 사용자 입력없이 발생한다. 따라서, 본 명세서에 설명된 구현은 이러한 상황을 해결하고 선택적으로, 동적으로 그리고 상황에 맞는 방식으로, 제2 세션(189)의 중단시 제1 세션(187)으로 리턴하여 자동으로 재개할지 여부를 결정할 수 있다.
도 3은 본 명세서에 개시된 구현에 따른 예시적인 방법(300)을 도시하는 흐름도이다. 편의상, 흐름도의 동작들은 그 동작들을 수행하는 시스템을 참조하여 설명된다. 이 시스템은 자동화 어시스턴트(120)를 구현하는 컴퓨팅 시스템의 하나 이상의 컴포넌트와 같은 다양한 컴퓨터 시스템의 다양한 컴포넌트를 포함할 수 있다. 더욱이, 방법(300)의 동작들이 특정 순서로 도시되지만, 이것은 제한하는 것을 의미하지 않는다. 하나 이상의 동작은 재정렬, 생략 또는 추가될 수 있다.
블록(302)에서, 시스템은 어시스턴트 디바이스에서 사용자 인터페이스 입력에 응답하는 컨텐츠를 식별한다. 예를 들어, 사용자 인터페이스 입력은 음성 발화 일 수 있으며, 시스템은 음성 발화에 응답하는 컨텐츠를 식별할 수 있다. 예를 들어, "비디오(X) 재생"에 응답하여 "비디오 X"에 해당하는 비디오를 식별할 수 있다. 다른 예로서, 사용자 인터페이스 입력은 어시스턴트 디바이스의 터치 감지 디스플레이에서 렌더링된 그래픽 엘리먼트와의 터치 상호 작용일 수 있고, 응답 컨텐츠는 그래픽 엘리먼트에 응답적일 수 있다. 예를 들어, 그래픽 엘리먼트는 그 그래픽 엘리먼트와의 상호 작용에 응답하여 식별된 "비디오 X" 및 "비디오 X"에 대한 추천일 수 다.
블록(304)에서, 시스템은 제1 세션(304) 동안 컨텐츠를 렌더링한다. 시스템은 어시스턴트 디바이스의 디스플레이 및/또는 스피커(들)와 같은 어시스턴트 디바이스의 사용자 인터페이스 출력 디바이스를 통해 컨텐츠를 렌더링할 수 있다. 다양한 구현에서, 시스템은 컨텐츠를 전적으로 렌더링한다. 즉, 시스템은 제1 세션과 관련이 없는 임의의 컨텐츠를 렌더링하지 않고 컨텐츠를 렌더링한다(사용자가 통지를 긍정적으로 수락할 수 있도록 잠시(선택적으로 제1 세션의 컨텐츠를 일시 중지하는 동안) 렌더링될 수 있는 수신 알림과 관련된 컨텐츠가 없음). 제1 세션(304) 동안 컨텐츠의 렌더링은 하나 이상의 대화 턴에 걸쳐 및/또는 긴 시간 기간에 걸쳐 발생할 수 있다.
제1 세션 동안 컨텐츠를 렌더링하는 중에, 시스템은 블록(306)에서 제1 세션의 중단을 모니터링한다. 만약 블록(306)에서 제1 세션의 중단이 있는 경우, 시스템은 블록(316)으로 진행하여 본 명세서에 설명된 바와 같이 어시스턴트 디바이스의 디스플레이를 홈 디스플레이 또는 엠비언트 디스플레이로 전환할 수 있다. 디스플레이가 홈 디스플레이이고 블록(306)에서 검출된 제1 세션의 중단이 완료가 아니고 취소도 아닌 경우, 블록(316)은 제1 세션에 대한 재개 제안이 홈 디스플레이에 렌더링되는 선택적 블록(317)의 반복을 포함할 수 있다. 예를 들어, "일시 중지"라고 말하는 사용자 및 타임 아웃 발생에 응답하여 중단이 블록(306)에서 검출되는 경우, 선택 가능한 그래픽 엘리먼트가 홈 디스플레이에 렌더링될 수 있으며, 선택되면 제1 세션의 재개 및 블록(304, 306 및 308)의 지속적인 수행을 야기한다.
블록(306)에서 제1 세션의 중단이 없으면, 시스템은 블록(308)으로 진행하여 인터럽트 데이터가 수신되었는지 여부를 결정할 수 있다. 도 3에 직렬로 도시되어 있지만, 다양한 구현에서 블록(306)과 블록(308)은 수신되는 대응하는 입력에 응답하여 병렬로 및/또는 "요청시(on demand)" 수행될 수 있다는 점에 유의한다. 또한, 블록(304, 306 및 308)은 모두 병렬로 수행될 수 있다. 예를 들어, 블록(304)은 블록(306 및 308)이 백그라운드에서 실행되는 동안 연속적으로 수행될 수 있다. 블록(308)에서 인터럽트 데이터가 수신되지 않으면, 시스템은 블록(304)으로 돌아가고 제1 세션(304) 동안 컨텐츠의 렌더링이 (예를 들어, 어떠한 인터럽트없이) 계속된다.
블록(308)의 반복에서 인터럽트 데이터가 수신되면, 시스템은 블록(310)으로 진행하여 제1 세션을 대체하는 제2 세션에서 대체 컨텐츠를 렌더링한다. 대체 컨텐츠는 인터럽트 데이터에 응답적일 수 있다. 예를 들어, 대체 컨텐츠는 인터럽트 데이터와 관련된 음성 발화에 응답할 수 있거나 인터럽트 데이터와 관련된 통지에 응답할 수 있다. 다양한 구현에서, 시스템은 블록(310)에서 전적으로 대체 컨텐츠를 렌더링한다. 즉, 시스템은 제2 세션과 관련이 없는 임의의 컨텐츠를 렌더링한다(사용자가 통지를 긍정적으로 수락할 수 있도록 잠시(선택적으로 제1 세션의 컨텐츠를 일시 중지하는 동안) 렌더링될 수 있는 수신 알림과 관련된 컨텐츠가 없음). 제2 세션(310) 동안 대체 컨텐츠의 렌더링은 하나 이상의 대화 턴에 걸쳐 및/또는 긴 시간 기간에 걸쳐 발생할 수 있다.
블록(310)의 일부 구현에서, 제2 세션에서 대체 컨텐츠 렌더링은 대체 컨텐츠에 대한 적어도 하나의 요구된 출력 방식(출력 모달리티)(예를 들어, 청각적 및/또는 시각적)이 제1 세션에서 제1 컨텐츠를 렌더링하는데 사용되는 적어도 하나의 출력 방식과 충돌한다는 결정에 응답하여 제1 세션을 대체할 수 있다. 이러한 일부 구현에서, 방식들이 충돌하지 않는 경우(예를 들어, 대체 컨텐츠와 제1 컨텐츠 중 하나는 단지 청각적이고 대체 컨텐츠와 제1 컨텐츠 중 다른 하나는 단지 시각적임), 블록(314)은 제1 세션과 제2 세션이 상이한 출력 방식을 통해 동시에 발생할 수 있기 때문에 제1 세션이 중단되지 않으므로 스킵될 수 있다.
제2 세션 동안 대체 컨텐츠를 렌더링하는 동안, 시스템은 블록(312)에서 제2 세션의 중단을 모니터링한다. 제2 세션의 중단이 블록(312)의 반복에서 검출될 때, 시스템은 블록(314)으로 진행하여 제1 세션을 재개할지 여부를 결정한다.
만약 시스템이 블록(314)에서 제1 세션을 재개하기로 결정하면, 시스템은 블록(304)으로 돌아가서, 블록(308)에서 검출된 인터럽트 데이터를 갖는 상태에 대응하는 제1 세션의 상태로부터 선택적으로, 제1 세션 동안 컨텐츠의 렌더링을 자동으로 재개한다.
시스템이 블록(314)에서 제1 세션을 재개하지 않기로 결정하면, 시스템은 블록(316)으로 진행하여 본 명세서에 설명된 바와 같이 어시스턴트 디바이스의 디스플레이를 홈 디스플레이 또는 엠비언트 디스플레이로 전환한다. 디스플레이가 홈 디스플레이인 경우, 블록(316)은 제1 세션에 대한 재개 제안 및/또는 제2 세션에 대한 재개 제안이 홈 디스플레이에 렌더링되는 선택적 블록(317)의 반복을 포함할 수 있다. 예를 들어, 제1 세션이 지속형 컨텐츠를 포함하는 경우, 선택 가능한 그래픽 엘리먼트가 홈 디스플레이에 렌더링될 수 있으며, 선택되면 제1 세션의 재개 및 블록(304, 306 및 308)의 지속적인 수행이 야기된다. 또한 예를 들어 제2 세션이 지속형 컨텐츠를 포함하는 경우, 블록(312)의 제2 세션 중단은 완료 또는 취소가 아니며, 선택 가능한 그래픽 엘리먼트가 홈 디스플레이에 렌더링될 수 있으며, 선택되면 제2 세션의 재개를 야기한다.
다양한 구현에서, 블록(314)에서 제1 세션을 재개할지 여부를 결정하는 것은 제1 세션의 컨텐츠가 지속형 또는 일시형 컨텐츠인지 및/또는 제2 세션의 대체 컨텐츠가 지속형 또는 일시형 컨텐츠인지 여부와 같은 제1 세션의 하나 이상의 속성 및/또는 제2 세션의 하나 이상의 속성에 적어도 부분적으로 기초할 수 있다. 도 3에 직렬로 도시되어 있지만, 다양한 구현에서 블록(310, 312, 314)이 병렬로 수행될 수 있다는 점에 유의한다. 예를 들어, 블록(310)은 블록(312)이 백그라운드에서 계속 실행되는 동안 연속적으로 수행될 수 있고, 블록(314)의 결정은 블록(312)이 발생하기 전에 한 번의 반복에서 선제적으로 결정될 수 있다.
도 4는 제1 세션 동안 제1 컨텐츠(491)를 렌더링하고, 제1 세션 동안 제1 컨텐츠를 렌더링하는 동안 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠(493)를 렌더링하고, 제2 세션의 중단시 제1 세션을 자동으로 재개하는 예를 도시한다.
도 4에서, 맨 위의 제1 클라이언트 디바이스(1061)로 표현된 바와 같이, 제1 컨텐츠(491)는 자동화 어시스턴트(120)가 스마트 온조 조절기의 배선을 용이하게 하도록 하는 사용자 요청에 응답하여 제1 클라이언트 디바이스(1061)의 디스플레이에 렌더링될 수 있다. 제1 컨텐츠(491)는 이러한 사용자 요청에 대해 제1 세션 동안 렌더링되는 제1 컨텐츠의 일부만을 나타내고, 제1 세션의 다수의 대화 턴 중 하나 동안 렌더링된다. 도시되지는 않았지만, 제1 세션의 대응하는 가청 컨텐츠는 또한 제1 클라이언트 디바이스(1061)의 스피커에 의해 렌더링될 수 있다는 점에 유의한다. 제1 세션의 중단 이전 및 제1 컨텐츠(491)가 렌더링되는 동안, 사용자는 "오늘 날씨 예보는 어때"와 같은 음성 발화(492)를 제공한다. 이러한 음성 발화(492)는 제1 세션과 관련이 없는 대체 컨텐츠에 대한 요청이므로 인터럽트 데이터를 구성한다.
음성 발화에 응답하여, 중간의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 자동화 어시스턴트는 제2 세션에서 제1 컨텐츠(491)의 렌더링이 대체 컨텐츠(493)로 대체되게 한다. 대체 컨텐츠(493)는 음성 발화(492)에 응답하고, 제1 컨텐츠(491)를 대체하고, 디스플레이에 의해 전적으로 렌더링된다. 다양한 구현에서, 제2 세션의 가청 대체 컨텐츠는 또한 제1 클라이언트 디바이스(1061)의 스피커에 의해 렌더링될 수 있다는 점에 유의한다.
제2 세션이 중단되고 맨 아래의 제1 클라이언트 디바이스(1061)에 의해 표시되는 바와 같이, 제1 세션이 자동으로 재개된다. 제2 세션의 중단은 예를 들어, 타임 아웃에 응답하여 또는 사용자 인터페이스 입력을 통해 완료를 나타내는 사용자에 응답하여 발생할 수 있다(예를 들어, "완료"라고 말하기, "백" 스와이프 등). 일부 구현에서, 제1 세션은 지속형 컨텐츠로 분류되는 제1 세션의 제1 컨텐츠(491) 및 일시형 컨텐츠로 분류되는 제2 세션의 제2 컨텐츠(493)에 적어도 부분적으로 기초하여 자동으로 재개될 수 있다.
도 5는 제1 세션 동안 제1 컨텐츠(591)를 렌더링하고, 제1 세션 동안 제1 컨텐츠를 렌더링 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠(592)를 렌더링하고, 제2 세션의 종단시, 제1 세션이 재개를 위해 제안되지만 자동으로 재개되지 않는 대체 상태(595)로 전환하는 예를 도시한다.
도 5에서, 맨 위의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 제1 컨텐츠(591)는 자동화 어시스턴트(120)가 스마트 온도 조절기의 배선을 용이하게 하도록 하는 사용자 요청에 응답하여 제1 클라이언트 디바이스(1061)의 디스플레이에 렌더링될 수 있다. 제1 컨텐츠(591)는 도 4의 제1 컨텐츠(491)와 유사할 수 있다. 제1 세션의 중단 전에 그리고 제1 컨텐츠(591)가 렌더링되는 동안, 사용자는 "민트 줄렙을 만들기 위한 비디오를 보여줘"라는 음성 발화(592)를 제공한다. 이러한 음성 발화(592)는 제1 세션과 관련이 없는 대체 컨텐츠에 대한 요청이므로 인터럽트 데이터를 구성한다.
음성 발화에 응답하여, 중간의 제1 클라이언트 디바이스(1061)에 의해 표현되는 바와 같이, 자동화 어시스턴트는 제1 컨텐츠(591)의 렌더링이 제2 세션에서 대체 컨텐츠(593)로 대체되도록 한다. 대체 컨텐츠(593)는 음성 발화(592)에 응답하고, 제1 컨텐츠(591)를 대체하고, 디스플레이에 의해 전적으로 렌더링된다. 도 5의 예에서, 대체 컨텐츠(593)는 민트 줄렙 제작과 관련된 지속형 비디오이며, 인터럽트 데이터를 구성하는 음성 발화(592)에 응답하여 자동으로 재생된다.
제2 세션의 중단시 맨 아래의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 제1 세션은 자동으로 재개되지 않는다. 대신, 클라이언트 디바이스(1061)의 디스플레이는 그래픽 엘리먼트(591)를 통해 재개를 위해 제1 세션이 제안되지만 자동으로 재개되지 않는 대안적인 "홈" 상태(595)로 전환된다. 터치 입력을 통해 선택한 경우 그래픽 엘리먼트(5951)는 제1 세션이 재개되도록 할 수 있다. 일부 구현에서, 제1 세션은 지속형 컨텐츠로 분류되는 제2 세션의 대체 컨텐츠 (593)에 적어도 부분적으로 기초하여 자동으로 재개되지 않을 수 있다. 일부 구현에서, 그래픽 엘리먼트(591)는 지속형 컨텐츠로 분류되는 제1 세션의 제1 세션 컨텐츠(591)에 적어도 부분적으로 기초하여 제공될 수 있다. 홈 상태(595)에서, 사용자에 맞춰진 다가오는(upcoming) 이벤트 및 지역 날씨 예보를 각각 디스플레이하는 다른 그래픽 엘리먼트(5952 및 5953)가 또한 제공된다는 점에 유의한다.
도 6은 제1 세션 동안 제1 컨텐츠(691)를 렌더링하고, 제1 세션 동안 제1 컨텐츠를 렌더링하는 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠(692)를 렌더링하고, 제2 세션의 중단시 제1 세션을 자동으로 재개하는 다른 예를 도시한다. .
도 6에서, 맨 위의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 제1 컨텐츠(691)는 자동화 어시스턴트(120)가 스마트 온도 조절기의 배선을 용이하게 하도록 하는 사용자 요청에 응답하여 제1 클라이언트 디바이스(1061)의 디스플레이 상에 렌더링될 수 있다. 제1 컨텐츠(691)는 도 4의 제1 컨텐츠(491)와 유사할 수 있다. 제1 세션의 중단 전에 그리고 제1 컨텐츠(691)가 렌더링되는 동안, 사용자는 "접지선과 중성선(neutral)을 구별하기 위한 비디오를 보여줘"의 음성 발화(692)를 제공한다. 이러한 음성 발화(692)는 제1 세션과 관련이 없는 대체 컨텐츠에 대한 요청이므로 인터럽트 데이터를 구성한다. 예를 들어, 제1 세션에서 제1 컨텐츠의 프리젠테이션을 계속하는 것이 아니라 제1 컨텐츠에 포함되지 않은 대체 컨텐츠에 대한 요청을 구성한다.
음성 발화에 응답하여, 중간의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 자동화 어시스턴트는 제1 컨텐츠(691)의 렌더링이 제2 세션에서 대체 컨텐츠(693)로 대체되도록 한다. 대체 컨텐츠(693)는 음성 발화(692)에 응답하고, 제1 컨텐츠(691)를 대체하고, 디스플레이에 의해 전적으로 렌더링된다. 도 6의 예에서, 대체 컨텐츠(693)는 접지선과 중성선을 구별하는 것과 관련된 지속형 비디오이며, 인터럽트 데이터를 구성하는 음성 발화(692)에 응답하여 자동으로 재생된다.
제2 세션의 중단시, 맨 아래의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 제1 세션이 자동으로 재개된다. 도 6의 예에서, 제2 세션의 대체 컨텐츠가 지속형 컨텐츠로 분류되었음에도 불구하고 제1 세션은 자동으로 재개된다. 일부 구현에서, 제2 세션의 대체 컨텐츠가 지속형 컨텐츠로 분류될 때, 하나 이상의 다른 조건이 존재하지 않는 한 제1 세션은 자동으로 재개되지 않는다. 이러한 추가 조건은 도 6의 예에서 제시된다. 즉, 추가 조건은 이전 제1 세션의 컨텐츠가 "전기 배선" 엔티티 및/또는 더 세분화된 "접지선" 및/또는 "중성선" 엔티티와 같은 하나 이상의 엔티티를 구현하고 그리고 제1 세션의 엔티티와 제2 세션의 대체 컨텐츠간에 정의된 관계가 존재한다고 결정하는 것일 수 있다. 예를 들어, 관계는 제2 세션의 비디오가 "전기 배선" 개체 및/또는 보다 세분화된 "접지선" 및/또는 "중성선" 개체도 구현한다는 것일 수 있다. 이러한 엔티티가 제1 세션의 제1 컨텐츠 및/또는 제2 세션의 대체 컨텐츠에 의해 구현되는지 결정하는 것은 용어, 제목 및/또는 컨텐츠 및 대체 컨텐츠의 다른 속성에 기초할 수 있으며, 선택적으로 위에 설명된 지식 그래프와 같은 지식 그래프에 대한 참조에 기초할 수 있다. 예를 들어, 자연어 프로세서(122)(도 1)의 엔티티 태거는 제1 컨텐츠 및 대체 컨텐츠와 연관된 텍스트에 기초하여 이러한 엔티티를 태깅할 수 있다.
도 7은 제1 세션 동안 제1 컨텐츠(791)를 렌더링하고, 제1 세션 동안 제1 컨텐츠를 렌더링 중에 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠(793)를 렌더링하고, 제2 세션의 중단시 제1 세션이 자동으로 재개되지 않고 재개가 제안되지 않는 대체 상태로 전환되는 예를 도시한다.
도 7에서, 맨 위의 제1 클라이언트 디바이스(1061)로 표현된 바와 같이, 제1 컨텐츠(791)는 "엠파이어 스테이트 빌딩의 높이가 얼마지"라는 사용자 음성 발화에 응답하여 제1 클라이언트 디바이스(1061)의 디스플레이에 렌더링될 수 있다. 제1 컨텐츠(791)는 일시형 컨텐츠이고, 제1 세션 동안 렌더링되는 제1 컨텐츠의 전체를 나타낸다(선택적으로 동시에 렌더링될 수 있는 대응하는 오디오 컨텐츠가 없음). 제1 세션의 중단 전에 그리고 제1 컨텐츠(791)가 렌더링되는 동안, 사용자는 "오늘 날씨 예보는 어때"라는 음성 발화(792)를 제공한다. 이러한 음성 발화(792)는 제1 세션과 관련이 없는 대체 컨텐츠에 대한 요청이므로 인터럽트 데이터를 구성한다.
음성 발화에 응답하여, 중간의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 자동화 어시스턴트는 제2 세션에서 제1 컨텐츠(791)의 렌더링이 대체 컨텐츠(793)로 대체되도록 한다. 대체 컨텐츠(793)는 음성 발화(792)에 응답하고, 제1 컨텐츠(791)를 대체하고, 디스플레이에 의해 전적으로 렌더링된다.
제2 세션의 중단시, 맨 아래의 제1 클라이언트 디바이스(1061)로 표시되는 바와 같이, 제1 세션은 자동으로 재개되지 않는다. 대신, 클라이언트 디바이스 (1061)의 디스플레이는 제1 세션이 자동으로 재개되지 않고 임의의 그래픽 엘리먼트를 통한 재개를 제안하지 않는 대안적인 "홈" 상태(795)로 전환된다. 일부 구현에서, 제1 세션은 자동으로 재개되지 않을 수 있고 일시형 컨텐츠로서 분류되는 제1 세션의 제1 세션 컨텐츠(791)에 적어도 부분적으로 기초하여 재개를 제안하지 않을 수 있다. 홈 상태(795)에서, 사용자에게 맞춰진 수신 이벤트 및 지역 날씨 예보를 각각 디스플레이하는 그래픽 엘리먼트(7951 및 7952)가 제공된다는 점에 유의한다.
도 8은 제1 세션 동안 제1 컨텐츠(891)를 렌더링하고, 제1 세션 동안 제1 컨텐츠를 렌더링하는 동안 인터럽트 데이터를 수신하는 것에 응답하여 제2 세션 동안 대체 컨텐츠(893)를 렌더링하고, 제2 세션의 중단시 제1 세션을 자동으로 재개하는 다른 예를 도시한다. 제2 세션이 끝나면.
도 8에서, 맨 위의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 제1 컨텐츠(891)는 자동화 어시스턴트(120)가 스마트 온도 조절기의 배선을 용이하게 하도록 하는 사용자 요청에 응답하여 제1 클라이언트 디바이스(1061)의 디스플레이상에 렌더링될 수 있다. 제1 세션의 중단 전에 그리고 제1 컨텐츠(891)가 렌더링되는 동안, 통지(897)가 제1 세션 동안 제1 컨텐츠(891) 위에 일시적으로 렌더링된다. 통지(897)는 사용 가능한 스포츠 스코어 업데이트를 사용자에게 알린다. 도 4에 표시된 바와 같이. 사용자는 인터럽트 데이터를 구성하는 통지(897)을 "탭"한다.
인터럽트 데이터에 응답하여 중간 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 자동화 어시스턴트는 제2 세션에서 제1 컨텐츠(891)의 렌더링이 대체 컨텐츠(893)로 대체되게 한다. 대체 컨텐츠(893)는 통지(897)에 응답하고 통지의 스포츠 스코어 업데이트와 관련된 추가적인 시각적 및 선택적 컨텐츠를 포함한다. 대체 컨텐츠(893)는 제1 컨텐츠(891)를 대체하고 디스플레이에서 전적으로 렌더링된다.
제2 세션의 중단시, 맨 아래의 제1 클라이언트 디바이스(1061)에 의해 표현된 바와 같이, 제1 세션이 자동으로 재개된다. 제2 세션의 중단은 예를 들어, 타임 아웃에 응답하여, 사용자 인터페이스 입력(예를 들어, "완료" 말하기, "백" 스와이프)을 통해 완료를 나타내는 사용자에 응답하여 발생할 수 있다. 일부 구현에서, 제1 세션은 지속형 컨텐츠로 분류되는 제1 세션의 제1 컨텐츠(891) 및 일시적 컨텐츠로 분류되는 제2 세션의 제2 컨텐츠(893)에 적어도 부분적으로 기초하여 자동으로 재개될 수 있다.
도 9는 본 명세서에 설명된 기술의 하나 이상의 양태를 수행하기 위해 선택적으로 이용될 수 있는 예시적인 컴퓨팅 디바이스(910)의 블록도이다. 일부 구현에서, 클라이언트 컴퓨팅 디바이스, 사용자 제어 자원 엔진(130) 및/또는 다른 컴포넌트(들) 중 하나 이상은 예시적인 컴퓨팅 디바이스(910)의 하나 이상의 컴포넌트를 포함할 수 있다.
컴퓨팅 디바이스(910)는 일반적으로 버스 서브 시스템(912)을 통해 다수의 주변 디바이스와 통신하는 적어도 하나의 프로세서(914)를 포함한다. 이러한 주변 디바이스는 예를 들어 메모리 서브 시스템(925) 및 파일 저장 서브 시스템(926), 사용자 인터페이스 출력 디바이스(920), 사용자 인터페이스 입력 디바이스(922) 및 네트워크 인터페이스 서브 시스템(916)을 포함하는 저장 서브 시스템(924)을 포함할 수 있다. 입력 및 출력 디바이스는 컴퓨팅 디바이스(910)와 사용자 상호 작용을 허용한다. 네트워크 인터페이스 서브 시스템(916)은 외부 네트워크에 대한 인터페이스를 제공하고 다른 컴퓨팅 디바이스의 대응하는 인터페이스 디바이스에 연결된다.
사용자 인터페이스 입력 디바이스(922)는 키보드, 포인팅 디바이스(예를 들어, 마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿), 스캐너, 디스플레이에 통합된 터치 스크린, 음성 인식 시스템과 같은 오디오 입력 디바이스, 마이크 및/또는 다른 유형의 입력 디바이스를 포함할 수 있다. 일반적으로, "입력 디바이스"라는 용어의 사용은 모든 가능한 유형의 디바이스 및 컴퓨팅 디바이스(910) 또는 통신 네트워크에 정보를 입력하는 방법을 포함하도록 의도된다.
사용자 인터페이스 출력 디바이스(920)는 디스플레이 서브 시스템, 프린터, 팩스 기계, 또는 오디오 출력 디바이스와 같은 비-시각적 디스플레이를 포함할 수 있다. 디스플레이 서브 시스템은 음극선 관(CRT), 액정 디스플레이(LCD)와 같은 평판 디바이스, 프로젝션 디바이스, 또는 가시적 이미지를 생성하기 위한 다른 메커니즘을 포함할 수 있다. 디스플레이 서브 시스템은 또한 오디오 출력 디바이스를 통해 비-시각적 디스플레이를 제공할 수 있다. 일반적으로, "출력 디바이스"라는 용어의 사용은 모든 가능한 유형의 디바이스 및 컴퓨팅 디바이스(910)로부터 사용자 또는 다른 기계 또는 컴퓨팅 디바이스로 정보를 출력하는 방법을 포함하도록 의도된다.
저장 서브 시스템(924)은 본 명세서에 설명된 모듈의 일부 또는 전부의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들어, 저장 서브 시스템(924)은 도 3의 방법의 선택된 양태를 수행할 뿐만 아니라 도면에 도시되고 및/또는 본 명세서에 설명된 다양한 컴포넌트를 구현하기 위한 로직을 포함할 수 있다.
이러한 소프트웨어 모듈은 일반적으로 프로세서(914)에 의해 단독으로 또는 다른 프로세서와 조합하여 실행된다. 저장 서브 시스템(924)에서 사용되는 메모리(925)는 프로그램 실행 동안 명령 및 데이터를 저장하기 위한 메인 랜덤 액세스 메모리(RAM)(930) 및 고정 명령이 저장되는 판독 전용 메모리(ROM)(932)를 포함하여 다수의 메모리를 포함할 수 있다. 파일 저장 서브 시스템(926)은 프로그램 및 데이터 파일을 위한 영구 저장을 제공할 수 있으며, 하드 디스크 드라이브, 플로피 디스크 드라이브, 관련 이동식 미디어, CD-ROM 드라이브, 광학 드라이브 또는 이동식 미디어 카트리지를 포함할 수 있다. 특정 구현의 기능을 구현하는 모듈은 저장 서브 시스템(924)의 파일 저장 서브 시스템(926)에 의해 또는 프로세서(들)(914)에 의해 액세스 가능한 다른 기계에 저장될 수 있다.
버스 서브 시스템(912)은 컴퓨팅 디바이스(910)의 다양한 컴포넌트 및 서브 시스템이 의도한 대로 서로 통신할 수 있도록 하는 메커니즘을 제공한다. 버스 서브 시스템(912)이 단일 버스로서 개략적으로 도시되어 있지만, 버스 서브 시스템의 대안적인 구현은 다중 버스를 사용할 수 있다.
컴퓨팅 디바이스(910)는 워크스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜, 또는 임의의 다른 데이터 처리 시스템 또는 컴퓨팅 디바이스를 포함하는 다양한 유형일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 속성으로 인해, 도 9에 도시된 컴퓨팅 디바이스(910)의 설명은 일부 구현을 설명하기 위한 특정 예로서만 의도된다. 컴퓨팅 디바이스(910)의 많은 다른 구성이 도 9에 도시된 컴퓨팅 디바이스보다 더 많거나 적은 컴포넌트를 가질 수 있다.
본 명세서에서 논의된 특정 구현이 사용자에 관한 개인 정보(예를 들어, 다른 전자 통신에서 추출된 사용자 데이터, 사용자의 소셜 네트워크에 관한 정보, 사용자의 위치, 사용자의 시간, 사용자의 생체 인식 정보, 및 사용자의 활동 및 인구 통계 정보, 사용자 간의 관계 등)를 수집하거나 수집할 수 있는 상황에서, 사용자에게는 정보 수집 여부, 개인 정보 저장 여부, 개인 정보 사용 여부 및 사용자에 대한 정보 수집, 저장 및 사용 방법을 제어할 수 있는 하나 이상의 기회가 제공된다. 즉, 본 명세서에 설명된 시스템 및 방법은 관련 사용자로부터 명시적인 승인을받은 경우에만 사용자 개인 정보를 수집, 저장 및/또는 사용한다.
예를 들어, 사용자는 프로그램 또는 기능이 특정 사용자 또는 프로그램 또는 기능과 관련된 다른 사용자에 대한 사용자 정보를 수집하는지 여부를 제어할 수 있다. 개인 정보를 수집할 각 사용자에게는 해당 사용자와 관련된 정보 수집을 제어할 수 있는 하나 이상의 옵션이 제공되어 정보 수집 여부 및 정보의 어느 부분이 수집되는지에 대한 허가 또는 승인을 제공할 수 있다. 예를 들어, 사용자는 통신 네트워크를 통해 이러한 제어 옵션을 하나 이상 제공받을 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거될 수 있도록 저장 또는 사용되기 전에 하나 이상의 방식으로 처리될 수 있다. 예를 들어, 사용자의 신원은 개인 식별 정보가 결정되지 않도록 처리될 수 있다. 다른 예로서, 사용자의 특정 위치가 결정될 수 없도록 사용자의 지리적 위치는 더 큰 지역으로 일반화될 수 있다.

Claims (17)

  1. 하나 이상의 프로세서를 사용하여 구현되는 방법으로서,
    클라이언트 디바이스의 하나 이상의 마이크로폰을 통해 검출된 사용자의 음성 발화를 나타내는 음성 발화 데이터를 수신하는 단계와;
    음성 발화 데이터에 기초하여, 사용자의 음성 발화에 응답하는 제1 컨텐츠를 식별하는 단계와;
    음성 발화 데이터를 수신하는 것에 응답하여, 클라이언트 디바이스가 제1 세션 동안 제1 컨텐츠의 적어도 일부를 렌더링하게 하는 단계와;
    제1 세션 동안 클라이언트 디바이스에 의한 제1 컨텐츠의 렌더링 중에 인터럽트(interruption) 데이터를 수신하는 단계와, 상기 인터럽트 데이터는 제1 세션 동안 제1 컨텐츠의 렌더링 중에 검출된 사용자의 추가 사용자 인터페이스 입력에 응답하여 수신되고;
    인터럽트 데이터를 수신하는 것에 응답하여:
    제1 세션에 대해, 세션 데이터를 클라이언트 디바이스의 로컬 메모리 또는 클라이언트 디바이스와 네트워크 통신하는 원격 서버의 원격 메모리에 저장하는 단계와, 상기 세션 데이터는 인터럽트 데이터가 수신되었을 때 제1 세션의 상태를 나타내고;
    클라이언트 디바이스가 제1 세션을 적어도 일시적으로 대체하는 제2 세션 동안 대체 컨텐츠를 렌더링하게 하는 단계와, 상기 대체 컨텐츠는 제1 컨텐츠와 상이하고, 그리고 상기 클라이언트 디바이스가 제2 세션 동안 대체 컨텐츠를 렌더링하게 하는 단계는 클라이언트 디바이스가 제1 컨텐츠 대신에 대체 컨텐츠를 렌더링하게 하는 단계를 포함하고;
    클라이언트 디바이스가 제1 세션을 재개하게 할지 여부를 결정하는 단계와;
    클라이언트 디바이스가 제1 세션을 재개하게 하도록 결정하는 것에 응답하여:
    제1 세션에 대해 저장된 세션 데이터를 검색하는 단계, 및
    세션 데이터가 나타내는 상태로 제1 세션을 재개하는 단계와; 그리고
    클라이언트 디바이스가 제1 세션을 재개하게 하지 않도록 결정하는 것에 응답하여:
    제1 세션에 대해, 저장된 세션 데이터가 클라이언트 디바이스의 로컬 메모리 또는 클라이언트 디바이스와 네트워크 통신하는 원격 서버의 원격 메모리에서 지워지게 하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  2. 제1항에 있어서,
    세션 데이터가 나타내는 상태로 제1 세션을 재개하는 단계는,
    제2 세션이 종료되면 제1 세션을 자동으로 재개하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  3. 제2항에 있어서,
    클라이언트 디바이스가 제1 세션을 재개하게 할지 여부를 결정하는 단계는,
    제1 세션의 하나 이상의 속성에 기초하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  4. 제3항에 있어서,
    제1 세션의 하나 이상의 속성은,
    제1 컨텐츠에 할당된 분류를 포함하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  5. 제4항에 있어서,
    제1 컨텐츠에 할당된 분류는,
    제1 컨텐츠가 일시형(transient) 또는 지속형(enduring)인지 여부를 나타내는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  6. 제1항에 있어서,
    클라이언트 디바이스가 제1 세션을 재개하게 할지 여부를 결정하는 단계는,
    제1 세션의 하나 이상의 속성에 기초하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  7. 제6항에 있어서,
    클라이언트 디바이스가 제1 세션을 재개하게 할지 여부를 결정하는 단계는,
    제2 세션의 하나 이상의 속성에 더 기초하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  8. 제1항에 있어서,
    제1 세션에 대해, 세션 데이터를 저장하는 단계는,
    원격 메모리에 세션 데이터를 저장하지 않고 로컬 메모리에 세션 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  9. 하나 이상의 프로세서를 사용하여 구현되는 방법으로서,
    클라이언트 디바이스의 하나 이상의 마이크로폰을 통해 검출된 사용자의 음성 발화를 나타내는 음성 발화 데이터를 수신하는 단계와;
    음성 발화 데이터에 기초하여, 사용자의 음성 발화에 응답하는 제1 컨텐츠를 식별하는 단계와;
    음성 발화 데이터를 수신하는 것에 응답하여, 클라이언트 디바이스가 제1 세션 동안 제1 컨텐츠의 적어도 일부를 렌더링하게 하는 단계와;
    제1 세션 동안 클라이언트 디바이스에 의한 제1 컨텐츠의 렌더링 중에 인터럽트 데이터를 수신하는 단계와, 상기 인터럽트 데이터는 제1 세션 동안 제1 컨텐츠의 렌더링 중에 검출된 사용자의 추가 사용자 인터페이스 입력에 응답하여 수신되고;
    인터럽트 데이터를 수신하는 것에 응답하여, 클라이언트 디바이스가 제1 세션을 적어도 일시적으로 대체하는 제2 세션 동안 대체 컨텐츠를 렌더링하게 하는 단계와, 상기 대체 컨텐츠는 제1 컨텐츠와 상이하고, 그리고 상기 클라이언트 디바이스가 제2 세션 동안 대체 컨텐츠를 렌더링하게 하는 단계는 클라이언트 디바이스가 제1 컨텐츠 대신에 대체 컨텐츠를 렌더링하게 하는 단계를 포함하고;
    제2 세션의 중단시:
    클라이언트 디바이스가 제1 세션을 자동으로 재개하게 할지, 또는
    클라이언트 디바이스가 그 클라이언트 디바이스가 제1 세션을 자동으로 재개하지 않는 대체 상태로 전환하게 할지,
    여부를 결정하는 단계와, 상기 결정하는 단계는 제1 세션의 하나 이상의 속성에 기초하고;
    제2 세션의 중단시, 클라이언트 디바이스가 제1 세션을 자동으로 재개하거나 제1 세션이 자동으로 재개되지 않는 대체 상태로 전환하도록 선택적으로 야기하는 단계와, 상기 선택적으로 야기하는 단계는 상기 결정하는 단계에 의존하고;
    상기 대체 상태에서, 제1 세션의 재개를 제안하는 재개 제안 출력이 렌더링되고, 그리고 제1 세션은 대체 상태에서 재개 제안 출력에 대한 긍정적인 사용자 인터페이스 입력을 수신하는 것에 응답하여 재개되는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  10. 제9항에 있어서,
    대체 상태에서, 하나 이상의 다가오는(upcoming) 이벤트가 재개 제안 출력과 함께 렌더링되는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  11. 제9항에 있어서,
    대체 상태에서, 지역 날씨 예보가 재개 제안 출력과 함께 렌더링되는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  12. 제9항에 있어서,
    렌더링되는 재개 제안 출력은,
    시각적으로 렌더링되는 선택 가능한 그래픽 엘리먼트인 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  13. 제12항에 있어서,
    긍정적인 사용자 인터페이스 입력은,
    선택 가능한 그래픽 엘리먼트의 터치 입력 선택인 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  14. 제9항에 있어서,
    제2 세션의 중단시, 클라이언트 디바이스가 제1 세션을 자동으로 재개하게 할지 또는 클라이언트 디바이스가 대체 상태로 전이하게 할지 여부를 결정하는 단계는,
    제1 세션의 하나 이상의 속성에 기초하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  15. 제14항에 있어서,
    제1 세션의 하나 이상의 속성은,
    제1 컨텐츠에 할당된 분류를 포함하는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  16. 제15항에 있어서,
    제1 컨텐츠에 할당된 분류는,
    제1 컨텐츠가 일시형 또는 지속형인지 여부를 나타내는 것을 특징으로 하는 하나 이상의 프로세서를 사용하여 구현되는 방법.
  17. 클라이언트 디바이스로서,
    하나 이상의 마이크로폰;
    하나 이상의 프로세서;
    하나 이상의 프로세서와 동작 가능하게 결합된 메모리를 포함하고, 상기 메모리는 하나 이상의 프로세서에 의한 명령들의 실행에 응답하여 하나 이상의 프로세서로 하여금:
    음성 발화 데이터에 기초하여, 하나 이상의 마이크로폰을 통해 검출된 사용자의 음성 발화에 응답하는 제1 컨텐츠를 식별하고;
    음성 발화 데이터에 응답하여, 제1 세션 동안 제1 컨텐츠의 적어도 일부를 렌더링하고;
    제1 세션 동안 클라이언트 디바이스에 의한 제1 컨텐츠의 렌더링 중에 인터럽트 데이터를 수신하고, 상기 인터럽트 데이터는 제1 세션 동안 제1 컨텐츠의 렌더링 중에 검출된 사용자의 추가 사용자 인터페이스 입력에 응답하여 수신되고;
    인터럽트 데이터를 수신하는 것에 응답하여:
    제1 세션에 대해, 세션 데이터를 메모리에 저장하고, 상기 세션 데이터는 인터럽트 데이터가 수신되었을 때 제1 세션의 상태를 나타내고;
    제1 세션을 적어도 일시적으로 대체하는 제2 세션 동안 대체 컨텐츠를 렌더링하고, 상기 대체 컨텐츠는 제1 컨텐츠와 상이하고, 그리고 상기 대체 컨텐츠는 제1 컨텐츠 대신 렌더링되며;
    제1 세션을 재개할지 여부를 결정하고;
    제1 세션을 재개하기로 결정하는 것에 응답하여:
    메모리로부터, 제1 세션에 대해, 저장된 세션 데이터를 검색하고, 그리고
    세션 데이터가 나타내는 상태로 제1 세션을 재개하고; 그리고
    제1 세션을 재개하지 않기로 결정하는 것에 응답하여:
    제1 세션에 대해, 저장된 세션 데이터가 메모리에서 지워지게 하는, 명령들을 저장하는 것을 특징으로 하는 클라이언트 디바이스.
KR1020237007650A 2018-05-07 2019-05-01 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정 KR20230035157A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862668151P 2018-05-07 2018-05-07
US62/668,151 2018-05-07
KR1020207034930A KR102508338B1 (ko) 2018-05-07 2019-05-01 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정
PCT/US2019/030271 WO2019217178A1 (en) 2018-05-07 2019-05-01 Determining whether to automatically resume first automated assistant session upon cessation of interrupting second session

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034930A Division KR102508338B1 (ko) 2018-05-07 2019-05-01 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정

Publications (1)

Publication Number Publication Date
KR20230035157A true KR20230035157A (ko) 2023-03-10

Family

ID=66530517

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207034930A KR102508338B1 (ko) 2018-05-07 2019-05-01 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정
KR1020237007650A KR20230035157A (ko) 2018-05-07 2019-05-01 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207034930A KR102508338B1 (ko) 2018-05-07 2019-05-01 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정

Country Status (6)

Country Link
US (3) US11217247B2 (ko)
EP (2) EP3590036B1 (ko)
JP (3) JP7135114B2 (ko)
KR (2) KR102508338B1 (ko)
CN (1) CN112867985A (ko)
WO (1) WO2019217178A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102508338B1 (ko) 2018-05-07 2023-03-10 구글 엘엘씨 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정
US11288347B2 (en) * 2019-03-07 2022-03-29 Paypal, Inc. Login from an alternate electronic device
US11748660B2 (en) * 2020-09-17 2023-09-05 Google Llc Automated assistant training and/or execution of inter-user procedures
US11368544B2 (en) * 2020-10-30 2022-06-21 Capital One Services, Llc Scalable server-based web scripting with user input
JP7420109B2 (ja) * 2021-04-08 2024-01-23 トヨタ自動車株式会社 情報出力システム、サーバ装置および情報出力方法
US11736420B2 (en) 2021-12-16 2023-08-22 International Business Machines Corporation Management and organization of computer based chat type conversations
WO2024058027A1 (ja) * 2022-09-13 2024-03-21 株式会社デンソー 車載装置、センタ装置、車両制御プログラム及び車両制御方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3738923B2 (ja) 1996-09-30 2006-01-25 マツダ株式会社 ナビゲーション装置
JP4593018B2 (ja) 2001-06-22 2010-12-08 三菱電機株式会社 移動通信システム、ハンドオーバー制御方法、カーナビゲーション装置、路側機および路側機制御サーバ
JP2004108908A (ja) 2002-09-18 2004-04-08 Denso Corp オーディオ連携ナビゲーション装置
US20070211875A1 (en) * 2006-03-07 2007-09-13 Nokia Corporation Method of controlling an electronic device using audio inputs
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4935392B2 (ja) * 2007-02-07 2012-05-23 富士通株式会社 出力調停プログラム及び装置
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
WO2012137933A1 (ja) 2011-04-07 2012-10-11 エイディシーテクノロジー株式会社 メッセージ伝達装置、及びメッセージ伝達アプリケーション
US20140046891A1 (en) * 2012-01-25 2014-02-13 Sarah Banas Sapient or Sentient Artificial Intelligence
US9172747B2 (en) * 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US9767799B2 (en) 2013-05-21 2017-09-19 Mitsubishi Electric Corporation Voice recognition system and recognition result display apparatus
US9116952B1 (en) 2013-05-31 2015-08-25 Google Inc. Query refinements using search data
US9547690B2 (en) 2014-09-15 2017-01-17 Google Inc. Query rewriting using session information
US10671954B2 (en) * 2015-02-23 2020-06-02 Google Llc Selective reminders to complete interrupted tasks
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) * 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10089262B2 (en) * 2015-06-19 2018-10-02 Sap Se Reduced overhead safepoint mechanism using signals
CN105634760B (zh) * 2015-12-29 2020-06-16 腾讯科技（深圳）有限公司 公众号与用户通信方法及装置
US10552742B2 (en) * 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
US10311875B2 (en) * 2016-12-22 2019-06-04 Soundhound, Inc. Full-duplex utterance processing in a natural language virtual assistant
US10930276B2 (en) * 2017-07-12 2021-02-23 Universal Electronics Inc. Apparatus, system and method for directing voice input in a controlling device
KR102508338B1 (ko) 2018-05-07 2023-03-10 구글 엘엘씨 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정

Also Published As

Publication number Publication date
JP7135114B2 (ja) 2022-09-12
EP3590036B1 (en) 2022-10-26
WO2019217178A1 (en) 2019-11-14
JP7384976B2 (ja) 2023-11-21
KR102508338B1 (ko) 2023-03-10
KR20210002724A (ko) 2021-01-08
US20230402035A1 (en) 2023-12-14
US20220108696A1 (en) 2022-04-07
EP3590036A1 (en) 2020-01-08
US20210065701A1 (en) 2021-03-04
EP4130975A1 (en) 2023-02-08
JP2021522613A (ja) 2021-08-30
CN112867985A (zh) 2021-05-28
JP2024020343A (ja) 2024-02-14
US11830491B2 (en) 2023-11-28
US11217247B2 (en) 2022-01-04
JP2022191216A (ja) 2022-12-27

Similar Documents

Publication Publication Date Title
KR102508338B1 (ko) 제2 세션 인터럽트 중단시 제1 자동화 어시스턴트 세션 자동 재개 여부 결정
US11735182B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
US11347801B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
KR102523982B1 (ko) 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
KR102567447B1 (ko) 자동화 어시스턴트를 이용한 이전 대화 컨텍스트사이의 전환
US11200893B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
CN111033492A (zh) 为自动化助手提供命令束建议
JP2021521497A (ja) 検出された口運動および／または注視に基づく自動化アシスタントの適応
JP7471371B2 (ja) アシスタントデバイスのディスプレイにレンダリングするコンテンツの選択
US20230343336A1 (en) Multi-modal interaction between users, automated assistants, and other computing services

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal