KR20230048573A - 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공 - Google Patents

다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공 Download PDF

Info

Publication number
KR20230048573A
KR20230048573A KR1020237011521A KR20237011521A KR20230048573A KR 20230048573 A KR20230048573 A KR 20230048573A KR 1020237011521 A KR1020237011521 A KR 1020237011521A KR 20237011521 A KR20237011521 A KR 20237011521A KR 20230048573 A KR20230048573 A KR 20230048573A
Authority
KR
South Korea
Prior art keywords
function
user
connection device
control element
determining
Prior art date
Application number
KR1020237011521A
Other languages
English (en)
Inventor
유자오 니
데이비드 로이 샤이어
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20230048573A publication Critical patent/KR20230048573A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

다수의 상이한 연결 디바이스들과 인터랙션하기 위한 복합 그래픽 어시스턴트 인터페이스들을 조정하는 방법, 장치, 시스템 및 컴퓨터-판독가능 매체가 제공된다. 복합 그래픽 어시스턴트 인터페이스는 연결 디바이스가 특정 기능을 수행하도록 사용자가 자동화 어시스턴트에 대한 요청을 제공하는 것에 응답하여 생성될 수 있다. 자동화 어시스턴트가 요청을 수신하는 것에 응답하여, 자동화 어시스턴트는 다른 연결 디바이스들 및 그 다른 연결 디바이스들을 의해 수행될 수 있는 다른 기능들을 식별할 수 있다. 다른 기능들은 사용자가 상이한 연결 디바이스와 인터랙션할 수 있는 복합 그래픽 어시스턴트 인터페이스를 제공하기 위해 다양한 그래픽 제어 엘리먼트들에 매핑될 수 있다. 각 그래픽 제어 엘리먼트는 각 연결 디바이스가 복합 그래픽 어시스턴트 인터페이스의 프리젠테이션과 동시에 작동하는 방식을 반영하도록 배열될 수 있다.

Description

다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공{PROVIDING COMPOSITE GRAPHICAL ASSISTANT INTERFACES FOR CONTROLLING VARIOUS CONNECTED DEVICES}
본 출원은 일반적으로 다수의 상이한 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 장치 그리고 일시적 및 비-일시적 컴퓨터-판독가능 매체에 관한 것이다.
사람은 본 명세서에서 "자동화 어시스턴트"(또한, "디지털 에이전트", "챗봇", "대화형 개인 비서", "지능형 개인 비서", "어시스턴트 애플리케이션", "대화 에이전트"로도 지칭됨)로 지칭되는 인터랙티브 소프트웨어 어플리케이션과의 사람 대 컴퓨터 대화에 참여할 수 있다. 예를 들어, 사람(자동화 어시스턴트와 인터랙션(상호 작용)할 때 "사용자"로 지칭될 수 있음)은 일부 경우 텍스트로 변환된 다음 처리될 수 있는 음성 자연어 입력을 사용하거나 및/또는 (예를 들어, 타이핑된) 텍스트 자연어 입력을 제공함으로써 자동화 어시스턴트에 커맨드 및/또는 요청을 제공할 수 있다.
일부 자동화 어시스턴트들은 사물 인터넷(IoT) 디바이스들을 제어하기 위해 사용될 수 있다. 그러나, 많은 IoT 디바이스들은 자신의 대응하는 애플리케이션들을 가질 수 있다. 그 결과, 다수의 상이한 IoT 디바이스들을 가진 사용자는 자신의 개인용 컴퓨팅 디바이스에 다양한 제3자 애플리케이션들을 설치하는 작업을 맡게 될 수 있다. 애플리케이션들은 통상 메모리, 네트워크 대역폭, 업데이트, 및 또는 그 밖의 자원들을 필요로 하기 때문에, 단일의 디바이스에 여러 유사한 애플리케이션들을 설치하는 것은 비효율적일 수 있다. 비록 사용자와 특정 IoT 디바이스 간의 인터랙션들을 중재하기 위해 자동화 어시스턴트에 의존할 수 있기는 하지만, 그러한 인터랙션들은 사용자의 음성 발언들이 오디오에서 텍스트로 변환되도록 빈번하게 요청할 수 있다. 오디오-텍스트의 효율적인 변환을 위해, 오디오 데이터는 종종 네트워크를 통해 전송되어야만 하는데, 그에 따라 심각한 네트워크 대역폭 소모를 야기한다. 또한, 이러한 방식으로 인터랙션들을 중재하는 것은 사용자가 말하고 있는 다른 사람들에게 둘러싸이거나 배경 소음이 있는 환경에 있을 때 신뢰할 수 없는 것으로 판명될 수 있다. 그 결과, 사용자와 자동화 어시스턴트간의 대화 세션은 특정 기능을 수행하기 위한 다양한 IoT 디바이스에 대한 요청이 궁극적으로 식별되지 않거나 충족되지 않는 경우 컴퓨팅 자원과 네트워크 자원을 낭비할 수 있다.
본 출원은 일반적으로 다수의 상이한 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스들을 제공하는 방법들, 장치들 및 일시적 및 비-일시적인 컴퓨터-판독가능 매체에 관한 것이다. 복합 그래픽 어시스턴트 인터페이스는 상이한 디바이스가 상이한 제3자에 의해 제조됨에도 불구하고 다수의 상이한 디바이스를 제어하는데 사용될 수 있다. 이러한 방식으로, 사용자는 각 IoT 디바이스를 제어하기 위해 다수의 상이한 제3자 애플리케이션을 설치할 필요가 없다. 오히려, 사용자는 자동화 어시스턴트에 의존하여 사용자가 특정 IoT 디바이스를 제어하고자 하는특정 컨텍스트를 인식하고 제어할 특정 IoT 디바이스에 대한 제안들을 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공할 수 있다.
예를 들어, 사용자는 자동화 어시스턴트에 대한 액세스를 제공하는 클라이언트 디바이스와 같은 다수의 상이한 디바이스들 및 클라이언트와 통신하는 다수의 연결(된) 디바이스를 포함하는 주방에 들어갈 수 있다. 연결 디바이스들은 스테레오 시스템, 오븐, 스마트 조명들 및 커피 메이커를 포함할 수 있다. 연결 디바이스들 각각은 적어도 자동화 어시스턴트 제조업체와 관련된 상이한 제3자 제조업체에 의해 제조될 수 있다. 일반적으로 아침에 사용자가 주방에 들어가는 경우, 사용자는 "어시스턴트, 주방 조명 켜줘"와 같은 커맨드를 제공할 수 있다. 그런 다음, 사용자는 다른 기능들이 수행될 수 있도록 하기 위해 다수의 애플리케이션에 액세스하거나 연결 디바이스들과 수동으로 인터랙션할 수 있다. 사용자는 각 기능이 수행되게 하기 위해 자동화 어시스턴트를 구두로 초기화할 수도 있지만(예를 들어, "어시스턴트, 커피 메이커 켜줘… 어시스턴트, 음악 재생해 줘”라고 발화함), 이는 추가적인 음성 처리를 필요로 하고 그에 따라 계산 및 네트워크 자원의 소모를 야기한다. 또한, 사용자가 각 디바이스를 제어하기 위해 상이한 애플리케이션에 액세스해야 하는 경우 각 애플리케이션에는 어느 정도의 네트워크 연결이 필요할 수 있으므로 계산 및 네트워크 자원들을 더욱 비효율적으로 소비한다. 보다 효율적인 자원의 사용을 제공하기 위해, 자동화 어시스턴트는 기능을 수행하기 위한 초기 요청의 수신에 응답하여 그리고/또는 특정 어시스턴트 인터페이스에서의 사용자 선택에 응답하여 복합 그래픽 어시스턴트 인터페이스를 제공할 수 있다.
예를 들어, "어시스턴트, 주방의 조명을 켜줘"와 같은 음성 발언을 수신한 것에 응답하여, 자동화 어시스턴트는 사용자에 제안할 특정 기능을 식별하기 위하여 주방내의 다른 연결 디바이스들의 현재 상태를 식별할 수 있다. 예를 들어, 주방의 커피 메이커가 음성 발언이 수신된 시점에 “온(on)”되어 있는 것으로 결정되는 경우, 자동화 어시스턴트는 컴파일되는 복합 그래픽 어시스턴트 인터페이스에서 커피 메이커에 대한 임의의 참조를 생략할 수 있다. 이러한 방식으로 자동화 어시스턴트는 중복 제안을 하지 않을 것이며, 더 적합한 제안들을 위해 복합 그래픽 어시스턴트 인터페이스에 공간을 만들 수 있다. 추가적으로, 자동화 어시스턴트가 주방의 스테레오 시스템이 현재 음악을 재생하고 있지 않다고 결정한 경우, 자동화 어시스턴트는 스테레오 시스템을 제어하기 위해 사용자에게 제안할 기능을 결정할 수 있다. 예를 들어, 자동화 어시스턴트는 스테레오 시스템을 켜고 및/또는 스테레오 시스템의 볼륨을 변경하기 위한 그래픽 제어 엘리먼트를 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공할 수 있다. 복합 그래픽 어시스턴트 인터페이스는 클라이언트 디바이스에 통합된 디스플레이 패널, 또는 클라이언트와 관련된 디스플레이 패널(예를 들어, 주방에 위치한 태블릿 디바이스)에서 제공될 수 있다. 이러한 방식으로, 사용자는 스테레오 시스템을 켜는데 있어서 계산적 집중도가 덜 한 방식(modality)을 이용하고, 그 방식은 초기의 음성 발언에 응답하여 적시에 사용자에게 제공될 수 있다.
일부 구현 예들에서, 연결 디바이스에 의하여 수행될 특정 기능에 대한 제안은, 특정 컨텍스트들 내에서 특정 연결 디바이스들과 인터랙션하기 위한 사용자의 이력적 성향을 나타내는 데이터에 기초할 수 있다. 예를 들어, 사용자는 주방 조명이 켜질 때 또는 주방 조명을 켜라는 요청이 있은 후 즉시, 스테레오 시스템을 켜는 이력적 성향을 가질 수 있다. 그러한 컨텍스트가 후속적으로 발생하면, 자동화 어시스턴트는 주방 내의 디스플레이 패널에 또는 다른 적절한 디스플레이 패널에, 스테레오 시스템을 제어하기 위한 그래픽 제어 엘리먼트를 포함하는 복합 어시스턴트 인터페이스를 제공할 수 있다. 또한, 자동화 어시스턴트는 복합 그래픽 어시스턴트 인터페이스에 추가적인 제안들을 제공하기 위해, 자동화 어시스턴트는 사용자와 연관된 다른 연결 디바이스들, 사용자의 요청, 요청의 컨텍스트, 및/또는 사용자와 연관된 기타 다른 정보를 식별할 수 있다. 예를 들어, 사용자가 주방의 조명과 스테레오 시스템의 음악을 켠 후, 밤에는 주방의 오븐을 예열하는 이력적 성향을 가질 수 있다. 그러한 컨텍스트가 후속적으로 발생하면, 자동화 어시스턴트는 주방 조명 및/또는 스테레오 시스템의 피처들을 제어하기 위한 그래픽 제어 엘리먼트들 뿐만 아니라, 예를 들어 베이킹 온도(bake temperature)와 타이머 설정과 같은 하나 이상의 오븐 기능을 제어하기 위한 그래픽 제어 엘리먼트를 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공할 수 있다. 이렇게 자동화 어시스턴트에 의해 생성된 복합 그래픽 어시스턴트 인터페이스가 다수의 상이한 제조사들에 의해 제조되는 다수의 상이한 연결 디바이스들에 대한 컨트롤을 제공할 수 있다.
상기 설명은 본 개시의 일부 구현예의 개요로서 제공된다. 이러한 구현예 및 기타 구현예에 대한 추가 설명은 아래에서 더 자세히 설명된다.
일부 구현예에서, 하나 이상의 프로세서에 의해 구현되는 방법은 클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 기능을 수행하기 위한 연결 디바이스(connected device)에 대한 요청을 포함한다고 결정하는 단계와 같은 동작을 포함하는 것으로 개시된다. 연결 디바이스는 클라이언트 디바이스와 링크되고 상기 음성 발언은 사용자에 의해 제공된다. 방법은 요청을 수신하는 것에 응답하여, 수신된 요청에 대응하는 기능을 식별하는 단계; 기능을 식별하는 것에 기초하여, 연결 디바이스가 수신된 요청에 대응하는 기능을 수행하게 하는 단계; 요청을 수신하는 것에 응답하여, 자동화 어시스턴트에 의하여, 자동화 어시스턴트에서 액세스 가능한 데이터에 기초하여 사용자에게 제안하는 다른 기능을 결정하는 단계를 더 포함할 수 있다. 다른 기능은 식별된 기능과 다르고 다른 연결 디바이스에 의하여 수행될 수 있다. 또 상기 방법은, 다른 기능을 결정하는 것에 기초하여, 다른 연결 디바이스의 다른 기능을 제어하기 위한 그래픽 제어 엘리먼트를 식별하는 단계; 및 요청을 수신하는 것에 응답하여, 복합 그래픽 어시스턴트 인터페이스가 클라이언트 디바이스와 연관된 디스플레이 패널에 제공되게 하는 단계를 더 포함하고, 복합 그래픽 어시스턴트 인터페이스는 식별된 그래픽 제어 엘리먼트를 포함할 수 있다. 또한, 방법은, 복합 그래픽 어시스턴트 인터페이스에 그래픽 제어 엘리먼트의 선택이 수신되었음을 결정하는 단계; 및 복합 그래픽 어시스턴트 인터페이스에 그래픽 제어 엘리먼트의 선택이 수신된 것의 결정에 응답하여, 다른 연결 디바이스가 다른 기능을 수행하게 하는 단계를 더 포함할 수 있다.
일부 구현예에서, 상기 데이터는 다른 연결 디바이스의 현재 상태를 식별하고, 현재 상태는 그래픽 제어 엘리먼트의 선택에 응답하여 상이한 상태로 변경된다. 일부 구현예에서, 다른 기능을 결정하는 단계는: 데이터에 기초하여, 특정 기능이 다른 연결 디바이스의 현재 상태를 적어도 부분적으로 변경시킨 것을 결정하는 단계; 및 적어도 일부가 상기 다른 기능과 달라진 특정 기능에 기초하여, 사용자에게 제안하는 다른 기능을 선택하는 단계를 포함한다. 일부 구현예에서, 다른 기능을 결정하는 단계는: 다른 연결 디바이스의 현재 상태를 적어도 부분적으로 변경시키는 기능들의 하나 이상의 슬롯 값들을 결정하는 단계; 연결 디바이스의 현재 상태를 변경시킬 수 있는 하나 이상의 후보 기능들의 하나 이상의 파라미터들을 식별하는 단계를 더 포함한다. 적어도 다른 기능과 달라진 특정 기능에 기초하여 사용자에게 제안하는 다른 기능을 선택하는 것은, 상기 다른 기능이 상기 특정 기능의 다른 파리미터와 상이한 파라미터를 포함하는지 여부에 따라 하나 이상의 후보 기능들로부터 다른 기능을 선택하는 것을 포함할 수 있다.
일부 구현예에서, 상기 방법은, 자동화 어시스턴트 인터페이스에 제공될 때, 다른 연결 디바이스의 다른 기능이 수행될 수 있게 자동화 어시스턴트를 초기화하는 발화가능 커맨드를 결정하는 단계를 포함할 수 있다. 복합 그래픽 어시스턴트 인터페이가 디스플레이 패널에 제공되게 하는 것은 디스플레이 패널이 발화가능 커맨드를 제시하게 하는 것을 포함할 수 있다.
일부 구현예에서, 자동화 어시스턴트에서 액세스 가능한 데이터에 기초하여 사용자에게 제안하는 다른 기능을 결정하는 단계는 하나 이상의 추가 연결 디바이스 및 클라이언트 디바이스 또는 연결 디바이스의 관계를 나타내는 저장된 디바이스 토폴로지에 기초하여, 복수의 연결 디바이스로부터 하나 이상의 추가 연결 디바이스를 식별하는 단계; 및 상기 하나 이상의 추가 연결 디바이스들에 의해 수행될 수 있는 하나 이상의 추가 기능들을 식별하는 단계를 포함한다. 상기 다른 기능은 식별된 하나 이상의 추가 기능들로부터 결정될 수 있다. 일부 구현예에서, 상기 데이터는 상기 다른 기능의 이전 수행 또는 미수행에 기초한 하나 이상의 추가 연결 디바이스들의 상태를 나타나며, 상기 복합 그래픽 어시스턴트 인터페이스에서 그래픽 제어 엘리먼트의 구성은 상기 하나 이상의 추가 연결 디바이스들의 표시 상태에 기초할 수 있다.
일부 구현예에서, 하나 이상의 프로세서에 의해 구현되는 방법은 클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 기능을 수행하기 위한 자동화 어시스턴트에 대한 요청을 포함한다고 결정하는 단계와 같은 동작을 포함하여 개시되며, 상기 음성 발언은 사용자에 의해 제공된다. 상기 방법은, 사용자에 의하여 요청이 제공되었다는 결정하는 것에 응답하여, 사용자에 의해 제공된 요청에 대응하는 기능을 식별하는 단계; 및 기능을 식별하는 것에 기초하여, 자동화 어시스턴트로 하여금 사용자에 의해 제공된 요청에 대응하는 기능을 수행하게 하는 단계를 더 포함할 수 있다. 상기 방법은, 상기 클라이언트 디바이스에 링크된 제1 연결 디바이스의 제1 현재 상태를 결정하는 단계를 더 포함할 수 있다. 연결 디바이스의 제1 현재 상태는 제1 기능의 수행 또는 미수행에 의하여 달라질 수 있다. 상기 방법은, 클라이언트 디바이스에 링크된 제2 연결 디바이스의 제2 현재 상태를 결정하는 단계를 더 포함할 수 있다.
제2 연결 디바이스의 제2 현재 상태는 제2 기능의 수행 또는 미수행에 의하여 달라질 수 있다. 상기 방법은 제1 연결 디바이스의 제1 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트와 제2 연결 디바이스의 제2 기능을 제어하기 위한 제2 그래픽 제어 엘리먼트를 결정하는 단계; 및 제1 연결 디바이스의 제1 현재 상태 및 제2 연결 디바이스의 제2 현재 상태에 기초하여, 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트의 구성을 결정하는 단계를 더 포함할 수 있다. 상기 방법은, 요청이 수신되었다는 결정에 응답하여, 클라이언트 디바이스와 연관된 디스플레이 패널로 하여금 제1 연결 디바이스와 제2 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 더 포함할 수 있다. 복합 그래픽 어시스턴트 인터페이스는, 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트를 포함하며, 이들은 각 그래픽 제어 엘리먼트에 대하여 결정된 구성에 따라 배열된다.
일부 구현예에서, 방법은 음성 발언과 관련된 음성 특성에 기초하여 사용자의 프로필에 액세스하는 단계를 포함할 수 있다. 제1 기능과 제2 기능 중 적어도 하나의 기능을 식별하는 것은 프로필에서 사용 가능한 정보에 기초할 수 있다. 일부 구현예에서, 상기 프로필은 특정 컨텍스트 내의 제1 연결 디바이스와 제2 연결 디바이스 중 적어도 하나의 연결 디바이스와 인터랙션하기 위한 사용자의 이력적 성향을 나타낼 수 있다. 일부 구현예에서, 상기 특정 컨텍스트는 제1 연결 디바이스 또는 제2 연결 디바이스의 상태, 사용자의 지리적 위치, 시간, 이벤트, 또는 하나 이상의 다른 사용자의 존재 중 하나 또는 그 이상에 대응할 수 있다.
일부 구현예에서, 제1 연결 디바이스의 제1 현재 상태를 결정하는 단계는, 제1 기능과 연관된 제1 현재 상태와 커맨드 데이터를 원격 서버 디바이스에 요청하는 단계를 포함할 수 있다. 제1 기능은 자동화된 어시스턴에 의해 수행된 기능과 다를 수 있다. 일부 구현예에서, 상기 방법은 제1 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트의 선택을 수신하는 단계; 및 클라이언트 디바이스로 하여금 제1 기능과 연관된 커맨드 데이터에 따라 상기 제1 연결 디바이스와 인터랙션하게 하는 단계를 더 포함할 수 있다.
또 다른 구현예에서, 하나 이상의 프로세서에 의해 구현되는 방법은 사용자가 기능을 수행하기 위한 자동화 어시스턴트에 대한 요청을 제공하였다고 결정하는 단계와 같은 동작을 포함하여 개시된다. 상기 요청은 클라이언트 디바이스의 자동화 어시스턴트 인터페이스에 수신될 수 있다. 상기 방법은 사용자가 자동화 어시스턴트에 대한 요청을 제공하였다는 결정에 응답하여, 자동화 어시스턴트로 하여금 요청에 대응하는 기능을 수행하게 하는 단계; 및 사용자가 자동화 어시스턴트에 요청을 제공하였음을 결정하는 것에 응답하여, 자동화 어시스턴트에 의해 수행된 기능과 관련된 컨텍스트에서 연결 디바이스의 다른 기능을 제어하기 위한 사용자의 이력적 성향을 특징짓는 사용자 선호도를 결정하는 단계를 더 포함할 수 있다. 연결 디바이스는 클라이언트 디바이스와 링크될 수 있다. 일부 구현예에서, 상기 방법은 사용자 선호도를 결정하는 것에 기초하여, 연결 디바이스 및 연결 디바이스의 다른 기능을 식별하는 단계; 및 연결 디바이스를 식별하는 것에 기초하여, 연결 디바이스의 현재 상태를 결정하는 단계를 포함할 수 있다. 상기 현재 상태는 상기 다른 기능의 수행 또는 미수행에 의하여 달라질 수 있다.
또한 상기 방법은 연결 디바이스의 다른 기능 및 현재 상태를 식별하는 것에 기초하여, 연결 디바이스의 다른 기능을 제어하기 위한 그래픽 제어 엘리먼트를 결정하는 단계를 포함할 수 있다. 그래픽 제어 엘리먼트는, 다른 기능이 연결 디바이스에 의하여 수행될 수 있게 하기 위한 그래픽 제어 엘리먼트의 기능을 나타낼 수 있고, 그 결과 연결 디바이스의 현재 상태가 다른 상태로 변경될 수 있다. 상기 방법은 사용자가 요청을 제공하였음을 결정하는 것에 응답하여, 클라이언트 디바이스와 연관된 디스플레이 패널로 하여금 그래픽 제어 엘리먼트를 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 더 포함할 수 있다.
일부 구현예에서, 상기 방법은 사용자 선호도에 기초하여, 연결 디바이스들의 개별 연결 디바이스와 연관된 선택 가능한 제안 엘리먼트를 결정하는 단계를 더 포함할 수 있다. 디스플레이 패널로 하여금 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 것은 복합 그래픽 어시스턴트 인터페이스가 선택 가능한 제안 엘리먼트를 포함하도록 것을 포함할 수 있다. 일부 구현예에서, 상기 방법은 선택 가능한 제안 엘리먼트의 선택이 복합 그래픽 어시스턴트 인터페이스에 수신되었음 결정하는 단계; 및 하나 이상의 그래픽 제어 엘리먼트들이 개별 연결 디바이스의 하나 이상의 기능들을 제어하기 위한 디스플레이 패널에 제시되게 하는 단계를 더 포함할 수 있다. 일부 구현예에서, 상기 방법은, 개별 연결 디바이스로 하여금 개별 연결 디바이스의 하나 이상의 기능들을 수행하게 하기 위해, 클라이언트 디바이스의 자동화 어시스턴트 인터페이스에 수신될 때에 자동화 어시스턴트를 호출하는(invoke) 발화가능 커맨드를 결정하는 단계를 포함할 수 있다. 클라이언트 디바이스와 연관된 디스플레이 패널로 하여금 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 것은 복합 그래픽 어시스턴트 인터페이스가 발화가능한 커맨드의 자연어 표현을 포함하게 하는 것을 포함한다.
일부 구현예에서, 상기 방법은 연결 디바이스로 하여금 기능을 수행하게 하는 것에 응답하여, 연결 디바이스의 결과 상태를 결정하는 단계를 포함할 수 있다. 결과 상태는 기능의 수행에 의하여 달라질 수 있다. 또한, 클라이언트 디바이스와 연관된 디스플레이 패널로 하여금 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 것은, 복합 그래픽 어시스턴트 인터페이스로 하여금 연결 디바이스의 결과 상태를 나타내는 그래픽 인터페이스 엘리먼트를 포함하게 하는 것을 포함할 수 있다.
일부 구현예에서, 사용자 선호도는 적어도 사용자와 자동화 어시스턴트 간의 이전 인터랙션에 기초하여 다른 기능을 제어하기 위한 사용자의 이력적 성향을 특징짓는다. 일부 구현예에서, 이전 인터랙션은 사용자가 그래픽 제어 엘리먼트를 선택하기 전, 사용자와 자동화 어시스턴트 간의 대화 세션에 대응한다. 대화 세션 동안, 사용자는 상기 연결 디바이스로 하여금 기능을 수행하게 하기 위한 요청을 제공할 수 있을 것이다.
다른 구현예에서, 하나 이상의 프로세서에 의해 구현되는 방법은 사용자가 기능을 수행하기 위한 자동화 어시스턴트에 대한 요청을 제공하였다고 결정하는 단계와 같은 동작을 포함하는 것으로 개시된다. 상기 요청은 클라이언트 디바이스의 자동화 어시스턴트 인터페이스에 수신될 수 있다. 또한, 상기 방법은 사용자가 자동화 어시스턴트에 대한 요청을 제공하였다는 결정에 응답하여, 자동화 어시스턴트로 하여금 요청에 대응하는 기능을 수행하게 하는 단계; 및 사용자가 자동화 어시스턴트에 대한 요청을 제공하였음을 결정하는 것에 응답하여, 자동화 어시스턴트에 의해 수행된 기능과 관련된 컨텍스트에서 연결 디바이스의 다른 기능을 제어하기 위한 사용자의 이력적 성향을 특징짓는 사용자 선호도를 결정하는 단계를 더 포함할 수 있다. 연결 디바이스는 클라이언트 디바이스와 링크될 수 있다. 일부 구현예에서, 상기 방법은 사용자 선호도를 결정하는 것에 기초하여, 연결 디바이스와 연결 디바이스의 목표 상태를 식별하는 단계; 및 연결 디바이스를 식별하는 것에 기초하여, 연결 디바이스의 현재 상태를 결정하는 단계를 포함할 수 있다. 상기 현재 상태는 다른 기능의 수행 또는 미수행에 의하여 달리질 수 있다.
상기 방법은, 상기 목표 상태가 연결 디바이스의 현재 상태와 다른 경우: 연결 디바이스의 다른 기능 및 현재 상태를 식별하는 것에 기초하여, 연결 디바이스의 다른 기능을 제어하기 위한 그래픽 제어 엘리먼트를 결정하는 단계를 더 포함할 수 있다. 그래픽 제어 엘리먼트는 상기 다른 기능이 상기 연결 디바이스에 의하여 수행될 수 있게 하기 위한 그래픽 제어 엘리먼트의 기능을 나타낼 수 있고, 그 결과 연결 디바이스의 현재 상태가 목표 상태로 변경될 수 있다. 또한, 상기 방법은 사용자가 상기 요청을 제공하였음을 결정하는 것에 응답하여, 클라이언트와 연관된 디스플레이 패널로 하여금 그래픽 제어 엘리먼트를 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 포함할 수 있다.
일부 구현예에서, 상기 방법은 목표 상태가 연결 디바이스의 현재 상태와 동일한 경우: 사용자가 요청을 제공한 것을 결정하는 것에 응답하여, 클라이언트 디바이스와 연관된 디스플레이 패널로 하여금 연결 디바이스의 다른 기능을 제어하기 위한 특정 그래픽 제어 엘리먼트를 생략하여 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 더 포함할 수 있다.
다른 구현예들은 하나 이상의 프로세서(예를 들어, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 및/또는 텐서 프로세싱 유닛(TPU))에 의해 실행 가능한 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있으며, 상기 명령들은 본 명세서에 기술된 하나 이상의 방법들과 같은 방법을 수행한다. 또 다른 구현예는 하나 이상의 컴퓨터들 및/또는 본 명세서에 기술된 방법들 중 하나 이상과 같은 방법을 수행하기 위해 저장된 명령들을 실행하도록 동작가능한 하나 이상의 프로세서들을 포함하는 하나 이상의 로봇들의 시스템을 포함할 수 있다.
본 명세서 매우 상세히 기술된 상기 개념들 및 추가적 개념들의 모든 조합들은 본 명세서에 개시된 본 발명의 일부인 것으로 고려되어야 한다. 예를 들면, 본 명세서의 끝부분에 나타나는 청구된 발명의 모든 조합들은 본 명세서에 개시된 본 발명의 일부인 것으로 고려된다.
도 1은 연결 디바이스와 인터랙션하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 시스템을 도시한다.
도 2a 및 도 2b는 다수의 상이한 연결 디바이스를 제어하기 위한 다수의 상이한 그래픽 제어 엘리먼트에 제공될 수 있는 복합 그래픽 어시스턴트 인터페이스의 뷰를 도시한다.
도 3a 및 도 3b는 사용자와 자동화 어시스턴트 간의 인터랙션 및/또는 하나 이상의 연결 디바이스의 현재 상태에 기초하여 하나 이상의 연결 디바이스를 제어하기 위한 제안이 사용자에게 제공되는 뷰를 도시한다.
도 4a 및 도 4b는 다수의 상이한 연결 디바이스에 의해 수행될 수 있는 기능에 대한 제안을 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법을 도시한다.
도 5는 연결 디바이스를 제어하기 위한 그래픽 제어 엘리먼트로 복합 그래픽 어시스턴트 인터페이스를 대체하는 방법을 도시한다.
도 6은 예시적 컴퓨터 시스템의 블록도이다.
도 1은 연결 디바이스들과 인터랙션하기 위한 복합 그래픽 어시스턴트 인터페이스들을 어셈블링하는 시스템(100)을 도시한다. 복합 그래픽 어시스턴트 인터페이스는 클라이언트 디바이스(102)(예를 들어, 어시스턴트 디바이스(128)), 추가 클라이언트 디바이스(예를 들어, 태블릿 디바이스(150)) 및/또는 서버 디바이스(112)와 같은 하나 이상의 컴퓨팅 디바이스에서 제공되는 자동화 어시스턴트(118)에 의해 부분적으로 생성될 수 있다. 사용자(120)는 어시스턴트 인터페이스(110)를 통해 클라이언트 자동화 어시스턴트(104)와 인터랙션할 수 있는데, 이는 마이크로폰, 카메라, 터치 스크린 디스플레이, 사용자 인터페이스, 및/또는 사용자와 애플리케이션 간의 인터페이스를 제공할 수 있는 임의의 다른 장치일 수 있다. 예를 들어, 사용자(120)는 구두, 텍스트 및/또는 그래픽 입력을 어시스턴트 인터페이스(110) 및/또는 태블릿 디바이스(150)에 제공하여 클라이언트 자동화 어시스턴트(104)를 초기하하여, 그 클라이언트 자동화 어시스턴트(104)가 동작(예를 들어, 데이터 제공, 주변 디바이스 제어, 에어전트에 엑세스 등)을 수행하도록 할 수 있다. 클라이언트 디바이스(102)는 디스플레이 디바이스(108)를 포함할 수 있는데, 이는 사용자가 터치 인터페이스를 통해 클라이언트 디바이스(102)의 애플리케이션을 제어할 수 있도록 하는 터치 입력들 및/또는 제스처들을 수신하기 위한 터치 인터페이스를 포함하는 디스플레이 패널일 수 있다. 대안적으로, 클라이언트 디바이스(102)는 디스플레이 패널을 포함하지 않는 어시스턴트 디바이스(128)일 수 있고, 그럼에도 불구하고 사용자(120)가 (예를 들어, 사용자가 어시스턴트 디바이스(128)에서 마이크로폰으로 제공한 음성 발언을 통해) 클라이언트 자동화 어시스턴트(104)와 인터랙션할 수 있는 하나 이상의 인터페이스를 제공한다.
클라이언트 디바이스(102)는 인터넷과 같은 네트워크(122)를 통해 서버 디바이스(112)와 통신할 수 있다. 클라이언트 디바이스(102)는 클라이언트 디바이스(102)에서 계산 자원를 보존하기 위해 및/또는 서버 디바이스(112)에서 더 강건한 자원들을 활용하기 위해 계산 작업을 서버 디바이스(112)로 오프로드(offload)할 수 있다. 예를 들어, 서버 디바이스(112)는 자동화 어시스턴트(118)를 호스팅할 수 있고, 클라이언트 디바이스(102)는 하나 이상의 어시스턴트 인터페이스에서 수신된 입력을 서버 디바이스(112)로 전송할 수 있다. 그러나, 일부 구현예에서, 자동화 어시스턴트(118)는 클라이언트 디바이스(102)에서 전적으로 호스팅될 수 있다. 다른 구현예들에서, 클라이언트 자동화 어시스턴트(104)의 모든 또는 그 보다 적은 양태는 클라이언트 디바이스(102)에서 구현될 수 있다. 이러한 구현예의 일부에서, 자동화 어시스턴트(118)의 양태는 클라이언트 디바이스(102)의 클라이언트 자동화 어시스턴트(102)를 통해 구현되고, 클라이언트 자동화 어시스턴트 (104)의 다른 양태를 구현하는 서버 디바이스(112)와 인터페이스한다. 서버 디바이스(112)는 다수의 스레드를 통해 다수의 사용자 및 그들의 관련 어시스턴트 애플케이션들을 선택적으로 서비스할 수 있다. 일부 구현예에서, 자동화 어시스턴트(118)의 모든 양태 또는 그 보다 적은 양태는 클라이언트 디바이스(102)의 클라이언트 자동화 어시스턴트(104)를 통해 구현되며, 클라이언트 자동화 어시스턴트(104)는 클라이언트 디바이스(102)의 운영 체제와 분리된 애플리케이션(예를 들어, 운영 시스템의 "위에(on top)"에 설치됨)이거나, 또는 대안적으로 클라이언트 디바이스(102)의 운영 체제로 직접 구현(예를 들어, 운영 체제의 애플리케이션이지만 운영 체제와 통합됨)될 수 있다.
일부 구현예에서, 서버 디바이스(112)는 오디오 데이터에 포함된 텍스트를 식별하기 위해 어시스턴트 인터페이스(110)에 수신된 오디오 데이터를 처리할 수 있는 음성-텍스트 엔진(116)를 포함할 수 있다. 오디오 데이터를 텍스트로 변환하는 과정은 음성 인식 알고리즘을 포함할 수 있는데, 신경망, word2vec 알고리즘, 및/또는 단어나 문구에 대응하는 오디오 데이터의 그룹을 식별하기 위한 통계 모델이 사용될 수 있다. 오디오 데이터로부터 변환된 텍스트는, 텍스트 파서 엔진(114)에 의해 파싱될 수 있고, 자동화 어시스턴트(104)에서 사용가능하도록 사용자 및/또는 제3자 애플리케이션으로부터 파싱한 커맨드를 생성하거나 그리고/또는 식별하는데 사용될 수 있는 텍스트 데이터로 될 수 있다.
사용자(120)는 클라이언트 디바이스(102) 및/또는 클라이언트 자동화 어시스턴트(104)를 사용하여 제1 연결 디바이스(132) 및 제2 연결 디바이스(146)와 인터랙션할 수 있다. 각 연결 디바이스는 하나 이상의 IoT 디바이스일 수 있고, 로컬 영역 네트워크 및/또는 광역 네트워크를 통해 클라이언트 디바이스(102) 및/또는 태블릿 디바이스(150)에 연결되거나 또는 이들과 통신할 수 있다. 예를 들어, 클라이언트 디바이스(102), 태블릿 디바이스(150), 제1 연결 디바이스(132), 및/또는 제2 연결 디바이스(146)는 집 또는 다른 환경에서 Wi-Fi 네트워크에 연결될 수 있다. 사용자는 제1 연결 디바이스(132)와 인터랙션하기 위해, 제1 연결 디바이스(132)와 연동된 애플리케이션을 초기화할 수 있다. 사용자(120)가 다수의 상이한 연결 디바이스들과 빈번하게 인터랙션하는 경우이면, 사용자(120)는 각 연결 디바이스를 제어하기 위해 다수의 상이한 애플리케이션들을 동작시킬 필요가 있다. 더 효율적으로 계산 자원를 사용하기 위해, 그리고 네트워크 대역폭의 낭비를 방지하기 위해, 클라이언트 자동화 어시스턴트(104) 및/또는 자동화 어시스턴트(118)는 사용자가 하나 이상의 연결 디바이스들(예를 들어, 제1 연결 디바이스(132) 및 제2 연결 디바이스(146))과 인터랙션할 수 있도록 복합 그래픽 어시스턴트 인터페이스를 제공할 수 있다.
복합 그래픽 어시스턴트 인터페이스가 생성 및/또는 제공되도록 하기 위해, 사용자(120)는 어시스턴트 인터페이스(110)에 음성 발언(130)을 제공할 수 있다. 음성 발언은 사용자가 제1 연결 디바이스(132)로 하여금 특정 기능을 수행하게 하려는 요청을 포함할 수 있다. 음성 발언(130)에 대응하는 오디오 데이터가 클라이언트 디바이스(102)로부터 서버 디바이스(112)로 전송될 수 있다. 다음, 음성-텍스트 엔진(116)과 텍스트 파서 엔진(114)이 오디오 데이터를 처리할 수 있다. 오디오 데이터의 처리 결과, 텍스트는 사용자(120)가 음성 발언(130)에서 가리키는 하나 이상의 기능들을 식별하기 위하여 기능 식별 엔진(142)에 의하여 사용될 수 있다.
예를 들어, 기능 식별 엔진(142)은, 음성 발언(130)의 텍스트를 예를 들어 연결 디바이스 서버(134)와 같은 별개의 원격 디바이스(126)에서 사용가능하도록 한 기능 데이터(136)와 비교할 수 있다. 기능 데이터(136)는 하나 이상의 연결 디바이스들(예를 들어, 제1 연결 디바이스(132) 및 제2 연결 디바이스(146))이 수행할 수 있는 기능들의 포괄 리스트를 제공할 수 있다. 기능 식별 엔진(142)은 사용자가 가리키고 연결 디바이스(132)에 의해 수행될 수 있는 하나 이상의 기능들을 식별하기 위해 텍스트와 기능 데이터(136)를 비교할 수 있다. 기능 데이터(136)는 추가적으로 또는 대안적으로, 서버 디바이스(112)와 부분적으로(locally) 연관되어 저장될 수 있다.
하나 이상의 기능들에 대응하는 텍스트를 결정하는 것에 응답하여, 자동화 어시스턴트(118) 또는 클라이언트 자동화 어시스턴트(104)는 제1 연결 디바이스(132)로 하여금 하나 이상의 식별된 기능을 수행하게 할 수 있다. 예를 들어, 제1 연결 디바이스(132)가 오븐과 같은 IoT 디바이스(이에 제한되지는 않음)인 경우, 기능은 오븐을 특정 온도로 예열하는 것을 포함할 수 있다. 기능이 제1 연결 디바이스(132)에서 수행되게 하기 위한 커맨드가 서브 디바이스(112)로부터 제1 연결 디바이스(132)로 제공될 수 있다. 대안적으로, 제1 연결 디바이스(132)가 기능을 수행하게 하기 위한 커맨드가 서버 디바이스(112)로부터 연결 디바이스 서버(134)로 제공될 수 있고, 제1 연결 디바이스(132)로 하여금 기능을 수행하게 하기 위해 제1 연결 디바이스(132)와 통신할 수 있다. 대안적으로, 클라이언트 디바이스(102)가 제1 연결 디바이스(132)로 커맨드를 전송하거나, 또는 서버 디바이스(112)가 클라이언트 디바이스(102)로 커맨드를 전송할 수 있고, 제1 연결 디바이스(132)로 하여금 기능을 수행하게 하기 위해 제1 연결 디바이스(132)와 통신할 수 있다.
제1 연결 디바이스(132)가 기능을 수행하기 위해 음성 발언(130)을 수신하는 것에 응답하여, 자동화 어시스턴트는 복합 그래픽 어시스턴트 인터페이스가 클라이언트 디바이스(102)와 연관된 디스플레이 디바이스(예를 들어, 태블릿 디바이스(150), 텔레비전, 휴대용 컴퓨터, 휴대폰 등)에 제공되게 할 수 있다. 복합 그래픽 어시스턴트 인터페이스를 생성하기 위해, 자동화 어시스턴트(118)는, 기능 데이터(136)로부터 제1 연결 디바이스(132)에 의해 수행될 수 있는 하나 이상의 기능들을 식별할 수 있다.
일부 구현예에서, 음성 발언(130)이 클라이언트 디바이스(102)에 수신되었음을 결정하는 것에 응답하여, 자동화 어시스턴트는 제2 연결 디바이스(146)(예를 들어, 다른 IoT 디바이스), 태블릿 디바이스(150), 및/또는 클라이언트 디바이스(102)와 연관된 임의의 다른 디바이스에 의하여 수행될 수 있는 하나 이상의 다른 기능들을 결정할 수 있다. 예를 들어, 기능 데이터(136)는 사용자(120), 클라이언트 디바이스(102), 및/또는 제1 연결 디바이스(132)에 대응하는 하나 이상의 기능들의 리스트를 포함할 수 있다. 자동화 어시스턴트는, 적어도 제1 연결 디바이스(132)로 하여금 기능을 수행하게 하는 요청들을 고려하여, 사용자(120)가 수행되기를 원하는 다른 기능들의 제안 또는 제안들을 제공하기 위해 하나 이상의 기능들을 결정할 수 있다.
예를 들어, 일부 구현예에서, 사용자의 프로필은 어시스턴트 인터페이스(110)에 수신되는 음성 발언의 음성 특성에 기초하여 식별될 수 있다. 상기 프로필은 사용자와 관련된 복수의 특정 연결 디바이스들 각각에 연관된 선호도들, 예를 들어 연결 디바이스(들)을 갖는 사용자의 이력적(과거) 성향에 기초하여 학습된 선호도들을 나타낼 수 있다. 또한, 상기 프로필은 사용자(102)가 특정 컨텍스트 또는 컨텍스트들과 동시에, 순차적으로, 그/또는 그 안에서 인터랙션하도록 나타낸 연결 디바이스들의 그룹을 식별할 수 있다. 예를 들어, 사용자(120)는 자동화 어시스턴트가 제1 연결 디바이스(132)로 하여금 제1 기능을 수행하게 하고 제2 연결 디바이스(146)로 하여금 제2 기능을 수행하도록 요청할 수 있고, 프로필은 예를 들어 일시적으로 다른 디바이스에 근접한 것이 한 번 이상 발생한 것에 기초하여 관련된 제1 기능 및 제2 기능을 식별할 수 있다. 그에 따라, 사용자(120)는 제1 연결 디바이스(132)로 하여금 제1 기능을 수행하도록 하기 위하여 자동화 어시스턴트와 인터랙션할 수 있고, 자동화 어시스턴트는 제1 기능을 포함하여 저장된 관련성에 기초하여 제2 기능을 식별하기 위하여 프로필에 액세스하고, 제2 연결 디바이스(146)가 제2 기능을 수행할 수 있도록 사용자(120)에게 선택 가능한 제안을 제공할 수 있다.
일부 구현예에서, 특정 컨텍스트들에서 특정 연결 디바이스들과 인터랙션하는 사용자의 이력적 성향을 결정하기 위하여, 사용자 허용(permission) 하에, 사용자(120)와 자동화 어시스턴트 간의 이력적 인터랙션들이 처리될 수 있다. 예를 들어, 사용자(120)가 아침에 두 개의 IoT 디바이스들과 인터랙션하는 히스토리를 가진 경우, 자동화 어시스턴트는 사용자가 아침에 두 개의 IoT 디바이스들 중 적어도 하나와 인터랙션하면, 적어도 아침이 끝날 때까지는 다른 IoT 디바이스와 인터랙션하려는 경향이 있다는 알림을 제공할 수 있다. 추가적으로 또는 대안적으로, 자동화 어시스턴트는 사용자(120)의 위치에 기초하여 제안들을 제공할 수 있다.
예를 들어, 사용자(120)가 주방(148)에 있을 때, 오븐(예를 들어, 제1 연결 디바이스(132))으로 하여금 제1 기능을 수행하게 하고, 태블릿 디바이스(150)로 하여금 제2 기능을 수행하게 하는 히스토리를 가질 수 있다. 사용자가 제1 연결 디바이스(132)로 하여금 제1 기능을 수행하게 하는 경우, 자동화 어시스턴트는 선택 가능한 제안 엘리먼트가 복합 그래픽 어시스턴트 인터페이스에 제공될 수 있게 할 수 있다. 선택 가능한 제안 엘리먼트는, 제2 기능이 제2 연결 디바이스(146)에서 수행될 수 있도록 하기 위하여 사용자(120)의 제안으로 동작할 수 있다. 사용자는, 제1 기능을 수행하기 위하여 예를 들어 사용자에 의하여 사용될 수 있는 클라이언트 디바이스(102) 또는 태블릿 디바이스(150)에 기초하여 주방(148) 내에 있는 것으로 결정될 수 있다. “주방”은 예를 들어 주방 레이블(148)에 배치된 디바이스(102) 및/또는 태블릿 디바이스(150)에 기초한 명시적 위치로서 선택적 확인될 수 있다. 대안적으로, 사용자의 위치는 클라이언트 디바이스(102)나 태블릿 디바이스(150)에 대응하는 위치로 더욱 일반화될 수 있다. 일부 구현예에서, 컨텍스트는 예를 들어 자동화 어시스턴트에 액세스 가능한 일정 데이터에서 식별된 것과 같이 특정 이벤트에 사용자(120)가 참가 중인지 여부가 될 수 있다. 일부 구현예에서, 컨텍스트는 사용자(120)와 다른 하나 이상의 다른 사용자가 특정 위치에 존재하는 여부가 될 수 있다.
자동화 어시스턴트가 사용자(120)에게 제안하는 다른 기능들을 식별한 경우, 식별된 다른 기능들은 그래픽 제어 엘리먼트들(140)을 식별하도록 하는 것의 기초로 사용될 수 있다. 예를 들어, 팬(fan)을 켜고 끄는 것과 같은 기능은 양방향 스위치에 대응하는 그래픽 제어 엘리먼트(140)에 의해 제어될 수 있다. 또한, 오븐의 온도 또는 음악의 볼륨을 조절하는 것과 같은 기능은, 값들 범위에서 특정 값을 선택하기 위해 회전될 수 있는 다이얼(dail)에 대응하는 그래픽 제어 엘리먼트(140)를 사용하여 제어될 수 있다. 자동화 어시스턴트(118) 또는 클라이언트 자동화 어시스턴트(104)는 식별된 다른 기능들을 서버 디바이스(112)에 저장되거나 기타 서버 디바이스(112)에서 엑세스가능한 그래픽 제어 엘리먼트들(140)과 매핑시킬 수 있다.
복합 인터페이스 엔진(144)은 복합 그래픽 어시스턴트 인터페이스를 생성하기 위하여, 그래픽 제어 엘리먼트들(140)을 식별된 다른 기능들과 매핑시킬 수 있다. 일부 구현예에서, 자동화 어시스턴트(118)는 제1 연결 디바이스(132)의 상태에 대응하는 상태 데이터(138)에 액세스할 수 있다. 상태 데이터(138)는 제1 연결 디바이스(132) 및/또는 제2 연결 디바이스(146)의 하나 이상의 기능들의 수행 또는 미수행에 의하여 달라질 수 있는 디바이스 상태들을 나타낼 수 있다.
예를 들어, 제1 연결 디바이스(132)에서 수행된 기능이 없는 경우 제1 연결 디바이스(132)의 상태는 “오프(off)”가 될 수 있다. 대안적으로, 상태는 제1 연결 디바이스(132) 및/또는 제2 연결 디바이스(146)의 특정 기능들의 조건(들) 또는 파라미터(들)을 나타내는 데이터의 테이블이나 스트링에 대응할 수 있다. 제1 연결 디바이스(132)와 제2 연결 디바이스(146) 각각의 상태는 제1 연결 디바이스(132)와 제2 연결 디바이스(146)의 기능에 매핑되었던 각 그래픽 제어 엘리먼트에 대한 구성들을 결정하는 기초로 사용될 수 있다. 예를 들어, 제1 연결 디바이스(132)가 오프(off) 상태의 히팅 엘리먼트(heating element)를 포함하는 경우, 또 제1 연결 디바이스(132)의 기능이 히팅 엘리먼트를 켜는 것인 경우, 쌍방향 스위치에 대응하는 그래픽 제어 엘리먼트가 복합 그래픽 어시스턴트 인터페이스에 제공될 수 있고, 오프(off)된 히팅 엘리먼트를 보여주는 방식으로 구성될 수 있다. 다시 말해, 각 그래픽 제어 엘리먼트는 복합 그래픽 어시스턴트 인터페이스가 태블릿 디바이스(150)에 제시될 때 제1 연결 디바이스(132)와 제2 연결 디바이스(146)의 각 현재 상태를 반영할 수 있다.
일부 구현예에서, 복합 그래픽 어시스턴트 인터페이스의 그래픽 제어 엘리먼트들의 배열 및/또는 선택은 사용자(120)와 자동화 어시스턴트 및/또는 제1 연결 디바이스(132) 간의 인터랙션들과 관련된 데이터에 기초할 수 있다. 예를 들어, 임계 시간 내에 사용자에 의하여 수행될 가능성이 있는 기능들에 기초하여, 기능들의 특정 그룹에 대응하는 그래픽 제어 엘리먼트들의 특정 그룹이 복합 그래픽 어시스턴트 인터페이스로 선택될 수 있다. 대안적으로 또는 추가적으로, 기능들의 특정 그룹에 대응하는 그래픽 제어 엘리먼트들의 특정 그룹은, 특정 사용자, 특정 위치, 특정 디바이스, 및/또는 디바이스의 기능들로 제시될 수 있는 임의의 다른 관계에 따라 어떻게 기능이 달라지는지에 기초하여 복합 그래픽 어시스턴트 인터페이스로 선택될 수 있다. 예를 들어, 사용자를 위해 생성된 복합 그래픽 어시스턴트 인터페이스는, 집에 있는 사용자의 현재 위치에 영향을 받는 다수의 상이한 연결 디바이스들의 기능들에 대응하는 그래픽 제어 엘리먼트들을 포함할 수 있다. 따라서, 그래픽 제어 엘리먼트들의 선택은, 사용자의 위치, 연결 디바이스의 식별자, 사용자의 일정관리 스케줄, 및/또는 사용자의 지리위치 데이터를 추정하는데 사용될 수 있는 임의의 다른 데이터에 기초하여 이루어질 수 있다.
일부 구현예에서, 사용자(120)가 통합 디스플레이 패널이 결여된(lacks) 어시스턴트 디바이스(128)에 음성 발언(130)을 제공하거나 또는 그 밖의 이유로 어시스턴트 디바이스(128)에 복합 그래픽 어시스턴트 인터페이스를 쉽게 제시할 수 없는 경우가 있을 수 있다. 그 구현예들에서, 자동화 어시스턴트가 어시스턴트 디바이스(128)에서 음성 발언(130)을 수신하고 사용자(120)에 의해 요청된 기능이 제1 연결 디바이스(132)에서 수행되게 할 수 있다. 그러나, 자동화 어시스턴트는, 기능을 수행하기 위한 요청이 수신되고 디스플레이 패널이 어시스턴트 디바이스에서 사용가능하지 않다고 결정한 것에 응답하여, 하나 또는 그 이상의 후보 디바이스들을 식별할 수 있다. 후보 디바이스들은, 어시스턴트 인터페이스를 디스플레이할 수 있는 능력(ability), 사용자(120)와의 근접, 어시스턴트 디바이스(128)와의 근접, 제1 연결 디바이스(132)와의 근접, 및/또는 특정 후보 디바이스에 대한 사용자(120) 선호도에 기초하여 식별될 수 있다.
예를 들어, 자동화 어시스턴트가 디스플레이 패널이 어시스턴트 디바이스(128)에서 사용할 수 없는 것으로 판단하고 태블릿 디바이스(150) 또는 텔레비전이 어시스턴트 디바이스(128)에서 다음으로 가장 근접한 디스플레이 디바이스인 것으로 판단한 경우, 자동화 어시스턴트는 태블릿 디바이스(150) 또는 텔레비전으로 하여금 복합 그래픽 어시스턴트 인터페이스를 제시하게 할 수 있다. 사용자(120)가 항상 디스플레이 패널이 가까이 있지는 않기 때문에, 사용자가 요청한 특정 기능이 연결 디바이스(132)에 의해 수행될 경우 자동화 어시스턴트는 여전히 복합 그래픽 어시스턴트 인터페이스가 근처의 디스플레이 디바이스에서 생성될 수 있게 할 수 있다. 일부 구현들에서, 사용자(120)가 기능을 수행하기 위해 연결 디바이스(132)에 요청을 제공하는 것에 응답하여, 자동화 어시스턴트는 어시스턴트 디바이스(128)로 하여금 사용자에게 복합 그래픽 어시스턴트 인터페이스의 위치를 청각적으로 알려주게 할 수 있다. 예를 들어, 사용자(120)가 “어시스턴트, 오븐을 예열해줘”라는 음성 발언을 제공한 것에 응답하여, 자동화 어시스턴트는 어시스턴트 디바이스(128)로 하여금 “알았어요(OK), 당신의 태블릿 디바이스에 추가 제어들을 포함한 인터페이스를 제공했어요”라는 응답을 청각적으로 출력하게 할 수 있다. 그에 따라 자동화 어시스턴트는, 태블릿 디바이스를 검색할 경우 제1 연결 디바이스(132)와 제2 연결 디바이스(146)에 대한 추가 제어들을 찾을 수 있도록 사용자(120)에게 알림(notice)을 제공할 수 있다.
도 2a 및 도 2b는 다수의 상이한 연결 디바이스들을 제어하기 위한 다수의 상이한 그래픽 제어 엘리먼트들로 제공될 수 있는 복합 그래픽 어시스턴트 인터페이스(222)의 뷰들(200, 210)을 도시한다. 사용자(202)가 자동화 어시스턴트 인터페이스(214)를 통해 자동화 어시스턴트에 음성 발언(208)을 제공하는 것에 응답하여, 복합 그래픽 어시스턴트 인터페이스(222)가 사용자(202)에게 제공될 수 있다. 자동화 어시스턴트 인터페이스(214)는, 예를 들어 사용자(202)가 자동화 어시스턴트 인터페이스(214)에 청각적 음성 발언(208)을 제공하는 것에 응답하여, 적어도 특정 신호를 제공할 수 있는 마이크로폰일 수 있다. 예를 들어, 음성 발언(208)은 “어시스턴트, 주방 온도를 높여줘”일 수 있다. 음성 발언(208)의 수신에 응답하여, 자동화 어시스턴트는 사용자가 인터랙션하고자 하는 기능 및/또는 연결 디바이스를 결정할 수 있고, 연결 디바이스로 하여금 사용자(202)가 요청한 기능이 수행되게 할 수 있다. 예를 들어, 음성 발언(208)의 수신에 응답하여, 자동화 어시스턴트는 사용자(202) 집 안의 온도조절장치로 하여금 적어도 주방의 온도를 조절하도록 할 수 있다.
사용자(202)로부터 제공된 후속 음성 발언들의 불필요한 처리를 줄이고 그에 따른 계산 및 네트워크 자원들을 보존하기 위해, 자동화 어시스턴트는 기능 제안들이 클라이언트 디바이스(202)의 디스플레이 패널(206)에, 또는 별개의 디바이스에 제공되게할 수 있다. 예를 들어, 음성 발언(208)을 수신한 것에 응답하여, 자동화 어시스턴트, 클라이언트 디바이스(204), 및/또는 원격 서버 디바이스는, 다른 연결 디바이스들의 다른 기능들을 제어하기 위한 제안들을 제공할 수 있도록 데이터에 액세스할 수 있다. 연결 디바이스는 클라이언트 디바이스(204) 및/또는 자동화 어시스턴트와 통신할 수 있도록 연결 디바이스 또는 기타 다른 장치가 될 수 있다. 데이터는 각 연결 디바이스의 상태에 관한 정보를 제공할 수 있고, 복합 그래픽 어시스턴트 인터페이스(222)에 제공되는 제안들은 특정 연결 디바이스들의 특정 상태들에 기초할 수 있다.
예를 들어, 사용자(202)가 음성 발언(208)을 제공한 시점에 주방 조명의 상태가 “오프(off)”일 수 있는데, 사용자(202)는 주방의 환경을 바꾸는데 관심을 표현했던 경우, 사용자(202)는 주방의 조명의 상태를 변경하는데에도 관심을 가질 수 있다. 구체적으로, 주방의 조명은 밝기와 관련된 비-이진 파라미터들을 가질 수 있고, 사용자(202)가 주방 조명을 조절하는데에도 관심을 갖는 것으로 결정한 것에 응답하여, 자동화 어시스턴트는 주방 밝기 제어(218)의 역할을 수행할 수 있는 다이얼 그래픽 제어 엘리먼트를 선택할 수 있다.
일부 구현예에서, 주방내의 통상 위치에 주방 조명이 존재하고 사용자(202)가 분명히 주방의 온도를 변경하는데 관심을 표현한 것에 응답하여, 주방 밝기 제어 (218)가 복합 그래픽 어시스턴트 인터페이스(222)로 선택될 수 있다. 대안적으로, 또는 추가적으로, 특정 컨텍스트 내에서 주방 온도와 주방 조명을 변경하기 위한 사용자(202)의 이력적 성향에 기초하여, 복합 그래픽 어시스턴트 인터페이스(222)에서 사용자(202)에 대한 제안으로 주방 밝기 제어(218)가 선택될 수 있다. 사용자(202)의 이력적 성향은, 사용자(202)와 자동화 어시스턴트 및/또는 사용자(202)와 하나 이상의 연결 디바이스들 간의 이전 인터랙션들에 기초하여 성향(inclination)을 특징짓는 사용자 프로필 또는 선호도 데이터의 일부로 나타내질 수 있다. 일부 구현예에서, 그러한 인터랙션들은 예를 들어 특정 시간(212)(예, 6:00 AM 이후)과 같은 특정 컨텍스트 내에서 발생할 수 있고, 자동화 어시스턴트는 특정 컨텍스트에 기초하여 복합 그래픽 어시스턴트 인터페이스(222)를 생성할 수 있다. 대안적으로 또는 추가적으로, 컨텍스트는 하나 이상의 각 연결 디바이스들의 하나 이상의 상태들에 의하여 특징지어질 수 있다.
대안적으로 또는 추가적으로, 하나 이상의 기능들을 사용자에게 제안하도록 결정하기 위해, 자동화 어시스턴트는 사용자의 요청을 식별할 수 있고 그 요청을 사용 가능한 데이터(예를 들어, 선호도 데이터 및/또는 이력적 인터랙션 데이터)와 비교할 수 있다. 제안하는 하나 이상 기능들을 자동화 어시스턴트가 식별한 경우, 자동화 어시스턴트는 하나 이상의 식별된 기능들의 각 기능에 대응하는 각 연결 디바이스를 식별할 수 있다. 수행할 기능의 제안이 중복되지 않음을 확실히 하기 위해, 또는 그로 인해 연결 디바이스의 상태가 변경되지는 않을 것임을 확실히 하기 위해, 각 연결 디바이스의 상태가 결정될 수 있다. 예를 들어, 사용자는 일반적으로 아침에 주방 조명을 켜고, 이어서 커피 메이커를 작동시킬 수 있다. 그러한 시나리오에서, 자동화 어시스턴트는 주방 조명이 켜지도록 자동화 어시스턴트를 초기화하는 음성 발언(예를 들어, “어시스턴트, 주방 조명을 켜줘”)을 제공할 수 있다. 사용자가 주방 조명과 커피 메이커 모두 켜는 이력적 인터랙션들을 나타내는 데이터에 기초하여, 주방 조명을 키라는 요청을 수신하는 것에 응답하여, 자동화 어시스턴트는 커피 메이커 및/또는 커피 메이커를 켜는 기능을 식별할 수 있다. 기능 제안이 중요하지 않음을 확인하기 위해, 자동화 어시스턴트는 커피 메이커의 현재 상태를 사용자가 주방 조명을 켤 때 사용자가 연결 디바이스에 대해 일반적으로 원하는 상태를 비교할 수 있다. 커피 메이커의 현재 상태가 원하는 상태를 반영한 경우, 자동화 어시스턴트는 커피 메이커를 제어하기 위해 복합 그래픽 어시스턴트 인터페이스에 그래픽 제어 엘리먼트를 제공하는 것을 생략할 수 있다. 하지만, 커피 메이커의 현재 상태가 원하는 상태를 반영하지 않은 경우(예를 들어, 커피 메이커가 꺼진 상태여서 원하는 상태를 제시하지 못함)이면, 자동화 어시스턴트는 커피 메이커를 켜는는 기능을 제어하기 위한 그래픽 제어 엘리먼트를 선택할 수 있다. 이러한 방식으로, 복합 그래픽 어시스턴트는 이미 발생했을 수 있는 제안들을 연결 디바이스들에 제공하는 것이 아니라, 사용자가 일반적으로 원하는 변경 사항에 영향을 주는 그래픽 제어 엘리먼트를 제공하도록 최적화될 수 있다.
예를 들어, 복합 그래픽 어시스턴트 인터페이스(222)는 대응하는 특정 연결 디바이스의 상태에 기초하여 복합 그래픽 어시스턴트 인터페이스(222)로 선택되는 다수의 상이한 그래픽 제어 엘리먼트들을 포함할 수 있다. 예를 들어, 사용자(202)가 자동화 어시스턴트에게 주방의 온도를 높이도록 요청하였기 때문에, 자동화 어시스턴트가 오븐 및/또는 커피 메이커와 같이 사용자가 제어하는데 관심을 갖는 주방 내 다른 연결 디바이스들을 식별할 수 있다. 이들 연결 디바이스들 각각은 오프(off) 상태일 수 있으므로(오븐 온도 조절(216) 및 커피 메이커 제어(220)의 구성으로 나타내짐), 이들 연결 디바이스는 제어 제안들을 위한 후보 연결 디바이스들일 수 있다. 또한, 사용자(202)는 6:00 AM 이후의 임계 시간 범위 내에, 주방의 온도를 높이는 것과, 주방의 조명을 조절하는 것과, 오븐을 예열하는 것과, 커피 메이커를 작동시키는 것 모두를 히스토리로 가질 수 있다. 이들 디바이스들 각각 및/또는 그들의 제어 애플리케이션들은 상이한 제3자에 의해 제공될 수 있는데, 자동화 어시스턴트는 사용자(202)가 단일의 인터페이스에서 각 디바이스를 제어할 수 있도록 하기 위해 복합 그래픽 어시스턴트 인터페이스(222)를 컴파일할 수 있다.
일부 구현예에서, 사용자(202)가 복합 그래픽 어시스턴트 인터페이스(200)의 그래픽 제어 엘리먼트들 중 하나를 선택한 결과, 대응하는 연결 디바이스의 상태가 변경될 수 있다. 예를 들어, 적어도 주방 밝기 제어(218)가 가장 낮은 레벨로 설정된 것에 기초하여 초기에는 주방 조명의 밝기가 “오프(off)”로 나타내질 수 있다. 사용자가 주방 밝기 제어(218)를 더 높은 레벨로 조절한 경우, 주방 조명의 상태가 “온(on)” 상태를 갖도록 업데이트될 수 있다. 또한, 주방 조명의 상태는 그래픽 제어 엘리먼트의 조절에 응답하여 생성된 특정 슬롯 값을 반영하도록 업데이트될 수도 있다. 예를 들어, 슬롯 값은 주방 밝기 제어(2181)가 60%로 상향 조절된 것을 나타내는, “60%”일 수 있으며, 그에 따라 주방 조명의 상태는 “주방 조명: 상태(조명[온(on)], 밝기[60], 색조[널값(null)])”가 되도록 업데이트될 수 있다. 이 후, 임의의 다른 후속 제안들이 업데이트된 주방 조명의 상태에 기초할 수 있다. 예를 들어, 이제 주방 조명은 “온(on)” 상태이므로, 자동화 어시스턴트는 적어도 주방 조명이 켜진 것에 기초하여 복합 그래픽 어시스턴트 인터페이스(222)로 하여금 주방 조명의 색조를 변경하기 위한 그래픽 제어 엘리먼트와, "널값(null)" 또는 디폴트 설정값을 갖는 "색조" 파라미터를 제공하게 할 수 있다.
일부 구현예에서, 복합 그래픽 어시스턴트 인터페이스(222)는 사용자(202)가 음성 발언(208)을 제공한 것에 응답하여 수행된 기능의 상태 표시(224)를 제공할 수 있다. 또한, 음성 발언(208)을 수신한 것에 응답하여, 자동화 어시스턴트가 복합 그래픽 어시스턴트 인터페이스(222)로 하여금 음성 발언을 특징짓는 자연어로 포함된 제안을 제공하게 할 수 있다. 음성 발언은, 자동화 어시스턴트 인터페이스에 제공될 때에 하나 이상의 연결 디바이스들로 하여금 하나 이상의 기능들을 수행하도록 자동화 어시스턴트를 초기화하는 것의 하나일 수 있다. 예를 들어, 음성 발언(208)의 수신에 응답하여, 자동화 어시스턴트는 음성 발언(208)이 영향을 미치는 영역(예, 주방)에 위치한 연결 디바이스의 상태를 식별할 수 있다. 자동화 어시스턴트는, 자동화 어시스턴트 인터페이스에 수신될 때, 연결 디바이스로 하여금 기능을 수행하도록 자동화 어시스턴트를 초기화하는 자연어 입력을 식별할 수 있다.
예를 들어, 연결 디바이스가 커피 메이커인 경우, 자동화 어시스턴트는 예를 들어 “어시스턴트, 커피 메이커 작동시켜 줘”와 같이 커피 메이커를 제어하기 위하여 이전에 사용된 음성 발언을 식별할 수 있다. 전술한 음성 발언의 식별에 응답하여, 자동화 어시스턴트는 그래픽 어시스턴트 인터페이스(222)로 하여금 음성 발언이 적어도 “커피 메이커 켜짐(turn on the coffeemaker)” 텍스트를 포함한 선택 가능한 제안 엘리먼트로 제시되게 할 수 있다. 그리하여, 사용자(202)는 커피 메이커를 작동시키기 위해 선택 가능한 제안 엘리먼트를 선택하거나 또는 커피 메이커가 작동하도록 자동화 어시스턴트를 초기하기 위한 음성 발언으로서 텍스트를 발화하도록 할 수 있다. 또한, 자동화 어시스턴트는 특정 연결 디바이스와 인터랙션하기 위해 클라이언트 디바이스(204)에 의해 사용될 수 있는 커맨드 데이터를 검색할 수 있다. 자동화 어시스턴트가 사용자(202)에게 제공할 특정 제안들을 결정하였으므로, 자동화 어시스턴트는 제안된 기능이 연결 디바이스에 의하여 실행될 수 있도록 하는 데이터를 부분적으로 제공할 수 있다. 결과적으로, 제안에 대한 사용자 선택에 응답하여, 어떻게 연결 디바이스로 하여금 기능을 수행하게 할지에 관하여 추가 정보를 획득하기 위해 자동화 어시스턴트 및/또는 클라이언트 디바이스가 원격 서버와 통신할 필요가 없을 것이다.
도 3a 및 도 3b는 사용자(302)와 자동화 어시스턴트 간의 인터랙션 및/또는 하나 이상의 디바이스들의 현재 상태에 기초하여 하나 이상의 연결 디바이스들을 제어하기 위한 제안들이 사용자(302)에게 제공되는 뷰들(300, 344)을 도시한다. 예를 들어, 사용자(302)는 주방(320) 내에 진입하여 클라이언트 디바이스(328)(예를 들어, 어시스턴트 디바이스(326))의 어시스턴트 인터페이스(332)를 통해 클라이언트 자동화 어시스턴트(330)를 초기화할 수 있다. 사용자(302)는 예를 들어 “어시스턴트, 주방에 음악 재생해줘”와 같은 음성 발언(322)을 제공함으로써 클라이언트 자동화 어시스턴트(330)를 초기화할 수 있다. 클라이언트 자동화 어시스턴트(330)는, 사용자(302)가 수행되기를 희망하는 동작(act) 또는 기능을 식별하기 위하여 음성 발언(322)을 수신하고, 음성 발언(322)이 클라이언트 디바이스(328) 또는 별개의 원격 서버에서 처리되도록 할 수 있다. 클라이언트 디바이스(328)가 디스플레이 패널을 포함하지 않기 때문에, 적절한 디바이스를 결정하기 위해 클라이언트 디바이스(328)가 디바이스 토폴로지에 액세스할 수 있다. 이는, 요청된 기능(예, 음악 재생)과 연관된 임의의 기능들, 및/또는 디바이스 토폴로지에서 식별된 다른 연결 디바이스들과 연관된 임의의 다른 기능들을 추가로 제어할 수 있도록 복합 그래픽 어시스턴트 인터페이스(306)를 제공하는 것을 통해 수행될 수 있다.
예를 들어, 클라이언트 자동화 어시스턴트(330)에서 액세스 가능한 저장된 디바이스 토폴로지는, 주방(320)의 디바이스들을 알려주는 디바이스 토폴로지로부터 태블릿 디바이스(316), 제1 연결 디바이스(318), 및 제2 연결 디바이스(324)를 식별할 수 있다. 디바이스 토폴로지는, 태블릿 디바이스(316)가 디스플레이 패널을 갖는 유일한 디바이스임을 더 식별할 수 있고, 그에 따라 사용자(302)가 주방(320) 내에 있는 동안 제시될 임의의 복합 그래픽 어시스턴트 인터페이스가 태블릿 디바이스(316)에 제공될 수 있다. 또한, 적절한 복합 그래픽 어시스턴트 인터페이스를 생성하기 위해, 자동화 어시스턴트가 각 연결 디바이스의 상태를 식별할 수 있고 그리고/또는 요청된 기능(예, 음악 재생)의 수행 후 연결 디바이스들 중 하나와 인터랙션하는 사용자(302)의 이력적 성향을 결정할 수 있다. 예를 들어, 제1 연결 디바이스(318)(예, 오븐)의 현재 상태가 오프이기 때문에, 자동화 어시스턴트는 복합 그래픽 어시스턴트 인터페이스(306)에 선택 가능한 제안 엘리먼트(310)를 제시함으로써 사용자가 오븐을 제어하도록 제안할 수 있다.
또한, 제2 연결 디바이스(324)(예, 식기세척기)의 현재 상태가 오프이기 때문에, 자동화 어시스턴트는 선택 가능한 제안 엘리먼트(312)를 복합 그래픽 어시스턴트 인터페이스(306)에 제시함으로써 사용자가 식기세척기를 제어하도록 제안할 수 있다. 또한, 자동화 어시스턴트는 최초에 요청된 기능인 음악 재생과 관련된 임의의 다른 기능들이 존재하는지를 결정하여, 그 다른 기능을 제어하기 위한 그래픽 제어 엘리먼트를 복합 그래픽 어시스턴트 인터페이스(306)에 제공할 수 있다. 예를 들어, 클라이언트 자동화 어시스턴트(330)의 클라이언트 자동화 어시스턴트(330)에서 수행될 수 있는 음악을 켜는 기능은, 클라이언트 디바이스의 상태가 적어도 “클라이언트 디바이스: 상태(음악[켜짐(on)], 볼륨[디폴트값])”로 되게 할 수 있다. 클라이언트 디바이스(328)의 파라미터가 디폴트 모드인 것에 응답하여, 자동화 어시스턴트는 대응 파라미터를 제어하기 위한 그래픽 제어 엘리먼트를 제공할 수 있다. 예를 들어, 자동화 어시스턴트는 주방(320)에서 음악 볼륨을 제어하기 위한 주방 볼륨 조절(314)을 제공할 수 있다. 그러나 사용자(302)가 음악을 켜는 것에 대응하는 이전 요청을 제공하지 않았다면 자동화 어시스턴트는 복합 그래픽 어시스턴트 인터페이스(306)에서 주방 볼륨 조절(314)을 생략할 수 있다.
도 3b는 사용자(302)가 도 3a의 복합 어시스턴트 인터페이스(306)에서 선택 가능한 제안 엘리먼트를 선택한 것에 응답하여, 자동화 어시스턴트에 의해 수행된 다른 복합 그래픽 어시스턴트 인터페이스(340)의 뷰(344)를 도시한다. 예를 들어, 사용자(302)가 선택 가능한 제안 엘리먼트 “오븐 제어”(310)를 선택한 것에 응답하여, 자동화 어시스턴트는 오븐 온도를 설정하기 위한 다이얼(334)을 포함하는 다른 복합 그래픽 어시스턴트 인터페이스(340)를 제공할 수 있다. 제1 연결 디바이스(132)의 현재 상태, 및/또는 제1 연결 디바이스(132)의 하나 이상의 현재 파라미터들을 반영하기 위해 다이얼(334)의 초기 구성은 “0”이 될 수 있다. 예를 들어, 제1 연결 디바이스(132)의 현재 상태는 “오븐: 상태(전원[오프(off), 온도[0]])”일 수 있고, 다이얼(334)의 구성은 제1 연결 디바이스(318)에 대한 다수의 현재 파라미터들을 반영할 수 있다.
다시 말해, 다이얼(334)은 오븐이 꺼짐(off)을 나타내는 최하의 상태가 되고, 온도는 0으로 설정된다. 그러한 파라미터들은 복합 그래픽 어시스턴트 인터페이스(340)의 공간을 보존하기 위해 단일의 그래픽 제어 엘리먼트에 통합되어 반영될 수 있고, 사용자(302)에게 더 많은 정보를 제공할 수 있도록 더 직관적인 방식을 제공할 수 있다. 사용자(302)가 선택 가능한 제안 엘리먼트 “제어 식기세척기”(312)를 선택한 경우, 현재 상태가 "오프"인 특정 제2 연결 디바이스(324)와 제어를 위한 단일의 파라미터(온 또는 오프)에 기초하여, 다른 복합 그래픽 어시스턴트 인터페이스(340)에 스위치(336)가 제시될 수 있다. 일부 구현예에서, 요청된 기능에 대응하는 메타 데이터, 요청된 기능의 상태(예, 음악 재생)가 상태 표시자(342)로 제시될 수 있다. 그리하여, 사용자(302)는 요청과 관련된 현재 상태를 결정하기 위해 자동화 어시스턴트를 다시 작동시킬 필요가 없고, 마찬가지로 그러한 정보를 결정하기 위해 상이한 인퍼페이스들 간에 스왑(swap)을 수행할 필요가 없다. 대신, 계산 및 네트워크 자원들의 낭비를 줄일 수 있는 통합된 인터페이스를 제공하기 위하여, 자동화 어시스턴트 메타데이터가 다른 제3자 디바이스들과 관련된 그래픽 제어 엘리먼트들과 함께 제시될 수 있다.
일부 구현예에서, 주방내의 다른 연결 디바이스의 현재 상태는 다른 연결 디바이스에 설정되었던 것과 관련된 파라미터들을 나타내므로, 자동화 어시스턴트는 연결 디바이스의 그래픽 제어 엘리먼트를 제공하는 것을 생략할 수 있다.
예를 들어, 사용자(302)가 음성 발언(322)를 제공할 때 주방 조명의 현재 상태가 “온(on)”인 경우, 자동화 어시스턴트가 주방 조명의 현재 상태를 인지할 수 있고 조명을 끄는 기능을 제안하는 것을 생략할 수 있다. 그러한 생략들은 주방 또는 집안의 다른 영역들의 하나 이상의 디바이스들의 하나 이상의 상태들, 및/또는 주방에서 음악이 재생되도록 요청한 경우 조명을 끄지 않는 사용자(302)의 이력적 성향에 기초할 수 있다. 일부 구현예에서, 이력적 성향을 식별하는 것은 사용자(302)의 음성 특성에 기초할 수 있고, 자동화 어시스턴트로 하여금 한 명 또는 복수의 사용자들에게 적절한 제안들을 생성하기 위해 처리될, 특정 사용자와 관련된 데이터를 식별할 수 있게 한다. 일부 구현예에서, 특정 그래픽 제어 엘리먼트의 포함 또는 생략은, 예를 들어 특정 시간(304) 전 또는 후, 특정 시간과 관련된 임계 시간 이내, 지리적 위치, 이벤트, 및/또는 하나 이상의 사용자들의 존재와 같이, 사용자가 제공한 음성 발언(322)의 특정 컨텍스트에 기초할 수 있다.
도 4a 및 도 4b는 다수의 상이한 연결 디바이스들에 의해 수행될 수 있는 기능들에 대한 제안들을 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법들(400, 410)을 도시한다. 방법(410)은, 방법(410)은 도 4a 및 도 4b에 원형의 연속 엘리먼트 "A"로 표시된 바와 같이 방법(400)의 연속일 수 있다. 방법(400, 410)은 하나 이상의 컴퓨팅 디바이스, 애플리케이션들, 및/또는 연결 디바이스 또는 자동화 어시스턴트와 인터렉션할 수 있는 임의의 다른 장치 또는 모듈에 의해 수행될 수 있다. 방법(400)은 클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 기능을 수행하기 위한 연결 디바이스에 대한 요청을 포함한다고 결정하는 단계의 동작(402)을 포함할 수 있다. 자동화 어시스턴트는 하나 이상의 마이크로폰, 터치 디스플레이 패널, 카메라, 센서, 및/또는 사용자가 디바이스에 입력을 제공할 수 있는 임의의 다른 장치 중 하나 이상일 수 있다. 또한, 클라이언트 디바이스는 컴퓨팅 디바이스에 통합되거나, 그렇지 않으면 컴퓨팅 디바이스와 통신하는 터치 디스플레이 패널을 포함할 수 있는 컴퓨팅 디바이스일 수 있다. 예를 들어, 클라이언트 디바이스는 WiFi 네트워크에 연결된 어시스턴트 디바이스일 수 있고, 어시스턴트 디바이스는 WiFi 네트워크를 통해 별개의 디스플레이 패널(예를 들어, 텔레비전 또는 다른 디스플레이 디바이스)과 통신할 수 있다. 클라이언트 디바이스와 통신하는 임의의 디바이스가 연결 디바이스일 수 있다. 예를 들어, WiFi 네트워크를 갖춘 집에서, 클라이언트 디바이스와 연결된 임의의 IoT 디바이스가 연결 디바이스로서 고려될 수 있다.
대안적으로 또는 추가적으로, 로컬 영역 네트워크, 광역 네트워크, 및/또는 인터넷을 통해 클라이언트 디바이스와 통신하는 임의의 디바이스가 연결 디바이스일 수 있다. 자동화 어시스턴트 인터페이스를 통해 사용자로부터 커맨트를 수신하고, 클라이언트 디바이스로 하여금 연결 디바이스와 인터랙션하게 함으로써, 자동화 어시스턴트가 연결 디바이스와 통신할 수 있다. 대안적으로 또는 추가적으로, 자동화 어시스턴트가 커맨드를 수신하는 것에 응답하여, 자동화 어시스턴트는 원격 서버로 하여금 연결 디바이스에 커맨드를 발행하도록 할 수 있다. 대안적으로 또는 추가적으로, 연결 디바이스 서버가 연결 디바이스로 하여금 특정 기능을 수행하게 하기 위해, 자동화 어시스턴트가 원격 서버로 하여금 연결 디바이스와 관련된 연결 디바이스 서버에 커맨드를 발행하게 할 수 있다.
방법(400)은 요청의 수신에 응답하여, 수신된 요청에 대응하는 기능을 식별하는 동작(404)을 더 포함할 수 있다. 기능은, 클라이언트 디바이스와 통신하는 하나 이상의 연결 디바이스들에 의하여 수행될 수 있는 사용 가능한 기능들의 스토리지 또는 리스트에 액세스하여서 식별될 수 있다. 일부 구현예에서, 적어도 자동화 어시스턴트를 부분적으로 호스트하는 원격 서버 디바이스는, 별개의 연결 디바이스 서버에 질의할 수 있고, 연결 디바이스에 의해 수행될 수 있는 하나 이상 기능들을 식별하는 데이터를 제공할 수 있다. 연결 디바이스가 IoT 디바이스인 경우, 기능은 이에 한정되지 않지만, 센서의 정보를 제공하는 것, 연결 디바이스의 하드웨어 컴포넌트에 대한 입력 파라미터를 변경하는 것, 연결된 디바이스가 네트워크 작업을 수행하도록 하는 것, 연결 디바이스가 다른 연결 디바이스및/또는 디바이스에 의 수행될 수 있는 임의의 다른 기능과 통신하도록 하는 것과 같이 연결 디바이스에 의해 수행될 수 있는 임의의 실행 가능한 작업일 수 있다. 예를 들어, 기능은 연결 디바이스에 의해 실행될 때, 연결 디바이스로 하여금 연결 디바이스에 의해 제어 가능한 임의의 조명들을 끄도록 할 수 있다(예를 들어, “기능(연결 디바이스: 조명: {오프(off)})”, 여기서 “오프(off)”는 "조명" 파라미터의 슬롯 값임).
방법(400)은 기능들을 식별하는 것에 기초하여, 연결 디바이스가 수신된 요청에 대응하는 기능을 수행하게 하는 동작(406)을 더 포함할 수 있다. 클라이언트 디바이스 또는 자동화 어시스턴트는 커맨드 데이터를 연결 디바이스로 전송함으로써, 또는 커맨드 데이터가 연결 디바이스에 전송되게 함으로써, 연결 디바이스로 하여금 기능을 수행하게 할 수 있다. 연결 디바이스가 기능을 수행한 결과, 연결 디바이스의 실행에 의해 영향을 받는 임의의 변경 사항(change)를 반영하기 위해 연결 디바이스의 상태가 변경될 수 있다. 연결 디바이스의 상태는 "connected device: status(lights[off], brightness}//≫//], hue}//≫//])"와 같은 데이터로 특징지어질 수 있는데, 여기서 특정 파라미터 또는 슬롯값은 연결 디바이스에 제공된 특정 슬롯값(예를 들어, 오프)으로 인해 엠프티(empty) 또는 널값(null)을 가질 수 있다. 일부 구현예에서, 연결 디바이스가 기능을 실행한 컨텍스트에 따라, 사용자와 관련된 프로필 또는 컨텍스트가 수행될 기능에 대한 요청을 반영하도록 업데이트되거나 또는 변경될 수 있다. 이러한 방식으로, 사용자와 연결 디바이스 및/또는 자동화 어시스턴트 간의 이력적 인터랙션들에 대응하는 데이터가 사용자와 연결 디바이스 및/또는 자동화 어시스턴트 간의 추가 인터랙션들을 향상시키기 위하여 후속적으로 처리될 수 있다.
예를 들어, 기능이 밤에 디바이스의 조명들을 끄는 요청에 대응하는 경우, 프로필은 밤에 특정 기능이 더 높은 등급을 차지하도록 업데이트될 수 있고, 그리고/또는 그 밖에 밤에 실행될 기능을 사용자에게 요청하는 사용자의 이력적 성향을 나타낼 수 있다. 프로필은, 특정 컨텍스트 내의 기능들 또는 그와 유사한 기능들을 요청하기 위하여 적어도 사용자의 이력적 성향에 따라 다수의 상이한 연결 디바이스들에 의하여 실행될 기능들의 추천들을 제공할 수 있는 기초로 사용될 수 있다. 일부 구현예에서, 프로필은 하나 이상의 연결 디바이스들의 상태에 따라 제안되어야 하는 기능들을 나타낼 수 있다. 그리하여, 자동화 어시스턴트는 하나 이상의 연결 디바이스들의 하나 이상의 상태들을 체크할 수 있고, 하나 이상의 연결 디바이스들의 하나 이상의 상태들에 기초하여 특정 기능들을 요청하기 위한 사용자의 이력적 성향을 결정할 수 있다.
방법(400)은 요청의 수신에 응답하여, 자동화 어시스턴트에서 액세스 가능한 데이터에 기초하여 자동화 어시스턴트가 사용자에게 제안하는 다른 기능을 결정하는 동작(408)을 더 포함할 수 있다. 상기 다른 기능은 동작(406)에서 수행된 기능과 다를 수 있고, 동작(406)에서 기능을 수행했던 연결 디바이스와 다른 연결 디바이스에 의해 수행될 수 있다. 다른 기능은, 자동화된 어시스턴에서 액세스가능하고 다른 기능이 수행될 수 있도록 하는 사용자의 이력적 성향을 나타낸 데이터에 기초하여 결정될 수 있고, 현재 컨텍스트 내에서 다른 연결 디바이스와 인터랙션할 수 있다. 예를 들어, 동작(406)에서 기능을 수행한 연결 디바이스의 상태에 기초하여 다른 기능이 결정될 수 있다. 따라서, 연결 연결 디바이스의 현재 상태가 “연결 디바이스: 상태(조명[오프], 밝기[널값(null)]), 색조[널값(null)]”)인 경우, 제안된 다른 기능은 적어도 사용자가 조명을 끄고 조명 상태를 변경하고 그리고 보안 시스템을 켰던 이전 인터렉션에 기초하여 보안 시스템(예, 다른 연결 디바이스)의 보안 경보를 켜는 것일 수 있다. 이러한 제안을 제공함으로써, 사용자가 이러한 기능을 수행하도록 하기 위해 음성 명령을 발행하는 것과 비교하여 계산 자원과 네트워크 자원이 보존될 수 있으며 그 결과 음성 처리가 발생한다.
방법(400)은 도 4a 및 도 4b에서 원형 도시된 지속 엘리먼트 “A”에 나타낸 바와 같이, 방법(410)에서 계속될 수 있다. 방법(410)은 다른 기능을 결정한 것에 응답하여, 다른 연결 디바이스의 다른 기능을 제어하기 위한 그래픽 제어 엘리먼트를 식별하는 동작(412)를 포함할 수 있다. 그래픽 제어 엘리먼트는, 클라이언트 디바이스 및/또는 자동화 어시스턴트에서 액세스 가능한 메모리에 저장된 다수의 그래픽 제어 엘리먼트들로부터 선택될 수 있다. 일부 구현예에서, 각 그래픽 제어 엘리먼트는, 그래픽 제어 엘리먼트에 의해 특징지어질 수 있는 입력들 및/또는 그래픽 제어 엘리먼트에 수신된 선택 또는 제스처에 응답하여 제공될 수 있는 출력들을 나타내는 메타데이터와 연관시켜 저장될 수 있다. 예를 들어, 양방향 스위치를 나타내는 그래픽 제어 엘리먼트는, 터치입력 및/또는 스와이프 제스처를 수신할 수 있는 그래픽 제어 엘리먼트, 및/또는 1 또는 0과 같은 이진 출력 및/또는 온 또는 오프를 제공할 수 있는 그래픽 제어 엘리먼트를 나타내는 메타데이터와 연관시켜 저장될 수 있다. 메모리는 다수의 상이한 그래픽 제어 엘리먼트를 저장할 수 있는데, 각각은 둘 이상의 상이한 출력들을 제공하거나 그리고/또는 다수의 상이한 입력들을 수신할 수 있다.
또한 방법(410)은 요청의 수신에 응답하여, 복합 그래픽 어시스턴트 인터페이스가 클라이언트 디바이스와 연관된 디스플레이 디바이스에 제공되도록 하는 동작(414)을 더 포함할 수 있다. 연결 디바이스들이 제어를 위해 상이한 제3자 애플리케이션들과 연계되었음에도 불구하고, 복합 그래픽 어시스턴트 인터페이스는 사용자가 자동화 어시스턴트 및/또는 다수의 상이한 연결 디바이스들과 인터랙션할 수 있게 하는 방식(modality)으로 실행될 수 있다. 그리하여, 사용자가 각 IoT 디바이스들을 제어하기 위하여 다수의 애플리케이션들을 다운로드하거나 그리고/또는 액세스할 필요가 없고, 그저 복합 그래픽 어시스턴트 인터페이스가 디스플레이 패널에 제공되게 할 수 있다. 또한, 복합 그래픽 어시스턴트 인터페이스는 하나 이상의 각 연결 디바이스들의 하나 이상의 상태들, 및/또는 사용자가 자동화 어시스턴트 및/또는 클라이언트 디바이스와 인터랙션하는 것의 컨텍스트에 따라 자동화 어시스턴트에 의해 채택될 수 있다. 일부 구현예에서, 복합 그래픽 어시스턴트 인터페이스는 복합 그래픽 어시스턴트 인터페이스에 제시된 특정 그래픽 제어 엘리먼트들에 대한 슬롯 값들을 포함하는 데이터와 연관될 수 있다. 대응 기능들에 슬롯 값들이 제공될 수 있고, 대응 기능들은 임의의 각 그래픽 제어 엘리먼트들에 대응하는 연결 디바이스들에 의하여 수행될 수 있다.
방법(410)은 그래픽 제어 엘리먼트의 선택이 복합 그래픽 어시스턴트 인터페이스에 수신되었음을 결정하는 동작(416)을 더 포함할 수 있다. 사용자 터치 또는 그 밖의 제스처가 디스플레이 패널에 제공된 것에 응답하여, 복합 그래픽 어시스턴트 인터페이스를 제공하는 디스플레이 패널에 의해 전송된 데이터에 기초하여 그래픽 제어 엘리먼트의 선택이 결정될 수 있다. 결정된 그래픽 제어 엘리먼트의 선택에 대응하는 임의의 슬롯 값이, 예를 들어 연결 디바이스 자신에 또는 연결 디바이스 서버 같이 각 연결 디바이스에 기능이 수행되게 하는 것을 추가로 맡는 디바이스에 제공될 수 있다.
또한, 방법(410)은 그래픽 제어 엘리먼트의 선택이 수신되었음을 결정한 것에 응답하여, 다른 연결 디바이스로 하여금 다른 기능을 수행하게 하는 동작(418)을 더 포함할 수 있다. 다른 기능은 예를 들어 사용자의 집의 보안 시스템을 작동시키는 것일 수 있다. 다른 기능은 적어도 조명을 수동으로 끄고 보안 시스템을 켜는 사용자의 이력적 성향에 기초하여 사용자에게 제안될 수 있다. 또한, 다른 기능은 조명의 현재 상태(예를 들어, 조명이 오프됨)에 기초하여 제안될 수 있다. 대안적으로 또는 추가적으로, 조명의 현재 상태가 "오프(off)"로 변경되도록 요청되고 그리고/또는 요청이 생성되었을 때 현재 컨텍스트가 하루 중 특정 시간, 사용자의 지리적 위치, 하나 이상의 디바이스들의 상태, 및/또는 컴퓨터 기능이 수행되는데 사용될 수 있는 임의의 다른 정보에 대응하는 것으로 자동화 어시스턴트가 결정한 것에 기초하여 제안될 수 있다. 다른 기능이 수행되는 것에 응답하여, 현재 상태는 다수의 연결 디바이스들의 상태들의 식별자를 포함한 테이블 또는 다른 데이터 스토리지에 업데이트될 수 있다. 자동화 어시스턴트는 상태들 및 시간이 흐르면서 변한 상태들의 업데이트 조합을 추가로 생성할 수 있다. 예를 들어, 이제는 보안 알람이 켜지고 조명이 꺼졌으므로, 자동화 어시스턴트는 새로운 복합 그래픽 어시스턴트의 그래픽 제어 엘리먼트와 인터랙션함으로써 사용자가 통신 디바이스를 무음 모드로 설정할 수 있도록, 통신 디바이스의 기능을 제어하기 위한 그래픽 제어 엘리먼트를 결정할 수 있다.
도 5는 복합 그래픽 어시스턴트 인터페이스를 연결 디바이스를 제어하기 위한 그래픽 제어 엘리먼트들로 대체하는 방법(500)을 도시한다. 방법(500)은 하나 이상의 컴퓨팅 디바이스들, 애플리케이션들, 및/또는 연결 디바이스 및/또는 자동화 어시스턴트와 인터랙션할 수 있는 임의의 다른 장치 또는 모듈에 의해 수행될 수 있다. 방법(500)은, 사용자가 클라이언트 디바이스와 연관된 디스플레이 패널에 제공된 제1 복합 그래픽 어시스턴트 인터페이스에서 그래픽 제어 엘리먼트를 선택하였다고 결정하는 동작(502)을 포함할 수 있다. 디스플레이 패널은, 클라이언트 디바이스의 구성 요소의 일부로서 또는 네트워크를 통해 클라이언트 디바이스와 통신하는 디바이스로서, 클라이언트 디바이스와 커넥트될 수 있다. 연결 디바이스들은 같은 또는 다른 엔티티들에 의해 제조되었지만, 사용자가 다수의 상이한 연결 디바이스들을 제어할 수 있는 방식을 제공하기 위하여, 제1 복합 그래픽 어시스턴트 인터페이스가 디스플레이 패널에 제시될 수 있다. 따라서, 제1 복합 그래픽 어시스턴트 인터페이스는 사용자가 다양한 다른 연결 디바이스들을 제어할 수 있게 하는 다수의 상이한 그래픽 제어 엘리먼트들을 포함할 수 있다.
방법(500)은 사용자가 그래픽 제어 엘리먼트를 선택하였다는 결정에 응답하여, 연결 디바이스가 선택된 그래픽 제어 엘리먼트에 대응하는 기능을 수행하도록 하는 동작(504)을 더 포함할 수 있다. 연결 디바이스는 클라이언트 디바이스 및/또는 자동화 어시스턴트를 통해서 기능을 수행하도록 될 수 있다. 예를 들어, 제1 복합 그래픽 어시스턴트 인터페이스가 그래픽 제어 엘리먼트의 선택을 수신하는 것에 응답하여, 클라이언트 디바이스 및/또는 자동화 어시스턴트는 연결 디바이스로 하여금 기능을 수행하게 하기 위해, 연결 디바이스로 데이터를 전송할 수 있다. 대안적으로 또는 추가적으로, 클라이언트 디바이스는 데이터를 원격 서버로 전송할 수 있고, 또 원격 서버는 연결 디바이스가 기능을 수행할 수 있도록 하기 위해 연결 디바이스와 통신할 수 있다.
방법(500)은 연결 디바이스와 관련된 컨텍스트에서 다른 연결 디바이스의 다른 기능을 제어하려는 사용자의 이력적 성향을 특징짓는 사용자 선호도를 결정하는 동작(506)을 더 포함할 수 있다. 사용자 선호도는, 특정 컨텍스트 내에서 하나 이상의 연결 디바이스들의 특정 기능들을 제어하기 위한 사용자의 성향 또는 선호도를 나타낸 데이터일 수 있다. 예를 들어, 컨텍스트는 하나 이상의 디바이스들의 상태 또는 상태들, 하루 중 특정 시간, 사용자의 제스처 또는 시선, 스케쥴 이벤트, 사용자와 자동화 어시스턴트 간의 이전 인터랙션에 대한 관련성 및/또는 제어를 위해 사용자에게 제안할 기초로 사용될 수 있는 임의의 다른 데이터에 대응할 수 있다. 일부 구현예에서, 사용자 선호도 또는 다른 데이터는 특정 사용자가 특정 컨텍스트 내의 기능들을 제어하는 인기도 또는 빈도에 따라, 기능들을 순위화할 수 있다. 기능들의 순위를 제공하기 위해, 수행된 기능들과 관련된 입력들을 수신하고 사용자에게 제안해야 하는 기능들의 순위에 대응하는 데이터를 출력하도록 학습 모델이 사용될 수 있다. 학습 모델은 자동화 어시스턴트와 사용자, 및/또는 사용자와 하나 이상의 연결 디바이스들 간의 인터랙션을 특징짓는 데이터에 기초하여 학습될 수 있다.
방법(500)은 사용자 선호도를 결정하는 것에 기초하여, 다른 연결 디바이스의 다른 기능을 식별하는 동작(508)을 더 포함할 수 있다. 사용자 선호도 데이터는, 다른 기능, 다수의 다른 연결 디바이스들, 다른 기능에 대응하는 하나 이상의 파라미터들 및/또는 슬롯 값들, 특정 컨텍스트의 다른 기능에 대해 이전에 제공되었던 슬롯 값들, 및/또는 특정 기능을 실행하는데 유용한 임의의 다른 데이터를 식별할 수 있다.
또한, 방법(500)은 다른 기능을 식별하는 것에 기초하여, 다른 연결 디바이스의 다른 기능을 제어하기 위한 다른 그래픽 제어 엘리먼트를 결정하는 동작(510)을 더 포함할 수 있다. 다른 그래픽 제어 엘리먼트는, 클라이언트 디바이스 및/또는 자동화 어시스턴트에서 액세스 가능한 메모리로부터 선택될 수 있고, 식별된 다른 기능에 대하여 적어도 몇몇 관련성을 제공하는 메타데이터와 연관될 수 있다. 예를 들어, 기능은 2진 파라미터와는 대조적으로 두 값을 취할 수 있는, 둘 이상의 상이한 슬롯 값들을 수신할 수 있는 파라미터들과 연관될 수 있다. 결과적으로, 그래픽 제어 엘리먼트를 제어하기 위해 선택될 수 있는 그래픽 제어 엘리먼트는 예를 들어 다이얼 또는 스크롤 바와 같은 둘 이상의 상이한 값들 출력을 제공할 수 있는 것일 수 있다.
방법(500)은 클라이언트 디바이스와 관련된 디스플레이 패널이 제1 복합 그래픽 어시스턴트 인터페이스를 다른 그래픽 제어 엘리먼트를 포함하는 제2 복합 그래픽 어시스턴트 인터페이스로 대체되게 하는 동작(512)을 더 포함할 수 있다. 제2 복합 그래픽 어시스턴트 인터페이스는, 특정 컨텍스트 내에서 특정 연결 디바이스를 제어하기 위해 사용자에게 추가적인 제안을 제공하려고 제1 복합 그래픽 어시스턴트 인터페이스를 교체할 수 있다. 일부 구현예에서, 제1 복합 그래픽 어시스턴트 인터페이스는 제3자에 의해 제공된 단일의 연결 디바이스에 대응할 수 있고, 제2 복합 그래픽 어시스턴트 인터페이스는 다수의 상이한 제3자들에 의해 제공된 다수의 상이한 연결 디바이스들에 대응할 수 있다. 그리하여, 사용자는 다수의 상이한 애플리케이션들을 설치하거나 그리고/또는 오픈할 필요가 없고, 다수의 상이한 연결 디바이스들을 제어하기 위하여 단일의 복합 그래픽 어시스턴트 인터페이스와 인터랙션하면 된다.
도 6은 예시적 컴퓨터 시스템(610)의 블록도이다. 컴퓨터 시스템(610)는 일반적으로 적어도 하나의 프로세서(614)를 포함하며, 버스 서브 시스템(612)을 통해 다수의 주변 디바이스들과 통신한다. 이들 주변 디바이스들은 예를 들면, 메모리(625) 및 파일 저장 서브 시스템(626)을 포함하는 저장 서브 시스템(624), 사용자 인터페이스 출력 디바이스(620), 사용자 인터페이스 입력 디바이스(622) 및 네트워크 인터페이스 서브 시스템(616)을 포함할 수 있다. 입력 및 출력 디바이스는 컴퓨터 시스템(610)과 사용자 인터랙션을 하게 한다. 네트워크 인터페이스 서브 시스템(616)은 외부 네트워크에 대한 인터페이스를 제공하며, 다른 컴퓨터 시스템들의 대응하는 인터페이스 디바이스들과 연결된다.
사용자 인터페이스 입력 디바이스(622)는 키보드, 마우스, 트랙볼, 터치패드 또는 그래픽 태블릿, 스캐너, 디스플레이에 통합된 터치스크린과 같은 포인팅 디바이스, 음성 인식 시스템, 마이크로폰과 같은 오디오 입력 디바이스 및/또는 다른 유형의 입력 디바이스를 포함한다. 일반적으로, 용어 "입력 디바이스"의 사용은 정보를 컴퓨터 시스템(610) 또는 통신 네트워크에 입력하기 위한 모든 가능한 유형의 디바이스들과 방식들을 포함하도록 의도된다.
사용자 인터페이스 출력 디바이스(620)는 디스플레이 서브 시스템, 프린터, 팩스 기계 또는 오디오 출력 디바이스와 같은 비-시각적 디스플레이를 포함할 수 있다. 디스플레이 서브 시스템은 CRT, LCD와 같은 평면 패널 디바이스, 프로젝션 디바이스 또는 시각적 이미지를 생성하기 위한 일부 기타 메커니즘을 포함할 수 있다. 또한, 디스플레이 서브 시스템은 오디오 출력 디바이스와 같은 비-시각적 디스플레이를 제공할 수 있다. 일반적으로, 용어 "출력 디바이스"의 사용은 정보를 컴퓨터 시스템(610)로부터 사용자에게 또는 다른 기계 또는 컴퓨터 시스템에 정보를 출력하기 위한 모든 가능한 유형의 디바이스들과 방식들을 포함하도록 의도된다.
저장 서브 시스템(624)은 본 명세서에 기술된 일부 또는 전부의 모듈들의 기능을 제공하기 위한 프로그래밍 및 데이터 구조를 저장한다. 예를 들어, 저장 서브 시스템(624)은 방법(400), 방법(500)의 선택된 양태를 수행하기 위한, 그리고/또는 하나 또는 그이상의 연결 디바이스 서버(134), 서버 디바이스(112), 자동화 어시스턴트(118), 클라이언트 디바이스(102), 연결 디바이스(132), 기능 식별 엔진(142), 복합 인터페이스 엔진(144), 클라이언트 디바이스(204), 클라이언트 디바이스(304), 및/또는 본 명세서에서 논의된 임의의 다른 동작 또는 장치를 구현하기 위한 로직을 포함할 수 있다.
이들 소프트웨어 모듈들은 일반적으로 프로세서(614) 단독으로 또는 다른 프로세서들과의 조합에 의해 실행된다. 저장 서브 시스템(624)에서 사용된 메모리(625)는 프로그램 실행 중에 명령들 및 데이터의 저장을 위한 메인 RAM(630) 및 고정된 명령들이 저장되는 ROM(632)을 포함하는 다수의 메모리들을 포함할 수 있다. 파일 저장 서브 시스템(626)은 프로그램 및 데이터 파일에 대한 영구적 저장을 제공할 수 있고, 하드 디스크 드라이브, 연관된 이동식 매체와 함께인 플로피 디스크 드라이브, CD-ROM 드라이브, 광학 드라이브 또는 이동식매체 카트리지들을 포함할 수 있다. 특정 구현예들의 기능을 구현하는 모듈들은 파일 저장 서브 시스템(626)에 의해 저장 서브 시스템(624)에 또는 프로세서(들)(614)에 의해 액세스 가능한 다른 기계에 저장될 수 있다.
버스 서브 시스템(612)은 의도된 대로 컴퓨터 시스템(610)의 다양한 컴포넌트들 및 서브 시스템들이 서로 통신하게 하기 위한 메커니즘을 제공한다. 버스 서브 시스템(612)이 개략적으로 단일의 버스로 도시되었지만, 버스 서브 시스템의 대안적 구현예들은 다수의 버스들을 사용할 수 있다.
컴퓨터 시스템(610)은 워크스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서퍼팜 또는 임의의 기타 데이터 프로세싱 시스템 또는 컴퓨팅 디바이스를 포함하는 다양한 유형들일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 특성으로 인해, 도 6에 도시된 컴퓨터 시스템(610)는 일부 구현예들을 설명하기 위한 목적의 특정 예로서 만 의도된다. 컴퓨터 시스템(610)의 많은 다른 구성들이 도 6에 도시된 컴퓨터 시스템보다 많거나 적은 컴포넌트들을 가질 수 있다.
본 명세서에서 논의된 시스템들이 사용자들(또는 "참여자"로 종종 지칭됨)에 관한 개인 정보를 수집하거나 또는 개인 정보를 사용하는 경우들에 있어서, 사용자들에게 프로그램들 또는 구성들이 사용자 정보(예를 들면, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 직업, 사용자의 선호도들 또는 사용자의 현재 지리적 위치)에 관한 정보를 수집할 것인지 여부를 제어할, 사용자와 더 관련된 콘텐츠 서버로부터의 콘텐츠를 수신할지 및/또는 어떻게 수신할지 제어할 기회가 제공될 수 있다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 취급되어, 개인적으로 식별 가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별 가능한 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 지리적 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 정보가 어떻게 수집되는지 그리고 사용되는지에 관한 제어를 가질 수 있다.
몇몇 구현예가 본 명세서에서 기술되고 도시되었지만, 기능을 수행하고 및/또는 결과 및/또는 본 명세서에 기술된 하나 이상의 이점을 획득하기 위한 다양한 다른 수단들 및/또는 구조들이 활용될 수 있으며, 그러한 변형들 및/또는 수정들은 본 명세서에서 기술된 구현예들의 범위 내에 있는 것으로 간주된다. 보다 일반적으로, 본 명세서에 기술된 모든 파라미터, 치수, 재료 및 구성은 예시적인 것으로 의도되었으며, 실제 파라미터, 치수, 재료 및/또는 구성은 교시를 사용되는 특정 애플리케이션 또는 애플리케이션들에 의존할 것이다. 통상의 기술자는 일상적인 실험만을 사용하여 본 명세서에 기술된 특정 구현예들에 대한 많은 등가물들을 인식할 수 있거나 또는 확인할 수 있을 것이다. 따라서, 전술한 구현예들은 단지 예일 뿐이며, 첨부된 청구범위 및 그 등가물의 범위내에서 구현은 구체적으로 기술되고 청구된 것과 다르게도 실시될 수 있음을 이해해야 한다. 본 개시의 구현은 본 명세서에 기술된 각각의 개별적인 구성, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다. 또한 구성, 시스템, 물품, 재료, 키트 및/또는 방법이 상호 불일치하지 않는다면, 그러한 두 개 이상의 구성, 시스템, 물품, 재료, 키트 및/또는 방법의 모든 조합이 본 발명의 범위 내에 포함된다.

Claims (20)

  1. 하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 방법은,
    클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 기능을 수행하기 위한 자동화 어시스턴트에 대한 요청을 포함한다고 결정하는 단계와, 상기 음성 발언은 사용자에 의해 제공되고;
    요청이 사용자에 의해 제공되었다는 결정에 응답하여, 사용자에 의해 제공된 요청에 대응하는 기능을 식별하는 단계와;
    기능을 식별하는 것에 기초하여, 자동화 어시스턴트가 사용자에 의해 제공된 요청에 대응하는 기능을 수행하게 하는 단계와;
    클라이언트 디바이스에 링크된 제1 연결(connected) 디바이스의 제1 현재 상태를 결정하는 단계와, 상기 제1 연결 디바이스의 제1 현재 상태는 제1 기능의 수행 또는 미수행에 영향을 받으며;
    클라이언트 디바이스에 링크된 제2 연결 디바이스의 제2 현재 상태를 결정하는 단계와, 상기 제2 연결 디바이스의 제2 현재 상태는 제2 기능의 수행 또는 미수행에 영향을 받으며;
    제1 연결 디바이스의 제1 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트 및 제2 연결 디바이스의 제2 기능을 제어하기 위한 제2 그래픽 제어 엘리먼트를 결정하는 단계와;
    제1 연결 디바이스의 제1 현재 상태 및 제2 연결 디바이스의 제2 현재 상태에 기초하여, 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트의 각각의 그래픽 제어 엘리먼트에 대한 구성을 결정하는 단계와; 그리고
    상기 요청이 수신되었다는 결정에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 상기 제1 연결 디바이스 및 제2 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 포함하고,
    상기 복합 그래픽 어시스턴트 인터페이스는 각각의 그래픽 제어 엘리먼트에 대해 상기 결정된 구성에 따라 배열되는 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  2. 제1항에 있어서,
    음성 발언과 관련된 음성 특성에 기초하여 사용자에 대한 프로파일에 액세스하는 단계를 더 포함하고, 상기 제1 기능 및 제2 기능 중 적어도 하나를 식별하는 것은 프로파일로부터 이용 가능한 정보에 기초하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  3. 제2항에 있어서,
    상기 프로파일로부터 이용 가능한 정보는,
    특정 컨텍스트 내에서 제1 연결 디바이스 및 제2 연결 디바이스 중 적어도 하나와 상호작용하려는 사용자의 이력 성향을 나타내는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  4. 제3항에 있어서,
    상기 특정 컨텍스트는,
    제1 연결 디바이스 또는 제2 연결 디바이스의 상태, 사용자의 지리적 위치, 시간, 이벤트, 또는 하나 이상의 다른 사용자의 존재 중 하나 이상에 대응하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  5. 제4항에 있어서,
    상기 특정 컨텍스트는,
    제1 연결 디바이스의 상태 및 제2 연결 디바이스의 상태에 대응하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  6. 제1항에 있어서,
    상기 제1 연결 디바이스의 제1 현재 상태를 결정하는 단계는,
    원격 서버 디바이스로부터 제1 현재 상태를 요청하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  7. 제6항에 있어서,
    제1 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트의 선택을 수신하는 단계와; 그리고
    클라이언트 디바이스가 제1 기능과 관련된 커맨드(command) 데이터에 따라 제1 연결 디바이스와 상호작용하게 하는 단계를 더 포함하고, 상기 제1 기능은 자동화 어시스턴트에 의해 수행되는 기능과 상이한 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  8. 제7항에 있어서,
    원격 서버 디바이스로부터 커맨드 데이터를 요청하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  9. 제1항에 있어서,
    상기 제1 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트를 결정하는 단계는,
    제1 연결 디바이스의 제1 현재 상태의 관점에서 제1 기능이 중복되지 않는다는 결정에 기초하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  10. 하나 이상의 프로세서 및 그 하나 이상의 프로세서와 작동 가능하게 결합된 메모리를 포함하는 시스템으로서, 상기 메모리는 하나 이상의 프로세서에 의한 명령의 실행에 응답하여 하나 이상의 프로세서로 하여금 다음 동작들을 수행하게 하는 명령들을 저장하고, 상기 동작들은,
    클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 기능을 수행하기 위한 자동화 어시스턴트에 대한 요청을 포함한다고 결정하는 동작과, 상기 음성 발언은 사용자에 의해 제공되고;
    요청이 사용자에 의해 제공되었다는 결정에 응답하여, 사용자에 의해 제공된 요청에 대응하는 기능을 식별하는 동작과;
    기능을 식별하는 것에 기초하여, 자동화 어시스턴트가 사용자에 의해 제공된 요청에 대응하는 기능을 수행하게 하는 동작과;
    클라이언트 디바이스에 링크된 제1 연결 디바이스의 제1 현재 상태를 결정하는 동작과, 상기 제1 연결 디바이스의 제1 현재 상태는 제1 기능의 수행 또는 미수행에 영향을 받으며;
    클라이언트 디바이스에 링크된 제2 연결 디바이스의 제2 현재 상태를 결정하는 동작과, 상기 제2 연결 디바이스의 제2 현재 상태는 제2 기능의 수행 또는 미수행에 영향을 받으며;
    제1 연결 디바이스의 제1 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트 및 제2 연결 디바이스의 제2 기능을 제어하기 위한 제2 그래픽 제어 엘리먼트를 결정하는 동작과;
    제1 연결 디바이스의 제1 현재 상태 및 제2 연결 디바이스의 제2 현재 상태에 기초하여, 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트의 각각의 그래픽 제어 엘리먼트에 대한 구성을 결정하는 동작과; 그리고
    상기 요청이 수신되었다는 결정에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 상기 제1 연결 디바이스 및 제2 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 동작을 포함하고,
    상기 복합 그래픽 어시스턴트 인터페이스는 각각의 그래픽 제어 엘리먼트에 대해 상기 결정된 구성에 따라 배열되는 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트를 포함하는 것을 특징으로 하는 시스템.
  11. 제10항에 있어서,
    상기 동작들은,
    음성 발언과 관련된 음성 특성에 기초하여 사용자에 대한 프로파일에 액세스하는 동작을 더 포함하고, 상기 제1 기능 및 제2 기능 중 적어도 하나를 식별하는 것은 프로파일로부터 이용 가능한 정보에 기초하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    상기 프로파일로부터 이용 가능한 정보는,
    특정 컨텍스트 내에서 제1 연결 디바이스 및 제2 연결 디바이스 중 적어도 하나와 상호작용하려는 사용자의 이력 성향을 나타내는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서,
    상기 특정 컨텍스트는,
    제1 연결 디바이스 또는 제2 연결 디바이스의 상태, 사용자의 지리적 위치, 시간, 이벤트, 또는 하나 이상의 다른 사용자의 존재 중 하나 이상에 대응하는 것을 특징으로 하는 시스템.
  14. 제13항에 있어서,
    상기 특정 컨텍스트는,
    제1 연결 디바이스의 상태 및 제2 연결 디바이스의 상태에 대응하는 것을 특징으로 하는 시스템.
  15. 제10항에 있어서,
    상기 제1 연결 디바이스의 제1 현재 상태를 결정하는 동작은,
    원격 서버 디바이스로부터 제1 현재 상태를 요청하는 동작을 포함하는 것을 특징으로 하는 시스템.
  16. 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 명령들을 저장하도록 구성된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 동작들은,
    클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 기능을 수행하기 위한 자동화 어시스턴트에 대한 요청을 포함한다고 결정하는 동작과, 상기 음성 발언은 사용자에 의해 제공되고;
    요청이 사용자에 의해 제공되었다는 결정에 응답하여, 사용자에 의해 제공된 요청에 대응하는 기능을 식별하는 동작과;
    기능을 식별하는 것에 기초하여, 자동화 어시스턴트가 사용자에 의해 제공된 요청에 대응하는 기능을 수행하게 하는 동작과;
    클라이언트 디바이스에 링크된 제1 연결 디바이스의 제1 현재 상태를 결정하는 동작과, 상기 제1 연결 디바이스의 제1 현재 상태는 제1 기능의 수행 또는 미수행에 영향을 받으며;
    클라이언트 디바이스에 링크된 제2 연결 디바이스의 제2 현재 상태를 결정하는 동작과, 상기 제2 연결 디바이스의 제2 현재 상태는 제2 기능의 수행 또는 미수행에 영향을 받으며;
    제1 연결 디바이스의 제1 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트 및 제2 연결 디바이스의 제2 기능을 제어하기 위한 제2 그래픽 제어 엘리먼트를 결정하는 동작과;
    제1 연결 디바이스의 제1 현재 상태 및 제2 연결 디바이스의 제2 현재 상태에 기초하여, 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트의 각각의 그래픽 제어 엘리먼트에 대한 구성을 결정하는 동작과; 그리고
    상기 요청이 수신되었다는 결정에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 상기 제1 연결 디바이스 및 제2 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 동작을 포함하고,
    상기 복합 그래픽 어시스턴트 인터페이스는 각각의 그래픽 제어 엘리먼트에 대해 상기 결정된 구성에 따라 배열되는 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트를 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  17. 제16항에 있어서,
    상기 동작들은,
    음성 발언과 관련된 음성 특성에 기초하여 사용자에 대한 프로파일에 액세스하는 동작을 더 포함하고, 상기 제1 기능 및 제2 기능 중 적어도 하나를 식별하는 것은 프로파일로부터 이용 가능한 정보에 기초하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  18. 제17항에 있어서,
    상기 프로파일로부터 이용 가능한 정보는,
    특정 컨텍스트 내에서 제1 연결 디바이스 및 제2 연결 디바이스 중 적어도 하나와 상호작용하려는 사용자의 이력 성향을 나타내는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  19. 제18항에 있어서,
    상기 특정 컨텍스트는,
    제1 연결 디바이스 또는 제2 연결 디바이스의 상태, 사용자의 지리적 위치, 시간, 이벤트, 또는 하나 이상의 다른 사용자의 존재 중 하나 이상에 대응하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  20. 제19항에 있어서,
    상기 특정 컨텍스트는,
    제1 연결 디바이스의 상태 및 제2 연결 디바이스의 상태에 대응하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
KR1020237011521A 2018-05-07 2019-02-01 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공 KR20230048573A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862668131P 2018-05-07 2018-05-07
US62/668,131 2018-05-07
PCT/US2019/016371 WO2019216964A1 (en) 2018-05-07 2019-02-01 Providing composite graphical assistant interfaces for controlling various connected devices
KR1020207034906A KR102520069B1 (ko) 2018-05-07 2019-02-01 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034906A Division KR102520069B1 (ko) 2018-05-07 2019-02-01 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공

Publications (1)

Publication Number Publication Date
KR20230048573A true KR20230048573A (ko) 2023-04-11

Family

ID=65576667

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207034906A KR102520069B1 (ko) 2018-05-07 2019-02-01 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공
KR1020237011521A KR20230048573A (ko) 2018-05-07 2019-02-01 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207034906A KR102520069B1 (ko) 2018-05-07 2019-02-01 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공

Country Status (6)

Country Link
US (5) US11256390B2 (ko)
EP (2) EP3783867A1 (ko)
JP (2) JP7346455B2 (ko)
KR (2) KR102520069B1 (ko)
CN (1) CN112313924A (ko)
WO (1) WO2019216964A1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
US11256390B2 (en) 2018-05-07 2022-02-22 Google Llc Providing composite graphical assistant interfaces for controlling various connected devices
US11238353B2 (en) * 2018-05-08 2022-02-01 International Business Machines Corporation Cognitive engine for multiple internet of things devices
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
WO2020243691A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for audio media control
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
KR20210072471A (ko) * 2019-12-09 2021-06-17 현대자동차주식회사 음성 명령 인식 장치 및 그 방법
US10644789B1 (en) * 2019-12-12 2020-05-05 Cabin Management Solutions, Llc. Vehicle communication system and method
US10644786B1 (en) * 2019-12-12 2020-05-05 Cabin Management Solutions, Llc. Plug-and-play vehicle communication system and method
KR20210076775A (ko) * 2019-12-16 2021-06-24 삼성전자주식회사 사용자 맞춤형 매뉴얼을 지원하기 위한 전자 장치
KR20210079061A (ko) * 2019-12-19 2021-06-29 엘지전자 주식회사 정보 처리 방법 및 정보 처리 장치
KR20220143683A (ko) * 2020-02-17 2022-10-25 세렌스 오퍼레이팅 컴퍼니 전자 개인 비서 조정
JP7121780B2 (ja) * 2020-05-11 2022-08-18 アップル インコーポレイテッド 音声メッセージのためのユーザインタフェース
US11513667B2 (en) * 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
EP3939033B1 (en) * 2020-06-02 2022-06-01 Google LLC Automated assistant control of external applications lacking automated assistant application programming interface functionality
US11556707B2 (en) 2020-06-18 2023-01-17 Google Llc Fulfillment of actionable requests ahead of a user selecting a particular autocomplete suggestion for completing a current user input
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11671697B2 (en) 2021-01-31 2023-06-06 Apple Inc. User interfaces for wide angle video conference
US11115353B1 (en) * 2021-03-09 2021-09-07 Drift.com, Inc. Conversational bot interaction with utterance ranking
US11188925B1 (en) * 2021-03-30 2021-11-30 Honda Motor Co., Ltd. Method and system for automated reconfiguration of user interface based on product lifecycle
US20220351712A1 (en) * 2021-04-29 2022-11-03 Rovi Guides, Inc. Systems and methods to alter voice interactions
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US20230025709A1 (en) * 2021-07-21 2023-01-26 Google Llc Transferring dialog data from an initially invoked automated assistant to a subsequently invoked automated assistant
JP2024505794A (ja) * 2021-07-28 2024-02-08 グーグル エルエルシー ユーザが音声発話、または音声発話のシーケンスを反復的に与えるときの、自動アシスタントによるグラフィカルユーザインターフェース要素の動的適合
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
US11930270B2 (en) 2021-10-29 2024-03-12 Snap Inc. Identifying a video camera for an object
US11550702B1 (en) 2021-11-04 2023-01-10 T-Mobile Usa, Inc. Ensuring that computer programs are accessible to users with disabilities, such as for use with mobile phones
US20240077934A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Virtual ar interfaces for controlling iot devices using mobile device orientation sensors

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727174A (en) * 1992-03-23 1998-03-10 International Business Machines Corporation Graphical end-user interface for intelligent assistants
US20140098247A1 (en) * 1999-06-04 2014-04-10 Ip Holdings, Inc. Home Automation And Smart Home Control Using Mobile Devices And Wireless Enabled Electrical Switches
JP3800626B2 (ja) 2003-01-30 2006-07-26 ソニー株式会社 制御装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
US8042049B2 (en) 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
WO2006135726A2 (en) * 2005-06-09 2006-12-21 Whirlpool Corporation Software architecture system and method for communication with, and management of, at least one component within a household appliance
US20090183070A1 (en) 2006-05-11 2009-07-16 David Robbins Multimodal communication and command control systems and related methods
US20090027222A1 (en) 2007-07-23 2009-01-29 Sony Ericsson Mobile Communications Ab Providing services to a mobile device in a personal network
JP5154363B2 (ja) * 2008-10-24 2013-02-27 クラリオン株式会社 車室内音声対話装置
US20100122215A1 (en) 2008-11-11 2010-05-13 Qwebl, Inc. Control interface for home automation system
US8527278B2 (en) * 2009-06-29 2013-09-03 Abraham Ben David Intelligent home automation
KR101958902B1 (ko) 2011-09-30 2019-07-03 삼성전자주식회사 전자기기들의 그룹 제어 방법 및 그를 위한 전자기기 관리 시스템
KR101718894B1 (ko) * 2011-11-29 2017-03-23 삼성전자주식회사 기기 제어를 위한 유저 인터페이스 제공 시스템 및 방법
US8793136B2 (en) * 2012-02-17 2014-07-29 Lg Electronics Inc. Method and apparatus for smart voice recognition
US8498572B1 (en) 2012-08-24 2013-07-30 Google Inc. Home automation device pairing by NFC-enabled portable device
US9230560B2 (en) 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
KR102058918B1 (ko) 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
EP2938022A4 (en) * 2012-12-18 2016-08-24 Samsung Electronics Co Ltd METHOD AND DEVICE FOR REMOTE CONTROL OF A HOME DEVICE IN A HOME NETWORK SYSTEM
US20140218372A1 (en) * 2013-02-05 2014-08-07 Apple Inc. Intelligent digital assistant in a desktop environment
US9998969B2 (en) 2013-03-15 2018-06-12 Facebook, Inc. Portable platform for networked computing
US10445115B2 (en) * 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US10185934B2 (en) * 2013-07-09 2019-01-22 Qualcomm Incorporated Real-time context aware recommendation engine based on a user internet of things environment
US9372922B2 (en) * 2013-07-11 2016-06-21 Neura, Inc. Data consolidation mechanisms for internet of things integration platform
WO2015034295A1 (en) * 2013-09-05 2015-03-12 Samsung Electronics Co., Ltd. Method and apparatus for configuring and recommending device action using user context
US10025463B2 (en) 2013-09-18 2018-07-17 Vivint, Inc. Systems and methods for home automation scene control
US10768784B2 (en) 2013-12-06 2020-09-08 Vivint, Inc. Systems and methods for rules-based automations and notifications
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
KR102184271B1 (ko) 2013-12-12 2020-11-30 엘지전자 주식회사 디바이스 페어링 시스템 및 방법, 이동 단말기
KR101560470B1 (ko) * 2014-01-07 2015-10-16 한국과학기술원 스마트 연결 장치 및 스마트 연결 장치를 활용하여 ＩｏＴ 장치를 제어하기 위한 방법
US10637682B2 (en) 2014-02-11 2020-04-28 Oracle International Corporation Smart home learning system including user behavior
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9952571B2 (en) * 2014-03-24 2018-04-24 Xiaomi Inc. Method and terminal device for controlling smart home appliance
US10158536B2 (en) * 2014-05-01 2018-12-18 Belkin International Inc. Systems and methods for interaction with an IoT device
WO2015183014A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US20150365480A1 (en) 2014-06-16 2015-12-17 Spidermonkey, LLC Methods and systems for communicating with electronic devices
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9299029B1 (en) 2014-12-10 2016-03-29 Belkin International Inc. Network device predictive modeling
US9849588B2 (en) * 2014-09-17 2017-12-26 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US20160099842A1 (en) * 2014-10-01 2016-04-07 Bank Of America Corporation Intersystem automated-dialog agent
CA2910866C (en) * 2014-10-31 2023-04-04 Mans Olof-Ors Digital communications interface and graphical user interface
US10324934B2 (en) * 2014-11-12 2019-06-18 Samsung Electronics Co., Ltd. Method and device for providing content recommending information to devices
JP2016111674A (ja) * 2014-11-28 2016-06-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 遠隔操作方法、及び遠隔操作システム
US10114351B2 (en) 2015-03-05 2018-10-30 Google Llc Smart-home automation system that suggests or autmatically implements selected household policies based on sensed observations
KR20160143136A (ko) * 2015-06-04 2016-12-14 엘지전자 주식회사 위치 기반 알림 시스템 및 그것의 제어방법
US9959728B2 (en) * 2015-06-04 2018-05-01 International Business Machines Corporation Managing a smart appliance with a mobile device
US10788800B2 (en) 2015-06-05 2020-09-29 Apple Inc. Data-driven context determination
US10274911B2 (en) * 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model
KR102428375B1 (ko) * 2015-07-24 2022-08-02 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US20170052514A1 (en) * 2015-08-17 2017-02-23 Ton Duc Thang University Method and computer software program for a smart home system
US20170063611A1 (en) * 2015-08-28 2017-03-02 Stringify Inc. User Configuration Mechanism for Internet-of-Things (IOT)
CN105182777A (zh) * 2015-09-18 2015-12-23 小米科技有限责任公司 设备控制方法及装置
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
CN106856488B (zh) * 2015-12-08 2020-03-31 阿里巴巴集团控股有限公司 一种场景感知及提供服务的方法及装置
CN106856490A (zh) * 2015-12-08 2017-06-16 阿里巴巴集团控股有限公司 一种基于场景提供服务的方法及设备
KR102487902B1 (ko) * 2015-12-23 2023-01-12 삼성전자주식회사 전자기기를 제어하는 방법 및 장치
WO2017119663A1 (en) * 2016-01-06 2017-07-13 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10594796B2 (en) * 2016-02-09 2020-03-17 Qualcomm Incorporated Extending an IoT control interface from an IoT controller to a user device as part of a video media stream of a wireless media presentation session
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
DK179588B1 (en) * 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
DK179494B1 (en) * 2016-06-12 2019-01-11 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
US10310725B2 (en) * 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
US10409551B1 (en) 2016-06-21 2019-09-10 Amazon Technologies, Inc. Voice-driven monitoring of resources in a service provider network
US10134399B2 (en) * 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
EP3501144A1 (en) * 2016-08-22 2019-06-26 PCMS Holdings, Inc. System and method for crowdsourcing generalized smart home automation scenes
US11146933B2 (en) * 2016-09-20 2021-10-12 Samsung Electronics Co., Ltd. Activity driven smart home system
US10764153B2 (en) * 2016-09-24 2020-09-01 Apple Inc. Generating suggestions for scenes and triggers
US10469281B2 (en) * 2016-09-24 2019-11-05 Apple Inc. Generating suggestions for scenes and triggers by resident device
US9747083B1 (en) 2017-01-23 2017-08-29 Essential Products, Inc. Home device application programming interface
EP3574713B1 (en) * 2017-01-27 2020-07-22 Signify Holding B.V. Recommendation engine for a lighting system
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
KR101949497B1 (ko) * 2017-05-02 2019-02-18 네이버 주식회사 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
KR101934954B1 (ko) * 2017-05-24 2019-01-03 네이버 주식회사 음성요청에 대응하는 정보 전달 향상을 위한 출력
US20180349447A1 (en) 2017-06-02 2018-12-06 Apple Inc. Methods and systems for customizing suggestions using user-specific information
CN107562023A (zh) * 2017-08-01 2018-01-09 上海电机学院 基于用户行为习惯的智能家居管控系统
US20190065975A1 (en) * 2017-08-31 2019-02-28 Microsoft Technology Licensing, Llc Contextual skills discovery
US10762900B2 (en) * 2018-03-07 2020-09-01 Microsoft Technology Licensing, Llc Identification and processing of commands by digital assistants in group device environments
US20190281878A1 (en) * 2018-03-19 2019-09-19 Midea Group Co., Ltd. Method and system for providing action recommendations associated with kitchen appliances
US11256390B2 (en) 2018-05-07 2022-02-22 Google Llc Providing composite graphical assistant interfaces for controlling various connected devices
US11133953B2 (en) * 2018-05-11 2021-09-28 Catherine Lois Shive Systems and methods for home automation control

Also Published As

Publication number Publication date
US11256390B2 (en) 2022-02-22
KR102520069B1 (ko) 2023-04-10
JP2023168346A (ja) 2023-11-24
EP3583770A1 (en) 2019-12-25
EP3583770B1 (en) 2020-10-28
WO2019216964A1 (en) 2019-11-14
US20230297214A1 (en) 2023-09-21
CN112313924A (zh) 2021-02-02
JP2021523465A (ja) 2021-09-02
US20200342861A1 (en) 2020-10-29
US11693533B2 (en) 2023-07-04
US20190361575A1 (en) 2019-11-28
KR20210005254A (ko) 2021-01-13
EP3783867A1 (en) 2021-02-24
US11579749B2 (en) 2023-02-14
JP7346455B2 (ja) 2023-09-19
US20230185429A1 (en) 2023-06-15
US20220187960A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
KR102520069B1 (ko) 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공
JP7297836B2 (ja) アシスタントアプリケーションのための音声ユーザインタフェースショートカット
KR102621636B1 (ko) 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송
KR20210110650A (ko) 선택된 제안에 따라 자동 어시스턴트에 음성 입력 보충하기
KR102439144B1 (ko) 자동 어시스턴트 루틴에 포함을 위한 자동 어시스턴트 액션 추천
KR102581347B1 (ko) 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어
JP2023529279A (ja) 現在のユーザ入力を完了するための特定のオートコンプリート提案をユーザが選択する前に、実行可能な要求を履行すること
US20220156040A1 (en) Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right