KR20210002721A - 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치 - Google Patents

연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치 Download PDF

Info

Publication number
KR20210002721A
KR20210002721A KR1020207034905A KR20207034905A KR20210002721A KR 20210002721 A KR20210002721 A KR 20210002721A KR 1020207034905 A KR1020207034905 A KR 1020207034905A KR 20207034905 A KR20207034905 A KR 20207034905A KR 20210002721 A KR20210002721 A KR 20210002721A
Authority
KR
South Korea
Prior art keywords
user
control element
graphical
functions
assistant
Prior art date
Application number
KR1020207034905A
Other languages
English (en)
Other versions
KR102509465B1 (ko
Inventor
데이비드 로이 샤이어
트리오나 버틀러
신디 트란
아이브이 마크 스파테스
디 린
유자오 니
리사 윌리엄스
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020237008079A priority Critical patent/KR20230037704A/ko
Publication of KR20210002721A publication Critical patent/KR20210002721A/ko
Application granted granted Critical
Publication of KR102509465B1 publication Critical patent/KR102509465B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

다수의 상이한 연결 디바이스들 간의 인터랙션을 위한 복합 그래픽 어시스턴트 인터페이스들을 조정하는 방법들, 장치들, 시스템들, 및 컴퓨터-판독가능 매체가 제공된다. 복합 그래픽 어시스턴트 인터페이스들은, 연결 디바이스가 특정 기능을 수행하게 하기 위해 사용자가 자동화 어시스턴트에 요청을 제공하는 것에 응답하여 생성될 수 있다. 자동화 어시스턴트가 요청을 수신하는 것에 응답하여, 자동화 어시스턴트는 연결 디바이스가 수행할 수 있는 다른 기능들을 식별할 수 있다. 그런 후, 사용자가 연결 디바이스와 인터랙션할 수 있도록 복합 그래픽 어시스턴트 인터페이스를 제공하기 위하여, 다른 기능들이 다양한 그래픽 제어 엘리먼트들과 매핑될 수 있다. 각 그래픽 제어 엘리먼트는, 연결 디바이스가 어떻게 복합 그래픽 어시스턴트 인터페이스의 프리젠테이션과 동시에 동작하는지를 반영하기 위해, 연결 디바이스의 상태에 따라서 배열될 수 있다.

Description

연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치
본 명세서에서 사람은 "자동화 어시스턴트"(또한 "디지털 에이전트", "챗봇", "대화형 개인 비서", "지능형 개인 비서", "어시스턴트 애플리케이션", "대화형 에이전트"로도 지칭됨)로 지칭되는 인터렉티브 소프트웨어 어플리케이션과의 인간 대 컴퓨터 대화에 참여할 수 있다. 예를 들어, 사람(자동화 어시스턴트와 상호 작용할 때 "사용자"로 지칭될 수 있음)은 일부 경우 텍스트로 변환된 후 처리될 수 있는 음성 자연어 입력을 사용하고 및/또는 (예를 들어, 타이핑된) 텍스트 자연어 입력을 제공함으로써 자동화 어시스턴트에 커맨드 및/또는 요청을 제공할 수 있다.
일부 자동화 어시스턴트들은 사물 인터넷(IoT) 디바이스들을 제어하기 위하여 사용될 수 있다. 그러나, 많은 IoT 디바이스들은 자신의 대응 애플리케이션들을 가질 수 있다. 그 결과, 다수의 상이한 IoT 디바이스들을 가진 사용자는 자신의 개인용 컴퓨팅 디바이스에 다수의 제3자 애플리케이션들을 설치하는 작업을 맡게 될 수 있다. 일반적으로, 애플리케이션들은 메모리, 네트워크 대역폭, 업데이트 및/또는 다른 자원들을 필요로 하기 때문에 단일 디바이스에 여러 유사한 애플리케이션들을 설치하는 것은 비효율적일 수 있다. 사용자와 특정 IoT 디바이스 간의 인터랙션들을 중재하기 위해 자동화 어시스턴트에 의존할 수 있기는 하지만, 그러한 인터랙션들은 사용자의 음성 발언들이 오디오에서 텍스트로 변환되도록 빈번하게 요청할 수 있다. 오디오-텍스트의 효율적인 변환을 위해, 종종 네트워크를 통해 오디오 데이터가 전송되어야 하는데, 그에 따라 심각한 네트워크 대역폭 소모가 야기된다. 또한, 그러한 방식으로 인터랙션들을 중재하는 것은, 사용자가 대화중인 다른 사람들에 둘러싸인 경우, 또는 그 밖에 잡음이 존재하는 환경인 경우 신뢰할 수 없는 것으로 판명될 수 있다. 결과적으로, 특정 기능을 수행하기 위한 IoT 디바이스에의 요청이 결과적으로 식별되지 못하거나 또는 그 밖의 이유로 충분하지 않은 경우, 사용자와 자동화 어시스턴트 간의 대화 세션은 계산 자원들과 네트워크 자원들을 낭비할 수 있다.
본 출원은 일반적으로, 다수의 상이한 디바이스들을 제어할 수 있도록 복합 그래픽 어시스턴트 인터페이스들을 제공하는 방법들, 장치들, 그리고 일시적 및 비-일시적 컴퓨터-판독가능 매체에 관한 것이다. 예를 들어 전구(lightbulb) 및 다른 가전 기기와 같은 통상의 디바이스들의 네트워크 연결이 더 일반화되고, 네트워크를 통해 그러한 디바이스들과 인터페이스하는 방법들이 더 증가될 수 있다. 이는 유사한 디바이스들을 제조하는 제조사들의 수를 증가시키는 원인의 일부가 될 수 있다. 예를 들어, 다수의 스마트 전구 제조사들이 있을 수 있고, 전구 제조사들의 주류는 각 전구를 제어할 수 있도록 애플리케이션들이나 인터페이스들을 제공할 수 있다. 그 결과, 상이한 제조사들의 전구를 설치한 사용자는 전구들을 제어하기 위하여 상이한 애플리케이션들을 개인 컴퓨팅 장치들에 다운로드할 수 있다. 다수의 애플리케이션들을 설치하는 것은 디바이스 메모리의 상당량을 차지할 수 있기 때문에 메모리를 낭비할 수 있고, 또 디바이스에 다수의 애플리케이션을 포함하는 것은 디바이스로 하여금 각 제조사에 대한 업데이트, 공유 데이터, 및/또는 푸쉬 알람들을 체크하게 하여 네트워크 대역폭을 낭비할 수 있다. 이러한 한계들 및/또는 기타 다른 한계들을 해결하기 위하여, 본 명세서의 몇몇 구현들은, 상이한 제3자에 의해 제공되는 디바이스에도 불구하고, 다수의 디바이스들을 제어하기 위한 복합 그래픽 어시스턴트 인터페이스들을 생성할 수 있는 자동화 어시스턴트에 대한 다양한 기술들을 제공한다.
복합 그래픽 어시스턴트 인터페이스는, 하나 이상의 디바이스들의 제어를 실행하기 위하여 하나 이상의 그래픽 엘리먼트들로부터 컴파일된 인터페이스일 수 있다. 복합 그래픽 어시스턴트 인터페이스는, 사용자와 임의의 연결 디바이스들 간의 중개자 역할을 할 수 있는 자동화 어시스턴트에 의해 사용될 수 있다. 예를 들어, 사용자는 “어시스턴트, 주방 조명(light) 켜줘” 와 같은 음성 발언을 제공할 수 있다. 음성 발언은 하나 이상의 마이크로폰과 디스플레이 패널을 포함할 수 있는 클라이언트 디바이스에 수신될 수 있다. 음성 발언의 수신에 응답하여, 자동화 어시스턴트는 사용자 집의 주방에 있는 임의의 조명이 켜지도록 할 수 있다. 또, 자동화 어시스턴트는 사용자가 제어를 위해 자동화된 어시스턴에 요청한 "사물 인터넷"(IoT) 디바이스의 타입을 식별할 수 있고, IoT 디바이스의 타입과 연관된 하나 이상의 제어 파라미터들을 식별할 수 있다. 제어 파라미터들은 IoT 디바이스의 상태를 변경(modify)하기 위해 IoT 디바이스에 제공될 수 있는 슬롯 값에 해당할 수 있으므로 제어 파라미터들은 IoT 디바이스에 대해 허용 가능한 슬롯 값들을 분석함으로써 식별될 수 있다. 예를 들어, 스마트 전구와 같은 IoT 디바이스는, 전구의 조도 상태가 될 수 있는 “온(on)”과 “오프(off)”같은 슬롯 값들, 및/또는 전구의 컬러 상태가 될 수 있는 “레드”“그린”및 “블루”와 같은 컬러값들 수신할 수 있다. 또, IoT 디바이스는, 전구의 밝기 상태가 될 수 있는 0 과 100 사이의 임의의 숫자와 같은 슬롯 값들을 수신할 수 있다. 자동화 어시스턴트가 IoT 디바이스의 가능한 슬롯 값들 및/또는 결과 상태들을 모두 식별하면, 자동화 어시스턴트는 복합 그래픽 어시스턴트 인터페이스에 컴파일링할 수 있는 적절한 그래픽 제어 엘리먼트들을 식별할 수 있다.
예를 들어, 일부 구현예들에서, 자동화 어시스턴트는 특정 IoT 디바이스의 정해진 기능에 대한 슬롯 값들의 총 개수를 식별할 수 있고, 그 기능을 그래픽 제어 엘리먼트와 연관시킬 수 있다. 자동화 어시스턴트는 두 가지 슬롯 값들(예를 들어, “온”과 “오프”)을 갖는 기능을 위한 그래픽 제어 엘리먼트의 선택 시, 2위치 전기 스위치와 유사한, 두 상태를 갖는 그래픽 제어 엘리먼트를 선택할 수 있다. 또, 자동화 어시스턴트는, 슬롯 값들로 예를 들어 “레드”“그린”및 “블루”와 같은 컬러의 이름을 갖는 기능을 위한 그래픽 제어 엘리먼트의 선택시, 예를 들어 컬러링된 버튼의 배열과 같이 컬러 표시된 입력들을 갖는 그래픽 제어 엘리먼트를 선택할 수 있다. 또, 자동화 어시스턴트는 최소 임계치를 갖는 슬롯 값들(예를 들어, 둘 이상, 다섯 이상, 열 개 이상 등)를 갖는 기능을 위한 그래픽 제어 엘리먼트의 선택시, 예를 들어 전위차계와 같이 다이얼 제어와 유사한 그래픽 제어 엘리먼트를 선택할 수 있다.
자동화 어시스턴트가 복합 그래픽 어시스턴트 인터페이스를 생성할 수 있도록 하나 이상의 적절한 그래픽 제어 엘리먼트들을 선택하면, 자동화 어시스턴트는 클라이언트 디바이스로 하여금 복합 그래픽 어시스턴트 인터페이스를 디스플레이하게 할 수 있다. 예를 들어, "어시스턴트, 주방 조명 켜줘"와 같은 음성 발언을 수신하는 것에 응답하여, 자동화 어시스턴트는 주방 조명이 켜지도록 하고 클라이언트 디바이스로 하여금 선택된 그래픽 제어 엘리먼트들을 포함하는 복합 그래픽 어시스턴트 인터페이스를 디스플레이하게 할 수 있다. 따라서, 복합 그래픽 어시스턴트 인터페이스는 예를 들어 조명들을 켜고 끄기 위한 2위치 스위치, 조명의 컬러를 제어하기 위한 컬러-표시된 제어입력, 및/또는 조명의 밝기를 조절하기 위한 다이얼 제어와 같은 그래픽 제어 엘리먼트들로 클라이언트 디바이스의 디스플레이 패널에 디스플레이될 수 있을 것이다. 이들 및 다른 방식들에서, 각각의 디바이스 및/또는 각각의 디바이스 제조사의 고유 애플리케이션에 액세스해야 하는 대신, 자동화된 어이스턴트는 특정 디바이스들의 상태들을 변경하기 위해 사용자가 활용할 수 있는 친숙한 그래픽 제어 엘리먼트들로 유사 인터페이스들을 생성할 수 있다. 또, 그러한 방식으로 복합 그래픽 어시스턴트 인터페이스들을 컴파일링 함으로써 네트워크 대역폭이 보존될 수 있고, 음성 발언을 처리하기 위해 클라이언트 디바이스가 원격 서버와 통신할 필요가 없다.
또한, 여러 구현예들에서, 전술한 그리고 그 밖에 명세서에 개시된 바와 같이, 연결 디바이스(들)의 기능(들)을 제어하기 위한 그래픽 어시스턴트 인터페이스는 연결 디바이스(들)에 대한 발화 커맨드에 응답하여 랜더링된다. 예를 들어, "온도 조절 장치를 72도로 조절해 줘”라는 발화 입력에 응답하여, 대화형 어시스턴트 인터페이스는 온도 조절 장치 설정점을 72도로 변경하는 것을 반영하여 렌더링될 수 있고, 제어된 설정점 기능을 더 조절하기 위한 터치 인터랙션이 가능하게 하고, 추가 기능(들)(예를 들어, 습도 기능들, 팬 온/오프 기능들 등)을 더 조절하기 위하여 터치 인터랙션들이 가능하게 한다. 이러한 방식과 다른 방식들에서, 제시된 어시스턴트 인터페이스는 사용자가 연결 디바이스의 제어를 계속 수행할 수 있도록 더 도와준다. 또한, 제시된 인터페이스는, 예를 들어 추가 발화 입력을 통한 유효 조절과 비교했을 때, 기능들의 추가 조절에 따른 네트워크 자원 및/또는 계산 자원가 더 효율적이도록 한다.
몇몇 구현예들에서, 디바이스의 상태가 자동화 어시스턴트에 의하여 제시된 복합 그래픽 어시스턴트 인터페이스에 반영될 수 있다. 예를 들어, "어시스턴트, 우리집 주방 조명을 켜줘"라는 음성 발언이 수신된 것에 응답하여, 자동화 어시스턴트는 전술한 복합 그래픽 어시스턴트 인터페이스가 클라이언트 디바이스의 디스플레이 패널에 제시되게 한다. 또, 자동화 어시스턴트는 주방 조명들이 켜지게 한 후, 주방 조명들의 결과 상태(예를 들어, 상태:[조명: “온(on)”…를 식별할 수 있고, 주방 조명들의 상태를 제시하기 위한 복합 그래픽 어시스턴트의 그래픽 제어 엘리먼트를 구성할 수 있다. 예를 들어, 주방 조명들을 제어하기 위한 그래픽 제어 엘리먼트는, 사용자가 자동화 어시스턴트에 음성 발언을 발행함에 따라 야기된 상태 변경을 반영하기 위해 "온" 상태로 제시될 수 있다. 일부 구현 예들에서, 디바이스의 다른 상태들도 복합 그래픽 어시스턴트의 인터페이스에 반영될 수 있다. 예를 들어, 주방 조명의 밝기 레벨을 50%로 하는 사용자의 음성 발언이 제공된 경우, 자동화 어시스턴트는 주방 조명들의 밝기 레벨을 제어하는 다이얼이 50%에 위치하게 할 수 있다. 다시 말해, 자동화 어시스턴트가 IoT 디바이스의 상태를 변경하는 특정 음성 발언을 수신하는 것에 응답하여, 자동화 어시스턴트는 IoT 디바이스의 상태를 사용자에게 정확하게 나타내기 위해 IoT 디바이스로부터 추가 상태 정보를 검색(또는 수신)할 수 있다. 또, 자동화 어시스턴트가 특정 음성 발언을 수신한 것에 응답하여, 자동화 어시스턴트는 IoT 디바이스에 의해 수행될 수 있는 다른 기능들을 결정할 수 있다. 이는, 자동화 어시스턴트로 하여금 IoT 디바이스의 상태를 변경하기 위해 사용할 수 있는 다수의 제어들이 반영된 더 포괄적인 복합 그래픽 어시스턴트 인터페이스를 컴파일할 수 있게 한다.
자동화 어시스턴트와 사용자의 이전 인터랙션들을 반영한 그래픽 어시스턴트 인터페이스를 제공함으로써, 사용자 인터랙션이 보다 향상될 수 있다. 특히, IoT 디바이스들의 제어와 같이 연관된 어시스턴트 작업들이 적은 수의 인터랙션으로 이루어질 수 있게 하여, 인터랙션과 관련된 컴퓨터 소모와 네트워크 자원를 감소시킨다. 또, 일부 구현 예들에서, 초기 인터랙션은 예를 들어 발언의 인지를 통하는 방식과 같은 선택적 양태를 통해 실행될 수 있는데, 이는 특정 제어들(예를 들어, 온 또는 오프 상태와 같은 이진 선택에는 적합하지만, 연관된 기능들(예를 들어, 선호 레벨 또는 밸런스의 정밀 제어)에 대해서는 효율적이지 않을 수 있다. 따라서, 각 기능에 적절한 양태들이 자동으로 그리고 효율적인 방식으로 제시될 수 있다. 그래픽 인터페이스의 제공은 초기 사용자 입력과 관련된 기능들의 검색용이성을 향상시킬 수도 있다.
상기 설명은 본 개시의 일부 구현예의 개요로서 제공된다. 이러한 구현예 및 기타 구현예에 대한 추가 설명은 아래에서 더 자세히 설명된다.
일부 구현예에서, 하나 이상의 프로세서들에 의해 구현되는 방법은 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언(spoken utterance)이 클라이언트 디바이스와 링크된 연결(connected) 디바이스의 상태를 변경하기 위한 요청을 포함한다고 결정하는 단계와 같은 동작을 포함하는 것으로 개시될 수 있다. 음성 발언은 사용자에 의해 제공된다. 방법은 요청을 수신하는 것에 응답하여, 요청에 대응하는 기능을 식별하는 단계와; 기능을 식별하는 것에 기초하여, 연결 디바이스가 요청에 대응하는 기능을 수행하게 하는 단계와; 연결 디바이스의 현재 상태를 결정하는 단계를 더 포함할 수 있다. 연결 디바이스의 현재 상태는 기능의 수행에 영향을 받는다. 방법은 또한 연결 디바이스에 의해 수행될 수 있는 하나 이상의 다른 기능을 식별하는 단계를 포함할 수 있다. 연결 디바이스의 현재 상태는 하나 이상의 다른 기능의 수행에 추가로 영향을 받는다. 방법은 기능 및 하나 이상의 다른 기능을 식별하는 것에 기초하여, 연결 디바이스에 의해 수행되는 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트 및 하나 이상의 다른 기능을 제어하기 위한 제2 그래픽 제어 엘리먼트를 결정하는 단계를 더 포함할 수 있다. 방법은 또한 연결 디바이스의 현재 상태에 기초하여, 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트의 각 그래픽 제어 엘리먼트에 대한 구성을 결정하는 단계와; 그리고 요청을 수신하는 것에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 포함할 수 있다. 복합 그래픽 어시스턴트 인터페이스는 각 그래픽 제어 엘리먼트에 대한 상기 결정된 구성에 따라 배열되는 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트를 포함할 수 있다.
일부 구현예에서, 상기 방법은 디스플레이 패널에서, 사용자가 하나 이상의 다른 기능의 추가 기능에 대응하는 제2 그래픽 제어 엘리먼트를 선택하였는지 결정하는 단계와; 사용자가 제2 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 연결 디바이스가 추가 기능을 수행하도록 하는 단계와, 상기 추가 기능의 수행은 연결 디바이스로 하여금 변경된 상태(modified state)를 나타내게 하고; 그리고 연결 디바이스가 추가 기능을 수행하는 것에 응답하여, 제2 그래픽 제어 엘리먼트가 상기 변경된 상태에 따라 재구성되게 하는 단계를 포함할 수 있다.
일부 구현예에서, 디스플레이 패널은 사용자가 하나 이상의 제스처 입력을 사용하여 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트를 직접 제어할 수 있는 터치 인터페이스를 포함한다. 일부 구현에서, 방법은 하나 이상의 기능의 추가 기능을 제어하기 위한 제3 그래픽 제어 엘리먼트 및 그 제3 그래픽 제어 엘리먼트에 링크되도록 구성된 선택 가능 링크를 결정하는 단계를 포함할 수 있다. 상기 제1클라이언트 디바이스와 관련된 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계는 선택 가능 링크가 복합 그래픽 어시스턴트 인터페이스에서 제공되게 하는 단계를 포함할 수 있다.
일부 구현에서, 방법은 사용자가 디스플레이 패널에서 사용자 선택 가능 링크를 선택했는지 결정하는 단계와; 그리고 사용자 선택 가능 링크를 선택했다는 결정에 응답하여, 복합 그래픽 어시스턴트 인터페이스가 제3 그래픽 제어 엘리먼트를 제공하게 하는 단계를 포함할 수 있다.
일부 구현에서, 클라이언트 디바이스는 통합된 디스플레이 패널이 없으며, 그리고 상기 방법은 클라이언트 디바이스가 통합된 디스플레이가 없는지 결정하는 단계와; 그리고 클라이언트 디바이스가 통합 디스플레이가 없다는 결정에 응답하여, 디스플레이 패널을 포함하고 클라이언트 디바이스에 링크된 추가 연결 디바이스를 식별하는 단계를 더 포함할 수 있다. 상기 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계는 추가 연결 디바이스의 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 랜더링하게 하는 단계를 포함할 수 있다. 일부 구현에서, 추가 연결 디바이스를 식별하는 단계는 클라이언트 디바이스에 대한 추가 연결 디바이스의 근접을 나타내는 저장된 디바이스 토폴로지에 기초하여, 복수의 후보 디바이스로부터 추가 연결 디바이스를 선택하는 단계를 포함한다.
다른 구현에서, 하나 이상의 프로세서에 의해 구현되는 방법은 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 연결 디바이스가 기능을 수행하기 위한 요청을 포함한다고 결정하는 단계와 같은 동작을 포함하는 것으로 개시된다. 음성 발언은 사용자에 의해 제공될 수 있고 연결 디바이스는 클라이언트 디바이스에 링크된다. 방법은 또한 요청을 수신하는 것에 응답하여, 요청에 대응하는 기능을 식별하는 단계와; 기능을 식별한 것에 기초하여, 연결 디바이스가 요청에 대응하는 기능을 수행하게 하는 단계와; 클라이언트 디바이스에 액세스 가능한 이력적 인터랙션 데이터에 기초하여, 사용자의 이전 요청에 따라 상기 연결 디바이스에 의해 이전에 수행된 하나 이상의 다른 기능을 결정하는 단계를 포함할 수 있다. 방법은 하나 이상의 다른 기능을 식별하는 것에 기초하여, 하나 이상의 다른 기능을 제어하기 위한 그래픽 제어 엘리먼트를 결정하는 단계와; 요청을 수신하는 것에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 상기 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 더 포함할 수 있다. 복합 그래픽 어시스턴트 인터페이스는 그래픽 제어 엘리먼트를 포함할 수 있다.
일부 구현에서, 방법은 음성 발언과 관련된 음성 특성에 기초하여 사용자의 프로필을 결정하는 단계를 포함할 수 있다. 상기 복합 그래픽 어시스턴트 인터페이스가 클라이언트 디바이스에서 제공되게 하는 단계는 복합 그래픽 어시스턴트 인터페이스가 상기 결정된 프로필에 기초하여 배열되는 복수의 그래픽 제어 엘리먼트를 포함하게 하는 단계를 포함할 수 있다.
일부 구현에서, 복수의 그래픽 제어 엘리먼트는 결정된 프로필로 표시된 사용자의 선호도에 기초하여 적어도 하나의 사용 가능한 그래픽 제어 엘리먼트를 생략한다. 일부 구현에서, 방법은 원격 서버 디바이스에, 연결 디바이스의 현재 상태를 나타내는 상태 데이터를 요청하는 단계를 포함할 수 있다. 연결 디바이스의 현재 상태는 연결 디바이스에 의해 이전에 수행된 하나 이상의 기능에 의해 영향을 받을 수 있다. 방법은 원격 서버 디바이스로부터 상태 데이터를 수신하는 단계와; 그리고 상태 데이터에 기초하여 그래픽 제어 엘리먼트에 대한 구성을 결정하는 단계를 더 포함할 수 있다. 그래픽 제어 엘리먼트는 결정된 구성에 따라 복합 그래픽 어시스턴트 인터페이스에 배열될 수 있다.
일부 구현에서, 방법은 상태 데이터를 요청하는 것에 응답하여, 연결 디바이스의 현재 상태를 변경하기 위한 추가 기능에 대응하는 커맨드 데이터를 수신하는 단계를 포함할 수 있다. 일부 구현에서, 방법은 추가 기능을 제어하기 위한 추가 그래픽 제어 엘리먼트 및 선택 가능 링크를 결정하는 단계를 포함할 수 있다. 상기 클라이언트 디바이스와 관련된 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계는 복합 그래픽 어시스턴트 인터페이스가 상기 선택 가능 링크를 포함하게 하는 단계를 포함할 수 있다. 선택 가능 링크는 선택 가능 링크의 사용자 선택을 수신하는 것에 응답하여 추가 그래픽 제어 엘리먼트를 나타내도록 구성될 수 있다.
또 다른 구현예에서, 하나 이상의 프로세서에 의해 구현되는 방법은 클라이언트 디바이스와 관련된 디스플레이 패널에서 제공되는 제1 복합 그래픽 어시스턴트 인터페이스에서 사용자가 그래픽 제어 엘리먼트를 선택했다고 결정하는 단계와 같은 동작을 포함하는 것으로 개시된다. 제1 복합 그래픽 어시스턴트 인터페이스는 사용자가 클라이언트 디바이스와 통신하는 연결 디아비스를 제어할 수 있는 방식 (modality)일 수 있다. 방법은 사용자가 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 연결 디바이스가 그래픽 제어 엘리먼트에 대응하는 기능을 수행하게 하는 단계를 더 포함할 수 있다. 연결 디바이스는 복수의 상이한 기능을 수행하도록 구성될 수 있다. 방법은 또한 사용자가 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 복수의 상이한 기능 중 하나 이상의 다른 기능을 제어하기 위해 사용자의 이력적 성향을 특징짓는 사용자 선호도를 결정하는 단계를 포함할 수 있다. 방법은 사용자 선호도를 결정하는 것에 기초하여, 복수의 상이한 기능 중 하나 이상의 다른 기능을 식별하는 단계와; 하나 이상의 다른 기능을 식별하는 것에 기초하여, 연결 디바이스의 하나 이상의 다른 기능을 제어하기 위한 하나 이상의 그래픽 제어 엘리먼트를 결정하는 단계를 더 포함할 수 있다. 방법은 또한 사용자가 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 제1 복합 그래픽 어시스턴트 인터페이스를 하나 이상의 그래픽 제어 엘리먼트를 포함하는 제2 복합 그래픽 어시스턴트 인터페이스로 대체하게 하는 단계를 포함할 수 있다.
일부 구현에서, 방법은 연결 디바이스의 상태를 결정하는 단계를 포함할 수 있다. 이 상태는 기능 및 하나 이상의 다른 기능의 수행에 의해 영향을 받을 수 있다. 방법은 또한 연결 디바이스의 상태에 기초하여, 하나 이상의 그래픽 제어 엘리먼트의 각 그래픽 제어 엘리먼트에 대한 배열을 결정하는 단계를 포함할 수 있다. 일부 구현에서, 연결 디바이스의 상태는 하나 이상의 다른 기능의 각 기능의 수행 또는 미수행에 의해 영향을 받은 결과 상태(resulting condition)에 기초할 수 있다.
일부 구현에서, 연결 디바이스의 상태는 기능의 수행에 의해 영향을 받은 결과 상태에 기초할 수 있고, 제2 복합 그래픽 어시스턴트 인터페이스는 그 결과 상태를 나타내는 그래픽 인터페이스 엘리먼트를 포함한다. 제2 복합 그래픽 어시스턴트 인터페이스는 기능에 대응하는 그래픽 제어 엘리먼트를 배제할 수 있다. 일부 구현에서, 사용자 선호도는 클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 액세스 가능한 사용자와 자동화 어시스턴트 간의 이전 인터랙션에 적어도 기초하여 복수의 상이한 기능 중 하나 이상의 다른 기능을 제어하려는 사용자의 이력적 성향을 특징짓는다. 일부 구현에서, 이전 인터랙션은 사용자가 그래픽 제어 엘리먼트를 선택하기 전에 사용자와 자동화 어시스턴트 간의 대화 세션에 해당하며, 대화 세션 동안 사용자는 연결 디바이스가 기능을 수행하게 하는 요청을 제공한다.
다른 구현은 전술한 및/또는 본 명세서의 다른 곳에서 설명된 하나 이상의 방법과 같은 방법을 수행하기 위해 하나 이상의 프로세서(예를 들어, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 및/또는 텐서 프로세싱 유닛(TPU))에 의해 실행 가능한 명령들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 또 다른 구현은 전술한 및/또는 본 명세서의 다른 곳에서 설명된 하나 이상의 방법과 같은 방법을 수행하기 위한 저장된 명령들을 실행하도록 동작 가능한 하나 이상의 프로세서를 포함하는 하나 이상의 컴퓨터 및/또는 하나 이상의 로봇의 시스템을 포함할 수 있다.
본 명세서 매우 상세히 기술된 상기 개념들 및 추가적 개념들의 모든 조합들은 본 명세서에 개시된 본 발명의 일부인 것으로 고려되어야 한다. 예를 들면, 본 명세서의 끝부분에 나타나는 청구된 발명의 모든 조합들은 본 명세서에 개시된 본 발명의 일부인 것으로 고려된다.
도 1은 연결 디바이스들과 인터랙션하기 위한 복합 그래픽 어시스턴트 인터페이스들을 어셈블링하는 시스템을 도시한다.
도 2a 및 도 2b는 특정 기능을 수행하기 위해 사용자가 연결 디바이스에 요청을 제공하는 것에 응답하여 생성된 예시적 복합 그래픽 어시스턴트 인터페이스의 뷰들을 도시한다.
도 3a 및 도 3b는 다양한 상이한 기능들을 사용하여 연결 디바이스와 인터랙션하기 위한 제안들(suggestions)로 생성된 예시적 복합 그래픽 어시스턴트 인터페이스의 뷰들을 도시한다.
도 4a 및 도 4b는 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법들을 도시한다.
도 5는 사용자가 복합 그래픽 어시스턴트 인터페이스를 통해 연결 디바이스를 제어하기 위해, 사용자 선호도에 기초하여 복합 그래픽 어시스턴트 인터페이스에 그래픽 제어 엘리먼트를 제공하는 방법을 도시한다.
도 6은 예시적 컴퓨터 시스템의 블록도이다.
도 1은 연결 디바이스들과 인터랙션하기 위한 복합 그래픽 어시스턴트 인터페이스들을 어셈블링하기 위한 시스템(100)을 도시한다. 복합 그래픽 어시스턴트 인터페이스는 클라이언트 디바이스(102)(예, 테블릿 디바이스(128))와 같은 하나 이상의 컴퓨팅 디바이스들, 및/또는 서버 디바이스(112)와 같은 원격 컴퓨팅 디바이스(124)에 제공되는 자동화 어시스턴트(118)에 의하여 일부로 생성될 수 있다. 사용자(120)는 어시스턴트 인터페이스(110)를 통해 클라이언트 자동화 어시스턴트(104)와 인터랙션 할 수 있고, 이는 마이크로폰, 카메라, 터치 스크린 디스플레이, 사용자 인터페이스, 및/또는 사용자와 애플리케이션 간의 인터페이스를 제공할 수 있는 임의의 어떠한 장치가 될 수 있다. 예를 들어, 사용자(120)는 클라이언트 자동화 어시스턴트(104)가 어떤 동작(예를 들어, 데이터 제공, 주변 디바이스 제어, 에어전트에 엑세스하는 등)을 수행할 수 있도록, 구두, 텍스트 및/또는 그래픽 입력을 어시스턴트 인터페이스(110)에 제공함으로써 클라이언트 자동화 어시스턴트(104)를 초기화할 수 있다. 클라이언트 디바이스(102)는, 디스플레이 디바이스(108)를 포함할 수 있는데, 이는 사용자가 터치 인터페이스를 통해 클라이언트 디바이스(102)의 애플리케이션들을 제어하게 하기 위한 터치 입력들 및/또는 제스처들을 수신하기 위한 터치 인터페이스를 포함하는 디스플레이 패널일 수 있다.
클라이언트 디바이스(102)는 예를 들어 인터넷과 같은 네트워크(122)를 통해 원격 컴퓨팅 디바이스(124)와 통신하도록 이루어질 수 있다. 클라이언트 디바이스(102)는 클라이언트 디바이스(102)의 계산 자원를 보존하기 위해 계산 작업들을 원격 컴퓨팅 디바이스(124)에 오프로드(offload)할 수 있다. 예를 들어, 원격 컴퓨팅 디바이스(124)는 자동화 어시스턴트(118)를 호스트할 수 있고, 클라이언트 디바이스(102)는 하나 이상의 어시스턴트 인터페이스들에 수신된 입력들을 컴퓨팅 디바이스(124)로 전송할 수 있다.
그러나, 일부 구현예들에서, 자동화 어시스턴트(118)는 클라이언트 디바이스(102)에 전적으로 호스트될 수 있다. 다양한 구현예들에서, 클라이언트 자동화 어시스턴트(104)의 전부 또는 그 보다 적은 양태가 클라이언트 디바이스(102)에서 구현될 수 있다. 그 구현예들 몇몇에서, 자동화 어시스턴트(118)의 양태들은, 클라이언트 디바이스(102)의 클라이언트 자동화 어시스턴트(104)를 통해 구현되며, 클라이언트 자동화 어시스턴트(104)의 다른 양태들을 구현하는 원격 컴퓨팅 디바이스(124)와 인터랙션할 수 있다. 원격 컴퓨팅 디바이스(124)는 다수의 스레드들을 통해 복수의 사용자들 및 그들과 관련된 어시스턴트 애플리케이션들을 선택적으로 서브(serve)할 수 있다. 일부 구현예들에서 자동화 어시스턴트(118)의 전부 또는 그 보다 적은 양태들은 클라이언트 디바이스(102)의 클라이언트 자동화 어시스턴트(104)를 통해 구현되며, 클라이언트 자동화 어시스턴트(104)는 클라이언트 디바이스(102)의 운영 체제와는 별개의 애플리케이션(예를 들어, 운영 체제 “위에(on top)”설치됨)일 수 있고, - 또는 대안적으로 클라이언트 디바이스(102)의 운영 체제에 의하여 직접 구현될 수 있다.
일부 구현예들에서, 원격 컴퓨팅 디바이스(124)는 오디오 데이터에 임베드된 텍스트를 식별하기 위하여 어시스턴트 인터페이스에 수신되는 오디오 데이터를 처리할 수 있는 음성-텍스트 엔진(116)을 포함할 수 있다. 오디오 데이터를 텍스트로 변환하는 과정은 음성 인식 알고리즘을 포함할 수 있는데, 신경망, word2vec 알고리즘, 및/또는 단어나 문구에 대응하는 오디오 데이터의 그룹을 식별하기 위한 통계 모델이 사용될 수 있다. 오디오 데이터로부터 변환된 텍스트는, 텍스트 파서 엔진(114)에 의해 파싱되고, 자동화 어시스턴트(104)에서 사용가능하도록 변형되어 사용자 및/또는 제3자 애플리케이션으로부터 파싱한 커맨드를 생성 및/또는 식별하는데 사용될 수 있는 텍스트 데이터가 될 수 있다.
사용자(120)는 그들의 클라이언트 디바이스(102) 및/또는 클라이언트 자동화 어시스턴트(104)를 사용하여 연결 디바이스(132)와 인터랙션할 수 있다. 연결 디바이스(132)는, 로컬 영역 네트워크 또는 광역 네트워크를 통해 클라이언트 디바이스(102)와 연결되거나 또는 통신할 수 있는, 하나 이상의 IoT 디바이스들일 수 있다. 예를 들어, 클라이언트 디바이스(102)와 연결 디바이스(132) 모두는 실내(home) 또는 다른 환경의 Wi-Fi에 연결될 수 있다. 사용자(120)는, 연결 디바이스(132)와 인터랙션하기 위하여 연결 디바이스(132)와 연관된 애플리케이션을 초기화할 수 있다. 하지만, 사용자(120)가 다수의 상이한 연결 디바이스들과 빈번하게 인터랙션하는 경우이면, 사용자(120)가 각 연결 디바이스(132)를 제어하기 위하여 다수의 상이한 애플리케이션들을 동작시키는 것이 요구될 수 있다. 계산 자원를 더 효율적으로 사용하기 위해, 그리고 네트워크 대역폭의 낭비를 방지하기 위해, 클라이언트 자동화 어시스턴트(104) 및/또는 자동화 어시스턴트(118)는 사용자가 하나 이상의 연결 디바이스들(132)과 인터랙션할 수 있는 복합 그래픽 어시스턴트 인터페이스를 제공할 수 있다.
복합 그래픽 어시스턴트 인터페이스가 생성되게 하기 위하여, 사용자(120)는 어시스턴트 인터페이스(110)에 음성 발언(130)을 제공할 수 있다. 음성 발언은 사용자가 연결 디바이스로 하여금 특정 기능을 수행하게 하려는 것을 나타내는 요청을 포함할 수 있다. 음성 발언(130)에 대응하는 오디오 데이터는 클라이언트 디바이스(102)로부터 원격 디바이스(124)로 전송될 수 있다. 그런 다음, 오디오 데이터는 음성-텍스트 엔진(116)과 텍스트 파서 엔진(114)에 의해 처리될 수 있다. 오디오 데이터의 처리 후 텍스트는 사용자(120)가 음성 발언(130)에서 가리키는 하나 이상의 기능을 식별하기 위하여 기능 식별 엔진(142)에서 사용될 수 있다. 예를 들어, 기능 식별 엔진(142)은, 음성 발언(130)의 텍스트를 예를 들어 연결 디바이스 서버(134)와 같이 개별 원격 디바이스(126)에서 사용가능하도록 된 기능 데이터(136)와 비교할 수 있다. 기능 데이터(136)는 하나 이상의 연결 디바이스들이 수행할 수 있는 기능들의 포괄적인 리스트를 제공할 수 있다. 기능 식별 엔진(142)은 연결 디바이스(132)에 의하여 수행될 수 있는 사용자가 가리키는 하나 이상의 기능들을 식별하기 위하여 텍스트와 기능 데이터(136)를 비교할 수 있다.
하나 이상의 기능들에 대응하는 텍스트를 결정하는 것에 응답하여, 자동화 어시스턴트(118) 또는 클라이언트 자동화 어시스턴트(104)는, 연결 디바이스(132)로 하여금 하나 이상의 식별된 기능들을 수행하게 할 수 있다. 예를 들어, 연결 디바이스(132)가 예를 들어 온도 조절 장치(이에 제한되지 않음)와 같은 IoT인 경우, 상기 기능은 연결 디바이스(132)의 온도 설정을 변경하는 것을 포함할 수 있다. 상기 기능이 연결 디바이스(132)에서 수행될 수 있게 하기 위한 커맨드가 서버 디바이스(112)에서 연결 디바이스(132)로 제공될 수 있다. 대안적으로, 연결 디바이스(132)가 기능을 수행하게 하기 위한 커맨드가 서버 디바이스(112)로부터 연결 디바이스 서버(134)로 제공될 수 있고, 연결 디바이스(132)와 통신하여서 연결 디바이스(132)가 기능을 수행하게 할 수 있다. 대안적으로, 클라이언트 디바이스(102)가 연결 디바이스(132)로 커맨드를 전송하거나, 또는 서버 디바이스(112)가 클라이언트 디바이스(102)로 커맨드를 전송하고 연결 디바이스(132)가 상기 기능을 수행하게 하기 위하여 클라이언트 디바이스(102)가 연결 디바이스(132)와 통신할 수 있다.
연결 디바이스(132)가 기능을 수행하게 하기 위해 음성 발언(130)을 수신하는 것에 응답하여, 자동화 어시스턴트는 클라이언트 디바이스(102)의 디스플레이 디바이스(108), 또는 클라이언트 디바이스(102)와 연관된 개별 디스플레이 디바이스에 복합 그래픽 어시스턴트 인터페이스가 제공되게 한다. 복합 그래픽 어시스턴트 인터페이스를 생성하기 위하여, 자동화 어시스턴트(118)는 기능 데이터(136)로부터, 연결 디바이스(132)에 의해 수행될 수 있는 하나 이상의 다른 기능들을 식별할 수 있다. 식별된 다른 기능들은, 그래픽 제어 엘리먼트들(140)을 식별할 수 있는 기초로 사용될 수 있고, 이는 식별된 다른 기능들의 각 기능을 디스플레이 디바이스(108)에서 제어하는데 사용될 수 있다. 예를 들어, 팬을 켜고 끄는 것과 같은 기능은 양방향 스위치에 대응하는 그래픽 제어 엘리먼트(140)에 의하여 제어될 수 있다. 또, 습도 조절과 같은 기능은 값들 범위에서 특정 값을 선택하기 위해 회전될 수 있는 다이얼(dail)에 대응하는 그래픽 제어 엘리먼트(140)를 사용하여 제어될 수 있다. 자동화 어시스턴트(118) 또는 클라이언트 자동화 어시스턴트(104)는 식별된 다른 기능들을 그래픽 제어 엘리먼트들(140)에 매핑시킬 수 있고, 이들은 서버 디바이스(112)에 저장되거나 기타 서버 디바이스(112)에서 엑세스할 수 있다.
복합 인터페이스 엔진(144)은 복합 그래픽 어시스턴트 인터페이스를 생성하기 위하여 그래픽 제어 엘리먼트들(140)을 식별된 다른 기능들과 매핑시킬 수 있다. 일부 구현예들에서, 자동화 어시스턴트(118)는 연결 디바이스(132)의 상황 또는 상태에 대응하는 상태 데이터(138)에 액세스할 수 있다. 상태 데이터(138)는 연결 디바이스(132)의 하나 이상의 기능들의 수행 또는 미수행에 의하여 달라질 수 있는 상태를 가리킬 수 있다. 예를 들어, 연결 디바이스(132) 중 하나에서 수행될 기능이 하나도 없는 경우 연결 디바이스(132)의 상태는 “오프(off)”가 될 수 있다. 대안적으로, 상태는 연결 디바이스(132)의 특정 기능들의 조건(들) 또는 파라미터(들)을 나타내는 데이터의 테이블 또는 문자열에 대응될 수 있다. 연결 디바이스(132)의 상태는 연결 디바이스(132)의 기능과 매핑되었던 각 그래픽 제어 엘리먼트(140)에 대한 구성들을 결정하는 기초로 사용될 수 있다. 예를 들어, 연결 디바이스(132)가 오프(off) 상태에 있는 조명을 포함하고, 연결 디바이스(132)의 기능이 조명을 켜거나 끄는 것이 경우, 조명 스위치에 대응하는 그래픽 제어 엘리먼트가 복합 그래픽 어시스턴트 인터페이스에 제공될 수 있고, 이는 조명 스위치가 오프되는 것을 보여주는 방식으로 구성될 수 있다. 다시 말해, 복합 그래픽 어시스턴트 인터페이스가 디스플레이 디바이스(108)에 제시될 경우, 각 그래픽 제어 엘리먼트는 연결 디바이스(132)의 현재 상태를 반영할 수 있다.
일부 구현예들에서, 복합 그래픽 어시스턴트 인터페이스를 위한 그래픽 제어 엘리먼트들의 배열 및/또는 선택은 사용자(120) 및 자동화 어시스턴트 및 /또는 연결 디바이스(132) 간의 인터랙션들과 연관된 데이터에 기초할 수 있다. 예를 들어, 임계 시간 내에 사용자에 의해 수행될 가능성이 있는 기능들에 기초하여, 기능들의 특정 그룹에 대응하는 그래픽 제어 엘리먼트들의 특정 그룹이 복합 그래픽 어시스턴트 인터페이스로 선택될 수 있다. 대안적으로, 또는 추가적으로, 기능들의 특정 그룹에 대응하는 그래픽 제어 엘리먼트들의 특정 그룹은, 특정 사용자, 특정 위치, 특정 디바이스, 및/또는 디바이스의 기능들로 제시될 수 있는 임의의 다른 관계에 따라서 어떻게 기능이 달라지는지에 기초하여 복합 그래픽 어시스턴트 인터페이스로 선택될 수 있다. 예를 들어, 사용자를 위해 생성되는 복합 그래픽 어시스턴트 인터페이스는, 집에 있는 사용자의 현재 위치에 영향을 받는 연결 디바이스의 기능들에 대응하는 그래픽 제어 엘리먼트들을 포함할 수 있다. 따라서, 그래픽 제어 엘리먼트들의 선택은 사용자의 위치, 연결 디바이스의 식별자, 사용자의 일정관리 스케줄, 및/또는 사용자의 지리위치 데이터를 추정하는데 사용될 수 있는 임의의 다른 데이터에 기초하여 이루어질 수 있다.
일부 구현예들에서, 사용자(120)가 통합 디스플레이 패널이 없는 어시스턴트 디바이스(128)에 음성 발언(130)을 제공하거나 또는 그 밖에 어시스턴트 디바이스(128)에 복합 그래픽 어시스턴트 인터페이스를 쉽게 제시할 수 없는 경우가 있을 수 있다. 그러한 구현예들에서, 자동화 어시스턴트는 음성 발언(130)을 어시스턴트 디바이스에서 수신하고 사용자(120)에 의해 요청된 기능이 연결 디바이스(132)에서 수행되게 할 수 있다. 그러나, 자동화 어시스턴트는, 기능의 수행을 위해 요청을 수신하고 디스플레이 패널이 어시스턴트 디바이스에서 사용가능하지 않음을 결정한 것에 응답하여, 하나 이상의 후보 디바이스들을 식별할 수 있다. 후보 디바이스들은, 어시스턴트 인터페이스를 디스플레이할 수 있는 능력, 사용자(120)와의 근접, 어시스턴트 디바이스와 근접, 연결 디바이스(132)와의 근접, 및/또는 특정 후보 디바이스에 대한 사용자(120) 선호도에 기초하여 식별될 수 있다. 예를 들어, 자동화 어시스턴트가 디스플레이 패널이 어시스턴스 디바이스에서 사용할 수 없는 것으로 결정한 경우 그리고 테블릿 디바이스 또는 텔레비전이 어시스턴트 디바이스에서 다음으로 가장 가까운 디스플레이 디바이스로 결정한 경우, 자동화 어시스턴트는 테블릿 디바이스 또는 텔레비전으로 하여금 복합 그래픽 어시스턴트 인터페이스를 제시하게 할 수 있다. 사용자(120)가 항상 디스플레이 패널에 가까이 있지는 않으므로, 사용자가 요청한 특정 기능이 연결 디바이스(132)에 의해 수행될 경우 자동화 어시스턴트는 여전히 복합 그래픽 어시스턴트 인터페이스가 바로 근처의 디스플레이 디바이스에서 생성될 수 있게 할 수 있다. 일부 구현예들에서, 사용자(120)가 기능을 수행하기 위해 연결 디바이스(132)에 요청을 제공하는 것에 응답하여, 자동화 어시스턴트는 어시스턴트 디바이스로 하여금 사용자에게 복합 그래픽 어시스턴트 인터페이스의 위치를 청각적으로 알려주게 할 수 있다. 예를 들어, 사용자(120)가 “어시스턴트, 주방의 조명을 켜 줘”라는 음성 발언을 제공한 것에 응답하여, 자동화 어시스턴트는 어시스턴트 디바이스가 “알았어요(OK), 당신의 테블릿 디바이스에 추가 제어들을 포함한 인터페이스를 제공했어요”라는 응답을 청각적으로 출력하게 할 수 있다. 그에 따라 자동화 어시스턴트는 테블릿 디바이스를 검색할 경우 연결 디바이스에 대한 추가 제어들을 찾을 수 있도록 하는 알림(notice)을 사용자(120)에게 제공할 수 있다.
도 2a 및 도 2b는 특정 기능을 수행하기 위해 사용자(202)가 연결 디바이스에 요청을 제공한 것에 응답하여 생성된 예시적 복합 그래픽 어시스턴트 인터페이스의 뷰들(200, 210)을 도시한다. 구체적으로, 사용자(202)는 클라이언트 디바이스(204)의 오디오 인터페이스에 음성 발언(208)을 제공함으로써, 예를 들어 테블릿 디바이스와 같은 클라이언트 디바이스(204)와 인터랙션할 수 있다. 음성 발언은, 예를 들어 "어시스턴트, 우리집 온도를 높여줘"가 될 수 있다. 음성 발언을 수신하는 것에 응답하여, 클라이언트 디바이스(204)에서 사용가능한 자동화 어시스턴트는, 음성 발언(208)에 포함된 요청을 식별하기 위해 음성 발언이 처리될 수 있도록 할 수 있다. 요청은, 예를 들어 온도 조절 장치의 온도를 높이는 것과 같이 연결 디바이스의 기능에 대응될 수 있다. 자동화 어시스턴트는 기능이 연결 디바이스에 의하여 수행되게 할 수 있고, 복합 그래픽 어시스턴트 인터페이스(212)가 클라이언트 디바이스(204)의 디스플레이 패널(206)에 제공되게 할 수 있다.
도 2b는 클라이언트 디바이스(204)의 디스플레이 패널(206)에 제공되는 복합 그래픽 어시스턴트 인터페이스(212)의 뷰(210)를 도시한다. 구체적으로, 사용자가 온도 설정을 높이라고 요청했기 때문에, 복합 그래픽 어시스턴트 인터페이스(212)는 온도 설정을 "72"로 높인다는 알림(notification)(214)을 포함할 수 있다. 또한, 복합 그래픽 어시스턴트 인터페이스(212)는 사용자(202)가 연결 디바이스의 다른 기능들을 제어할 수 있도록 다수의 상이한 그래픽 제어 엘리먼트들을 포함할 수 있다. 예를 들어, 복합 그래픽 어시스턴트 인터페이스(212)는 연결 디바이스의 습도 설정을 제어하기 위한 다이얼(218)을 제공할 수 있다. 추가적으로, 복합 그래픽 어시스턴트 인터페이스(212)는 팬 설정을 제어하기 위한 스위치(216), 보안 설정을 제어하기 위한 스위치(220)를 포함할 수 있다. 그리하여, 사용자(202)는 연결 디바이스가 다른 기능들을 수행하게 하기 위해 클라이언트 디바이스(204)에 또 다른 음성 발언을 제공할 필요가 없다. 대신, 다수의 음성 발언들을 제공하는 것에 비하여 기능들의 제어가 계산적으로 부하가 덜 집중되는 방식으로 제시될 수 있다. 비록 도 2b에 명확히 도시되지 않았지만, 음성 발언(208)에 응답하여 조절되는 기능의 추가 조정을 가능하게 하는 그래픽 제어 엘리먼트의 다양한 구현들이 복합 그래픽 어시스턴트 인터페이스(212)에 제시될 수 있다. 예를 들어, 알림(214)은 연결 디바이스의 온도 설정의 제어가 가능한 다이얼(예를 들어, 다이얼(218)과 유사한 것)로 대체될 수 있다. 그러한 다이얼은 온도 설정이 "72"로 증가하였음을 반영할 수 있다(예를 들어, 다이얼의 조정 엘리먼트 위에 또는 그 가까이에 "72"를 표시함).
도 3a 및 도 3b는 다양한 상이한 기능들을 사용하여 연결 디바이스와 인터랙션하기 위한 제안들(suggestions)로 생성된 예시적 복합 그래픽 어시스턴트 인터페이스(312)의 뷰들(300, 310)을 도시한다. 예를 들어, 사용자(302)는 연결 디바이스와 인터랙션하거나 연결 디바이스를 제어하기 위해 클라이언트 디바이스(304)의 오디오 인터페이스에 음성 발언(308)을 제공할 수 있다. 음성 발언은, 예를 들어 "어시스턴트, 우리집 온도를 변경하고 싶어"일 수 있다. 자동화 어시스턴트는 음성 발언(308)을 수신하여, 사용자(302)가 변경하고자 하는 또는 제어하고자 하는 특정 기능을 식별할 수 있도록 음성 발언(308)이 처리되게 할 수 있다.
특정 기능(예를 들어, 온도를 제어하는 것)을 식별하는 것에 응답하여, 자동화 어시스턴트는 식별된 특정 기능을 제어하기 위한 적어도 하나의 그래픽 제어 엘리먼트를 포함하는 복합 그래픽 어시스턴트 인터페이스(312)를 컴파일할 수 있다. 또, 자동화 어시스턴트는 복합 그래픽 어시스턴트 인터페이스를 컴파일하기 위한 다른 엘리먼트들을 선택할 수 있다. 예를 들어, 복합 그래픽 어시스턴트 인터페이스(312)는 온도를 제어하기 위한 다이얼(318), 연결 디바이스의 또 다른 기능(예를 들어, 습도 조절)을 제어하기 위한 제1 링크(314) 및 연결 디바이스의 또 다른 기능(예를 들어, 팬 조절)을 제어하기 위한 제2 링크(316)를 포함할 수 있다. 사용자(302)가 예를 들어 제1 링크(314)를 선택한 경우, 복합 그래픽 어시스턴트 인터페이스는 습도 조절을 위한 다이얼(예를 들어 도 2B의 다이얼(218))을 포함하는 또 다른 복합 그래픽 어시스턴트 인터페이스로 대체될 수 있다. 그리하여, 연결 디바이스의 다른 기능을 결정하기 위해 자동화 어시스턴트에 연속하여 음성 발언들을 제공하는 대신에, 사용자(302)가 연결 디바이스와 관련된 초기 음성 발언을 제공한 것에 응답하여 다양한 기능들이 사용자(302)에게 제안될 수 있다. 일부 구현예들에서, 복합 그래픽 어시스턴트 인터페이스(312)는 연결 디바이스의 현재 상태를 제시할 수 있다. 예를 들어, 다이얼(318)은 연결 디바이스의 현재 온도 설정을 반영하도록 구성될 수 있다.
도 4a 및 도 4b는 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법들(400, 410)을 도시한다. 방법들(400, 410)은, 컴퓨팅 디바이스, 애플리케이션, 및/또는 연결 디바이스 및/또는 자동화 어시스턴트와 인터랙션할 수 있는 임의의 다른 장치 또는 모듈에 의해 수행될 수 있다. 방법(400)은, 클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 클라이언트 디바이스와 링크된 연결 디바이스의 상태를 변경하기 위한 요청을 포함한다고 결정하는 동작(402)을 포함한다. 자동화 어시스턴트 인터페이스는 마이크로폰, 터치 디스플레이, 카메라, 및/또는 사용자가 자동화 어시스턴트 및/또는 컴퓨팅 디바이스와 통신할 수 있는 임의의 다른 장치 중 하나 이상을 포함할 수 있다. 일부 구현예들에서, 연결 디바이스는 클라이언트 디바이스 및/또는 클라이언트 디바이스를 통해 액세스할 수 있는 자동화 어시스턴트와 통신하는 하나 이상의 디바이스들일 수 있다. 예를 들어, 클라이언트 디바이스 및 연결 디바이스(예를 들어, IoT 디바이스)는, 사용자의 홈(home)의 로컬 영역 네트워크(예를 들어, Wi-Fi 네트워크)와 커넥트되거나, 또는 인터넷을 통해 커넥트될 수 있다.
방법(400)은 요청을 수신하는 것에 응답하여, 수신된 요청에 대응되는 기능을 식별하는 동작(404)을 더 포함할 수 있다. 기능은 연결 디바이스가 수행 또는 실행할 수 있는 동작일 수 있다. 일부 구현예들에서, 기능은 하나 이상의 제안하는 연결 디바이스들에서 수행될 수 있는 다수의 상이한 동작들에 대응될 수 있다. 상기 기능은, 예를 들어 사용자 홈(home)의 주방에서 조명을 켜는 동작일 수 있다. 음성 발언은 기능을 수행하기 위한 요청을 포함할 수 있다. 예를 들어, 음성 발언은 “어시스턴트, 주방의 조명을 켜줘”가 될 수 있다. 음성 발언을 수신하는 것에 응답하여, 클라이언트 디바이스는 음성 발언으로부터 추출된 텍스트와 자동화 어시스턴트의 지시에 따라 초기화될 수 있는 사용 가능한 기능들을 비교함으로써, 수신된 음성 발언에 가장 대응하는 기능을 식별할 수 있다.
방법(400)은 기능을 식별하는 것에 기초하여, 연결 디바이스가 수신된 요청에 대응하는 기능을 수행하게 하는 동작(406)을 더 포함할 수 있다. 예를 들어, 일부 구현예들에서, 클라이언트 디바이스는 요청을 수신하고 식별된 기능을 수행하기 위하여 연결 디바이스로 커맨드를 발행할 수 있다. 다른 구현예들에서, 요청은 추가 처리를 위하여 클라이언트 디바이스에서 캡쳐되고 원격 서버로 전송될 수 있다. 그러면, 원격 서버 또는 연결 디바이스와 연관된 서버는 기능을 식별하여 연결 디바이스로 커맨드를 전송할 수 있고 연결 디바이스로 하여금 기능을 수행하게 할 수 있다. 대안적으로, 또는 추가적으로 일부 구현예들에서는, 원격 서버는 기능을 식별하여 클라이언트 디바이스로 커맨드를 전송할 수 있고, 그에 응답하여 연결 디바이스가 기능을 수행하게 하기 위해 클라이언트 디바이스가 연결 디바이스와 통신할 수 있다.
방법(400)은 연결 디바이스의 현재 상태를 결정하는 동작(408)을 추가로 포함할 수 있다. 연결 디바이스의 현재 상태는 하나 이상의 기능들의 수행에 의해 영향을 받거나 영향을 미칠 수 있다. 예를 들어, 기능이 조명을 켜는 요청에 대응하는 경우, 기능의 수행은 연결 디바이스(예를 들어, 스마트 조명(들))의 결과 상태가 "온"되게 할 수 있다. 따라서 현재 상태는, 각각이 하나 이상의 기능들의 수행 또는 미수행에 의하여 달라지는 하나 이상의 상태들(condition)에 기초할 수 있다. 예를 들어, 연결 디바이스가 조명 온 상태인 것에 응답하여, 연결 디바이스의 현재 상태는 “스마트_조명(상태): ([조명:온], [밝기: 50%], [색상:플랫_화이트])”가 될 수 있다. 연결 디바이스의 현재 상태는, 연결 디바이스에 질의를 발행하고 연결 디바이스의 현재 상태를 나타내는 데이터를 응답으로 수신하는 클라이언트 디바이스에 의해 결정될 수 있다. 대안적으로, 또는 추가적으로, 커맨드를 수신한 연결 디바이스가 식별된 기능을 수행하게 하는 것에 응답하여, 연결 디바이스가 기능을 수행하고, 연결 디바이스의 현재 상태를 나타내는 데이터와 함께 기능이 수행되었다는 확인을 제공할 수 있다. 대안적으로, 또는 추가적으로, 연결 디바이스는 연결 디바이스의 현재 상태를 서버로 전송할 수 있고, 클라이언트 디바이스는 하나 이상의 연결 디바이스들의 하나 이상의 현재 상태들에 액세스할 수 있는 원격 서버와 직접 또는 간접적으로 통신함으로써, 연결 디바이스의 현재 상태를 결정할 수 있다.
도 4a의 방법(400)은, 도 4a 및 도 4b 모두에 원형의 연속 엘리먼트 "A"로 표시된 바와 같이 도 4b의 방법(410)에서 계속될 수 있다. 방법(410)은 연결 디바이스에 의해 수행 가능한 하나 이상의 다른 기능들을 식별하는 동작(412)을 포함할 수 있다. 하나 이상의 다른 기능들은 이전에 식별된 기능과 다를 수 있다. 예를 들어, 식별된 기능이 조명을 켜는 동작에 대응하는 경우, 하나 이상의 다른 기능들은 조명의 밝기 레벨을 설정하는 동작 그리고/또는 조명의 색조를 설정하는 동작에 대응할 수 있다. 또, 하나 이상의 다른 기능들은, 그 기능이 연결 디바이스에서 수행 또는 미수행되어 연결 디바이스의 특정 상태(들)를 야기했는지에 의존하여, 연결 디바이스의 현재 상태에 영향을 미칠 수 있다.
방법(410)은 상기 기능 및 상기 하나 이상의 다른 기능들을 식별하는 것에 기초하여, 연결 디바이스에 의해 수행된 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트와 하나 이상의 다른 기능들을 제어하기 위한 제2 그래픽 제어 엘리먼트를 결정하는 동작(414)을 더 포함할 수 있다. 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트를 결정하는 단계는, 복합 그래픽 어시스턴트 인터페이스가 컴파일될 수 있는 다수의 상이한 그래픽 제어 엘리먼트들을 포함하는 로컬 또는 원격 메모리 스토리지로부터 그래픽 제어 엘리먼트들을 선택하는 단계를 포함할 수 있다. 각 그래픽 제어 엘리먼트는, 각 그래픽 제어 엘리먼트를 제어하는 파라미터들을 나타낼 수 있는 메타데이터와 연계시켜서 저장될 수 있다. 예를 들어, 제1 그래픽 제어 엘리먼트는 2진 또는 “온-오프” 파라미터들과 연계될 수 있는데, 그에 따라 제1 그래픽 제어 엘리먼트가 두 가지 상태 또는 조건을 갖는 기능을 제어할 수 있음을 나타낼 수 있다. 또한, 제2 그래픽 제어 엘리먼트는 파라미터들의 범위(예를 들어, 0과 1 또는 0과 100 사이의 둘 또는 그 이상의 값들의 범위)와 연계시켜 저장될 수 있는데, 그에 따라 제2 그래픽 제어 엘리먼트가 예를 들어 밝기 레벨의 변경 및/또는 색조의 변경과 같은 아날로그 기능들을 심리스하게 제어할 수 있음을 나타낼 수 있다.
방법(400)은, 연결 디바이스의 현재 상태에 기초하여, 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트의 각 그래픽 제어 엘리먼트의 구성을 결정하는 동작(416)을 더 포함할 수 있다. 구성은 연결 디바이스의 현재 상태를 반영하는 각 그래픽 제어 엘리먼트의 외관을 가리킬 수 있다. 예를 들어, 초기의 요청이 조명을 켜는 기능에 대응하는 경우, 조명들이 켜진 것에 응답하여 제1 그래픽 제어 엘리먼트가 연결 디바이스의 현재 상태를 반영하여 조명 스위치가 "온" 위치에 오도록 구성되는 것과 유사해질 수 있다. 또, 연결 디바이스의 현재 상태가 밝기 레벨 90%에 대응하는 경우, 제2 그래픽 제어 엘리먼트는 제2 그래픽 제어 엘리먼트의 아날로그 다이얼 범위가 1/2 내에 위치하는 조절 손잡이 또는 다이얼이 90% 에 위치에 오도록 구성되는 아날로그 다이얼과 유사해질 수 있다. 일부 구현예들에서, 각 그래픽 제어 엘리먼트와 연관된 메타데이터는 각 그래픽 제어 엘리먼트의 구성을 나타낼 수 있고, 메타데이터는 복합 그래픽 어시스턴트가 생성될 때 연결 디바이스의 현재 상태를 반영하여 변경되거나 또는 업데이트될 수 있다.
방법(410)은 요청을 수신하는 것에 응답하여, 클라이언트 디바이스와 연관된 디스플레이 패널에, 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트를 포함하는 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 동작(418)을 더 포함할 수 있다. 제1 그래픽 제어 엘리먼트 및 제2 그래픽 제어 엘리먼트 각각은 사용자의 연결 디바이스의 현재 상태를 반영하기 위하여, 결정된 구성에 따라 배열될 수 있다. 따라서, 사용자는 초기의 요청이 이행되었는지를 신속하게 인식할 수 있고, 추가적으로 음성 발언들을 인용하지 않고 연결 디바이스의 다른 기능들을 제어할 수 있다. 이는 계산 자원를 보존할 수 있게 하는데, 왜냐하면 추가적인 음성 발언들을 처리하는 것은 그래픽 유저 인터페이스에 입력을 수신하는 것보다 더 집약적인 처리를 요구할 수 있기 때문이다. 또, 추가적인 음성 발언들의 추가적으로 처리하는 것을 피하여 클라이언트 디바이스는 네트워크 대역폭을 보존할 수 있는데, 추가적인 음성 발언들과 관련된 오디오 데이터를 처리하기 위하여(예를 들어, 음성-텍스트 처리) 원격 서버로 전송할 필요가 없기 때문이다.
도 5는 사용자가 복합 그래픽 어시스턴트 인터페이스를 통해 연결 디바이스를 제어하기 위해, 사용자 선호도에 기초하여 복합 그래픽 어시스턴트 인터페이스에 그래픽 제어 엘리먼트를 제공하는 방법(500)을 도시한다. 방법(500)은 하나 이상의 컴퓨팅 디바이스들, 애플리케이션들, 및/또는 클라이언트 디바이스 및/또는 자동화 어시스턴트와 인터랙션할 수 있는 임의의 다른 장치 또는 모듈에 의해 수행될 수 있다. 방법(500)은 클라이언트 디바이스와 연관된 디스플레이 패널에 제공된 제1 복합 그래픽 어시스턴트 인터페이스에서 사용자가 그래픽 제어 엘리먼트를 선택하였음을 결정하는 동작을 포함할 수 있다. 연결 디바이스를 제어하기 위해, 제1 복합 그래픽 어시스턴트 인터페이스가 로컬 영역 네트워크 또는 광역 네트워크를 통해 클라이언트 디바이스와 통신하여 클라이언트 디바이스에 제공될 수 있다. 제1 복합 그래픽 어시스턴트 인터페이스가 제공된 디스플레이 패널은, 사용자가 연결 디바이스에서의 특정 기능의 수행을 초기화할 수 있도록 터치 인터페이스로 이루어질 수 있다. 제1 복합 그래픽 어시스턴트 인터페이스는, 다수의 상이한 연결 디바이스들을 제어하기 위해 사용될 수 있는 자동화 어시스턴트 애플리케이션에 의하여 제공될 수 있다. 디스플레이 패널은 클라이언트 디바이스의 일부이거나 별개일 수 있는데, 이는 사용자가 연결 디바이스에 직접 접촉할 필요 없이 연결 디바이스를 넘어 몇몇 제어를 제시할 수 있게 한다. 대신 상이한 제3자의 상이한 디바이스와 인터랙션할 수 있는 표준화된 인터페이스를 제공하기 위해, 사용자는 자동화 어시스턴트에 의하여 생성된 복합 그래픽 어시스턴트 인터페이스를 통해서 연결 디바이스와 인터랙션할 수 있다.
방법(500)은 사용자가 그래픽 제어 엘리먼트를 선택하였음을 결정하는 것에 응답하여, 연결 디바이스가 그래픽 제어 엘리먼트에 대응하는 기능을 수행하게 하는 동작(504)을 더 포함할 수 있다. 그래픽 제어 엘리먼트는 터치 디스플레이 패널을 통해 선택 가능한 제1 복합 그래픽 어시스턴트 인터페이스의 일부일 수 있고, 특정 과정이 클라이언트 및/또는 연결 디바이스에서 발생하게 할 수 있다. 예를 들어, 제1 복합 그래픽 어시스턴트 인터페이스는 사용자 집의 전기기계 시스템과 연계될 수 있고, 그래픽 제어 엘리먼트를 선택하는 것은 그 전기기계 시스템이 기능을 수행하게 하는 것일 수 있다. 예를 들어, 그래픽 제어 엘리먼트는 HVAC 시스템의 온도 출력을 조절하는데 사용될 수 있는 슬라이딩 타입(slide-able) 엘리먼트일 수 있다. 일부 구현예들에서, 제1 복합 그래픽 어시스턴트 인터페이스는 사용자가 HVAC 시스템의 특정 기능들을 제어할 수 있도록 다수의 상이한 그래픽 제어 엘리먼트들을 포함할 수 있다. 하지만, 제1 그래픽 제어 엘리먼트는 사용자가 가장 자주 사용하는 그래픽 제어 엘리먼트 및/또는 제1 복합 그래픽 어시스턴트 인터페이스의 경계 내에 적절히 피팅되는 다수의 그래픽 제어 엘리먼트로 제한될 수 있다.
또한 방법(500)은, 연결 디바이스에 의해 수행될 수 있는 복수의 상이한 기능들 중 하나 이상의 다른 기능들을 제어하기 위하여, 사용자의 이력적 성향을 특징짓는 사용자 선호도를 결정하는 동작(506)을 포함할 수 있다. 사용자 선호도는 클라이언트 디바이스에서 사용가능하거나 또는 클라이언트 디바이스에 액세스 가능한 하나 이상의 파일의 일부로 구현될 수 있다. 사용자 선호도는 사용자와 자동화 어시스턴트, 클라이언트 디바이스, 연결 디바이스, 및/또는 사용자의 지시에 따라 제어될 수 있는 임의의 다른 애플리케이션 또는 장치간의 이력적 인터렉션(과거 상호 작용)에 기초하여 생성되는 데이터의 서브셋일 수 있다. 예를 들어 사용자 선호도는, HVAC 시스템의 온도 출력을 변경하기 위해 사용자가 이전에 HVAC 시스템을 조작했던 것으로 곧바로 HVAC 시스템의 팬이 온이 되도록 한 것을 가리킬 수 있다. 따라서, 이력적 성향은 HVAC 시스템의 온도 출력을 조절할 때 사용자가 HVAC 시스템의 팬을 조절한 것일 수 있다. 일부 구현예들에서, 사용자 선호도는 연결 디바이스의 다수의 기능들을 조절하기 위하여 다수의 사용자 이력적 성향들을 특징지을 수 있다.
방법(500)은 하나 이상의 다른 기능을 식별한 것에 기초하여, 연결 디바이스의 하나 이상의 다른 기능들을 제어하기 위한 하나 이상의 그래픽 제어 엘리먼트들을 결정하는 동작(510)을 추가로 포함할 수 있다. 예를 들어, 연결 디바이스가 HVAC 시스템인 경우 온도, 습도, 공기 흐름을 변경하는 것과 그리고/또는 임의의 다른 동작을 포함한 다수의 기능들을 수행할 수 있다. 다수의 기능들은, 원격 서버 및/또는 연결 디바이스의 기능 리스트에 액세스할 수 있는 자동화 어시스턴트에 의하여 식별될 수 있다. 대안적으로, 또는 추가적으로, 클라이언트 디바이스는 연결 디바이스와 연관된 애플리케이션을 포함할 수 있고, 연결 디바이스의 기능 및/또는 클라이언트 디바이스 및/또는 자동화 어시스턴트를 통해 제어될 수 있는 임의의 기능들에 대응하는 데이터를 제공할 수 있다.
일부 구현예들에서, 하나 이상의 그래픽 제어 엘리먼트들은, 클라이언트 디바이스, 다른 클라이언트 디바이스, 및/또는 클라이언트 디바이스에 액세스 가능한 원격 서버에 제공된 그래픽 제어 엘리먼트들의 스토리지로부터 선택될 수 있다. 그래픽 제어 엘리먼트들은, 수신 및/또는 제공하기 위해 사용될 수 있는 입력들 및/또는 출력들의 타입을 나타낸 메타데이터와 함께 저장될 수 있다. 따라서, 자동화 어시스턴트는 그래픽 제어 엘리먼트들을 연결 디바이스에 의해 수행될 수 있는 기능들과 연계시키기 위하여 메타데이터를 사용할 수 있다. 예를 들어, 연결 디바이스가 두 개의 가능한 파라미터들을 갖는 단일의 슬롯 값(예를 들어, 온(on) 또는 오프(off))을 사용하는 기능을 수행할 수 있는 경우, 자동화 어시스턴트는 그 기능을 바이너리 스위치 그래픽 제어 엘리먼트(예를 들어, 조명 스위치)와 연계시킬 수 있다.
또한 방법(500)은 클라이언트 디바이스와 연관된 디스플레이 패널로 하여금, 제1 복합 그래픽 어시스턴트 인터페이스를 하나 이상의 그래픽 제어 엘리먼트들을 포함하는 제2 복합 그래픽 어시스턴트 인터페이스로 대체하게 하는 동작(512)을 더 포함할 수 있다. 제1 복합 그래픽 어시스턴트 인터페이스를 제2 복합 그래픽 어시스턴트 인터페이스로 대체하는 것은, 제1 복합 그래픽 어시스턴트 인터페이스가 적어도 부분적으로 또는 완전히 제2 복합 그래픽 어시스턴트 인터페이스로 대체되게 하는 것을 포함할 수 있다. 일부 구현예들에서, 제2 복합 그래픽 어시스턴트 인터페이스는 제1 복합 그래픽 어시스턴트 인터페이스에서 선택된 그래픽 제어 엘리먼트와 연관된 기능의 성공적 완료를 나타낼 수 있다. 일부 구현예들에서, 제2 복합 그래픽 어시스턴트 인터페이스는 제1 복합 그래픽 어시스턴트 인터페이스에 제공된 선택 가능 링크에 연관된 그래픽 제어 엘리먼트를 포함할 수 있다. 예를 들어, 제1 복합 그래픽 어시스턴트 인터페이스는 사용 가능한 기능을 나타내는 선택 가능 링크를 포함할 수 있고, 선택 가능 링크의 선택에 응답하여, 제2 복합 그래픽 어시스턴트 인터페이스가 사용 가능한 기능을 제어하기 위한 그래픽 엘리먼트로 제공될 수 있다.
일부 구현예들에서, 제2 복합 그래픽 어시스턴트 인터페이스는 선택된 그래픽 제어 엘리먼트와 관련된 기능을 제어하는 컨텍스트에서 사용자에 의하여 이전에 제어되었던 기능들에 대응하는 다수의 상이한 그래픽 제어 엘리먼트들을 포함하도록 배열될 수 있다. 그리하여, 사용자는 이전에 제어된 기능들을 수행하기 위해 음성 발언을 제공할 필요가 없고, 단지 디스플레이 패널의 제2 복합 그래픽 어시스턴트 인터페이스와 인터랙션하면 된다. 그 결과, 특정 기능들을 제어하기 위해 발생시켜야 할 음성 처리의 양이 제거되어 계산 자원들 및/또는 네트워크 대역폭이 보존될 수 있다.
일부 구현예들에서, 제2 복합 그래픽 어시스턴트 인터페이스에 제공된 그래픽 제어 엘리먼트들은 그래픽 제어 엘리먼트들에 대응하는 기능들 간의 관계에 기초할 수 있다. 예를 들어, 연결 디바이스가 홈(home) 내의 상이한 위치 및/또는 상이한 지리적 영역들에 따라 달라지는 기능들과 연계되는 경우, 각 복합 그래픽 어시스턴트 인터페이스에 제공된 그래픽 제어 엘리먼트들은 할당된 기능과 관련된 위치나 지리적 영역에 의해 구조화될 수 있다. 대안적으로, 또는 추가적으로, 제2 복합 그래픽 어시스턴트 인터페이스에 제시된 그래픽 제어 엘리먼트들은 대응하는 기능들의 순위에 기초하여 선택될 수 있다. 순위는 사용자 또는 사용자와 관련된 사람에 의한 각 기능의 사용 빈도, 사용자가 소유 또는 사용하는 다른 디바이스들 또는 애플리케이션들, 및/또는 특정 기능들을 사용자에게 제안하는데 사용될 수 있는 임의의 다른 데이터에 기초하여 이루어질 수 있다. 또, 제2 복합 그래픽 어시스턴트 인터페이스는, 특정 순위 임계치를 만족하는 순위를 포함하는 기능들에 대응되는 그래픽 제어 엘리먼트들로 제한될 수 있다.
도 6은 예시적 컴퓨터 시스템(610)의 블록도이다. 컴퓨터 시스템(610)는 일반적으로 적어도 하나의 프로세서(614)를 포함하며, 버스 서브 시스템(612)을 통해 다수의 주변 디바이스들과 통신한다. 이들 주변 디바이스들은 예를 들면, 메모리(625) 및 파일 저장 서브 시스템(626)을 포함하는 저장 서브 시스템(624), 사용자 인터페이스 출력 디바이스(620), 사용자 인터페이스 입력 디바이스(622) 및 네트워크 인터페이스 서브 시스템(616)을 포함할 수 있다. 입력 및 출력 디바이스는 컴퓨터 시스템(610)과 사용자 인터랙션을 하게 한다. 네트워크 인터페이스 서브 시스템(616)은 외부 네트워크에 대한 인터페이스를 제공하며, 다른 컴퓨터 시스템들의 대응하는 인터페이스 디바이스들과 연결된다.
사용자 인터페이스 입력 디바이스(622)는 키보드, 마우스, 트랙볼, 터치패드 또는 그래픽 태블릿, 스캐너, 디스플레이에 통합된 터치스크린과 같은 포인팅 디바이스, 음성 인식 시스템, 마이크로폰과 같은 오디오 입력 디바이스 및/또는 다른 유형의 입력 디바이스를 포함한다. 일반적으로, 용어 "입력 디바이스"의 사용은 정보를 컴퓨터 시스템(610) 또는 통신 네트워크에 입력하기 위한 모든 가능한 유형의 디바이스들과 방식들을 포함하도록 의도된다.
사용자 인터페이스 출력 디바이스(620)는 디스플레이 서브 시스템, 프린터, 팩스 기계 또는 오디오 출력 디바이스와 같은 비-시각적 디스플레이를 포함할 수 있다. 디스플레이 서브 시스템은 CRT, LCD와 같은 평면 패널 디바이스, 프로젝션 디바이스 또는 시각적 이미지를 생성하기 위한 일부 기타 메커니즘을 포함할 수 있다. 또한, 디스플레이 서브 시스템은 오디오 출력 디바이스와 같은 비-시각적 디스플레이를 제공할 수 있다. 일반적으로, 용어 "출력 디바이스"의 사용은 정보를 컴퓨터 시스템(610)로부터 사용자에게 또는 다른 기계 또는 컴퓨터 시스템에 정보를 출력하기 위한 모든 가능한 유형의 디바이스들과 방식들을 포함하도록 의도된다.
저장 서브 시스템(624)은 본 명세서에 기술된 일부 또는 전부의 모듈들의 기능을 제공하기 위한 프로그래밍 및 데이터 구조를 저장한다. 예를 들어, 저장 서브 시스템(624)은 방법(400), 방법(500)의 선택된 양태를 수행하기 위한, 그리고/또는 하나 또는 그이상의 연결 디바이스 서버(134), 서버 디바이스(112), 자동화 어시스턴트(118), 클라이언트 디바이스(102), 연결 디바이스(132), 기능 식별 엔진(142), 복합 인터페이스 엔진(144), 클라이언트 디바이스(204), 클라이언트 디바이스(304), 및/또는 본 명세서에서 논의된 임의의 다른 동작 또는 장치를 구현하기 위한 로직을 포함할 수 있다.
이들 소프트웨어 모듈들은 일반적으로 프로세서(614) 단독으로 또는 다른 프로세서들과의 조합에 의해 실행된다. 저장 서브 시스템(624)에서 사용된 메모리(625)는 프로그램 실행 중에 명령어들 및 데이터의 저장을 위한 메인 RAM(630) 및 고정된 명령어들이 저장되는 ROM(632)을 포함하는 다수의 메모리들을 포함할 수 있다. 파일 저장 서브 시스템(626)은 프로그램 및 데이터 파일에 대한 영구적 저장을 제공할 수 있고, 하드 디스크 드라이브, 관련 이동식 매체와 함께인 플로피 디스크 드라이브, CD-ROM 드라이브, 광학 드라이브 또는 이동식매체 카트리지들을 포함할 수 있다. 특정 구현예들의 기능을 구현하는 모듈들은 파일 저장 서브 시스템(626)에 의해 저장 서브 시스템(624)에 또는 프로세서(들)(614)에 의해 액세스 가능한 다른 기계에 저장될 수 있다.
버스 서브 시스템(612)은 의도된 대로 컴퓨터 시스템(610)의 다양한 컴포넌트들 및 서브 시스템들이 서로 통신하게 하기 위한 메커니즘을 제공한다. 버스 서브 시스템(612)이 개략적으로 단일 버스로 도시되었지만, 버스 서브 시스템의 대안적 구현예들은 다수의 버스들을 사용할 수 있다.
컴퓨터 시스템(610)은 워크스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서퍼팜 또는 임의의 기타 데이터 프로세싱 시스템 또는 컴퓨팅 디바이스를 포함하는 다양한 유형들일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 특성으로 인해, 도 6에 도시된 컴퓨터 시스템(610)는 일부 구현예들을 설명하기 위한 목적의 특정 예로서 만 의도된다. 컴퓨터 시스템(610)의 많은 다른 구성들이 도 6에 도시된 컴퓨터 시스템보다 많거나 적은 컴포넌트들을 가질 수 있다.
본 명세서에서 논의된 시스템들이 사용자들(또는 "참여자들"로 종종 지칭됨)에 관한 개인 정보를 수집하거나 또는 개인 정보를 사용하는 경우들에 있어서, 사용자들에게 프로그램들 또는 구성들이 사용자 정보(예를 들면, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 직업, 사용자의 선호들 또는 사용자의 현재 지리적 위치)에 관한 정보를 수집할 것인지 여부를 제어할, 사용자와 더 관련된 콘텐츠 서버로부터의 콘텐츠를 수신할지 및/또는 어떻게 수신할지 제어할 기회가 제공될 수 있다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 취급되어, 개인적으로 식별 가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 지리적 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 정보가 어떻게 수집되는지 그리고 사용되는지에 관한 제어를 가질 수 있다.
몇몇 구현예가 본 명세서에서 기술되고 도시되었지만, 기능을 수행하고 및/또는 결과 및/또는 본 명세서에 기술된 하나 이상의 이점을 획득하기 위한 다양한 다른 수단들 및/또는 구조들이 활용될 수 있으며, 그러한 변형들 및/또는 수정들은 본 명세서에서 기술된 구현예들의 범위 내에 있는 것으로 간주된다. 보다 일반적으로, 본 명세서에 기술된 모든 파라미터, 치수, 재료 및 구성은 예시적인 것으로 의도되었으며, 실제 파라미터, 치수, 재료 및/또는 구성은 교시를 사용되는 특정 애플리케이션 또는 애플리케이션들에 의존할 것이다. 통상의 기술자는 일상적인 실험만을 사용하여 본 명세서에 기술된 특정 구현예들에 대한 많은 균등물들을 인식할 수 있거나 또는 확인할 수 있을 것이다. 따라서, 전술한 구현예들은 단지 예일 뿐이며, 첨부된 청구범위 및 그 균등물의 범위내에서 구현은 구체적으로 기술되고 청구된 것과 다르게도 실시될 수 있음을 이해해야 한다. 본 개시의 구현은 본 명세서에 기술된 각각의 개별적인 구성, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다. 또한 구성, 시스템, 물품, 재료, 키트 및/또는 방법이 상호 불일치하지 않는다면, 그러한 두 개 이상의 구성, 시스템, 물품, 재료, 키트 및/또는 방법의 모든 조합이 본 발명의 범위 내에 포함된다.

Claims (23)

  1. 하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 방법은:
    자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언(spoken utterance)이 클라이언트 디바이스와 링크된 연결(connected) 디바이스의 상태를 변경하기 위한 요청을 포함한다고 결정하는 단계, 상기 음성 발언은 사용자에 의해 제공되고;
    요청을 수신하는 것에 응답하여, 요청에 대응하는 기능을 식별하는 단계;
    기능을 식별하는 것에 기초하여, 연결 디바이스가 요청에 대응하는 기능을 수행하게 하는 단계;
    연결 디바이스의 현재 상태를 결정하는 단계, 상기 연결 디바이스의 현재 상태는 기능의 수행에 영향을 받으며;
    연결 디바이스에 의해 수행될 수 있는 하나 이상의 다른 기능을 식별하는 단계, 상기 연결 디바이스의 현재 상태는 하나 이상의 다른 기능의 수행에 추가로 영향을 받으며;
    기능 및 하나 이상의 다른 기능을 식별하는 것에 기초하여, 연결 디바이스에 의해 수행되는 기능을 제어하기 위한 제1 그래픽 제어 엘리먼트 및 하나 이상의 다른 기능을 제어하기 위한 제2 그래픽 제어 엘리먼트를 결정하는 단계;
    연결 디바이스의 현재 상태에 기초하여, 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트의 각 그래픽 제어 엘리먼트에 대한 구성을 결정하는 단계; 및
    요청을 수신하는 것에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 포함하고,
    상기 복합 그래픽 어시스턴트 인터페이스는 각 그래픽 제어 엘리먼트에 대한 상기 결정된 구성에 따라 배열되는 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  2. 제1항에 있어서,
    디스플레이 패널에서, 사용자가 하나 이상의 다른 기능의 추가 기능에 대응하는 제2 그래픽 제어 엘리먼트를 선택하였는지 결정하는 단계;
    사용자가 제2 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 연결 디바이스가 추가 기능을 수행하도록 하는 단계, 상기 추가 기능의 수행은 연결 디바이스로 하여금 변경된 상태(modified state)를 나타내게 하고; 및
    연결 디바이스가 추가 기능을 수행하는 것에 응답하여, 제2 그래픽 제어 엘리먼트가 상기 변경된 상태에 따라 재구성되게 하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  3. 제2항에 있어서,
    상기 디스플레이 패널은,
    사용자가 하나 이상의 제스처 입력을 사용하여 제1 그래픽 제어 엘리먼트와 제2 그래픽 제어 엘리먼트를 직접 제어할 수 있는 터치 인터페이스를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  4. 임의의 선행하는 청구항에 있어서,
    하나 이상의 기능의 추가 기능을 제어하기 위한 제3 그래픽 제어 엘리먼트 및 그 제3 그래픽 제어 엘리먼트에 링크되도록 구성된 선택 가능 링크를 결정하는 단계를 더 포함하고,
    상기 제1클라이언트 디바이스와 관련된 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계는 선택 가능 링크가 복합 그래픽 어시스턴트 인터페이스에서 제공되게 하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  5. 제4항에 있어서,
    사용자가 디스플레이 패널에서 사용자 선택 가능 링크를 선택했는지 결정하는 단계; 및
    사용자 선택 가능 링크를 선택했다는 결정에 응답하여, 복합 그래픽 어시스턴트 인터페이스가 제3 그래픽 제어 엘리먼트를 제공하게 하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  6. 임의의 선행하는 청구항에 있어서,
    상기 클라이언트 디바이스는 통합된 디스플레이 패널이 없으며, 그리고
    상기 방법은,
    클라이언트 디바이스가 통합된 디스플레이가 없는지 결정하는 단계; 및
    클라이언트 디바이스가 통합 디스플레이가 없다는 결정에 응답하여, 디스플레이 패널을 포함하고 클라이언트 디바이스에 링크된 추가 연결 디바이스를 식별하는 단계를 더 포함하고,
    상기 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계는 추가 연결 디바이스의 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 랜더링하게 하는 단계를 포함하는 것을 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  7. 제6항에 있어서,
    상기 추가 연결 디바이스를 식별하는 단계는,
    클라이언트 디바이스에 대한 추가 연결 디바이스의 근접을 나타내는 저장된 디바이스 토폴로지에 기초하여, 복수의 후보 디바이스로부터 추가 연결 디바이스를 선택하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  8. 하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 방법은:
    자동화 어시스턴트 인터페이스를 통해 검출된 음성 발언이 연결 디바이스가 기능을 수행하기 위한 요청을 포함한다고 결정하는 단계, 상기 음성 발언은 사용자에 의해 제공되고 상기 연결 디바이스는 클라이언트 디바이스에 링크되고;
    요청을 수신하는 것에 응답하여, 요청에 대응하는 기능을 식별하는 단계;
    기능을 식별한 것에 기초하여, 연결 디바이스가 요청에 대응하는 기능을 수행하게 하는 단계;
    클라이언트 디바이스에 액세스 가능한 이력적 인터랙션 데이터에 기초하여, 사용자의 이전 요청에 따라 상기 연결 디바이스에 의해 이전에 수행된 하나 이상의 다른 기능을 결정하는 단계;
    하나 이상의 다른 기능을 식별하는 것에 기초하여, 하나 이상의 다른 기능을 제어하기 위한 그래픽 제어 엘리먼트를 결정하는 단계;
    요청을 수신하는 것에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 상기 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계를 포함하고,
    상기 복합 그래픽 어시스턴트 인터페이스는 그래픽 제어 엘리먼트를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  9. 제8항에 있어서,
    음성 발언과 관련된 음성 특성에 기초하여 사용자의 프로필을 결정하는 단계를 더 포함하고,
    상기 복합 그래픽 어시스턴트 인터페이스가 클라이언트 디바이스에서 제공되게 하는 단계는 복합 그래픽 어시스턴트 인터페이스가 상기 결정된 프로필에 기초하여 배열되는 복수의 그래픽 제어 엘리먼트를 포함하게 하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  10. 제9항에 있어서,
    상기 복수의 그래픽 제어 엘리먼트는,
    결정된 프로필로 표시된 사용자의 선호도에 기초하여 적어도 하나의 사용 가능한 그래픽 제어 엘리먼트를 생략하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  11. 임의의 선행하는 청구항에 있어서,
    원격 서버 디바이스에, 연결 디바이스의 현재 상태를 나타내는 상태 데이터를 요청하는 단계, 상기 연결 디바이스의 현재 상태는 연결 디바이스에 의해 이전에 수행된 하나 이상의 기능에 의해 영향을 받고;
    원격 서버 디바이스로부터 상태 데이터를 수신하는 단계; 및
    상태 데이터에 기초하여 그래픽 제어 엘리먼트에 대한 구성을 결정하는 단계를 더 포함하고, 상기 그래픽 제어 엘리먼트는 결정된 구성에 따라 복합 그래픽 어시스턴트 인터페이스에 배열되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  12. 제11항에 있어서,
    상태 데이터를 요청하는 것에 응답하여, 연결 디바이스의 현재 상태를 변경하기 위한 추가 기능에 대응하는 커맨드 데이터를 수신하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  13. 제12항에 있어서,
    추가 기능을 제어하기 위한 추가 그래픽 제어 엘리먼트 및 선택 가능 링크를 결정하는 단계를 더 포함하고,
    상기 클라이언트 디바이스와 관련된 디스플레이 패널이 복합 그래픽 어시스턴트 인터페이스를 제공하게 하는 단계는 복합 그래픽 어시스턴트 인터페이스가 상기 선택 가능 링크를 포함하게 하는 단계를 포함하고,
    상기 선택 가능 링크는 선택 가능 링크의 사용자 선택을 수신하는 것에 응답하여 추가 그래픽 제어 엘리먼트를 나타내도록 구성되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  14. 하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 방법은:
    클라이언트 디바이스와 관련된 디스플레이 패널에 제공되는 제1 복합 그래픽 어시스턴트 인터페이스에서 사용자가 그래픽 제어 엘리먼트를 선택했다고 결정하는 단계, 상기 제1 복합 그래픽 어시스턴트 인터페이스는 사용자가 클라이언트 디바이스와 통신하는 연결 디아비스를 제어할 수 있는 방식(modality)이고;
    사용자가 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 연결 디바이스가 그래픽 제어 엘리먼트에 대응하는 기능을 수행하게 하는 단계, 상기 연결 디바이스는 복수의 상이한 기능을 수행하도록 구성되고;
    사용자가 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 복수의 상이한 기능 중 하나 이상의 다른 기능을 제어하기 위해 사용자의 이력적 성향을 특징짓는 사용자 선호도를 결정하는 단계;
    사용자 선호도를 결정하는 것에 기초하여, 복수의 상이한 기능 중 하나 이상의 다른 기능을 식별하는 단계;
    하나 이상의 다른 기능을 식별하는 것에 기초하여, 연결 디바이스의 하나 이상의 다른 기능을 제어하기 위한 하나 이상의 그래픽 제어 엘리먼트를 결정하는 단계; 및
    사용자가 그래픽 제어 엘리먼트를 선택했다는 결정에 응답하여, 클라이언트 디바이스와 관련된 디스플레이 패널이 제1 복합 그래픽 어시스턴트 인터페이스를 하나 이상의 그래픽 제어 엘리먼트를 포함하는 제2 복합 그래픽 어시스턴트 인터페이스로 대체하게 하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  15. 제14항에 있어서,
    연결 디바이스의 상태를 결정하는 단계, 상기 상태는 기능 및 하나 이상의 다른 기능의 수행에 의해 영향을 받으며; 및
    연결 디바이스의 상태에 기초하여, 하나 이상의 그래픽 제어 엘리먼트의 각 그래픽 제어 엘리먼트에 대한 배열을 결정하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  16. 제15항에 있어서,
    상기 연결 디바이스의 상태는 하나 이상의 다른 기능의 각 기능의 수행 또는 미수행에 의해 영향을 받은 결과 상태(resulting condition)에 기초하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  17. 제15항에 있어서,
    상기 연결 디바이스의 상태는 기능의 수행에 의해 영향을 받은 결과 상태에 기초하고, 상기 제2 복합 그래픽 어시스턴트 인터페이스는 결과 상태를 나타내는 그래픽 인터페이스 엘리먼트를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  18. 제17항에 있어서,
    상기 제2 복합 그래픽 어시스턴트 인터페이스는 기능에 대응하는 그래픽 제어 엘리먼트를 배제하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  19. 제14항에 있어서,
    상기 사용자 선호도는,
    클라이언트 디바이스의 자동화 어시스턴트 인터페이스를 통해 액세스 가능한 사용자와 자동화 어시스턴트 간의 이전 인터랙션에 적어도 기초하여 복수의 상이한 기능 중 하나 이상의 다른 기능을 제어하려는 사용자의 이력적 성향을 특징짓는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  20. 제19항에 있어서,
    상기 이전 인터랙션은,
    사용자가 그래픽 제어 엘리먼트를 선택하기 전에 사용자와 자동화 어시스턴트 간의 대화 세션에 해당하며, 상기 대화 세션 동안 사용자는 연결 디바이스가 기능을 수행하게 하는 요청을 제공하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  21. 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 선행하는 청구항 중 어느 한 항의 방법을 수행하도록 하는 명령들을 포함하는 컴퓨터 프로그램 제품.
  22. 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 제1항 내지 제20항 중 어느 한 항의 방법을 수행하도록 하는 명령들을 포함하는 컴퓨터 판독 가능 저장 매체.
  23. 제1항 내지 제20항 중 어느 한 항의 방법을 수행하기 위한 하나 이상의 프로세서를 포함하는 시스템.
KR1020207034905A 2018-05-07 2018-05-07 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치 KR102509465B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237008079A KR20230037704A (ko) 2018-05-07 2018-05-07 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/031443 WO2019216874A1 (en) 2018-05-07 2018-05-07 Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237008079A Division KR20230037704A (ko) 2018-05-07 2018-05-07 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치

Publications (2)

Publication Number Publication Date
KR20210002721A true KR20210002721A (ko) 2021-01-08
KR102509465B1 KR102509465B1 (ko) 2023-03-14

Family

ID=62563270

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237008079A KR20230037704A (ko) 2018-05-07 2018-05-07 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치
KR1020207034905A KR102509465B1 (ko) 2018-05-07 2018-05-07 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237008079A KR20230037704A (ko) 2018-05-07 2018-05-07 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치

Country Status (6)

Country Link
US (2) US11237796B2 (ko)
EP (2) EP3816789A1 (ko)
JP (2) JP7155294B2 (ko)
KR (2) KR20230037704A (ko)
CN (1) CN112997143A (ko)
WO (1) WO2019216874A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023055120A1 (en) * 2021-09-30 2023-04-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling a remote device in an internet of things (iot) environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278678A1 (en) * 2014-01-30 2015-10-01 Vishal Sharma Mobile device to control virtual assistant system to remotely control external services and selectively share control of the same
US20160226732A1 (en) * 2014-05-01 2016-08-04 Belkin International, Inc. Systems and methods for interaction with an iot device
EP3093747A1 (en) * 2015-05-12 2016-11-16 Lg Electronics Inc. Image display device and method for controlling the same
KR20160147854A (ko) * 2014-05-30 2016-12-23 애플 인크. 가정 자동화를 위한 지능형 어시스턴트

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727174A (en) * 1992-03-23 1998-03-10 International Business Machines Corporation Graphical end-user interface for intelligent assistants
US5410326A (en) * 1992-12-04 1995-04-25 Goldstein; Steven W. Programmable remote control device for interacting with a plurality of remotely controlled devices
JP2000138979A (ja) * 1998-10-29 2000-05-16 Sanyo Electric Co Ltd ホームオートメーションシステム
US20140098247A1 (en) * 1999-06-04 2014-04-10 Ip Holdings, Inc. Home Automation And Smart Home Control Using Mobile Devices And Wireless Enabled Electrical Switches
US7987431B2 (en) * 1999-10-29 2011-07-26 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US7200555B1 (en) * 2000-07-05 2007-04-03 International Business Machines Corporation Speech recognition correction for devices having limited or no display
US6889191B2 (en) * 2001-12-03 2005-05-03 Scientific-Atlanta, Inc. Systems and methods for TV navigation with compressed voice-activated commands
US6791529B2 (en) * 2001-12-13 2004-09-14 Koninklijke Philips Electronics N.V. UI with graphics-assisted voice control system
WO2003081429A1 (fr) * 2002-03-22 2003-10-02 Toyota Jidosha Kabushiki Kaisha Procede et dispositif de gestion de taches, procede et dispositif d'evaluation de fonctionnement et programme devant etre evalue
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US8042049B2 (en) * 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
JP2004318446A (ja) * 2003-04-16 2004-11-11 Daikin Ind Ltd スケジュール装置およびスケジュール制御システム
US20060028337A1 (en) * 2004-08-09 2006-02-09 Li Qi P Voice-operated remote control for TV and electronic systems
US8099313B2 (en) * 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
CN1863095A (zh) * 2005-03-21 2006-11-15 奔峰电子（北京）有限公司 一种电子设备及其管理系统
US8042048B2 (en) * 2005-11-17 2011-10-18 Att Knowledge Ventures, L.P. System and method for home automation
US20090183070A1 (en) * 2006-05-11 2009-07-16 David Robbins Multimodal communication and command control systems and related methods
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
KR101362224B1 (ko) * 2007-12-03 2014-02-13 연세대학교 산학협력단 태스크 기반 사용자 인터페이스 생성 장치 및 그 방법
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8051381B2 (en) * 2008-12-22 2011-11-01 Whirlpool Corporation Appliance with a graphical user interface for configuring an accessory
US9836276B2 (en) * 2009-05-27 2017-12-05 Hon Hai Precision Industry Co., Ltd. Voice command processing method and electronic device utilizing the same
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10013976B2 (en) * 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
WO2013022222A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
US20130063369A1 (en) * 2011-09-14 2013-03-14 Verizon Patent And Licensing Inc. Method and apparatus for media rendering services using gesture and/or voice control
US20130080898A1 (en) * 2011-09-26 2013-03-28 Tal Lavian Systems and methods for electronic communications
KR101958902B1 (ko) 2011-09-30 2019-07-03 삼성전자주식회사 전자기기들의 그룹 제어 방법 및 그를 위한 전자기기 관리 시스템
KR101901230B1 (ko) * 2011-09-30 2018-11-06 삼성전자 주식회사 전자 기기 관리 시스템 및 방법과 이를 지원하는 장치와 단말기
KR101718894B1 (ko) * 2011-11-29 2017-03-23 삼성전자주식회사 기기 제어를 위한 유저 인터페이스 제공 시스템 및 방법
US9836177B2 (en) * 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
US9026441B2 (en) * 2012-02-29 2015-05-05 Nant Holdings Ip, Llc Spoken control for user construction of complex behaviors
US9223537B2 (en) * 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
US8498572B1 (en) * 2012-08-24 2013-07-30 Google Inc. Home automation device pairing by NFC-enabled portable device
US8983383B1 (en) * 2012-09-25 2015-03-17 Rawles Llc Providing hands-free service to multiple devices
US9230560B2 (en) * 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
CN102882752A (zh) * 2012-10-19 2013-01-16 天津光宏科技有限公司 基于物联网及安卓系统的智能家居系统及控制方法
US9275642B2 (en) * 2012-11-13 2016-03-01 Unified Computer Intelligence Corporation Voice-operated internet-ready ubiquitous computing device and method thereof
KR20140072927A (ko) * 2012-11-15 2014-06-16 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
EP2938022A4 (en) * 2012-12-18 2016-08-24 Samsung Electronics Co Ltd METHOD AND DEVICE FOR REMOTE CONTROL OF A HOME DEVICE IN A HOME NETWORK SYSTEM
JP2016508271A (ja) * 2013-01-04 2016-03-17 コピン コーポレーション 制御可能なヘッドセットコンピュータディスプレイ
US9172747B2 (en) * 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US10445115B2 (en) * 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
WO2014197340A1 (en) * 2013-06-08 2014-12-11 Apple Inc. Device and method for generating user interfaces from a template
US8970792B2 (en) * 2013-07-16 2015-03-03 Browan Communications Inc. Remote controller and remote controller set applied to display device
US9438440B2 (en) * 2013-07-29 2016-09-06 Qualcomm Incorporated Proximity detection of internet of things (IoT) devices using sound chirps
US20150053779A1 (en) * 2013-08-21 2015-02-26 Honeywell International Inc. Devices and methods for interacting with an hvac controller
US20150074524A1 (en) * 2013-09-10 2015-03-12 Lenovo (Singapore) Pte. Ltd. Management of virtual assistant action items
US10025463B2 (en) * 2013-09-18 2018-07-17 Vivint, Inc. Systems and methods for home automation scene control
US10134395B2 (en) * 2013-09-25 2018-11-20 Amazon Technologies, Inc. In-call virtual assistants
US9930519B2 (en) * 2013-11-21 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for controlling home devices on group basis based upon history of the home devices
US10768784B2 (en) * 2013-12-06 2020-09-08 Vivint, Inc. Systems and methods for rules-based automations and notifications
US9823811B2 (en) * 2013-12-31 2017-11-21 Next It Corporation Virtual assistant team identification
KR101560470B1 (ko) * 2014-01-07 2015-10-16 한국과학기술원 스마트 연결 장치 및 스마트 연결 장치를 활용하여 ＩｏＴ 장치를 제어하기 위한 방법
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
KR102248474B1 (ko) * 2014-04-30 2021-05-07 삼성전자 주식회사 음성 명령 제공 방법 및 장치
US9860076B2 (en) * 2014-05-07 2018-01-02 Vivint, Inc. Home automation via voice control
EP2950510B1 (en) * 2014-05-28 2018-07-11 Samsung Electronics Co., Ltd Apparatus and method for controlling internet of things devices
US20150365480A1 (en) * 2014-06-16 2015-12-17 Spidermonkey, LLC Methods and systems for communicating with electronic devices
US9368105B1 (en) * 2014-06-26 2016-06-14 Amazon Technologies, Inc. Preventing false wake word detections with a voice-controlled device
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US10001759B2 (en) * 2014-08-11 2018-06-19 Qualcomm Incorporated Method and apparatus for automatically generating an events dictionary in an internet of things (IOT) network
US20170097621A1 (en) * 2014-09-10 2017-04-06 Crestron Electronics, Inc. Configuring a control sysem
WO2016094807A1 (en) * 2014-12-11 2016-06-16 Vishal Sharma Virtual assistant system to enable actionable messaging
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10460720B2 (en) * 2015-01-03 2019-10-29 Microsoft Technology Licensing, Llc. Generation of language understanding systems and methods
US9959129B2 (en) * 2015-01-09 2018-05-01 Microsoft Technology Licensing, Llc Headless task completion within digital personal assistants
US10114351B2 (en) * 2015-03-05 2018-10-30 Google Llc Smart-home automation system that suggests or autmatically implements selected household policies based on sensed observations
US10567477B2 (en) * 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) * 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9959728B2 (en) * 2015-06-04 2018-05-01 International Business Machines Corporation Managing a smart appliance with a mobile device
KR102428375B1 (ko) * 2015-07-24 2022-08-02 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US10027920B2 (en) * 2015-08-11 2018-07-17 Samsung Electronics Co., Ltd. Television (TV) as an internet of things (IoT) Participant
KR102360067B1 (ko) * 2015-08-12 2022-02-07 삼성전자 주식회사 전자 장치 및 전자 장치의 정보 공유 방법
US20170063611A1 (en) * 2015-08-28 2017-03-02 Stringify Inc. User Configuration Mechanism for Internet-of-Things (IOT)
US9990921B2 (en) * 2015-12-09 2018-06-05 Lenovo (Singapore) Pte. Ltd. User focus activated voice recognition
US9826599B2 (en) * 2015-12-28 2017-11-21 Amazon Technologies, Inc. Voice-controlled light switches
WO2017119663A1 (en) * 2016-01-06 2017-07-13 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
JP2017138698A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10026229B1 (en) * 2016-02-09 2018-07-17 A9.Com, Inc. Auxiliary device as augmented reality platform
US10594796B2 (en) * 2016-02-09 2020-03-17 Qualcomm Incorporated Extending an IoT control interface from an IoT controller to a user device as part of a video media stream of a wireless media presentation session
US10446143B2 (en) * 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
WO2017165705A1 (en) * 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US10282218B2 (en) * 2016-06-07 2019-05-07 Google Llc Nondeterministic task initiation by a personal assistant module
DK179343B1 (en) * 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US20180039478A1 (en) * 2016-08-02 2018-02-08 Google Inc. Voice interaction services
US10261752B2 (en) * 2016-08-02 2019-04-16 Google Llc Component libraries for voice interaction services
KR102649254B1 (ko) * 2016-08-03 2024-03-20 삼성전자주식회사 디스플레이 제어 방법, 저장 매체 및 전자 장치
CN105974807A (zh) * 2016-08-10 2016-09-28 成都启源电子信息技术有限公司 智能家居控制系统
US10181323B2 (en) * 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US9747083B1 (en) * 2017-01-23 2017-08-29 Essential Products, Inc. Home device application programming interface
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
US11397558B2 (en) * 2017-05-18 2022-07-26 Peloton Interactive, Inc. Optimizing display engagement in action automation
US11036523B2 (en) * 2017-06-16 2021-06-15 General Electric Company Systems and methods for adaptive user interfaces
US11263300B2 (en) * 2017-07-25 2022-03-01 Samsung Electronics Co., Ltd. Voice activation method for service provisioning on smart assistant devices
US10708268B2 (en) * 2017-07-31 2020-07-07 Airwatch, Llc Managing voice applications within a digital workspace
US20190115099A1 (en) * 2017-10-04 2019-04-18 Timothy Gayle Goux Systems and methods for providing resource management across multiple facilities
US11368451B2 (en) * 2017-10-19 2022-06-21 Google Llc Two-factor authentication systems and methods
US10636424B2 (en) * 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10818288B2 (en) * 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10943606B2 (en) * 2018-04-12 2021-03-09 Qualcomm Incorporated Context-based detection of end-point of utterance
US10713019B2 (en) * 2018-04-26 2020-07-14 Microsoft Technology Licensing, Llc Developer and runtime environments supporting multi-input modalities
US11163961B2 (en) * 2018-05-02 2021-11-02 Verint Americas Inc. Detection of relational language in human-computer conversation
US10540974B2 (en) * 2018-05-30 2020-01-21 Intel Corporation Detection and disposition of commands methods and apparatuses
US10990351B2 (en) * 2019-02-13 2021-04-27 GICSOFT, Inc. Voice-based grading assistant
US11482215B2 (en) * 2019-03-27 2022-10-25 Samsung Electronics Co., Ltd. Multi-modal interaction with intelligent assistants in voice command devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278678A1 (en) * 2014-01-30 2015-10-01 Vishal Sharma Mobile device to control virtual assistant system to remotely control external services and selectively share control of the same
US20160226732A1 (en) * 2014-05-01 2016-08-04 Belkin International, Inc. Systems and methods for interaction with an iot device
KR20160147854A (ko) * 2014-05-30 2016-12-23 애플 인크. 가정 자동화를 위한 지능형 어시스턴트
EP3093747A1 (en) * 2015-05-12 2016-11-16 Lg Electronics Inc. Image display device and method for controlling the same

Also Published As

Publication number Publication date
US11237796B2 (en) 2022-02-01
US20200192630A1 (en) 2020-06-18
EP3583481B1 (en) 2021-02-17
EP3816789A1 (en) 2021-05-05
WO2019216874A1 (en) 2019-11-14
EP3583481A1 (en) 2019-12-25
KR102509465B1 (ko) 2023-03-14
JP2022189834A (ja) 2022-12-22
CN112997143A (zh) 2021-06-18
KR20230037704A (ko) 2023-03-16
JP7155294B2 (ja) 2022-10-18
JP2021523456A (ja) 2021-09-02
US20220156040A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
KR102520069B1 (ko) 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공
KR102586990B1 (ko) 멀티-어시스턴트 환경의 특성에 따른 어시스턴트 응답성 규정하기
JP6991251B2 (ja) アシスタントアプリケーションのための音声ユーザインタフェースショートカット
KR102460511B1 (ko) 디바이스 및/또는 디바이스의 설치 환경을 캡처하는 이미지 데이터의 처리에 기초한 디바이스 제어
KR20210110650A (ko) 선택된 제안에 따라 자동 어시스턴트에 음성 입력 보충하기
KR20210010523A (ko) 자동화된 어시스턴트를 통해 수행되도록 요청된 일련의 동작들의 실행 조정
KR102581347B1 (ko) 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어
KR20220165777A (ko) 사용자가 현재 사용자 입력을 완료하기 위한 특정 자동완성 제안을 선택하기 전에 실행가능한 요청의 이행
US20220156040A1 (en) Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices
CN114174972B (zh) 用于复杂应用gui的自动化助理控制的压缩口头话语

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant