KR101915575B1

KR101915575B1 - 가정 자동화를 위한 지능형 어시스턴트

Info

Publication number: KR101915575B1
Application number: KR1020167032258A
Authority: KR
Inventors: 라이언 엠. 오어; 가렛 리차드 넬; 벤자민 로이드 브룸바
Original assignee: 애플 인크.
Priority date: 2014-05-30
Filing date: 2015-03-31
Publication date: 2018-11-07
Also published as: AU2021218051A1; EP3105640B1; KR20180121684A; EP3105640A1; KR102088124B1; JP2017523492A; JP7564847B2; AU2020200103B2; US10170123B2; TWI519969B; CN106415412B; CN111880425B; US20220093109A1; AU2015267612A1; CN111856959A; US20190074016A1; US11699448B2; WO2015183401A1; JP2021121928A; AU2018201834A1

Abstract

본 발명은 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 시스템들 및 프로세스들에 관한 것이다. 일 예시적인 프로세스에서, 사용자는 사용자 디바이스에게 자연 언어 형태의 입력을 말하여(speak) 하나 이상의 전자 디바이스들을 제어할 수 있다. 사용자 디바이스는 사용자 스피치를 서버로 송신하여 텍스트 표현으로 변환되게 할 수 있다. 서버는 텍스트 표현에 기초하여 하나 이상의 전자 디바이스들 및 하나 이상의 전자 디바이스들에 의해 수행될 적절한 커맨드들을 식별할 수 있다. 식별된 하나 이상의 디바이스들 및 수행될 커맨드들은 사용자 디바이스로 다시 송신될 수 있는데, 사용자 디바이스는 커맨드들을 실행을 위한 적절한 하나 이상의 전자 디바이스들로 전송할 수 있다. 커맨드들을 수신하는 것에 응답하여, 하나 이상의 전자 디바이스들은 커맨드들을 수행할 수 있고, 그들의 현재 상태들을 사용자 디바이스로 송신할 수 있다.

Description

가정 자동화를 위한 지능형 어시스턴트{INTELLIGENT ASSISTANT FOR HOME AUTOMATION}

관련 출원에 대한 상호 참조

본 출원은, 모든 목적을 위해 전체적으로 본 명세서에 참고로 포함된, 2014년 5월 30일자로 출원되고 발명의 명칭이 "가정 자동화를 위한 지능형 어시스턴트(INTELLIGENT ASSISTANT FOR HOME AUTOMATION)"인 미국 가출원 제62/005,893호, 및 2014년 9월 30일자로 출원되고 발명의 명칭이 "가정 자동화를 위한 지능형 어시스턴트"인 미국 가출원 제14/503,105호로부터의 우선권을 주장한다.

본 발명은 대체로 자연 언어 프로세싱에 관한 것이며, 보다 구체적으로는, 전자 디바이스들을 제어하기 위해 자연 언어 프로세싱을 갖는 가상 어시스턴트(virtual assistant)의 사용에 관한 것이다.

컴퓨팅 디바이스, 예컨대, 모바일 전화기, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터 등 상에서 실행중인 소프트웨어 애플리케이션들을 사용하여 원격으로 제어될 수 있는 가정용 전자 디바이스들이 점점 인기가 높아지고 있다. 예를 들어, 많은 제조사들은, 전구의 밝기 및/또는 색상을 조정하기 위해 모바일 전화기 상에서 실행중인 소프트웨어 애플리케이션에 의해 제어될 수 있는 조명 전구들을 만들고 있다. 유사한 제어들을 갖는 다른 디바이스들, 예컨대 도어 잠금장치(door lock)들, 온도조절기(thermostat)들 등이 또한 이용가능하다.

이러한 디바이스들은 사용자들에게 더 큰 수준의 제어 및 편의를 제공할 수 있지만, 가정 내의 원격으로 제어되는 디바이스들의 수 및 원격으로 제어되는 디바이스들의 유형들의 수가 증가됨에 따라 이러한 디바이스들을 관리하는 것이 매우 어려워질 수 있다. 예를 들어, 전형적인 집은 집의 다양한 방들 전체에 걸쳐 배치된 40 내지 50개의 조명 전구들을 포함할 수 있다. 종래의 소프트웨어 애플리케이션들을 사용하면, 각각의 조명 전구에게 고유 식별자가 주어지고, 이러한 디바이스들 중 하나를 제어하려고 시도하는 사용자는 그래픽 사용자 인터페이스 내의 이용가능한 디바이스들의 목록으로부터 적절한 식별자를 선택해야 한다. 특정 조명 전구에 대한 정확한 식별자를 기억하고 그 식별자를 40 내지 50개의 식별자들의 목록으로부터 찾는 것은 어렵고 시간 소모적인 과정이 될 수 있다. 많은 수의 원격으로 제어되는 디바이스들을 관리하고 제어하는 어려움에 더하여, 상이한 제조법들은 전형적으로, 그들 각각의 디바이스들을 제어하기 위해 사용되어야 하는 상이한 소프트웨어 애플리케이션들을 제공한다. 그 결과, 사용자는 그의 조명 전구들을 켜거나/끄기 위해 하나의 소프트웨어 애플리케이션을 찾아서 열어야 하고, 이어서 그의 온도조절기의 온도를 설정하기 위해 다른 소프트웨어 애플리케이션을 찾아서 열어야 한다.

가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 시스템들 및 프로세스들이 제공된다. 일 예시적인 프로세스에서, 사용자는 사용자 디바이스에게 자연 언어 형태의 입력을 말하여(speak) 하나 이상의 전자 디바이스들을 제어할 수 있다. 사용자 디바이스는 사용자 스피치를 서버로 송신하여 텍스트 표현으로 변환되게 할 수 있다. 서버는 텍스트 표현에 기초하여 하나 이상의 전자 디바이스들 및 하나 이상의 전자 디바이스들에 의해 수행될 적절한 커맨드들을 식별할 수 있다. 식별된 하나 이상의 디바이스들 및 수행될 커맨드들은 사용자 디바이스로 다시 송신될 수 있는데, 사용자 디바이스는 커맨드들을 실행을 위한 적절한 하나 이상의 전자 디바이스들로 전송할 수 있다. 커맨드들을 수신하는 것에 응답하여, 하나 이상의 전자 디바이스들은 커맨드들을 수행할 수 있고, 그들의 현재 상태들을 사용자 디바이스로 송신할 수 있다.

도 1은 다양한 예들에 따른, 전자 디바이스들을 제어하기 위해 가상 어시스턴트가 사용될 수 있는 예시적인 환경을 도시한다.
도 2는 다양한 예들에 따른, 전자 디바이스들을 원격으로 제어하기 위해 가상 어시스턴트가 사용될 수 있는 예시적인 환경을 도시한다.
도 3은 다양한 예들에 따른 예시적인 사용자 디바이스를 도시한다.
도 4는 다양한 예들에 따른, 전자 디바이스들과 연관된 정보를 저장하기 위해 사용되는 다중 엔트리들의 시각적 표현을 도시한다.
도 5는 다양한 예들에 따른, 클라이언트-서버 모델을 이용하여 구현된 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 예시적인 프로세스를 도시한다.
도 6은 다양한 예들에 따른, 클라이언트-서버 모델을 이용하여 구현된 가상 어시스턴트를 사용하여 전자 디바이스들을 원격으로 제어하기 위한 예시적인 프로세스를 도시한다.
도 7은 다양한 예들에 따른, 독립형 사용자 디바이스 상의 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 예시적인 프로세스를 도시한다.
도 8은 다양한 예들에 따른, 전자 디바이스들의 상태들을 구성으로서 저장하기 위한 예시적인 프로세스를 도시한다.
도 9는 다양한 예들에 따른, 이전에 저장된 구성을 이용하여 전자 디바이스들의 상태들을 설정하기 위한 예시적인 프로세스를 도시한다.
도 10은 다양한 예들에 따른, 전자 디바이스들을 제어하도록 구성된 전자 디바이스의 기능 블록도를 도시한다.
도 11은 다양한 예들에 따른, 전자 디바이스들의 상태들을 구성으로서 저장하도록 구성된 전자 디바이스의 기능 블록도를 도시한다.
도 12는 다양한 예들에 따른, 저장된 구성에 기초하여 전자 디바이스들의 상태들을 설정하도록 구성된 전자 디바이스의 기능 블록도를 도시한다.
도 13은 다양한 예들에 따른, 전자 디바이스들을 제어하도록 구성된 전자 디바이스의 기능 블록도를 도시한다.
도 14는 다양한 예들에 따른, 전자 디바이스들의 상태들을 구성으로서 저장하도록 구성된 전자 디바이스의 기능 블록도를 도시한다.
도 15는 다양한 예들에 따른, 저장된 구성에 기초하여 전자 디바이스들의 상태들을 설정하도록 구성된 전자 디바이스의 기능 블록도를 도시한다.

예들의 다음 설명에서, 첨부된 도면들이 참조되며, 실행될 수 있는 특정 예들이 도면들 내에서 예시로서 도시된다. 다양한 예들의 범주를 벗어나지 않으면서 다른 예들이 이용될 수 있고 구조적 변경이 행해질 수 있다는 것이 이해되어야 한다.

지능형 자동화 어시스턴트들(또는 가상 어시스턴트들)은 사용자들과 전자 디바이스들 사이의 직관적인 인터페이스를 제공한다. 이러한 어시스턴트들은 사용자들이 구어(spoken) 및/또는 텍스트 형태들의 자연 언어를 사용하여 디바이스들 또는 시스템들과 상호작용하도록 할 수 있다. 예를 들어, 사용자는 자연 언어 형태의 구어 사용자 입력을 전자 디바이스와 연관된 가상 어시스턴트에 제공함으로써 전자 디바이스의 서비스들에 액세스할 수 있다. 가상 어시스턴트는 구어 사용자 입력에 대한 자연 언어 프로세싱을 수행하여

사용자의 의도를 추론하고, 사용자의 의도를 태스크들로 운용화할 수 있다. 이어서, 태스크들은 전자 디바이스의 하나 이상의 기능들을 실행함으로써 수행될 수 있고, 관련 출력이 자연 언어 형태로 사용자에게 반환될 수 있다.

본 발명은 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 시스템들 및 프로세스들에 관한 것이다. 일 예시적인 프로세스에서, 사용자는 사용자 디바이스에게 자연 언어 형태의 입력을 말하여 하나 이상의 전자 디바이스들을 제어할 수 있다. 사용자 디바이스는 사용자 스피치를 서버로 송신하여 텍스트 표현으로 변환되게 할 수 있다. 서버는 텍스트 표현에 기초하여 하나 이상의 전자 디바이스들 및 하나 이상의 전자 디바이스들에 의해 수행될 적절한 커맨드들을 식별할 수 있다. 식별된 하나 이상의 디바이스들 및 수행될 커맨드들은 사용자 디바이스로 다시 송신될 수 있는데, 사용자 디바이스는 커맨드들을 실행을 위한 적절한 하나 이상의 전자 디바이스들로 전송할 수 있다. 커맨드들을 수신하는 것에 응답하여, 하나 이상의 전자 디바이스들은 커맨드들을 수행할 수 있고, 그들의 현재 상태들을 사용자 디바이스로 송신할 수 있다.

시스템 개요

도 1은 다양한 예들에 따른, 가상 어시스턴트를 구현하여 전자 디바이스들을 제어하기 위한 예시적인 시스템(100)을 도시한다. 용어들 "가상 어시스턴트", "디지털 어시스턴트", "지능형 자동화 어시스턴트", 또는 "자동 디지털 어시스턴트"는 구어 및/또는 텍스트 형태의 자연 언어 입력을 해석하여 사용자 의도를 추론하고, 추론된 사용자 의도에 기초하여 액션들을 수행하는 임의의 정보 프로세싱 시스템을 지칭할 수 있다. 예를 들어, 추론된 사용자 의도에 따라 액션하기 위해, 시스템은 다음 중 하나 이상을 수행할 수 있다: 추론된 사용자 의도를 완수하도록 설계된 단계들 및 파라미터들로 태스크 흐름을 식별하는 것; 추론된 사용자 의도로부터의 특정 요건들을 태스크 흐름 내에 입력하는 것; 프로그램들, 방법들, 서비스들, API들 등을 호출함으로써 태스크 흐름을 실행하는 것; 및 청각적(예컨대, 스피치) 및/또는 시각적 형태로 사용자에 대한 출력 응답들을 생성하는 것.

가상 어시스턴트는 적어도 부분적으로 자연 언어 커맨드, 요청, 진술, 서술, 및/또는 질의의 형태로 사용자 요청을 받아들일 수 있다. 전형적으로, 사용자 요청은 가상 어시스턴트에 의해 정보 제공형 답변 또는 태스크의 수행 중 어느 하나를 구한다. 사용자 요청에 대한 만족스러운 응답은 요청된 정보 제공형 답변의 제공, 요청된 태스크의 수행, 또는 이 둘의 조합을 포함할 수 있다. 예를 들어, 사용자는 가상 어시스턴트에게, "내가 지금 어디에 있지?"와 같은 질문을 할 수 있다. 사용자의 현재 위치에 기초하여, 가상 어시스턴트는 "당신은 센트럴 파크에 있습니다."라고 답변할 수 있다. 사용자는 또한 태스크의 수행, 예를 들어, "오늘 오후 4시에 엄마에게 전화하라고 나에게 리마인드 해 주세요"를 요청할 수 있다. 이에 응답하여, 가상 어시스턴트는 요청에 답할 수 있고 이어서

사용자의 전자 스케줄 내에 적절한 리마인더 항목을 생성할 수 있다. 요청된 태스크의 수행 동안, 가상 어시스턴트는 때때로 연장된 기간 내내 다수의 정보 교환을 수반하는 연속 대화로 사용자와 상호작용할 수 있다. 가상 어시스턴트와 상호작용하여 정보 또는 다양한 태스크들의 수행을 요청하는 수많은 다른 방법들이 있다. 구두 응답들을 제공하는 것 및 프로그래밍된 액션들을 취하는 것 외에도, 가상 어시스턴트는 또한 (예컨대, 텍스트, 알림들, 음악, 비디오들, 애니메이션들 등과 같은) 다른 시각적 또는 청각적 형태들의 응답들을 제공할 수 있다.

가상 어시스턴트의 일례는 2011년 1월 10자로 출원된 "지능형 자동화 어시스턴트(Intelligent Automated Assistant)"에 대한 본 출원인의 미국 실용신안 출원 제12/987,982호에 기재되어 있으며, 그 전체 개시내용은 본 명세서에 참고로 포함된다.

도 1에 도시된 바와 같이, 일부 예들에서, 가상 어시스턴트는 클라이언트-서버 모델에 따라 구현될 수 있다. 가상 어시스턴트는 사용자 디바이스(102) 상에서 실행되는 클라이언트 측 부분, 및 서버 시스템(110) 상에서 실행되는 서버 측 부분을 포함할 수 있다. 사용자 디바이스(102)는 임의의 전자 디바이스, 예컨대 모바일 전화기, 태블릿 컴퓨터, 휴대용 미디어 플레이어, 데스크톱 컴퓨터, 랩톱 컴퓨터, PDA, 텔레비전, 텔레비전 셋톱 박스, 웨어러블 전자 디바이스 등을 포함할 수 있고, 하나 이상의 네트워크들(108)을 통하여 서버 시스템(110)과 통신할 수 있는데, 네트워크들은 인터넷, 인트라넷, 또는 임의의 다른 유선 또는 무선 공중 또는 사설 네트워크를 포함할 수 있다. 사용자 디바이스(102) 상에서 실행되는 클라이언트 측 부분은 클라이언트 측 기능들, 예컨대 사용자 대면 입력 및 출력 프로세싱 및 서버 시스템(110)과의 통신들을 제공할 수 있다. 서버 시스템(110)은 각각의 사용자 디바이스(102) 상에 존재하는 임의의 수의 클라이언트들에 서버 측 기능들을 제공할 수 있다.

서버 시스템(110)은 하나 이상의 가상 어시스턴트 서버들(114)을 포함할 수 있는데, 가상 어시스턴트 서버들은 클라이언트 대면 I/O 인터페이스(122), 하나 이상의 프로세싱 모듈들(118), 데이터 및 모델 저장소(120), 및 외부 서비스들에 대한 I/O 인터페이스(116)를 포함할 수 있다. 클라이언트 대면 I/O 인터페이스(122)는 가상 어시스턴트 서버(114)에 대한 클라이언트 대면 입력 및 출력 프로세싱을 가능하게 할 수 있다. 하나 이상의 프로세싱 모듈들(118)은 데이터 및 모델 저장소(120)를 이용하여, 자연 언어 입력에 기초하여 사용자의 의도를 결정하고, 추론된 사용자 의도에 기초하여 태스크 실행을 수행할 수 있다. 추가적으로, 데이터 및 모델 저장소(120)는 사용자 디바이스(102) 및/또는 서버 시스템(110)에 의해 제어될 수 있는 전자 디바이스들(예컨대, 전자 디바이스들(128, 130, 132)) 중 하나 이상과 연관된 고유 식별자, 상태, 유형, 위치, 및 임의의 다른 관련 정보를 저장할 수 있다. 일부 예들에서, 가상 어시스턴트 서버(114)는 태스크 완성 또는 정보 획득을 위해 네트워크(들)(108)를 통하여, 외부 서비스들(124), 예컨대 전화 통신 서비스들, 캘린더 서비스(calendar service)들, 정보 서비스들, 메시징 서비스들, 내비게이션 서비스들 등과 통신할 수 있다. 외부 서비스들에 대한 I/O 인터페이스(116)는 그러한 통신들을 가능하게 할 수 있다.

서버 시스템(110)은 하나 이상의 독립형 데이터 프로세싱 디바이스들 또는 분산형 컴퓨터 네트워크 상에 구현될 수 있다. 일부 예들에서, 서버 시스템(110)은 서버 시스템(110)의 기본 컴퓨팅 리소스들 및/또는 인프라구조 리소스들을 제공하기 위해 제3자 서비스 제공자들(예컨대, 제3자 클라우드 서비스 제공자들)의 다양한 가상 디바이스들 및/또는 서비스들을 채용할 수 있다.

사용자 디바이스(102)는 하나 이상의 네트워크들(126)을 통해 전자 디바이스들(128, 130, 132)에 추가로 연결될 수 있다. 전자 디바이스들(128, 130, 132)은 임의의 유형의 원격으로 제어되는 전자 디바이스, 예컨대, 조명 전구 (예컨대, 이진 온/오프 상태, 수치적인 디밍가능한(dimmable) 상태, 색상 상태 등을 가짐), 차고 도어(garage door)(예컨대, 이진 열림/닫힘 상태를 가짐), 도어 잠금장치(예컨대, 이진 잠금/잠금해제 상태를 가짐), 온도조절기(예컨대, 하나 이상의 수치적인 온도 상태들, 예컨대 고온, 저온, 시간 기반 온도들 등을 가짐), 전기 콘센트(예컨대, 이진 온/오프 상태를 가짐), 스위치(예컨대, 이진 온/오프 상태를 가짐) 등을 포함할 수 있다. 네트워크(들)(126)는 WiFi 네트워크 또는 임의의 다른 유선 또는 무선 공중 또는 사설 로컬 네트워크를 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자 디바이스(102)는, 예를 들어, 블루투스(Bluetooth), BTLE, 가시선, 피어투피어(peer-to-peer), 또는 다른 무선 기반 또는 다른 무선 통신을 이용하여 전자 디바이스들(128, 130, 또는 132)과 직접 통신하도록 연결될 수 있다. 이에 따라, 예시된 예에서, 사용자 디바이스(102)는 전자 디바이스들(128, 130, 132) 근방에 위치될 수 있어서, 그가 직접 또는 동일한 로컬 네트워크를 통해 그들과 통신할 수 있도록 한다. 예를 들어, 사용자 디바이스(102) 및 전자 디바이스들(128, 130, 132)은 동일한 집 또는 빌딩 내에 위치될 수 있고, 네트워크(들)(126)는 집 또는 빌딩의 WiFi 네트워크를 포함할 수 있다. 도 5, 도 8 및 도 9에 관하여 아래에서 더욱 상세하게 논의되는 바와 같이, 사용자 디바이스(102)는 사용자에 의해 사용자 디바이스(102)에 제공된 자연 언어 구어 입력에 응답하여 전자 디바이스들(128, 130, 132) 중 임의의 것을 제어하기 위해 커맨드들을 발행할 수 있다.

3개의 전자 디바이스들(128, 130, 132)만이 도시되어 있지만, 시스템(100)이 임의의 수의 전자 디바이스들을 포함할 수 있음이 이해되어야 한다. 추가적으로, 가상 어시스턴트의 기능이 클라이언트 측 부분 및 서버 측 부분 둘 모두를 포함하는 것으로 도 1에 도시되어 있지만, 일부 예들에서, 어시스턴트의 기능들은 사용자 디바이스 상에 설치된 독립형 애플리케이션으로서 구현될 수 있다. 또한, 가상 어시스턴트의 클라이언트 부분과 서버 부분 사이에서의 기능들의 분담은 상이한 예들에서 다를 수 있다. 예를 들어, 일부 예들에서, 사용자 디바이스(102) 상에서 실행되는 클라이언트는, 오로지 사용자 대면 입력 및 출력 프로세싱 기능들만을 제공하고, 가상 어시스턴트의 다른 모든 기능들을 백엔드 서버에 위임하는 씬-클라이언트(thin-client)일 수 있다.

도 2는 다양한 예들에 따른, 가상 어시스턴트를 구현하여 전자 디바이스들을 원격으로 제어하기 위한 다른 예시적인 시스템(200)을 도시한다. 시스템(100)과 유사하게, 시스템(200)은, 네트워크(들)(108)에 의해 서로 통신가능하게 연결된 사용자 디바이스(102), 서버 시스템(110) 및 외부 서비스들(124)을 포함할 수 있다. 그러나, 시스템(100)과 대조적으로, 사용자 디바이스(102)는 전자 디바이스들(128, 130, 132)에 연결되지 않을 수 있다. 그 대신에, 시스템(200)은, 네트워크(들)(108)를 통해 사용자 디바이스(102) 및/또는 서버 시스템(110)과 통신하도록 연결되며 네트워크(들)(126)를 통해 전자 디바이스들(128, 130, 132)과 통신하도록 연결된 제2 사용자 디바이스(134)를 포함할 수 있다. 이러한 구성은 사용자 및 사용자 디바이스(102)가 전자 디바이스들(128, 130, 132)로부터 원격으로 위치되는 상황(예컨대, 사용자 및 사용자 디바이스(102)는 사용자의 사무실에 있는 한편, 전자 디바이스들(128, 130, 132)은 사용자의 집에 있음)을 나타낼 수 있다.

제2 사용자 디바이스(134)는 임의의 유형의 전자 디바이스, 예컨대, 모바일 전화기, 태블릿 컴퓨터, 휴대용 미디어 플레이어, 데스크톱 컴퓨터, 랩톱 컴퓨터, PDA, 텔레비전, 텔레비전 셋톱 박스, 웨어러블 전자 디바이스 등을 포함할 수 있고, 사용자 디바이스(102) 및/또는 서버 시스템(110)으로부터 커맨드들을 수신하고 전자 디바이스들(128, 130, 132)에 커맨드들을 발행하도록 구성될 수 있다. 도 6에 관하여 아래에서 더욱 상세하게 논의되는 바와 같이, 제2 사용자 디바이스(134)는 사용자에 의해 사용자 디바이스(102)에 제공된 자연 언어 구어 입력에 응답하여 전자 디바이스들(128, 130, 132) 중 임의의 것을 제어하기 위해 커맨드들을 발행할 수 있다.

사용자 디바이스

도 3은 다양한 예들에 따른, 사용자 디바이스(102)(또는 제2 사용자 디바이스(134))의 블록도이다. 도시된 바와 같이, 사용자 디바이스(102)는 메모리 인터페이스(302), 하나 이상의 프로세서들(304), 및 주변기기 인터페이스(306)를 포함할 수 있다. 사용자 디바이스(102) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스들 또는 신호 라인들에 의해 서로 연결될 수 있다. 사용자 디바이스(102)는 다양한 센서들, 서브시스템들, 및 주변기기 인터페이스(306)에 연결되는 주변기기 디바이스들을 추가로 포함할 수 있다. 센서들, 서브시스템들, 및 주변기기 디바이스들은 정보를 수집하고/하거나 사용자 디바이스(102)의 다양한 기능들을 가능하게 한다.

예를 들어, 사용자 디바이스(102)는 배향, 광, 및 근접 감지 기능들을 가능하게 하기 위해 주변기기 인터페이스(306)에 연결된 모션 센서(310), 광 센서(312), 및 근접 센서(314)를 포함할 수 있다. 하나 이상의 기타 센서들(316), 예컨대 포지셔닝 시스템(예컨대, GPS 수신기), 온도 센서, 생체인식 센서, 자이로스코프, 나침반, 가속도계 등이 또한 주변기기 인터페이스(306)에 접속되어 관련 기능들을 가능하게 한다.

일부 예들에서, 카메라 서브시스템(320) 및 광학 센서(322)가 이용되어 사진 촬영 및 비디오 클립 녹화와 같은 카메라 기능들을 가능하게 할 수 있다. 통신 기능들은 다양한 통신 포트들, 무선 주파수 수신기들 및 송신기들, 및/또는 광학(예컨대, 적외선) 수신기들 및 송신기들을 포함할 수 있는 하나 이상의 유선 및/또는 무선 통신 서브시스템들(324)을 통하여 가능하게 될 수 있다. 오디오 서브시스템(326)은 음성 인식, 음성 복제, 디지털 녹음, 및 전화 통신 기능들과 같은 음성 지원 기능들을 가능하게 하기 위해 스피커(328) 및 마이크로폰(330)에 연결될 수 있다.

일부 예들에서, 사용자 디바이스(102)는 주변기기 인터페이스(306)에 연결되는 I/O 서브시스템(340)을 추가로 포함할 수 있다. I/O 서브시스템(340)은 터치 스크린 제어기(342) 및/또는 기타 입력 제어기(들)(344)를 포함할 수 있다. 터치 스크린 제어기(342)는 터치 스크린(346)에 연결될 수 있다. 터치 스크린(346) 및 터치 스크린 제어기(342)는, 예를 들어, 정전용량, 저항, 적외선 및 표면 탄성파 기술들, 근접 센서 어레이들 등과 같은 복수의 터치 감지 기술들 중 임의의 것을 이용하여 접촉 및 움직임 또는 이들의 중단을 검출할 수 있다. 기타 입력 제어기(들)(344)가 하나 이상의 버튼, 로커 스위치(rocker switch), 지동륜(thumb-wheel), 적외선 포트, USB 포트, 및/또는 포인터 디바이스, 예컨대 스타일러스와 같은 기타 입력/제어 디바이스들(348)에 연결될 수 있다.

일부 예들에서, 사용자 디바이스(102)는 메모리(350)에 연결되는 메모리 인터페이스(302)를 추가로 포함할 수 있다. 메모리(350)는 임의의 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치 또는 디바이스, 휴대용 컴퓨터 디스켓(자기), 랜덤 액세스 메모리(RAM)(자기), 판독 전용 메모리(ROM)(자기), 소거가능 프로그래머블 판독 전용 메모리(EPROM)(자기), CD, CD-R, CD-RW, DVD, DVD-R, 또는 DVD-RW와 같은 휴대용 광학 디스크, 또는 콤팩트 플래시 카드, 보안 디지털 카드, USB 메모리 디바이스, 메모리 스틱 등과 같은 플래시 메모리를 포함할 수 있다.일부 예들에서, 메모리(350)의 비일시적인 컴퓨터 판독가능 저장 매체는, 명령어 실행 시스템, 장치 또는 디바이스, 예컨대 컴퓨터 기반 시스템, 프로세서 포함(processor-containing) 시스템, 또는 명령어 실행 시스템, 장치 또는 디바이스로부터 명령어들을 페치하여 명령어들을 실행할 수 있는 다른 시스템에 의해 또는 그와 관련하여 사용하기 위한 (예컨대, 후술되는 프로세스들(500, 600, 700, 800, 또는 900)의 일부 또는 전부를 수행하기 위한) 명령어들을 저장하기 위해 사용될 수 있다. 다른 예들에서, (예컨대, 후술되는 프로세스들(500, 600, 700, 800, 또는 900)을 수행하기 위한) 명령어들은 서버 시스템(110)의 비일시적인 컴퓨터 판독가능 저장 매체 상에 저장될 수 있거나 또는 메모리(350)의 비일시적인 컴퓨터 판독가능 저장 매체와 서버 시스템(110)의 비일시적인 컴퓨터 판독가능 저장 매체 사이에서 분담될 수 있다. 본 명세서와 관련하여, "비일시적인 컴퓨터 판독가능 저장 매체"는 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 매체일 수 있다.

일부 예들에서, 메모리(350)는 운영 체제(352), 통신 모듈(354), 그래픽 사용자 인터페이스 모듈(356), 센서 프로세싱 모듈(358), 전화 모듈(360) 및 애플리케이션(362)을 저장할 수 있다. 운영 체제(352)는 기본 시스템 서비스들을 처리하고 하드웨어 의존적 태스크들을 수행하기 위한 명령어들을 포함할 수 있다. 통신 모듈(354)은 하나 이상의 추가 디바이스들, 하나 이상의 컴퓨터들, 및/또는 하나 이상의 서버들과의 통신을 가능하게 할 수 있다. 그래픽 사용자 인터페이스 모듈(356)은 그래픽 사용자 인터페이스 프로세싱을 가능하게 할 수 있다. 센서 프로세싱 모듈(358)은 센서 관련 프로세싱 및 기능들을 가능하게 할 수 있다. 전화 모듈(360)은 전화 관련 프로세스들 및 기능들을 가능하게 할 수 있다. 애플리케이션 모듈(362)은 전자 메시징, 웹 브라우징, 미디어 프로세싱, 내비게이션, 이미징, 및/또는 기타 프로세스들 및 기능들과 같은 사용자 애플리케이션들의 다양한 기능들을 가능하게 할 수 있다.

메모리(350)는 또한 가상 어시스턴트의 클라이언트 측 기능들을 제공하기 위해 클라이언트 측 가상 어시스턴트 명령어들을 (예컨대, 가상 어시스턴트 클라이언트 모듈(364) 내에) 그리고 다양한 사용자 데이터(366)(예컨대, 사용자 특정 어휘 데이터, 선호도 데이터, 및/또는 사용자의 전자 주소록, 할 일 목록, 쇼핑 리스트들 등과 같은 기타 데이터)를 저장할 수 있다.

다양한 예들에서, 가상 어시스턴트 클라이언트 모듈(364)은 사용자 디바이스(102)의 다양한 사용자 인터페이스들(예컨대, I/O 서브시스템(340), 오디오 서브시스템(326) 등)을 통하여 음성 입력(예컨대, 스피치 입력), 텍스트 입력, 터치 입력, 및/또는 제스처 입력을 받아들일 수 있다. 가상 어시스턴트 클라이언트 모듈(364)은 또한 청각적(예컨대, 스피치 출력), 시각적, 및/또는 촉각적 형태들로 출력을 제공할 수 있다. 예를 들어, 출력은 음성, 소리, 알림들, 텍스트 메시지들, 메뉴들, 그래픽들, 비디오들, 애니메이션들, 진동들, 및/또는 이들 중 둘 이상의 것들의 조합들로서 제공될 수 있다. 동작 동안, 가상 어시스턴트 클라이언트 모듈(364)은 통신 서브시스템들(324)을 사용하여 가상 어시스턴트 서버와 통신할 수 있다.

일부 예들에서, 가상 어시스턴트 클라이언트 모듈(364)은 사용자와 연관된 상황, 현재 사용자 상호작용, 및/또는 현재 사용자 입력을 확립하기 위해 다양한 센서들, 서브시스템들, 및 주변기기 디바이스들을 이용하여 사용자 디바이스(102)의 주위 환경으로부터 추가 정보를 수집할 수 있다. 일부 예들에서, 가상 어시스턴트 클라이언트 모듈(364)은 가상 어시스턴트 서버에 사용자 입력과 함께 상황 정보 또는 그의 서브세트를 제공하여 사용자의 의도를 추론하는 것을 도울 수 있다. 가상 어시스턴트는 또한 상황 정보를 이용하여 어떻게 출력들을 준비하여 사용자에게 전달할 지를 결정할 수 있다.

일부 예들에서, 사용자 입력을 동반하는 상황 정보는 센서 정보, 예컨대 조명, 주변 잡음, 주변 온도, 주위 환경의 이미지들 또는 비디오들, 다른 물체까지의 거리 등을 포함할 수 있다. 상황 정보는 사용자 디바이스(102)의 물리적 상태(예컨대, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴들, 셀룰러 신호 강도 등) 또는 사용자 디바이스(102)의 소프트웨어 상태(예컨대, 실행중인 프로세스들, 설치된 프로그램들, 과거 및 현재 네트워크 활동들, 배경 서비스들, 에러 로그들, 리소스 사용량 등)와 연관된 정보를 추가로 포함할 수 있다. 이러한 유형의 상황 정보 중 임의의 것이 사용자 입력과 연관된 상황 정보로서 가상 어시스턴트 서버(114)에 제공될 수 있다.

일부 예들에서, 가상 어시스턴트 클라이언트 모듈(364)은 가상 어시스턴트 서버(114)로부터의 요청들에 응답하여 사용자 디바이스(102) 상에 저장된 정보(예컨대, 사용자 데이터(366))를 선택적으로 제공할 수 있다. 가상 어시스턴트 클라이언트 모듈(364)은 또한 가상 어시스턴트 서버(114)에 의한 요청에 따라 자연 언어 대화 또는 기타 사용자 인터페이스들을 통해 사용자로부터 추가 입력을 이끌어낼 수 있다. 가상 어시스턴트 클라이언트 모듈(364)은 가상 어시스턴트 서버(114)에 추가 입력을 전달하여, 사용자 요청에서 표현되는 사용자 의도의 의도 추론 및/또는 이행 시에 가상 어시스턴트 서버(114)를 도울 수 있다.

메모리(350)는, 사용자 디바이스(102) 및/또는 서버 시스템(110)에 의해 제어될 수 있는 전자 디바이스들(예컨대, 전자 디바이스들(128, 130, 132)) 중 하나 이상과 연관된 고유 식별자, 상태, 유형, 위치, 및 임의의 다른 관련 정보를 포함할 수 있는 전자 디바이스 데이터(370)를 추가로 저장할 수 있다. 도 4는 7개의 상이한 전자 디바이스들에 대해 전자 디바이스 데이터(370)에 저장될 수 있는 엔트리들의 시각적 표현을 도시한다. 도시된 바와 같이, 각각의 엔트리는 전자 디바이스의 고유 명칭, 유형, 및 상태를 포함한다. 가상 어시스턴트 서버(114)의 데이터 및 모델 저장소(120)는 메모리(350)의 전자 디바이스 데이터(370)의 엔트리와는 별도로 유지될 수 있는 전자 디바이스들에 대한 유사 또는 동일한 엔트리들을 포함할 수 있다.

도 3을 다시 참조하면, 메모리(350)는 전자 디바이스 데이터(370) 내의 전자 디바이스들에 대한 엔트리들을 생성 및 업데이트하여, 시스템(100)의 전자 디바이스들과 통신하기 위한, 그리고 서버 시스템(110)과 통신하기 위한 (예컨대, 데몬(daemon) 모듈(368) 내의) 명령어들을 추가로 포함할 수 있다. 예를 들어, 시스템(100)에 전자 디바이스를 추가하기 위해, 그 전자 디바이스와 연관된 소프트웨어 애플리케이션이 데몬 모듈(368)을 실행하는 프로세서(들)(304)와 통신하여, 사용자 디바이스(102)에게 전자 디바이스의 고유 명칭, 유형, 상태, 위치 등을 제공할 수 있다. 소프트웨어 애플리케이션은 사용자가 임의의 원하는 방식으로 고유 명칭을 입력하도록 할 수 있다. 예를 들어, 사용자가 특정 디바이스를 명명할 수 있게 하기 위해 애플리케이션에서 공통 명칭들 및/또는 자유 형태 텍스트 필드를 갖는 드롭다운 박스가 제공될 수 있다. 전자 디바이스의 유형, 상태, 및/또는 위치는 전자 디바이스와의 통신을 통하여 소프트웨어 애플리케이션에 의해 결정되거나 미리결정될 수 있다. 데몬 모듈(368)을 실행하는 프로세서(들)(304)는 이러한 정보를 전자 디바이스 데이터(370) 내의 엔트리로서 저장할 수 있고, 또한 이러한 정보를 서버 시스템(110)으로 송신하여 데이터 및 모델들 저장소(120)에 저장되게 할 수 있다. 추가적으로, 프로세서(들)(304)에 의해 실행될 때, 데몬 모듈(368)은 전자 디바이스들(128, 130, 132)에 제공될 커맨드들을 서버 시스템(110)으로부터 네트워크(들)를 통해 수신할 수 있고, 그러한 커맨드들을 적절한 전자 디바이스들로 송신할 수 있다. 데몬 모듈(368)을 실행하는 프로세서(들)(304)는 추가로, 전자 디바이스들(128, 130, 132)로부터 상태 업데이트들을 수신하고, 전자 디바이스 데이터(370) 내의 대응 엔트리들을 업데이트하여 디바이스들의 업데이트된 상태들을 반영하고, 그리고 상태 업데이트들을 서버 시스템(110)으로 송신하여 서버 시스템(110)이 데이터 및 모델들 저장소(120) 내의 대응 엔트리들을 업데이트할 수 있게 하여 디바이스들의 업데이트된 상태들을 반영하게 할 수 있다.

추가적으로, 데몬 모듈(368)은 다른 디바이스들 및 소프트웨어 애플리케이션들에 의한 전자 디바이스 데이터(370)로의 액세스를 관리하기 위한 명령어들을 포함할 수 있다. 예를 들어, 프로세서(들)(304)에 의해 실행될 때, 데몬 모듈(368)은 서버 시스템(110)에 의한 전자 디바이스 데이터(370)의 전부로의 액세스를 승인할 수 있지만, 다른 디바이스들 또는 소프트웨어 애플리케이션들에 의해서는 전자 디바이스 데이터(370)의 일부분만으로 액세스를 제한할 수 있다. 이것은 사용자 디바이스(102)가 상이한 제조사들에 의해 제조된 전자 디바이스들을 제어하기 위해 사용될 때 유용할 수 있다. 이러한 상황들에서, 각각의 제조사로부터의 디바이스들 또는 소프트웨어 애플리케이션들은 API를 이용하여 데몬 모듈(368)과 통신할 수 있고, 데몬 모듈(368)은 그들 각각의 전자 디바이스들에 대응하는 전자 디바이스 데이터(370)의 부분들만으로 그들의 액세스를 제한할 수 있다. 예를 들어, 회사 X는 사용자 디바이스(102)에 의해 제어될 수 있는 조명 전구를 제조할 수 있고, 회사 Y는 사용자 디바이스(102)에 의해 제어될 수 있는 온도조절기를 제조할 수 있다. 데몬 모듈(368)은 사용자 디바이스(102)와 조명 전구 및 온도조절기의 각각 사이의 통신을 가능하게 하여, 사용자 디바이스(102)가 전자 디바이스들에 커맨드들을 발행하도록 하고, 전자 디바이스 데이터(370)를 업데이트하기 위한 전자 디바이스들과 연관된 상태 정보를 수신하도록 할 수 있다. 그러나, 데몬 모듈(368)은, 조명 전구(및 사용자 디바이스(102) 상에서 실행중인 관련 소프트웨어 애플리케이션)가 전자 디바이스 데이터(370) 내의 정보에 대해 갖는 액세스를, 조명 전구(및 어쩌면 회사 X에 의해 제조된 임의의 다른 전자 디바이스들)와 연관된 정보로만 제한할 수 있다. 유사하게, 데몬 모듈(368)은, 온도조절기(및 사용자 디바이스(102) 상에서 실행중인 관련 소프트웨어 애플리케이션)가 전자 디바이스 데이터(370) 내의 정보에 대해 갖는 액세스를, 온도조절기(및 어쩌면 회사 Y에 의해 제조된 임의의 다른 전자 디바이스들)와 연관된 정보로만 제한할 수 있다. 그러나, 데몬 모듈(368)은 서버 시스템(110)에 대해 전자 디바이스 데이터(370) 내의 정보 전부로의 액세스를 승인할 수 있다.

다양한 예들에서, 메모리(350)는 추가 명령어들 또는 더 적은 명령어들을 포함할 수 있다. 더욱이, 사용자 디바이스(102)의 다양한 기능들은 하나 이상의 신호 프로세싱 및/또는 주문형 집적 회로(application specific integrated circuit)들을 비롯한 하드웨어 및/또는 펌웨어로 구현될 수 있다.

전자 디바이스들의 로컬 제어

도 5는 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 예시적인 프로세스(500)를 도시한다. 일부 예들에서, 프로세스(500)는 도 1에 도시된 시스템(100)과 유사 또는 동일한 시스템을 사용하여 수행될 수 있다. 이러한 예들에서, 프로세스(500)의 블록들은 사용자 디바이스(102) 및 서버 시스템(110) 둘 모두에 의해 수행될 수 있다. 구체적으로, 도 5의 좌측 상의 블록들은 사용자 디바이스(102)에 의해 수행될 수 있고, 도 5의 우측 상의 블록들은 서버 시스템(110)에 의해 수행될 수 있다.

블록(502)에서, 사용자 스피치를 포함하는 오디오 입력이 사용자 디바이스에서 수신될 수 있다. 일부 예들에서, 사용자 디바이스(예컨대, 사용자 디바이스(102))는 마이크로폰(예컨대, 마이크로폰(330))을 통해 사용자의 스피치를 포함하는 오디오 입력을 수신할 수 있다. 마이크로폰은 오디오 입력을 아날로그 또는 디지털 표현으로 변환하고, 오디오 데이터를 하나 이상의 프로세서들(예컨대, 프로세서(들)(304))에 제공할 수 있다.

블록(504)에서, 블록(502)에서 수신된 오디오 입력에 대응하는 데이터가 프로세싱을 위해 하나 이상의 서버들로 송신될 수 있다. 예를 들어, 사용자 디바이스(102)는 오디오 입력에 대응하는 데이터를, 네트워크(들)(108)를 통해 서버 시스템(110)의 가상 어시스턴트 서버(114)로 송신할 수 있다.

블록(506)에서, 블록(504)에서 사용자 디바이스에 의해 송신된 오디오 입력에 대응하는 데이터가 하나 이상의 서버들에 의해 수신될 수 있다. 예를 들어, 서버 시스템(110)의 가상 어시스턴트 서버(114)는 네트워크(들)(108)를 통해 사용자 디바이스(102)에 의해 송신된 오디오 입력에 대응하는 데이터를 수신할 수 있다.

블록(508)에서, 오디오 입력에 대응하는 데이터에 대해 스피치-텍스트 변환(speech-to-text conversion)이 수행되어 사용자 스피치를 사용자 스피치의 텍스트 표현으로 변환할 수 있다. 사용자 스피치는 임의의 알려진 스피치-텍스트 변환 프로세스를 이용하여 변환될 수 있다.

블록(510)에서, 블록(508)에서 생성된 텍스트 표현에 적어도 부분적으로 기초하여 하나 이상의 전자 디바이스들이 식별될 수 있다. 일부 예들에서, 블록(510)은 사용자 입력의 텍스트 표현을 프로세싱하여 하나 이상의 전자 디바이스들에 커맨드를 발행하려는 사용자 의도를 결정하는 단계를 포함할 수 있다. 위에서 논의된 바와 같이, 서버 시스템(110)은 시스템(100)을 사용하여 제어될 수 있는 전자 디바이스들과 연관된 고유 식별자, 상태, 유형, 위치, 및 임의의 다른 관련 정보를 저장할 수 있는 하나 이상의 데이터 및 모델 저장소들(120)을 포함할 수 있다. 이에 따라, 블록(510)은 데이터 및 모델들 저장소들(120)에 저장된 연관 정보를 갖는 전자 디바이스들 중 하나 이상을 식별하는 단계를 포함할 수 있다.

하나 이상의 전자 디바이스들은 임의의 수의 방식들로 식별될 수 있다. 일부 예들에서, 하나 이상의 전자 디바이스들은 텍스트 표현을 파싱(parsing)하여, 시스템(100)에 의해 지원되는 전자 디바이스들에 대응하는 명사(noun)들의 세트 중 임의의 것을 식별함으로써 식별될 수 있다. 예를 들어, 명사들의 세트는 전자 디바이스 데이터(370) 및 데이터 및 모델들 저장소(120)에 저장된 전자 디바이스들의 고유 명칭들, 가능한 유형의 전자 디바이스들 및 그들의 동의어들(예컨대, 차고 도어, 온도조절기, 조명, 디밍가능한 광, 스위치, 색상 가변형 조명, 전구, 램프, 잠금장치, 콘센트, 소켓 등), 가능한 디바이스 상태들의 카테고리들(예컨대, 볼륨, 온도, 밝기, 색상 등) 등을 포함할 수 있다.

예시하기 위해, 도 4의 예시적인 전자 디바이스 엔트리들을 사용하면, 명사들의 세트는 7개의 전자 디바이스들의 고유 명칭들(예컨대, "차고 도어", "위층 온도조절기", "아래층 온도조절기", "거실 램프 1", "거실 램프 2", "현관 도어", 및 "토스터 콘센트"), 가능한 유형의 전자 디바이스들 및 그들의 동의어들(예컨대, "차고 도어", "온도조절기", "조명", "전구", "램프", "자금장치", "콘센트", "소켓" 등), 및 가능한 디바이스 상태들의 카테고리들(예컨대, 온도)를 포함할 수 있다. 이에 따라, 블록(508)에서 생성된 사용자 스피치의 텍스트 표현이 "현관 도어를 잠가라"를 포함하는 경우, 텍스트 표현은 프로세싱 모듈들(118) 및 데이터 및 모델들 저장소(120)를 사용하여 명사들의 세트 중 임의의 것을 탐색하기 위해 프로세싱될 수 있다. 탐색의 결과로서, 텍스트 표현이 고유 명칭 "현관 도어"를 포함한다는 것이 결정될 수 있고, 블록(510)에서 식별된 전자 디바이스는 이러한 디바이스를 포함할 수 있다. 사용자 스피치의 텍스트 표현에 따라 블록(510)에서 하나 초과의 전자 디바이스가 식별될 수 있음이 이해되어야 한다. 예를 들어, 블록(508)에서 생성된 사용자 스피치의 텍스트 표현이 대신에 "모든 전구들을 꺼라"를 포함하는 경우, 텍스트 표현은 프로세싱 모듈들(118) 및 데이터 및 모델들 저장소(120)를 사용하여 명사들의 세트 중 임의의 것을 탐색하기 위해 프로세싱될 수 있다. 탐색의 결과로서, 텍스트 표현이 가능한 디바이스 유형 "조명"의 동의어 "전구"를 포함하고, 사용자로부터의 명령어가 모든 그러한 유형의 디바이스들을 끄는 것이었다는 것이 결정될 수 있다. 그 결과, 블록(510)에서 식별된 전자 디바이스들은 "거실 램프 1" 및 "거실 램프 2" 둘 모두를 포함할 수 있다.

일부 예들에서, 전술된 명사들의 세트만을 사용하여 적절한 전자 디바이스를 식별하는 것은 어려울 수 있다. 예를 들어, "조명을 켜라"를 포함하는 텍스트 표현은 "거실 램프 1" 및 "거실 램프 2" 둘 모두와의 유형 매칭을 생성할 수 있다. 이러한 예들에서, 블록(510)은 잠재적인 매칭 전자 디바이스들 사이를 명확화하기 위해 사용자 디바이스(102)로부터 수신된 (예컨대, 블록(506)에서 오디오 입력에 대응하는 데이터의 일부로서 수신된) 상황 정보의 사용을 추가로 포함할 수 있다. 임의의 유형의 상황 정보, 예컨대 센서 정보(예컨대, 조명, 주변 잡음, 주변 온도, 주위 환경의 이미지들 또는 비디오들, 다른 물체까지의 거리 등), 사용자 디바이스(102)의 물리적 상태(예컨대, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴들, 셀룰러 신호 강도 등), 또는 사용자 디바이스(102)의 소프트웨어 상태(예컨대, 실행중인 프로세스들, 설치된 프로그램들, 과거 및 현재 네트워크 활동들, 배경 서비스들, 에러 로그들, 리소스 사용량 등)와 연관된 정보 등이 이용될 수 있다.예를 들어, 위에서 제공된 "조명을 켜라" 예를 계속하면, 블록(502)에서 사용자 디바이스(102)가 오디오 입력을 수신했을 때에 사용자 디바이스(102)의 위치 및 배향은 블록들(504, 506)에서 서버 시스템(110)에 제공될 수 있다.이러한 상황 정보는 사용자 스피치를 수신하고 있을 때의 사용자 디바이스(102)의 위치 및/또는 사용자 디바이스(102)가 가리켰던 방향을 결정하기 위해 이용될 수 있다. 데이터 및 모델들 저장소(120)에 저장된 "거실 램프 1" 및 "거실 램프 2"의 알려진 위치들과 비교할 때, 블록(510)에서 가장 가까운 조명 또는 사용자 디바이스(102)가 가리키고 있던 조명이 전자 디바이스로서 선택될 수 있다. 다른 유형의 상황 정보가 유사한 방식으로 이용되어, 잠재적인 매칭 전자 디바이스들 중 하나 이상을 사용자 스피치의 텍스트 표현에 의해 언급되었을 것 같은 가능성이 더 많거나 또는 더 적게 만드는 상황 정보를 식별함으로써 블록(510)에서 잠재적인 매칭 전자 디바이스들 사이를 명확화할 수 있다.

또 다른 예들에서, 잠재적인 매칭 전자 디바이스들 사이를 명확화하기 위해 또는 적절한 전자 디바이스를 식별하기 위해 사용자 입력의 텍스트 표현에서의 상태와 연관된 단어들이 추가적으로 또는 대안적으로 사용될 수 있다. 예를 들어, "68로 돌려라"를 포함하는 텍스트 표현은 전술된 명사들의 세트를 사용하여 어떠한 매칭들도 생성할 수 없다. 이에 따라, 이러한 예들에서, 블록(510)은 텍스트 표현을 파싱하여, 시스템(100)에 의해 지원되는 전자 디바이스들에 대응하는 상태와 연관된 단어들의 세트 중 임의의 것을 식별하는 단계를 추가로 포함할 수 있다. 예를 들어, 상태와 연관된 단어들의 세트는 전자 디바이스들의 가능한 상태들 및 그들의 동의어들(예컨대, 열림, 닫힘, 닫다, 문을 닫다(shut), 온, 오프, 활성, 비활성, 잠그다, 잠금, 색상 등), 상태들의 값들의 유형들(예컨대, 이진, 부동소수점(float) 등), 디바이스의 상태에 대한 질의, 특정 유형의 상태와 연관된 형용사들(예컨대, 더 따뜻한, 더 차가운, 더 밝은, 더 어두운, 색상 등) 등을 포함할 수 있다. "68로 돌려라"를 파싱하기 위해 사용될 때, 텍스트 표현이 부동소수점 값 "68"을 포함한다는 것이 결정될 수 있다. 도 4에 도시된 엔트리들과 비교할 때, "위층 온도조절기" 및 "아래층 온도조절기"만이 상태 부동소수점 값들을 받아들인다는 것이 결정될 수 있다. 2개의 온도조절기들 사이를 명확화하기 위해, 상황 정보, 예컨대 사용자 디바이스(102)의 위치를 이용하여, 사용자 디바이스(102)에 더 가까운 온도조절기를 블록(510)에서 식별된 전자 디바이스로서 선택할 수 있다. 유사하게, 텍스트 표현이 대신에 "더 밝게 하라"를 포함한 경우, 상태와 연관된 단어들의 세트는 텍스트 표현이 단어 "더 밝은" - 이는 유형 "조명"을 갖는 디바이스들의 상태를 기술하는 형용사임 - 을 포함한다는 것을 결정하기 위해 이용될 수 있다. 2개의 조명들 사이를 명확화하기 위해, 상황 정보, 예컨대 사용자 디바이스(102)의 위치를 이용하여, 사용자 디바이스(102)에 더 가까운 조명을 블록(510)에서 식별된 전자 디바이스로서 선택할 수 있다.

블록(512)에서, 블록(510)에서 식별된 하나 이상의 전자 디바이스들 각각에 의해 수행될 커맨드가 식별될 수 있다. 수행될 커맨드(들)는 임의의 수의 방식들로 식별될 수 있다. 일부 예들에서, 수행될 커맨드(들)는 사용자 스피치의 텍스트 표현을 파싱하여, 상태와 연관된 단어들의 세트(예컨대, 전자 디바이스들의 가능한 상태들 및 그들의 동의어들, 상태들의 값들의 유형들, 디바이스의 상태에 대한 질의, 특정 유형의 상태와 연관된 형용사들) 중 임의의 것을 식별함으로써 식별될 수 있다. 이어서, 식별된 상태 또는 동작은 블록(510)에서 식별된 하나 이상의 전자 디바이스들 각각에 의해 수행될 커맨드를 식별하기 위해 이용될 수 있다. 예를 들어, 사용자 스피치의 텍스트 표현이 "현관 도어를 잠가라"를 포함하는 경우, 텍스트 표현이 상태들의 세트로부터 상태 "잠그다"를 포함한다는 것이 결정될 수 있다. 이에 따라, 블록(512)에서 "잠그다" 상태로 전환하기 위한 커맨드가 생성될 수 있고, 블록(510)에서 식별된 전자 디바이스 "현관 도어"에 의해 수행될 커맨드인 것으로 식별될 수 있다. 상기 예에서 단일 전자 디바이스에 대한 단일 커맨드가 식별되지만, 다수의 전자 디바이스들이 블록(510)에서 식별된 경우 다수의 커맨드들이 식별될 수 있다는 것이 이해되어야 한다. 예를 들어, 텍스트 표현 "모든 조명들을 켜라"는 식별시에 블록(512)에서 "거실 램프 1" 및 "거실 램프 2" 각각에 대해 "온" 상태로 전환하기 위한 커맨드를 생성할 수 있다.

일부 예들에서, 사용자 스피치의 텍스트 표현이 특정 유형의 상태와 연관된 형용사들(예컨대, 더 따뜻한, 더 차가운, 더 밝은, 더 어두운 등) 중 하나를 포함할 때, 블록(512)은 블록(510)에서 식별된 전자 디바이스의 상태를 그의 현재 값에 상대적인 값으로 설정하기 위한 커맨드를 식별하는 단계를 포함할 수 있다. 예를 들어, 텍스트 표현이 "더 따뜻하게 하라"를 포함하는 경우, 블록(514)에서 식별된 커맨드는 블록(510)에서 식별된 온도조절기의 온도를 미리 결정된 양만큼 높이기 위한 커맨드일 수 있다. 커맨드는 상태 값을 (예컨대, 데이터 및 모델들 저장소(120)에 저장된 온도조절기의 상태를 이용하여 결정된) 특정 값으로 전환하기 위한 커맨드라기보다는 오히려, 상태 값을 전자 디바이스의 현재 값에 상대적인 양에 의해 변화시키기 위한 커맨드일 수 있는데, 이는 전자 디바이스의 실제 상태가 데이터 및 모델들 저장소(120)에 저장된 상태와는 다를 수 있기 때문이다.

일부 예들에서, 사용자 스피치의 텍스트 표현이 디바이스의 상태에 대한 질의를 포함할 때, 블록(512)은 사용자 디바이스(102)로 하여금 식별된 전자 디바이스(들)에 대해 질의하도록 하기 위한 명령어를 식별하는 단계를 포함할 수 있다. 예를 들어, 텍스트 표현이 "차고 도어가 닫혀 있나?"를 포함하는 경우, 블록(514)에서 식별된 커맨드는 전자 디바이스 "차고 도어"의 상태에 대해 질의하기 위한 커맨드일 수 있다.

블록(514)에서, 블록(510)에서 식별된 하나 이상의 전자 디바이스들 각각의 식별자 및 블록(512)에서 식별된 하나 이상의 전자 디바이스들에 의해 수행될 커맨드(들)이 사용자 디바이스로 송신될 수 있다. 예를 들어, 서버 시스템(110)은 블록(510)에서 식별된 전자 디바이스들 각각과 연관된 고유 식별자 및 하나 이상의 전자 디바이스들에 의해 수행될 커맨드(들)를 네트워크(들)(108)를 통해 사용자 디바이스(102)로 송신할 수 있다.

일부 예들에서, 블록(508)에서 생성된 사용자 스피치의 텍스트 표현이 또한 블록(514)에서 사용자 디바이스로 송신될 수 있다. 이러한 예들에서, 블록들(510, 514)은 또한 사용자 디바이스 상에서 수행될 수 있다. 송신된 텍스트 표현은 사용자 디바이스에 의해 이용되어, 하나 이상의 전자 디바이스들을 식별하고/하거나 전자 디바이스 데이터(370) 내의 하나 이상의 전자 디바이스들에 의해 수행될 커맨드 또는 커맨드들을 식별할 수 있다. 이것은, 예를 들어, 사용자 디바이스에서의 전자 디바이스 데이터(370)가 하나 이상의 서버들 상의 데이터보다 더 최신일 때 바람직할 수 있다. 그러한 경우들에 있어서, 사용자 디바이스는 전자 디바이스 및/또는 하나 이상의 서버들의 데이터 내에 포함되지 않는 커맨드를 식별할 수 있다.

다른 예들에서, 텍스트 표현은, 전자 디바이스들 중 하나 이상을 식별하고/하거나 하나 이상의 전자 디바이스들에 의해 수행될 커맨드 또는 커맨드들을 식별하는 데에 적합할 수 있는 중요 단어들 또는 용어들을 결정하기 위해 하나 이상의 서버들에서 블록(510) 및/또는 블록(512)에서 파싱될 수 있다. 이러한 예들에서, 파싱된 중요 단어들 또는 용어들이 또한 블록(514)에서 사용자 디바이스로 송신될 수 있다. 송신된 중요 단어들 또는 용어들은 사용자 디바이스에 의해 이용되어, 하나 이상의 전자 디바이스들을 식별하고/하거나 전자 디바이스 데이터(370) 내의 하나 이상의 전자 디바이스들에 의해 수행될 커맨드 또는 커맨드들을 식별할 수 있다. 이것은, 예를 들어, 사용자 디바이스에서의 전자 디바이스 데이터(370)가 하나 이상의 서버들 상의 데이터보다 더 최신일 때 바람직할 수 있다. 그러한 경우들에 있어서, 사용자 디바이스는 전자 디바이스 및/또는 하나 이상의 서버들의 데이터 내에 포함되지 않는 커맨드를 식별할 수 있다.

블록(516)에서, 하나 이상의 서버들에 의해 송신된 하나 이상의 전자 디바이스들 각각의 식별자 및 커맨드(들)가 사용자 디바이스에 의해 수신될 수 있다. 예를 들어, 사용자 디바이스(102)는 블록(514)에서 서버 시스템(110)에 의해 송신된 고유 식별자(들) 및 커맨드(들)를 네트워크(들)(108)를 통해 수신할 수 있다.

블록(518)에서, 사용자 디바이스는 블록(516)에서 수신된 커맨드(들)를 블록(516)에서 수신된 식별자(들)와 연관된 전자 디바이스(들)로 송신할 수 있다. 예를 들어, 사용자 디바이스(102)가 블록(516)에서 전자 디바이스(128)(예컨대, "현관 도어")와 연관된 식별자 및 전자 디바이스를 "잠금" 상태로 전환하기 위한 커맨드를 수신한 경우, 사용자 디바이스(102)는 "잠금" 상태로 전환하기 위한 커맨드를 네트워크(들)(126)를 통해 전자 디바이스(128)로 송신할 수 있다. 사용자 디바이스(102)가 블록(516)에서 추가 식별자들 및 커맨드들을 수신한 경우, 사용자 디바이스(102)는 블록(518)에서 그러한 커맨드들을 식별된 전자 디바이스들로 추가로 송신할 수 있다.

일부 예들에서, 전자 디바이스의 실제 상태는 사용자 디바이스(102)에(예컨대, 메모리(350)에) 그리고/또는 서버 시스템(110)에(예컨대, 데이터 및 모델들 저장소(120)에) 저장된 바와 같은 전자 디바이스의 상태와 동일하지 않을 수 있다. 예를 들어, 도어 잠금장치가 시스템(100)의 가상 어시스턴트를 사용하지 않고서 수동으로 열리거나 닫혔을 수 있다. 이에 따라, 일부 예들에서, 블록(518)은 사용자 디바이스(102) 및/또는 서버 시스템(110)에 저장된 바와 같은 전자 디바이스의 상태에 상관없이 수행될 수 있다. 예를 들어, 사용자 디바이스(102) 및/또는 서버 시스템(110) 내의 대응 엔트리가 문이 이미 잠겨 있음을 나타내더라도, 도어 잠금장치의 상태를 "잠금"으로 설정하기 위한 커맨드가 도어 잠금장치로 송신될 수 있다. 게다가, 블록(518)은 전자 디바이스에 커맨드를 발행하는 데 필요한 시간을 감소시키기 위하여 그의 실제 상태를 결정하도록 (예컨대, 블록(516)과 블록(518) 사이에서) 먼저 전자 디바이스에게 질의하지 않고서 수행될 수 있다. 예를 들어, 도어 잠금장치의 상태를 "잠금"으로 설정하기 위한 커맨드는 먼저 그의 상태에 대해 질의하지 않고서 도어 잠금장치로 송신됨으로써, 커맨드를 도어 잠금장치로 송신하는 데 필요한 시간을, 도어 잠금장치로 질의를 전송하고 도어 잠금장치로부터 상태를 수신하는 데 필요한 시간에 대응하는 양만큼 감소시킬 수 있다.

블록(520)에서, 사용자 디바이스는 각각의 전자 디바이스가 그들 각각의 커맨드를 실행한 후에 (블록(518)에서 커맨드가 전송된) 각각의 전자 디바이스의 현재 상태를 수신할 수 있다. 예를 들어, 사용자 디바이스(102)는 전자 디바이스(128)가 그의 상태를 "잠금"으로 설정하기 위한 커맨드를 수행한 후에 전자 디바이스(128)의 업데이트된 상태를 수신할 수 있다. 이 예에서, 사용자 디바이스(102)로 반환되는 현재 상태는 상태 "잠금"일 수 있다. 커맨드들이 블록(518)에서 하나 초과의 전자 디바이스로 전송된 경우, 블록(520)은 그러한 전자 디바이스들로부터 현재 상태들을 수신하는 단계를 추가로 포함할 수 있다. 일부 예들에서, 블록(520)은 수신된 현재 상태에 기초하여 전자 디바이스 데이터(370) 내의 전자 디바이스의 상태를 업데이트하는 단계를 추가로 포함할 수 있다. 예를 들어, 사용자 디바이스(102)는 전자 디바이스 데이터(370) 내의 전자 디바이스(128)의 상태를 "잠금"으로 업데이트할 수 있다. 일부 예들에서, 블록(520)은 송신된 커맨드(들) 및 전자 디바이스(들)의 수신된 현재 상태(들)에 기초하여 블록(518)에서 전자 디바이스(들)로 송신된 커맨드(들)의 결과의 오디오 또는 시각적 표시를 출력하는 단계를 추가로 포함할 수 있다. 예를 들어, 전자 디바이스(128)로 송신된 커맨드가 디바이스의 상태를 "잠금"으로 전환하기 위한 커맨드였고 블록(520)에서 수신된 전자 디바이스(128)의 현재 상태가 "잠금"이었는 경우, 결과의 표시는 전자 디바이스(128)가 "잠금" 상태로 성공적으로 전환되었다는 것일 수 있다. 대안적으로, 전자 디바이스의 수신된 현재 상태(예컨대, "잠금해제")가 커맨드에서 나타내는 원하는 상태(예컨대, "잠금")와 다른 경우, "잠금" 상태로의 전환 실패의 표시가 사용자에게 제시될 수 있다. 현재 상태는 에러 상태, 예컨대, 디바이스의 미확인 또는 이용불가능 상태를 추가로 포함할 수 있다.

블록(522)에서, 사용자 디바이스는 블록(520)에서 수신된 전자 디바이스(들)의 현재 상태(들)를 하나 이상의 서버들로 송신할 수 있다. 예를 들어, 사용자 디바이스(102)는 블록(520)에서 수신된 전자 디바이스의 현재 상태를 서버 시스템(110)으로 송신할 수 있다. 블록(520)에서 하나 초과의 전자 디바이스의 현재 상태가 수신된 경우, 블록(522)은 그러한 현재 상태들을 서버 시스템(110)으로 송신하는 단계를 추가로 포함할 수 있다.

블록(524)에서, 하나 이상의 서버들은 블록(522)에서 사용자 디바이스에 의해 송신된 전자 디바이스(들)의 현재 상태(들)를 수신할 수 있다. 예를 들어, 서버 시스템(110)은 블록(522)에서 사용자 디바이스(102)에 의해 송신된 전자 디바이스의 현재 상태를 수신할 수 있다. 사용자 디바이스(102)가 하나 초과의 현재 상태를 송신한 경우, 블록(524)은 또한 그러한 현재 상태들을 수신하는 단계를 추가로 포함할 수 있다. 일부 예들에서, 블록(524)은 수신된 현재 상태(들)에 기초하여 데이터 및 모델들 저장소(120) 내의 전자 디바이스(들)의 상태(들)를 업데이트하는 단계를 추가로 포함할 수 있다. 예를 들어, 서버 시스템(110)은 데이터 및 모델들 저장소(120) 내의 전자 디바이스(128)의 상태를 "잠금"으로 업데이트할 수 있다.

일부 예들에서, 프로세스(500)는 미리 결정된 조건을 만족하였음을 결정하는 것에 응답하여 전자 디바이스들 중 하나 이상의 전자 디바이스의 현재 상태와 연관된 통지를 생성하는 단계를 추가로 포함할 수 있다. 예를 들어, 미리 결정된 영역(예컨대, 사용자의 집에 대응하는 영역)에서 나오는 사용자 디바이스(102)의 위치에 응답하여, 전자 디바이스들 중 하나 이상이 미리 결정된 상태에 있는 동안(예컨대, "현관 도어"가 잠금해제됨), 사용자가 그의 도어를 잠그는 것을 잊어버렸음을 나타내는 통지가 사용자 디바이스(102)를 통해 사용자에게 제시될 수 있다. 다른 미리 결정된 조건들에 응답하여 다른 유사한 통지들이 생성될 수 있다.

프로세스(500)를 이용하면, 사용자 디바이스에 의해 구현되는 가상 어시스턴트가 임의의 수의 전자 디바이스들에게 질의하거나 상태를 설정하기 위한 자연 언어 커맨드들을 수신할 수 있다. 자연 언어 커맨드들은 임의의 원하는 방식으로 전자 디바이스들을 참조할 수 있고, 전자 디바이스들의 고유 식별자들 및 전자 디바이스의 유형을 포함할 필요가 없다.

전자 디바이스들의 원격 제어

도 6은 가상 어시스턴트를 사용하여 전자 디바이스들을 원격으로 제어하기 위한 예시적인 프로세스(600)를 도시한다. 일부 예들에서, 프로세스(600)는, 프로세스(600)가 도 2에 도시된 시스템(200)과 유사 또는 동일한 시스템을 사용하여 수행될 수 있다는 것 이외에는, 프로세스(500)와 유사할 수 있다. 예를 들어, 프로세스(600)는 제어되는 전자 디바이스들(예컨대, 전자 디바이스들(128, 130, 132))로부터 원격으로 위치되는 사용자 디바이스(예컨대, 사용자 디바이스(102))에 의해 수행될 수 있고, 제2 사용자 디바이스(예컨대, 제2 사용자 디바이스(134))가 대신에 전자 디바이스들을 제어하기 위해 사용될 수 있다. 이에 따라, 프로세스(600)의 부분들은 사용자 디바이스(102), 서버 시스템(110), 및 제2 사용자 디바이스(134) 각각에 의해 수행될 수 있다. 구체적으로, 도 6의 좌측 상의 블록들은 사용자 디바이스(102)에 의해 수행될 수 있고, 도 6의 중간에 있는 블록들은 서버 시스템(110)에 의해 수행될 수 있고, 도 6의 우측 상의 블록들은 제2 사용자 디바이스(134)에 의해 수행될 수 있다.

프로세스(600)의 블록들은, 프로세스(600)의 블록들(516, 518, 520, 522)이 대신에 제2 사용자 디바이스(예컨대, 제2 사용자 디바이스(134))에 의해 수행될 수 있다는 것 이외에는, 프로세스(500)의 동일하게 번호매김된 블록들과 유사 또는 동일할 수 있다. 추가적으로, 그 결과, 블록(514)에서 하나 이상의 전자 디바이스들 각각의 식별자 및 전자 디바이스(들)에 의해 수행될 커맨드(들)가 대신에 제2 사용자 디바이스로 송신될 수 있고, 블록(524)에서 전자 디바이스(들)의 현재 상태(들)는 대신에 제2 사용자 디바이스로부터 수신될 수 있다.

일부 예들에서, 프로세스(600)는, 하나 이상의 서버들에 의해, 블록(524)에서 수신된 전자 디바이스(들)의 현재 상태(들)를, 블록(502)에서 오디오 입력을 수신한 사용자 디바이스로 송신하는 단계를 추가로 포함할 수 있다. 추가적으로 또는 대안적으로, 프로세스는 블록(518)에서 전자 디바이스로 송신된 커맨드의 성공의 표시를 송신하는 단계를 포함할 수 있다. 예를 들어, 사용자에게 전자 디바이스에 의한 커맨드의 실행의 성공, 부분 성공, 또는 실패를 통지하는 시각적 또는 오디오 출력이 생성될 수 있다. 성공 판정은 전자 디바이스로 송신된 커맨드 및 블록(524)에서 수신된 디바이스의 현재 상태에 의존할 수 있다.

전자 디바이스들의 독립 제어

도 7은 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 예시적인 프로세스(700)를 도시한다. 일부 예들에서, 프로세스(700)는, 프로세스(700)가 사용자 디바이스(102) 및 서버 시스템(110) 둘 모두의 기능들을 수행할 수 있는 독립형 사용자 디바이스를 사용하여 수행될 수 있다는 것 이외에는, 프로세스(500)와 유사할 수 있다. 그 결과, 프로세스(700)의 모든 블록들은 사용자 디바이스(예컨대, 사용자 디바이스(102))에 의해 수행될 수 있다.

프로세스(700)의 블록들은, 블록들(508, 510, 512)이 대신에 사용자 디바이스(예컨대, 사용자 디바이스(102))에 의해 수행될 수 있다는 것 이외에는, 프로세스(500)의 동일하게 번호매김된 블록들과 유사 또는 동일할 수 있다. 추가적으로, 그 결과, 사용자 디바이스(102)와 서버 시스템(110) 사이에서 통신하기 위한 기능들에 대응하는 블록들(예컨대, 블록들(504, 506, 514, 516, 522, 524))은 수행될 필요가 없다.

전자 디바이스들의 구성을 저장함

도 8은 가상 어시스턴트를 사용하여 다수의 전자 디바이스들의 상태들을 구성으로서 저장하기 위한 예시적인 프로세스(800)를 도시한다. 구성은, 다수의 전자 디바이스들로 하여금 구성에서 정의되는 상태들로 전환하도록 하기 위해 구어 사용자 입력에서 언급될 수 있는 다수의 전자 디바이스들의 상태들의 저장된 세트를 나타낼 수 있다. 예를 들어, 사용자는, 모든 조명들의 상태들이 오프로 설정되고, 온도조절기들의 상태들이 72℉로 설정되고, 모든 도어들의 상태가 잠금으로 설정되고, 차고 도어의 상태가 닫힘으로 설정되는 "슬립(sleep)" 구성을 생성할 수 있다. 이에 따라, 사용자가 이제 막 자려고 할 때, 사용자는 사용자 디바이스(102)에게, 저장된 구성을 언급하는 커맨드, 예컨대 "나는 잘꺼야"를 제공할 수 있고, 시스템(100)은 슬립 구성 내의 저장된 상태들에 기초하여 전자 디바이스들의 상태들을 설정할 수 있다. 일부 예들에서, 프로세스(800)는 도 1에 도시된 시스템(100)과 유사 또는 동일한 시스템을 사용하여 수행될 수 있다. 이러한 예들에서, 프로세스(800)의 블록들은 사용자 디바이스(102) 및 서버 시스템(110) 둘 모두에 의해 수행될 수 있다. 구체적으로, 도 8의 좌측 상의 블록들은 사용자 디바이스(102)에 의해 수행될 수 있고, 우측 상의 블록들은 서버 시스템(110)에 의해 수행될 수 있다.

블록(802)에서, 프로세스(500)의 블록(502)과 유사 또는 동일한 방식으로 사용자 스피치를 포함하는 오디오 입력이 사용자 디바이스에서 수신될 수 있다. 블록(804)에서, 프로세스(500)의 블록(504)과 유사 또는 동일한 방식으로 블록(802)에서 수신된 오디오 입력에 대응하는 데이터가 프로세싱을 위해 하나 이상의 서버들로 송신될 수 있다.

블록(806)에서, 프로세스(500)의 블록(506)과 유사 또는 동일한 방식으로 블록(804)에서 사용자 디바이스에 의해 송신된 오디오 입력에 대응하는 데이터가 하나 이상의 서버들에 의해 수신될 수 있다. 블록(808)에서, 프로세스(500)의 블록(508)과 유사 또는 동일한 방식으로 오디오 입력에 대응하는 데이터에 대해 스피치-텍스트 변환이 수행되어 사용자 스피치를 사용자 스피치의 텍스트 표현으로 변환할 수 있다.

블록(810)에서, 사용자 스피치의 텍스트 표현이 시스템(100)의 전자 디바이스들의 상태들을 구성으로서 저장하려는 사용자 의도를 나타낸다는 것이 결정될 수 있다. 예를 들어, 서버 시스템(110)의 하나 이상의 프로세싱 모듈들(118)은 데이터 및 모델 저장소(120)를 이용하여 자연 언어 입력에 기초하여 사용자의 의도를 결정할 수 있다. 일부 예들에서, 이것은 구성을 저장하는 것에 관련될 가능성이 있는 단어들, 예컨대 "보관하다", "저장하다", "명명하다", "유지하다", "구성", "장면(scene)", 그들의 동의어들 등에 대한 텍스트 표현을 파싱하는 것을 포함할 수 있다. 예를 들어, 텍스트 표현이 "이러한 구성을 슬립으로서 저장하라"를 포함하는 경우, 블록(810)에서 사용자가 전자 디바이스들의 상태를 "슬립"으로 명명된 구성으로서 저장하려고 의도한다는 것이 결정될 수 있다. 다른 텍스트 표현들, 예컨대 "이 장면을 작업(work)으로서 저장하라"는 유사하게, 블록(810)에서 사용자가 전자 디바이스들의 상태를 "작업"으로 명명된 구성으로서 저장하려고 의도한다는 결정을 야기할 수 있다.

블록(812)에서, 사용자 스피치의 텍스트 표현이 시스템(100)의 전자 디바이스들의 상태를 구성으로서 저장하려는 사용자 의도를 나타냄을 결정하는 것에 응답하여, 하나 이상의 서버들은 전자 디바이스들의 상태에 대해 질의하기 위한 명령어를 사용자 디바이스로 송신할 수 있다. 예를 들어, 서버 시스템(110)은 전자 디바이스들(128, 130, 132)의 상태에 대해 질의하기 위한 명령어를 네트워크(들)(108)를 통해 사용자 디바이스(102)로 송신할 수 있다.

블록(814)에서, 하나 이상의 서버들에 의해 송신된 전자 디바이스들의 상태에 대해 질의하기 위한 명령어가 사용자 디바이스에 의해 수신될 수 있다. 예를 들어, 사용자 디바이스(102)는 전자 디바이스들(128, 130, 132)의 상태에 대해 질의하기 위한 명령어를 네트워크(들)(108)를 통해 서버 시스템(110)으로부터 수신할 수 있다.

블록(816)에서, 사용자 디바이스는 전자 디바이스들 각각에게 그들의 현재 상태에 대한 질의를 송신할 수 있다. 예를 들어, 사용자 디바이스(102)는 전자 디바이스들(128, 130, 132)에게 그들의 현재 상태를 네트워크(들)(126)를 통해 반환하라고 지시하는 커맨드를 전자 디바이스들(128, 130, 132) 각각으로 송신할 수 있다.

블록(818)에서, 사용자 디바이스는 블록(516)에서 송신된 질의에 응답하여 전자 디바이스(들) 각각의 현재 상태(또는 그들의 현재 상태를 송신할 수 있는 모든 전자 디바이스들의 현재 상태)를 수신할 수 있다. 예를 들어, 사용자 디바이스(102)는 블록(816)에서 디바이스들 각각으로 전송된 질의에 응답하여 네트워크(들)(126)를 통해 전자 디바이스들(128, 130, 132)의 현재 상태를 수신할 수 있다. 일부 예들에서, 블록(818)은 수신된 현재 상태에 기초하여 전자 디바이스 데이터(370) 내의 전자 디바이스의 상태를 업데이트하는 단계를 추가로 포함할 수 있다. 현재 상태는 에러 상태, 예컨대, 디바이스의 미확인 또는 이용불가능 상태를 추가로 포함할 수 있다.

블록(820)에서, 사용자 디바이스는 블록(818)에서 수신된 전자 디바이스들의 현재 상태들을 하나 이상의 서버들로 송신할 수 있다. 예를 들어, 사용자 디바이스(102)는 블록(818)에서 수신된 전자 디바이스들의 현재 상태들을 서버 시스템(110)으로 송신할 수 있다.

블록(822)에서, 하나 이상의 서버들은 블록(820)에서 사용자 디바이스에 의해 송신된 전자 디바이스들의 현재 상태들을 수신할 수 있다. 예를 들어, 서버 시스템(110)은 전자 디바이스들(128, 130, 132)의 현재 상태를 네트워크(들)(126)를 통해 사용자 디바이스(102)로부터 수신할 수 있다.

블록(824)에서, 하나 이상의 서버들은 블록(822)에서 수신된 전자 디바이스들의 현재 상태들을 구성으로서 저장할 수 있다. 일부 예들에서, 구성은, 텍스트 표현으로 제공되며 블록(810)에서 식별된 명칭에 기초하여, 고유 식별자, 예컨대 "슬립", "아침", "작업" 등을 할당받을 수 있다. 예를 들어, 서버 시스템(110)은, "이러한 구성을 슬립으로 명명하라"를 포함한 블록(802)에서 수신된 사용자 스피치에 응답하여 모델 및 데이터 저장소(120)에 "슬립" 구성으로서 전자 디바이스들(128, 130, 132)의 현재 상태들을 저장할 수 있다.

저장된 구성을 이용하여 전자 디바이스들을 제어함

도 9는 가상 어시스턴트를 사용하여 (예컨대, 프로세스(800)를 이용하여 생성된) 이전에 저장된 구성을 이용하여 다수의 전자 디바이스들의 상태들을 설정하기 위한 예시적인 프로세스(900)를 도시한다. 일부 예들에서, 프로세스(900)는 도 1에 도시된 시스템(100)과 유사 또는 동일한 시스템을 사용하여 수행될 수 있다. 이러한 예들에서, 프로세스(900)의 블록들은 사용자 디바이스(102) 및 서버 시스템(110) 둘 모두에 의해 수행될 수 있다. 구체적으로, 도 9의 좌측 상의 블록들은 사용자 디바이스(102)에 의해 수행될 수 있고, 우측 상의 블록들은 서버 시스템(110)에 의해 수행될 수 있다.

블록(902)에서, 프로세스(500)의 블록(502)과 유사 또는 동일한 방식으로 사용자 스피치를 포함하는 오디오 입력이 사용자 디바이스에서 수신될 수 있다. 블록(904)에서, 프로세스(500)의 블록(504)과 유사 또는 동일한 방식으로 블록(902)에서 수신된 오디오 입력에 대응하는 데이터가 프로세싱을 위해 하나 이상의 서버들로 송신될 수 있다.

블록(906)에서, 프로세스(500)의 블록(506)과 유사 또는 동일한 방식으로 블록(904)에서 사용자 디바이스에 의해 송신된 오디오 입력에 대응하는 데이터가 하나 이상의 서버들에 의해 수신될 수 있다. 블록(908)에서, 프로세스(500)의 블록(508)과 유사 또는 동일한 방식으로 오디오 입력의 사용자 스피치에 대해 스피치-텍스트 변환이 수행되어 사용자 스피치를 사용자 스피치의 텍스트 표현으로 변환할 수 있다.

블록(910)에서, 사용자 스피치의 텍스트 표현이 저장된 구성에 기초하여 시스템(100)의 전자 디바이스들의 상태들을 설정하려는 사용자 의도를 나타낸다는 것이 결정될 수 있다. 예를 들어, 서버 시스템(110)의 하나 이상의 프로세싱 모듈들(118)은 데이터 및 모델 저장소(120)를 이용하여 자연 언어 입력에 기초하여 사용자의 의도를 결정할 수 있다. 일부 예들에서, 이것은 저장된 구성을 이용하는 것에 관련될 가능성이 있는 단어들, 예컨대 저장된 구성들과 연관된 고유 식별자들, "설정하다", "구성", "장면", 그들의 동의어들 등에 대한 텍스트 표현을 파싱하는 것을 포함할 수 있다. 예를 들어, 텍스트 표현이 "나는 잘꺼야"를 포함하는 경우, 블록(910)에서 사용자가 "슬립" 구성에 기초하여 전자 디바이스들의 상태를 설정하려고 의도한다는 것이 결정될 수 있다. 다른 텍스트 표현들, 예컨대 "밤 모드", "슬립으로 설정" 등은 유사하게, 블록(910)에서 사용자가 "슬립" 구성에 기초하여 전자 디바이스들의 상태를 설정하려고 의도한다는 결정을 야기할 수 있다.

블록(912)에서, 블록(910)에서 식별된 구성에 기초하여 시스템(100)의 전자 디바이스들의 상태들을 설정하기 위한 커맨드들이 하나 이상의 서버들에 의해 사용자 디바이스로 송신될 수 있다. 커맨드들과 연관된 식별자들이 또한 송신되어, 어느 디바이스들이 각각의 커맨드를 수행할지를 식별할 수 있다. 예를 들어, 서버 시스템(110)은 전자 디바이스들과 연관된 고유 식별자들 및 그러한 전자 디바이스들에 의해 수행될 커맨드들을 송신하여, 전자 디바이스들로 하여금 저장된 구성에 의해 특정되는 상태들로 있도록 할 수 있다.

블록(914)에서, 서버(들)에 의해 송신된 시스템(100)의 전자 디바이스들의 상태들을 설정하기 위한 커맨드들이 사용자 디바이스에 의해 수신될 수 있다. 예를 들어, 사용자 디바이스(102)는 블록(912)에서 서버 시스템(110)에 의해 송신된 커맨드들을 네트워크(들)(108)를 통해 수신할 수 있다.

블록(916)에서, 사용자 디바이스는 블록(914)에서 수신된 커맨드들을 커맨드들과 연관된 전자 디바이스들로 송신할 수 있다. 예를 들어, 사용자 디바이스(102)는 커맨드들을 네트워크(들)(126)를 통해 전자 디바이스들(128, 130, 132)로 송신하여, 전자 디바이스들로 하여금 저장된 구성에 의해 특정되는 상태들로 있도록 할 수 있다.

일부 예들에서, 전자 디바이스의 실제 상태는 사용자 디바이스(102)에(예컨대, 메모리(350)에) 그리고/또는 서버 시스템(110)에(예컨대, 데이터 및 모델들 저장소(120)에) 저장된 바와 같은 전자 디바이스의 상태와 동일하지 않을 수 있다. 이에 따라, 일부 예들에서 그리고 프로세스(500)와 유사하게, 블록(916)은, 전자 디바이스들에 커맨드를 발행하는 데 필요한 시간을 감소시키기 위하여 그들의 실제 상태들을 결정하도록 (예컨대, 블록(914)과 블록(916) 사이에서) 먼저 전자 디바이스들에게 질의하지 않고서, 그리고 사용자 디바이스(102) 및/또는 서버 시스템(110)에 저장된 바와 같은 전자 디바이스의 상태에 상관없이 수행될 수 있다.

블록(918)에서, 사용자 디바이스는 전자 디바이스들이 블록(916)에서 사용자 디바이스에 의해 송신된 커맨드들을 수행한 후에 전자 디바이스들의 업데이트된 상태를 수신할 수 있다. 예를 들어, 사용자 디바이스(102)는 전자 디바이스들(128, 130, 132)이 그들의 상태들을 저장된 구성에 의해 특정되는 상태들로 설정하기 위한 커맨드들을 수행한 후에 전자 디바이스들(128, 130, 132)의 업데이트된 상태들을 수신할 수 있다. 일부 예들에서, 블록(920)은 수신된 현재 상태에 기초하여 전자 디바이스 데이터(370) 내의 전자 디바이스의 상태를 업데이트하는 단계를 추가로 포함할 수 있다. 예를 들어, 사용자 디바이스(102)는 전자 디바이스 데이터(370) 내의 전자 디바이스(128)의 상태를 "잠금"으로 업데이트할 수 있다. 일부 예들에서, 블록(520)과 유사하게, 블록(918)은 송신된 커맨드(들) 및 전자 디바이스(들)의 수신된 현재 상태(들)에 기초하여 블록(916)에서 전자 디바이스(들)로 송신된 커맨드(들)의 결과의 오디오 또는 시각적 표시를 출력하는 단계를 추가로 포함할 수 있다. 업데이트된 상태는 에러 상태, 예컨대, 디바이스의 미확인 또는 이용불가능 상태를 추가로 포함할 수 있다.

블록(920)에서, 사용자 디바이스는 블록(918)에서 수신된 전자 디바이스의 업데이트된 상태들을 하나 이상의 서버들로 송신할 수 있다. 예를 들어, 사용자 디바이스(102)는 블록(918)에서 수신된 전자 디바이스들의 업데이트된 상태들을 서버 시스템(110)으로 송신할 수 있다.

블록(922)에서, 하나 이상의 서버들은 블록(920)에서 사용자 디바이스에 의해 송신된 전자 디바이스들의 업데이트된 상태들을 수신할 수 있다. 예를 들어, 서버 시스템(110)은 블록(920)에서 사용자 디바이스(102)에 의해 송신된 전자 디바이스들의 업데이트된 상태들을 수신할 수 있다. 일부 예들에서, 블록(922)은 수신된 업데이트된 상태들에 기초하여 데이터 및 모델들 저장소(120) 내의 전자 디바이스들의 상태들을 업데이트하는 단계를 추가로 포함할 수 있다.

일부 예들에서, 추가적으로 또는 대안적으로, 전자 디바이스들의 상태들은 미리 결정된 조건을 만족하였음을 결정하는 것에 응답하여 저장된 구성을 이용하여 구성될 수 있다. 예를 들어, 미리 결정된 영역(예컨대, 사용자의 집에 대응하는 영역)에 들어가는 사용자 디바이스(102)의 위치에 응답하여, 저장된 구성(예컨대, "집" 구성)에 의해 특정되는 상태들로 전환하기 위한 커맨드들이 전자 디바이스들로 전송될 수 있다. 유사하게, 미리 결정된 시간 윈도우(예컨대, 평일 오전 8시 내지 9시) 동안 미리 결정된 영역(예컨대, 사용자의 집에 대응하는 영역)에서 나오는 사용자 디바이스(102)의 위치에 응답하여 다른 저장된 구성(예컨대, "작업" 구성)에 의해 특정되는 상태들로 전환하기 위한 커맨드들이 전자 디바이스들로 전송될 수 있다. 다른 유사한 미리 결정된 조건들이 생성되어, 시스템(100)으로 하여금 저장된 구성들에 기초하여 전자 디바이스들을 구성하도록 할 수 있다.

전자 디바이스

일부 예들에 따르면, 도 10은 다양한 기술된 예들의 원리들에 따라 구성된 전자 디바이스(1000)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 다양한 기술된 예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 10에 기술된 기능 블록들이 다양한 기술된 예들의 원리들을 구현하기 위해 조합되거나 서브블록들로 분리될 수 있음이 당업자들에 의해 이해된다. 따라서, 본 명세서의 설명은 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.

도 10에 도시된 바와 같이, 전자 디바이스(1000)는 사용자 인터페이스를 디스플레이하도록 그리고 터치 입력을 수신하도록 구성된 터치 스크린 디스플레이 유닛(1002), 및 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(1004)을 포함할 수 있다. 일부 예들에서, 전자 디바이스(1000)는 사운드를 생성하도록 구성된 스피커 유닛(1006)을 포함할 수 있다. 전자 디바이스(1000)는 터치 스크린 디스플레이 유닛(1002) 및 사운드 수신 유닛(1004)에 연결된 (그리고, 선택적으로 스피커 유닛(1006)에 연결된) 프로세싱 유닛(1008)을 추가로 포함할 수 있다. 일부 예들에서, 프로세싱 유닛(1008)은 오디오 입력 수신 유닛(1010), 오디오 입력 송신 유닛(1012), 식별자 및 커맨드 수신 유닛(1014), 식별자 및 커맨드 송신 유닛(1016), 상태 수신 유닛(1018), 상태 송신 유닛(1020), 상태 업데이트 유닛(1022), 표시 출력 유닛(1024), 제2 식별자 및 커맨드 수신 유닛(1026), 제2 식별자 및 커맨드 송신 유닛(1028), 및 제2 상태 수신 유닛(1030), 제2 상태 송신 유닛(1032), 및 통지 송신 유닛(1034)을 포함할 수 있다.

프로세싱 유닛(1008)은 (예컨대, 오디오 입력 수신 유닛(1010)을 사용하여) 사용자 스피치를 포함하는 오디오 입력을 수신하도록 구성될 수 있다. 프로세싱 유닛(1008)은 (예컨대, 오디오 입력 송신 유닛(1012)을 사용하여) 오디오 입력에 대응하는 데이터를 하나 이상의 서버들로 송신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1008)은 (예컨대, 식별자 및 커맨드 수신 유닛(1014)을 사용하여), 하나 이상의 서버들로부터, 오디오 입력에 대응하는 데이터에 기초하여 하나 이상의 서버들에 의해 결정되는 제1 전자 디바이스의 식별자 및 오디오 입력에 대응하는 데이터에 기초하여 하나 이상의 서버들에 의해 결정되는 제1 전자 디바이스에 의해 수행될 제1 커맨드를 수신하도록 추가로 구성될 수 있다. 제1 커맨드는 (예컨대, 식별자 및 커맨드 송신 유닛(1016)을 사용하여) 제1 전자 디바이스로 송신될 수 있다. 제1 커맨드를 제1 전자 디바이스로 송신한 후에 (예컨대, 상태 수신 유닛(1018)을 사용하여) 제1 전자 디바이스로부터 제1 전자 디바이스의 현재 상태가 수신될 수 있다. 제1 전자 디바이스의 현재 상태는 (예컨대, 상태 송신 유닛(1020)을 사용하여) 하나 이상의 서버들로 송신될 수 있다.

일부 예들에서, 제1 전자 디바이스는 조명 전구를 포함한다. 다른 예들에서, 제1 커맨드는 조명의 온/오프 상태, 디밍가능한 상태, 또는 색상 상태를 설정하기 위한 커맨드를 포함한다. 또 다른 예들에서, 제1 전자 디바이스의 현재 상태는, 조명 전구의 온/오프 상태, 디밍가능한 상태, 또는 색상 상태를 설정하기 위한 제1 커맨드를 송신한 후의 조명 전구의 온/오프 상태, 디밍가능한 상태, 또는 색상 상태를 포함한다.

일부 예들에서, 제1 전자 디바이스는 스위치를 포함한다. 다른 예들에서, 제1 커맨드는 스위치의 온/오프 상태를 설정하기 위한 커맨드를 포함한다. 또 다른 예들에서, 제1 전자 디바이스의 현재 상태는, 스위치의 온/오프 상태를 설정하기 위한 제1 커맨드를 송신한 후의 스위치의 온/오프 상태를 포함한다.

일부 예들에서, 제1 전자 디바이스는 전기 콘센트를 포함한다. 다른 예들에서, 제1 커맨드는 전기 콘센트의 활성/비활성 상태를 설정하기 위한 커맨드를 포함한다. 또 다른 예들에서, 제1 전자 디바이스의 현재 상태는, 전기 콘센트의 활성/비활성 상태를 설정하기 위한 커맨드를 송신한 후의 전기 콘센트의 활성/비활성 상태를 포함한다.

일부 예들에서, 제1 전자 디바이스는 도어 잠금장치를 포함한다. 다른 예들에서, 제1 커맨드는 도어 잠금장치의 잠금/잠금해제 상태를 설정하기 위한 커맨드를 포함한다. 또 다른 예들에서, 제1 전자 디바이스의 현재 상태는, 도어 잠금장치의 잠금/잠금해제 상태를 설정하기 위한 커맨드를 송신한 후의 도어 잠금장치의 잠금/잠금해제 상태를 포함한다.

일부 예들에서, 제1 전자 디바이스는 차고 도어를 포함한다. 다른 예들에서, 제1 커맨드는 차고 도어의 열림/닫힘 상태를 설정하기 위한 커맨드를 포함한다. 또 다른 예들에서, 제1 전자 디바이스의 현재 상태는, 차고 도어의 열림/닫힘 상태를 설정하기 위한 커맨드를 송신한 후의 차고 도어의 열림/닫힘 상태를 포함한다.

일부 예들에서, 제1 전자 디바이스는 온도조절기를 포함한다. 다른 예들에서, 제1 커맨드는 온도조절기의 온도 설정값의 수치를 설정하기 위한 커맨드를 포함한다. 또 다른 예들에서, 제1 전자 디바이스의 현재 상태는, 온도조절기의 온도 설정값의 수치를 설정하기 위한 제1 커맨드를 송신한 후의 온도조절기의 온도 설정값의 수치를 포함한다.

일부 예들에서, 제1 커맨드는 제1 전자 디바이스의 현재 상태에 대한 질의를 포함한다.

일부 예들에서, 제1 커맨드는 (예컨대, 식별자 및 커맨드 송신 유닛(1016)을 사용하여) 로컬 무선 네트워크를 통해 제1 전자 디바이스로 송신될 수 있다.

일부 예들에서, 제1 커맨드는 블루투스, 가시선, 피어투피어, 또는 WiFi 통신을 통하여 직접 제1 전자 디바이스로 송신될 수 있다.

일부 예들에서, 프로세싱 유닛(1008)은 하나 이상의 서버들로부터 제1 커맨드를 수신하는 것과 제1 커맨드를 제1 전자 디바이스로 송신하는 것 사이에서 제1 전자 디바이스의 상태에 대해 제1 전자 디바이스에게 질의하는 것을 배제하도록 구성될 수 있다.

일부 예들에서, 전자 디바이스(1000)는 제1 전자 디바이스를 포함하는 복수의 전자 디바이스들 각각의 상태를 저장하기 위한 데이터베이스 유닛(1034)을 추가로 포함할 수 있다. 다른 예들에서, 프로세싱 유닛(1008)은 (예컨대, 상태 업데이트 유닛(1022)을 사용하여) 제1 전자 디바이스로부터 수신된 제1 전자 디바이스의 현재 상태에 적어도 부분적으로 기초하여 데이터베이스 유닛(1034)에 저장된 제1 전자 디바이스의 상태를 업데이트하도록 추가로 구성될 수 있다.

일부 예들에서, 프로세싱 유닛(1008)은 (예컨대, 표시 출력 유닛(1024)을 사용하여) 제1 전자 디바이스로부터 수신된 제1 전자 디바이스의 현재 상태 및 제1 커맨드에 기초하여 제1 커맨드의 결과의 표시를 출력하도록 추가로 구성될 수 있다.

일부 예들에서, 전자 디바이스(1000)는 모바일 전화기, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 휴대용 미디어 플레이어, 텔레비전, 텔레비전 셋톱 박스, 또는 웨어러블 전자 디바이스를 포함할 수 있다.

일부 예들에서, 프로세싱 유닛(1008)은 (예컨대, 제2 식별자 및 커맨드 수신 유닛(1026)을 사용하여), 하나 이상의 서버들로부터, 오디오 입력에 대응하는 데이터에 기초하여 하나 이상의 서버들에 의해 결정되는 제2 전자 디바이스의 식별자 및 오디오 입력에 대응하는 데이터에 기초하여 하나 이상의 서버들에 의해 결정되는 제2 전자 디바이스에 의해 수행될 제2 커맨드를 수신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1008)은 (예컨대, 제2 식별자 및 커맨드 송신 유닛(1028)을 사용하여) 제2 커맨드를 제2 전자 디바이스로 송신하도록 그리고, 제2 커맨드를 제2 전자 디바이스로 송신한 후에, (예컨대, 제2 상태 수신 유닛(1030)을 사용하여) 제2 전자 디바이스로부터 제2 전자 디바이스의 현재 상태를 수신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1008)은 (예컨대, 제2 상태 송신 유닛(1032)을 사용하여) 제2 전자 디바이스의 현재 상태를 하나 이상의 서버들로 송신하도록 추가로 구성될 수 있다.

일부 예들에서, 프로세싱 유닛(1008)은 (예컨대, 통지 송신 유닛(1036)을 사용하여) 미리 결정된 조건을 만족하였음을 결정하는 것에 응답하여 제1 전자 디바이스의 현재 상태와 연관된 통지를 송신하도록 추가로 구성될 수 있다.

일부 예들에 따르면, 도 11은 다양한 기술된 예들의 원리들에 따라 구성된 전자 디바이스(1100)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 다양한 기술된 예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 11에 기술된 기능 블록들이 다양한 기술된 예들의 원리들을 구현하기 위해 조합되거나 서브블록들로 분리될 수 있음이 당업자들에 의해 이해된다. 따라서, 본 명세서의 설명은 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.

도 11에 도시된 바와 같이, 전자 디바이스(1100)는 사용자 인터페이스를 디스플레이하도록 그리고 터치 입력을 수신하도록 구성된 터치 스크린 디스플레이 유닛(1102), 및 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(1104)을 포함할 수 있다. 일부 예들에서, 전자 디바이스(1100)는 사운드를 생성하도록 구성된 스피커 유닛(1106)을 포함할 수 있다. 전자 디바이스(1100)는 터치 스크린 디스플레이 유닛(1102) 및 사운드 수신 유닛(1104)에 연결된 (그리고, 선택적으로 스피커 유닛(1106)에 연결된) 프로세싱 유닛(1108)을 추가로 포함할 수 있다. 일부 예들에서, 프로세싱 유닛(1108)은 오디오 입력 수신 유닛(1110), 오디오 입력 송신 유닛(1112), 명령어 수신 유닛(1114), 질의 송신 유닛(1116), 상태 수신 유닛(1118), 및 상태 송신 유닛(1120)을 포함할 수 있다.

프로세싱 유닛(1108)은 (예컨대, 오디오 입력 수신 유닛(1110)을 사용하여) 사용자 스피치를 포함하는 오디오 입력을 수신하도록 구성될 수 있다. 프로세싱 유닛(1108)은 (예컨대, 오디오 입력 송신 유닛(1112)을 사용하여) 오디오 입력에 대응하는 데이터를 하나 이상의 서버들로 송신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1108)은 (예컨대, 명령어 수신 유닛(1114)을 사용하여), 하나 이상의 서버들로부터, 오디오 입력에 대응하는 데이터에 기초하여 하나 이상의 서버들에 의해 결정되는 복수의 전자 디바이스들 각각의 상태에 대해 질의하기 위한 명령어를 수신하도록 추가로 구성될 수 있다. 상태 질의가 (예컨대, 질의 송신 유닛(1116)을 사용하여) 복수의 전자 디바이스들 각각으로 송신될 수 있고, 복수의 전자 디바이스들 각각의 현재 상태가 (예컨대, 상태 수신 유닛(1118)을 사용하여) 복수의 전자 디바이스들로부터 수신될 수 있다. 복수의 전자 디바이스들 각각의 현재 상태는 (예컨대, 상태 송신 유닛(1120)을 사용하여) 하나 이상의 서버들로 송신되어 구성으로서 저장될 수 있다.

일부 예들에 따르면, 도 12는 다양한 기술된 예들의 원리들에 따라 구성된 전자 디바이스(1200)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 다양한 기술된 예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 12에 기술된 기능 블록들이 다양한 기술된 예들의 원리들을 구현하기 위해 조합되거나 서브블록들로 분리될 수 있음이 당업자들에 의해 이해된다. 따라서, 본 명세서의 설명은 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.

도 12에 도시된 바와 같이, 전자 디바이스(1200)는 사용자 인터페이스를 디스플레이하도록 그리고 터치 입력을 수신하도록 구성된 터치 스크린 디스플레이 유닛(1202), 및 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(1204)을 포함할 수 있다. 일부 예들에서, 전자 디바이스(1200)는 사운드를 생성하도록 구성된 스피커 유닛(1206)을 포함할 수 있다. 전자 디바이스(1200)는 터치 스크린 디스플레이 유닛(1202) 및 사운드 수신 유닛(1204)에 연결된 (그리고, 선택적으로 스피커 유닛(1206)에 연결된) 프로세싱 유닛(1208)을 추가로 포함할 수 있다. 일부 예들에서, 프로세싱 유닛(1208)은 오디오 입력 수신 유닛(1210), 오디오 입력 송신 유닛(1212), 명령어 수신 유닛(1214), 질의 송신 유닛(1216), 상태 수신 유닛(1218), 및 상태 송신 유닛(1220)을 포함할 수 있다.

일부 예들에서, 프로세싱 유닛(1208)은 (예컨대, 오디오 입력 수신 유닛(1210)을 사용하여) 사용자 스피치를 포함하는 오디오 입력을 수신하도록, (예컨대, 오디오 입력 송신 유닛(1212)을 사용하여) 오디오 입력에 대응하는 데이터를 하나 이상의 서버들로 송신하도록, 그리고 (예컨대, 커맨드 수신 유닛(1214)을 사용하여), 하나 이상의 서버들로부터, 저장된 구성에 기초하여 하나 이상의 서버들에 의해 결정되는 복수의 전자 디바이스들 각각의 상태를 설정하기 위한 복수의 커맨드들을 수신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1208)은 (예컨대, 커맨드 송신 유닛(1216)을 사용하여) 복수의 커맨드들을 복수의 전자 디바이스들로 송신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1208)은 (예컨대, 상태 수신 유닛(1218)을 사용하여) 복수의 전자 디바이스들로부터 복수의 전자 디바이스들 각각의 업데이트된 상태를 수신하도록 그리고 (예컨대, 상태 송신 유닛(1220)을 사용하여) 복수의 전자 디바이스들 각각의 업데이트된 상태를 하나 이상의 서버들로 송신하도록 추가로 구성될 수 있다.

도 13에 도시된 바와 같이, 전자 디바이스(1300)는 사용자 인터페이스를 디스플레이하도록 그리고 터치 입력을 수신하도록 구성된 터치 스크린 디스플레이 유닛(1302), 및 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(1304)을 포함할 수 있다. 일부 예들에서, 전자 디바이스(1300)는 사운드를 생성하도록 구성된 스피커 유닛(1306)을 포함할 수 있다. 전자 디바이스(1300)는 터치 스크린 디스플레이 유닛(1302) 및 사운드 수신 유닛(1304)에 연결된 (그리고, 선택적으로 스피커 유닛(1306)에 연결된) 프로세싱 유닛(1308)을 추가로 포함할 수 있다. 일부 예들에서, 프로세싱 유닛(1308)은 오디오 입력 수신 유닛(1310), 스피치-텍스트 변환 유닛(1312), 전자 디바이스 식별 유닛(1314), 커맨드 식별 유닛(1316), 식별자 및 커맨드 송신 유닛(1318), 상태 수신 유닛(1320), 상태 업데이트 유닛(1322), 상황 정보 수신 유닛(1324), 표시 송신 유닛(1326), 제2 전자 디바이스 식별 유닛(1328), 제2 커맨드 식별 유닛(1330), 제2 식별자 및 커맨드 송신 유닛(1332), 및 제2 상태 수신 유닛(1336)을 포함할 수 있다.

프로세싱 유닛(1308)은 (예컨대, 오디오 입력 수신 유닛(1310)을 사용하여) 사용자 스피치를 포함하는 오디오 입력에 대응하는 데이터를 수신하도록 구성될 수 있다. 프로세싱 유닛(1308)은 (예컨대, 스피치-텍스트 변환 유닛(1312)을 사용하여) 오디오 입력에 대응하는 데이터에 대해 스피치-텍스트 변환을 수행하여 사용자 스피치의 텍스트 표현을 생성하도록 추가로 구성될 수 있다. 프로세싱 유닛(1308)은 (예컨대, 전자 디바이스 식별 유닛(1314)을 사용하여) 사용자 스피치의 텍스트 표현에 기초하여 제1 전자 디바이스를 식별하도록 추가로 구성될 수 있다. 프로세싱 유닛(1308)은 (예컨대, 커맨드 식별 유닛(1316)을 사용하여) 사용자 스피치의 텍스트 표현에 기초하여 제1 전자 디바이스에 의해 수행될 제1 커맨드를 식별하도록 추가로 구성될 수 있다. 프로세싱 유닛(1308)은 (예컨대, 식별자 및 커맨드 송신 유닛(1318)을 사용하여) 제1 전자 디바이스의 식별자 및 제1 커맨드를 사용자 디바이스로 송신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1308)은 (예컨대, 상태 수신 유닛(1320)을 사용하여) 제1 전자 디바이스의 현재 상태를 수신하도록 추가로 구성될 수 있다.

일부 예들에서, 제1 전자 디바이스는 스위치를 포함한다. 다른 예들에서, 제1 커맨드는 스위치의 온/오프 상태를 설정하기 위한 커맨드를 포함한다. 또 다른 예들에서, 제1 전자 디바이스의 현재 상태는, 스위치의 온/오프 상태를 설정하기 위한 커맨드를 송신한 후의 전기 콘센트의 온/오프 상태를 포함한다.

일부 예들에서, 전자 디바이스(1300)는 제1 전자 디바이스를 포함하는 복수의 전자 디바이스들 각각의 명칭, 유형, 및 상태를 저장하기 위한 데이터베이스 유닛(1334)을 추가로 포함한다. 다른 예들에서, 프로세싱 유닛(1308)은 (예컨대, 상태 업데이트 유닛(1322)을 사용하여) 제1 전자 디바이스의 현재 상태에 기초하여 데이터베이스 유닛(1334)에 저장된 제1 전자 디바이스의 상태를 업데이트하도록 추가로 구성될 수 있다.

일부 예들에서, 프로세싱 유닛(1308)은 (예컨대, 상황 정보 수신 유닛(1324)을 사용하여) 사용자 디바이스로부터 오디오 입력에 대응하는 데이터 내의 상황 정보를 수신하도록 추가로 구성될 수 있다. 다른 예들에서, 프로세싱 유닛(1308)은 (예컨대, 전자 디바이스 식별 유닛(1314)을 사용하여) 상황 정보에 기초하여 제1 전자 디바이스를 식별하도록 추가로 구성될 수 있다. 또 다른 예들에서, 프로세싱 유닛(1308)은 (예컨대, 커맨드 식별 유닛(1316)을 사용하여) 상황 정보에 기초하여 제1 커맨드를 식별하도록 추가로 구성될 수 있다. 일부 예들에서, 상황 정보는, 사용자 디바이스가 오디오 입력을 수신했을 때의 사용자 디바이스의 배향 또는 사용자 디바이스가 오디오 입력을 수신했을 때의 사용자 디바이스의 위치를 포함한다.

일부 예들에서, 사용자 스피치의 텍스트 표현은 제1 전자 디바이스의 명칭을 배제한다. 다른 예들에서, 사용자 스피치의 텍스트 표현은 제1 전자 디바이스의 유형을 배제한다.

일부 예들에서, 전자 디바이스(1300)는 모바일 전화기, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 휴대용 미디어 플레이어, 텔레비전, 텔레비전 셋톱 박스, 또는 웨어러블 전자 디바이스를 포함한다.

일부 예들에서, 프로세싱 유닛(1308)은 (예컨대, 식별자 및 커맨드 송신 유닛(1318)을 사용하여) 제1 전자 디바이스의 식별자 및 제1 커맨드를 사용자 디바이스로 송신하도록, 그리고 (예컨대, 상태 수신 유닛(1320)을 사용하여) 사용자 디바이스로부터 제1 전자 디바이스의 현재 상태를 수신하도록 추가로 구성될 수 있다.

다른 예들에서, 프로세싱 유닛(1308)은 (예컨대, 식별자 및 커맨드 송신 유닛(1318)을 사용하여) 제1 전자 디바이스의 식별자 및 제1 커맨드를 제2 사용자 디바이스로 송신하도록, 그리고 (예컨대, 상태 수신 유닛(1320)을 사용하여) 제2 사용자 디바이스로부터 제1 전자 디바이스의 현재 상태를 수신하도록 추가로 구성될 수 있다.

다른 예들에서, 프로세싱 유닛(1308)은 (예컨대, 표시 송신 유닛(1326)을 사용하여) 제1 커맨드 및 제1 전자 디바이스의 현재 상태에 기초하여 제1 커맨드의 결과의 표시를 제2 사용자 디바이스로 송신하도록 추가로 구성될 수 있다.

다른 예들에서, 프로세싱 유닛(1308)은 (예컨대, 제2 전자 디바이스 식별 유닛(1328)을 사용하여) 사용자 스피치의 텍스트 표현에 기초하여 제2 전자 디바이스를 식별하도록, (예컨대, 제2 커맨드 식별 유닛(1330)을 사용하여) 사용자 스피치의 텍스트 표현에 기초하여 제2 전자 디바이스에 의해 수행될 제2 커맨드를 식별하도록, (예컨대, 제2 식별자 및 커맨드 송신 유닛(1332)을 사용하여) 제2 전자 디바이스의 식별자 및 제2 커맨드를 송신하도록, 그리고 (예컨대, 제2 상태 수신 유닛(1336)을 사용하여) 제2 전자 디바이스의 현재 상태를 수신하도록 추가로 구성될 수 있다.

도 14에 도시된 바와 같이, 전자 디바이스(1400)는 사용자 인터페이스를 디스플레이하도록 그리고 터치 입력을 수신하도록 구성된 터치 스크린 디스플레이 유닛(1402), 및 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(1404)을 포함할 수 있다. 일부 예들에서, 전자 디바이스(1400)는 사운드를 생성하도록 구성된 스피커 유닛(1406)을 포함할 수 있다. 전자 디바이스(1400)는 터치 스크린 디스플레이 유닛(1402) 및 사운드 수신 유닛(1404)에 연결된 (그리고, 선택적으로 스피커 유닛(1406)에 연결된) 프로세싱 유닛(1408)을 추가로 포함할 수 있다. 일부 예들에서, 프로세싱 유닛(1408)은 오디오 입력 수신 유닛(1410), 스피치-텍스트 변환 유닛(1412), 결정 유닛(1414), 명령어 송신 유닛(1416), 상태 수신 유닛(1416), 구성 저장 유닛(1420), 제2 오디오 입력 수신 유닛(1422), 제2 스피치-텍스트 변환 유닛(1424), 제2 결정 유닛(1426), 커맨드 송신 유닛(1428), 및 제2 상태 수신 유닛(1430)을 포함할 수 있다.

프로세싱 유닛(1408)은 (예컨대, 오디오 입력 수신 유닛(1410)을 사용하여) 사용자 디바이스로부터 사용자 스피치를 포함하는 오디오 입력에 대응하는 데이터를 수신하도록 구성될 수 있다. 프로세싱 유닛(1408)은 (예컨대, 스피치-텍스트 변환 유닛(1412)을 사용하여) 오디오 입력에 대응하는 데이터에 대해 스피치-텍스트 변환을 수행하여 사용자 스피치의 텍스트 표현을 생성하도록 추가로 구성될 수 있다. 프로세싱 유닛(1408)은 (예컨대, 결정 유닛(1414)을 사용하여) 사용자 스피치의 텍스트 표현이 복수의 전자 디바이스들 각각의 상태를 구성으로서 저장하려는 사용자 의도를 나타냄을 결정하도록 추가로 구성될 수 있다. 프로세싱 유닛(1408)은 (예컨대, 명령어 송신 유닛(1416)을 사용하여) 복수의 전자 디바이스들 각각의 상태에 대해 질의하기 위한 명령어를 송신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1408)은 (예컨대, 상태 수신 유닛(1418)을 사용하여) 복수의 전자 디바이스들 각각의 현재 상태를 수신하도록 추가로 구성될 수 있다. 프로세싱 유닛(1408)은 (예컨대, 구성 저장 유닛(1420)을 사용하여) 복수의 전자 디바이스들 각각의 수신된 현재 상태를 구성으로서 저장하도록 추가로 구성될 수 있다.

도 15에 도시된 바와 같이, 전자 디바이스(1500)는 사용자 인터페이스를 디스플레이하도록 그리고 터치 입력을 수신하도록 구성된 터치 스크린 디스플레이 유닛(1502), 및 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(1504)을 포함할 수 있다. 일부 예들에서, 전자 디바이스(1500)는 사운드를 생성하도록 구성된 스피커 유닛(1506)을 포함할 수 있다. 전자 디바이스(1500)는 터치 스크린 디스플레이 유닛(1502) 및 사운드 수신 유닛(1504)에 연결된 (그리고, 선택적으로 스피커 유닛(1506)에 연결된) 프로세싱 유닛(1508)을 추가로 포함할 수 있다. 일부 예들에서, 프로세싱 유닛(1408)은 오디오 입력 수신 유닛(1510), 스피치-텍스트 변환 유닛(1512), 결정 유닛(1514), 명령어 송신 유닛(1516), 상태 수신 유닛(1516), 구성 저장 유닛(1520), 제2 오디오 입력 수신 유닛(1522), 제2 스피치-텍스트 변환 유닛(1524), 제2 결정 유닛(1526), 커맨드 송신 유닛(1528), 및 제2 상태 수신 유닛(1530)을 포함할 수 있다.

일부 예들에서, 프로세싱 유닛(1508)은 (예컨대, 오디오 입력 수신 유닛(1510)을 사용하여) 사용자 스피치를 포함하는 오디오 입력에 대응하는 데이터를 수신하도록, (예컨대, 스피치-텍스트 변환 유닛(1512)을 사용하여) 오디오 입력에 대응하는 데이터에 대해 스피치-텍스트 변환을 수행하여 사용자 스피치의 텍스트 표현을 생성하도록, (예컨대, 결정 유닛(1514)을 사용하여) 사용자 스피치의 텍스트 표현이 구성에 기초하여 복수의 전자 디바이스들 각각의 상태를 변화시키려는 사용자 의도를 나타냄을 결정하도록, (예컨대, 커맨드 송신 유닛(1516)을 사용하여) 구성에 기초하여 복수의 전자 디바이스들 각각의 상태를 설정하기 위한 복수의 커맨드들을 송신하도록, 그리고 (예컨대, 상태 수신 유닛(1518)을 사용하여) 복수의 전자 디바이스들 각각의 업데이트된 상태를 수신하도록 추가로 구성될 수 있다.

전술된 바와 같이, 본 기술의 하나의 태양은 초대 콘텐츠 또는 그들에게 관심이 있을 수 있는 임의의 다른 콘텐츠의 사용자들에게로의 전달을 개선하도록 하는 다양한 소스들로부터 입수가능한 데이터의 수집 및 사용이다. 본 발명은, 일부 경우들에 있어서, 이러한 수집된 데이터가 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하는 데 이용될 수 있는 개인 정보 데이터를 포함할 수 있음을 고려한다. 그러한 개인 정보 데이터는 인구통계 데이터, 위치 기반 데이터, 전화 번호들, 이메일 주소들, 집 주소들, 또는 임의의 다른 식별 정보를 포함할 수 있다.

본 발명은 본 기술에서의 그러한 개인 정보 데이터의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 사용자에게 더 큰 관심대상인 타깃 콘텐츠를 전달하는 데 이용될 수 있다. 따라서, 그러한 개인 정보 데이터의 이용은 전달된 콘텐츠의 계산된 제어를 가능하게 한다. 게다가, 사용자에 이득을 주는 개인 정보 데이터에 대한 다른 이용들이 또한 본 발명에 의해 고려된다.

본 발명은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 이용을 책임지고 있는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것이라는 것을 추가로 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 이용해야 한다. 예를 들어, 사용자들로부터의 개인 정보는 엔티티의 적법하며 적정한 사용들을 위해 수집되어야 하고, 이들 적법한 사용들을 벗어나서 공유되거나 판매되지 않아야 한다. 또한, 그러한 수집은 단지 사용자들의 통지된 동의를 수신한 후에만 발생해야 한다. 부가적으로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취할 것이다. 게다가, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다.

전술한 것에도 불구하고, 본 발명은 또한 사용자가 개인 정보 데이터의 이용, 또는 그에 대한 액세스를 선택적으로 차단하는 예들을 고려한다. 즉, 본 발명은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, 광고 전달 서비스들의 경우에, 본 기술은 사용자들이 서비스들에 대한 등록 동안에 개인 정보 데이터의 수집에의 참여에 "동의(opt in)" 또는 "동의하지 않음(opt out)"을 선택하게 하도록 구성될 수 있다. 다른 예에서, 사용자들은 타깃 콘텐츠 전달 서비스들을 위한 위치 정보를 제공하지 않도록 선택할 수 있다. 또 다른 예에서, 사용자들은 정확한 위치 정보를 제공하지 않지만 위치 구역 정보의 전달을 허용하도록 선택할 수 있다.

따라서, 본 발명이 하나 이상의 다양한 개시된 예들을 구현하기 위해 개인 정보 데이터의 사용을 광범위하게 커버하지만, 본 발명은 다양한 예들이 또한 그러한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 예들은 그러한 개인 정보 데이터의 모두 또는 일부분의 결여로 인해 동작 불가능하게 되지는 않는다. 예를 들어, 콘텐츠는, 사용자와 연관된 디바이스에 의해 요청되는 콘텐츠, 콘텐츠 전달 서비스들에 대해 이용가능한 다른 비-개인 정보, 또는 공개적으로 입수가능한 정보와 같은 비-개인 정보 데이터 또는 드러난 최소량의 개인 정보에 기초하여 선호도를 추론함으로써 선택되고 사용자들에게 전달될 수 있다.

예들이 첨부의 도면들을 참조하여 충분히 설명되었지만, 다양한 변경들 및 수정들이 당업자들에게는 명백하게 될 것이라는 것에 주목하여야 한다. 그러한 변경들 및 수정들은 첨부된 청구항들에 의해 정의되는 바와 같은 다양한 예들의 범주 내에 포함되는 것으로서 이해되어야 한다.

Claims

사용자 디바이스 상의 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 방법으로서,
상기 사용자 디바이스에 의해, 사용자 스피치를 포함하는 오디오 입력을 수신하는 단계;
상기 오디오 입력에 대응하는 데이터를 하나 이상의 서버들로 송신하는 단계;
상기 하나 이상의 서버들로부터:
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 제1 전자 디바이스의 식별자, 및
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 상기 제1 전자 디바이스에 의해 수행될 제1 커맨드
를 수신하는 단계;
상기 제1 커맨드를 상기 제1 전자 디바이스로 송신하는 단계;
상기 제1 커맨드를 상기 제1 전자 디바이스로 송신한 이후 제2 오디오 입력을 수신하는 단계;
상기 제2 오디오 입력에 따라 상기 제1 전자 디바이스로 상태 질의를 송신하는 단계;
상기 제1 전자 디바이스로부터 상기 제1 전자 디바이스의 현재 상태를 수신하는 단계; 및
상기 하나 이상의 서버들에게 구성의 적어도 일부분으로 저장되도록 상기 제1 전자 디바이스의 상기 현재 상태를 송신하는 단계
를 포함하고, 상기 구성은 상기 구성을 참조하는 커맨드에 응답하여 사용할 다수의 대응하는 전자 디바이스들의 다수의 상태들을 정의하는, 방법.
제1항에 있어서,
상기 제1 커맨드를 상기 제1 전자 디바이스로 송신하는 단계 후에, 상기 제1 전자 디바이스로부터 상기 제1 전자 디바이스의 현재 상태를 수신하는 단계; 및
상기 제1 전자 디바이스의 상기 현재 상태를 상기 하나 이상의 서버들로 송신하는 단계를 추가로 포함하는, 방법.
제2항에 있어서, 상기 제1 전자 디바이스는 조명 전구를 포함하는, 방법.
제3항에 있어서, 상기 제1 커맨드는 상기 조명 전구의 온/오프 상태, 디밍가능한(dimmable) 상태, 또는 색상 상태를 설정하기 위한 커맨드를 포함하는, 방법.
제4항에 있어서, 상기 제1 전자 디바이스의 상기 현재 상태는, 상기 조명 전구의 온/오프 상태, 디밍가능한 상태, 또는 색상 상태를 설정하기 위한 상기 제1 커맨드를 송신한 후의 상기 조명 전구의 온/오프 상태, 디밍가능한 상태, 또는 색상 상태를 포함하는, 방법.
제2항에 있어서, 상기 제1 전자 디바이스는 전기 콘센트를 포함하는, 방법.
제6항에 있어서, 상기 제1 커맨드는 상기 전기 콘센트의 활성/비활성 상태를 설정하기 위한 커맨드를 포함하는, 방법.
제7항에 있어서, 상기 제1 전자 디바이스의 상기 현재 상태는, 상기 전기 콘센트의 활성/비활성 상태를 설정하기 위한 상기 커맨드를 송신한 후의 상기 전기 콘센트의 활성/비활성 상태를 포함하는, 방법.
제2항에 있어서, 상기 제1 전자 디바이스는 스위치를 포함하는, 방법.
제9항에 있어서, 상기 제1 커맨드는 상기 스위치의 온/오프 상태를 설정하기 위한 커맨드를 포함하는, 방법.
제10항에 있어서, 상기 제1 전자 디바이스의 상기 현재 상태는, 상기 스위치의 온/오프 상태를 설정하기 위한 상기 커맨드를 송신한 후의 상기 스위치의 온/오프 상태를 포함하는, 방법.
제2항에 있어서, 상기 제1 전자 디바이스는 도어 잠금장치(door lock)를 포함하는, 방법.
제12항에 있어서, 상기 제1 커맨드는 상기 도어 잠금장치의 잠금/잠금해제 상태를 설정하기 위한 커맨드를 포함하는, 방법.
제13항에 있어서, 상기 제1 전자 디바이스의 상기 현재 상태는, 상기 도어 잠금장치의 잠금/잠금해제 상태를 설정하기 위한 상기 커맨드를 송신한 후의 상기 도어 잠금장치의 잠금/잠금해제 상태를 포함하는, 방법.
제2항에 있어서, 상기 제1 전자 디바이스는 차고 도어(garage door)를 포함하는, 방법.
제2항에 있어서, 상기 제1 전자 디바이스는 온도조절기(thermostat)를 포함하는, 방법.
제16항에 있어서, 상기 제1 커맨드는 상기 온도조절기의 온도 설정값의 수치를 설정하기 위한 커맨드를 포함하는, 방법.
제17항에 있어서, 상기 제1 전자 디바이스의 상기 현재 상태는, 상기 온도조절기의 온도 설정값의 수치를 설정하기 위한 상기 제1 커맨드를 송신한 후의 상기 온도조절기의 온도 설정값의 수치를 포함하는, 방법.
제2항에 있어서, 미리 결정된 조건을 만족하였음을 결정하는 것에 응답하여 상기 제1 전자 디바이스의 상기 현재 상태와 연관된 통지를 출력하는 단계를 추가로 포함하는, 방법.
제2항에 있어서, 상기 사용자 디바이스는 상기 제1 전자 디바이스를 포함하는 복수의 전자 디바이스들 각각의 상태를 저장하기 위한 데이터베이스를 포함하고, 상기 방법은 상기 제1 전자 디바이스로부터 수신되는 상기 제1 전자 디바이스의 상기 현재 상태에 적어도 부분적으로 기초하여 상기 데이터베이스에 저장된 상기 제1 전자 디바이스의 상태를 업데이트하는 단계를 추가로 포함하는, 방법.
제2항에 있어서, 상기 방법은 상기 제1 전자 디바이스로부터 수신되는 상기 제1 전자 디바이스의 상기 현재 상태 및 상기 제1 커맨드에 기초하여 상기 제1 커맨드의 결과의 표시를 출력하는 단계를 추가로 포함하고, 상기 결과의 표시는 오디오, 시각적, 또는 오디오 및 시각적 표시 양측 모두인, 방법.
제1항에 있어서, 상기 사용자 디바이스는 모바일 전화기, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 휴대용 미디어 플레이어, 텔레비전, 텔레비전 셋톱 박스, 또는 웨어러블 전자 디바이스를 포함하는, 방법.
제1항에 있어서,
상기 하나 이상의 서버들로부터:
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 제2 전자 디바이스의 식별자, 및
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 상기 제2 전자 디바이스에 의해 수행될 제2 커맨드
를 수신하는 단계;
상기 제2 커맨드를 상기 제2 전자 디바이스로 송신하는 단계;
상기 제2 커맨드를 상기 제2 전자 디바이스로 송신하는 단계 후에, 상기 제2 전자 디바이스로부터 상기 제2 전자 디바이스의 현재 상태를 수신하는 단계; 및
상기 제2 전자 디바이스의 상기 현재 상태를 상기 하나 이상의 서버들로 송신하는 단계를 추가로 포함하는, 방법.
사용자 디바이스 상의 가상 어시스턴트를 사용하여 전자 디바이스들을 제어하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 판독가능 저장 매체는 명령어들을 포함하는 하나 이상의 프로그램들을 저장하고, 상기 명령어들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
상기 사용자 디바이스에 의해, 사용자 스피치를 포함하는 오디오 입력을 수신하게 하고;
상기 오디오 입력에 대응하는 데이터를 하나 이상의 서버들로 송신하게 하고;
상기 하나 이상의 서버들로부터:
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 제1 전자 디바이스의 식별자, 및
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 상기 제1 전자 디바이스에 의해 수행될 제1 커맨드
를 수신하게 하고;
상기 제1 커맨드를 상기 제1 전자 디바이스로 송신하게 하고;
상기 제1 커맨드를 상기 제1 전자 디바이스로 송신한 이후 제2 오디오 입력을 수신하게 하고;
상기 제2 오디오 입력에 따라 상기 제1 전자 디바이스로 상태 질의를 송신하게 하고;
상기 제1 전자 디바이스로부터 상기 제1 전자 디바이스의 현재 상태를 수신하게 하고; 그리고
상기 하나 이상의 서버들에게 구성의 적어도 일부분으로 저장되도록 상기 제1 전자 디바이스의 상기 현재 상태를 송신하게 하고,
상기 구성은 상기 구성을 참조하는 커맨드에 응답하여 사용할 다수의 대응하는 전자 디바이스들의 다수의 상태들을 정의하는, 비일시적 컴퓨터 판독가능 저장 매체.
시스템으로서,
하나 이상의 프로세서들;
메모리;
상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며,
상기 하나 이상의 프로그램들은,
사용자 디바이스에 의해, 사용자 스피치를 포함하는 오디오 입력을 수신하기 위한;
상기 오디오 입력에 대응하는 데이터를 하나 이상의 서버들로 송신하기 위한;
상기 하나 이상의 서버들로부터:
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 제1 전자 디바이스의 식별자, 및
상기 오디오 입력에 대응하는 상기 데이터에 기초하여 상기 하나 이상의 서버들에 의해 결정되는 상기 제1 전자 디바이스에 의해 수행될 제1 커맨드
를 수신하기 위한;
상기 제1 커맨드를 상기 제1 전자 디바이스로 송신하기 위한;
상기 제1 커맨드를 상기 제1 전자 디바이스로 송신한 이후 제2 오디오 입력을 수신하기 위한;
상기 제2 오디오 입력에 따라 상기 제1 전자 디바이스로 상태 질의를 송신하기 위한;
상기 제1 전자 디바이스로부터 상기 제1 전자 디바이스의 현재 상태를 수신하기 위한; 그리고
상기 하나 이상의 서버들에게 구성의 적어도 일부분으로 저장되도록 상기 제1 전자 디바이스의 상기 현재 상태를 송신하기 위한,
명령어들을 포함하고, 상기 구성은 상기 구성을 참조하는 커맨드에 응답하여 사용할 다수의 대응하는 전자 디바이스들의 다수의 상태들을 정의하는, 시스템.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제