KR102292671B1 - 보이스 가능 디바이스를 디스플레이 디바이스와 페어링 - Google Patents

보이스 가능 디바이스를 디스플레이 디바이스와 페어링 Download PDF

Info

Publication number
KR102292671B1
KR102292671B1 KR1020207000903A KR20207000903A KR102292671B1 KR 102292671 B1 KR102292671 B1 KR 102292671B1 KR 1020207000903 A KR1020207000903 A KR 1020207000903A KR 20207000903 A KR20207000903 A KR 20207000903A KR 102292671 B1 KR102292671 B1 KR 102292671B1
Authority
KR
South Korea
Prior art keywords
speech
display
display device
devices
computer
Prior art date
Application number
KR1020207000903A
Other languages
English (en)
Other versions
KR20200013774A (ko
Inventor
자히드 사부르
쉘팅아 안드레아 텔위스차 반
미카일 레우토브
루카스 미렐만
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20200013774A publication Critical patent/KR20200013774A/ko
Application granted granted Critical
Publication of KR102292671B1 publication Critical patent/KR102292671B1/ko

Links

Images

Classifications

    • H04L67/16—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H04L67/36—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/005—Discovery of network devices, e.g. terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Small-Scale Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기 위해 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램들을 포함하는 방법들, 시스템들 및 장치가 개시되어 있다. 스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정될 수 있다. 상기 스피치 가능 디바이스를 상기 특정 유형의 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 상기 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트가 식별될 수 있다. 명령어는 디스플레이 디바이스들 각각에 제공될 수 있다. 상기 명령어는, 상기 디스플레이 디바이스로 하여금, (i) 상기 디스플레이 디바이스가 상기 특정 유형인지 그리고 (ii) 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하고, 그리고 상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 할 수 있다.

Description

보이스 가능 디바이스를 디스플레이 디바이스와 페어링
본 발명은 예를 들어 다른 디바이스와 관련된 하나의 디바이스 상에 그래픽 컨텐츠를 제공하기 위한 디바이스들의 페어링에 관한 것이다.
컴퓨팅 시스템들은 다수의 음성 질의들을 수신하고 그리고 음성 질의들 각각에 응답하는 응답 콘텐츠를 생성하도록 구성될 수 있다. 생성된 응답 컨텐츠는 오디오 데이터 형식, 시각적 데이터 형식 또는 둘 모두의 형태로 사용자에게 출력하기 위해 제공될 수 있다. 예를 들어, 컴퓨팅 시스템들은, 사용자가 특정 미디어/콘텐츠 아이템, 회의 위치 또는 다양한 대화 토픽들과 관련된 주제에 관한 정보를 획득하려고 하는 음성 질의들 각각을 수신할 수 있다. 예시적인 클라이언트/컴퓨팅 디바이스에 음성 질의들을 제공하는 사용자들은, 보다 편리한 사용자 경험을 제공하는 특정 데이터 포맷으로 적어도 하나의 응답 콘텐츠의 서브 세트를 수신하기를 원할 수 있지만, 사용자가 음성 질의들을 제공하는 사용자 디바이스에 의해 제공되는 것이 가능하지 않을 수도 있다.
시스템은 스피치 가능 디바이스를 디스플레이 디바이스와 페어링할 수 있다. 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하는 것은, 음성 상호 작용을 향상시키기 위해 음성 상호 작용에 관한 적어도 일부의 시각적 정보가 디스플레이 디바이스에 디스플레이되도록 할 수 있다. 예를 들어, 화자, 즉, 말하는 사람이 "오케이 컴퓨터, 오늘 날씨는 어때?"라고 말하면, 스피치 가능 디바이스는, "오늘은 맑고 70도입니다"라는 음성 응답을 할 수 있고, 그리고 스피치 가능 디바이스와 페어링되는 디스플레이 디바이스는 음성 상호 작용의 전사(transcription)를 디스플레이하거나 또는 시간별 예측을 디스플레이할 수 있다. 이후, 화자는, 가청 응답을 듣고 디스플레이 디바이스에 디스플레이된 시각적 정보를 한눈에 볼 수 있다.
시스템은, 사용자가 페어링을 위한 하나 이상의 용어 및 디스플레이 디바이스의 유형을 나타내는 하나 이상의 용어를 말하는 것에 응답하여 스피치 가능 디바이스 및 디스플레이 디바이스를 페어링할 수 있다. 예를 들어, 시스템은 "오케이 컴퓨터, 나의 태블릿과 페어링 해"라고 말하는 사용자에 응답하여 스피치 가능 디바이스와 태블릿을 페어링할 수 있다. 스피치 가능 디바이스가 올바른 디스플레이 디바이스와 페어링되도록 하려면, 사용자가 페어링을 위한 하나 이상의 용어 및 디스플레이 디바이스의 유형을 나타내는 용어를 말할 때, 시스템은 스피치 가능 디바이스와 태블릿 사이의 이전 페어링에 관한 임의의 정보가 존재하는지를 결정할 수 있다. 그러한 사전 정보가 존재하지 않으면, 시스템은 스피치 가능 디바이스와 연관된 디바이스들에 명령어들을 전송할 수 있다.
이러한 명령어들은, 디스플레이 디바이스들 각각이 요청된 유형의 디스플레이 디바이스인지를 결정하고 그리고 디스플레이 디바이스가 스피치 가능 디바이스와 동일한 근거리 네트워크 상에 있는지를 결정하도록 할 수 있다. 디스플레이 디바이스가 스피치 가능 디바이스와 동일한 근거리 네트워크 상에 있다는 결정은, 디스플레이 디바이스가 스피치 가능 디바이스와 대화하는 사람의 시각적 범위 내에 있을 가능성이 있음을 의미할 수 있다.
요청된 디스플레이 디바이스 유형이고 그리고 동일한 근거리 네트워크 모두에 속하는 것으로 결정된 디스플레이 디바이스들은, 이후, 디스플레이 디바이스가 스피치 가능 디바이스와 페어링하기 위한 올바른 디바이스임을 확인하기 위해 상호 작용할 수 있다는 시각적 표시를 디스플레이할 수 있다. 디스플레이 디바이스가 스피치 가능 디바이스와 페어링해야 한다는 것을 화자가 확인하면, 그 후, 시스템은, 스피치 가능 디바이스와 디스플레이 디바이스를 페어링하여 디스플레이 디바이스가 화자와 스피치 가능 디바이스 사이의 음성 상호 작용에 관한 시각적 정보를 나타내도록 할 수 있다.
본 명세서에 서술된 주제의 하나의 혁신적인 양태는, 스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정하는 단계와; 상기 스피치 가능 디바이스를 상기 특정 유형의 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 상기 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계와; 그리고 식별된 디스플레이 디바이스들의 세트 중 각 디스플레이 디바이스에 대해, 상기 디스플레이 디바이스에 명령어를 제공하는 단계를 포함하는 방법들에서 구현된다. 상기 명령어는, 상기 디스플레이 디바이스로 하여금: (i) 상기 디스플레이 디바이스가 상기 특정 유형인지 그리고 (ii) 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하고, 그리고 (i) 상기 디스플레이 디바이스가 상기 특정 유형인지 그리고 (ii) 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 것에 응답하여, 상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 한다.
본 명세서에 서술된 주제의 하나의 혁신적인 양태는, 제1 디바이스와 제2 디바이스를 페어링하라는 요청을 수신하는 단계 - 상기 요청은 상기 제1 디바이스와 연관된 식별자를 포함하며 - 와; 상기 요청에 기초하여 복수의 추가 디바이스들을 결정하는 단계 - 상기 복수의 추가 디바이스들은 상기 제2 디바이스를 포함하며 - 와; 상기 식별자와 연관된 데이터를 상기 복수의 추가 디바이스들 각각에 전송하는 단계와; 상기 제2 디바이스로부터, 상기 제2 디바이스가 상기 제1 디바이스와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 데이터를 수신하는 단계 - 상기 제2 디바이스가 상기 제1 디바이스와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 데이터는, 상기 식별자와 연관된 전송된 데이터에 기초하여 생성되며 - 와; 그리고 상기 제2 디바이스가 상기 식별자와 연관된 근거리 네트워크에 연결된 것을 나타내는 수신된 데이터에 기초하여 상기 제1 디바이스와 상기 제2 디바이스를 연관시키는 데이터를 저장하는 단계를 포함하는 방법들에서 구현된다.
본 명세서에 서술된 주제의 하나의 혁신적인 양태는, 근거리 네트워크에 연결된 제2 디바이스의 서버로부터, 제1 디바이스와 연관된 식별자를 수신하는 단계와; 상기 근거리 네트워크에 연결된 각 네트워크 디바이스에 대해, 상기 수신된 식별자는 상기 네트워크 디바이스와 연관된 식별자와 대응하는지를 결정하는 단계와; 그리고 상기 수신된 식별자는 상기 네트워크 디바이스와 연관된 식별자와 대응하는지를 결정하는 것에 응답하여, 상기 제2 디바이스가 상기 식별자와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 데이터를 상기 서버로 전송하는 단계를 포함하는 방법들에서 구현된다.
본 명세서에 서술된 주제의 하나의 혁신적인 양태는, 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기로 결정하는 단계와; 상기 스피치 가능 디바이스를 상기 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 상기 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계와; 그리고 식별된 디스플레이 디바이스들의 세트 중 각 디스플레이 디바이스에 대해, 상기 디스플레이 디바이스에 명령어를 제공하는 단계를 포함하고, 상기 명령어는, 상기 디스플레이 디바이스로 하여금: 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하고, 그리고 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 것에 응답하여, 상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 한다.
이들 양태들의 다른 구현들은, 대응하는 컴퓨터 시스템들, 장치 및 각각이 방법들의 단계들을 수행하도록 구성된 하나 이상의 컴퓨터 저장 디바이스에 기록된 컴퓨터 프로그램들을 포함한다. 하나 이상의 컴퓨터들의 시스템은, 소프트웨어, 펌웨어, 또는 이들의 조합을 동작중인 시스템에 설치함으로써 특정 동작들 또는 행동들을 수행하거나 또는 상기 시스템이 동작들을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램은 데이터 처리 장치에 의해 실행될 때 장치로 하여금 동작들을 수행하도록 하는 명령어들을 포함시킴으로써 특정 동작들 또는 행동들을 수행하도록 구성될 수 있다.
전술한 실시예 및 다른 실시예들은, 각각 다음 특징들 중 하나 이상을 단독으로 또는 조합하여 선택적으로 포함할 수 있다. 예를 들어, 특정 양태들에서, 스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정하는 단계는, 상기 특정 유형의 디스플레이 디바이스에 대한 용어 및 페어링하라는 명령어에 대응하는 용어를 포함하는 발화(utterance)를 상기 스피치 가능 디바이스로부터 수신하는 단계를 포함한다. 일부 양태들에서, 상기 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계는, 상기 스피치 가능 디바이스의 사용자를 식별하는 단계와; 그리고 상기 스피치 가능 디바이스의 사용자의 계정과 연관된 디스플레이 디바이스들을 식별하는 단계를 포함한다. 일부 구현들에서, 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 것은, 상기 근거리 네트워크상의 디바이스들이 자신들을 식별하도록 요청을 제공하는 것과; 상기 요청에 응답하여 상기 근거리 네트워크상의 디바이스들로부터 식별자들을 수신하는 것과; 그리고 상기 근거리 네트워크상의 디바이스들로부터 수신된 임의의 식별자가 상기 스피치 가능 디바이스의 식별자와 매칭하는지 결정하는 것을 포함한다.
특정 양태들에서, 상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 하는 것은, 사용자가 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 페어링하는지 확인하도록 요청하는 촉구(prompt)를 디스플레이하는 것을 포함한다. 일부 양태들에서, 동작들은, 상기 디스플레이 디바이스들 중 특정 디스플레이 디바이스와 상기 스피치 가능 디바이스를 페어링하는 것을 확인하는 표시를, 상기 특정 디스플레이 디바이스로부터 수신하는 단계와; 그리고 상기 스피치 가능 디바이스를 상기 특정 유형의 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 미래에, 상기 특정 디스플레이 디바이스와 상기 스피치 가능 디바이스를 페어링하라는 표시를 저장하는 단계를 포함한다. 일부 구현들에서, 동작들은, 상기 스피치 가능 디바이스가 이전에 상기 특정 유형의 디스플레이 디바이스와 페어링되지 않았다는 것을 결정하는 단계를 포함한다. 일부 양태들에서, 상기 디스플레이 디바이스는 태블릿, 랩탑 또는 스마트폰 중 하나 이상을 포함한다.
일부 양태들에서, 상기 요청에 기초하여 복수의 추가 디바이스들을 결정하는 단계는, 상기 제1 디바이스와 연관된 계정을 결정하는 단계와; 그리고 상기 계정과 연관된 디바이스들을 결정하는 단계를 포함한다. 일부 구현들에서, 상기 복수의 디바이스들 중 각각의 디바이스는, 상기 제1 디바이스와 연관된 식별자를 수신하는 것에 응답하여 그리고 상기 각각의 디바이스의 각 근거리 네트워크에 연결된 각 네트워크 디바이스에 대해, 상기 수신된 식별자가 상기 네트워크 디바이스와 연관된 식별자와 대응하는지 결정하도록 구성된다. 특정 양태들에서, 상기 수신된 식별자가 상기 네트워크 디바이스와 연관된 식별자와 대응하는지 결정하는 것은, 멀티캐스트 프로세싱에 기초한다. 일부 양태들에서, 상기 복수의 디바이스들 중 각각의 디바이스는, 상기 수신된 식별자가 상기 네트워크 디바이스와 연관된 식별자와 대응하는지 결정하는 것에 응답하여, 각각의 디바이스의 디스플레이상에, 상기 제1 디바이스와의 페어링과 연관된 표시를 디스플레이하도록 구성된다. 일부 구현들에서, 상기 복수의 디바이스들 중 각각의 디바이스는, 상기 제1 디바이스와의 페어링과 연관된 표시에 응답하여 사용자 입력을 수신하도록 구성된다.
특정 양태들에서, 상기 복수의 디바이스들 중 각각의 디바이스는, 상기 각각의 디바이스가 상기 식별자와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 데이터를 전송하도록 구성된다. 일부 양태들에서, 상기 제1 디바이스는 스피치 가능 디바이스이고, 그리고 상기 제2 디바이스는 디스플레이 디바이스이다. 일부 구현들에서, 동작들은 상기 제1 디바이스와 상기 제2 디바이스를 연관시키는 저장된 데이터에 기초하여 상기 제1 디바이스와 연관된 데이터가 상기 제2 디바이스에 의해 디스플레이되도록 하는 단계를 더 포함한다. 특정 양태들에서, 상기 제1 디바이스와 제2 디바이스를 페어링하라는 요청은, 상기 제1 디바이스와 상기 제2 디바이스를 페어링하라는 명령어에 대응하는 용어를 포함하는 발화에 기초하여 생성된다. 일부 양태들에서, 상기 복수의 디바이스들 중 각각의 디바이스는, 복수의 디바이스들 중 하나에서 동작이 수행되고 있다는 표시를 수신하고 그리고 사용자에게 출력하기 위한 표시를 제공하도록 구성된다. 일부 구현들에서, 동작들은, 디바이스 유형을 수신하는 단계를 더 포함하고, 상기 복수의 추가 디바이스들은 상기 디바이스 유형에 기초하여 추가로 결정된다. 특정 양태들에서, 상기 제2 디바이스는 태블릿, 랩탑 또는 스마트폰 중 하나 이상을 포함한다.
본 명세서에 서술된 주제는 특정 실시예들에서 구현될 수 있고 그리고 다음 장점들 중 하나 이상을 야기할 수 있다. 청구된 주제는 사용자 관점에서 간단하고 최소한의 사용자 입력 또는 지식을 요구하는 디바이스들을 서로 페어링하는 방법을 제공할 수 있다. 사용자 인터페이스가 감소된 디바이스, 예를 들어, 음성 명령 입력이 있는 스피커와 같이 디스플레이가 없는 디바이스에서 페어링이 시작되고 성공적으로 달성될 수 있다. 페어링이 개시되는 디바이스와 관련된 식별자를 사용하고 식별자와 관련된 데이터를 저장함으로써, 부정확한 디바이스와의 페어링이 방지될 수 있도록 안전하게 페어링이 이루어질 수 있다. 따라서, 디바이스들의 페어링을 제공하기 위해 사용자와 상호 작용하는 개선된 시스템들 및 방법들이 제공될 수 있다. 청구된 주제는, 따라서, 정확한 디바이스가 안전하고 간단한 방식으로 페어링이 시작되는 디바이스와 페어링되는 것을 보장하는 것을 포함하여 디바이스들의 페어링과 관련된 문제를 해결할 수 있다.
본 명세서에서 서술된 주제의 하나 이상의 구현의 세부 사항들은 첨부 도면들 및 이하의 설명에서 설명된다. 본 주제의 다른 특징들, 양태들 및 이점들은 상세한 설명, 도면 및 청구 범위로부터 명백해질 것이다.
도 1은 디스플레이 디바이스와 페어링되는 스피치 가능 디바이스를 갖는 예시적인 시스템의 도면을 도시한다.
도 2는 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기 위한 예시적인 프로세스의 흐름도이다.
도 3은 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기 위한 다른 예시적인 프로세스의 흐름도이다.
도 4는 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기 위한 또 다른 예시적인 프로세스의 흐름도이다.
도 5는 본 명세서에서 서술된 컴퓨터로 구현되는 방법들과 관련하여 사용될 수 있는 컴퓨팅 시스템의 블록도이다.
다양한 도면들에서 유사한 참조 번호들 및 명칭들은 유사한 요소들을 나타낸다.
도 1은 디스플레이 디바이스(120B)와 페어링되는 스피치 가능 디바이스(102)를 갖는 예시적인 시스템(100)의 도면을 도시한다. 시스템(100)은 스피치 가능 디바이스(102), 서버(110) 및 디스플레이 디바이스들(120A 내지 120C)을 포함한다. 아래에서 상세하게 서술된 것처럼, 도 1은 디스플레이 디바이스(120B)가 스피치 가능 디바이스(102)와 페어링되어야 한다는 것을 화자에게 확인하는 시각적 표시를 디스플레이하는 디스플레이 디바이스(120B)에 도시한다.
스피치 가능 디바이스(102)는 하나 이상의 마이크로폰 및 하나 이상의 스피커를 포함하는 디바이스일 수 있다. 스피치 가능 디바이스(102)는 하나 이상의 마이크로폰을 사용하여 발화들을 수신하고 그리고 하나 이상의 스피커를 통해 발화들에 대한 가청 응답들을 출력할 수 있다. 스피치 가능 디바이스(102)는 음성 발화들을 수신할 수 있고 그리고 스피치 가능 디바이스에 대한 식별자와 함께 발화들을 서버(110)에 제공할 수 있다. 예를 들어, 스피치 가능 디바이스(102)는, "00: 11:22:33:44:55"의 스피치 가능 디바이스 식별자와 함께 "오케이 컴퓨터, 내 태블릿과 페어링해"하고 말하는 사람의 MFCC(mel-frequency cepstral coefficient)들을 서버(110)에 제공할 수 있다. 스피치 가능 장치 식별자는 일련 번호, 매체 액세스 제어 어드레스(MAC 어드레스), 또는 적어도 다른 스피치 가능 디바이스들 중에서 스피치 가능 디바이스(102)를 고유하게 식별하는 일부 다른 식별자일 수 있다.
스피치 가능 디바이스(102)는 서버(110)로부터 응답들을 다시 수신할 수 있고 그리고 스피치 가능 디바이스(102)의 하나 이상의 스피커를 통해 이들 응답들을 청각적으로 출력할 수 있다. 예를 들어, 스피치 가능 디바이스(102)는 서버(110)로부터 "성공적으로 페어링되었음"라는 텍스트를 수신할 수 있고, 그리고 텍스트-스피치 합성을 수행한 다음 합성된 스피치를 출력할 수 있거나 또는 서버(110)로부터 "성공적으로 페어링되었음"의 합성된 스피치의 오디오를 수신한 다음 오디오를 출력할 수 있다.
스피치 가능 디바이스(102)는 스피치 가능 디바이스가 자신을 식별하기 위한 요청들을 디스플레이 디바이스들(102A 내지 102C)로부터 수신할 수 있고, 그리고 이에 응답하여, 스피치 가능 디바이스 식별자를 포함하는 응답을 제공할 수 있다. 예를 들어, 스피치 가능 디바이스(102)는, 스피치 가능 디바이스(102)가 자신을 식별하도록 요구하는 디바이스 B(120B)로부터 uPnP 멀티 캐스트 메시지를 수신할 수 있고, 그리고 이에 응답하여, "00:11:22:33:44:55"의 스피치 가능 장치 식별자를 포함하는 uPnP를 통한 응답을 제공할 수 있다.
서버(110)는 스피치 가능 디바이스(102)를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정할 수 있다. 예를 들어, 서버(110)는 "00:11:22:33:44:55"의 스피치 가능 디바이스 식별자와 함께 "오케이 컴퓨터, 내 태블릿과 페어링해"라는 발화를 수신할 수 있고, 그리고 이에 응답하여, "00:11:22:33:44:55"의 식별자를 갖는 스피치 가능 디바이스(102)를 태블릿과 페어링하기로 결정할 수 있다. 서버 (110)는, 용어들 "나의 것과 패어링해"가 페어링을 지시하고, 그리고 용어 "태블릿"은 페어링할 특정 유형의 디스플레이 디바이스를 지시함을 결정할 수 있다.
서버(110)는 페어링 요청에 대응하는 계정을 결정할 수 있다. 예를 들어, 서버(110)는, "00:11:22:33:44:55"의 수신된 식별자는 "존 도우(John Doe)" 계정에 대한 정보가 "존 도우"에 의해 사용되고 있음을 나타내는 스피치 가능 디바이스 식별자와 매칭하는지를 결정할 수 있고 그리고 이에 응답하여, "존 도우"의 계정이 요청에 대응하는지를 결정할 수 있다. 일부 구현들에서, 서버(110)는 화자를 식별하고 이후 식별된 화자에 대한 계정을 결정함으로써 계정을 결정할 수 있다. 예를 들어, 스피치 가능 디바이스(102)는 다수의 사람들 및 서버(110)에 의해 사용될 수 있거나, 또는 스피치 가능 디바이스(102)는 발화에 대해 음성 식별을 수행하여 화자의 음성이 사용자의 계정과 연관된 음성과 일치하는지를 결정할 수 있다. 일치하는 것이 있으면, 이후, 서버(110)는 그 음성과 관련된 계정이 요청에 대응한다고 결정한다.
서버(110)는 요청에 대응하기로 결정된 계정에 기초하여 요청에 대응하는 디스플레이 디바이스들을 식별할 수 있다. 예를 들어, 서버(110)는, "존 도우"가 또한 디바이스 A(120A), 디바이스 B(120B) 및 디바이스(120C)를 사용한다는 것을 "존 도우"의 계정 내의 정보가 나타내는 것으로 결정할 수 있다.
서버(110)는, 디스플레이 디바이스로 하여금, 디스플레이 디바이스가 특정 유형인지 그리고 디스플레이 디바이스 및 스피치 가능 디바이스 둘 다 동일한 근거리 네트워크에 연결되어 있는지, 즉, 동일한 근거리 네트워크를 공유하는지를 결정하도록 하는 명령어를, 식별된 디스플레이 디바이스들(120A 내지 120C) 각각에 제공할 수 있다. 예를 들어, 서버(110)는 디바이스 A(120A), 디바이스 B(120B) 및 디바이스(120C) 각각에 명령어를 전송할 수 있고, 각 명령어는, 스피치 가능 디바이스(102)에 대한 디바이스 유형 "태블릿" 및 "00:11:22:33:44:55"의 식별자를 포함한다. 단순화를 위해, 서버(110)가 디스플레이 디바이스들(120A 내지 120C)로 전송하는 명령어는, 여기에서 페어링 체크 명령어로 지칭될 수 있다. 근거리 네트워크는 이더넷, Wi-Fi, 블루투스 등을 통해 제공되는 로컬 네트워크일 수 있다. 예를 들어, 근거리 네트워크는 가정 내의 디바이스들을 서로 연결하는 가정의 라우터에 의해 제공되는 네트워크일 수 있다.
서버(110)는, 디스플레이 디바이스가 스피치 가능 디바이스(102)와 페어링되어야 한다는 것을 나타내는 데이터를 디스플레이 디바이스로부터 다시 수신할 수 있다. 예를 들어, 디바이스 B(120B)는 서버(110)에게 디바이스 B를 스피치 가능 디바이스(102)와 페어링하라는 명령어를 제공할 수 있다. 일부 구현들에서, 아래에 더 설명되는 바와 같이, 디스플레이 디바이스가 스피치 가능 디바이스(102)가 연결된 동일한 로컬 네트워크에 연결된 경우에만 디스플레이 디바이스는 이러한 데이터를 서버(110)에 제공할 수 있고, 따라서, 그러한 데이터를 수신하는 서버(110)는, 스피치 가능 디바이스(102)가 연결된 것과 동일한 로컬 네트워크에 디스플레이 디바이스가 연결되어 있음을 나타낼 수 있다.
디스플레이 디바이스가 스피치 가능 디바이스(102)와 페어링되어야 한다는 것을 나타내는 데이터를 디스플레이 디바이스로부터 다시 수신하는 것에 응답하여, 서버(110)는 스피치 가능 디바이스(102)를 디스플레이 디바이스와 연관시키는 데이터를 저장할 수 있다. 예를 들어, 화자와 스피치 가능 디바이스(102) 사이의 음성 상호작용들에 관한 시각적 정보를 디바이스 B(120B)가 디스플레이해야 한다는 표시를, 서버(110)가 저장할 수 있다. 저장된 표시에 기초하여, 서버(110)가 나중에 발화를 수신하고 그리고 스피치 가능 디바이스(102)가 출력하기 위한 가청 응답을 생성할 때, 서버(110)는 또한 시각 정보를 생성할 수 있고 그리고 시각 정보를 페어링된 디스플레이 장치에 제공할 수 있다.
디바이스 A(120A), 디바이스 B(120B) 및 디바이스(120C)는 디스플레이 디바이스들일 수 있다. 디스플레이 디바이스들은 태블릿, 랩탑, 스마트 폰, 또는 디스플레이를 포함하는 다른 디바이스를 포함할 수 있다. 디스플레이 디바이스(120A 내지 120C)는 페어링 체크 명령어를 수신할 수 있다. 예를 들어, 디스플레이 디바이스들(120A 내지 120C) 각각은, 스피치 가능 디바이스(102)에 대한 디바이스 유형 "태블릿" 및 "00:11:22:33:44:55"의 식별자를 포함하는 명령어를 수신할 수 있다. 도 1은, 스피치 가능 디바이스(102)와 동일한 근거리 네트워크상의 디스플레이 디바이스 A(120A)와 디스플레이 디바이스 B(120B) 및 상이한 근거리 네트워크상의 디스플레이 디바이스 C(120C)를 도시한다.
페어링 체크 명령어를 수신한 것에 응답하여, 디스플레이 디바이스들(120A 내지 120C) 각각은 디스플레이 디바이스가 그 디바이스 유형인지를 결정할 수 있다. 예를 들어, 디바이스 A(120A)는 랩탑이고, 따라서, 페어링 체크 명령어에 의해 표시되는 "태블릿"의 디바이스 유형이 아님을 결정할 수 있다. 다른 예에서, 디스플레이 디바이스 B(120B)는 그것이 태블릿이므로 페어링 체크 명령어에 의해 지시된 "태블릿"의 디바이스 유형인 것으로 결정할 수 있다.
페어링 체크 명령어를 수신한 것에 응답하여, 디스플레이 디바이스들(120A 내지 120C) 각각은 또한 디스플레이 디바이스가 스피치 가능 디바이스(102)와 동일한 근거리 네트워크 상에 있는지를 결정할 수 있다. 예를 들어, 디바이스 A(120A)가 연결된 동일한 근거리 네트워크에 스피치 가능 디바이스(102)가 연결되어 있는지를 디바이스 A(120A)가 결정할 수 있다. 디스플레이 디바이스들(120A 내지 120C) 각각은, 식별자를 제공하기 위해 동일한 근거리 네트워크상의 모든 디바이스들에 명령어를 제공하는 것에 기초하여 스피치 가능 디바이스(102)가 디스플레이 디바이스와 동일한 로컬 네트워크상에 있는지를 결정할 수 있고, 이후, 해당 디바이스들에서 수신한 식별자가 페어링 체크 명령어의 식별자와 매칭하는지를 결정할 수 있다. 디스플레이 디바이스들(120A 내지 120C) 각각이 자신을 식별하기 위해 자신의 근거리 네트워크 상의 디바이스들에 송신하는 명령어는, uPnP(Universal Plug and Play) 또는 일부 다른 네트워킹 프로토콜을 사용하는 멀티캐스트 메시지의 형태일 수 있다. 본 명세서에서는 디바이스가 근거리 네트워크에 연결된 디바이스들에 디바이스 식별자를 제공하라는 요청을 전송하는 것으로 설명하지만, 디바이스가 대응하는 디바이스 식별자를 갖는 근거리 네트워크에 연결되어 있는지의 결정은 통상의 기술자에게 알려진 임의의 편리한 방식으로 수행될 수 있다는 것이 이해될 것이다.
예를 들어, 디바이스 A(120A)는 식별자를 요청하는 명령어를 스피치 가능 디바이스(102) 및 디바이스 B(120B)에 전송할 수 있다. 디바이스 B(120B)는, 디바이스 A(120A)가 서버(110)로부터의 페어링 체크 명령어에 포함된 "00:11:22:33:44:55"의 식별자와 일치하지 않는다고 결정하는 "55:44:33:22:11:00"의 식별자를 제공할 수 있다. 스피치 가능 디바이스(102)는, 디바이스 A(120A)가 서버(110)로부터의 페어링 체크 명령어에 포함된 "00:11:22:33:44:55"의 식별자와 매칭한다고 결정하는 "00:11:22:33:44:55"의 식별자를 제공할 수 있고, 그리고, 이에 응답하여, 디바이스 A(120A)는 스피치 가능 디바이스(102)가 동일한 근거리 네트워크를 공유하는 것으로 결정할 수 있다.
다른 예에서, 디바이스 C(120C)는, 디바이스 C(120C)가 연결된 근거리 네트워크에 연결된 임의의 모든 디바이스들에 식별자를 제공하라는 명령어를 전송할 수 있다. 그러나, 시스템(100)에서, 디바이스 C(120C)가 연결된 근거리 네트워크에 다른 디바이스들이 없기 때문에, 디바이스 C(120C)는 서버(110)로부터 페어링 체크 명령어에 포함된 "00:11:22:33:44:55"의 식별자와 매칭하는 식별자를 포함하는 응답들을 수신하지 않을 수 있다. 따라서, 디바이스 C(120C)는, 서버(110)로부터의 페어링 체크 명령어에 포함된 "00:11:22:33:44:55"의 식별자와 매칭하는 식별자로 응답들이 수신되지 않았다고 결정할 수 있고, 그리고 이에 응답하여, 스피치 가능 디바이스(102)가 동일한 근거리 네트워크를 공유하지 않는 것으로 결정할 수 있다.
디스플레이 디바이스 모두가 페어링 체크 명령어에 의해 지시된 디바이스 유형이고 그리고 스피치 가능 디바이스(102)와 동일한 근거리 네트워크상에 있다고 결정하는 디스플레이 디바이스(120A 내지 120C)들 각각은, 이후, 스피치 가능 디바이스(102)와의 페어링에 관한 표시를 디스플레이할 수 있다. 예를 들어, 디바이스 B(120)는, 이 디바이스가 페어링 체크 명령어에 의해 표시된 "태블릿"의 디바이스 유형이고 그리고 식별자가 "00:11:22:33:44:55"인 디바이스와 동일한 근거리 네트워크 상에 있으며, 이에 응답하여, "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"라고 디스플레이하는 것을 결정할 수 있다. 다른 예에서, 디바이스 A(120A)는, 페어링 체크 명령어에 의해 표시된 "태블릿"의 디바이스 유형이 아니고 그리고 식별자 "00:11:22:33:44:55"를 가진 디바이스와 동일한 근거리 네트워크상에 있으며, 이에 응답하여, "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"라고 디스플레이하지 않는 것을 결정할 수 있다. 또 다른 예에서, 디바이스 C(120C)는, 페어링 체크 명령어에 의해 표시된 "태블릿"의 디바이스 유형이지만 식별자 "00:11:22:33:44:55"를 가진 디바이스와 동일한 근거리 네트워크상에 있지 않으며, 이에 응답하여, "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"라고 디스플레이하지 않는 것을 결정할 수 있다.
디스플레이 디바이스(120B)는 스피치 가능 디바이스(102)와 페어링하라고 표시하는 입력을 사용자로부터 수신할 수 있고, 이에 응답하여, 디스플레이 디바이스 (120B)가 스피치 가능 디바이스(102)와 페어링되어야 한다는 표시를 서버(110)에 제공할 수 있다. 예를 들어, 디스플레이 디바이스(120B)는, "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"를 나타내는 디스플레이 디바이스(120B)의 디스플레이의 일부분을 사용자가 터치한 것을 검출할 수 있고, 그리고, 이에 응답하여, 디스플레이 디바이스(120B)를 스피치 가능 디바이스(102)와 페어링하라는 명령어를 서버(110)에 제공할 수 있다. 디스플레이 디바이스로부터의 이러한 명령어는, 디스플레이 디바이스가 음성 가능 디바이스(102)와 동일한 근거리 네트워크에 연결되어 있음을 나타낼 수 있다.
일부 구현들에서, 서버(110)는 페어링 체크 명령어들을 다양한 디스플레이 디바이스들에 계속 전송하는 것을 피하기 위해 이후의 페어링에 사용하기 위한 정보를 저장할 수 있다. 따라서, 디스플레이 디바이스가 스피치 가능 디바이스(102)와 페어링되어야한다는 것을 나타내는 데이터를 디스플레이 디바이스로부터 다시 수신하는 것에 응답하여, 서버(110)는, 서버(110)가 나중에 스피치 가능 디바이스(102)와 특정 유형의 디스플레이 디바이스를 페어링하기로 결정할 때, 서버(110)는 디바이스들을 식별하지 않고 그리고 각각의 식별된 디바이스에 페어링 체크 명령어를 전송하지 않으면서 스피치 가능 디바이스(102)와 디스플레이 디바이스를 페어링해야 함을 나타내는 데이터를 저장할 수 있다. 따라서, 서버(110)가 나중에 계정을 결정하고 그리고 디스플레이 디바이스들(120A 내지 120C)에 페어링 체크 명령어들을 전송하기 전에, 서버(110)는, 페어링 정보가 스피치 가능 디바이스(102) 및 요청에 표시된 유형의 디스플레이 디바이스에 대해 이미 저장되어 있는지 여부를 결정할 수 있다.
예를 들어, 나중에 "나의 태블릿과 페어링 해"라는 요청을 받으면, 서버(110)는, 페어링하라는 요청에 대응하는 것으로 결정된 계정이 스피치 가능 디바이스(102)와 "태블릿" 유형의 디스플레이 디바이스 사이의 이전 페어링을 표시하는지를 결정할 수 있다. 페어링 정보가 스피치 가능 디바이스(102)와 요청에 표시된 유형의 디스플레이 디바이스 사이의 페어링을 위해 이미 저장되어 있다는 결정에 응답하여, 서버(110)는 디바이스들을 식별하지 않고 식별된 각 디바이스에 페어링 체크 명령어를 전송하지 않으면서 스피치 가능 디바이스(102)와 디스플레이 디바이스가 페어링하도록 명령할 수 있다. 페어링 정보가 스피치 가능 디바이스(102)와 요청에 표시된 유형의 디스플레이 디바이스 사이의 페어링을 위해 저장되지 않았다고 결정하는 것에 응답하여, 서버(110)는 전술한 바와 같이 디바이스들을 식별하고 각각의 식별된 디바이스에 페어링 체크 명령어를 전송할 수 있다.
일부 구현들에서, 서버(110)는, 스피치 가능 디바이스(102)와 연관되는 것으로 식별된 디바이스들의 유형을 나타내는 정보를 획득할 수 있고, 이후, 스피치 가능 디바이스(102)와 페어링될 유형의 식별된 디바이스들에게만 페어링 체크 명령어를 전송할 수 있다. 예를 들어, 스피치 가능 디바이스(102)를 "태블릿" 유형의 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 서버(110)는, 디바이스 A(120A)가 랩탑이고, 디바이스 B(120B)가 태블릿이며, 그리고 디바이스 C(120C)가 태블릿임을 나타내는 서버(110)에 의해 저장된 정보를 검색할 수 있다. 이후, 서버는, 디바이스 A(120A)가 랩탑이고 요청된 유형의 "태블릿"과 매칭하지 않으므로 디바이스 A(120A)에 페어링 체크 명령어를 전송하지 않는다고 결정할 수 있고, 디바이스 B(120B)가 태블릿이고 요청된 유형의 "태블릿"과 매칭하므로, 디바이스 B(120B)에 페어링 체크 명령어를 전송한다고 결정할 수 있으며, 그리고 디바이스 C(120C)가 태블릿이고 요청된 유형의 "태블릿"과 매칭하므로, 디바이스 C(120C)에 페어링 체크 명령어를 전송한다고 결정할 수 있다. 따라서, 요청된 디바이스 유형과 일치하는 디스플레이 디바이스들 만이 페어링 체크 명령어를 수신하므로, 디스플레이 디바이스들은 그들이 스피치 가능 디바이스(102)와 동일한 근거리 네크워크 상에 있는지를 결정할 필요만 있고 요청된 디바이스 유형과 매칭하는 디바이스 유형인지를 결정할 필요가 없다. 따라서, 페어링 체크 명령어를 스피치 가능 디바이스(102) 식별자를 포함할 수 있지만 디바이스 유형을 포함하는 것을 생략할 수 있다.
일부 구현들에서, 서버(110)는 페어링 체크 명령어를 디바이스들(120A 내지 120C)에 전송하지 않을 수 있고 그리고 대신, 디바이스들(102A 내지 120C)을 식별하는 정보를 스피치 가능 디바이스(102)에 제공할 수 있으며, 그리고 스피치 가능 디바이스(102)는 디바이스들(120A 내지 120C)이 동일한 로컬 네트워크 상에 있는지를 결정할 수 있다. 예를 들어, 스피치 가능 디바이스(102)는 서버(110)가 이들 디바이스가 태블릿 유형인 것으로 결정한 후 디바이스들(120B 및 120C)에 대한 식별자들을 수신할 수 있고, 스피치 가능 디바이스(102)는 그 후 자신의 로컬 네트워크상의 모든 디바이스들에 대한 요청을 송신하여 자신을 식별할 수 있고, 요청에 대한 응답이 서버(110)에 의해 제공된 식별자들 중 하나를 포함한다는 결정에 응답하여, 이후, 그 응답을 제공한 디바이스에 대한 명령어를 전송하여, 사용자가 그 디바이스를 스피치 가능 디바이스(102)와 페어링하는 것을 확인하도록 디바이스에 촉구를 표시한다.
도 2는 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기 위한 예시적인 프로세스(200)의 흐름도이다. 프로세스(200)는 전술한 시스템(100)을 사용하여 구현될 수 있다. 따라서, 프로세스(200)의 서술은 시스템(100)의 전술한 컴포넌트들, 모듈들 또는 계산 디바이스들 중 하나 이상을 참조할 수 있다. 일부 구현들에서, 프로세스(200)의 서술된 동작들은 서버(110) 및 디바이스들(102A 내지 102C)과 같은 예시적인 전자 디바이스의 프로세서 및 메모리에 의해 실행 가능한 로직 또는 소프트웨어 명령어들을 컴퓨팅함으로써 가능해진다.
프로세스(200)는 스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정하는 단계(210)를 포함한다. 예를 들어, 서버(110)는 스피치 가능 디바이스(102)로부터 "오케이 컴퓨터, 내 랩탑과 페어링 해"와 같은 음향 피처들을 수신할 수 있고, 상기 음향 피처들을 "오케이 컴퓨터, 내 랩탑과 페어링 해"의 텍스트로 전사할 수 있으며, 그리고 텍스트 "내 랩탑과 페어링 해"가 스피치 가능 디바이스(102)를 "랩탑" 유형의 디스플레이 디바이스와 페어링한다는 것을 나타내는 것으로 결정할 수 있다.
프로세스(200)는, 스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계(220)를 포함한다. 예를 들어, 서버(110)는 또한 음향 피처들과 함께 음성 가능 디바이스(102)에 대한 "00:11:22:33:44:55"의 식별자를 수신할 수 있고, 식별자가 계정에 사용된 디바이스에 속하는 것으로 사용자의 계정에 의해 나열되는지 결정할 수 있으며, 이후, 해당 장치도 계정에 사용됨을 나타내는 계정에 저장된 정보로부터 디바이스 A(120A), 디바이스 B(120B) 및 디바이스 C(120C)를 식별할 수 있다.
프로세스(200)는 식별된 디스플레이 디바이스들의 세트 중 디스플레이 디바이스 각각에 대해 명령어를 제공하는 단계(230)를 포함한다. 예를 들어, 서버(110)는 디스플레이 디바이스들(120A 내지 120C) 각각에, 스피치 가능 디바이스(102)에 대한 식별자 "00:11:22:33:44:55" 및 "랩탑"이라는 유형의 표시를 포함하는 페어링 체크 명령어를 제공할 수 있다.
프로세스(200)는, 디스플레이 디바이스가 특정 유형인지를 결정하고 그리고 디스플레이 디바이스와 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 단계(240)를 포함한다. 예를 들어, 디바이스 A(102A)는 그것이 "랩탑"의 유형인 것으로 결정할 수 있고 그리고 그것이 스피치 가능 디바이스(102)와 동일한 근거리 네트워크상에 있다고 결정할 수 있다.
프로세스(200)는 스피치 가능 디바이스와의 페어링에 관한 표시를 디스플레이 디바이스 상에 디스플레이하는 단계(250)를 포함한다. 예를 들어, 디바이스 A(102A)가 그것이 "랩탑"의 유형이라고 결정하고 그것이 스피치 가능 디바이스(102)와 동일한 근거리 네트워크 상에 있다고 결정한 것에 응답하여, 디바이스 A(102A)는 "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"라는 촉구를 디스플레이할 수 있다. 다른 예에서, 디바이스 B(102B)는 "랩탑" 유형이 아니라고 결정하고, 이에 응답하여 "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"라는 촉구를 표시하지 않기로 결정할 수 있다.
도 3은 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기 위한 다른 예시적인 프로세스(300)의 흐름도이다. 프로세스(300)는 전술한 시스템(100)을 사용하여 구현될 수 있다. 따라서, 프로세스(300)의 서술은 시스템(100)의 전술한 컴포넌트들, 모듈들 또는 계산 디바이스들 중 하나 이상을 참조할 수 있다. 일부 구현들에서, 프로세스(300)의 서술된 동작들은 서버(110)와 같은 예시적인 전자 디바이스의 프로세서 및 메모리에 의해 실행 가능한 로직 또는 소프트웨어 명령어들을 컴퓨팅함으로써 가능해진다.
프로세스(300)는 제1 디바이스를 제2 디바이스와 페어링하라는 요청을 수신하는 단계(310)를 포함하고, 상기 요청은 제1 디바이스와 관련된 식별자를 포함한다. 예를 들어, 서버(110)는, 스피치 가능 디바이스(102)로부터 발화 "오케이 컴퓨터, 내 랩탑과 페어링 해"의 음향 피처들을, 스피치 가능 디바이스(102)의 식별자 "00:11:22:33:44:55"와 함께 수신할 수 있다.
프로세스(300)는 요청에 기초하여 복수의 추가 디바이스들을 결정하는 단계(320)를 포함하고, 상기 복수의 추가 디바이스들은 제2 디바이스를 포함한다. 예를 들어, 서버(110)는, "00:11:22:33:44:55"라는 식별자를 가진 디바이스가 디바이스들(120A 내지 120C)과 연결된 계정과 또한 연결되어 있다고 결정할 수 있다. 결정은, 또한, 전술한 바와 같이, 디바이스들(120A 내지 120C) 각각과 관련된 서버에 저장된 데이터와 조합하여, 발화에서 식별된 디바이스 유형, 예를 들어, 디바이스 유형 "태블릿"에 기초할 수 있다.
프로세스(300)는 식별자와 관련된 데이터를 복수의 추가 디바이스들 각각에 전송하는 단계(330)를 포함한다. 예를 들어, 서버(110)는 식별자 "00:11:22:33:44:55"를 포함하는 페어링 체크 명령어를 디바이스들(120A 내지 120C) 각각에 전송할 수 있다. 페어링 체크 명령어는 전술한 바와 같은 디바이스 유형을 추가로 포함할 수 있다.
프로세스(300)는, 제2 디바이스가 제1 디바이스와 관련된 근거리 네트워크에 연결되어 있음을 나타내는 데이터를, 제2 디바이스로부터 수신하는 단계(340)를 포함하고, 제2 디바이스가 제1 디바이스와 관련된 근거리 네트워크에 연결되어 있음을 나타내는 데이터는 식별자와 관련된 전송된 데이터에 기초하여 생성된다. 예를 들어, 서버(110)는, 디바이스 B(120B)가 스피치 가능 디바이스(102)와 동일한 근거리 네트워크 상에 있음을 나타내는 표시를 디바이스 B(120B)로부터 수신할 수 있다. 디바이스 B가 스피치 가능 디바이스와 동일한 근거리 네트워크상에 있음을 나타내는 디바이스 B로부터의 표시는, 도 1 및 도 2를 참조하여 전술한 방식으로 생성될 수 있다.
프로세스(300)는, 제2 디바이스가 식별자와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 수신된 데이터에 기초하여 제1 디바이스를 제2 디바이스와 연관시키는 데이터를 저장하는 단계(350)를 포함한다. 예를 들어, 서버(110)는 스피치 가능 디바이스(102)와 디바이스 B(120B)가 페어링되었다는 표시를 저장할 수 있고, 디바이스 B(120B)는 화자와 스피치 가능 디바이스(102) 사이의 음성 상호 작용들에 관한 시각적 정보를 디스플레이해야 한다. 제2 디바이스가 제1 디바이스와 동일한 근거리 네트워크상에 있는지를 다시 결정하기 위해 제2 디바이스를 필요로 하지 않으면서 제1 디바이스와 제2 디바이스를 페어링하기로 나중에 결정하도록 저장된 데이터는 또한 서버에 의해 사용될 수 있다.
도 4는 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기 위한 예시적인 프로세스(400)의 흐름도이다. 프로세스(400)는 전술한 시스템(100)을 사용하여 구현될 수 있다. 따라서, 프로세스(400)의 서술들은 시스템(100)의 전술한 컴포넌트들, 모듈들 또는 계산 디바이스들 중 하나 이상을 참조할 수 있다. 일부 구현들에서, 프로세스(400)의 서술된 동작들은, 서버(110) 및 디바이스들(102A 내지 102C)과 같은 예시적인 전자 디바이스의 프로세서 및 메모리에 의해 실행 가능한 로직 또는 소프트웨어 명령어들을 컴퓨팅함으로써 가능해진다.
프로세스(400)에서, 서버(110)는 특정 유형들의 디바이스들(102A 내지 102C)을 나타내는 정보를 이미 저장할 수 있다. 예를 들어, 서버(110)는 디바이스들(102A 내지 102C)의 각각에 대한 행을 포함하는 테이블을 포함할 수 있고, 각 행에서는, 디바이스를 고유하게 식별하는 식별자(예를 들어, MAC 어드레스), 및 디바이스의 유형을 나타내는 표시자(예를 들어, "태블릿", "랩톱"의 텍스트 레이블) 또는 기타 표시자를 나타낸다. 서버(110)는 서버(110)에 의해 이미 저장된 정보를 사용하여 어떤 디바이스들(102A 내지 102C)가 요청된 유형인지를 결정할 수 있고, 이후, 그 디바이스들(102A 내지 102C)로 하여금 스피치 가능 디바이스(102)와 동일한 네트워크 상에 있는지를 결정하게 하는 디바이스들(102A 내지 102C)에만 명령어를 제공할 수 있다. 서버(110)는 서버(110)가 요청된 유형인 것으로 결정한 디바이스들에만 명령어를 전송하기 때문에, 디바이스들 자체는 요청에 응답하여 디바이스들이 특정 유형인지를 결정할 필요가 없고, 그리고 이 디바이스들이 스피치 가능 디바이스(102)와 동일한 근거리 네트워크 상에 있는지를 결정하기만 하면 된다.
프로세스(400)는 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기로 결정하는 단계(410)를 포함한다. 예를 들어, 서버(110)는 스피치 가능 디바이스(102)로부터 "오케이 컴퓨터, 내 태블릿과 페어링 해"의 음향 피처들을 수신할 수 있고, 음향 피처들을 "오케이 컴퓨터, 내 태블릿과 페어링 해"라는 텍스트로 변환할 수 있으며, 그리고 "내 태블릿과 페어링 해"라는 텍스트가 스피치 가능 디바이스(102)를 디스플레이 디바이스와 페어링하라고 지시하는 것을 결정할 수 있다.
프로세스(400)는, 스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계(420)를 포함한다. 예를 들어, 서버(110)는 또한 음향 피처들과 함께 스피치 가능 디바이스(102)에 대한 "00:11:22:33:44:55"의 식별자를 수신할 수 있고, 식별자가 계정에 사용된 디바이스에 속하는 것으로 사용자의 계정에 의해 나열되는지 결정할 수 있으며, 그리고 해당 디바이스들이 계정에 대해 또한 사용된 것을 나타내는 계정에 저장된 정보로부터 디바이스 A(120A), 디바이스 B(120B) 및 디바이스 C(120C)를 식별할 수 있다. 일부 구현들에서, 서버(110)는 요청된 유형의 디스플레이 디바이스들만을 세트에 포함할 수 있다. 예를 들어, 서버 (110)는, 디바이스들 및 디바이스들 각각의 유형들을 나타내는 서버(110)에 의해 저장된 테이블을 참조할 수 있고, 그리고 테이블이 나타내는 디바이스들이 요청된 유형인 디바이스들인 경우에만 디바이스들의 세트에 포함할 수 있다.
프로세스(400)는 식별된 디스플레이 디바이스들의 세트 중 디스플레이 디바이스들 각각에 대해 명령어를 제공하는 단계(430)를 포함한다. 예를 들어, 서버(110)는 스피치 가능 디바이스(102)에 대한 "00:11:22:33:44:55"의 식별자를 포함하는 페어링 체크 명령어를 디스플레이 디바이스들(120A 내지 120C) 각각에 제공할 수 있다.
프로세스(400)는 디스플레이 디바이스와 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 단계(440)를 포함한다. 예를 들어, 디바이스 A(102A)는 그것이 스피치 가능 디바이스(102)와 동일한 근거리 네트워크상에 있다고 결정할 수 있다.
프로세스(400)는 스피치 가능 디바이스와의 페어링에 관한 표시를 디스플레이 디바이스 상에 디스플레이하는 단계(450)를 포함한다. 예를 들어, 디바이스 A(102A)가 스피치 가능 디바이스(102)와 동일한 근거리 네트워크상에 있다고 결정한 것에 응답하여, 디바이스 A(102A)는 "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"라는 촉구를 디스플레이할 수 있다. 다른 예에서, 디바이스 B(102B)는 스피치 가능 디바이스(102)와 동일한 근거리 네트워크상에 있지 않다고 결정할 수 있고, 이에 응답하여 "여기를 누르면 당신의 스피치 가능 디바이스와 페어링됩니다"라는 촉구를 디스플레이하지 않기로 결정할 수있다.
도 5는 본 명세서에 설명된 기술들을 구현하기 위해 사용될 수 있는 컴퓨팅 디바이스(500) 및 모바일 컴퓨팅 디바이스(550)의 일례를 도시한다. 컴퓨팅 디바이스(500)는 랩탑들, 데스크탑들, 워크스테이션들, 개인 정보 단말기(personal digital assistant)들, 서버들, 블레이드 서버들, 메인 프레임들 및 다른 적절한 컴퓨터들과 같은 다양한 형태들의 디지털 컴퓨터들을 나타내기 위해 의도된다. 모바일 컴퓨팅 디바이스(550)는 개인 정보 단말기들, 셀룰러 폰들, 스마트 폰들 및 다른 유사한 컴퓨팅 디바이스들과 같은 다양한 형태들의 모바일 디바이스들을 나타내기 위해 의도된다. 본 명세서에 제시된 구성 요소들, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것으로 의도되며, 본 명세서에 설명된 및/또는 청구된 본 발명의 구현예를 제한하려고 의도된 것이 아니다.
컴퓨팅 디바이스(500)는 프로세서(502), 메모리(504), 저장 디바이스(506), 메모리(504) 및 다중 고속 확장 포트(510)에 연결된 고속 인터페이스(508), 및 저속 확장 포트(514) 및 저장 디바이스(506)에 연결된 저속 인터페이스(512)를 포함한다. 프로세서(502), 메모리(504), 저장 디바이스(506), 고속 인터페이스(508), 고속 확장 포트(510) 및 저속 인터페이스(512) 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더보드 상에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(502)는, 메모리(504) 또는 저장 디바이스(506)에 저장된 명령어들을 포함하여, 컴퓨팅 디바이스(500) 내에서 실행되는 명령어를 처리하여, 고속 인터페이스(508)에 결합된 디스플레이(516)와 같은 외부 입력/출력 디바이스 상에 GUI를 위한 그래픽 정보를 디스플레이할 수 있다. 다른 구현들에서, 다수의 메모리들 및 메모리 유형들과 함께 다수의 프로세서들 및/또는 다수의 버스들이 적절히 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들이 연결될 수 있고, 각 디바이스는 필요한 동작들(예를 들어, 서버 뱅크, 블레이드 서버들의 그룹 또는 다중 프로세서 시스템)의 일부들을 제공한다.
메모리(504)는 컴퓨팅 디바이스(500) 내에 정보를 저장한다. 일부 구현들에서, 메모리(504)는 휘발성 메모리 유닛 또는 유닛들이다. 일부 구현들에서, 메모리(504)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(504)는 또한 자기 디스크 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독 가능한 매체일 수 있다.
저장 디바이스(506)는 컴퓨팅 디바이스(500)를 위한 대용량 저장 디바이스를 제공할 수 있다. 일부 구현들에서, 저장 디바이스(506)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 솔리드 스테이트 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스를 포함하는 디바이스의 어레이와 같은 컴퓨터-판독가능한 매체이거나 이 컴퓨터-판독가능한 매체를 포함할 수 있다. 명령어들은 정보 매체에 저장될 수 있다. 하나 이상의 프로세싱 디바이스들(예를 들어, 프로세서(502))에 의해 실행될 때, 명령어들은 상술한 바와 같은 하나 이상의 방법들을 수행한다. 명령어들은 또한 컴퓨터 판독 가능한 매체 또는 기계 판독 가능한 매체(예를 들어, 메모리(504), 저장 장치(506) 또는 프로세서(502)상의 메모리)와 같은 하나 이상의 저장 장치들에 의해 저장될 수 있다.
고속 인터페이스(508)는 컴퓨팅 디바이스(500)에 대한 대역폭 집약적인 동작을 관리하는 반면, 저속 인터페이스(512)는 낮은 대역폭 집약적인 동작을 관리한다. 이러한 기능 할당은 단지 예시적인 것이다. 일부 구현들에서, 고속 인터페이스(508)는 메모리(504), 디스플레이(516)(예를 들어, 그래픽 프로세서 또는 가속기를 통해), 및 다양한 확장 카드들을 수용할 수 있는 고속 확장 포트들(510)에 결합된다. 상기 구현에서, 저속 인터페이스(512)는 저장 디바이스(506) 및 저속 확장 포트(514)에 결합된다. 다양한 통신 포트들(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트(514)는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스, 또는 예를 들어 네트워크 어댑터를 통해 라우터 또는 스위치와 같은 네트워킹 디바이스에 결합될 수 있다.
컴퓨팅 디바이스(500)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 이 컴퓨팅 디바이스는 표준 서버(520)로서 구현되거나, 또는 이러한 서버의 그룹으로 다수회 구현될 수 있다. 또한, 이 컴퓨팅 디바이스는 랩탑 컴퓨터(522)와 같은 개인용 컴퓨터에서 구현될 수도 있다. 이는 또한, 랙 서버 시스템(524)의 부분으로서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(500)로부터의 구성 요소들은 모바일 컴퓨팅 디바이스(550)와 같은 모바일 디바이스 내의 다른 구성 요소들과 결합될 수 있다. 이러한 디바이스들 각각은 컴퓨팅 디바이스(500) 및 모바일 컴퓨팅 디바이스(550) 중 하나 이상을 포함할 수 있고, 그리고 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들로 구성될 수 있다.
모바일 컴퓨팅 디바이스(550)는 다른 구성요소들 중 프로세서(552), 메모리(564), 디스플레이(554)와 같은 입력/출력 디바이스, 통신 인터페이스(566) 및 트랜시버(568)를 포함한다. 모바일 컴퓨팅 디바이스(550)는 추가적인 저장소를 제공하기 위해 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스를 또한 구비할 수 있다. 프로세서(552), 메모리(564), 디스플레이(554), 통신 인터페이스(566) 및 트랜시버(568)들 각각은 다양한 버스들을 사용하여 상호 연결되며, 일부 구성 요소는 공통 마더보드 상에 또는 적절히 다른 방식으로 장착될 수 있다.
프로세서(552)는 메모리(564)에 저장된 명령어를 포함하여 모바일 컴퓨팅 디바이스(550) 내의 명령어들을 실행할 수 있다. 프로세서(552)는 별도의 및 다수의 아날로그 및 디지털 프로세서를 포함하는 칩의 칩셋(chipset)으로서 구현될 수 있다. 프로세서(552)는, 예를 들어, 사용자 인터페이스들의 제어, 모바일 컴퓨팅 디바이스(550)에 의해 실행되는 애플리케이션들, 및 모바일 컴퓨팅 디바이스(550)에 의한 무선 통신과 같은 모바일 컴퓨팅 디바이스(550)의 다른 구성 요소들의 조정을 제공할 수 있다.
프로세서(552)는 제어 인터페이스(558) 및 디스플레이(554)에 결합된 디스플레이 인터페이스(556)를 통해 사용자와 통신할 수 있다. 디스플레이(554)는, 예를 들어, 박막 트랜지스터 액정 디스플레이(Thin-Film-Transistor Liquid Crystal Display: TFT LCD) 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 디스플레이 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(556)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(554)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(558)는 사용자로부터 명령어를 수신하여 이 명령어를 프로세서(552)에 전달하기 위해 이들 명령어를 변환할 수 있다. 또한, 외부 인터페이스(562)는 프로세서(552)와 통신하며 다른 디바이스들과 모바일 통신 디바이스(550)의 근거리 통신이 가능하도록 제공될 수 있다. 외부 인터페이스(562)는, 예를 들어, 일부 구현들에서 유선 통신을 제공하거나, 또는 다른 구현들에서 무선 통신을 제공할 수 있으며, 다수의 인터페이스들은 또한 사용될 수 있다.
메모리(564)는 컴퓨팅 디바이스(550) 내에 정보를 저장한다. 메모리(564)는 컴퓨터 판독 가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들 또는 비-휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로 구현될 수 있다. 확장 메모리(574)는 또한 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(572)를 통해 모바일 컴퓨팅 디바이스(550)에 제공되고 연결될 수 있다. 이러한 확장 메모리(574)는 모바일 컴퓨팅 디바이스(550)를 위한 여분의 저장 공간을 제공할 수 있거나, 또는 모바일 컴퓨팅 디바이스(550)를 위한 애플리케이션 또는 다른 정보를 더 저장할 수 있다. 구체적으로, 확장 메모리(574)는 전술된 처리를 수행하거나 보충하기 위한 명령어를 포함할 수 있고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(574)는 모바일 컴퓨팅 디바이스(550)를 위한 보안 모듈로서 제공될 수 있고, 모바일 컴퓨팅 디바이스(550)의 보안 사용을 가능하게 하는 명령으로 프로그래밍될 수 있다. 또한, 예를 들어 SIMM 카드 상에 식별 정보를 해킹할 수 없는 방식으로 배치하는 보안 애플리케이션이 추가적인 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는, 예를 들어, 후술된 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리(비-활성 랜덤 액세스 메모리)를 포함할 수 있다. 일 구현들에서, 명령어들은 정보 운반매체에 저장되고, 하나 이상의 프로세싱 디바이스들(예를 들어, 프로세서(352))에 의해 실행될 때, 그러한 명령어들은 전술한 방법과 같은 하나 이상의 방법들을 수행한다. 명령어들은 또한 하나 이상의 컴퓨터 판독 가능 매체 또는 기계 판독 가능 매체(예를 들어, 메모리(564), 확장 메모리(574) 또는 프로세서(552)상의 메모리)와 같은 하나 이상의 저장 디바이스들에 의해 저장될 수 있다. 일부 구현들에서, 명령어들은, 예를 들어, 트랜시버(568) 또는 외부 인터페이스(562)를 통해 전파된 신호로 수신될 수 있다.
모바일 컴퓨팅 디바이스(550)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(566)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(566)는 특히 GSM 음성 호출(Global System for Mobile communications), SMS(Short Message Service), EMS(Enhanced Messaging Service), 또는 MMS 메시징(Multimedia Messaging Service), CDMA(code division multiple access), TDMA(time division multiple access), PDC(Personal Digital Cellular), WCDMA(Wideband Code Division Multiple Access), CDMA2000 또는 GPRS(General Packet Radio Service)와 같은 다양한 모드들 또는 프로토콜들 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수를 사용하는 트랜시버(568)를 통해 발생할 수 있다. 또한, 예를 들어 블루투스, Wi-Fi 또는 다른 이러한 트랜시버를 사용하는 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(570)은 모바일 컴퓨팅 디바이스(550) 상에서 실행되는 애플리케이션들에 의해 적절히 사용될 수 있는 추가적인 네비게이션 관련 무선 데이터 및 위치 관련 무선 데이터를 모바일 컴퓨팅 디바이스(550)에 제공할 수 있다.
모바일 컴퓨팅 디바이스(550)는 또한 사용자로부터 발성된(spoken) 정보를 수신하고 이 발성된 정보를 사용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(560)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(560)은 또한 예를 들어 모바일 컴퓨팅 디바이스(550)의 핸드셋 내 예를 들어 스피커를 통해, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 기록된 사운드(예를 들어, 음성 메시지들, 음악 파일들 등)를 포함할 수 있고, 또한 모바일 컴퓨팅 디바이스(550) 상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수도 있다.
모바일 컴퓨팅 디바이스(550)는 도면에 도시된 바와 같이 다수의 다른 형태들로 구현될 수 있다. 예를 들어, 이 모바일 컴퓨팅 디바이스는 셀룰러 폰(580)으로 구현될 수 있다. 이 컴퓨팅 디바이스는 또한 스마트 폰(582), 개인 정보 단말기, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.
여기에 서술된 시스템들 및 서술들의 다양한 구현들은, 디지털 전자 회로, 집적 회로, 특수 설계된 ASIC(application specific integrated circuit)들, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합들로 실현될 수 있다. 이러한 다양한 구현들은, 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템상에서 실행 가능하고 그리고/또는 해석 가능한 하나 이상의 컴퓨터 프로그램들에서의 구현을 포함할 수 있으며, 상기 적어도 하나의 프로그램 가능 프로세서는, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고, 그리고 데이터 및 명령들을 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스에 전송하도록 결합된 특수용 또는 범용 프로세서일 수 있다.
이러한 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 또는 코드라고도 함)은 프로그래밍가능한 프로세서용 기계 명령들을 포함하고 그리고 하이-레벨 프로시저 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 프로그램은, 다른 프로그램이나 데이터, 예를 들어, 마크 업 언어 문서에, 해당 프로그램 전용의 단일 파일에, 또는 여러 개의 조정된 파일(예를 들어, 하나 이상의 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일)들에 저장된 하나 이상의 스크립들을 보유하는 파일의 일부에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터, 또는 한 사이트에 위치하거나 여러 사이트에 분산되어 있고 통신 네트워크로 상호 연결된 여러 컴퓨터들에서 실행되도록 배포될 수 있다.
여기에서 사용되는, "기계 판독가능 매체", "컴퓨터 판독가능 매체"라는 용어들은, 기계 판독가능한 신호로서 기계 명령들을 수신하는 기계 판독가능한 매체를 포함하여, 프로그램 가능 프로세서에 기계 명령들 및/또는 데이터를 제공하는데 사용되는, 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들어, 자기 디스크들, 광 디스크들, 메모리, PLD(Programmable Logic Device)들)를 언급한다. "기계 판독가능 신호"라는 용어는 기계 명령어들 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위해 사용되는 임의의 신호를 언급한다.
사용자와의 상호 작용을 제공하기 위해, 여기에 서술된 시스템들 및 기술들은, 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT (cathode ray tube) 또는 LCD(liquid crystal display) 모니터), 및 키보드 및 사용자가 입력을 컴퓨터에 제공할 수 있는 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는 컴퓨터상에 구현될 수 있다. 다른 종류의 디바이스들은 사용자와의 상호 작용을 제공하는데 사용될 수 있다. 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
여기에 서술된 시스템들 및 기술들은 백엔드 컴포넌트(예 : 데이터 서버)를 포함하거나 또는 미들웨어 컴포넌트(예 : 애플리케이션 서버)를 포함하거나 또는 프론트엔드 컴포넌트(예를 들어, 사용자가 여기에 서술된 시스템 및 기술들의 구현과 상호 작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터) 또는 이러한 백 엔드, 미들웨어 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함할 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호접속될 수 있다. 통신 네트워크의 예들은 근거리 네트워크("LAN"), 광역 네트워크("WAN") 및 인터넷을 포함한다.
컴퓨팅 시스템에는 클라이언트들 및 서버들이 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다.
상기의 서술들 이외에도, 여기에 서술된 시스템들, 프로그램들 또는 피처들은 사용자의 정보(사용자의 소셜 네트워크, 사회적 행동들 또는 활동들, 직업, 사용자의 선호도들, 또는 사용자의 현재 위치에 관한 정보)의 수집을 가능하게 할 수 있는 경우, 그리고 사용자가 서로부터 콘텐츠 또는 통신을 수신하는 경우 모두에 대해 사용자가 선택가능하게 하는 제어들을 사용자는 제공받을 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거되도록 저장 또는 사용하기 전에 하나 이상의 방식들로 처리될 수 있다.
예를 들어, 일부 실시예들에서, 사용자의 신원은 개인 식별 정보가 사용자에 대해 결정될 수 없도록 처리될 수 있거나, 또는 사용자의 지리적 위치는, 도시, 우편 번호 또는 주 수준과 같은 위치 정보가 획득되는 곳에서 일반화될 수 있어서, 사용자의 특정 위치가 결정될 수 없다. 따라서, 사용자는 사용자에 대해 어떤 정보가 수집되는지, 그 정보가 어떻게 사용되는지, 그리고 어떤 정보가 사용자에게 제공되는지를 제어할 수 있다.
많은 실시 예들이 서술되었다. 그럼에도 불구하고, 본 발명의 범위를 벗어나지 않고 다양한 변형들이 이루어질 수 있음을 이해할 것이다. 예를 들어, 상기에 도시된 다양한 형태의 흐름들이 순서 변경, 추가 또는 제거와 함께 사용될 수 있다. 또한, 시스템들 및 방법들의 몇몇 애플리케이션들이 서술되었지만, 수많은 다른 애플리케이션들이 고려된다는 것을 인식해야 한다. 따라서, 다른 실시예들은 다음의 청구 범위 내에 있다.
주제의 특정 실시예들이 서술되었다. 다른 실시예들은 다음의 청구 범위의 범위 내에 있다. 예를 들어, 청구 범위에 기재된 동작들은 다른 순서로 수행될 수 있으며 여전히 바람직한 결과들을 달성할 수 있다. 일례로서, 첨부 도면에 도시된 프로세스들은 바람직한 결과들을 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 요구할 필요는 없다. 특정 구현들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다.

Claims (24)

  1. 컴퓨터로 구현되는 방법으로서,
    스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정하는 단계와;
    상기 스피치 가능 디바이스를 상기 특정 유형의 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 상기 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계와; 그리고
    식별된 디스플레이 디바이스들의 세트 중 각 디스플레이 디바이스에 대해, 상기 디스플레이 디바이스에 명령어를 제공하는 단계를 포함하고,
    상기 명령어는, 상기 디스플레이 디바이스로 하여금:
    (i) 상기 디스플레이 디바이스가 상기 특정 유형인지 그리고 (ii) 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하고, 그리고
    (i) 상기 디스플레이 디바이스가 상기 특정 유형인지 그리고 (ii) 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 것에 응답하여, 상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 하고,
    스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정하는 단계는:
    상기 특정 유형의 디스플레이 디바이스에 대한 용어 및 페어링하라는 명령어에 대응하는 용어를 포함하는 발화(utterance)를 상기 스피치 가능 디바이스로부터 수신하는 단계를 포함하며,
    상기 스피치 가능 디바이스는 상기 발화에 대한 음성 식별을 수행하여 화자(speaker)의 음성이 상기 스피치 가능 디바이스의 사용자의 계정과 연관된 음성과 일치하는지를 결정하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계는:
    상기 스피치 가능 디바이스의 사용자를 식별하는 단계와; 그리고
    상기 스피치 가능 디바이스의 사용자의 계정과 연관된 디스플레이 디바이스들을 식별하는 단계를 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  4. 제1항에 있어서,
    상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 것은:
    상기 근거리 네트워크상의 디바이스들이 자신들을 식별하도록 요청을 제공하는 것과;
    상기 요청에 응답하여 상기 근거리 네트워크상의 디바이스들로부터 식별자들을 수신하는 것과; 그리고
    상기 근거리 네트워크상의 디바이스들로부터 수신된 임의의 식별자가 상기 스피치 가능 디바이스의 식별자와 매칭하는지 결정하는 것을 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  5. 제1항에 있어서,
    상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 하는 것은:
    사용자가 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 페어링하는지 확인하도록 요청하는 촉구(prompt)를 디스플레이하는 것을 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  6. 제5항에 있어서,
    상기 디스플레이 디바이스들 중 특정 디스플레이 디바이스와 상기 스피치 가능 디바이스가 페어링하는지 확인하라는 지시를, 상기 특정 디스플레이 디바이스로부터 수신하는 단계와; 그리고
    상기 스피치 가능 디바이스를 상기 특정 유형의 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 미래에, 상기 특정 디스플레이 디바이스와 상기 스피치 가능 디바이스를 페어링하라는 지시를 저장하는 단계를 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  7. 제1항에 있어서,
    상기 스피치 가능 디바이스가 이전에 상기 특정 유형의 디스플레이 디바이스와 페어링되지 않았다는 것을 결정하는 단계를 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  8. 제1항에 있어서,
    상기 디스플레이 디바이스는 태블릿, 랩탑 또는 스마트폰 중 하나 이상을 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  9. 디바이스들을 페어링하는 컴퓨터로 구현되는 방법으로서,
    제1 디바이스와 제2 디바이스를 페어링하라는 요청을 수신하는 단계 - 상기 요청은 상기 제1 디바이스와 연관된 식별자를 포함하며 - 와;
    상기 요청에 기초하여 복수의 추가 디바이스들을 결정하는 단계 - 상기 복수의 추가 디바이스들은 상기 제2 디바이스를 포함하며 - 와;
    상기 식별자와 연관된 데이터를 상기 복수의 추가 디바이스들 각각에 전송하는 단계와;
    상기 제2 디바이스로부터, 상기 제2 디바이스가 상기 제1 디바이스와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 데이터를 수신하는 단계 - 상기 제2 디바이스가 상기 제1 디바이스와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 데이터는, 상기 식별자와 연관된 전송된 데이터에 기초하여 생성되며 - 와; 그리고
    상기 제2 디바이스가 상기 식별자와 연관된 근거리 네트워크에 연결된 것을 나타내는 수신된 데이터에 기초하여 상기 제1 디바이스와 상기 제2 디바이스를 연관시키는 데이터를 저장하는 단계를 포함하고,
    상기 제1 디바이스와 제2 디바이스를 페어링하라는 요청은, 상기 제1 디바이스와 상기 제2 디바이스를 페어링하라는 명령어에 대응하는 용어를 포함하는 발화에 기초하여 생성되며,
    상기 제1 디바이스는 상기 발화에 대한 음성 식별을 수행하여 화자의 음성이 상기 제1 디바이스의 사용자의 계정과 연관된 음성과 일치하는지를 결정하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  10. 제9항에 있어서,
    상기 요청에 기초하여 복수의 추가 디바이스들을 결정하는 단계는:
    상기 제1 디바이스와 연관된 계정을 결정하는 단계와; 그리고
    상기 제1 디바이스와 연관된 계정과 연관되는 디바이스들을 결정하는 단계를 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  11. 제9항에 있어서,
    상기 복수의 디바이스들 중 각각의 디바이스는, 상기 제1 디바이스와 연관된 식별자를 수신하는 것에 응답하여 그리고 상기 각각의 디바이스의 각 근거리 네트워크에 연결된 각 네트워크 디바이스에 대해, 상기 수신된 식별자가 상기 네트워크 디바이스와 연관된 식별자와 대응하는지 결정하도록 구성되는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  12. 제11항에 있어서,
    상기 수신된 식별자가 상기 네트워크 디바이스와 연관된 식별자와 대응하는지 결정하는 것은, 멀티캐스트 프로세싱에 기초하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  13. 제11항에 있어서,
    상기 복수의 디바이스들 중 각각의 디바이스는, 상기 수신된 식별자가 상기 네트워크 디바이스와 연관된 식별자와 대응하는지 결정하는 것에 응답하여,
    각각의 디바이스의 디스플레이상에, 상기 제1 디바이스와의 페어링과 연관된 표시를 디스플레이하도록 구성되는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  14. 제13항에 있어서,
    상기 복수의 디바이스들 중 각각의 디바이스는, 상기 제1 디바이스와의 페어링과 연관된 표시에 응답하여 사용자 입력을 수신하도록 구성되는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  15. 제14항에 있어서,
    상기 복수의 디바이스들 중 각각의 디바이스는, 상기 각각의 디바이스가 상기 식별자와 연관된 근거리 네트워크에 연결되어 있음을 나타내는 데이터를 전송하도록 구성되는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  16. 제9항에 있어서,
    상기 제1 디바이스는 스피치 가능 디바이스이고, 그리고 상기 제2 디바이스는 디스플레이 디바이스인 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  17. 제16항에 있어서,
    상기 제1 디바이스와 상기 제2 디바이스를 연관시키는 저장된 데이터에 기초하여 상기 제1 디바이스와 연관된 데이터가 상기 제2 디바이스에 의해 디스플레이되도록 하는 단계를 더 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  18. 삭제
  19. 제9항에 있어서,
    상기 복수의 디바이스들 중 각각의 디바이스는, 복수의 디바이스들 중 하나에서 동작이 수행되고 있음을 나타내는 정보를 수신하고 그리고 사용자에게 출력하기 위한 표시를 제공하도록 구성되는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  20. 제9항에 있어서,
    디바이스 유형을 수신하는 단계를 더 포함하고, 상기 복수의 추가 디바이스들은 상기 디바이스 유형에 기초하여 추가로 결정되는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  21. 제9항에 있어서,
    상기 제2 디바이스는 태블릿, 랩탑 또는 스마트폰 중 하나 이상을 포함하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  22. 삭제
  23. 컴퓨터로 구현되는 방법으로서,
    스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기로 결정하는 단계와;
    상기 스피치 가능 디바이스를 상기 디스플레이 디바이스와 페어링하기로 결정한 것에 응답하여, 상기 스피치 가능 디바이스와 연관된 디스플레이 디바이스들의 세트를 식별하는 단계와; 그리고
    식별된 디스플레이 디바이스들의 세트 중 각 디스플레이 디바이스에 대해, 상기 디스플레이 디바이스에 명령어를 제공하는 단계를 포함하고,
    상기 명령어는, 상기 디스플레이 디바이스로 하여금:
    상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하도록 하고, 그리고
    상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 것에 응답하여, 상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 하고,
    스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기로 결정하는 단계는:
    페어링하라는 명령어에 대응하는 용어를 포함하는 발화를 상기 스피치 가능 디바이스로부터 수신하는 단계를 포함하며,
    상기 스피치 가능 디바이스는 상기 발화에 대한 음성 식별을 수행하여 화자의 음성이 상기 스피치 가능 디바이스의 사용자의 계정과 연관된 음성과 일치하는지를 결정하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
  24. 제23항에 있어서,
    스피치 가능 디바이스를 디스플레이 디바이스와 페어링하기로 결정하는 단계는, 상기 스피치 가능 디바이스를 특정 유형의 디스플레이 디바이스와 페어링하기로 결정하는 단계를 포함하고,
    상기 명령어는, 상기 디스플레이 디바이스로 하여금:
    상기 디스플레이 디바이스가 상기 특정 유형인지 그리고 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하고, 그리고
    상기 디스플레이 디바이스가 상기 특정 유형인지 그리고 상기 디스플레이 디바이스와 상기 스피치 가능 디바이스가 근거리 네트워크를 공유하는지를 결정하는 것에 응답하여, 상기 스피치 가능 디바이스와의 페어링에 관한 표시를 상기 디스플레이 디바이스 상에 디스플레이하도록 하는 것을 특징으로 하는
    컴퓨터로 구현되는 방법.
KR1020207000903A 2017-09-08 2018-06-14 보이스 가능 디바이스를 디스플레이 디바이스와 페어링 KR102292671B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/699,323 2017-09-08
US15/699,323 US10075539B1 (en) 2017-09-08 2017-09-08 Pairing a voice-enabled device with a display device
PCT/US2018/037550 WO2019050587A1 (en) 2017-09-08 2018-06-14 ASSOCIATION OF A VOICE CONTROL DEVICE TO A DISPLAY DEVICE

Publications (2)

Publication Number Publication Date
KR20200013774A KR20200013774A (ko) 2020-02-07
KR102292671B1 true KR102292671B1 (ko) 2021-08-24

Family

ID=62981306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000903A KR102292671B1 (ko) 2017-09-08 2018-06-14 보이스 가능 디바이스를 디스플레이 디바이스와 페어링

Country Status (6)

Country Link
US (4) US10075539B1 (ko)
EP (2) EP3635982B1 (ko)
JP (2) JP6862603B2 (ko)
KR (1) KR102292671B1 (ko)
CN (2) CN113037866B (ko)
WO (1) WO2019050587A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019127323A1 (zh) * 2017-12-29 2019-07-04 深圳市名宗科技有限公司 一种无线配对系统及配对方法
GB2575983B (en) * 2018-07-30 2022-08-10 Tappter Ltd System and method for verifying user connections
KR20200085593A (ko) * 2019-01-07 2020-07-15 삼성전자주식회사 전자 장치 및 그 제어 방법.
US10880382B2 (en) 2019-04-18 2020-12-29 T-Mobile Usa, Inc. Configuring meaning and state conditions for paired IoT devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140211666A1 (en) * 2013-01-28 2014-07-31 Microsoft Corporation Providing Notifications of Call-Related Services
US20150382047A1 (en) * 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075616A1 (ja) * 2005-01-13 2006-07-20 Matsushita Electric Industrial Co., Ltd. 通信システム、端末機器および通信機器
US20080162259A1 (en) * 2006-12-29 2008-07-03 Ebay Inc. Associated community platform
JP5003518B2 (ja) * 2008-02-04 2012-08-15 ソニー株式会社 遠隔制御システム、受信装置および遠隔制御方法
JP2013016889A (ja) * 2011-06-30 2013-01-24 Namco Bandai Games Inc アーケードゲームシステム、プログラム及び情報記憶媒体
US8863202B2 (en) * 2011-11-11 2014-10-14 Sony Corporation System and method for voice driven cross service search using second display
US20130238326A1 (en) 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
CN104137485B (zh) * 2012-10-12 2017-11-17 华为技术有限公司 为终端提供网络信息的方法及通告服务器
JP5734345B2 (ja) * 2013-05-22 2015-06-17 シャープ株式会社 ネットワークシステム、家電の連携方法、サーバ、家電およびプログラム
JP5680153B2 (ja) * 2013-08-06 2015-03-04 シャープ株式会社 無線通信システム、ペアリング装置、複数の機器をペアリングするための方法および当該方法をコンピュータに実現させるためのプログラム
CN103648181B (zh) * 2013-12-24 2017-01-11 广州爱的信息科技有限公司 一种无线网络音响设备的无线网络连接方法
CA2895240C (en) * 2014-06-20 2019-10-22 Guest Tek Interactive Entertainment Ltd. Device pairing and login for different network services offered at hospitality establishment
US20160085713A1 (en) * 2014-09-21 2016-03-24 Intel Corporation Apparatus, system and method of wireless docking
US9741344B2 (en) 2014-10-20 2017-08-22 Vocalzoom Systems Ltd. System and method for operating devices using voice commands
JP2016111528A (ja) * 2014-12-05 2016-06-20 シャープ株式会社 管理装置、端末、機器、管理システム、制御方法、および制御プログラム
US11327711B2 (en) 2014-12-05 2022-05-10 Microsoft Technology Licensing, Llc External visual interactions for speech-based devices
US9826277B2 (en) * 2015-01-23 2017-11-21 TCL Research America Inc. Method and system for collaborative and scalable information presentation
US9913079B2 (en) * 2015-06-05 2018-03-06 Apple Inc. Cloud-based proximity pairing and switching for peer-to-peer devices
JP6495844B2 (ja) * 2016-03-01 2019-04-03 Kddi株式会社 通信端末、通信システム及び通信方法
US10277671B2 (en) * 2016-06-03 2019-04-30 Logitech Europe S.A. Automatic multi-host discovery in a flow-enabled system
CN107134286A (zh) * 2017-05-15 2017-09-05 深圳米唐科技有限公司 基于语音交互的无线音频播放方法、音乐播放器及存储介质
AU2018203023B2 (en) * 2017-05-16 2019-09-19 Apple Inc. Transferring playback queues between devices
CN108710485A (zh) 2018-04-19 2018-10-26 珠海格力电器股份有限公司 一种信息输出方法、终端设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140211666A1 (en) * 2013-01-28 2014-07-31 Microsoft Corporation Providing Notifications of Call-Related Services
US20150382047A1 (en) * 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions

Also Published As

Publication number Publication date
EP3635982A1 (en) 2020-04-15
JP2021108466A (ja) 2021-07-29
CN113037866A (zh) 2021-06-25
JP6972408B2 (ja) 2021-11-24
EP3635982B1 (en) 2021-11-17
US11102309B2 (en) 2021-08-24
CN110915246A (zh) 2020-03-24
WO2019050587A1 (en) 2019-03-14
EP3958111A1 (en) 2022-02-23
KR20200013774A (ko) 2020-02-07
CN110915246B (zh) 2021-04-27
JP6862603B2 (ja) 2021-04-21
US20200259906A1 (en) 2020-08-13
US11553051B2 (en) 2023-01-10
US10075539B1 (en) 2018-09-11
US20210344761A1 (en) 2021-11-04
CN113037866B (zh) 2022-05-24
JP2020529623A (ja) 2020-10-08
US10673961B2 (en) 2020-06-02
US20190082018A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
US10522146B1 (en) Systems and methods for recognizing and performing voice commands during advertisement
JP6750125B2 (ja) 記録メディアのホットワードトリガ抑制
JP6630765B2 (ja) 個別化されたホットワード検出モデル
KR102582517B1 (ko) 공유된 음성 작동 디바이스상의 호출 핸들링
US10748531B2 (en) Management layer for multiple intelligent personal assistant services
JP6208376B2 (ja) 複数のデバイス上でのホットワード検出
KR102292671B1 (ko) 보이스 가능 디바이스를 디스플레이 디바이스와 페어링
KR20190113927A (ko) 장치에 대한 다중 사용자 인증
JP2017068243A (ja) 発話者の検証のための動的な閾値
JP7136868B2 (ja) 話者ダイアライゼーション
US8775175B1 (en) Performing dictation correction
US10049658B2 (en) Method for training an automatic speech recognition system
CN107622768B (zh) 音频截剪器
US9570086B1 (en) Intelligently canceling user input
US20160098994A1 (en) Cross-platform dialog system
US20230353671A1 (en) Indicating callers for incoming voice calls on a shared speech-enabled device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant