KR20220093280A - 음성 지원을 가지는 미디어 재생 시스템 - Google Patents

음성 지원을 가지는 미디어 재생 시스템 Download PDF

Info

Publication number
KR20220093280A
KR20220093280A KR1020227021879A KR20227021879A KR20220093280A KR 20220093280 A KR20220093280 A KR 20220093280A KR 1020227021879 A KR1020227021879 A KR 1020227021879A KR 20227021879 A KR20227021879 A KR 20227021879A KR 20220093280 A KR20220093280 A KR 20220093280A
Authority
KR
South Korea
Prior art keywords
playback
voice input
vas
devices
zone
Prior art date
Application number
KR1020227021879A
Other languages
English (en)
Other versions
KR102597285B1 (ko
Inventor
데인 윌버딩
존 토로메이
Original Assignee
소노스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소노스 인코포레이티드 filed Critical 소노스 인코포레이티드
Priority to KR1020237036702A priority Critical patent/KR20230152813A/ko
Publication of KR20220093280A publication Critical patent/KR20220093280A/ko
Application granted granted Critical
Publication of KR102597285B1 publication Critical patent/KR102597285B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Software Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

예시적인 기법은 미디어 재생 시스템에 대한 음성 지원을 작동시키는 것을 수반한다. 일부 실시예에서, 미디어 재생 시스템은 (i) 적어도 하나의 마이크로폰 장치를 통하여 음성 입력을 캡쳐하고, (ii) 캡쳐된 음성 입력 내의 명령 중 하나 이상의 포함을 검출하고 (iii) 하나 이상의 명령이 명령 정보의 세트에서 대응하는 명령 기준을 만족하는지를 결정하고 (iv) 결정에 응답하여 제1 음성 지원 서비스(VAS)를 선택하고 (a) 제2 VAS의 선택을 포기하고 (b) 제1 VAS로 음성 입력을 전송 및 (c) 음성 입력을 전송한 후, 제1로부터의 음성 입력에 대한 응답을 수신하도록 구성된다.

Description

음성 지원을 가지는 미디어 재생 시스템{MEDIA PLAYBACK SYSTEM WITH VOICE ASSISTANCE}
본 개시는 소비재, 특히, 미디어 재생의 음성 컨트롤 또는 그 일부 양상에 관한 방법, 시스템, 제품, 특징, 서비스 및 기타 요소에 관련된다.
2003년 소노스 사(SONOS, Inc.)가 그 최초 특허 출원 중 하나인 "다수의 네트워킹된 장치들 사이의 오디오 재생을 동기화하기 위한 방법(Method for Synchronizing Audio Playback between Multiple Networked Devices)"을 출원하고 2005년 미디어 재생 시스템을 판매 제공하기 시작하기까지 소리를 내는 환경(out-loud setting)에서 디지털 오디오를 액세스하고 듣기 위한 옵션은 제한적이었다. 소노스 무선 하이파이 시스템(Sonos Wireless HiFi System)은 사람들이 하나 이상의 네트워킹된 재생 장치를 통하여 많은 소스로부터 음악을 경험할 수 있게 한다. 스마트폰, 태블릿 또는 컴퓨터 상에 설치된 소프트웨어 제어 애플리케이션을 통하여, 네트워킹된 재생 장치를 가지는 임의의 공간(room)에서 원하는 것을 재생할 수 있다. 또한, 컨트롤러를 사용하여, 예컨대 다양한 노래가 재생 장치가 있는 각각의 공간에서 스트리밍될 수 있거나, 공간이 동기 재생을 위해 함께 그룹화될 수 있거나, 같은 노래가 모든 공간에서 동시에 들릴 수 있다.
디지털 미디어에 대한 계속 성장하는 관심을 고려하여 볼 때, 청취 경험을 더 향상시키기 위해 소비자 접근 가능 기술을 개발할 필요가 계속 있다.
여기에 개시된 기술의 특징, 태양 및 이점은 이하의 설명, 첨부된 청구범위 및 첨부 도면과 관련하여 더 잘 이해될 수 있다.
도 1은 일부 실시예가 실시될 수 있는 미디어 재생 시스템을 도시한다.
도 2a는 예시적인 재생 장치의 기능적 블록도이다
도 2b는 네트워크 마이크로폰 장치를 포함하는 예시적인 재생 장치의 등축도이다.
도 3a, 3b, 3c, 3d 및 3e는 본 개시의 양상에 따른 예시적인 구역 및 구역 그룹을 도시하는 도면이다.
도 4a는 본 개시의 양상에 따른 예시적인 컨트롤러 장치의 기능적 블록도이다.
도 4b 및 4c는 본 개시의 일 양상에 따른 컨트롤러 인터페이스이다.
도 5a는 본 개시의 일 양상에 따른 예시적인 네트워크 마이크로폰 장치의 기능적 블록도이다.
도 5b는 본 개시의 일 양상에 따른 예시적인 음성 입력의 도면이다.
도 6은 본 개시의 일 양상에 따른 예시적인 원격 컴퓨팅 장치의 기능적 블록도이다.
도 7a는 본 개시의 양상에 따른 예시적인 네트워크 시스템의 개략도이다.
도 7b는 본 개시의 양상에 따른 도 7a의 예시적인 네트워크 시스템에 의해 구현되는 예시적인 메시지 흐름이다.
도 8a는 본 개시의 양상에 따라 음성 지원 서비스를 호출(invoke)하기 위한 예시적인 방법의 흐름도이다.
도 8b는 본 개시의 양상에 따른 명령 정보의 예시적인 세트의 블록도이다.
도 9a, 9b 및 9c는 본 개시의 양상에 따른 예시적인 음성 입력 명령 및 연관되는 정보를 가지는 테이블이다.
도 10(a) 및 10(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 11(a) 및 11(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 12(a) 및 도 12(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 13(a) 및 도 13(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 14(a) 및 14(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 15(a) 및 15(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 16(a) 및 16(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 17(a) 및 17(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 18(a) 및 18(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 19(a) 및 19(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도 20(a) 및 도 20(b)는 본 개시의 양상에 따른 VAS를 호출하기 위한 예시적인 음성 입력을 도시하는 도면이다.
도면은 예시적인 실시예를 예시하기 위한 것이지만, 본 발명이 도면에 도시된 배열 및 수단에 제한되지 않음이 이해된다. 도면에서, 동일한 참조 번호는 적어도 일반적으로 유사한 요소를 식별한다. 임의의 특정 요소의 논의를 용이하게 하도록, 임의의 참조 번호 중 최상위 숫자는 요소가 처음 소개된 도면을 언급한다. 예를 들어, 요소 107는 도 1에 관련하여 처음 소개되고 논의된다.
본 출원은 그 전체가 여기에서 참조로서 포함된 2017년 9월 29일에 출원된 미국 특허 출원 제15/721,141호에 대한 우선권을 주장한다.
I. 개요
음성 컨트롤은 무선 조명 장치, 가정-자동화 장치(예컨대, 온도조절기, 도어락 등) 및 오디오 재생 장치와 같이, 스마트 가전 및 관련 장치를 가지는 "스마트" 홈에서 유익할 수 있다. 일부 구현예에서, 네트워킹된 마이크로폰 장치는 스마트홈 장치를 컨트롤하는 데 사용될 수 있다. 네트워크 마이크로폰 장치는 보통 음성 입력을 수신하기 위한 마이크로폰을 포함할 것이다. 네트워크 마이크로폰 장치는 음성 지원 입력 서비스(VAS)로 음성 입력을 전달할 수 있다. 종래 VAS는 음성 입력을 처리하도록 클라우드 서버에 의해 구현되는 원격 서비스일 수 있다. VAS는 음성 입력을 처리하여 음성 입력의 의도를 결정할 수 있다. 응답에 기초하여, 네트워크 마이크로폰 장치는 하나 이상의 스마트 장치로 하여금 동작을 수행하도록 할 수 있다. 예를 들어, 네트워크 마이크로폰 장치는 조명 장치에 지시하여 VAS로부터의 명령어에 대한 응답에 기초하여 켜고 끄도록 할 수 있다.
네트워크 마이크로폰 장치에 의해 검출된 음성 입력은 보통 활성 단어에 후속하는 사용자 요청을 포함하는 발언을 포함할 것이다. 활성 단어는 보통 음성 입력의 의도를 해석하기 위해 VAS를 "깨우고" 호출하는 데 이용되는 미리 정해진 단어 또는 어구이다. 예를 들어, AMAZON® VAS를 쿼리함에서, 사용자는 활성 단어 "ALEXA"를 말할 것이다. 다른 예시는 GOOGLE® VAS를 호출하기 위한 "Ok, Google"과 APPLE® VAS를 호출하기 위한 "Hey, Siri" 또는 SONOS®에 의해 제공된 VAS를 위한 "Hey, Sonos"를 포함한다.
네트워크 마이크로폰 장치는 음성 입력에서 활성 단어를 동반하는 사용자 요청 또는 명령을 듣는다. 일부 예시에서, 사용자 요청은 온도 조절기(예컨대, NEST® 온도조절기), 조명 장치(예컨대, PHILIPS HUE® 조명 장치) 또는 미디어 재생 장치(예컨대, Sonos® 재생 장치)와 같은 제3의 장치를 컨트롤하기 위한 명령을 포함할 수 있다. 예를 들어, 사용자는 활성 단어 "Alexa"에 후속하는 발화 "온도조절기를 68도로 설정해줘"를 말하여 Amazon® VAS를 사용하여 집의 온도를 설정할 수 있다. 사용자는 집의 거실 영역에서 조명 장치를 켜도록 동일한 활성 단어에 후속하는 발화 "거실 켜줘"를 말할 수 있다. 사용자는 유사하게 집에 있는 재생 장치 상의 음악 플레이리스트, 앨범 또는 특정 노래를 재생하도록 활성 단어에 후속하는 요청을 말할 수 있다.
VAS는 자연 언어 이해(NLU) 시스템을 사용하여 음성 입력을 처리할 수 있다. NLU 시스템은 보통 소정의 음성 입력의 근본적인 의도를 검출하도록 프로그래밍된 복수의 원격 서버를 요구한다. 예를 들어 서버는 언어의 어휘, 파서, 문법과 의미론적 규칙 및 연관되는 처리 알고리즘을 유지하여 사용자의 의도를 결정할 수 있다.
종래 VAS에 의해 직면된 일 과제는 NLU 처리가 연산 집약적이라는 것이다. 예를 들어, 음성 처리 알고리즘은 말의 뉘앙스, 문장 구조, 발음 및 다른 회화 특성을 다루기 위해 정기적으로 업데이트될 필요가 있다. 이와 같이, VAS의 제공자는 전세계 사용자로부터 수신되는 무수히 많은 음성 입력을 다루도록 처리 알고리즘을 유지하고, 지속적으로 발전시키며 추가적인 클라우드 서버와 같은, 증가하는 수의 리소스를 이용해야 한다.
관련되는 과제는, 일부 스마트 장치의 음성 컨트롤이 상대적으로 복잡한 음성 처리 알고리즘을 요구할 수 있으며, 이는 VAS 리소스에 더 부담 지울 수 있다는 것이다. 예를 들어, 거실에 있는 조명 장치의 세트의 스위치를 켜기 위해, 일 사용자는 "조명 전환"라고 말하는 것을 선호할 수 있는 한편, 다른 사용자는 "거실 켜"라고 말하는 것을 선호할 수 있다. 사용자 모두는 조명 장치를 켜기 위해 동일한 근본적인 의도를 가지고 있지만, 동사를 포함하는 어구의 구조가 상이할 뿐 아니라, 전자의 어구가 거실에 있는 장치를 식별하는 한편, 후자는 그렇지 않다. 이러한 사안을 다루기 위해, 특히 명령 구조 및 관련된 구문에서 미묘한 의미 있는 변형 사이를 구별하기 위한 알고리즘과 같은 알고리즘 및 복잡한 음성 처리 리소스를 요구하는 스마트 장치를 컨트롤하는 경우, VAS는 사용자 의도를 해독하도록 추가 리소스를 할애해야 한다.
스마트 장치에 대한 소비자 요구가 커지고, 이러한 장치가 보다 다양해짐으로써, 일부 VAS 제공자는 발전을 따라가는 것이 곤란할 수 있다. 일부 경우에서, VAS는 제한된 시스템 리소스를 가질 수 있으며, 이는 인바운드(inbound) 음성 입력에 성공적으로 응답하기 위한 VAS의 능력을 약화시킨다. 예를 들어, 위의 예시에서, VAS는 "조명 켜"라는 음성 발화를 처리하기 위한 능력을 가질 수 있지만, "조명 전환"이라는 음성 발화를 처리하기 위한 능력은 부족할 수 있는데, 이는 서비스가 후자의 보다 관용적인 어구 뒤의 의도를 인식할 수 없는 알고리즘을 사용할 수 있기 때문이다. 이러한 경우에서, 사용자는 "거실에 있는 조명을 켜"라고 말하는 것과 같이 더 한정하는 정보로 원래의 요청을 바꾸어 말할 수 있다. 대안적으로, VAS는 그러한 요청은 처리할 수 없다고 사용자에게 알릴 수 있거나, VAS는 단순히 요청을 완전히 무시할 수 있다. 이러한 경우 중 임의의 것에서, 사용자는 열악한 음성-컨트롤 경험으로 인해 불만족하게 될 수 있다.
복수-구역 재생 시스템과 같은, 미디어 재생 시스템의 경우에, 종래 VAS는 특히 제한될 수 있다. 예를 들어, 종래의 VAS는 기본적인 재생에 대한 음성 컨트롤만을 지원할 수 있거나 자연스러운 대화 보다는 특별하고 부자연스러운 어구를 사용하여 장치와 상호 작용하도록 사용자에게 요구할 수 있다. 또한, 종래의 VAS는 소정의 재생 시나리오에 대한 오디오 컨텐츠, 이퀄라이제이션 파라미터, 복수의 공간 음량 및/또는 장치 그룹핑과 같이 복수 구역 재생 또는 사용자가 컨트롤하기를 바라는 다른 특징을 지원하지 않을 수 있다. 그러한 기능을 컨트롤하는 것은 기본적인 재생에 요구되는 것을 넘어서 상당히 많은 리소스를 요구할 수 있다.
여기에서 설명되는 미디어 재생 시스템은 종래의 VAS의 이러한 한계 및 다른 한계를 해결할 수 있다. 예를 들어, 일부 실시예에서, 미디어 재생 시스템은 제2 VAS(예컨대, 종래의 VAS) 상에 제1 VAS(예컨대, 향상된 VAS)를 선택하여 음성 입력을 처리하도록 구성된다. 이러한 경우에서, 미디어 재생 시스템은, 미디어 재생 시스템의 상대적으로 향상되고 다른 특징을 컨트롤하기 위한 음성 입력과 같은 일부 음성 입력을 처리하도록 제2 VAS 상에 제1 VAS를 선택함으로써 개입할 수 있다. 일 양상에서, 제1 VAS는 제2 VAS 하나에 의해 제공되는 음성 컨트롤에 관하여 음성 컨트롤을 향상할 수 있다. 일부 실시예에서, 미디어 재생 시스템을 타겟팅하는 적어도 일부의 음성 입력은 제2 VAS를 통하여 호출 가능하지 않을 수 있다. 이러한 실시예 및 다른 실시예에서, 적어도 일부의 음성 입력은 제2 VAS를 통하여 호출 가능할 수 있지만, 제1 VAS가 일부 음성 입력을 처리하는 것이 더 바람직할 수 있다. 예를 들어, 제1 VAS는 제2 VAS보다 신뢰 가능하고 정확하게 일부 요청을 처리할 수 있다. 일부 실시예에서, 제2 VAS는 일부 유형의 음성 입력이 보통 전송되는 디폴트 VAS일 수 있다. 예를 들어, 일부 실시예에서, 종래의 VAS는 "오늘의 날씨를 말해줘"라고 말하는 음성 입력과 같은 포괄적인 인터넷 쿼리를 포함하는 요청을 다루기에 더 적합할 수 있다. 관련된 실시예에서, 제1 및 제2 VAS 중 어느 하나를 호출하는 경우, 사용자는 동일한 활성 작업(예컨대, "Hey Samantha")을 사용할 수 있다. 일 양상에서, 다른 것에서 하나의 VAS의 선택이 음성 입력을 발화하는 경우의 장면 뒤에서 일어나고 있다는 것을 모를 수 있다. 일 실시예에서, 활성 작업은 AMAZON의 ALEXA®와 같은 종래 VAS와 연관되는 활성 단어일 수 있다.
일 실시예에서, 미디어 재생 시스템은 음성 입력을 캡쳐하도록 구성되는 네트워크 마이크로폰 장치를 포함할 수 있다. 미디어 재생 시스템은 (i) 적어도 하나의 마이크로폰 장치를 통하여 음성 입력을 캡쳐하고, (ii) 캡쳐된 음성 입력 내에 포함된 명령 중 하나 이상의 포함을 검출하고 (iii) 하나 이상의 명령이 명령 정보의 세트에서 대응하는 명령 기준을 만족한다고 결정하고 (iv) 결정에 응답하여 (a) 제1 VAS를 선택하고 제2 VAS의 선택을 포기하고(forego) (b) 제1 VAS로 음성 입력을 송신하고 그리고 (c) 음성 입력을 송신한 이후, 제1 VAS로부터의 음성 입력에 대한 응답을 처리하도록 구성된다.
일부 실시예에서, 네트워크 마이크로폰 장치는 네트워크 마이크로폰 장치의 로컬 메모리에서 명령 정보의 세트를 저장하도록 구성된다. 일부 실시예에서, 명령 정보의 세트는 근거리 네트워크(LAN) 상의 재생 장치 또는 다른 네트워크 마이크로폰 장치와 같은 다른 네트워크 장치 상에 저장될 수 있다. 일부 실시예에서, 명령 정보의 세트는 LAN 상의 복수의 네트워크 장치 전반에 걸쳐 및/또는 원격으로 저장될 수 있다. 아래에 설명되는 다양한 실시예에서, 명령 정보의 세트는 프로세스에서 사용되어 미디어 재생 시스템이 제1 VAS를 선택하고 제2 VAS의 선택을 포기할지 여부를 결정할 수 있다.
일부 실시예에서, 네트워크 마이크로폰 장치는 미리 정해진 명령 및 명령과 연관되는 명령 기준의 리스트를 저장할 수 있다. 명령은 예컨대 재생, 컨트롤 및 구역 타겟팅 명령을 포함할 수 있다. 명령 기준은 예컨대, 특별 명령과 연관되는 미리 정해진 키워드를 포함할 수 있다. 음성 입력 내 키워드의 조합은 예컨대, 집 내 제1 공간(예컨대, 거실)의 명칭의 발화 및 집 내 제2 공간(예컨대, 침실)의 명칭의 발화를 포함할 수 있다. 사용자가 키워드와 조합하여 (음악을 재생하기 위한 명령과 같은) 특별 명령을 포함하는 음성 입력을 말하는 경우, 미디어 재생 시스템은 음성 입력을 처리하기 위해 제1 VAS를 선택하고 호출한다.
일부 실시예에서, 키워드는 트레이닝 및 적응적 학습(adaptive learning) 알고리즘에 의해 발전될 수 있다. 일부 실시예에서, 그러한 키워드는 키워드를 포함하는 음성 입력을 처리하는 동안, 그때그때 결정될 수 있다. 그러한 경우에서, 키워드는 음성 입력을 처리하기 전에 미리 결정되지 않지만, 그럼에도 제1 VAS가 명령에 기초하여 호출되도록 할 수 있다. 관련된 실시예에서, 키워드는 동일한 의도를 가지는 명령의 일부 관련어와 연관될 수 있다.
일부 실시예에서, 제1 VAS를 호출하는 것은 제1 VAS의 하나 이상의 원격 서버로 음성 입력을 송신하는 것을 포함할 수 있다. 위의 예시에서, 제1 VAS는 제1 및 제2 공간에서 재생하기 위한 사용자의 의도를 결정할 수 있고, 미디어 재생 시스템이 제1 및 제2 공간에서 요구되는 오디오를 재생하도록 명령함으로써 응답할 수 있다. 제1 VAS는 또한 미디어 재생 시스템에 지시하여 제1 및 제2 공간을 포함하는 그룹을 형성하도록 할 수 있다.
여기에서 설명되는 일부 실시예가 "사용자" 및/또는 다른 엔티티(entity)와 같은 소정의 행위자에 의해 수행되는 기능을 참조할 수 있으나, 이러한 설명은 단지 설명을 위한 것임이 이해되어야 한다. 청구범위는 청구범위 자체의 언어에 의하여 명시적으로 요구되지 않는다면 임의의 그러한 예시적인 행위자에 의한 행위를 요구하는 것으로 해석되어서는 안된다.
II. 예시적인 동작 환경
도 1 은 여기서 개시되는 하나 이상의 실시예가 구현될 수 있는 미디어 재생 시스템(100)의 예시적인 구성을 예시한다. 도시된 바와 같이, 미디어 재생 시스템(100)은 예를 들어, 사무실, 식당 및 거실과 같은 여러 공간과 장소를 가지는 집 환경과 연관된다. 이러한 공간과 장소 내에서, 미디어 재생 시스템(100)은 재생 장치(102)(각각 재생 장치(102a-102m)로서 식별됨), 네트워크 마이크로폰 장치(103)(각각 "NMD"(103a-103g)로서 식별됨) 및 컨트롤러 장치(104a 및 104b)(통합적으로 컨트롤러 장치(104))를 포함한다. 집 환경은 하나 이상의 스마트 조명 장치(108) 및 스마트 온도조절기(110)와 같은 다른 네트워크 장치를 포함할 수 있다.
미디어 재생 시스템(100)의 다양한 재생, 네트워크 마이크로폰 및 컨트롤러 장치(102-104) 및/또는 기타 네트워크 장치는 포인트 투 포인트 연결(point-to-point connection) 및/또는 다른 연결을 통하여 서로 연결될 수 있으며, 이는 네트워크 라우터(106)를 포함하는 LAN(111)을 통하여, 유선 및/또는 무선 연결될 수 있다. 예를 들어, ("왼쪽"으로 지정된) 재생 장치(102j)는 ("오른쪽"으로 지정된) 재생 장치(102a)와의 포인트 투 포인트 연결을 가질 수 있다. 일 실시예에서, 왼쪽 재생 장치(102j)는 오른쪽 재생 장치(102a)와의 포인트 투 포인트 연결을 통하여 통신할 수 있다. 관련된 실시예에서, 왼쪽 재생 장치(102j)는 LAN을 통한 다른 연결 및/또는 포인트 투 포인트 연결을 통하여 다른 네트워크 장치와 통신할 수 있다.
네트워크 라우터(106)는 광역 네트워크(WAN)(107)를 통하여 하나 이상의 원격 컴퓨팅 장치(105)와 연결될 수 있다. 일부 실시예에서, 원격 컴퓨팅 장치는 클라우드 서버일 수 있다. 원격 컴퓨팅 장치(105)는 다양한 방식으로 미디어 재생 시스템(100)과 상호 작용하도록 구성될 수 있다. 예를 들어, 원격 컴퓨팅 장치는 집 환경에서 오디오와 같은, 미디어 컨텐츠의 재생을 스트리밍 및 컨트롤하는 것을 용이하게 하도록 구성될 수 있다. 아래에 더 자세히 설명되는 기술의 일 양상에서, 원격 컴퓨팅 장치(105)는 미디어 재생 시스템(100)에 대하여 제1 VAS(160)를 제공하도록 구성된다.
일부 실시예에서, 재생 장치(102) 중 하나 이상은 온-보드(예컨대, 통합된) 네트워크 마이크로폰 장치를 포함할 수 있다. 예를 들어, 재생 장치(102a-102e)는 각각 대응하는 NMD(103a-103e)를 포함한다. 네트워크 마이크로폰 장치를 포함하는 재생 장치는 설명에서 달리 나타나지 않으면 재생 장치 또는 네트워크 마이크로폰 장치로서 여기서 교환 가능하게 참조될 수 있다.
일부 실시예에서, NMD(103) 중 하나 이상은 독립형 장치일 수 있다. 예를 들어, NMD(103f 및 103g)는 독립형 네트워크 마이크로폰 장치일 수 있다. 독립형 네트워크 마이크로폰 장치는 스피커 또는 관련 전자기기와 같은, 재생 장치에 보통 포함되는 컴포넌트를 생략할 수 있다. 이러한 경우에서, 독립형 네트워크 마이크로폰 장치는 오디오 출력을 생산하지 않을 수 있거나 제한된 오디오 출력(예컨대, 상대적으로 저품질의 오디오 출력)을 생산할 수 있다.
사용에서, 네트워크 마이크로폰 장치는 그 부근에 있는 사용자로부터 음성 입력을 수신하고 처리할 수 있다. 예를 들어, 네트워크 마이크로폰 장치는 사용자가 말하는 입력의 검출에 따라 음성 입력을 캡쳐할 수 있다. 예시에서, 거실에 있는 재생 장치(102a)의 NMD(103a)는 그 부근에 있는 사용자의 음성 입력을 캡쳐할 수 있다. 일부 경우에서, 음성 입력 소스(예컨대, 사용자)의 부근에 있는 다른 네트워크 마이크로폰 장치(예컨대, NMD(103b 및 103f))도 음성 입력을 검출할 수 있다. 이러한 경우에서, 네트워크 마이크로폰 장치는 어떤 장치가 검출된 음성 입력을 캡쳐 및/또는 처리할지 결정하도록 서로를 중재할 수 있다. 네트워크 마이크로폰 장치 사이의 선택 및 중재하는 것에 대한 예시는 예컨대, 2017년 2월 21일 출원되고 제목이 "미디어 재생 시스템의 음성 제어(Voice Control of a Media Playback System)"인 미국 출원 제15/438,749호에서 발견될 수 있으며, 이는 그 전체가 참조로서 여기에 포함된다.
일부 실시예에서, 네트워크 마이크로폰 장치는 네트워크 마이크로폰 장치를 포함하지 않을 수 있는 재생 장치에 할당될 수 있다. 예를 들어, NMD(103f)는 부근에 있는 재생 장치(102i 및/또는 102l)에 할당될 수 있다. 관련된 예시에서, 네트워크 마이크로폰 장치는 할당되는 재생 장치를 통하여 오디오를 출력할 수 있다. 지정되거나 디폴트 장치로서 재생 장치 및 연관되는 네트워크 마이크로폰 장치에 관련된 추가 세부사항은 예컨대, 앞서 참조된 미국 특허 출원 제15/438,749호에서 발견될 수 있다.
예시적인 미디어 재생 시스템(100)의 다양한 컴포넌트에 관한 추가적인 양상 및 다양한 컴포넌트가 어떻게 미디어 경험을 사용자에게 제공하도록 상호작용할 수 있는지는 다음의 섹션에서 발견될 수 있다. 여기에서의 논의가 일반적으로 예시적인 미디어 재생 시스템(100)을 참조하는 한편, 여기서 설명되는 기술은 그 중에서도 도 1에 도시된 바와 같은 집 환경 내에서의 응용에 제한되는 것이 아니다. 예를 들어, 여기서 설명되는 기술은 재생, 네트워크 마이크로폰 및/또는 컨트롤러 장치(102-104) 중 임의의 것보다 많거나 적게 포함하는 다른 집 환경 구성에서 유용할 수 있다. 또한, 여기서 설명된 기술은 예를 들어, 레스토랑, 몰 또는 공항과 같은 상업적 환경, 스포츠형 다목적 차량(SUV), 버스 또는 자동차, 선박 또는 배, 비행기 등과 같은 운송 수단과 같은 멀티-구역 오디오가 요구될 수 있는 환경에서 유용할 수 있다.
a. 예시적인 재생 및 네트워크 마이크로폰 장치
도 2a는 도 1에 도시된 재생 장치(102) 중 선택된 하나의 일부 양상을 예시하는 기능적 블록도이다. 도시된 바와 같이, 이러한 재생 장치는 프로세서(212), 소프트웨어 컴포넌트(214), 메모리(216), 오디오 처리 컴포넌트(218), 오디오 증폭기(220), 스피커(222) 및 무선 인터페이스(232)와 유선 인터페이스(234)를 포함하는 네트워크 인터페이스(230)를 포함할 수 있다. 일부 실시예에서, 재생 장치는 스피커(222)를 포함하지 않을 수 있지만, 외부 스피커로 재생 장치를 연결하기 위한 스피커 인터페이스를 포함할 수 있다. 일부 실시예에서, 재생 장치는 스피커(222) 또는 오디오 증폭기(222) 모두를 포함하지 않을 수 있지만, 외부 오디오 증폭기 또는 오디오 영상 수신기로 재생 장치를 연결하기 위한 오디오 인터페이스를 포함할 수 있다.
재생 장치는 사용자 인터페이스(236)를 더 포함할 수 있다. 사용자 인터페이스(236)는 컨트롤러 장치(104) 중 하나 이상과 독립적으로 또는 이와 함께 사용자 상호 작용을 용이하게 할 수 있다. 다양한 실시예에서, 사용자 인터페이스(236)는 사용자가 직접 입력을 제공하도록, 다른 가능성 중에서도 물리적 버튼 및/또는 터치 센스 스크린 및/또는 표면 상에 제공되는 그래픽 인터페이스 중 하나 이상을 포함한다. 사용자 인터페이스(236)는 사용자에게 시각적 및/또는 오디오 피드백을 제공하도록 조명 및 스피커 중 하나 이상을 더 포함할 수 있다.
일부 실시예에서, 프로세서(212)는 메모리(216)에 저장된 명령어에 따라 입력 데이터를 처리하도록 구성되는 클락 구동(clock-driven) 컴퓨팅 컴포넌트일 수 있다. 메모리(216)는 프로세서(212)에 의해 실행 가능한 명령어를 저장하도록 구성되는 유형의 컴퓨터 판독 가능 기록 매체일 수 있다. 예를 들어, 메모리(216)는 일부 기능을 달성하기 위해 프로세서(212)에 의해 실행 가능한 소프트웨어 컴포넌트(214) 중 하나 이상으로 로딩될 수 있는 데이터 저장소일 수 있다. 일 예시에서, 기능은 재생 장치가 다른 재생 장치 또는 오디오 소스로부터 오디오 데이터를 검색하는 것을 포함할 수 있다. 다른 예시에서, 기능은 재생 장치가 오디오 데이터를 네트워크 상의 다른 장치로 송신하는 것을 포함할 수 있다. 또 다른 예시에서, 기능은, 재생 장치가 하나 이상의 재생 장치와 페어링하여 멀티 채널 오디오 환경을 생성하는 것을 포함할 수 있다.
일부 기능은 재생 장치가 오디오 컨텐츠의 재생을 하나 이상의 다른 재생 장치와 동기화하는 것을 포함할 수 있다. 동기화 재생 동안, 청취자는 동기화된 재생 장치에 의한 오디오 컨텐츠의 재생 간의 시간 지연 차이를 감지할 수 없을 것이다. 2004년 4월 4일 출원되고 제목이 "복수의 독립적으로 클락(clock)되는 디지털 데이터 처리 장치 사이에서 동작을 동기화하기 위한 시스템 및 방법(System and method for synchronizing operations among a plurality of independently clocked digital data processing devices)"인 미국 특허 제8,234,395호는 전체 내용이 여기에 참조로서 포함되며 재생 장치 중에서 오디오 재생 동기화에 대한 더 상세한 일부 예시를 제공한다.
오디오 처리 컴포넌트(218)는 하나 이상의 디지털-아날로그 변환기(DAC), 오디오 전처리 컴포넌트, 오디오 향상 컴포넌트 또는 디지털 신호 프로세서(DSP) 등을 포함할 수 있다. 일부 실시예에서, 오디오 처리 컴포넌트(218) 중 하나 이상은 프로세서(212)의 서브 컴포넌트일 수 있다. 일 예시에서, 오디오 컨텐츠는 오디오 처리 컴포넌트(218)에 의해 처리되고/거나 의도적으로 수정되어, 오디오 신호를 생성할 수 있다. 생산된 오디오 신호는 이후 스피커(212)를 통하여 증폭 및 재생을 위해 오디오 증폭기로 제공될 수 있다. 특히, 오디오 증폭기(212)는 오디오 신호를, 스피커(212) 중 하나 이상을 구동하기 위한 레벨로 증폭하도록 구성되는 장치를 포함할 수 있다. 스피커(212)는 개별 변환기 (예컨대, "드라이버") 또는 하나 이상의 드라이버가 있는 엔클로저를 포함하는 완전한 스피커 시스템을 포함할 수 있다. 스피커(212)의 특정 드라이버는 예를 들어, (예컨대, 저주파수를 위한) 서브 우퍼, (예컨대, 중간 주파수를 위한) 중간 범위의 드라이버 및/또는 (예컨대, 고주파수를 위한) 트위터를 포함할 수 있다. 일부 경우에서, 하나 이상의 스피커(212)에 있는 각 변환기는 오디오 증폭기(210)의 개별 대응 오디오 증폭기에 의해 구동될 수 있다. 재생을 위한 아날로그 신호를 생성하는 것에 더하여, 오디오 처리 컴포넌트(208)는 재생을 위한 하나 이상의 다른 재생 장치로 송신될 오디오 컨텐츠를 처리하도록 구성될 수 있다.
재생 장치에 의해 처리되고/거나 재생될 오디오 컨텐츠는 오디오 라인인(line in) 입력 연결(예컨대, 자동 검출 3.5mm 오디오 라인인 연결) 또는 네트워크 인터페이스(230)를 통하는 것과 같이, 외부 소스로부터 수신될 수 있다.
네트워크 인터페이스(230)는 재생 장치와 데이터 네트워크 상의 하나 이상의 다른 재생 장치 간의 데이터 흐름을 용이하게 하도록 구성될 수 있다. 이와 같이, 재생 장치는 재생 장치, 근거리 네트워크 내의 네트워크 장치 또는 인터넷과 같은, 광역 네트워크 상에서 오디오 컨텐츠 소스와 통신하는 하나 이상의 다른 재생 장치로부터 데이터 네트워크에서 오디오 컨텐츠를 수신하도록 구성될 수 있다. 일 예시에서, 재생 장치에 의해 전송되고 수신되는 오디오 컨텐츠 및 다른 신호는 인터넷 프로토콜(Internet Protocol)(IP) 기반 소스 주소 및 IP 기반 목적 주소를 포함하는 디지털 패킷 데이터의 형태로 전송될 수 있다. 그러한 경우에서, 네트워크 인터페이스(230)는 재생 장치로 향하는 데이터가 재생 장치에 의해 적절히 수신되고 처리되도록 디지털 패킷 데이터를 파싱(parsing)하도록 구성될 수 있다.
도시된 바와 같이, 네트워크 인터페이스(230)는 무선 인터페이스(232)와 유선 인터페이스(234)를 포함할 수 있다. 무선 인터페이스(232)는 재생 장치가 통신 프로토콜(예컨대, IEEE 802.11a, 802.11b, 802.11g, 802.11n, 802.11ac, 802.15, 4G 모바일 통신 표준 등을 포함하는 임의의 무선 표준)에 따라 다른 장치(예컨대, 다른 재생 장치, 스피커, 수신기, 네트워크 장치, 재생 장치가 연관된 데이터 네트워크 내의 컨트롤러 장치)와 무선으로 통신하도록 네트워크 인터페이스 기능을 제공할 수 있다. 유선 인터페이스(234)는 재생 장치가 통신 프로토콜(예컨대, IEEE 802.3)에 따라 다른 장치와 유선 연결 통신하도록 네트워크 인터페이스 기능을 제공할 수 있다. 도 2a에 도시된 네트워크 인터페이스(230)가 무선 인터페이스(232) 및 유선 인터페이스(234) 둘 다를 포함하는 한편, 네트워크 인터페이스(230)은 일부 실시예에서, 무선 인터페이스만을 또는 유선 인터페이스만을 포함할 수 있다.
위에서 논의된 바와 같이, 재생 장치는 도 1에 도시된 NMD(103) 중 하나와 같은 네트워크 마이크로폰 장치를 포함할 수 있다. 네트워크 마이크로폰 장치는 프로세서(212), 메모리(216), 마이크로폰(224) 등과 같은 재생 장치 중 일부 또는 모든 컴포넌트를 공유할 수 있다. 다른 예시에서, 네트워크 마이크로폰 장치는 네트워크 마이크로폰 장치의 동작적인 양상에 대해 전용 배타적인 컴포넌트를 포함한다. 예를 들어, 네트워크 마이크로폰 장치는 일부 경우에서, 재생 장치가 포함하지 않을 수 있는 원거리 음장 마이크로폰 및/또는 음성 처리 컴포넌트를 포함할 수 있다. 다른 예시에서, 네트워크 마이크로폰 장치는 마이크로폰을 인에이블/디세이블하기 위한 터치 센싱 버튼을 포함할 수 있다. 또 다른 예시에서, 네트워크 마이크로폰 장치는 위에서 논의된 바와 같이 독립형 장치일 수 있다. 도 2b는 네트워크 마이크로폰 장치를 포함하는 예시적인 재생 장치(202)를 도시하는 등축도이다. 재생 장치(202)는 마이크로폰을 인에이블/디세이블하기 위해 장치의 상부에 컨트롤 영역(237)을 가진다. 컨트롤 영역(237)은 재생을 컨트롤하기 위해 장치의 상부에서 인접한 다른 영역(239)이다.
예를 들어, 소노스 사(SONONS, Inc.)는 일부 재생 장치를 현재 판매하며 (또는 판매해왔고), 이는 "PLAY:1", "PLAY:3", "PLAY:5", "PLAYBAR", "CONNECT:AMP", "CONNECT" 및 "SUB"를 포함한다. 임의의 다른 과거, 현재 및/또는 미래의 재생 장치가 추가적으로 또는 대안적으로, 여기에 개시되는 예시적인 실시예의 재생 장치를 구현하는 데 사용될 수 있다. 또한, 재생 장치가 도 2a에서 예시되는 예시 또는 소노스 제품 제안에 제한되지 않음이 이해된다. 예를 들어, 재생 장치는 유선 또는 무선 헤드폰을 포함할 수 있다. 다른 예시에서, 재생 장치는 개인 모바일 미디어 재생 장치를 위한 도킹 스테이션(docking station)을 포함하거나 이와 상호작용할 수 있다. 또 다른 예시에서, 재생 장치는 실내 또는 실외 용도를 위한 텔레비전, 조명 기구, 또는 일부 다른 장치와 같은 다른 장치 또는 컴포넌트에 통합될 수 있다.
b. 예시적인 재생 장치 구성
도 3a-3e는 구역 및 구역 그룹에서 재생 장치의 예시적인 구성을 도시한다. 도 3e를 먼저 참조하면, 일 예시에서 단일 재생 장치는 구역에 속할 수 있다. 예를 들어, 발코니에 있는 재생 장치(102c)는 구역 A에 속할 수 있다. 이하에서 설명되는 일부 구현예에서, 복수의 재생 장치는 "결합된 페어"를 형성하도록 "결합"될 수 있으며, 이는 함께 단일 구역을 형성할 수 있다. 예를 들어, 도 1에서 Nook로 명명된 재생 장치(102f)는 벽으로 명명된 재생 장치(102g)에 결합되어 구역 B를 형성할 수 있다. 결합된 재생 장치는 상이한 재생 책임(예컨대, 채널 책임)을 가질 수 있다. 이하에서 설명되는 다른 구현예에서, 복수의 재생 장치가 병합되어 단일 구역을 형성할 수 있다. 예를 들어, 사무실로 명명된 재생 장치(102d)는 창문으로 명명된 재생 장치(102m)와 병합되어 단일 구역 C를 형성할 수 있다. 병합된 재생 장치(102d 및 102m)는 다른 재생 책임에 명시적으로 할당되지 않을 수 있다. 즉, 병합된 재생 장치(102d 및 102m)는 오디오 컨텐츠를 동기로 재생하는 것 외에, 그들이 병합되지 않은 경우 그들이 하는 것처럼 오디오 컨텐츠를 각각 재생할 수 있다.
미디어 재생 시스템(100) 내 각 구역은 단일 사용자 인터페이스("UI") 엔티티로서 컨트롤하기 위해 제공될 수 있다. 예를 들어, 구역 A는 발코니로 명명된 단일 엔티티로서 제공될 수 있다. 구역 C는 사무실로 명명된 단일 엔티티로서 제공될 수 있다. 구역 B는 선반으로 명명된 단일 엔티티로서 제공될 수 있다.
다양한 실시예에서, 구역은 구역에 속하는 재생 장치 중 하나의 이름을 취할 수 있다. 예를 들어, 구역 C는 (도시된 바와 같이) 사무실 장치(102d)의 이름을 취할 수 있다. 다른 예시에서, 구역 C는 창문 장치(102m)의 이름을 취할 수 있다. 추가 예시에서, 구역 C는 사무실 장치(102d)와 창문 장치(102m)의 일부 조합인 이름을 취할 수 있다. 선정된 이름은 사용자에 의해 선택될 수 있다. 일부 실시예에서, 구역은 구역에 속하는 장치와 상이한 이름이 주어질 수 있다. 예를 들어, 구역 B는 선반으로 명명되지만, 구역B에 있는 어떠한 장치도 이러한 이름을 가지고 있지 않다.
결합되는 재생 장치는 일부 오디오 채널에 대한 책임과 같이, 상이한 재생 책임을 가질 수 있다. 예를 들어, 도 3a에 도시된 바와 같이, Nook 및 벽 장치(102f 및 102g)는 오디오 컨텐츠의 스테레오 효과를 생산 또는 향상하도록 결합될 수 있다. 이러한 예시에서, Nook 재생 장치(102f)가 왼쪽 채널 오디오 컴포넌트를 재생하도록 구성될 수 있는 한편, 벽 재생 장치(102g)는 오른쪽 채널 오디오 컴포넌트를 재생하도록 구성될 수 있다. 일부 구현예에서, 이러한 스테레오 결합은 "페어링"으로 지칭될 수 있다.
또한, 결합된 재생 장치는 추가적이고/거나 상이한 각 스피커 드라이버를 가질 수 있다. 도 3b에 도시된 바와 같이, 앞쪽이라고 명명된 재생 장치(102b)는 SUB라고 명명된 재생 장치와 결합될 수 있다. 앞쪽 장치(102b)는 중간 내지 고주파수의 범위를 렌더링할 수 있고, SUB 장치(102k)는 예컨대, 서브 우퍼와 같이 저주파수를 렌더링할 수 있다. 결합되지 않는 경우, 앞쪽 장치(102b)는 주파수의 전범위를 렌더링할 수 있다. 다른 예시로서, 도 3c는 각각 오른쪽과 왼쪽 재생 장치(102a 및 102j)와 더 결합되는 앞쪽 및 SUB 장치(102b 및 102k)를 도시한다. 일부 구현예에서, 오른쪽과 왼쪽 장치(102a 및 102j)는 홈 시어터 시스템(home theater system)의 서라운드 또는 "위성" 채널을 형성할 수 있다. 결합된 재생 장치(102a, 102b, 102j 및 102k)는 단일 구역 D(도 3e)를 형성할 수 있다.
병합되는 재생 장치는 재생 책임을 할당받지 않았을 수 있고, 각각 재생 장치가 할 수 있는 오디오 컨텐츠의 전범위를 각각 렌더링할 수 있다. 그럼에도 불구하고, 병합된 장치는 단일 UI 엔티티(즉, 위에서 논의된 것처럼 구역)로서 나타날 수 있다. 예를 들어, 사무실에 있는 재생 장치(102d 및 102m)는 구역 C의 단일 UI 엔티티를 가진다. 일 실시예에서, 재생 장치(102d 및 102m)는 동기화할 수 있는 각 재생 장치(102d 및 102m)의 각 오디오 컨텐츠의 전 범위를 각각 출력할 수 있다.
일부 실시예에서, 독립형 네트워크 마이크로폰 장치는 홀로 구역에 있을 수 있다. 예를 들어, 도 1에서 천장이라고 명명된 NMD(103g)는 구역 E일 수 있다. 네트워크 마이크로폰 장치는 또한 구역을 형성하도록 다른 장치와 결합되거나 병합될 수 있다. 예를 들어, 아일랜드로 명명된 NMD 장치(103f)는 함께 구역 G를 형성하고, 또한 주방이라고 명명된 재생 장치(102i)와 결합될 수 있다. 지정된 장치 또는 디폴트 장치로서 재생 장치 및 연관되는 네트워크 마이크로폰 장치에 관한 추가적 세부사항은 예를 들어, 앞서 참조된 미국 특허 출원 제15/438,749호에서 발견될 수 있다. 일부 실시예에서, 독립형 네트워크 마이크로폰 장치는 구역에 연관되지 않을 수 있다.
개별 장치, 결합된 장치 및/또는 병합된 장치의 구역은 구역 그룹을 형성하도록 그룹핑될 수 있다. 예를 들어, 도 3e를 참조하면, 구역 A는 두 개의 구역을 포함하는 구역 그룹을 형성하도록 구역 B와 그룹핑될 수 있다. 다른 예시에서, 구역 A는 하나 이상의 다른 구역 C-I와 그룹핑될 수 있다. 구역 A-I는 많은 방식으로 그룹핑되고 그룹핑 해제될 수 있다. 예를 들어, 구역 A-I 중의 셋, 넷, 다섯 이상(예컨대, 전부)이 그룹핑될 수 있다. 그룹핑 되는 경우, 개별 재생 장치 및/또는 결합된 재생 장치의 구역은 앞서 참조된 미국 특허 제8,234,395호에서 설명된 바와 같이, 서로 동기로 오디오를 재생할 수 있다. 재생 장치는 동기적으로 오디오 컨텐츠를 재생하는 새롭거나 상이한 그룹을 형성하도록 동적으로 그룹핑되고 그룹핑해제 될 수 있다.
다양한 구현예에서, 환경 내 구역은 도 3e에 도시된 것처럼 식당+주방과 같은, 구역 그룹내의 구역의 이름의 조합 또는 그룹 내의 구역의 디폴트 이름일 수 있다. 일부 실시예에서, 구역 그룹은 또한 도 3e에 도시된 것처럼, Nick의 공간과 같은 사용자에 의해 선택된 고유한 이름이 주어질 수 있다.
도 2a를 다시 참조하면, 일부 데이터는 재생 구역, 재생 장치 및/또는 그것과 연관된 구역 그룹의 상태를 설명하기 위해 정기적으로 업데이트되고 사용되는 하나 이상의 상태 변수로서 메모리(216)에 저장될 수 있다. 메모리(216)는 또한 미디어 시스템의 다른 장치의 상태와 연관되고, 때로는 장치 중에에서 공유되는 데이터를 포함하여 장치 중 하나 이상이 시스템과 연관된 최신 데이터를 가지도록 할 수 있다.
일부 실시예에서, 메모리는 상태와 연관되는 다양한 변수 유형의 인스턴스를 저장할 수 있다. 변수 인스턴스는 유형에 대응하는 식별자(예컨대, 태그)와 함께 저장될 수 있다. 예를 들어, 일부 식별자는 구역의 재생 장치를 식별하기 위한 제1 유형 "a1"이고, 구역에서 결합될 수 있는 재생 장치를 식별하기 위한 제2 유형 "b1"이며, 구역이 속할 수 있는 구역 그룹을 식별하기 위한 제3 유형 "c1"일 수 있다. 도 1에서 관련된 예시와 같이, 발코니와 연관되는 식별자는 발코니가 특정 구역의 유일한 재생 장치이고 구역 그룹에 있지 않다는 것을 나타낼 수 있다. 거실과 연관되는 식별자는 거실이 다른 구역과 그룹핑되지 않았지만 결합된 재생 장치(102a, 102b, 102j 및 102k)를 포함한다는 것을 나타낼 수 있다. 식당과 연관되는 식별자는 식당이 식당+주방 그룹의 일부이고, 장치(103f 및 102i)가 결합됨을 나타낼 수 있다. 주방과 연관되는 식별자는 식당+주방 구역 그룹의 일부인 주방에 의해 동일하거나 유사한 정보를 나타낼 수 있다. 다른 예시적인 구역 변수 및 식별자가 아래에서 설명된다.
또 다른 예시에서, 미디어 재생 시스템(100)은 도 3에서 도시된 바와 같이, 영역과 연관되는 식별자와 같은 구역 그룹 및 그룹의 다른 연계를 나타내는 변수 또는 식별자를 포함할 수 있다. 영역은 구역 그룹의 클러스터 및/또는 구역 그룹 내에 있지 않은 구역을 포함할 수 있다. 예를 들어, 도 3e는 앞쪽 영역이라고 명명된 제1 영역과 뒤쪽 영역이라고 명명된 제2 영역을 도시한다. 앞쪽 영역은 발코니, 거실, 식당, 주방 및 화장실의 구역 및 구역 그룹을 포함한다. 뒤쪽 영역은 화장실, Nick의 공간, 침실 및 사무실의 구역 및 구역 그룹을 포함한다. 일 양상에서, 영역은 다른 클러스터의 하나 이상의 구역 및/또는 구역 그룹을 공유하는 구역 그룹 및/또는 구역의 클러스터를 호출하는 데 사용될 수 있다. 다른 양상에서, 이는 다른 구역 그룹과 구역을 공유하지 않는 구역 그룹과 상이하다. 영역을 구현하기 위한 기법의 추가 예시는 예컨대, 2017년 8월 21일 출원되고 제목이 "명칭에 기초한 공간 연계"인 미국 특허 출원 제15/682,853호 및 2007년 9월 11일에 출원되고 제목이 "멀티 구역 미디어 시스템에서 그룹핑 컨트롤 및 조종"인 미국 특허 제8,483,853호에서 발견될 수 있다. 이러한 출원 각각은 그 전체가 참조로서 여기에 포함된다. 일부 실시예에서, 미디어 재생 시스템(100)은 영역을 구현하지 않을 수 있으며, 이 경우 시스템은 영역과 연관된 변수를 저장하지 않을 수 있다.
메모리(216)는 다른 데이터를 저장하도록 더 구성될 수 있다. 그러한 데이터는 재생 장치 또는 재생 장치(또는 일부 다른 재생 장치)가 연관될 수 있는 재생 큐에 의해 접근 가능한 오디오 소스와 관련될 수 있다. 이하에서 설명되는 실시예에서, 메모리(216)는 음성 입력을 처리하는 경우, 제1 VAS(160)와 같은 특정 VAS를 선택하기 위해 명령 데이터의 세트를 저장하도록 구성된다.
동작 동안, 도 1의 환경에서 하나 이상의 재생 구역은 각각 상이한 오디오 컨텐츠를 재생할 수 있다. 예를 들어, 사용자는 발코니 구역에서 그릴에 굽고 재생 장치(102c)에 의해 재생되는 힙합 음악을 들을 수 있는 한편, 다른 사용자는 주방 구역에서 음식을 준비하고 재생 장치(102i)에 의해 재생되는 클래식 음악을 들을 수 있다. 다른 예시에서, 재생 구역은 다른 재생 구역과 동기화로 동일한 오디오 컨텐츠를 재생할 수 있다. 예를 들어, 사용자는 재생 장치(102d)가 발코니 구역에 있는 재생 장치(102c)에 의해 재생하고 있는 동일한 힙합 음악을 재생하고 있는 사무실 구역에 있을 수 있다. 이러한 경우에, 재생 장치(102c 및 102d)는 사용자가 다른 재생 구역 사이를 이동하면서 소리 내어 재생되고 있는 오디오 컨텐츠를 끊김 없이 (또는 적어도 실질적으로 끊김 없이) 즐길 수 있도록 동기화로 힙합 음악을 재생할 수 있다. 재생 구역 사이의 동기화는 앞서 참조된 미국 특허 제8,234,395호에 설명되는 바와 같이, 재생 장치 중의 동기화와 비슷한 방식으로 달성될 수 있다.
위에서 제안된 바와 같이, 미디어 재생 시스템(100)의 구역 구성은 동적으로 수정될 수 있다. 이와 같이, 미디어 재생 시스템(100)은 다수의 구성을 지원할 수 있다. 사용자가 하나 이상의 재생 장치를 구역으로부터 또는 구역으로 물리적으로 이동하는 경우, 미디어 재생 시스템(100)은 변화를 수용하도록 재구성될 수 있다. 예를 들어, 사용자가 재생 장치(102c)를 발코니 구역으로부터 사무실 구역으로 물리적으로 이동하는 경우, 사무실 구역은 이제 재생 장치(102c 및 102d) 둘 다를 포함할 수 있다. 일부 경우에서, 사용자는 예를 들어, 컨트롤러 장치(104) 중 하나 및/또는 음성 입력을 사용하여, 사무실 구역에 있는 플레이어를 재명명하고/거나 이동된 재생 장치(102c)를 사무실 구역과 페어링 또는 그룹핑할 수 있다. 다른 예시로서, 하나 이상의 재생 장치(102)가 이미 재생 구역이 아닌 집 환경에서 특정한 영역으로 이동되는 경우, 이동된 재생 장치는 특정한 영역에 대한 재생 구역과 연관되거나 재명명될 수 있다.
또한, 미디어 재생 시스템(100)의 상이한 재생 구역은 동적으로 구역 그룹으로 조합되거나 개별 재생 구역으로 나누어질 수 있다. 예를 들어, 식당 구역과 주방 구역은 저녁 파티를 위해 구역 그룹으로 조합되어 재생 장치(102i 및 102l)가 오디오 컨텐츠를 동기로 렌더링할 수 있다. 다른 예시로서, 거실 구역 내 결합된 재생 장치는 (i) 텔레비전 구역과 (ii) 별도 청취 구역으로 나누어질 수 있다. 텔레비전 구역은 앞쪽 재생 장치(102b)를 포함할 수 있다. 청취 구역은 위에서 설명된 바와 같이, 그룹핑, 페어링 또는 병합될 수 있는 오른쪽, 왼쪽 및 서브 재생 장치(102a, 102j 및 102k)를 포함할 수 있다. 거실 구역을 이러한 방식으로 나누는 것은 일 사용자가 거실 공간의 일 영역에 있는 청취 구역에서 음악을 듣도록 허용하고, 다른 사용자가 거실 공간의 다른 영역에서 텔레비전을 볼 수 있도록 허용할 수 있다. 관련된 예시에서, 사용자는 거실 구역을, 텔레비전 구역과 청취 구역으로 분리되기 이전에 컨트롤하도록 NMD(103a 또는 103b) 중 하나를 구현할 수 있다. 분리되면, 청취 구역은 예를 들어, NMD(103a)의 부근에 있는 사용자에 의해 컨트롤될 수 있고, 텔레비전 구역은 예를 들어, NMD(103b)의 부근에 있는 사용자에 의해 컨트롤될 수 있다. 그러나, 위에서 설명된 바와 같이, NMD(103) 중 임의의 것은 미디어 재생 시스템(100)의 다양한 재생 및 다른 장치를 컨트롤하도록 구성될 수 있다.
c. 예시적인 컨트롤러 장치
도 4a는 도 1의 미디어 재생 시스템(100)의 컨트롤러 장치(104) 중 선택된 하나의 일부 양상을 예시하는 기능적 블록도이다. 이러한 컨트롤러 장치는 또한 컨트롤러로서 지칭될 수 있다. 도 3에 도시된 컨트롤러 장치는 컴포넌트를 포함할 수 있는데, 이는 일반적으로 프로세서(412), 메모리(416), 마이크로폰(424) 및 네트워크 인터페이스(430)과 같은, 위에서 설명된 네트워크 장치의 일부 컴포넌트와 유사하다. 일 예시에서, 컨트롤러 장치는 미디어 재생 시스템(100)을 위한 전용 컨트롤러일 수 있다. 다른 예시에서, 컨트롤러 장치는 예컨대 아이폰(iPhone)TM, 아이패드(iPad)TM 또는 임의의 다른 스마트폰, 타블렛 또는 네트워크 장치(예컨대, PC 또는 맥(Mac)TM과 같은 네트워킹된 컴퓨터)와 같은, 미디어 재생 시스템 컨트롤러 어플리케이션 소프트웨어가 설치될 수 있는 네트워크 장치일 수 있다.
컨트롤러 장치의 메모리(416)는 컨트롤러 어플리케이션 소프트웨어 및 시스템(100)의 사용자 및/또는 미디어 재생 시스템(100)와 연관된 다른 데이터를 저장하도록 구성될 수 있다. 메모리(416)는 미디어 재생 시스템(100)의 구성, 컨트롤 및/또는 사용자 접근을 용이하게 하는 것과 같은, 일부 기능을 달성하도록 프로세서(412)에 의해 실행 가능한 하나 이상의 소프트웨어 컴포넌트(414)로 로드될 수 있다. 컨트롤러 장치는 위에서 설명된 바와 같이 무선 인터페이스와 같은, 네트워크 인터페이스를 통하여 다른 네트워크 장치와 통신한다.
일 예시에서, (예컨대, 상태 변수와 같은) 데이터와 정보는 네트워크 인터페이스(430)를 통하여 컨트롤러 장치와 다른 장치 사이에서 통신될 수 있다. 예를 들어, 미디어 재생 시스템(100)에서 재생 구역 및 구역 그룹 구성은 컨트롤러 장치에 의해, 재생 장치, 네트워크 마이크로폰 장치 또는 다른 네트워크 장치로부터 수신될 수 있거나, 컨트롤러 장치에 의해, 네트워크 인터페이스(406)를 통하여 다른 재생 장치 또는 네트워크 장치로 전송될 수 있다. 일부 경우에서, 다른 네트워크 장치는 다른 컨트롤러 장치일 수 있다.
음량 컨트롤 및 오디오 재생 컨트롤과 같은 재생 장치 컨트롤 명령은 또한 네트워크 인터페이스(430)를 통하여 컨트롤러 장치로부터 재생 장치로 통신될 수 있다. 위에서 제안된 바와 같이, 미디어 재생 시스템(100)의 구성으로의 변경은 또한 컨트롤러 장치를 사용하여 사용자에 의해 수행될 수 있다. 구성 변경은 다른 것들 중에서도 구역으로/으로부터 하나 이상의 재생 장치를 추가/제거하는 것, 구역 그룹으로/으로부터 하나 이상의 구역을 추가/제거하는 것, 결합 또는 병합된 재생 장치를 형성, 결합 또는 병합된 재생 장치로부터 하나 이상의 재생 장치를 분리하는 것을 포함할 수 있다.
컨트롤러 장치의 사용자 인터페이스(440)는 통합적으로 컨트롤러 인터페이스(440)라고 지칭될 수 있는, 도 4b 및 4c에서 각각 도시된 컨트롤러 인터페이스(440a 및 440b)와 같은 컨트롤러 인터페이스를 제공함으로써 사용자 접근 및 미디어 재생 시스템(100)의 컨트롤을 용이하게 하도록 구성될 수 있다. 도 4b 및 4c를 같이 참조하면, 컨트롤러 인터페이스(440)는 재생 컨트롤 영역(442), 재생 구역 영역(443), 재생 상태 영역(444), 재생 큐 영역(446) 및 소스 영역(448)을 포함한다. 도시된 바처럼 사용자 인터페이스(440)는 도 3에서 도시되는 컨트롤러 장치와 같이, 네트워크 장치 상에서 제공되고 미디어 재생 시스템(100)과 같은, 미디어 재생 시스템을 컨트롤하도록 사용자에 의해 접근될 수 있는 사용자 인터페이스의 단지 하나의 예시이다. 포맷, 스타일 및 상호작용 순서를 변동하는 다른 사용자 인터페이스가 하나 이상의 네트워크 장치 상에서 대안적으로, 구현되어 미디어 재생 시스템으로 비교 가능한 컨트롤 접근을 제공할 수 있다.
재생 컨트롤 영역(442)(도 4b)은 선택된 재생 구역 또는 구역 그룹 내 재생 장치로 하여금 재생 또는 일시 정지, 빨리 감기, 뒤로 감기, 다음으로 스킵, 이전으로 스킵, 셔플(shuffle) 모드 시작/종료, 반복 모드 시작/종료, 크로스 페이드 모드(cross fade mode) 시작/종료를 하도록 하는 (예컨대, 터치의 방식으로 또는 커서를 이용함으로써) 선택 가능한 아이콘을 포함할 수 있다. 재생 컨트롤 영역(442)은 또한 다른 가능성 중에서도, 이퀄라이제이션 설정(equalization setting) 및 재생 음량을 수정하도록 선택 가능한 아이콘을 포함할 수 있다.
재생 구역 영역(443)(도 4c)은 미디어 재생 시스템(100) 내에 있는 재생 구역의 표현(representation)을 포함할 수 있다. 재생 구역 영역은 또한 도시된 바와 같이, 식당+주방 구역 그룹과 같은, 구역 그룹의 표현을 포함할 수 있다. 일부 실시예에서, 재생 구역의 그래픽적 표현은, 다른 가능성 중에서도, 결합된 구역의 생성, 구역 그룹의 생성, 구역 그룹의 분리 및 구역 그룹의 재명명과 같은 미디어 재생 시스템에서의 재생 구역을 관리하거나 구성하기 위한 추가의 선택 가능한 아이콘을 띄우도록 선택 가능할 수 있다.
예를 들면, 도시된 바와 같이, "그룹" 아이콘이 재생 구역의 그래픽적 표현 각각 내에서 제공될 수 있다. 특정 구역의 그래픽적 표현 내에서 제공되는 "그룹" 아이콘은 특정 구역과 그룹핑될 미디어 재생 시스템 내 하나 이상의 다른 구역을 선택하기 위한 옵션을 띄우도록 선택 가능할 수 있다. 그룹핑 되면, 특정 구역과 그룹핑된 구역 내 재생 장치는 특정 구역 내 재생 장치와 동기화로 오디오 컨텐츠를 재생하도록 구성될 것이다. 유사하게, "그룹" 아이콘이 구역 그룹의 그래픽적 표현 내에서 제공될 수 있다. 이러한 경우에, "그룹" 아이콘은 구역 그룹으로부터 제거될 구역 그룹 내 하나 이상의 구역을 선택 해제하기 위한 옵션을 띄우도록 선택 가능할 수 있다. 사용자 인터페이스(400)와 같은, 사용자 인터페이스를 통하여 구역을 그룹핑 및 그룹핑 해제하기 위한 다른 상호 작용 및 구현예도 가능하다. 재생 구역 영역(443)(도 4c)에서 재생 구역의 표현은 재생 구역 또는 구역 그룹 구성이 수정됨에 따라 동적으로 업데이트될 수 있다.
재생 상태 영역(444)(도 4b)은 선택된 재생 구역 또는 구역 그룹에서 현재 재생되거나, 이전에 재생되었거나 다음에 재생하도록 스케줄링되는 오디오 컨텐츠의 그래픽적 표현을 포함할 수 있다. 선택된 재생 구역 또는 구역 그룹은 재생 구역 영역(443) 및/또는 재생 상태 영역(444) 내에서와 같이 사용자 인터페이스 상에서 시각적으로 구분될 수 있다. 그래픽적 표현은 트랙 타이틀(track title), 아티스트 이름, 앨범 이름, 앨범 년도, 트랙 길이 및 사용자 인터페이스(440)를 통하여 미디어 재생 시스템을 컨트롤하는 경우, 사용자가 알기에 유용할 수 있는 다른 관련 정보를 포함할 수 있다.
재생 큐 영역(446)은 선택된 재생 구역 또는 구역 그룹과 연관된 재생 큐 내의 오디오 컨텐츠의 그래픽적 표현을 포함할 수 있다. 일부 실시예에서, 각각의 재생 구역 또는 구역 그룹은 재생 구역 또는 구역 그룹에 의한 재생을 위한 0 개 이상의 오디오 항목에 대응하는 정보를 포함하는 재생 큐와 연관될 수 있다. 예를 들어, 재생 큐에 있는 각각의 오디오 항목은 가능한, 재생 장치에 의한 재생을 위한 로컬 오디오 컨텐츠 소스 또는 네트워킹된 오디오 컨텐츠 소스로부터 오디오 항목을 탐색 및/또는 검색하도록 재생 구역 또는 구역 그룹에서 재생 장치에 의해 사용될 수 있는 URI(uniform resource identifier), URL(uniform resource locator), 또는 일부 다른 식별자를 포함할 수 있다.
일 예시에서, 플레이리스트는 재생 큐에 추가될 수 있으며, 이러한 경우에 플레이리스트 내 각 오디오 항목에 대응하는 정보는 재생 큐에 추가될 수 있다. 다른 예시에서, 재생 큐에 있는 오디오 항목은 플레이리스트로서 저장될 수 있다. 추가적인 예시에서, 재생 구역 또는 구역 그룹이 재생 기간을 가지는 개별 오디오 항목 보다는 달리 멈출 때까지 지속적으로 재생할 수 있는 인터넷 라디오와 같은, 계속해서 스트리밍 오디오 컨텐츠를 재생하는 경우, 재생 큐는 비어 있거나 차 있더라도, "사용되지 않음"일 수 있다. 대안적인 실시예에서, 재생 큐는 재생 구역 또는 구역 그룹이 그러한 항목을 재생하고 있는 경우, 인터넷 라디오 및/또는 다른 스트리밍 오디오 컨텐츠 항목을 포함할 수 있고, "사용 중"일 수 있다. 다른 예시도 또한 가능하다.
재생 구역 또는 구역 그룹이 "그룹핑" 또는 "그룹핑 해제"되는 경우, 영향을 받는 재생 구역 또는 구역 그룹과 연관되는 재생 큐는 정리되거나 재연관될 수 있다. 예를 들어, 제1 재생 큐를 포함하는 제1 재생 구역이 제2 재생 큐를 포함하는 제2 재생 구역과 그룹핑되면, 규정된 구역 그룹은 처음에는 비어 있고, (제2 재생 구역이 제1 재생 구역으로 추가된 경우와 같이) 제1 재생 큐로부터의 오디오 항목을 포함하고, (제1 재생 구역이 제2 재생 구역으로 추가되는 경우와 같이) 제2 재생 큐로부터의 오디오 항목을 포함하거나 제1 및 제2 재생 큐 둘 다로부터의 오디오 항목의 조합을 포함하는 연관된 재생 큐를 가질 수 있다. 차후에, 규정된 구역 그룹이 그룹핑 해제되는 경우, 결과적인 제1 재생 구역은 이전의 제1 재생 큐와 재연관될 수 있거나, 비어 있거나 규정된 구역 그룹이 그룹핑 해제되기 이전에 규정된 구역 그룹과 연관된 재생 큐로부터의 오디오 항목을 포함하는 새로운 재생 큐와 연관될 수 있다. 유사하게, 결과적인 제2 재생 구역은 이전의 제2 재생 큐와 재연관될 수 있거나, 비어 있거나 규정된 구역 그룹이 그룹핑 해제되기 이전에 규정된 구역 그룹과 연관된 재생 큐로부터 오디오 항목을 포함하는 새로운 재생 큐와 연관될 수 있다. 다른 예시도 가능하다.
도 4b 및 도 4c를 계속 참조하면, 재생 큐 영역(446)(도 4c) 내 오디오 컨텐츠의 그래픽적 표현은 트랙 타이틀, 아티스트 이름, 트랙 길이 및 재생 큐에서 오디오 컨텐츠와 연관되는 다른 관련 정보를 포함할 수 있다. 일 예시에서, 오디오 컨텐츠의 그래픽적 표현은 재생 큐 및/또는 재생 큐에서 표현되는 오디오 컨텐츠를 관리 및/또는 조작하도록 추가의 선택 가능한 아이콘을 띄우도록 선택 가능할 수 있다. 예를 들어, 나타나는 오디오 컨텐츠는 다른 가능성 중에서도 재생 큐로부터 제거되거나, 재생 큐 내에서 다른 위치로 이동되거나 임의의 현재 오디오 컨텐츠 이후 또는 즉시 재생되도록 선택될 수 있다. 재생 구역 또는 구역 그룹과 연관된 재생 큐는 재생 구역 또는 구역 그룹 내 하나 이상의 재생 장치, 재생 구역 또는 구역 그룹에 있지 않은 재생 장치 및/또는 일부 다른 지정된 장치 상의 메모리에 저장될 수 있다. 그러한 재생 큐의 재생은 예컨대 순차적이거나 무작위 순서로 큐의 미디어 항목을 재생하는 하나 이상의 재생 장치를 포함할 수 있다.
소스 영역(448)은 선택 가능한 오디오 컨텐츠 소스와 대응하는 VAS와 연관된 선택 가능한 음성 보조원(assistant)의 그래픽적 표현을 포함할 수 있다. VAS는 선택적으로 할당될 수 있다. 일부 예시에서, AMAZON의 ALEXA® 및 다른 음성 서비스와 같은 복수의 VAS는 동일한 네트워크 마이크로폰 장치에 의해 작동될 수 있다. 일부 실시예에서, 사용자는 하나 이상의 네트워크 마이크로폰 장치에 배타적으로 VAS를 할당할 수 있다. 예를 들어, 사용자는 도 1에 도시된 거실에 있는 NMD(102a 및 102b) 중 하나 또는 둘 다에 제1 VAS를, 그리고 주방에 있는 NMD(103f)에 제2 VAS를 할당할 수 있다. 다른 예시도 가능하다.
d. 예시적인 오디오 컨텐츠 소스
소스 영역(448)에 있는 오디오 소스는 오디오 컨텐츠가 선택된 재생 구역 또는 구역 그룹에 의해 검색되고 재생될 수 있는 오디오 컨텐츠 소스일 수 있다. 구역 또는 구역 그룹 내 하나 이상의 재생 장치는 다양한 이용 가능한 오디오 컨텐츠 소스로부터 (예컨대, 오디오 컨텐츠에 대하여 대응하는 URI 또는 URL에 따라) 재생 오디오 컨텐츠를 검색하도록 구성될 수 있다. 일 예시에서, 오디오 컨텐츠는 대응하는 오디오 컨텐츠 소스로부터 직접적으로 (예컨대, 라인인 연결) 재생 장치에 의해 검색될 수 있다. 다른 예시에서, 오디오 컨텐츠는 하나 이상의 다른 재생 장치 또는 네트워크 장치를 통하여 네트워크 상에서 재생 장치로 제공될 수 있다.
예시적인 오디오 컨텐츠 소스는 다른 가능성 중에서도, 도 1의 미디어 재생 시스템(100)와 같은 미디어 재생 시스템 내 하나 이상의 재생 장치의 메모리, (예컨대, 컨트롤러 장치, 네트워크 가능한 개인 컴퓨터, 또는 네트워크 접속 기반 파일 서버(NAS)와 같은) 하나 이상의 네트워크 장치 상의 로컬 음악 라이브러리, 인터넷(예컨대, 클라우드)을 통하여 오디오 컨텐츠를 제공하는 스트리밍 오디오 서비스 또는 재생 장치 또는 네트워크 장치 상에서 라인인 입력 연결을 통하여 미디어 재생 시스템으로 연결되는 오디오 소스를 포함할 수 있다.
일부 실시예에서, 오디오 컨텐츠 소스는 도 1의 미디어 재생 시스템(100)과 같은 미디어 재생 시스템으로부터 정기적으로 추가 또는 제거될 수 있다. 일 예시에서, 하나 이상의 오디오 컨텐츠 소스가 추가, 제거 또는 갱신될 때마다 오디오 항목의 인덱싱(indexing)이 수행될 수 있다. 오디오 항목의 인덱싱은 미디어 재생 시스템 내 재생 장치에 의해 액세스 가능한 네트워크 상에서 공유되는 모든 폴더/디렉토리에서 식별 가능한 오디오 항목에 대하여 스캐닝하는 것 및 메타데이터(예컨대, 다른 것들 중에서도 타이틀, 아티스트, 앨범, 트랙 길이)와 탐색되는 각각의 식별 가능한 오디오 항목에 대한 URI 또는 URL과 같은 다른 연관되는 정보를 포함하는 오디오 컨텐츠 데이터베이스를 생성 또는 갱신하는 것을 포함할 수 있다. 오디오 컨텐츠 소스를 관리 및 유지하기 위한 다른 예시도 가능할 수 있다.
e. 예시적인 네트워크 마이크로폰 장치
도 5a는 본 개시의 양상에 따른 NMD(103) 중 하나 이상의 추가적 특징을 도시하는 기능적 블록도이다. 도 5a에 도시된 네트워크 마이크로폰 장치는 컴포넌트를 포함할 수 있으며, 이는 일반적으로 프로세서(212)(도 1), 네트워크 인터페이스(230)(도 2a), 마이크로폰(224) 및 메모리(216)와 같은, 위에서 설명된 네트워크 마이크로폰 장치의 일부 컴포넌트와 유사하다. 명확성을 위해 도시되지 않았지만, 네트워크 마이크로폰 장치는 위에서 설명된 바와 같이, 스피커, 증폭기, 신호 프로세서와 같은 다른 컴포넌트를 포함할 수 있다.
마이크로폰(224)은 네트워크 마이크로폰 장치의 환경에서 사운드를 검출하도록 배열된 복수의 마이크로폰일 수 있다. 일 예시에서, 마이크로폰(224)은 네트워크 마이크로폰에 관하여 하나 이상의 방향으로부터 오디오를 검출하도록 배열될 수 있다. 마이크로폰(224)은 주파수 범위의 일부에 민감할 수 있다. 일 예시에서, 마이크로폰(224)의 제1 서브 세트는 제1 주파수 범위에 민감할 수 있는 한편, 마이크로폰(224)의 제2 서브 세트는 제2 주파수 범위에 민감할 수 있다. 마이크로폰(224)은 오디오 소스(예컨대, 음성, 가청 사운드)의 위치 정보를 캡쳐하고/거나 배경 잡음을 필터링하는 것을 돕도록 더 배열될 수 있다. 특히, 일부 실시예에서, 마이크로폰(224)은 복수의 마이크로폰 보다 단일 마이크로폰을 가질 수 있다.
네트워크 마이크로폰 장치는 빔 형성 컴포넌트(551), 음향 반향 제거(acoustic echo cancellation)(AEC) 컴포넌트(552), 음성 액티비티 검출 컴포넌트(553), 활성 단어 검출 컴포넌트(554), 스피치/텍스트 변환 컴포넌트(555)(예컨대, 보이스 투 텍스트 및 텍스트 투 보이스) 및 VAS 선택 컴포넌트(556)를 더 포함할 수 있다. 다양한 실시예에서, 컴포넌트(551-556) 중 하나 이상은 프로세서(512)의 서브 컴포넌트일 수 있다.
빔 형성 및 AEC 컴포넌트(551 및 552)는 오디오 신호를 검출하고, 방향, 진폭, 주파수 스펙트럼 등과 같은 검출 오디오 내의 음성 입력의 양상을 결정하도록 구성된다. 예를 들어, 빔 형성 및 AEC 컴포넌트(551 및 552)는 네트워크 마이크로폰 장치와 네트워크 마이크로폰 장치로의 사용자의 발언 간의 대략적 거리를 결정하도록 프로세스에서 사용될 수 있다. 다른 예시에서, 네트워크 마이크로폰 장치는 미디어 재생 시스템에서 다른 네트워크 마이크로폰 장치로의 사용자의 상대적 근접성을 검출할 수 있다.
음성 액티비티 검출 컴포넌트(553)는 빔 형성 및 AEC 컴포넌트(551 및 552)와 밀접하게 작업하여 음성 액티비티가 검출되는 방향으로부터 사운드를 캡쳐하도록 구성된다. 잠재적 회화 방향은 다른 사운드로부터 회화를 구별하는 메트릭(metric)을 모니터링함으로써 식별될 수 있다. 그러한 메트릭은 예를 들어, 스펙트럼 구조의 측정인 회화 대역 내의 엔트로피 및 배경 잡음에 관한 회화 대역 내의 에너지를 포함할 수 있다. 회화는 보통 가장 흔한 배경 잡음에서 보다 낮은 엔트로피를 가진다.
활성 단어 검출 컴포넌트(554)는 수신된 오디오를 모니터링하고 분석하여 임의의 활성 단어가 오디오에 존재하는지 여부를 결정하도록 구성된다. 활성 단어 검출 컴포넌트(554)는 활성 단어 검출 알고리즘을 사용하여 수신된 오디오를 분석할 수 있다. 활성 단어 검출기(554)가 활성 단어를 검출하는 경우, 네트워크 마이크로폰 장치는 수신된 오디오에 포함된 음성 입력을 처리할 수 있다. 예시적인 활성 단어 검출 알고리즘은 입력으로서 오디오를 받아들이고, 활성 단어가 오디오에 존재하는지 여부의 지표를 제공한다. 많은 당사자 및 제3자 활성 단어 검출 알고리즘이 알려져 있고 상업적으로 이용 가능하다. 예를 들어, 음성 서비스의 오퍼레이터는 제3자 장치에서 사용 가능한 그들의 알고리즘을 만들 수 있다. 대안적으로, 알고리즘은 일부 활성 단어를 검출하도록 트레이닝될 수 있다.
일부 실시예에서, 활성 단어 검출기(554)는 수신된 오디오 상에 복수의 활성 단어 검출 알고리즘을 동시에(또는 실질적으로 동시에) 실행한다. 위에서 언급된 바와 같이, 다양한 음성 서비스(예컨대, AMAZON의 ALEXA®, APPLE의 SIRI® 또는 MICROSOFT의 CORTANA®)는 그들의 각 음성 서비스를 호출하기 위한 다양한 활성 단어를 각각 사용한다. 복수의 서비스를 지원하기 위해, 활성 단어 검출기(554)는 각 지원되는 음성 서비스에 대한 활성 단어 검출 알고리즘을 통하여 수신된 오디오 컨텐츠를 병렬로 실행할 수 있다.
VAS 선택 컴포넌트(556)는 음성 입력 내에서 사용자에 의해 언급된 명령에 대해 검출하도록 구성된다. 스피치/텍스트 변환 컴포넌트(555)는 음성 입력의 회화를 텍스트로 변환함으로써 처리를 용이하게 할 수 있다. 일부 실시예에서, 네트워크 마이크로폰 장치는 집에 연관되는 사용자의 특정한 세트 또는 특정한 사용자에 대해 트레이닝되는 음성 인식 소프트웨어를 포함할 수 있다. 그러한 음성 인식 소프트웨어는 특별 음성 프로파일로 튜닝되는 음성 처리 알고리즘을 구현할 수 있다. 특별 음성 프로파일로 튜닝하는 것은, 보통 미디어 재생 시스템에 타겟팅되지 않는 다양한 요청 및 다양한 기반의 사용자로부터 샘플링하는 종래 VAS보다 연산적으로 덜 집약적인 알고리즘을 요구할 수 있다.
VAS 선택 컴포넌트(556)는 또한 일부 명령 기준이 음성 입력에서 검출된 특정한 명령을 만족하는지 여부를 결정하도록 구성된다. 음성 입력 내 소정의 명령에 대한 명령 기준은 예컨대, 음성 입력 내에서의 일부 키워드의 포함 여부에 기초할 수 있다. 키워드는 예를 들어, 미디어 재생 시스템(100) 내 특정 장치 또는 그룹을 식별하는 음성 입력(680)에 있는 단어일 수 있다. 여기서 사용된 바와 같이, "키워드"라는 용어는 단일 단어(예컨대, "침실") 또는 단어의 그룹 (예컨대, "거실")을 지칭할 수 있다.
추가적으로 또는 대안적으로, 소정의 명령에 대한 명령 기준은 소정의 명령을 검출하는 것과 함께 하나 이상의 컨트롤 상태 및/또는 구역 상태 변수의 검출을 포함할 수 있다. 컨트롤 상태 변수는 예를 들어, 장치가 큐를 재생, 정지 등을 하는지 여부와 같이 재생 상태, 하나 이상의 장치와 연관된 큐 및 음량의 레벨을 식별하는 지표를 포함할 수 있다. 구역 상태 변수는 예를 들어, 있는 경우, 구역 플레이어가 그룹핑됨을 식별하는 지표를 포함할 수 있다. VAS 선택 컴포넌트(556)는 이하에서 더 자세히 설명되는 명령 및 연관된 명령 기준의 리스트를 포함하는 데이터 테이블(590)과 같은 명령 정보의 세트(216)를 메모리에 저장할 수 있다.
일부 실시예에서, 위에서 설명된 컴포넌트(551-556) 중 하나 이상은 미디어 재생 시스템(100)의 사용자 계정과 연관될 수 있는 사용자의 음성 프로파일을 검출하고 저장하도록 마이크로폰(224)과 함께 동작할 수 있다. 일부 실시예에서, 음성 프로파일은 이하에서 설명되는 바와 같이, 명령 정보의 세트에서 저장되는 변수로서 저장되고/거나 변수에 비교될 수 있다. 음성 프로파일은 앞서 참조된 미국 특허 출원 제15/438,749호에 설명된 바와 같이, 사용자의 음성의 톤 또는 주파수의 양상 및/또는 사용자의 음성의 다른 고유한 양상을 포함할 수 있다.
일부 실시예에서, 위에서 설명된 컴포넌트(551-556) 중 하나 이상은 NMD(103) 중 하나 이상의 위치에 관련된 위치 및/또는 가정 환경에서 사용자의 위치를 결정하도록 마이크로폰 어레이(524)와 함께 동작할 수 있다. 사용자의 위치 또는 근처는 아래에서 설명되는 바와 같이, 검출되고, 명령 정보(590)에 저장된 변수에 비교될 수 있다. 사용자의 위치 또는 근처를 결정하기 위한 기법은 앞서 참조된 미국 특허출원 제15/438,749호, 2011년 12월 29일 출원되고 제목이 "청취자 국부화를 사용하여 음장 교정"인 미국 특허 제9,084,058호 및 2012년 8월 31일 출원되고 제목이 "음향 최적화"인 미국 특허 제 8,965,033호에 개시된 하나 이상의 기법을 포함할 수 있다. 이러한 출원 각각은 그 전체가 참조로서 여기에 포함되다.
도 5b는 본 개시의 양상에 따른 예시적인 음성 입력의 도면이다. 음성 입력은 도 1에 도시된 NMD(103) 중 하나 이상과 같은, 네트워크 마이크로폰 장치에 의해 캡쳐될 수 있다. 음성 입력은 활성 단어 부분(557a) 및 음성 발화 부분(557b)(통합하여 "음성 입력(557)")을 포함할 수 있다. 일부 실시예에서, 활성 단어(557a)는 AMAZON의 ALEXA®와 연관되는 "Alexa"와 같은, 알려진 활성 단어일 수 있다. 다른 실시예에서, 음성 입력(557)은 활성 단어를 포함하지 않을 수 있다.
일부 실시예에서, 네트워크 마이크로폰 장치는 활성 단어 부분(557a)의 검출에 따라 가청 및/또는 가시적인 응답을 출력할 수 있다. 추가적 또는 대안적으로, 네트워크 마이크로폰 장치는 음성 입력 및/또는 (예컨대, 복수 차례 요청의 경우) 일련의 음성 입력를 처리한 후 가청 및/또는 가시적인 응답을 출력할 수 있다.
음성 발화 부분(557b) 예를 들어, 하나 이상의 언급된 명령(558)(각각 제1 명령(558a) 및 제 2 명령(558b)으로서 식별됨) 및 하나 이상의 언급된 키워드(559)(각각 제1 키워드(559a) 및 제 2 키워드(559b)로서 식별됨)를 포함할 수 있다. 일 예시에서, 제1 명령(557a)은 특별한 노래, 앨범, 플레이리스트 등을 재생하기 위한 명령일 수 있다. 이러한 예시에서, 키워드(559)는 도 1에 도시된 거실과 식당과 같이, 음악이 재생될 하나 이상의 구역을 식별하는 하나 이상의 단어일 수 있다. 일부 예시에서, 음성 발화 부분(557b)은 도 5b에 도시된 바와 같이, 사용자에 의해 언급된 단어 사이에서 검출된 정지(예를 들어, 비-회화의 기간)와 같은 다른 정보를 포함할 수 있다. 정지는 발화 부분(557b) 내에서 사용자에 의해 언급된 분리된 명령, 키워드 또는 다른 정보의 위치를 경계 지을 수 있다.
일부 실시예에서, 미디어 재생 시스템(100)은 활성 단어 부분(557a)을 검출하는 동안 재생하고 있는 오디오 컨텐츠의 음량을 일시적으로 줄이도록 구성된다. 미디어 재생 시스템(100)은 도 5b에 도시된 바와 같이, 음성 입력(557)을 처리한 후 음량을 복구할 수 있다. 그러한 프로세스는 더킹(ducking)으로서 지칭될 수 있으며, 그 예시는 앞서 참조된 미국 특허 출원 제15/438,749호의 개시된다.
f. 예시적인 네트워크 및 원격 컴퓨팅 시스템
도 6은 도 1의 원격 컴퓨팅 장치(105)의 추가적인 세부사항을 도시하는 기능적 블록도이다. 다양한 실시예에서, 원격 컴퓨팅 장치(105)는 도 1에 도시된 WAN(107)를 통해 NMD(103) 중 하나 이상으로부터 음성 입력을 수신할 수 있다. 예시의 목적으로, 음성 입력(557)(도 5b)의 선택된 통신 경로는 도 6의 화살표에 의해 나타난다. 일 실시예에서, 원격 컴퓨팅 장치(105)에 의해 처리된 음성 입력(557)은 음성 발화 부분(557b)(도 5b)을 포함할 수 있다. 다른 실시예에서, 처리된 음성 입력(557)은 음성 발화 부분(557b) 및 활성 단어(557a)(도 5b) 둘 다를 포함할 수 있다.
원격 컴퓨팅 장치(105)는 하나 이상의 프로세서를 포함하는 시스템 컨트롤러(612), 의도 엔진(662) 및 메모리(616)를 포함한다. 메모리(616)는 시스템 컨트롤러(612) 및/또는 재생, 네트워크 마이크로폰 및/또는 컨트롤러 장치들(102-104) 중 하나 이상에 의해 실행 가능한 명령어를 저장하도록 구성된 유형의 컴퓨터 판독 가능 기록 매체일 수 있다.
의도 엔진(662)은 음성 입력을 처리하고 입력의 의도를 결정하도록 구성된다. 일부 실시예에서, 의도 엔진(662)은 시스템 컨트롤러(612)의 서브 컴포넌트일 수 있다. 의도 엔진(662)은 음성 입력을 처리하도록 하나 이상의 VAS 데이터베이스(664)와 같은 하나 이상의 데이터베이스와 상호 작용할 수 있다. VAS 데이터베이스(664)는 재생, 네트워크 마이크로폰 및/또는 컨트롤러 장치들(102-104) 중 하나 이상의 메모리와 같이 메모리(616) 또는 다른 곳에 있을 수 있다. 일부 실시예에서, VAS 데이터베이스(664)는 음성 입력 처리에 기초하여 적응 학습 또는 피드백을 위해 업데이트될 수 있다. VAS 데이터베이스(664)는 NLU 관련 및/또는 다른 처리를 위한 다양한 사용자 데이터, 분석, 카탈로그 및 기타 정보를 저장할 수 있다.
원격 컴퓨팅 장치(105)는 다양한 피드백, 정보, 명령어 및/또는 미디어 재생 시스템(100)의 다양한 재생, 네트워크 마이크로폰 및/또는 컨트롤러 장치들(102-104)과 관련된 데이터를 교환할 수 있다. 그러한 교환은 음성 입력을 포함하는 전송된 메시지와 관련되거나 이와 독립적인 것일 수 있다. 일부 실시예에서, 원격 컴퓨팅 장치(105) 및 미디어 재생 시스템(100)은 여기서 설명된 바와 같은 통신 경로를 통하고/거나 앞서 참조된 미국 출원 제15/438,749호에서 설명된 바와 같은 메타데이터 교환 채널을 사용하여 데이터를 교환할 수 있다.
미디어 재생 시스템(100)의 장치에 의한 음성 입력의 처리는 원격 컴퓨팅 장치(105)에 의해 음성 입력의 처리와 적어도 부분적으로 병렬로 수행될 수 있다. 또한, 네트워크 마이크로폰 장치의 스피치/텍스트 변환 컴포넌트(555)는 하나 이상의 스피커를 통한 가청 출력을 위해 원격 컴퓨팅 장치(105)로부터의 응답을 회화로 변환할 수 있다.
본 개시의 다양한 실시예에 따라, 원격 컴퓨팅 장치(105)는 미디어 재생 시스템(100)에 대한 제1 VAS(160)의 기능을 수행한다. 도 7a는 제1 VAS(160)를 포함하는 예시적인 네트워크 시스템(700)의 개략도이다. 도시된 바와 같이, 원격 컴퓨팅 장치(105)는 WAN(107)(도 1) 및/또는 WAN(107)으로 연결되는 LAN(706)을 통하여 미디어 재생 시스템(100)과 연결될 수 있다. 이러한 방식으로, 미디어 재생 시스템(100)의 다양한 재생, 네트워크 마이크로폰 및 컨트롤러 장치들(102-104)은 원격 컴퓨팅 장치(105)와 통신하여 제1 VAS(160)를 호출할 수 있다.
네트워크 시스템(700)은 추가적인 제1 원격 컴퓨팅 장치(705a)(예컨대, 클라우드 서버) 및 제2 원격 컴퓨팅 장치(705b)(예컨대, 클라우드 서버)를 더 포함한다. 제2 원격 컴퓨팅 장치(705b)는 SPOTIFY® 또는 PANDORA®와 같은 미디어 서비스 제공자(767)와 연관될 수 있다. 일부 실시예에서, 제2 원격 컴퓨팅 장치(705b)는 제1 VAS(160)의 컴퓨팅 장치와 직접적으로 통신할 수 있다. 추가적으로 또는 대안적으로, 제2 원격 컴퓨팅 장치(705b)는 미디어 재생 시스템(100) 및/또는 다른 개재하는 원격 컴퓨팅 장치와 통신할 수 있다.
제1 원격 컴퓨팅 장치(705a)는 제2 VAS(760)와 연관될 수 있다. 제2 VAS(760)는 예컨대, AMAZON의 ALEXA®, APPLE의 SIRI®, MICROSOFT의 CORTANA® 또는 다른 VAS 제공자와 연관되는 종래의 VAS 제공자일 수 있다. 명확성을 도시되지 않았지만, 네트워크 컴퓨팅 시스템(700)은 추가적인 종래 VAS와 같은 하나 이상의 추가 VAS와 연관되는 원격 컴퓨팅 장치를 더 포함할 수 있다. 이러한 실시예에서, 미디어 재생 시스템(100)은 제2 VAS(760) 및 다른 VAS 상에 제1 VAS(160)를 선택하도록 구성될 수 있다.
도 7b는 도 7a의 네트워크 컴퓨팅 시스템(700)에서 다양한 데이터 교환을 예시하는 메시지 흐름도이다. 미디어 재생 시스템(100)은 도 1에서 도시된 NMD(103) 중 하나 이상과 같은 네트워크 마이크로폰 장치(블록 771)를 통하여 음성 입력을 캡쳐한다. 미디어 재생 시스템(100)은 이하에서 설명된 바와 같이, 명령 정보(590)의 세트에서 연관된 명령 기준과 명령에 기초하여 적절한 VAS를 선택할 수 있다(블록 771-774). 제2 VAS(760)가 선택되는 경우, 미디어 재생 시스템(100)은 음성 입력을 포함하는 하나 이상의 메시지(781)(예컨대, 패킷)를 처리를 위해 제2 VAS(760)로 전송할 수 있다.
제1 VAS(160)가 다른 한편으로, 선택되는 경우, 미디어 재생 시스템(100)은 음성 입력을 포함하는 하나 이상의 메시지(782)(예컨대, 패킷)를 VAS(160)로 전송한다. 미디어 재생 시스템(100)은 VAS(160)로 메시지(782)와 다른 정보를 동시에 전송할 수 있다. 예를 들어, 미디어 재생 시스템(100)은 앞서 이전에 참조된 미국 특허 출원 제15/131,244호에서 설명된 바와 같이, 메타 데이터 채널을 통하여 데이터를 전송할 수 있다.
제1 VAS(160)는 메시지(782)에 있는 음성 입력을 처리하여 의도를 결정할 수 있다(블록 775). 의도에 기초하여, VAS(160)는 미디어 재생 시스템(100)으로 하나 이상의 응답 메시지(783)(예컨대, 패킷)를 송신할 수 있다. 일부 경우에서, 응답 메시지(783)는 미디어 재생 시스템(100)의 장치 중 하나 이상에 명령어를 실행하도록 지시하는 페이로드를 포함할 수 있다(블록 776). 예를 들어, 명령어는 미디어 재생 시스템(100)에 미디어 컨텐츠를 재생, 장치를 그룹핑 및/또는 이하에서 설명된 다른 기능을 수행하도록 지시할 수 있다. 추가적으로 또는 대안적으로, VAS(160)로부터의 응답 메시지(783)는 복수 차례 명령의 경우에서와 같이, 더 많은 정보에 대한 요청을 가지는 페이로드를 포함할 수 있다.
일부 실시예에서, 제1 VAS(160)로부터 송신된 응답 메시지(783)는 미디어 서비스(767)로부터 오디오 컨텐츠와 같은 미디어 컨텐츠를 요청하도록 미디어 재생 시스템(100)에 지시할 수 있다. 다른 실시예에서, 미디어 재생 시스템(100)은 VAS(160)와는 독립적으로 컨텐츠를 요청할 수 있다. 어떠한 경우에서나, 미디어 재생 시스템(100)은 예컨대, 오디오 컨텐츠를 포함하는 미디어 스트림(784)을 통하는 것과 같이, 컨텐츠를 수신하기 위해 메시지를 교환할 수 있다.
일부 실시예에서, 미디어 재생 시스템(100)은 네트워크 인터페이스를 통하여, 근거리 네트워크에서 재생, 네트워크 마이크로폰 또는 다른 장치 상의 라인 인 인터페이스로부터 오디오 컨텐츠를 수신할 수 있다. 예시적인 오디오 컨텐츠는 오디오 컨텐츠의 많은 다른 형태 중에서도, 하나 이상의 오디오 트랙, 토크 쇼, 영화, 텔레비전 쇼, 팟캐스트, 인터넷 스트리밍 비디오를 포함할 수 있다. 오디오 컨텐츠는 비디오(예컨대, 비디오의 오디오 트랙)에 의해 동반될 수 있고 오디오 컨텐츠는 비디오에 의해 동반되지 않은 컨텐츠일 수 있다.
일부 실시예에서, 미디어 재생 시스템(100) 및/또는 제1 VAS(160)는 트레이닝 및 적응 트레이닝 및 학습(블록 777 및 778)을 위해 VAS 로부터 성공한(또는 성공하지 못한) 응답을 내는 음성 입력을 사용할 수 있다. 트레이닝 및 적응 학습은 미디어 재생 시스템(100) 및/또는 제1 VAS(160)에 의해 음성 처리의 정확성을 향상시킬 수 있다. 일 예시에서, 의도 엔진(662)(도 6)은 미디어 재생 시스템(100)과 연관되는 하나 이상의 사용자 계정에 대한 VAS 데이터베이스(664)에서 트레이닝 학습 데이터를 업데이트하고 유지할 수 있다.
III. VAS를 호출하기 위한 예시적인 방법 및 시스템
위에서 논의된 바와 같이, 여기서 설명된 실시예는 제1 VAS(160)를 호출하는 것을 포함할 수 있다. 일 양상에서, 제1 VAS(160)는 미디어 재생 시스템(100)에 대한 향상된 컨트롤 특징을 제공할 수 있다. 다른 양상에서, 제1 VAS는 위에서 논의된 바와 같이, 종래의 VAS와 같은 다른 VAS에 비교하여 미디어 재생 시스템(100)을 컨트롤하기 위해 개선된 VAS 경험을 제공할 수 있다.
일부 실시예에서, 도 7b에서 도시된 제2 VAS(760)와 같은 종래의 VAS는 미디어 재생 시스템(100)에 의해 호출되어 상대적으로 간단한 재생/정지/스킵 기능과 같은 상대적으로 기본적인 컨트롤을 수행할 수 있다. 일부 구현예에서, 제2 VAS(760)는, 제1 VAS(160)를 통하여 쉽게 호출 가능하지 않을 수 있는 다른 서비스를 제공할 수 있다. 예를 들어, 일부 구현예에서, 종래의 VAS가 음성 기반 인터넷 검색을 제공하는 한편, 제1 VAS(160)는 그렇지 않을 수 있다.
도 8은 VAS를 호출하기 위한 방법(800)의 예시적인 흐름도이다. 방법(800)은 예를 들어, 본 개시의 실시예에 따라 구성된 미디어 재생 시스템(100) 또는 다른 미디어 재생 시스템을 포함하는 동작 환경 내에서 구현될 수 있는 방법의 실시예를 나타낸다. 이하에 설명되는 예시에서, 방법(800)은 제2 VAS(760) 상에 제1 VAS(160)를 선택하는 것을 포함한다.
방법(300)은 여기에서 및/또는 앞서 참조된 미국 특허 출원 제15/438,749호에서 설명된 바와 같이 다양한 장치 및 시스템 사이의 정보를 전송하고 수신하는 것을 포함할 수 있다. 예를 들어, 방법은 재생 시스템 중 재생, 네트워크 마이크로폰, 컨트롤러 및 원격 컴퓨팅 장치(102-105), 미디어 서비스(767)의 원격 컴퓨팅 장치(705b) 및/또는 제2 VAS(760)의 원격 컴퓨팅 장치(705a) 중 하나 이상 사이의 정보를 전송하고 수신하는 것을 포함할 수 있다. 도 8의 블록도가 순차적인 순서로 예시되어 있지만, 이러한 블록도는 병렬 및/또는 여기에 설명된 순서와 상이한 순서로도 수행될 수 있다. 또한, 다양한 블록은 요구되는 구현예에 기초하여 더 적은 블록도로 결합되고/거나, 추가적인 블록도로 분할되고/거나 제거될 수 있다.
또한, 여기서 개시된 방법(800) 및 다른 프로세스 및 방법을 위해, 흐름도는 본 실시예의 일 가능한 구현예의 기능과 동작을 도시한다. 따라서, 각 블록은 프로세스에서 특정 논리 함수 또는 단계를 구현하기 위한 프로세서에 의해 실행가능한 하나 이상의 명령어를 포함하는 모듈, 세그먼트 또는 프로그램 코드의 일부를 표현할 수 있다. 프로그램 코드는 예컨대, 디스크 또는 하드 디스크를 포함하는 저장 장치와 같은 컴퓨터 판독 가능 기록 매체 중 임의의 유형에 저장될 수 있다. 컴퓨터 판독 가능 기록 매체는 예를 들어, 레지스터 메모리, 프로세서 캐시 및 RAM(random access memory)처럼 단기간 동안 저장하는 컴퓨터 판독 가능 기록 매체와 같은 비일시적인 컴퓨터 판독 가능 기록 매체를 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 또한 예컨대 ROM(read-only memory), 광학 또는 자기 디스크, CD-ROM (compact-disc read only memory)처럼 이차적인 또는 영구적인 장기간 저장소와 같은 비일시적인 컴퓨터 판독 가능 기록 매체를 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독 가능 기록 매체는 컴퓨터 판독 가능 저장 매체 또는 예컨대, 유형의 저장 장치로 간주될 수 있다. 컴퓨터 판독 가능 기록 매체는 다양한 재생, 네트워크 마이크로폰, 컨트롤러 및 원격 컴퓨팅 장치를 참조하여 위에서 설명된 메모리 중 하나에 의해 포함될 수 있다. 또한, 여기서 개시된 방법(800)과 다른 프로세스 및 방법을 위해, 도 8의 각 블록은 프로세스에서 특별한 논리 함수를 수행하도록 유선으로 연결되는 회로를 나타낼 수 있다.
일부 실시예에서, 방법(800)은 어플리케이션을 개시하기 위해 사용자 입력을 수신하는 단계, 사용자와 사용자 계정 정보를 수신하는 단계, 시스템 파라미터를 결정하는 단계, 음악 서비스와 상호작용하는 단계 및/또는 예컨대, 시스템 정보를 디스플레이, 선택 및 들어가기 위해, 컨트롤러와 상호작용하는 단계를 더 포함할 수 있다. 다양한 실시예에서, 방법(800)은 그 전체가 참조로서 여기에 포함되는, 2016년 7월 29일 출원되고 제목이 "미디어 재생 시스템의 음성 컨트롤"인 특허 출원 제15/223,218호에서 설명되는 예시적인 방법 및 시스템을 포함할 수 있다.
a. 명령의 리스트 및 명령의 연관된 기준을 포함하는 명령 정보의 세트가 메모리에 저장되도록 함
블록(801)에서, 방법(800)은 네트워크 마이크로폰 장치의 메모리(216)에 저장된 명령 정보의 세트와 같은 명령 정보의 세트를 저장하는 단계를 포함할 수 있다. 도 8b를 참조하면, 명령 정보(890)의 예시적인 세트는 명령(892)의 리스트를 포함할 수 있다. 명령 정보(890)의 세트는 데이터 테이블 또는 다른 데이터 구조일 수 있다. 명령 정보(890)의 세트는 예를 들어, 재생, 컨트롤러, 네트워크 마이크로폰 및/또는 원격 컴퓨팅 장치(102-105) 중 하나 이상의 메모리에 저장될 수 있다. 일부 실시예에서, 명령 정보(890)의 세트는 메타 데이터 교환 채널 및/또는 미디어 재생 시스템과 원격 컴퓨팅 장치 간의 다른 통신 경로를 통하여 접근 가능할 수 있다.
예시에서, 명령(892)의 세트는 제1 내지 제n 명령을 포함한다. 예시로서, 제1 명령은 사용자가 "음악 재생해"라고 말하는 경우와 같이, 재생을 개시하기 위한 명령일 수 있다. 제2 명령은 예컨대, 정지, 재개, 스킵, 재생하기 위한 이송 컨트롤 명령과 같은 컨트롤 명령일 수 있다. 예를 들어, 제2 명령은 사용자가 "노래의 다음 트랙으로 스킵해"라고 요구하는 것을 포함하는 명령일 수 있다. 제3 명령은 재생 장치를 그룹핑, 결합 및 병합하기 위한 명령과 같은 구역 타겟팅 명령일 수 있다. 예를 들어, 제3 명령은 사용자가 "거실과 식당을 그룹핑해"라고 요구하는 것을 포함하는 명령일 수 있다.
여기서 설명된 명령은 예시이고, 다른 명령도 가능하다. 예를 들어, 도 9a-9c는 추가의 예시적인 재생 개시, 컨트롤 및 구역 타겟팅 명령이 있는 테이블을 도시한다. 추가 예시와 같이, 명령은 문의 명령(inquiry command)을 포함할 수 있다. 문의 명령은 예를 들어, 어떤 오디오가 현재 재생되고 있는지에 관한 사용자에 의한 쿼리를 포함할 수 있다. 예를 들어, 사용자는 "거실에서 무엇이 재생되고 있는지 말해줘"라는 문의 명령을 말할 수 있다.
도 8b에 더 도시된 바와 같이, 명령(892)은 명령 데이터(890)의 세트에서도 저장되는 명령 기준과 연관된다. 예를 들어, 제1 명령은 하나 이상의 제1 명령 기준_1과 연관되고, 제2 명령은 하나 이상의 제2 명령 기준_2와 연관되며, 제3 명령은 하나 이상의 제3 명령 기준_3과 연관된다. 명령 기준은 일부 변수 인스턴스에 관한 결정을 포함할 수 있다. 변수 인스턴스는 사용자 계정과 연관되거나 연관되지 않을 수 있는 식별자(예컨대, 태그)로 저장될 수 있다. 변수 인스턴스는 사용자 계정과 연관되거나 사용자에 의해 추가되거나 제거되는 새로운 지정 이름을 포함하도록 지속적으로, 정기적으로 또는 비정기적으로 업데이트될 수 있다. 지정 이름은 데이터베이스에 이미 존재하거나 존재하지 않을 수 있는, 사용자에 의해 공급된 임의의 이름일 수 있다.
변수 인스턴스는 상태 테이블에서 저장된 값 및/또는 명칭으로서 참조되고/거나 하나 이상의 재생, 네트워크 마이크로폰, 컨트롤러 및 원격 컴퓨팅 장치(102-105)를 통해 상태 테이블에서 동적으로 수정되고 저장되는 음성 입력의 키워드에 존재할 수 있다. 예시적인 변수 인스턴스는 구역 변수 인스턴스, 컨트롤 상태 변수 인스턴스, 타겟 변수 인스턴스 및 기타 변수 인스턴스를 포함할 수 있다. 구역 변수 인스턴스는 예를 들어, 위에서 설명된 것들을 포함하는 구역, 구역 그룹, 재생 장치, 네트워크 마이크로폰 장치, 결합된 상태, 구역 등을 표현하는 식별자를 포함할 수 있다. 컨트롤 상태 변수는 예를 들어, 음악을 재생하는 장치, 장치의 음량 및 장치 상에 저장된 큐 등을 나타내는 정보와 같이, 개별 재생 및 네트워크 마이크로폰 장치들 및/또는 복수 장치의 장치의 현재 컨트롤 상태를 포함할 수 있다. 타겟 변수 인스턴스는 예를 들어, 장치의 그룹, 결합된 장치 및 병합된 장치에 대응하는 일부 컨트롤 상태 및/또는 진행된 상태 정보를 포함할 수 있다. 타겟 변수 인스턴스는 또한 미디어 재생 시스템(100)의 다양한 장치의 이퀄라이제이션 설정과 같은 조정 상태(calibration state)에 대응할 수 있다.
다른 변수 인스터스도 가능하다. 예를 들어, 미디어 변수 인스턴스는 오디오 컨텐츠(예컨대, 특정 트랙, 앨범, 아티스트, 플레이리스트, 스테이션 또는 음악의 장르)와 같은, 미디어 컨텐츠를 식별할 수 있다. 일부 실시예에서, 미디어 변수는 사용자에 의해 요구되는 컨텐츠 또는 오디오에 대한 데이터베이스를 검색하는 것에 응답하여 식별될 수 있다. 미디어 변수는 위에서 논의된 바와 같이, 상태 테이블에서 참조, 유지되고 업데이트되거나, 쿼리에서 참조되는 음성 입력에 존재할 수 있다. 다른 예시로서, 일부 변수 인스턴스는 사용자의 음성 프로파일이 소정의 음성 입력에서 검출되었는지 여부, 특별 활성 단어가 검출되었는지 여부 등 가정 환경 내 사용자의 위치 또는 근접성을 나타낼 수 있다. 변수 인스턴스는 지정 변수 인스턴스(custom variable instance)를 포함할 수 있다.
일부 실시예에서, 명령 정보(890)의 세트에 저장된 기준의 적어도 일부는 변수 인스턴스의 스칼라 벡터 또는 변수 인스턴스의 다른 그러한 세트를 포함할 수 있다. 예를 들어, 기준_1은 도 1의 미디어 재생 시스템(100)에서 도시된 구역을 표현하는 구역 변수를 식별하는 벡터를 포함할 수 있다. 그러한 벡터는 [발코니, 거실, 식당, 주방, 사무실, 침실, Nick의 공간]을 포함할 수 있다. 일 실시예에서, 기준_1은 벡터 내의 구역 변수 중 둘 이상이 음성 입력 내 키워드로서 검출되는 경우 만족될 수 있다.
명령 정보(890)의 세트는 사용자-특정 정보(894) 및 지정 정보(896)와 같은 다른 정보도 포함할 수 있다. 사용자-특정 정보(894)는 사용자 계정 및/또는 집 식별자(HHI)와 연관될 수 있다. 지정 정보(896)는 예를 들어, 지정 구역 명칭, 지정 플레이리스트 및/또는 지정 플레이리스트 명칭과 같은 지정 변수를 포함할 수 있다. 예를 들어, "Nick의 Faves"는 사용자에 의해 생성된 지정 명칭을 가지는 지정 플레이리스트일수 있다.
b. 음성 입력을 캡쳐
도 8a를 다시 참조하면, 블록(802 및 803)에서, 방법(800)은 음성 입력에 있는 활성 단어를 모니터링하고 검출하는 단계를 포함한다. 예를 들어, 미디어 재생 시스템(100)은 음성 입력을 나타내는 수신된 오디오를 분석하여 활성 단어가 표현되는지 여부를 결정할 수 있다. 미디어 재생 시스템(100)은 위에서 논의된 바와 같이, 활성 단어 검출 컴포넌트를 통하는 것처럼, 하나 이상의 활성 단어 검출 알고리즘을 사용하여 수신된 오디오를 분석할 수 있다.
블록(804)에서, 방법(800)은 블록(802 및 803)에서 활성 단어의 검출에 후속하여 음성 입력을 캡쳐하는 단계를 포함한다. 다양한 실시예에서, 음성 입력은 재생 시스템(100)의 NMD(103) 중 하나 이상을 통하여 캡쳐될 수 있다. 여기서 사용된 바와 같이, 용어 "캡쳐" 또는 "캡쳐하는 것"은 활성 단어에 후속하는 음성 발화와 같은, 음성 입력의 적어도 일부를 녹음하는 것을 포함하는 프로세스를 지칭할 수 있다. 일부 실시예에서, 캡쳐된 음성 입력은 활성 단어를 포함할 수 있다. 일부 실시예에서, 아래에서 설명된 용어 "캡쳐" 또는 "캡쳐하는 것"은 또한 음성 입력의 적어도 일부를 녹음하는 것 및 예컨대, 스피치 투 텍스트 변환(speech-to-text conversion)을 사용하는 텍스트와 같은, 특정 포맷으로 음성 입력을 변환하는 것을 지칭할 수 있다.
c. 캡쳐된 음성 입력 내의 명령 중 하나 이상을 검출
*블록(805 및 806)에서, 방법(800)은 블록(804)에서 캡쳐된 음성 입력 내의 하나 이상의 명령(892)(도 8b)를 검출하는 단계를 포함한다. 다양한 실시예에서, 방법(800)은 음성 입력을 파싱하고 명령(892) 중 하나가 캡쳐된 음성 입력에서 발견된 구문과 매치하는 구문을 가지는지 여부를 결정함으로써 명령을 검출할 수 있다. 이러한 방식으로, 방법(800)은 음성 입력에서 명령의 의도를 검출하도록 매칭 구문을 사용할 수 있다. 매칭 구문은 단어, 단어의 그룹, 어구 등일 수 있다. 일 예시적인 명령에서, 사용자는 "발코니와 거실에서 Beatles를 재생해"라고 말할 수 있다. 이러한 예시에서, 방법(800)은 명령 정보의 세트(890)에서 제1 재생 개시 명령에 대한 구문에 매칭함에 따라 "재생해"라는 구문을 인식할 수 있다. 또한, 방법(800)은 미디어 변수로서 "Beatles"와 구역 변수로서 "발코니" 및 "거실"을 인식할 수 있다. 따라서, 명령의 구문은 다음과 같은 변수 인스턴스의 관점으로 표현될 수 있다: "[제1 구역 변수]와 [제2 구역 변수]에서 [미디어 변수]를 재생해." 비슷한 명령은 "[제1 구역 변수]와 [제2/그룹 장치 변수]에서 [미디어 변수]를 들려줘"를 포함할 수 있다. "들려줘"는 아래에서 논의되는 바와 같이, "재생해"의 의도와 관련어일 수 있다.
일부 실시예에서, 사용자는 하나의 구역 변수 인스턴스에 의하거나 구역 변수 인스턴스 없이 동반되는 명령을 말할 수 있다. 일 예시에서, 사용자는 단순히 "Beatles 재생해"라고 말함으로써 음성 입력을 줄 수 있다. 이러한 경우에, 방법(800)은 디폴트 구역에서 "Beatles를 재생해"라는 의도를 결정할 수 있다. 다른 경우에, 방법(800)은 사용자의 존재가 특정 구역에서 검출되는 한편, 사용자가 Beatles를 재생하라고 요청하는 경우와 같이, 명령에 대해 만족될 수 있는 다른 명령 기준에 기초하여 하나 이상의 재생 장치 상에서 "Beatles를 재생해"라는 의도를 결정할 수 있다. 예를 들어, 미디어 재생 시스템(100)은 음성 입력이 도 1에서 도시된 거실 구역에 위치된 오른쪽 재생 장치(102a)에 의해 검출되는 경우, 이러한 구역에서 Beatles를 재생할 수 있다.
다른 예시적인 명령은 선택된 미디어 컨텐츠로 하여금 구역에서 다음에 재생될 큐의 상부에 추가되도록 할 수 있는 다음 재생 명령일 수 있다. 이러한 명령에 대한 예시적인 구문은 "다음엔 [미디어 변수] 재생해"일 수 있다.
명령의 다른 예시는 일 구역에서 다른 구역으로 구역의 재생 큐 및/또는 현재 재생하는 음악을 이동하거나 이송할 수 있는 이동 또는 이송 명령일 수 있다. 예를 들어, 사용자는 "[구역 변수]로 음악을 이동해"의 음성 입력을 말할 수 있으며, 여기서 "이동해" 또는 "옮겨"라는 명령 단어는 재생 상태를 다른 구역으로 이동하기 위한 의도에 해당할 수 있다. 관련된 예시로서, 음악을 이동하는 의도는 두 개의 미디어 재생 시스템 명령에 대응할 수 있다. 두 개의 명령은 제2 구역과 제1 구역을 그룹핑하고, 이후 그룹으로부터 제2 구역을 제거하여 제2 구역의 상태를 제1 구역으로 사실상 옮길 수 있다.
음성 입력에서 검출될 수 있는 명령 및 변수 인스턴스에 대한 의도는 사용자의 의도(예컨대, 재생, 정지, 큐에 추가하기, 그룹핑, 다른 이송 컨트롤, 예컨대, 컨트롤 장치(104)를 통하여 가능한 컨트롤)와 연관될 수 있는 임의의 수의 미리 정의된 구문에 기초될 수 있다. 일부 구현예에서, 명령 및 연관된 변수 인스턴스의 처리는 명령 및/또는 변수가 구문에서 명시될 것으로 예상되는 미리 정해진 "슬롯(slot)"에 기초될 수 있다. 이러한 구현예 및 다른 구현예에서, 사용자 의도를 결정하기 위해 사용된 단어 또는 어휘의 세트는
위에서 논의된 바와 같이, 사용자 지정과 선호, 피드백 및 적응 학습에 응답하여 업데이트될 수 있다.
일부 실시예에서, 명령을 위해 사용된 상이한 단어, 구문 및/또는 어구는 동일한 의도와 연관될 수 있다. 예를 들어, 음성 입력에서 명령 단어 "재생", "듣기" 또는 "청취"를 포함하면 미디어 재생 시스템이 미디어 컨텐츠를 재생하는 것과 동일한 의도를 반영하는 관련어에 해당할 수 있다.
도 9a-9c는 관련어의 추가 예시를 도시한다. 예를 들어, 테이블(900)의 좌측에 있는 명령은 테이블의 우측에서 나타나는 일부 관련어를 가질 수 있다. 도 9a를 참조하면, 예를 들어 좌측 세로단에 있는 "재생" 명령은 "가자"(break it down), "연주해봐"(let's jam), "나와라"(bust it)를 포함하는 우측 세로단에 있는 동원인 어구와 동일한 의도를 가진다. 다양한 실시예에서, 명령 및 관련어는 테이블(900)에서 추가, 제거 또는 편집될 수 있다. 예를 들어, 명령 및 관련어는 위에서 논의된 바와 같이, 사용자 지정화와 선호, 피드백, 트레이닝 및 적응 학습에 응답하여 추가, 제거 또는 편집될 수 있다. 도 9b 및 9c는 각각 컨트롤 및 구역 타겟팅에 관련있는 예시적인 관련어를 도시한다.
일부 실시예에서, 변수 인스턴스는 명령에 대한 관련어와 유사한 방식으로 미리 정의된 관련어를 가질 수 있다. 예를 들어, 미디어 재생 시스템(100)에서 "발코니" 구역 변수는 동일한 구역 변수를 나타내는 관련어 "바깥"을 가질 수 있다. 다른 예시로서, "거실" 구역 변수는 관련어인 "거실 구역", "TV 공간", "가족 공간" 등을 가질 수 있다.
d. 하나 이상의 명령이 명령 정보의 세트에서 대응하는 기준을 만족한다고 결정
도 8a 및 8b를 함께 참조하면, 블록(807)에서 방법(800)은, 블록(806)에서 검출된 하나 이상의 명령이 명령 정보(890)의 세트에서 대응하는 명령 기준을 만족한다고 결정하는 단계를 포함한다. 도 8b를 참조하면, 예를 들어, 제1 명령이 검출되는 경우, 방법(800)은 제1 명령이 기준_1을 만족하는지를 결정할 것이고, 제2 명령이 검출되는 경우, 방법(800)은 명령이 기준_2를 만족하는지를 결정할 것이며, 기타 등등이다.
명령은 명령 기준의 복수 세트에 비교될 수 있다. 일부 실시예에서, 기준의 일부 세트는 논리 연산자와 연관될 수 있다. 예를 들어, 제3 명령은 명령 기준_2와 명령 기준_3에 비교된다. 이러한 명령은 논리 AND 연산자에 의해 연결된다. 이와 같이, 제3 명령은 만족될 기준의 두 세트를 요구한다. 대조적으로, 제n 명령은 논리 OR 연산자에 의해 연결되는 기준(기준 x, 기준 y 및 기준 z)과 연관된다. 이러한 경우에, 제n 명령은 이러한 명령의 명령 기준의 세트 중 오직 하나만을 만족시켜야한다. XOR 연산자를 포함하는 논리 연산자의 다양한 조합은, 명령이 일부 명령 기준을 만족하는지 여부를 결정하는 것이 가능하다.
일부 실시예에서, 명령 기준은 음성 입력이 일 명령 이상을 포함하는지 여부를 결정할 수 있다. 예를 들어 "[미디어 변수]를 재생해"라는 명령을 가지는 음성입력은 "[구역 변수]에서 또한 재생해"라는 제2 명령을 동반할 수 있다. 이러한 예시에서, 미디어 재생 시스템(100)은 일 명령으로서 "재생해"를 인식하고 나중 명령의 포함에 의해 만족되는 명령 기준으로서 "또한 재생해"를 인식할 수 있다. 일부 실시예에서, 위의 예시적인 명령이 동일한 음성 입력에서 같이 말해지는 경우, 이는 그룹핑 의도에 해당할 수 있다.
유사한 실시예에서, 음성 입력은 차례대로 말해지는 두 명령 또는 어구를 포함할 수 있다. 방법(800)은 차례대로 이러한 명령 또는 어구가 관련될 수 있는 것을 인식할 수 있다. 예를 들어, 사용자는 거실 및 식당에 있는 재생 장치를 그룹핑하기 위한 추론 명령인 음성 입력 "클래식 음악을 재생해"에 이어 "거실" 및 "식당"에서를 제공할 수 있다.
일부 실시예에서, 미디어 재생 시스템(100)은 차례대로 단어 또는 어구를 처리하는 경우, 한정된 기간(예컨대, 1 내지 2초)의 정지를 검출할 수 있다. 일부 구현예에서, 정지는 명령과 어구 사이의 경계를 지어 명령과 정보의 상대적으로 긴 체인의 음성 처리를 용이하게 하도록 사용자에 의해 의도적으로 만들어질 수 있다. 정지는 미디어 재생 시스템(100)으로 하여금 블록(802)에서 활성 단어 모니터링으로 돌아가 유휴하도록 하지 않으면서 명령과 정보의 체인을 캡쳐하기에 충분한 미리 정해진 기간을 가질 수 있다. 일 양상에서, 사용자는 이러한 정지를 사용하여, 실행될 각각 요구되는 명령에 대하여 활성 단어를 다시 발화해야 하지 않으면서 복수의 명령을 실행할 수 있다.
e. 결정하는 것에 응답하여, 제1 VAS 선택하고 다른 VAS의 선택을 포기하고, 제1 VAS를 통하여 하나 이상의 명령을 처리
일부 미리 정해진 명령 기준을 만족하는 명령은 미디어 재생 시스템(100)으로 하여금 제1 VAS를 호출하도록 할 것인 한편, 미리 정해진 명령 기준을 만족하지 않는 명령은 미디어 재생 시스템(100)으로 하여금 다른 VAS를 호출하도록 하거나 VAS를 호출하지 않도록 할 수 있다. 예시적인 방법(800)은 블록(807 및 808)에서 도시된 바와 같이, 음성 포인트에서 소정의 명령의 명령 기준을 만족시킨다고 결정된 음성 입력을 VAS(160)로 송신하는 단계와 블록(809)에서 도시된 바와 같이, 소정의 명령이 기준을 만족하지 못하는 경우, 음성 입력을 다른 VAS로 송신하는 단계를 포함한다.
블록(810)에서, 방법(800)은 블록(808)에서 음성 입력이 수신된 VAS로부터 응답을 수신하고 처리하는 단계를 수반한다. 일 실시예에서, VAS로부터의 응답을 처리하는 단계는 VAS로부터의 명령어를 처리하여 재생, 컨트롤, 구역 타겟팅 및 위에서 논의된 다른 명령과 같은 음성 입력 내 명령을 실행하는 단계를 포함할 수 있다. 일부 실시예에서, 원격 컴퓨팅 장치는 초기 음성 입력에서 포함되거나 데이터베이스 검색의 결과일 수 있는 미디어 변수와 연관되는 컨텐츠의 재생을 개시 또는 컨트롤 하도록 지시 받을 수 있다.
일부 실시예에서, 블록(810)에서 응답을 처리하는 단계는 미디어 컨텐츠로 하여금 검색되도록 할 수 있다. 일 실시예에서, 미디어 변수는 미디어 컨텐츠에 대한 데이터베이스 검색으로부터의 결과로서 미디어 재생 시스템(100)로 제공될 수 있다. 일부 실시예에서, 미디어 재생 시스템(100)은 하나 이상의 미디어 서비스로부터 미디어 컨텐츠를 직접 검색할 수 있다. 다른 실시예에서, VAS는 블록(800)에서 수신된 음성 입력을 처리하는 것과 함께 미디어 컨텐츠를 자동적으로 검색할 수 있다. 다양한 실시예에서, 미디어 변수는 미디어 재생 시스템(100)사이에 설치된 임의의 다른 통신 경로 및/또는 메타 데이터 교환 채널을 통하여 통신될 수 있다. 이러한 통신은 도 7b를 참조하여 위에서 논의된 바와 같이, 컨텐츠 스트리밍을 개시할 수 있다.
일부 실시예에서, 데이터베이스 검색은 음성 입력에서 검출된 미디어 변수에 기초하여 결과를 반환할 수 있다. 예를 들어, 데이터베이스 검색은 미디어 변수와 동일하게 명명된 앨범을 가지는 아티스트, 미디어 변수와 매치하거나 그와 유사한 명칭의 앨범, 미디어 변수라고 명명된 트랙, 미디어 변수의 라디오 스테이션, 미디어 변수라고 명명된 플레이리스트, 미디어 변수 및/또는 가공되지 않은 스피치 투 텍스트 변환 결과와 관련되는 컨텐츠의 스트리밍 서비스 제공자 식별자를 돌려줄 수 있다. "American Pie"의 예시를 사용하면, 검색 결과는 아티스트 "DonMcLean", "American Pie"라는 명칭의 앨범, "American Pie"라는 명칭의 트랙, "American Pie"라는 명칭의 라디오 스테이션(예컨대, "American Pie"에 대한 판도라 라디오 스테이션에 대한 식별자), 트랙 "American Pie"에 대한 음악 서비스 (예컨대, SPOTIFY® or PANDORA®와 같은 스트리밍 음악 서비스)트랙 식별자 및/또는 "American Pie" (예컨대, "American Pie"에 대한 SPOTIFY® 트랙 식별자, URI 및/또는 URL)의 가공되지 않은 스피치 투 텍스트 결과를 돌려줄 수 있다.
일부 실시예에서, 방법(800)은 클라우드 네트워크 상에 저장된 재생 큐 또는 플레이리스트에서 변화에 응답하여, 재생 장치 상에 저장된 재생 큐를 업데이트하여 재생 큐의 일부가 클라우드 네트워크에서 재생 큐 또는 플레이리스트의 일부 또는 전체와 매치하도록 하는 업데이트 단계를 포함한다.
미디어 재생 시스템(100)에서 동작을 하게 하는 것에 응답하여, 방법(800)은 블록(800)에서 동작에 관련하는 정보를 저장하고/거나 업데이트하는 단계를 포함할 수 있다. 예를 들어, 하나 이상의 컨트롤 상태, 구역 상태, 구역 식별자 또는 다른 정보는 블록(800)에서 업데이트될 수 있다. 업데이트될 수 있는 다른 정보는 예컨대, 현재 특정 미디어 항목을 재생하고/거나 특정 미디어 항목이 재생 장치 상에 저장된 큐를 추가하는, 특별한 재생 장치를 식별하는 정보를 포함할 수 있다.
일부 실시예에서, 블록(810)에서 응답을 처리하는 단계는 블록(811 및 812)에서 도시된 바와 같이, VAS가 추가 정보가 필요하다는 결정과 이러한 정보에 대해 사용자에게 가청으로 프롬프팅하는 단계로 이어질 수 있다. 예를 들어, 방법(800)은 복수 차례 명령을 실행하는 경우, 추가 정보에 대해 사용자에게 프롬프팅할 수 있다. 이러한 경우에, 방법(800)은 블록(804)로 돌아가 추가 음성 입력을 캡쳐할 수 있다.
방법과 시스템이 여기서 미디어 컨텐츠(예컨대 음악 컨텐츠, 비디오 컨텐츠)에 대하여 설명되는 한편, 여기서 설명되는 방법과 시스템은 미디어 재생 시스템에 의해 재생될 수 있는 오디오와 연관될 수 있는 다양한 컨텐츠에 적용될 수 있다. 예를 들어, 음악 카탈로그의 일부가 아닐 수 있는 미리 녹음된 사운드는 음성 입력에 응답하여 재생될 수 있다. 일 예시는 음성 입력 "나이팅게일은 어떻게 우는가?"이다. 이러한 음성 입력에 대한 네트워킹된 마이크로폰 시스템의 응답은 식별자를 가지는 음악 컨텐츠가 아닐 수 있고 대신 짧은 오디오 클립일 수 있다. 미디어 재생 시스템은 짧은 오디오 클립(예컨대, 저장 주소, 링크, URL, 파일)을 재생하는 것과 연관되는 정보 및 짧은 오디오 클립을 재생하기 위한 미디어 재생 시스템 명령을 수신할 수 있다. 팟캐스트, 뉴스 클립, 알림 사운드, 알람 등을 포함하는 다른 예시도 가능하다.
IV. 미디어 재생 시스템에 대한 음성 컨트롤의 예시적인 구현예
도 10(a)-20(b)는, 음성 입력을 처리 하기 전 또는 후에 미디어 재생 시스템(100)의 상태를 표현할 수 있는 미디어 재생 시스템(100)과 컨트롤 인터페이스에 의해 처리되는 음성 입력의 다양한 예시를 도시하는 개략도이다. 이하에서 논의되는 바와 같이, 음성 입력 내의 특정 음성 입력과 연관되는 명령 기준은 위에서 논의된 VAS(160)와 같은 VAS에 대한 향상된 음성 컨트롤을 제공할 수 있다. 음성 입력은 위에서 논의된 바와 같이, 재생 장치(102) 중 하나에 포함되거나 포함되지 않을 수 있는 NMD(103) 중 하나 이상에 의해 수신될 수 있다.
명확성을 위해 도시되지 않았지만, 이하의 다양한 예시에서 음성 입력은, "AMAZON"의 ALEXA® 또는 위에서 논의된, 다른 활성 단어와 같은 단어에 의해 선행될 수 있다. 일 양상에서, 동일한 활성 단어는 종래의 VAS와 같은 제2 VAS 또는 제1 VAS 중 하나로 보내질 음성 입력의 음성 캡쳐하는 것을 개시하도록 사용될 수 있다. 이러한 경우에서, 음성 발언을 말하는 사용자는 다른 것에서 하나의 VAS의 선택이 현장 뒤에서 일어나고 있다는 것을 알지 못할 수 있다. 일부 실시예에서, "Hey Sonos"와 같은, 고유 활성 단어는 사용자에 의해 말해져 추가 고려사항 없이 제1 VAS를 호출할 수 있다. 이러한 경우, 재생 시스템(100)은 다른 VAS에서 제1 VAS를 선택하도록 결정하는 단계를 피할 수 있다.
일 양상에서, 명령 기준은 장치를 그룹핑하도록 구성될 수 있다. 일부 실시예에서, 이러한 명령 기준은 음성 입력이 미디어 변수를 수반하고 및/또는 영향을 받는 장치가 재생 큐와 연관되는 경우, 재생을 동시에 개시할 수 있다. 도 10(a)는, 예를 들어 사용자가 NMD(103a)에 "거실과 발코니에서 Beatles를 재생해"라고 음성 입력을 말하는 것을 도시하고, 도 10(b)는 거실과 발코니의 결과적인 그룹핑을 도시한다. 다른 예시에서, 사용자는 특별한 트랙, 플레이리스트, 무드 또는 여기에 설명된 미디어 재생을 개시하기 위한 다른 정보를 말할 수 있다.
도 10(a)에서 음성 입력은 "[제1 구역 변수]와 [제2 구역 변수]에서 [미디어 변수]를 재생해"의 구문 구조를 포함한다. 이러한 예시에서, 재생하기 위한 명령은 음성 입력에서 키워드로서 둘 이상의 구역 변수를 요구하는 명령 기준을 만족한다. 일부 실시예에서, 거실 공간의 재생 장치(102a, 102b, 102j 및 102k)는 도 10(a)에서 도시된 음성 입력을 말하기 전과 후, 결합된 미디어 재생 장치 배열에 남을 수 있다.
일부 실시예에서, 구역 변수가 언급되는 순서는 어떠한 재생 장치가 "그룹 헤드"에서 지정되는지를 지시할 수 있다. 예를 들어, 사용자가 거실이라는 키워드에 후속하여 발코니라는 키워드를 포함하는 음성 입력을 말하는 경우, 이러한 순서는 거실이 그룹 헤드가 되도록 규정할 수 있다. 그룹 헤드는 명령 정보(890)의 세트에서 구역 변수로서 저장될 수 있다. 그룹 헤드는 그룹 재생 장치를 지칭하기 위한 핸들(handle)일 수 있다. 사용자가 그룹 핸들을 포함하는 음성 입력을 말하는 경우, 미디어 재생 시스템(100)은 거실과 그룹핑되는 모든 장치를 지칭하는 의도를 검출할 수 있다. 이러한 방식으로, 사용자는 장치를 통합적으로 컨트롤하는 경우, 장치의 그룹 내 각 구역에 대한 키워드를 말할 필요가 없다. 관련된 실시예에서, 사용자는 다른 장치 또는 구역에 그룹 헤드를 변화시키기 위한 음성 입력을 말할 수 있다. 예를 들어, 사용자는 거실의 그룹 헤드를 발코니가 되도록 변경할 수 있다(이러한 경우에서, 인터페이스는 발코니+거실 보다 거실+발코니로서 그룹의 순서를 보여줄 수 있다).
교대되는 예시에서, 도 10(c)는 사용자가 말하는 "Beatles를 재생해"라는 음성 입력을 말하지만, 도 10(b)의 음성 입력 내 다른 키워드를 생략하는 점을 도시한다. 이러한 예시에서, 음성 입력은 위에서 논의된 바와 같이, 명령이 명령 정보의 세트(890)에서 임의의 기준도 만족하지 않는 경우, 다른 VAS로 전송될 수 있다.
다른 예시에서, 상기 키워드를 생략하는 "Beatles를 재생해"라는 음성 입력은 그럼에도 불구하고 다른 명령 기준이 명령에 대해 만족되는 경우, 제1 VAS(160)로 송신될 수 있다. 다른 이러한 명령 기준은 예컨대, 구역 변수, 컨트롤 상태 변수, 타겟 변수 및/또는 변수를 포함하는 기준을 포함할 수 있다. 일 양상에서, 변수 인스턴스는 네트워크 마이크로폰 장치로의 사용자의 근접성(예컨대, 계산되거나 아니면 결정된 거리)일 수 있다. 예를 들어, 도 10(c)의 음성 입력은 사용자가 NMD(103)의 근처(예컨대, 미리 정해진 반경 r1)에서 검출되는 경우, 제1 VAS(160)으로 송신될 수 있다. 근처의 결정은 예를 들어, 음성 입력 소스의 신호 강도에 기초될 수 있다. 다른 양상에서, 도 10(c)의 음성 입력은 사용자의 음성 프로파일이 검출되는 경우, 제1 VAS(160)으로 송신될 수 있으며, 이는 사용자의 근접성이 검출되는지 여부와 독립적일 수 있다.
또 다른 양상에서, 근접성 및/또는 다른 명령 기준은 종래의 VAS에 의해 쉽게 처리되지 않을 수 있는 음성 입력을 해결하기에 용이할 수 있다. 예를 들어, 도 11(a)에 도시된 바와 같이, "발코니를 키워"라고 음성 입력을 말하는 사용자는 발코니가 동일한 이름을 포함할 수 있는 조명 장치(108)를 포함하므로 종래의 VAS에 의해 해결되지 않을 수 있다. 도 1을 참조하면, 제1 VAS(160)는 사용자가 재생 장치(102)의 근처에 있는지 여부 및/또는 발코니가 연관되는 컨트롤 변수에 기초하여 현재 재생하고 있는지 여부를 결정함으로써 장치 명칭의 이러한 충돌을 해결할 수 있다. 관련된 양상에서, 제1 VAS(160)는 사용자가 근처에 있는 경우, 발코니에서 재생 장치(102c)의 음량을 키우도록 결정할 수 있지만 사용자가 위치하지 않은 거실에서의 음량은 그렇지 않다. 이러한 경우에, 도 11(b)에 도시된 바와 같이, 미디어 재생 시스템(100)은 발코니에서 음량을 키울 수 있지만, 거실에서는 그렇지 않다.
유사하게, 제1 VAS(160)는 유사한 명령 명명 규칙으로 장치에 대한 명령이 충돌하는 것을 해결할 수 있다. 예를 들어, 도 1에 도시된 식당에서 온도조절기(110)는 사용자에 의한 일부 온도(예컨대, 60 내지 85도 사이의 레벨)로 "설정해"라는 음성 입력을 사용자가 말함으로써 프로그래밍될 수 있다. 마찬가지로, 사용자는 식당 구역을 일부 음량 레벨(예컨대, 0 내지 100 퍼센트 레벨)로 "설정해"라는 음성 입력을 말할 수 있다. 일 예시에서, "식당을 75로 설정해"라는 입력을 말하는 사용자는 식당 구역이 현재 명령 정보의 세트(890)에서 저장된 명령 기준에 기초하여 재생하고 있는 것이 검출되었으므로 제1 VAS(160)에 의해 해결될 수 있다. 대조적으로, 종래의 VAS는 식당 구역의 음량을 75레벨로 변경하려는 것인지 또는 식당 온도조절기의 온도를 75로 설정하려는 것인지 결정하지 못할 수 있다.
다양한 실시예에서, 음성 입력은 개별 재생, 네트워크 마이크로폰 장치 및 컨트롤러 장치(102-104)를 통하여 사용자로부터의 다른 입력과 함께 처리될 수 있다. 예를 들어, 사용자는 도 11(b)에 도시된 인터페이스 상의 소프트 버튼 및 컨트롤 특징을 사용하여, 그룹 음량, 개별 음량, 재생 상태 등을 독립적으로 컨트롤할 수 있다. 또한, 도 11(b)의 예시에서 사용자는 "그룹"이라고 라벨링된 소프트 버튼을 눌러, 장치를 수동적으로 그룹핑 및 그룹핑 해제하기 위한 다른 인터페이스로 접근할 수 있다. 일 양상에서, 음성 입력, 컨트롤러 입력 및 매뉴얼 장치 입력을 통하여 미디어 재생 시스템(100)과 상호 작용하는 복수의 방법을 제공하는 것은 향상된 사용자 경험을 위해 컨트롤의 끊임없는 지속성을 제공할 수 있다.
다른 그룹핑/그룹핑 해제 예시로서, "발코니에서 Bob Marley를 재생해"라는 음성 입력은 발코니로 하여금 거실로부터 자동적으로 그룹핑 해제하도록 할 수 있다. 이러한 경우에, 발코니는 Bob Marely를 재생할 수 있고, 거실은 계속 Beatles 재생할 수 있다. 대안적으로, 거실은 명령 기준이 거실이 더 이상 재생 장치의 그룹의 그룹 헤드가 아닌 경우를 규정하는 경우, 재생을 멈출 수 있다. 다른 실시예에서, 명령 기준은, 장치가 재생 개시 명령에 응답하여 자동적으로 그룹해제를 하지 않는다고 규정할 수 있다.
명령 기준은 구역의 재생 큐 및/또는 현재 재생하는 음악을 일 구역에서 다른 곳으로 이동하거나 이송하도록 구성될 수 있다. 예를 들어, 사용자는 도 12(a)에서 도시되는 바와 같이, "거실에서 식당으로 음악을 이동해"의 음성 입력을 말할 수 있다. 음악을 이동하기 위한 요청은 도 12(b)의 컨트롤러 인터페이스에서 도시된 바와 같이, 거실에서 재생하는 음악을 식당으로 이동할 수 있다. 관련된 예시에서, 사용자는 도 1에 도시된 식당 근처의 NMD(103f)에 직접적으로 "음악을 여기로 이동해"의 음성 입력을 말함으로써 식당으로 음악을 이동할 수 있다. 이러한 경우에, 사용자는 식당을 분명히 언급하지 않지만, VAS(160)는 식당에서 사용자의 근접성에 기초하여 의도를 추론할 수 있다. 관련된 실시예에서, VAS(160)는 NMD(103f)가 식당에 있는 재생 장치(102l)에 결합된다고 결정하는 경우, 다른 인접한 공간(주방과 같은) 보다도 식당으로 음악을 이동하도록 결정할 수 있다. 다른 예시에서, 재생 시스템(100)은 현재 재생하는 컨텐츠의 메타 데이터로부터 정보를 추론할 수 있다. 이러한 일 예시에서, 사용자는 원하는 재생 구역 및/또는 구역 그룹으로 이동하도록 특정한 음악을 식별하는 " 'Let it BE(또는 'Beatles')'를 식당으로 이동해" 라고 말할 수 있다. 이러한 방식으로, 미디어 재생 시스템은 컨텐츠 중 어떤 것이 옮겨질지 결정하기 위해 다른 재생 구역 및/또는 구역 그룹에서 재생에 대해 활발히 재생되고/거나 큐될 수 있는 컨텐츠 사이를 구별할 수 있다.
또 다른 예시에서, 거실과 같은 그룹 헤드와 연관되는 모든 장치는 그룹 헤드에서 식당으로 음악을 이동하면 재생을 멈출 수 있다. 관련된 예시에서, 거실 구역은 음악이 그로부터 멀어지는 경우, 그룹 헤드로서의 지정을 잃을 수 있다.
명령 기준은 음성 입력 명령을 사용하여 기존의 그룹으로 장치를 추가하도록 구성될 수 있다. 예를 들어, 13(a) 및 13(b)에 도시된 바와 같이, 사용자는 "거실을 식당에 추가해"의 음성 입력을 말함으로써 식당 구역과 다시 그룹을 형성하도록 거실 구역을 추가할 수 있다. 관련된 실시예에서, 사용자는 도 1에 도시된 거실 구역에서 NMD(103)에 직접적으로 "여기에서도 재생해"의 음성 입력을 말함으로써, 거실을 추가할 수 있다. 이러한 경우에서, 사용자는 음성 입력에서 거실을 분명히 언급하지 않을 수 있지만, VAS(160)는 사용자의 근접성에 기초하여 거실이 추가될 것을 추론할 수 있다. 다른 예시에서, 그 또는 그녀가 이러한 의도를 가질 때, 청취자가 거실에 있다고 추정하는 경우, 그 또는 그녀는 "거실을 추가해"라는 명령을 말할 수 있다. 이러한 경우에서, 거실 타겟은 입력 장치의 포함하는 공간에 의해 암시될 수 있다.
또 다른 예시에서, 사용자는 음성 입력에서 거실과 식당 중 어느 것이 그룹 헤드가 될지 나타낼 수 있거나 VAS(160)는 그룹 헤드를 지정하도록 사용자를 요청할 수 있다.
그룹을 추가하거나 형성하는 다른 예시로서, 사용자는 지정 구역 변수와 연관되는 키워드를 가지는 음성 입력을 사용하여 그룹을 예시할 수 있다. 예를 들어, 사용자는 위에서 논의된 앞쪽 구역에 대한 지정 구역 변수를 생성할 수 있다. 사용자는 도 14(a) 및 14(b)에 도시된 바와 같이, "앞쪽 구역에서 Van Halen을 재생해"와 같은 음성 입력을 말함으로써 앞쪽 구역 그룹을 예시할 수 있다. 도 13(b)에 도시된 이전의 식당 그룹은 도 14(a)에서 도시된 음성 입력에 응답하여 대체될 수 있다.
명령 기준은 음성 입력 명령을 사용하여 기존의 그룹에서 장치를 제거하도록 구성될 수 있다. 예를 들어, 사용자는 도 15(a) 및 15(b)에서 도시된 바와 같이 "앞쪽 구역" 그룹으로부터 발코니를 제거하도록 "발코니를 떨어뜨려"의 음성 입력을 말할 수 있다. 다른 예시로서, 발코니에서 "중단/제거해"라는 명령은 동일하게 할 수 있다. 위에서 논의된 바와 같이, 다른 예시적인 관련어도 가능하다. 또 다른 예시에서, 사용자는 사용자가 발코니 상에 있다는 것을 추정하는 "여기서 중단해" 또는 "이 공간에서 중단해"를 말함으로써와 같이, 동일한 결과를 이루도록 도 1에서 도시된 발코니에서 NMD(103c)에 직접적으로 말할 수 있다.
명령 기준은 오디오 컨텐츠 소스를 선택하고 관련된 특징을 구현하도록 구성될 수 있다. 예를 들어, 도 16(a)는 사용자가 "나 TV 보고 싶어"라고 NMD(130a)에 음성 입력을 말하는 것을 도시한다. 응답에서, 미디어 재생 시스템(100)은 도 16(b)에 도시된 바와 같이, 음악 소스에서 TV 소스로 오디오 컨텐츠 소스를 전환한다. 일부 실시예에서, TV 소스를 재생하도록 미디어 재생 시스템(100)을 지시하는 것은 거실을 다른 구역으로부터 자동적으로 그룹핑 해제할 수 있다. 예를 들어, 도 16(b)에서, 거실과 주방에서 Van Halen를 지속적으로 재생하는 한편, 거실은 TV소스로 전환된다. 일부 경우에, 사용자는 위에서 논의된 바와 같이, 그룹핑에 의해 가정 환경에서 다른 구역에 있는 TV 소스를 재생하도록 차후에 명령을 말할 수 있다.
관련된 실시예에서, 미디어 재생 시스템(100)은 언제 거실이 TV소스와 연결되는지를 나타내는 상태 정보를 저장할 수 있다. 거실이 이러한 상태에 있는 경우, 명령 기준은 도 9b에서 도시된 소스 명령과 같이, VAS에 의해 구현될 수 있는 TV 소스와 관련된다고 규정할 수 있다(예컨대, 회화 향상하기, 침묵 모드 켜기, 등).
명령 기준은 장치를 결합하도록 구성될 수 있다. 예를 들어, 도 17(a)는 사용자가 "나는 앞쪽 TV를 보고싶어"라고 말하는 음성 입력을 말하는 것을 도시한다. 응답에서, VAS(160)는 도 16(b)에 도시된 바와 같이, 도 1에서 앞쪽 재생 장치(102b)를 거실 구역으로부터 분리하고 TV 구역을 형성하도록 명령 기준에 기초하여 결정할 수 있다. 관련된 예시에서, 사용자는 이러한 장치를 결합 해제하도록 앞쪽 재생 장치(102b)의 NMD(103b)에 직접적으로 음성 입력을 말할 수 있다. 거실에서 남아있는 결합된 장치, 즉 오른쪽, 왼쪽 및 SUB 장치(102a, 102j 및 102k)는 음악 재생하는 것을 멈출 수 있다. 컨트롤 인터페이스는 또한 더 이상 거실 구역의 일부로서 이러한 디스플레이하지 않을 수 있다.
결합의 다른 예시로서, 사용자는 앞쪽 재생 장치(102b)를 분리한 이후 거실 구역에서 남아있는 장치와 상이한 결합된 배열을 형성할 수 있다. 예를 들어, 사용자는 도 18(a) 및 18(b)에서 도시된 바와 같이, "내 위성과 sub에서Bob Marely를 재생하고 청취 구역을 생성해"의 명령을 말함으로써 청취 구역을 형성할 수 있다. 용어 "위성"은 오른쪽 재생 장치(102a) 및 왼쪽 재생 장치(102k)를 참조하는 지정 구역 변수일 수 있다. 도 18(a)에서 음성 입력은 또한 새롭게 형성된 청취 구역에서 Bob Marley의 재생을 개시한다. 예시된 예시에서, 도 17(a)-18(b)에서 결합하는 동작은 도 18(b)의 컨트롤러 인터페이스에서 추가 도시된 바와 같이, 식당과 주방 구역에서 Van Halen의 재생을 방해하지 않는다.
명령 기준은 장치를 페어링/결합하도록 구성될 수 있다. 예를 들어, 도 17(a)는 사용자가 "식당과 주방을 스테레오-페어링해"라고 음성 입력을 말하는 복수 차례의 명령을 도시한다. 이러한 예시에서, VAS는 NMD(103) 중 하나 이상에 지시하여 식당이 왼쪽 채널이 될지 여부를 사용자에 상기시키고 문의한다. 사용자가 식당을 오른쪽 채널로서 확인하는 경우, 주방 구역은 오른쪽 채널이 될 것이다. 사용자가, 식당이 오른쪽 채널이 되지 않을 것을 나타내는 경우, 식당은 왼쪽 채널이도록 디폴트될 수 있고, 주방 구역은 오른쪽 채널이 될 것이다. 결합되는 경우, 식당과 주방 중 하나는 그룹 헤드로서 할당될 수 있다. VAS는 도 19(b)에서 도시된 바와 같이, "Cocina"와 같은 고유한 명칭을 포함하는 결합된 장치에 대한 명칭이 지정되도록 사용자를 상기시킬 수 있다. Cocina 구역은 이전 식당과 주방 구역 중 어느 하나의 재생 큐로부터 이송되었을 수 있는 Van Halen의 재생을 재개할 수 있다.
관련된 실시예에서, 결합하고 병합하는 장치는 도 20(a) 및 20(b)에 도시된 바와 같이, VAS로 하여금 재생 장치를 조정하기 위한 복수 차례 또는 다른 명령을 개시하도록 할 수 있다. 일 예시에서, VAS(160)는 식당과 주방 구역을 페어링 이후, 도 19(a)에서 복수 차례 명령 순서를 지속할 수 있다. 일부 실시예에서, 명령 기준은 조정을 개시하기 전에, 컨트롤러 장치(103) 중 하나를 동작하는 사용자의 검출을 요청할 수 있다. 이러한 방식으로, VAS(160)는 도 20(b)에서 도시된 바와 같이, 교정을 위한 SONOS의 TRUEPLAY® 소프트웨어와 같은 조정 소프트웨어를 준비할 수 있다.
V. 결론
위 설명은 다른 컴포넌트 중에서도 하드웨어 상에서 실행되는 펌웨어 및/또는 소프트웨어를 포함하는, 다른 것들 중에서도, 다양한 예시적인 시스템, 방법, 장비 및 제품을 개시한다. 이러한 예시는 단지 예시적이며, 제한하는 것으로 간주되어서는 안된다고 이해된다. 예를 들어, 펌웨어, 하드웨어 및/또는 소프트웨어 태양 또는 컴포넌트 중 임의의 것 또는 모두가 하드웨어로만, 소프트웨어로만, 펌웨어로만 또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합으로 구현될 수 있음이 고려된다. 따라서, 제공되는 예시는 그러한 시스템, 방법, 장비 및/또는 제품을 구현하기 위한 유일한 방식이 아니다.
(특징 1) 미디어 재생 시스템에 대한 제1 음성 지원 서비스(VAS)를 작동시키는 방법으로서, 명령의 리스트 및 연관된 명령 기준을 포함하는 명령 정보의 세트가 메모리에 저장되도록 하는 단계; 네트워크 마이크로폰 장치의 적어도 하나의 마이크로폰을 통하여 음성 입력을 캡쳐하는 단계; 음성 입력 내에 하나 이상의 명령이 포함되어 있는지를 검출하는 단계; 하나 이상의 명령이 명령 정보의 세트 내의 대응하는 명령 기준을 만족한다고 결정하는 단계; 및 결정하는 단계에 응답하여, (i) 제1 VAS를 선택하고 제2 VAS의 선택을 포기하고, (ii) 제1 VAS로 음성 입력을 전송하며 (iii) 음성 입력을 전송한 이후, 제1 VAS로부터 음성 입력에 대한 응답을 수신하는 단계를 포함하는 방법.
(특징 2) 특징 1의 방법에 있어서, 미디어 재생 시스템은 복수의 재생 장치를 포함하고, 하나 이상의 명령은 재생 장치 중 둘 이상을 그룹핑하고 둘 이상의 재생 장치를 포함하는 그룹 상에서 오디오 컨텐츠의 재생을 개시하기 위한 명령을 포함하는, 방법.
(특징 3) 특징 2의 방법에 있어서, 결정하는 단계는 음성 입력에 하나 이상의 키워드가 포함되어 있는지를 검출하는 단계를 포함하고, 하나 이상의 키워드는 (i) 둘 이상의 재생 장치 중 하나와 연관되는 제1 키워드와 둘 이상의 재생 장치 중 다른 하나와 연관되는 제2 키워드 및 (ii) 둘 이상의 재생 장치를 포함하는 그룹 중 적어도 하나를 포함하는, 방법.
(특징 4) 특징 2의 방법에 있어서, 둘 이상의 재생 장치 중 하나는 네트워크 마이크로폰 장치를 포함하는, 방법.
(특징 5) 특징 1의 방법에 있어서, 하나 이상의 명령은 상기 미디어 재생 시스템으로 전송되고(directed to), 기능은 상기 제1 VAS로부터의 응답에 기초하여 미디어 재생 시스템을 통해 하나 이상의 명령을 처리하는 단계를 더 포함하는, 방법.
(특징 6) 특징 5의 방법에 있어서, 하나 이상의 명령은 재생 명령 중 적어도 하나를 포함하고, 컨트롤 명령을 이송하는, 방법.
(특징 7) 특징 1의 방법에 있어서, 음성 입력은 제1 음성 입력이고, 기능은 제1 VAS로부터의 응답에 기초하여 가청 프롬프트(audible prompt)를 출력하는 단계를 더 포함하는, 방법.
(특징 8) 특징 1의 방법에 있어서, 음성 입력은 제1 음성 입력이고, 기능은 제1 VAS로부터의 응답에 기초하여 제2 음성 입력에 대한 가청 프롬프트를 출력하는 단계를 더 포함하는, 방법.
(특징 9) 특징 8의 방법에 있어서, 미디어 재생 시스템은 복수의 재생 장치를 포함하고, 하나 이상의 명령은 재생 장치 중 둘 이상을 페어링하기 위한 명령을 포함하고, 가청 프롬프트는 오디오 채널에 재생 장치 중 둘 이상 중 적어도 하나를 할당하기 위한 요청을 포함하며, 제2 음성 입력은 재생 장치 중 둘 이상 중 적어도 하나의 선택을 포함하는, 방법.
(특징 10) 특징 8의 방법에 있어서, 미디어 재생 시스템은 하나 이상의 재생 장치를 포함하고, 가청 프롬프트는 재생 장치 중 하나 이상의 이퀄라이제이션 설정(equalization setting)을 조정(calibrate)하기 위한 요구를 포함하는, 방법.
(특징 11) 특징 1의 방법에 있어서, 결정하는 단계는 음성 입력 소스의 존재를 검출하는 단계를 포함하는 방법.
(특징 12) 특징 11의 방법에 있어서, 존재를 검출하는 단계는 음성 입력이 음성 입력 소스로부터 네트워크 마이크로폰 장치에 의해 수신되는 방향을 검출하는 단계를 포함하는 방법.
(특징 13) 특징 11의 방법에 있어서, 존재를 검출하는 단계는 네트워크 마이크로폰 장치와 음성 입력 소스 사이의 거리를 검출하는 단계를 포함하는 방법.
(특징 14) 특징 1의 방법에 있어서, 결정하는 단계는 컨트롤러 장치의 사용을 검출하는 단계를 포함하는, 방법.
(특징 15) 특징 1의 방법에 있어서, 결정하는 단계는 음성 입력 소스의 음성 프로파일을 검출하는 단계를 포함하는, 방법.
(특징 16) 특징 1의 방법에 있어서, 하나 이상의 명령은 하나 이상의 제1 명령이고, 결정하는 단계는 음성 입력 내의 하나 이상의 제2 명령을 검출하는 단계를 포함하는, 방법.
(특징 17) 특징 16의 방법에 있어서, 결정하는 단계는 하나 이상의 제1 명령과 하나 이상의 제2 명령 사이의 음성 입력 내의 적어도 하나의 정지(pause)를 검출하는 단계를 더 포함하는, 방법.
(특징 18) (i) 프로세서; (ii) 적어도 하나의 마이크로폰; (iii) 프로세서에 의해 실행되는 경우, 네트워크 마이크로폰 장치로 하여금 미디어 재생 시스템에 대한 기능을 수행하도록 하는, 명령어를 가지는 유형의 컴퓨터 판독 가능 메모리를 포함하는 미디어 재생 시스템의 네트워크 마이크로폰 장치로서, 기능은 (a) 명령의 리스트 및 연관된 명령 기준을 포함하는 명령 정보의 세트가 메모리에 저장되도록 하는 단계; (b) 적어도 하나의 마이크로폰을 통하여 음성 입력을 캡쳐하는 단계; (c) 음성 입력 내에 하나 이상의 명령이 포함되어 있는지를 검출하는 단계; (d) 하나 이상의 명령이 명령 정보의 세트 내의 하나 이상의 명령과 연관되는 대응하는 명령 기준을 만족한다고 결정하는 단계; 및 (e) 결정하는 단계에 응답하여, (i) 제1 음성 지원 서비스(VAS)를 선택하고 제2 VAS의 선택을 포기하고, (ii) 제1 VAS로 음성 입력을 송신하며 (iii) 음성 입력을 송신한 이후, 제1 VAS로부터 음성 입력에 대한 응답을 수신하는 단계를 포함하는, 네트워크 마이크로폰 장치.
(특징 19) 특징 18의 네트워크 마이크로폰 장치에 있어서, 미디어 재생 시스템은 복수의 재생 장치를 포함하고, 하나 이상의 명령은 재생 장치 중 둘 이상을 그룹핑하고 둘 이상의 재생 장치를 포함하는 그룹 상에서 오디오 컨텐츠의 재생을 개시하기 위한 명령을 포함하는, 네트워크 마이크로폰 장치.
(특징 20) 특징 19의 네트워크 마이크로폰 장치에 있어서, 결정하는 단계는 음성 입력에 하나 이상의 키워드가 포함되어 있는지를 검출하는 단계를 포함하고, 하나 이상의 키워드는 (i) 둘 이상의 재생 장치 중 하나와 연관되는 제1 키워드와 둘 이상의 재생 장치 중 다른 하나와 연관되는 제2 키워드 및 (ii) 둘 이상의 재생 장치를 포함하는 그룹 중 적어도 하나를 포함하는, 네트워크 마이크로폰 장치.
(특징 21) 특징 19의 네트워크 마이크로폰 장치에 있어서, 둘 이상의 재생 장치 중 하나는 네트워크 마이크로폰 장치를 포함하는, 네트워크 마이크로폰 장치.
(특징 22) 특징 18의 네트워크 마이크로폰 장치에 있어서, 하나 이상의 명령은 상기 미디어 재생 시스템으로 전송되고, 기능은 상기 제1 VAS로부터의 응답에 기초하여 미디어 재생 시스템을 통해 하나 이상의 명령을 처리하는 단계를 더 포함하는, 네트워크 마이크로폰 장치.
(특징 23) 특징 22의 네트워크 마이크로폰 장치에 있어서, 하나 이상의 명령은 재생 명령 중 적어도 하나를 포함하고, 컨트롤 명령을 이송하는, 네트워크 마이크로폰 장치.
(특징 24) 특징 18의 네트워크 마이크로폰 장치에 있어서, 음성 입력은 제1 음성 입력이고, 기능은 제1 VAS로부터의 응답에 기초하여 가청 프롬프트(audible prompt)를 출력하는 단계를 더 포함하는, 네트워크 마이크로폰 장치.
(특징 25) 특징 18의 네트워크 마이크로폰 장치에 있어서, 음성 입력은 제1 음성 입력이고, 기능은 제1 VAS로부터의 응답에 기초하여 제2 음성 입력에 대한 가청 프롬프트를 출력하는 단계를 더 포함하는, 네트워크 마이크로폰 장치.
(특징 26) 특징 25의 네트워크 마이크로폰 장치에 있어서, 미디어 재생 시스템은 복수의 재생 장치를 포함하고, 하나 이상의 명령은 재생 장치 중 둘 이상을 페어링하기 위한 명령을 포함하고, 가청 프롬프트는 오디오 채널에 재생 장치 중 둘 이상 중 적어도 하나를 할당하기 위한 요청을 포함하며, 제2 음성 입력은 재생 장치 중 둘 이상 중 적어도 하나의 선택을 포함하는, 네트워크 마이크로폰 장치.
(특징 27) 특징 25의 네트워크 마이크로폰 장치에 있어서, 미디어 재생 시스템은 하나 이상의 재생 장치를 포함하고, 가청 프롬프트는 재생 장치 중 하나 이상의 이퀄라이제이션 설정(equalization setting)을 조정(calibrate)하기 위한 요구를 포함하는, 네트워크 마이크로폰 장치.
(특징 28) 특징 18의 네트워크 마이크로폰 장치에 있어서, 결정하는 단계는 음성 입력 소스의 존재를 검출하는 단계를 포함하는 네트워크 마이크로폰 장치.
(특징 29) 특징 28의 네트워크 마이크로폰 장치에 있어서, 존재를 검출하는 단계는 음성 입력이 음성 입력 소스로부터 네트워크 마이크로폰 장치에 의해 수신되는 방향을 검출하는 단계를 포함하는 네트워크 마이크로폰 장치.
(특징 30) 특징 28의 네트워크 마이크로폰 장치에 있어서, 존재를 검출하는 단계는 네트워크 마이크로폰 장치와 음성 입력 소스 사이의 거리를 검출하는 단계를 포함하는, 네트워크 마이크로폰 장치.
(특징 31) 특징 18의 네트워크 마이크로폰 장치에 있어서, 결정하는 단계는 컨트롤러 장치의 사용을 검출하는 단계를 포함하는, 네트워크 마이크로폰 장치.
(특징 32) 특징 18의 네트워크 마이크로폰 장치에 있어서, 결정하는 단계는 음성 입력 소스의 음성 프로파일을 검출하는 단계를 포함하는, 네트워크 마이크로폰 장치.
(특징 33) 특징 18의 네트워크 마이크로폰 장치에 있어서, 하나 이상의 명령은 하나 이상의 제1 명령이고, 결정하는 단계는 음성 입력 내의 하나 이상의 제2 명령을 검출하는 단계를 포함하는, 네트워크 마이크로폰 장치.
(특징 34) 특징 33의 네트워크 마이크로폰 장치에 있어서, 결정하는 단계는 하나 이상의 제1 명령과 하나 이상의 제2 명령 사이의 음성 입력 내의 적어도 하나의 정지(pause)를 검출하는 단계를 더 포함하는, 네트워크 마이크로폰 장치.
(특징 35) 미디어 재생 시스템에 대한 제1 음성 지원 서비스(VAS)를 작동시키는 방법으로서, 방법은 (i) 명령의 리스트 및 연관된 명령 기준을 포함하는 명령 정보의 세트가 메모리에 저장되도록 하는 단계; (ii)네트워크 마이크로폰 장치의 적어도 하나의 마이크로폰을 통하여 음성 입력을 캡쳐하는 단계; (iii) 음성 입력 내에 하나 이상의 명령이 포함되어 있는지를 검출하는 단계; (iv) 하나 이상의 명령이 명령 정보의 세트 내의 하나 이상의 명령과 연관되는 대응하는 명령 기준을 만족한다고 결정하는 단계; 및 (v) 결정하는 단계에 응답하여, (a) 제1 VAS를 선택하고 제2 VAS의 선택을 포기하고, (b) 제1 VAS로 음성 입력을 송신하며 (c) 음성 입력을 송신한 이후, 제1 VAS로부터 음성 입력에 대한 응답을 수신하는 단계를 포함하는 방법.
(특징 36) 특징 35의 방법에 있어서, 미디어 재생 시스템은 복수의 재생 장치를 포함하고, 하나 이상의 명령은 재생 장치 중 둘 이상을 그룹핑하고 둘 이상의 재생 장치를 포함하는 그룹 상에서 오디오 컨텐츠의 재생을 개시하기 위한 명령을 포함하고, 결정하는 단계는 음성 입력에 하나 이상의 키워드가 포함되어 있는지를 검출하는 단계를 포함하고, 하나 이상의 키워드는 (i) 둘 이상의 재생 장치 중 하나와 연관되는 제1 키워드와 둘 이상의 재생 장치 중 다른 하나와 연관되는 제2 키워드 및 (ii) 둘 이상의 재생 장치를 포함하는 그룹 중 적어도 하나를 포함하는, 방법.
(특징 37) 네트워크 마이크로폰 장치로 하여금 미디어 재생 시스템에서 동작을 수행하도록 하는, 하나 이상의 프로세서에 의해 실행 가능한 명령어를 가지는 유형의 컴퓨터 판독 가능 기록 매체로서, 동작은 (i) 명령의 리스트 및 연관된 명령 기준을 포함하는 명령 정보의 세트가 메모리에 저장되도록 하는 단계; (ii) 적어도 하나의 마이크로폰을 통하여 음성 입력을 캡쳐하는 단계; (iii) 음성 입력 내에 하나 이상의 명령이 포함되어 있는지를 검출하는 단계; (iv) 하나 이상의 명령이 명령 정보의 세트 내의 하나 이상의 명령과 연관되는 대응하는 명령 기준을 만족한다고 결정하는 단계; 및 (v) 결정하는 단계에 응답하여, (a) 제1 음성 지원 서비스(VAS)를 선택하고 제2 VAS의 선택을 포기하고, (b) 제1 VAS로 음성 입력을 전송하며 (c) 음성 입력을 전송한 이후, 제1 VAS로부터 음성 입력에 대한 응답을 수신하는 단계를 포함하는, 유형의 비일시적인 컴퓨터 판독가능 기록 매체.
명세서는 주로 예시적인 환경, 시스템, 절차, 단계, 논리 블록, 처리 및 네트워크로 결합된 데이터 처리 장치의 동작에 직접 또는 간접적으로 유사한 다른 심볼 표현의 관점에서 제공된다. 이러한 프로세스 설명 및 표현은 일반적으로 당업자에 의해 가장 효과적으로 자신의 연구의 본질을 다른 분야에 전달하기 위해 사용된다. 본 개시의 완전한 이해를 제공하기 위해 다수의 구체적인 세부 사항이 개시된다. 그러나 본 개시의 일부 실시예는 일부 구체적인 세부 사항 없이 수행될 수 있음이 당업자에게 이해된다. 다른 경우에, 잘 알려진 방법, 절차, 컴포넌트 및 회로는 실시예의 태양을 불필요하게 흐리는 것을 피하기 위해 상세히 설명되지 않았다. 따라서, 본 개시의 범위는 앞의 실시예의 설명이 아니라 첨부된 청구범위에 의해 정의된다.
첨부된 청구범위 중에서 임의의 것이 순전히 소프트웨어 및/또는 펌웨어 구현을 커버하는 것으로 읽히는 경우, 적어도 하나의 예시에서의 구성 요소 중 적어도 하나는 여기에서 명시적으로 메모리, DVD, CD, 블루레이 등과 같이 소프트웨어 및/또는 펌웨어를 저장하는 유형의 비일시적인 매체를 포함하는 것으로 정의된다.

Claims (15)

  1. 미디어 재생 시스템(100)을 위한 방법에 있어서,
    미디어 재생 시스템의 네트워크 마이크로폰 장치(102a-m, 103, 202)의 적어도 하나의 마이크로폰(224)을 통하여 음성 입력을 캡처하는 단계;
    명령과 연관된 명령 기준(criteria) 및 명령의 리스트를 포함하는 명령 정보(590, 890)의 세트에 포함된 하나 이상의 명령이 상기 음성 입력 내에 포함됨을 검출하는 단계 - 상기 명령 기준은 특별 명령과 연관된 하나 이상의 키워드를 포함함-;
    상기 하나 이상의 명령이 상기 명령 정보의 세트 내의 상기 하나 이상의 명령과 연관된 상기 명령 기준에 부합하면:
    제1 VAS를 선택하고, 제2 VAS의 선택을 포기하는 단계;
    상기 음성 입력을 상기 제1 VAS에 전송하는 단계; 및
    상기 음성 입력을 전송한 후, 상기 제1 VAS로부터 상기 음성 입력에 대한 응답을 수신하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 미디어 재생 시스템은 복수의 재생 장치를 포함하고, 상기 하나 이상의 명령은 상기 재생 장치 중 둘 이상을 그룹핑하고 상기 둘 이상의 재생 장치를 포함하는 그룹 상에서 오디오 컨텐츠의 재생을 개시하기 위한 명령을 포함하는, 방법.
  3. 제2항에 있어서,
    상기 검출하는 단계는 상기 음성 입력에 하나 이상의 키워드가 포함됨을 검출하는 단계를 포함하고,
    상기 하나 이상의 키워드는:
    (i) 상기 둘 이상의 재생 장치 중 하나와 연관되는 제1 키워드와 상기 둘 이상의 재생 장치 중 다른 하나와 연관되는 제2 키워드 및
    (ii) 상기 둘 이상의 재생 장치를 포함하는 상기 그룹
    중 적어도 하나를 포함하는, 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 둘 이상의 재생 장치 중 하나는 상기 네트워크 마이크로폰 장치를 포함하는, 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 방법은 상기 제1 VAS로부터의 상기 응답에 기초하여 상기 미디어 재생 시스템을 통해 상기 하나 이상의 명령을 처리하는 단계를 더 포함하는, 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 음성 입력은 제1 음성 입력이고,
    상기 방법은 상기 제1 VAS로부터의 상기 응답에 기초하여 가청 프롬프트(audible prompt)를 출력하는 단계를 더 포함하는, 방법.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 음성 입력은 제1 음성 입력이고,
    상기 방법은 상기 제1 VAS로부터의 상기 응답에 기초하여 제2 음성 입력에 대한 가청 프롬프트를 출력하는 단계를 더 포함하는, 방법.
  8. 제7항에 있어서,
    상기 미디어 재생 시스템은 복수의 재생 장치를 포함하고,
    상기 하나 이상의 명령은 재생 장치 중 둘 이상을 페어링하기 위한 명령을 포함하고,
    상기 가청 프롬프트는 오디오 채널에 상기 둘 이상의 재생 장치 중 적어도 하나를 할당하기 위한 요청을 포함하며,
    상기 제2 음성 입력은 상기 둘 이상의 재생 장치 중 적어도 하나의 선택을 포함하는, 방법.
  9. 제7항에 있어서,
    상기 미디어 재생 시스템은 하나 이상의 재생 장치를 포함하고, 상기 가청 프롬프트는 상기 재생 장치 중 하나 이상에 대하여 이퀄라이제이션 설정(equalization setting)을 조정(calibrate)하기 위한 요구를 포함하는, 방법.
  10. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 하나 이상의 명령은 하나 이상의 제1 명령이고, 상기 검출하는 단계는:
    상기 음성 입력 내의 하나 이상의 제2 명령을 검출하는 단계; 및
    상기 하나 이상의 제1 명령과 상기 하나 이상의 제2 명령 사이의 상기 음성 입력 내의 적어도 하나의 정지(pause)를 검출하는 단계를 포함하는, 방법.
  11. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 명령 정보의 세트는 상가 미디어 재생 시스템의 하나 이상의 네트워크 장치의 메모리에 저장되는, 방법.
  12. 제11항에 있어서,
    상기 미디어 재생 시스템의 상기 네트워크 장치는 로컬 지역 네트워크를 통해 연결되는, 방법.
  13. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 캡쳐된 음성 입력은 호출어(wakeword)를 포함하는, 방법.
  14. 하나 이상의 프로세서에 의해 실행될 때, 네트워크 마이크로폰 장치로 하여금 제1항 내지 제3항 중 어느 한 항의 방법을 수행하도록 하는 명령어를 포함하는, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  15. 네트워크 마이크로폰 장치(102a-m, 103, 202)로서,
    하나 이상의 마이크로폰(224);
    하나 이상의 프로세서(212); 및
    제14항의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록매체
    를 포함하는 네트워크 마이크로폰 장치.
KR1020227021879A 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템 KR102597285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237036702A KR20230152813A (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/721,141 2017-09-29
US15/721,141 US10466962B2 (en) 2017-09-29 2017-09-29 Media playback system with voice assistance
KR1020207011843A KR102415967B1 (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템
PCT/US2018/053472 WO2019067930A1 (en) 2017-09-29 2018-09-28 MULTIMEDIA VOICE ASSISTED READING SYSTEM

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207011843A Division KR102415967B1 (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237036702A Division KR20230152813A (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템

Publications (2)

Publication Number Publication Date
KR20220093280A true KR20220093280A (ko) 2022-07-05
KR102597285B1 KR102597285B1 (ko) 2023-11-02

Family

ID=63963452

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237036702A KR20230152813A (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템
KR1020227021879A KR102597285B1 (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템
KR1020207011843A KR102415967B1 (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237036702A KR20230152813A (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207011843A KR102415967B1 (ko) 2017-09-29 2018-09-28 음성 지원을 가지는 미디어 재생 시스템

Country Status (8)

Country Link
US (5) US10466962B2 (ko)
EP (2) EP3688995B1 (ko)
JP (3) JP6987230B2 (ko)
KR (3) KR20230152813A (ko)
CN (2) CN111418216B (ko)
AU (2) AU2018338812A1 (ko)
CA (1) CA3084279A1 (ko)
WO (1) WO2019067930A1 (ko)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10705701B2 (en) 2009-03-16 2020-07-07 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10706096B2 (en) 2011-08-18 2020-07-07 Apple Inc. Management of local and remote media items
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015183367A1 (en) 2014-05-30 2015-12-03 Apple Inc. Continuity
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
CN115623117A (zh) 2014-09-02 2023-01-17 苹果公司 电话用户界面
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
JP7192208B2 (ja) * 2017-12-01 2022-12-20 ヤマハ株式会社 機器制御システム、デバイス、プログラム、及び機器制御方法
US10157042B1 (en) * 2018-02-06 2018-12-18 Amazon Technologies, Inc. Audio output control
CN108428452B (zh) * 2018-03-14 2019-12-13 百度在线网络技术（北京）有限公司 终端支架和远场语音交互系统
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN108510987B (zh) * 2018-03-26 2020-10-23 北京小米移动软件有限公司 语音处理方法及装置
WO2019193378A1 (en) * 2018-04-06 2019-10-10 Flex Ltd. Device and system for accessing multiple virtual assistant services
US11250840B1 (en) 2018-04-09 2022-02-15 Perceive Corporation Machine-trained network detecting context-sensitive wake expressions for a digital assistant
US10629203B2 (en) * 2018-04-17 2020-04-21 Flex, Ltd. Method and systems for bookmarking complex commands using voice
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10938994B2 (en) * 2018-06-25 2021-03-02 Cypress Semiconductor Corporation Beamformer and acoustic echo canceller (AEC) system
CN108922528B (zh) * 2018-06-29 2020-10-23 百度在线网络技术（北京）有限公司 用于处理语音的方法和装置
US11189275B2 (en) * 2018-08-02 2021-11-30 Polycom, Inc. Natural language processing while sound sensor is muted
KR20200034430A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 전자 장치, 시스템 및 음성 인식 서비스 이용 방법
US11100926B2 (en) * 2018-09-27 2021-08-24 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11087754B2 (en) 2018-09-27 2021-08-10 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10978046B2 (en) * 2018-10-15 2021-04-13 Midea Group Co., Ltd. System and method for customizing portable natural language processing interface for appliances
KR20200109467A (ko) * 2019-03-13 2020-09-23 삼성전자주식회사 전자 장치 및 그 제어 방법
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
JP7236919B2 (ja) * 2019-04-12 2023-03-10 三菱電機株式会社 音声入力装置、音声操作システム、音声操作方法及びプログラム
CN110109645A (zh) * 2019-04-30 2019-08-09 百度在线网络技术（北京）有限公司 一种交互式音乐试听方法、装置和终端
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11544463B2 (en) * 2019-05-09 2023-01-03 Intel Corporation Time asynchronous spoken intent detection
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US10867608B1 (en) * 2019-05-31 2020-12-15 Apple Inc. Multi-user configuration
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11010121B2 (en) * 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2020246634A1 (ko) * 2019-06-04 2020-12-10 엘지전자 주식회사 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법
KR20210055347A (ko) * 2019-11-07 2021-05-17 엘지전자 주식회사 인공 지능 장치
CN111601163B (zh) * 2020-04-26 2023-03-03 百度在线网络技术（北京）有限公司 播放控制方法、装置、电子设备及存储介质
US11659229B2 (en) 2020-04-29 2023-05-23 Arris Enterprises Llc System and method for management and presentation of alternate media
CN112732623A (zh) * 2020-05-11 2021-04-30 苹果公司 数字助理硬件抽象
US11513667B2 (en) * 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
EP3910467A1 (en) * 2020-05-11 2021-11-17 Apple Inc. Digital assistant hardware abstraction
KR102523917B1 (ko) * 2020-05-11 2023-04-19 애플 인크. 디지털 어시스턴트 하드웨어 추출
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
WO2021252483A1 (en) * 2020-06-08 2021-12-16 Sonos, Inc. Control with distributed command processing
US20210392427A1 (en) * 2020-06-12 2021-12-16 Samsung Electronics Company, Ltd. Systems and Methods for Live Conversation Using Hearing Devices
CN111724784A (zh) * 2020-06-28 2020-09-29 北京小米松果电子有限公司 设备控制方法及装置
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112165640B (zh) * 2020-09-21 2023-04-14 Vidaa美国公司 一种显示设备
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11657814B2 (en) * 2020-10-08 2023-05-23 Harman International Industries, Incorporated Techniques for dynamic auditory phrase completion
CN112507708B (zh) * 2020-12-16 2023-09-15 青岛海尔科技有限公司 信息录入方法、装置、存储介质及电子装置
US11671697B2 (en) 2021-01-31 2023-06-06 Apple Inc. User interfaces for wide angle video conference
CN113205807B (zh) * 2021-04-06 2023-08-29 珠海格力电器股份有限公司 一种语音设备的控制方法、装置、存储介质及语音设备
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US11575758B1 (en) * 2021-09-13 2023-02-07 Amazon Technologies, Inc. Session-based device grouping
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
WO2023056258A1 (en) 2021-09-30 2023-04-06 Sonos, Inc. Conflict management for wake-word detection processes
US11886773B1 (en) 2023-03-28 2024-01-30 Volley Inc. Systems and methods for a voice-controlled interactive application

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054643A (ko) * 2012-10-29 2014-05-09 삼성전자주식회사 음성인식장치 및 음성인식방법
US20140244712A1 (en) * 2013-02-25 2014-08-28 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US20160098992A1 (en) * 2014-10-01 2016-04-07 XBrain, Inc. Voice and Connection Platform
US20170242657A1 (en) * 2016-02-22 2017-08-24 Sonos, Inc. Action based on User ID
US20170269975A1 (en) * 2016-03-17 2017-09-21 Nuance Communications, Inc. Session processing interaction between two or more virtual assistants

Family Cites Families (1213)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US999715A (en) 1911-05-31 1911-08-01 Hans Gundersen Flying-machine.
US4941187A (en) 1984-02-03 1990-07-10 Slater Robert W Intercom apparatus for integrating disparate audio sources for use in light aircraft or similar high noise environments
US4741038A (en) 1986-09-26 1988-04-26 American Telephone And Telegraph Company, At&T Bell Laboratories Sound location arrangement
JPS63301998A (ja) 1987-06-02 1988-12-08 日本電気株式会社 音声認識応答装置
US4974213A (en) 1988-12-16 1990-11-27 Siwecki Thomas L Passive active underwater sound detection apparatus
US5036538A (en) 1989-11-22 1991-07-30 Telephonics Corporation Multi-station voice recognition and processing system
US5440644A (en) 1991-01-09 1995-08-08 Square D Company Audio distribution system having programmable zoning features
EP0548836B1 (en) 1991-12-20 1997-06-11 Matsushita Electric Industrial Co., Ltd. A bass reproduction speaker apparatus
US6311157B1 (en) 1992-12-31 2001-10-30 Apple Computer, Inc. Assigning meanings to utterances in a speech recognition system
JPH0883091A (ja) 1994-09-09 1996-03-26 Matsushita Electric Ind Co Ltd 音声認識装置
US5740260A (en) 1995-05-22 1998-04-14 Presonus L.L.P. Midi to analog sound processor interface
US6070140A (en) 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
US5857172A (en) 1995-07-31 1999-01-05 Microsoft Corporation Activation control of a speech recognizer through use of a pointing device
US7174299B2 (en) 1995-08-18 2007-02-06 Canon Kabushiki Kaisha Speech recognition system, speech recognition apparatus, and speech recognition method
FR2739736B1 (fr) 1995-10-05 1997-12-05 Jean Laroche Procede de reduction des pre-echos ou post-echos affectant des enregistrements audio
JP3094900B2 (ja) 1996-02-20 2000-10-03 ヤマハ株式会社 ネットワーク機器およびデータ送受信方法
US6404811B1 (en) 1996-05-13 2002-06-11 Tektronix, Inc. Interactive multimedia system
JP3679526B2 (ja) 1996-10-31 2005-08-03 キヤノン株式会社 画像共有装置、画面制御方法及びコンピュータ可読メモリ
US6469633B1 (en) 1997-01-06 2002-10-22 Openglobe Inc. Remote control of electronic devices
US6078886A (en) 1997-04-14 2000-06-20 At&T Corporation System and method for providing remote automatic speech recognition services via a packet network
US6611537B1 (en) 1997-05-30 2003-08-26 Centillium Communications, Inc. Synchronous network for digital media streams
US6408078B1 (en) 1997-10-30 2002-06-18 Maximilian Hobelsberger Active reactive acoustical elements
US6088459A (en) 1997-10-30 2000-07-11 Hobelsberger; Maximilian Hans Loudspeaker system with simulated baffle for improved base reproduction
US6032202A (en) 1998-01-06 2000-02-29 Sony Corporation Of Japan Home audio/video network with two level device control
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US6301603B1 (en) 1998-02-17 2001-10-09 Euphonics Incorporated Scalable audio processing on a heterogeneous processor array
US6953886B1 (en) 1998-06-17 2005-10-11 Looney Productions, Llc Media organizer and entertainment center
IL127569A0 (en) 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
US6839410B2 (en) 1998-09-01 2005-01-04 At&T Corp. Method and apparatus for setting user communication parameters based on voice identification of users
IL142363A0 (en) 1998-10-02 2002-03-10 Ibm System and method for providing network coordinated conversational services
US20020116196A1 (en) 1998-11-12 2002-08-22 Tran Bao Q. Speech recognizer
US6243676B1 (en) 1998-12-23 2001-06-05 Openwave Systems Inc. Searching and retrieving multimedia information
US7130616B2 (en) 2000-04-25 2006-10-31 Simple Devices System and method for providing content, management, and interactivity for client devices
US6256554B1 (en) 1999-04-14 2001-07-03 Dilorenzo Mark Multi-room entertainment system with in-room media player/dispenser
US6414251B1 (en) 1999-04-19 2002-07-02 Breck Colquett Weighing apparatus and method having automatic tolerance analysis and calibration
US7657910B1 (en) 1999-07-26 2010-02-02 E-Cast Inc. Distributed electronic entertainment method and apparatus
GB2352933A (en) 1999-07-31 2001-02-07 Ibm Speech encoding in a client server system
US6542868B1 (en) 1999-09-23 2003-04-01 International Business Machines Corporation Audio notification management system
US6937977B2 (en) 1999-10-05 2005-08-30 Fastmobile, Inc. Method and apparatus for processing an input speech signal during presentation of an output audio signal
US6611604B1 (en) 1999-10-22 2003-08-26 Stillwater Designs & Audio, Inc. Ultra low frequency transducer and loud speaker comprising same
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US6594630B1 (en) * 1999-11-19 2003-07-15 Voice Signal Technologies, Inc. Voice-activated control for electrical device
US6522886B1 (en) 1999-11-22 2003-02-18 Qwest Communications International Inc. Method and system for simultaneously sharing wireless communications among multiple wireless handsets
US6219645B1 (en) 1999-12-02 2001-04-17 Lucent Technologies, Inc. Enhanced automatic speech recognition using multiple directional microphones
EP1104968B1 (en) 1999-12-03 2007-02-14 Telefonaktiebolaget LM Ericsson (publ) A method of simultaneously playing back audio files in two telephones
KR20010054622A (ko) 1999-12-07 2001-07-02 서평원 음성 인식 시스템의 음성 인식률 향상 방법
US20010042107A1 (en) 2000-01-06 2001-11-15 Palm Stephen R. Networked audio player transport protocol and architecture
US7661107B1 (en) 2000-01-18 2010-02-09 Advanced Micro Devices, Inc. Method and apparatus for dynamic allocation of processing resources
WO2001053963A1 (en) 2000-01-24 2001-07-26 Zapmedia, Inc. System and method for the distribution and sharing of media assets between media players devices
WO2001053994A2 (en) 2000-01-24 2001-07-26 Friskit, Inc. Streaming media search and playback system
WO2001061898A2 (en) 2000-02-18 2001-08-23 Bridgeco Ag Reference time distribution over a network
JP2001236093A (ja) 2000-02-24 2001-08-31 Omron Corp 電子機器制御装置および電子機器
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6631410B1 (en) 2000-03-16 2003-10-07 Sharp Laboratories Of America, Inc. Multimedia wired/wireless content synchronization system and method
US20020022453A1 (en) 2000-03-31 2002-02-21 Horia Balog Dynamic protocol selection and routing of content to mobile devices
GB2363036B (en) 2000-05-31 2004-05-12 Nokia Mobile Phones Ltd Conference call method and apparatus therefor
US20050164664A1 (en) 2000-07-21 2005-07-28 Difonzo Daniel F. Dynamically reconfigurable wireless networks (DRWiN) and methods for operating such networks
US20040105566A1 (en) 2000-07-27 2004-06-03 International Business Machines Corporation Body set type speaker unit
WO2002023389A1 (en) 2000-09-15 2002-03-21 Robert Fish Systems and methods for translating an item of information using a distal computer
US6934756B2 (en) 2000-11-01 2005-08-23 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
US20020054685A1 (en) 2000-11-09 2002-05-09 Carlos Avendano System for suppressing acoustic echoes and interferences in multi-channel audio systems
US20020072816A1 (en) 2000-12-07 2002-06-13 Yoav Shdema Audio system
US7016847B1 (en) 2000-12-08 2006-03-21 Ben Franklin Patent Holdings L.L.C. Open architecture for a voice user interface
US6778869B2 (en) 2000-12-11 2004-08-17 Sony Corporation System and method for request, delivery and use of multimedia files for audiovisual entertainment in the home environment
US7143939B2 (en) 2000-12-19 2006-12-05 Intel Corporation Wireless music device and method therefor
US20020124097A1 (en) 2000-12-29 2002-09-05 Isely Larson J. Methods, systems and computer program products for zone based distribution of audio signals
US7617099B2 (en) 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
GB2372864B (en) 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US6885989B2 (en) 2001-04-02 2005-04-26 International Business Machines Corporation Method and system for collaborative speech recognition for small-area network
US6757517B2 (en) 2001-05-10 2004-06-29 Chin-Chi Chang Apparatus and method for coordinated music playback in wireless ad-hoc networks
US7136934B2 (en) 2001-06-19 2006-11-14 Request, Inc. Multimedia synchronization method and device
KR100420069B1 (ko) 2001-08-23 2004-02-25 한국과학기술원 인지 특성을 반영한 메뉴 설계 및 아이템 제시방법
US6892083B2 (en) 2001-09-05 2005-05-10 Vocera Communications Inc. Voice-controlled wireless communications system and method
US7536704B2 (en) 2001-10-05 2009-05-19 Opentv, Inc. Method and apparatus automatic pause and resume of playback for a popup on interactive TV
CA2407123C (en) 2001-10-16 2007-12-18 Audio Products International Corp. Low distortion loudspeaker cone suspension
CA2408045A1 (en) 2001-10-16 2003-04-16 Audio Products International Corp. Loudspeaker with large displacement motional feedback
US7006639B2 (en) 2001-11-20 2006-02-28 Maximilian Hans Hobelsberger Active noise-attenuating duct element
US7103542B2 (en) 2001-12-14 2006-09-05 Ben Franklin Patent Holding Llc Automatically improving a voice recognition system
US7391791B2 (en) 2001-12-17 2008-06-24 Implicit Networks, Inc. Method and system for synchronization of content rendering
DE10163213A1 (de) 2001-12-21 2003-07-10 Philips Intellectual Property Verfahren zum Betrieb eines Spracherkennungssystems
US8103009B2 (en) 2002-01-25 2012-01-24 Ksc Industries, Inc. Wired, wireless, infrared, and powerline audio entertainment systems
US7853341B2 (en) 2002-01-25 2010-12-14 Ksc Industries, Inc. Wired, wireless, infrared, and powerline audio entertainment systems
JP4086280B2 (ja) 2002-01-29 2008-05-14 株式会社東芝 音声入力システム、音声入力方法及び音声入力プログラム
US20030157951A1 (en) 2002-02-20 2003-08-21 Hasty William V. System and method for routing 802.11 data traffic across channels to increase ad-hoc network capacity
JP3715584B2 (ja) 2002-03-28 2005-11-09 富士通株式会社 機器制御装置および機器制御方法
WO2003093950A2 (en) 2002-05-06 2003-11-13 David Goldberg Localized audio networks and associated digital accessories
KR100966415B1 (ko) 2002-05-09 2010-06-28 넷스트림스 엘엘씨 오디오 네트워크 분산 시스템
US6961423B2 (en) 2002-06-24 2005-11-01 Freescale Semiconductor, Inc. Method and apparatus for performing adaptive filtering
JP3815388B2 (ja) 2002-06-25 2006-08-30 株式会社デンソー 音声認識システムおよび端末
US8060225B2 (en) 2002-07-31 2011-11-15 Hewlett-Packard Development Company, L. P. Digital audio device
EP1389853B1 (en) 2002-08-14 2006-03-29 Sony Deutschland GmbH Bandwidth oriented reconfiguration of wireless ad hoc networks
JP3910898B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 指向性設定装置、指向性設定方法及び指向性設定プログラム
US7228275B1 (en) 2002-10-21 2007-06-05 Toyota Infotechnology Center Co., Ltd. Speech recognition system having multiple speech recognizers
JP2004163590A (ja) 2002-11-12 2004-06-10 Denso Corp 再生装置及びプログラム
KR20040042242A (ko) 2002-11-13 2004-05-20 삼성전자주식회사 홈서버를 이용하는 홈로봇 및 이를 포함하는 홈네트워크시스템
US7295548B2 (en) 2002-11-27 2007-11-13 Microsoft Corporation Method and system for disaggregating audio/visual components
CN100392723C (zh) 2002-12-11 2008-06-04 索夫塔马克斯公司 在稳定性约束下使用独立分量分析的语音处理系统和方法
US7076428B2 (en) * 2002-12-30 2006-07-11 Motorola, Inc. Method and apparatus for selective distributed speech recognition
KR100668297B1 (ko) 2002-12-31 2007-01-12 삼성전자주식회사 음성인식방법 및 장치
US6823050B2 (en) 2003-02-13 2004-11-23 International Business Machines Corporation System and method for interfacing with a personal telephony recorder
EP1602051A2 (en) 2003-03-03 2005-12-07 America Online, Inc. Source audio identifiers for digital communications
JP2004347943A (ja) 2003-05-23 2004-12-09 Clarion Co Ltd データ処理装置、楽曲再生装置、データ処理装置の制御プログラムおよび楽曲再生装置の制御プログラム
JP2004354721A (ja) 2003-05-29 2004-12-16 Shimizu Corp 音声制御装置、音声制御方法および音声制御プログラム
US8234395B2 (en) * 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US7571014B1 (en) 2004-04-01 2009-08-04 Sonos, Inc. Method and apparatus for controlling multimedia players in a multi-zone system
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US7961892B2 (en) 2003-07-28 2011-06-14 Texas Instruments Incorporated Apparatus and method for monitoring speaker cone displacement in an audio speaker
US20050031139A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Position detection of an actuator using impedance
US20050031138A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Method of measuring a cant of an actuator
US20050031140A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Position detection of an actuator using a capacitance measurement
US20050031131A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Method of modifying dynamics of a system
US20050031132A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Control system
US20050031134A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Position detection of an actuator using infrared light
US20050031133A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Process for position indication
US20060104451A1 (en) 2003-08-07 2006-05-18 Tymphany Corporation Audio reproduction system
US20050031137A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Calibration of an actuator
KR20050023841A (ko) 2003-09-03 2005-03-10 삼성전자주식회사 비선형 왜곡 저감 방법 및 장치
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US20050077843A1 (en) 2003-10-11 2005-04-14 Ronnie Benditt Method and apparatus for controlling a performing arts show by an onstage performer
WO2005041618A1 (en) 2003-10-24 2005-05-06 Koninklijke Philips Electronics N.V. Adaptive sound reproduction
DE602004021716D1 (de) 2003-11-12 2009-08-06 Honda Motor Co Ltd Spracherkennungssystem
US7705565B2 (en) 2003-12-31 2010-04-27 Motorola, Inc. Method and system for wireless charging
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
JP4269973B2 (ja) 2004-02-27 2009-05-27 株式会社デンソー カーオーディオシステム
US7415117B2 (en) 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
US7483538B2 (en) 2004-03-02 2009-01-27 Ksc Industries, Inc. Wireless and wired speaker hub for a home theater system
JP4059214B2 (ja) 2004-03-04 2008-03-12 ソニー株式会社 情報再生システムの制御方法、情報再生システム、情報提供装置、および情報提供プログラム
US10200504B2 (en) 2007-06-12 2019-02-05 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US7372966B2 (en) 2004-03-19 2008-05-13 Nokia Corporation System for limiting loudspeaker displacement
JP2005284492A (ja) 2004-03-29 2005-10-13 Mitsubishi Electric Corp 音声利用操作装置
US7630501B2 (en) 2004-05-14 2009-12-08 Microsoft Corporation System and method for calibration of an acoustic system
US7792311B1 (en) 2004-05-15 2010-09-07 Sonos, Inc., Method and apparatus for automatically enabling subwoofer channel audio based on detection of subwoofer device
US7346846B2 (en) 2004-05-28 2008-03-18 Microsoft Corporation Strategies for providing just-in-time user assistance
US7006938B2 (en) 2004-06-16 2006-02-28 Ami Semiconductor, Inc. Reactive sensor modules using Pade' Approximant based compensation and providing module-sourced excitation
US7672845B2 (en) 2004-06-22 2010-03-02 International Business Machines Corporation Method and system for keyword detection using voice-recognition
US20060004834A1 (en) 2004-06-30 2006-01-05 Nokia Corporation Dynamic shortcuts
JP2006092482A (ja) 2004-09-27 2006-04-06 Yamaha Corp 音声認識通報装置
US7720232B2 (en) 2004-10-15 2010-05-18 Lifesize Communications, Inc. Speakerphone
US8386523B2 (en) 2004-12-30 2013-02-26 Texas Instruments Incorporated Random access audio decoder
TWI272860B (en) 2005-01-03 2007-02-01 Lite On Technology Corp Audio receiver and volume reminder method
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
EP1844392B1 (en) 2005-01-21 2012-07-04 Certicom Corp. Elliptic curve random number generation
US20060190968A1 (en) 2005-01-31 2006-08-24 Searete Llc, A Limited Corporation Of The State Of The State Of Delaware Sharing between shared audio devices
US8594320B2 (en) 2005-04-19 2013-11-26 (Epfl) Ecole Polytechnique Federale De Lausanne Hybrid echo and noise suppression method and device in a multi-channel audio signal
EP1715669A1 (en) 2005-04-19 2006-10-25 Ecole Polytechnique Federale De Lausanne (Epfl) A method for removing echo in an audio signal
US7720684B2 (en) 2005-04-29 2010-05-18 Nuance Communications, Inc. Method, apparatus, and computer program product for one-step correction of voice interaction
US7991167B2 (en) 2005-04-29 2011-08-02 Lifesize Communications, Inc. Forming beams with nulls directed at noise sources
US9300790B2 (en) 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
JP4760160B2 (ja) 2005-06-29 2011-08-31 ヤマハ株式会社 集音装置
JP4804052B2 (ja) 2005-07-08 2011-10-26 アルパイン株式会社 音声認識装置、音声認識装置を備えたナビゲーション装置及び音声認識装置の音声認識方法
US20070018844A1 (en) 2005-07-19 2007-01-25 Sehat Sutardja Two way remote control
JP4285457B2 (ja) 2005-07-20 2009-06-24 ソニー株式会社 音場測定装置及び音場測定方法
WO2007013622A1 (ja) 2005-07-29 2007-02-01 Matsushita Electric Industrial Co., Ltd. スピーカ装置
CN1909625A (zh) 2005-08-05 2007-02-07 鸿富锦精密工业（深圳）有限公司 一种自动调整音量的电视装置及控制方法
US20090076821A1 (en) 2005-08-19 2009-03-19 Gracenote, Inc. Method and apparatus to control operation of a playback device
US20070060054A1 (en) 2005-09-15 2007-03-15 Sony Ericsson Mobile Communications Ab Wireless home communication system method and apparatus
JP4519041B2 (ja) 2005-09-20 2010-08-04 ローランド株式会社 楽器用スピーカ装置
KR20080046199A (ko) 2005-09-21 2008-05-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 원거리에 위치한 마이크로폰을 사용한 음성 작동 제어를가진 초음파 이미징 시스템
US8270957B2 (en) 2005-11-07 2012-09-18 Telecom Italia S.P.A. Method for managing a conference call in a telephone network
JP4929685B2 (ja) 2005-11-15 2012-05-09 ヤマハ株式会社 遠隔会議装置
CA2629801C (en) 2005-11-15 2011-02-01 Yamaha Corporation Remote conference apparatus and sound emitting/collecting apparatus
US20070140058A1 (en) 2005-11-21 2007-06-21 Motorola, Inc. Method and system for correcting transducer non-linearities
US7600194B2 (en) 2005-12-02 2009-10-06 Microsoft Corporation Start menu operation for computer user interface
JP2007174233A (ja) 2005-12-21 2007-07-05 Pioneer Electronic Corp スピーカー装置及び携帯電話機
JP4677341B2 (ja) 2005-12-21 2011-04-27 パイオニア株式会社 スピーカー装置及び携帯電話機
US20160066087A1 (en) 2006-01-30 2016-03-03 Ludger Solbach Joint noise suppression and acoustic echo cancellation
KR100762636B1 (ko) 2006-02-14 2007-10-01 삼성전자주식회사 네트워크 단말의 음성 검출 제어 시스템 및 방법
JP4422692B2 (ja) 2006-03-03 2010-02-24 日本電信電話株式会社 伝達経路推定方法、残響除去方法、音源分離方法、これらの装置、プログラム、記録媒体
US8284982B2 (en) 2006-03-06 2012-10-09 Induction Speaker Technology, Llc Positionally sequenced loudspeaker system
WO2007123797A1 (en) 2006-04-04 2007-11-01 Johnson Controls Technology Company System and method for extraction of meta data from a digital media storage device for media selection in a vehicle
ATE423433T1 (de) 2006-04-18 2009-03-15 Harman Becker Automotive Sys System und verfahren zur mehrkanal- echokompensation
KR100786108B1 (ko) 2006-05-01 2007-12-18 김준식 음파통신 네트워크
DE602006007685D1 (de) 2006-05-10 2009-08-20 Harman Becker Automotive Sys Kompensation von Mehrkanalechos durch Dekorrelation
US9208785B2 (en) 2006-05-10 2015-12-08 Nuance Communications, Inc. Synchronizing distributed speech recognition
US8041057B2 (en) 2006-06-07 2011-10-18 Qualcomm Incorporated Mixing techniques for mixing audio
JP4984683B2 (ja) 2006-06-29 2012-07-25 ヤマハ株式会社 放収音装置
US8207936B2 (en) 2006-06-30 2012-06-26 Sony Ericsson Mobile Communications Ab Voice remote control
US8189765B2 (en) 2006-07-06 2012-05-29 Panasonic Corporation Multichannel echo canceller
US20080037814A1 (en) 2006-08-09 2008-02-14 Jeng-Jye Shau Precision audio speakers
WO2008018099A1 (en) 2006-08-10 2008-02-14 Claudio Lastrucci Improvements to systems for acoustic diffusion
US10013381B2 (en) 2006-08-31 2018-07-03 Bose Corporation Media playing from a docked handheld media device
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8473618B2 (en) 2006-09-19 2013-06-25 Motorola Solutions, Inc. Method and system for processing multiple communication sessions in a communication network
JP2008079256A (ja) 2006-09-25 2008-04-03 Toshiba Corp 音響信号処理装置、音響信号処理方法及びプログラム
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US7987294B2 (en) 2006-10-17 2011-07-26 Altec Lansing Australia Pty Limited Unification of multimedia devices
US7747293B2 (en) 2006-10-17 2010-06-29 Marvell Worl Trade Ltd. Display control for cellular phone
TWI435591B (zh) 2006-10-17 2014-04-21 Marvell World Trade Ltd 用於蜂巢電話之顯示控制
US9124650B2 (en) 2006-12-13 2015-09-01 Quickplay Media Inc. Digital rights management in a mobile environment
US8391501B2 (en) 2006-12-13 2013-03-05 Motorola Mobility Llc Method and apparatus for mixing priority and non-priority audio signals
US20080146289A1 (en) 2006-12-14 2008-06-19 Motorola, Inc. Automatic audio transducer adjustments based upon orientation of a mobile communication device
JP2008158868A (ja) 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法
US7973857B2 (en) 2006-12-27 2011-07-05 Nokia Corporation Teleconference group formation using context information
US20090013255A1 (en) 2006-12-30 2009-01-08 Matthew John Yuschik Method and System for Supporting Graphical User Interfaces
KR101316750B1 (ko) 2007-01-23 2013-10-08 삼성전자주식회사 수신된 위치 정보에 따라 오디오 파일을 재생하는 장치 및그 방법
TW200833152A (en) 2007-01-31 2008-08-01 Bluepacket Comm Co Ltd Multimedia switching system
JPWO2008096414A1 (ja) 2007-02-06 2010-05-20 パイオニア株式会社 コンテンツ取得装置、コンテンツ取得方法、コンテンツ取得プログラムおよび記録媒体
US20090228919A1 (en) 2007-11-16 2009-09-10 Zott Joseph A Media playlist management and viewing remote control
US20080208594A1 (en) 2007-02-27 2008-08-28 Cross Charles W Effecting Functions On A Multimodal Telephony Device
JP4728982B2 (ja) 2007-03-05 2011-07-20 株式会社東芝 利用者と対話する装置、方法およびプログラム
US8886545B2 (en) 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US20080221884A1 (en) 2007-03-07 2008-09-11 Cerra Joseph P Mobile environment speech processing facility
US8635243B2 (en) 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US8019076B1 (en) 2007-03-14 2011-09-13 Clearone Communications, Inc. Portable speakerphone device and subsystem utilizing false doubletalk detection
GB0706074D0 (en) 2007-03-28 2007-05-09 Skype Ltd Detection of communication states
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8983051B2 (en) 2007-04-03 2015-03-17 William F. Barton Outgoing call classification and disposition
US8406439B1 (en) 2007-04-04 2013-03-26 At&T Intellectual Property I, L.P. Methods and systems for synthetic audio placement
US8848879B1 (en) 2007-05-03 2014-09-30 Avaya Inc. Customizable notification based on recent communication history
US8032383B1 (en) 2007-05-04 2011-10-04 Foneweb, Inc. Speech controlled services and devices using internet
KR100827613B1 (ko) 2007-05-04 2008-05-07 삼성전자주식회사 휴대용 단말기의 마이크 제어 장치 및 방법
US8041565B1 (en) 2007-05-04 2011-10-18 Foneweb, Inc. Precision speech to text conversion
US8136040B2 (en) 2007-05-16 2012-03-13 Apple Inc. Audio variance for multiple windows
CN101681484B (zh) 2007-05-18 2013-10-16 速函移动公司 用于通过小数据速率通信系统的增强型通信的系统和方法
US20080291916A1 (en) 2007-05-22 2008-11-27 Bo Xiong Systems and methods for dynamic quality of service
EP1998446A1 (en) 2007-05-31 2008-12-03 Alcatel Lucent Remote control for devices with connectivity to a service delivery platform
US8068925B2 (en) 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices
JP4985151B2 (ja) 2007-06-29 2012-07-25 ヤマハ株式会社 コンテンツ配信システム及びセンタ装置
JP4916394B2 (ja) 2007-07-03 2012-04-11 富士通株式会社 エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
WO2009020617A1 (en) 2007-08-06 2009-02-12 Orison Corporation System and method for three-dimensional ultrasound imaging
US20090046866A1 (en) 2007-08-15 2009-02-19 Fortemedia, Inc. Apparatus capable of performing acoustic echo cancellation and a method thereof
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US7844724B2 (en) 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8639214B1 (en) 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
US8013720B2 (en) 2007-11-02 2011-09-06 Reverse Control, Inc. Signal apparatus for facilitating safe backup of vehicles
CN103648071B (zh) 2007-11-20 2018-11-02 松下知识产权经营株式会社 扬声器、视频设备、以及便携式信息处理装置
US9247346B2 (en) 2007-12-07 2016-01-26 Northern Illinois Research Foundation Apparatus, system and method for noise cancellation and communication for incubators and related devices
US20090153289A1 (en) 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
US9386154B2 (en) 2007-12-21 2016-07-05 Nuance Communications, Inc. System, method and software program for enabling communications between customer service agents and users of communication devices
US8473081B2 (en) 2007-12-25 2013-06-25 Personics Holdings, Inc. Method and system for event reminder using an earpiece
WO2009086599A1 (en) 2008-01-07 2009-07-16 Avega Systems Pty Ltd A user interface for managing the operation of networked media playback devices
US9992314B2 (en) 2008-01-24 2018-06-05 Garmin Switzerland Gmbh Automatic device mode switching
DE102008039329A1 (de) 2008-01-25 2009-07-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Berechnung von Steuerinformationen für ein Echounterdrückungsfilter und Vorrichtung und Verfahren zur Berechnung eines Verzögerungswerts
DE102008039330A1 (de) 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
US8072905B2 (en) 2008-02-04 2011-12-06 Sony Ericsson Mobile Communications Ab Intelligent interaction between devices in a local network
US8213598B2 (en) 2008-02-26 2012-07-03 Microsoft Corporation Harmonic distortion residual echo suppression
US8638908B2 (en) 2008-02-28 2014-01-28 Computer Products Introductions, Corp Contextual conversation processing in telecommunication applications
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8255224B2 (en) 2008-03-07 2012-08-28 Google Inc. Voice recognition grammar selection based on context
US9113240B2 (en) 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US20090248397A1 (en) 2008-03-25 2009-10-01 Microsoft Corporation Service Initiation Techniques
US20090249222A1 (en) 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
US7516068B1 (en) 2008-04-07 2009-04-07 International Business Machines Corporation Optimized collection of audio for speech recognition
CN101562671A (zh) 2008-04-18 2009-10-21 鸿富锦精密工业（深圳）有限公司 音频设备的音量控制方法及通信装置
US8751227B2 (en) 2008-04-30 2014-06-10 Nec Corporation Acoustic model learning device and speech recognition device
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8831948B2 (en) 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8693663B2 (en) 2008-06-27 2014-04-08 Centurylink Intellectual Property Llc System and method for implementing do-not-disturb during playback of media content
US8364481B2 (en) 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
US8505056B2 (en) 2008-07-10 2013-08-06 Apple Inc. Updating properties of remote A/V performance nodes
EP2146519B1 (en) 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
US8781833B2 (en) 2008-07-17 2014-07-15 Nuance Communications, Inc. Speech recognition semantic classification training
US8639830B2 (en) 2008-07-22 2014-01-28 Control4 Corporation System and method for streaming audio
US8325938B2 (en) 2008-08-12 2012-12-04 Sony Corporation Handsfree call apparatus, acoustic reproducing apparatus with handsfree call function, and handsfree call method
JP5206234B2 (ja) 2008-08-27 2013-06-12 富士通株式会社 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
US8676586B2 (en) 2008-09-16 2014-03-18 Nice Systems Ltd Method and apparatus for interaction or discourse analytics
KR20100034229A (ko) 2008-09-23 2010-04-01 삼성전자주식회사 이어폰 회로를 포함하는 휴대 단말기 및 이의 운용방법
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR102339297B1 (ko) 2008-11-10 2021-12-14 구글 엘엘씨 멀티센서 음성 검출
US8386261B2 (en) 2008-11-14 2013-02-26 Vocollect Healthcare Systems, Inc. Training/coaching system for a voice-enabled work environment
US8095368B2 (en) * 2008-12-04 2012-01-10 At&T Intellectual Property I, L.P. System and method for voice authentication over a computer network
JP5347472B2 (ja) 2008-12-12 2013-11-20 ヤマハ株式会社 遠隔制御装置および遠隔制御システム
US8548812B2 (en) 2008-12-22 2013-10-01 Avaya Inc. Method and system for detecting a relevant utterance in a voice session
KR101467796B1 (ko) 2009-01-12 2014-12-10 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8351617B2 (en) 2009-01-13 2013-01-08 Fortemedia, Inc. Method for phase mismatch calibration for an array microphone and phase calibration module for the same
US20100179874A1 (en) 2009-01-13 2010-07-15 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons and brands
US20130283169A1 (en) 2012-04-24 2013-10-24 Social Communications Company Voice-based virtual area navigation
US8428758B2 (en) 2009-02-16 2013-04-23 Apple Inc. Dynamic audio ducking
FR2943875A1 (fr) 2009-03-31 2010-10-01 France Telecom Procede et dispositif de classification du bruit de fond contenu dans un signal audio.
KR101064976B1 (ko) 2009-04-06 2011-09-15 한국과학기술원 음원위치추정시스템 및 이를 구비한 음원에 반응하는 로봇
US8243949B2 (en) 2009-04-14 2012-08-14 Plantronics, Inc. Network addressible loudspeaker and audio play
WO2010118763A1 (en) 2009-04-15 2010-10-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multichannel echo canceller
US8483398B2 (en) 2009-04-30 2013-07-09 Hewlett-Packard Development Company, L.P. Methods and systems for reducing acoustic echoes in multichannel communication systems by reducing the dimensionality of the space of impulse responses
JP5550456B2 (ja) 2009-06-04 2014-07-16 本田技研工業株式会社 残響抑圧装置、及び残響抑圧方法
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
JP4820434B2 (ja) 2009-06-08 2011-11-24 レノボ・シンガポール・プライベート・リミテッド マイクロフォンのミュート・コントロール
US20100332236A1 (en) 2009-06-25 2010-12-30 Blueant Wireless Pty Limited Voice-triggered operation of electronic devices
US8625775B2 (en) 2009-08-06 2014-01-07 Hti Ip, L.L.C. Method and system for reducing echo and noise in a vehicle passenger compartment environment
US8478982B2 (en) 2009-08-06 2013-07-02 Broadcom Corporation Media access control security management in physical layer
JP5440053B2 (ja) 2009-09-14 2014-03-12 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP5342005B2 (ja) 2009-09-17 2013-11-13 株式会社日立メディコ 超音波探触子及び超音波撮像装置
US20110091055A1 (en) 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
US8600073B2 (en) 2009-11-04 2013-12-03 Cambridge Silicon Radio Limited Wind noise suppression
KR101301535B1 (ko) 2009-12-02 2013-09-04 한국전자통신연구원 하이브리드 번역 장치 및 그 방법
US20110145581A1 (en) 2009-12-14 2011-06-16 Verizon Patent And Licensing, Inc. Media playback across devices
JP5641186B2 (ja) 2010-01-13 2014-12-17 ヤマハ株式会社 雑音抑圧装置およびプログラム
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
NO332437B1 (no) 2010-01-18 2012-09-17 Cisco Systems Int Sarl Apparat og fremgangsmate for a supprimere et akustisk ekko
WO2011091402A1 (en) 2010-01-25 2011-07-28 Justin Mason Voice electronic listening assistant
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
US8713571B2 (en) 2010-02-17 2014-04-29 Microsoft Corporation Asynchronous task execution
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9209987B2 (en) 2010-03-02 2015-12-08 Microsoft Technology Licensing, Llc Social media playback
EP2375779A3 (en) 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
US9112989B2 (en) 2010-04-08 2015-08-18 Qualcomm Incorporated System and method of smart audio logging for mobile devices
US9514476B2 (en) 2010-04-14 2016-12-06 Viacom International Inc. Systems and methods for discovering artists
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8437339B2 (en) 2010-04-28 2013-05-07 Hewlett-Packard Development Company, L.P. Techniques to provide integrated voice service management
JP5572445B2 (ja) 2010-04-30 2014-08-13 本田技研工業株式会社 残響抑圧装置、及び残響抑圧方法
EP3418917B1 (en) 2010-05-04 2022-08-17 Apple Inc. Methods and systems for synchronizing media
EP2986034B1 (en) 2010-05-06 2017-05-31 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US9307340B2 (en) 2010-05-06 2016-04-05 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US9736600B2 (en) 2010-05-17 2017-08-15 Iii Holdings 4, Llc Devices and methods for collecting acoustic data
US8395653B2 (en) 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US20110289506A1 (en) 2010-05-18 2011-11-24 Google Inc. Management of computing resources for applications
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US8831761B2 (en) 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
JP2011259097A (ja) 2010-06-07 2011-12-22 Sony Corp 音声信号処理装置及び音声信号処理方法
US8588849B2 (en) 2010-07-09 2013-11-19 Blackberry Limited System and method for resuming media
US8699723B2 (en) 2010-07-20 2014-04-15 International Business Machines Corporation Audio device volume manager using measured volume perceived at a first audio device to control volume generation by a second audio device
US8762144B2 (en) * 2010-07-21 2014-06-24 Samsung Electronics Co., Ltd. Method and apparatus for voice activity detection
US9025782B2 (en) 2010-07-26 2015-05-05 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing
US9349368B1 (en) 2010-08-05 2016-05-24 Google Inc. Generating an audio notification based on detection of a triggering event
US8731939B1 (en) 2010-08-06 2014-05-20 Google Inc. Routing queries based on carrier phrase registration
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US9237383B2 (en) 2010-08-27 2016-01-12 Intel Corporation Peer to peer streaming of DVR buffered program data
US8861756B2 (en) 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US20120078635A1 (en) 2010-09-24 2012-03-29 Apple Inc. Voice control system
JP5259020B2 (ja) 2010-10-01 2013-08-07 三菱電機株式会社 音声認識装置
US9240111B2 (en) 2010-10-06 2016-01-19 Microsoft Technology Licensing, Llc Inferring building metadata from distributed sensors
WO2012046582A1 (ja) 2010-10-08 2012-04-12 日本電気株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
EP2630805A2 (en) 2010-10-22 2013-08-28 Phorus LLC Media distribution architecture
EP2444967A1 (en) 2010-10-25 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Echo suppression comprising modeling of late reverberation components
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US9226069B2 (en) 2010-10-29 2015-12-29 Qualcomm Incorporated Transitioning multiple microphones from a first mode to a second mode
US8799395B2 (en) 2010-11-22 2014-08-05 Deluxe Media Inc. Methods and systems of dynamically managing content for use by a media playback device
US20120148075A1 (en) 2010-12-08 2012-06-14 Creative Technology Ltd Method for optimizing reproduction of audio signals from an apparatus for audio reproduction
CN103238182B (zh) 2010-12-15 2015-07-22 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
JP5771002B2 (ja) 2010-12-22 2015-08-26 株式会社東芝 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機
US9241227B2 (en) 2011-01-06 2016-01-19 Bose Corporation Transducer with integrated sensor
JP2012150237A (ja) 2011-01-18 2012-08-09 Sony Corp 音信号処理装置、および音信号処理方法、並びにプログラム
US8929564B2 (en) 2011-03-03 2015-01-06 Microsoft Corporation Noise adaptive beamforming for microphone arrays
CN102123188A (zh) 2011-03-03 2011-07-13 曾超宁 移动电话耳麦装置
KR20120100514A (ko) 2011-03-04 2012-09-12 삼성전자주식회사 디바이스 그룹핑 방법 및 이를 적용한 서버
US8804977B2 (en) 2011-03-18 2014-08-12 Dolby Laboratories Licensing Corporation Nonlinear reference signal processing for echo suppression
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JPWO2012127831A1 (ja) * 2011-03-22 2014-07-24 パナソニック株式会社 光情報装置及びそのギャップ制御方法
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9493130B2 (en) 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
KR20120128542A (ko) 2011-05-11 2012-11-27 삼성전자주식회사 멀티 채널 에코 제거를 위한 멀티 채널 비-상관 처리 방법 및 장치
US9342516B2 (en) 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
US8320577B1 (en) 2011-05-20 2012-11-27 Google Inc. Method and apparatus for multi-channel audio processing using single-channel components
US9893902B2 (en) 2011-05-31 2018-02-13 Google Llc Muting participants in a communication session
US8897465B2 (en) 2011-06-01 2014-11-25 Robert Bosch Gmbh Class D micro-speaker
US8958571B2 (en) 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US8738925B1 (en) 2013-01-07 2014-05-27 Fitbit, Inc. Wireless portable biometric device syncing
US9307321B1 (en) 2011-06-09 2016-04-05 Audience, Inc. Speaker distortion reduction
US9226088B2 (en) 2011-06-11 2015-12-29 Clearone Communications, Inc. Methods and apparatuses for multiple configurations of beamforming microphone arrays
US9762967B2 (en) 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US8731765B2 (en) 2011-06-28 2014-05-20 GM Global Technology Operations LLC Method and apparatus for fault detection in a torque machine of a powertrain system
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US20130024018A1 (en) 2011-07-22 2013-01-24 Htc Corporation Multimedia control method and multimedia control system
JP5289517B2 (ja) 2011-07-28 2013-09-11 株式会社半導体理工学研究センター センサネットワークシステムとその通信方法
US9148742B1 (en) 2011-07-29 2015-09-29 Google Inc. Proximity detection via audio
EP2555598A1 (en) 2011-08-05 2013-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for generating optical radiation by means of electrically operated pulsed discharges
JP5640918B2 (ja) 2011-08-05 2014-12-17 ブラザー工業株式会社 サーバ装置、対応付け方法、及び携帯機器用プログラム
US20130039527A1 (en) 2011-08-08 2013-02-14 Bang & Olufsen A/S Modular, configurable speaker and a method of operating it
KR101252167B1 (ko) 2011-08-18 2013-04-05 엘지전자 주식회사 가전기기 진단장치 및 그 진단방법
US20130211826A1 (en) 2011-08-22 2013-08-15 Claes-Fredrik Urban Mannby Audio Signals as Buffered Streams of Audio Signals and Metadata
US8750677B2 (en) 2011-08-23 2014-06-10 Microsoft Corporation Method for transferring media playback from a different device
US20130073293A1 (en) 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same
US9094539B1 (en) 2011-09-22 2015-07-28 Amazon Technologies, Inc. Dynamic device adjustments based on determined user sleep state
US8996381B2 (en) 2011-09-27 2015-03-31 Sensory, Incorporated Background speech recognition assistant
US8768707B2 (en) 2011-09-27 2014-07-01 Sensory Incorporated Background speech recognition assistant using speaker verification
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9729631B2 (en) 2011-09-30 2017-08-08 Apple Inc. Asynchronous data manipulation
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
US8971546B2 (en) 2011-10-14 2015-03-03 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to control audio playback devices
CN103052001B (zh) 2011-10-17 2015-06-24 联想(北京)有限公司 智能设备及其控制方法
GB201118784D0 (en) 2011-10-31 2011-12-14 Omnifone Ltd Djml
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
US8983089B1 (en) 2011-11-28 2015-03-17 Rawles Llc Sound source localization using multiple microphone arrays
CN102567468B (zh) 2011-12-06 2014-06-04 上海聚力传媒技术有限公司 一种用于对媒体文件的播放音量进行调节的方法与设备
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
WO2013089675A1 (en) * 2011-12-13 2013-06-20 Intel Corporation Channel navigation in connected media devices through keyword selection
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
KR102022318B1 (ko) 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US8825020B2 (en) 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9654817B2 (en) 2012-01-27 2017-05-16 Avaya Inc. System and method to synchronize video playback on mobile devices
US9431980B2 (en) 2012-01-30 2016-08-30 Echostar Ukraine Llc Apparatus, systems and methods for adjusting output audio volume based on user location
US9401058B2 (en) 2012-01-30 2016-07-26 International Business Machines Corporation Zone based presence determination via voiceprint location awareness
US9173025B2 (en) 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
US9418658B1 (en) 2012-02-08 2016-08-16 Amazon Technologies, Inc. Configuration of voice controlled assistant
US9947333B1 (en) 2012-02-10 2018-04-17 Amazon Technologies, Inc. Voice interaction architecture with intelligent background noise cancellation
US8453058B1 (en) 2012-02-20 2013-05-28 Google Inc. Crowd-sourced audio shortcuts
US9065895B2 (en) 2012-02-22 2015-06-23 Broadcom Corporation Non-linear echo cancellation
EP2632141B1 (en) 2012-02-22 2014-10-15 Dialog Semiconductor B.V. Postfilter for Spectral Domain Echo Cancellers to handle Non-linear Echo Components
US9838810B2 (en) 2012-02-27 2017-12-05 Qualcomm Technologies International, Ltd. Low power audio detection
US20130238326A1 (en) 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
US9361878B2 (en) 2012-03-30 2016-06-07 Michael Boukadakis Computer-readable medium, system and method of providing domain-specific information
US9198204B2 (en) 2012-04-11 2015-11-24 Google Inc. Apparatus and method for seamless commissioning of wireless devices
US9575963B2 (en) 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
US9633186B2 (en) 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
US9117449B2 (en) 2012-04-26 2015-08-25 Nuance Communications, Inc. Embedded system for construction of small footprint speech recognition with user-definable constraints
WO2013166080A1 (en) 2012-04-30 2013-11-07 Creative Technology Ltd A universal reconfigurable echo cancellation system
US11452153B2 (en) 2012-05-01 2022-09-20 Lisnr, Inc. Pairing and gateway connection using sonic tones
US8886524B1 (en) 2012-05-01 2014-11-11 Amazon Technologies, Inc. Signal processing based on audio context
US20130294611A1 (en) 2012-05-04 2013-11-07 Sony Computer Entertainment Inc. Source separation by independent component analysis in conjuction with optimization of acoustic echo cancellation
US9584909B2 (en) 2012-05-10 2017-02-28 Google Inc. Distributed beamforming based on message passing
US9768829B2 (en) 2012-05-11 2017-09-19 Intel Deutschland Gmbh Methods for processing audio signals and circuit arrangements therefor
US8908879B2 (en) 2012-05-23 2014-12-09 Sonos, Inc. Audio content auditioning
US9633368B2 (en) 2012-05-25 2017-04-25 Apple Inc. Content ranking and serving on a multi-user device or interface
CN103456332A (zh) 2012-05-28 2013-12-18 富泰华工业（深圳）有限公司 音频播放装置及音量调节方法
US20130324031A1 (en) 2012-05-31 2013-12-05 Nokia Corporation Dynamic allocation of audio channel for surround sound systems
US9060224B1 (en) 2012-06-01 2015-06-16 Rawles Llc Voice controlled assistant with coaxial speaker and microphone arrangement
EP2856690B1 (en) 2012-06-01 2020-12-02 BlackBerry Limited Universal synchronization engine based on probabilistic methods for guarantee of lock in multiformat audio systems
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US9881616B2 (en) 2012-06-06 2018-01-30 Qualcomm Incorporated Method and systems having improved speech recognition
US8903526B2 (en) 2012-06-06 2014-12-02 Sonos, Inc. Device playback failure recovery and redistribution
US9301073B2 (en) 2012-06-08 2016-03-29 Apple Inc. Systems and methods for determining the condition of multiple microphones
US9183845B1 (en) 2012-06-12 2015-11-10 Amazon Technologies, Inc. Adjusting audio signals based on a specific frequency range associated with environmental noise characteristics
US9031255B2 (en) 2012-06-15 2015-05-12 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide low-latency audio
US9142215B2 (en) 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
US10354650B2 (en) 2012-06-26 2019-07-16 Google Llc Recognizing speech with mixed speech recognition models to generate transcriptions
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) * 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9137564B2 (en) 2012-06-28 2015-09-15 Sonos, Inc. Shift to corresponding media in a playback queue
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US20140006825A1 (en) 2012-06-30 2014-01-02 David Shenhav Systems and methods to wake up a device from a power conservation state
US9497544B2 (en) 2012-07-02 2016-11-15 Qualcomm Incorporated Systems and methods for surround sound echo reduction
US9615171B1 (en) 2012-07-02 2017-04-04 Amazon Technologies, Inc. Transformation inversion to reduce the effect of room acoustics
US20140003635A1 (en) 2012-07-02 2014-01-02 Qualcomm Incorporated Audio signal processing device calibration
US9536528B2 (en) 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
KR101972955B1 (ko) 2012-07-03 2019-04-26 삼성전자 주식회사 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치
US8972762B2 (en) 2012-07-11 2015-03-03 Blackberry Limited Computing devices and methods for resetting inactivity timers on computing devices
US8983844B1 (en) 2012-07-31 2015-03-17 Amazon Technologies, Inc. Transmission of noise parameters for improving automatic speech recognition
US8831957B2 (en) 2012-08-01 2014-09-09 Google Inc. Speech recognition models based on location indicia
DE112013003843B4 (de) 2012-08-03 2022-03-31 Semiconductor Energy Laboratory Co., Ltd. Lichtemittierendes Element, lichtemittierende Vorrichtung, elektronische Vorrichtung und Beleuchtungsvorrichtung
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
DK2701145T3 (en) 2012-08-24 2017-01-16 Retune DSP ApS Noise cancellation for use with noise reduction and echo cancellation in personal communication
US9532153B2 (en) 2012-08-29 2016-12-27 Bang & Olufsen A/S Method and a system of providing information to a user
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9088336B2 (en) 2012-09-06 2015-07-21 Imagination Technologies Limited Systems and methods of echo and noise cancellation in voice communication
US20140075311A1 (en) 2012-09-11 2014-03-13 Jesse William Boettcher Methods and apparatus for controlling audio volume on an electronic device
US20140075306A1 (en) 2012-09-12 2014-03-13 Randy Rega Music search and retrieval system
US8798598B2 (en) 2012-09-13 2014-08-05 Alain Rossmann Method and system for screencasting Smartphone video game software to online social networks
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
US8983383B1 (en) 2012-09-25 2015-03-17 Rawles Llc Providing hands-free service to multiple devices
US9319816B1 (en) 2012-09-26 2016-04-19 Amazon Technologies, Inc. Characterizing environment using ultrasound pilot tones
JP2014071138A (ja) 2012-09-27 2014-04-21 Xing Inc カラオケ装置
US8725125B2 (en) 2012-09-28 2014-05-13 United Video Properties, Inc. Systems and methods for controlling audio playback on portable devices with vehicle equipment
KR102091236B1 (ko) 2012-09-28 2020-03-18 삼성전자 주식회사 전자기기 및 그 제어방법
US9107001B2 (en) 2012-10-02 2015-08-11 Mh Acoustics, Llc Earphones having configurable microphone arrays
US8484025B1 (en) 2012-10-04 2013-07-09 Google Inc. Mapping an audio utterance to an action using a classifier
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
CN102902253B (zh) 2012-10-09 2015-07-15 鸿富锦精密工业（深圳）有限公司 具有语音控制功能的智能开关及智能控制系统
US20140108010A1 (en) 2012-10-11 2014-04-17 Intermec Ip Corp. Voice-enabled documents for facilitating operational procedures
WO2014062729A1 (en) 2012-10-15 2014-04-24 Msi Dfat Llc Direct field acoustic testing in a semi-reverberant enclosure
US9232310B2 (en) 2012-10-15 2016-01-05 Nokia Technologies Oy Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones
DE102012020271A1 (de) 2012-10-17 2014-04-17 Wolfgang Klippel Anordnung und Verfahren zur Steuerung von Wandlern
KR101978688B1 (ko) 2012-10-22 2019-05-15 삼성전자주식회사 마이크로폰 장치를 갖는 전자 장치 및 그 운용 방법
WO2014064531A1 (en) 2012-10-22 2014-05-01 Spotify Ab Systems and methods for pre-fetching media content
US20150228274A1 (en) 2012-10-26 2015-08-13 Nokia Technologies Oy Multi-Device Speech Recognition
US10381001B2 (en) 2012-10-30 2019-08-13 Google Technology Holdings LLC Voice control user interface during low-power mode
US9584642B2 (en) 2013-03-12 2017-02-28 Google Technology Holdings LLC Apparatus with adaptive acoustic echo control for speakerphone mode
US8761349B2 (en) 2012-10-31 2014-06-24 Citrix Systems, Inc. Systems and methods of monitoring performance of acoustic echo cancellation
US9275637B1 (en) 2012-11-06 2016-03-01 Amazon Technologies, Inc. Wake word evaluation
KR20140060040A (ko) 2012-11-09 2014-05-19 삼성전자주식회사 디스플레이장치, 음성취득장치 및 그 음성인식방법
CN102999161B (zh) 2012-11-13 2016-03-02 科大讯飞股份有限公司 一种语音唤醒模块的实现方法及应用
US9275642B2 (en) 2012-11-13 2016-03-01 Unified Computer Intelligence Corporation Voice-operated internet-ready ubiquitous computing device and method thereof
US9685171B1 (en) 2012-11-20 2017-06-20 Amazon Technologies, Inc. Multiple-stage adaptive filtering of audio signals
US9070367B1 (en) 2012-11-26 2015-06-30 Amazon Technologies, Inc. Local speech recognition of frequent utterances
US9131298B2 (en) 2012-11-28 2015-09-08 Qualcomm Incorporated Constrained dynamic amplitude panning in collaborative sound systems
US20140149118A1 (en) 2012-11-28 2014-05-29 Lg Electronics Inc. Apparatus and method for driving electric device using speech recognition
US9875741B2 (en) 2013-03-15 2018-01-23 Google Llc Selective speech recognition for chat and digital personal assistant systems
US9203045B2 (en) 2012-11-29 2015-12-01 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, light-emitting device, electronic device, and lighting device
US9171092B2 (en) 2012-12-07 2015-10-27 Empire Technology Development Llc Personal assistant context building
US20140161263A1 (en) 2012-12-10 2014-06-12 Microsoft Corporation Facilitating recognition of real-time content
US9704486B2 (en) 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
US9226071B2 (en) 2012-12-13 2015-12-29 Maxim Integrated Products, Inc. Direct measurement of an input signal to a loudspeaker to determine and limit a temperature of a voice coil of the loudspeaker
US9607046B2 (en) 2012-12-14 2017-03-28 Microsoft Technology Licensing, Llc Probability-based state modification for query dialogues
US9271111B2 (en) 2012-12-14 2016-02-23 Amazon Technologies, Inc. Response endpoint selection
US9300910B2 (en) 2012-12-14 2016-03-29 Biscotti Inc. Video mail capture, processing and distribution
CN110223495A (zh) 2012-12-18 2019-09-10 三星电子株式会社 用于在家庭网络系统中远程控制家庭设备的方法和设备
US9098467B1 (en) 2012-12-19 2015-08-04 Rawles Llc Accepting voice commands based on user identity
US9047857B1 (en) 2012-12-19 2015-06-02 Rawles Llc Voice commands for transitioning between device states
WO2014102722A1 (en) 2012-12-26 2014-07-03 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
US9620115B2 (en) 2013-01-03 2017-04-11 Telenav, Inc. Content delivery system with barge-in mechanism and method of operation thereof
KR102051588B1 (ko) 2013-01-07 2019-12-03 삼성전자주식회사 휴대 단말기의 오디오 컨텐츠 재생 방법 및 그 장치
US9318125B2 (en) 2013-01-15 2016-04-19 Intel Deutschland Gmbh Noise reduction devices and noise reduction methods
JP2014137590A (ja) 2013-01-18 2014-07-28 Yoji Fukinuki 音楽コンテンツ配信方法
US9646605B2 (en) 2013-01-22 2017-05-09 Interactive Intelligence Group, Inc. False alarm reduction in speech recognition systems using contextual information
DE102013001219B4 (de) 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
US20140215332A1 (en) 2013-01-31 2014-07-31 Hewlett-Packard Development Company, Lp Virtual microphone selection corresponding to a set of audio source devices
TWI593294B (zh) * 2013-02-07 2017-07-21 晨星半導體股份有限公司 收音系統與相關方法
US9818407B1 (en) 2013-02-07 2017-11-14 Amazon Technologies, Inc. Distributed endpointing for speech recognition
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US9300266B2 (en) 2013-02-12 2016-03-29 Qualcomm Incorporated Speaker equalization for mobile devices
US9842489B2 (en) 2013-02-14 2017-12-12 Google Llc Waking other devices for additional data
US9237384B2 (en) 2013-02-14 2016-01-12 Sonos, Inc. Automatic configuration of household playback devices
US9195432B2 (en) 2013-02-26 2015-11-24 Sonos, Inc. Pre-caching of audio content
BR112015020150B1 (pt) 2013-02-26 2021-08-17 Mediatek Inc. Aparelho para gerar um sinal de fala, e, método para gerar um sinal de fala
CN104010251B (zh) 2013-02-27 2018-06-19 晨星半导体股份有限公司 收音系统与相关方法
US10395651B2 (en) 2013-02-28 2019-08-27 Sony Corporation Device and method for activating with voice input
US9460715B2 (en) 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
US20140258292A1 (en) 2013-03-05 2014-09-11 Clip Interactive, Inc. Apparatus, system, and method for integrating content and content services
US9349386B2 (en) 2013-03-07 2016-05-24 Analog Device Global System and method for processor wake-up based on sensor data
JP6429465B2 (ja) 2013-03-07 2018-11-28 株式会社半導体エネルギー研究所 装置及びその作製方法
WO2014138489A1 (en) 2013-03-07 2014-09-12 Tiskerling Dynamics Llc Room and program responsive loudspeaker system
US9161126B2 (en) 2013-03-08 2015-10-13 Cirrus Logic, Inc. Systems and methods for protecting a speaker
CN104053088A (zh) 2013-03-11 2014-09-17 联想(北京)有限公司 一种麦克风阵列调整方法、麦克风阵列及电子设备
AU2014249575B2 (en) 2013-03-11 2016-12-15 Apple Inc. Timbre constancy across a range of directivities for a loudspeaker
TWI533686B (zh) 2013-03-11 2016-05-11 緯創資通股份有限公司 虛擬頻道之管理方法、具有虛擬頻道之網路多媒體重現系統和電腦可讀取記錄媒體
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
KR20140111859A (ko) 2013-03-12 2014-09-22 삼성전자주식회사 콘텐트 공유 방법 및 이를 위한 디바이스
WO2014159581A1 (en) 2013-03-12 2014-10-02 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US11393461B2 (en) 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9357306B2 (en) 2013-03-12 2016-05-31 Nokia Technologies Oy Multichannel audio calibration method and apparatus
WO2014165032A1 (en) 2013-03-12 2014-10-09 Aawtend, Inc. Integrated sensor-array processor
US9173021B2 (en) 2013-03-12 2015-10-27 Google Technology Holdings LLC Method and device for adjusting an audio beam orientation based on device location
US9060052B2 (en) 2013-03-13 2015-06-16 Accusonus S.A. Single channel, binaural and multi-channel dereverberation
KR101571338B1 (ko) 2013-03-13 2015-11-24 삼성전자주식회사 복수의 재생 장치들이 스트리밍 컨텐트를 동기화하여 재생하는 방법 및 이를 위한 장치
US20140274185A1 (en) 2013-03-14 2014-09-18 Aliphcom Intelligence device connection for wireless media ecosystem
JP6013951B2 (ja) 2013-03-14 2016-10-25 本田技研工業株式会社 環境音検索装置、環境音検索方法
KR102152754B1 (ko) 2013-03-14 2020-09-07 삼성전자주식회사 블루루스 디바이스에서 통신 연결 방법 및 그 장치
EP2974386A1 (en) 2013-03-14 2016-01-20 Apple Inc. Adaptive room equalization using a speaker and a handheld listening device
US9854081B2 (en) 2013-03-15 2017-12-26 Apple Inc. Volume control for mobile device using a wireless device
US9201865B2 (en) * 2013-03-15 2015-12-01 Bao Tran Automated assistance for user request that determines semantics by domain, task, and parameter
WO2014144773A2 (en) 2013-03-15 2014-09-18 The Echo Nest Corporation Systems, methods, and computer readable medium for generating playlists
US20140278933A1 (en) 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to measure audience engagement with media
WO2014149050A1 (en) 2013-03-21 2014-09-25 Nuance Communications, Inc. System and method for identifying suboptimal microphone performance
KR102233619B1 (ko) 2013-03-26 2021-03-30 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 발광 장치, 전자 기기, 및 조명 장치
CA2897539C (en) 2013-04-04 2016-05-17 James S. RAND Unified communications system and method
JP6300589B2 (ja) 2013-04-04 2018-03-28 株式会社半導体エネルギー研究所 半導体装置の作製方法
JP6198432B2 (ja) 2013-04-09 2017-09-20 小島プレス工業株式会社 音声認識制御装置
WO2014172299A1 (en) 2013-04-15 2014-10-23 Chacha Search, Inc. Method and system of increasing user interaction
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9875494B2 (en) 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US9304736B1 (en) 2013-04-18 2016-04-05 Amazon Technologies, Inc. Voice controlled assistant with non-verbal code entry
USRE48569E1 (en) 2013-04-19 2021-05-25 Panasonic Intellectual Property Corporation Of America Control method for household electrical appliance, household electrical appliance control system, and gateway
US9936290B2 (en) 2013-05-03 2018-04-03 Qualcomm Incorporated Multi-channel echo cancellation and noise suppression
US9892729B2 (en) 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
KR102230139B1 (ko) 2013-05-17 2021-03-18 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 조명 장치, 발광 장치, 및 전자 기기
CN105122353B (zh) 2013-05-20 2019-07-09 英特尔公司 用于语音识别的计算装置和用于计算装置上的语音识别的方法
US9472201B1 (en) 2013-05-22 2016-10-18 Google Inc. Speaker localization by means of tactile input
US20140358535A1 (en) 2013-05-28 2014-12-04 Samsung Electronics Co., Ltd. Method of executing voice recognition of electronic device and electronic device using the same
US9390708B1 (en) 2013-05-28 2016-07-12 Amazon Technologies, Inc. Low latency and memory efficient keywork spotting
US9215545B2 (en) 2013-05-31 2015-12-15 Bose Corporation Sound stage controller for a near-field speaker-based audio system
US20140357248A1 (en) 2013-06-03 2014-12-04 Ford Global Technologies, Llc Apparatus and System for Interacting with a Vehicle and a Device in a Vehicle
US9438193B2 (en) 2013-06-05 2016-09-06 Sonos, Inc. Satellite volume control
US20140365225A1 (en) 2013-06-05 2014-12-11 DSP Group Ultra-low-power adaptive, user independent, voice triggering schemes
US9654073B2 (en) 2013-06-07 2017-05-16 Sonos, Inc. Group volume control
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
TWI545979B (zh) 2013-06-09 2016-08-11 蘋果公司 藍芽警報通知服務
US9787273B2 (en) 2013-06-13 2017-10-10 Google Technology Holdings LLC Smart volume control of device audio output based on received audio input
US9100618B2 (en) 2013-06-17 2015-08-04 Spotify Ab System and method for allocating bandwidth between media streams
US8953778B2 (en) 2013-06-17 2015-02-10 Avaya Inc. Real-time intelligent mute interactive features
US9494683B1 (en) 2013-06-18 2016-11-15 Amazon Technologies, Inc. Audio-based gesture detection
US9324322B1 (en) 2013-06-18 2016-04-26 Amazon Technologies, Inc. Automatic volume attenuation for speech enabled devices
US9311298B2 (en) 2013-06-21 2016-04-12 Microsoft Technology Licensing, Llc Building conversational understanding systems using a toolset
US9697831B2 (en) 2013-06-26 2017-07-04 Cirrus Logic, Inc. Speech recognition
US9640179B1 (en) 2013-06-27 2017-05-02 Amazon Technologies, Inc. Tailoring beamforming techniques to environments
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
CN105340011B (zh) 2013-06-28 2020-08-18 哈曼国际工业有限公司 链接设备的无线控制
US9298415B2 (en) 2013-07-09 2016-03-29 Sonos, Inc. Systems and methods to provide play/pause content
US20150019201A1 (en) 2013-07-09 2015-01-15 Stanley F. Schoenbach Real-time interpreting systems and methods
US9293480B2 (en) 2013-07-10 2016-03-22 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and display device including the semiconductor device
US9396727B2 (en) 2013-07-10 2016-07-19 GM Global Technology Operations LLC Systems and methods for spoken dialog service arbitration
WO2015005927A1 (en) 2013-07-11 2015-01-15 Intel Corporation Device wake and speaker verification using the same audio input
DE102014109122A1 (de) 2013-07-12 2015-01-15 Gm Global Technology Operations, Llc Systeme und Verfahren für ergebnisbezogene Arbitrierung in Sprachdialogsystemen
US9426598B2 (en) 2013-07-15 2016-08-23 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US9445196B2 (en) 2013-07-24 2016-09-13 Mh Acoustics Llc Inter-channel coherence reduction for stereophonic and multichannel acoustic echo cancellation
US9666187B1 (en) 2013-07-25 2017-05-30 Google Inc. Model for enabling service providers to address voice-activated commands
US9772994B2 (en) 2013-07-25 2017-09-26 Intel Corporation Self-learning statistical natural language processing for automatic production of virtual personal assistants
US9431014B2 (en) 2013-07-25 2016-08-30 Haier Us Appliance Solutions, Inc. Intelligent placement of appliance response to voice command
US10186262B2 (en) 2013-07-31 2019-01-22 Microsoft Technology Licensing, Llc System with multiple simultaneous speech recognizers
WO2015017303A1 (en) 2013-07-31 2015-02-05 Motorola Mobility Llc Method and apparatus for adjusting voice recognition processing based on noise characteristics
WO2015013835A1 (en) 2013-07-31 2015-02-05 Merck Sharp & Dohme Corp. Piperazine derivatives as hiv protease inhibitors
US9548047B2 (en) 2013-07-31 2017-01-17 Google Technology Holdings LLC Method and apparatus for evaluating trigger phrase enrollment
US9418651B2 (en) 2013-07-31 2016-08-16 Google Technology Holdings LLC Method and apparatus for mitigating false accepts of trigger phrases
US10873997B2 (en) 2013-08-01 2020-12-22 Fong-Min Chang Voice controlled artificial intelligent smart illumination device
US9565497B2 (en) 2013-08-01 2017-02-07 Caavo Inc. Enhancing audio using a mobile device
DE102013012811B4 (de) 2013-08-01 2024-02-22 Wolfgang Klippel Anordnung und Verfahren zur Identifikation und Korrektur der nichtlinearen Eigenschaften elektromagnetischer Wandler
US10047970B2 (en) 2013-08-21 2018-08-14 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US9940927B2 (en) 2013-08-23 2018-04-10 Nuance Communications, Inc. Multiple pass automatic speech recognition methods and apparatus
US9190043B2 (en) 2013-08-27 2015-11-17 Bose Corporation Assisting conversation in noisy environments
TWI520127B (zh) 2013-08-28 2016-02-01 晨星半導體股份有限公司 應用於音訊裝置的控制器與相關的操作方法
US9514747B1 (en) 2013-08-28 2016-12-06 Amazon Technologies, Inc. Reducing speech recognition latency
EP2879345A4 (en) 2013-08-30 2015-08-19 Huawei Tech Co Ltd METHOD FOR MULTIPLE DEVICES FOR THE COOPERATIVE REPRODUCTION OF MULTIMEDIA FILES AND RELATED DEVICE AND SYSTEM
JP6037026B2 (ja) 2013-09-11 2016-11-30 株式会社デンソー 音声出力制御装置、プログラムおよび記録媒体
US9672812B1 (en) 2013-09-18 2017-06-06 Amazon Technologies, Inc. Qualifying trigger expressions in speech-based systems
US9516081B2 (en) 2013-09-20 2016-12-06 Amazon Technologies, Inc. Reduced latency electronic content system
US9848260B2 (en) 2013-09-24 2017-12-19 Nuance Communications, Inc. Wearable communication enhancement device
US9668052B2 (en) 2013-09-25 2017-05-30 Google Technology Holdings LLC Audio routing system for routing audio data to and from a mobile device
US9355555B2 (en) 2013-09-27 2016-05-31 Sonos, Inc. System and method for issuing commands in a media playback system
US9443527B1 (en) 2013-09-27 2016-09-13 Amazon Technologies, Inc. Speech recognition capability generation and control
CN103546616A (zh) 2013-09-30 2014-01-29 深圳市同洲电子股份有限公司 一种调节音量的方法及装置
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
KR102114219B1 (ko) 2013-10-10 2020-05-25 삼성전자주식회사 오디오 시스템 및 오디오 출력 방법, 그리고 스피커 장치
US9245527B2 (en) 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
US9300268B2 (en) 2013-10-18 2016-03-29 Apple Inc. Content aware audio ducking
US9633671B2 (en) 2013-10-18 2017-04-25 Apple Inc. Voice quality enhancement techniques, speech recognition techniques, and related systems
TWI642170B (zh) 2013-10-18 2018-11-21 半導體能源研究所股份有限公司 顯示裝置及電子裝置
US9818061B1 (en) 2013-10-22 2017-11-14 Lumin, LLC Collaboration of audio sensors for geo-location and continuous tracking of multiple users in a device-independent artificial intelligence (AI) environment
US10229256B2 (en) 2013-10-25 2019-03-12 Intel Corporation Techniques for preventing voice replay attacks
EP2869599B1 (en) 2013-11-05 2020-10-21 Oticon A/s A binaural hearing assistance system comprising a database of head related transfer functions
JP2015090570A (ja) 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置および制御方法
US10311482B2 (en) 2013-11-11 2019-06-04 At&T Intellectual Property I, Lp Method and apparatus for adjusting a digital assistant persona
US8775191B1 (en) 2013-11-13 2014-07-08 Google Inc. Efficient utterance-specific endpointer triggering for always-on hotwording
JP6236303B2 (ja) 2013-11-26 2017-11-22 株式会社デンソーアイティーラボラトリ 制御装置、制御方法およびプログラム
US9704478B1 (en) 2013-12-02 2017-07-11 Amazon Technologies, Inc. Audio output masking for improved automatic speech recognition
US9698999B2 (en) 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US9373321B2 (en) 2013-12-02 2016-06-21 Cypress Semiconductor Corporation Generation of wake-up words
CN104143326B (zh) 2013-12-03 2016-11-02 腾讯科技（深圳）有限公司 一种语音命令识别方法和装置
US8719039B1 (en) 2013-12-05 2014-05-06 Google Inc. Promoting voice actions to hotwords
US10720153B2 (en) 2013-12-13 2020-07-21 Harman International Industries, Incorporated Name-sensitive listening device
US10055190B2 (en) 2013-12-16 2018-08-21 Amazon Technologies, Inc. Attribute-based audio channel arbitration
US10224056B1 (en) * 2013-12-17 2019-03-05 Amazon Technologies, Inc. Contingent device actions during loss of network connectivity
US9378651B2 (en) 2013-12-17 2016-06-28 Google Inc. Audio book smart pause
US9721570B1 (en) 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
GB2523984B (en) 2013-12-18 2017-07-26 Cirrus Logic Int Semiconductor Ltd Processing received speech data
US9899021B1 (en) 2013-12-20 2018-02-20 Amazon Technologies, Inc. Stochastic modeling of user interactions with a detection system
WO2015094369A1 (en) 2013-12-20 2015-06-25 Intel Corporation Transition from low power always listening mode to high power speech recognition mode
US9099974B2 (en) 2013-12-20 2015-08-04 Vmware, Inc. Volume redirection
US20150179181A1 (en) 2013-12-20 2015-06-25 Microsoft Corporation Adapting audio based upon detected environmental accoustics
EP2890160B1 (en) 2013-12-24 2019-08-14 Nxp B.V. Loudspeaker controller
US9301077B2 (en) 2014-01-02 2016-03-29 Harman International Industries, Incorporated Context-based audio tuning
US9443516B2 (en) 2014-01-09 2016-09-13 Honeywell International Inc. Far-field speech recognition systems and methods
US8938394B1 (en) 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
EP3092824B1 (en) 2014-01-10 2017-11-01 Dolby Laboratories Licensing Corporation Calibration of virtual height speakers using programmable portable devices
US9300647B2 (en) 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
US9288597B2 (en) 2014-01-20 2016-03-15 Sony Corporation Distributed wireless speaker system with automatic configuration determination when new speakers are added
DE112014006235T5 (de) 2014-01-22 2016-10-13 Apple Inc. Koordiniertes Weiterreichen einer Audiodatenübermittlung
US9356882B2 (en) 2014-02-04 2016-05-31 Printeron Inc. Streamlined system for the transmission of network resource data
US9443876B2 (en) 2014-02-05 2016-09-13 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, display device including the semiconductor device, display module including the display device, and electronic device including the semiconductor device, the display device, and the display module
US9652532B2 (en) 2014-02-06 2017-05-16 Sr Homedics, Llc Methods for operating audio speaker systems
WO2015118426A2 (en) 2014-02-06 2015-08-13 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, lighting device, and electronic appliance
TWI685116B (zh) 2014-02-07 2020-02-11 日商半導體能源研究所股份有限公司 半導體裝置
US9318112B2 (en) 2014-02-14 2016-04-19 Google Inc. Recognizing speech in the presence of additional audio
FR3018025B1 (fr) 2014-02-26 2016-03-18 Devialet Dispositif de commande d'un haut-parleur
FR3018024B1 (fr) 2014-02-26 2016-03-18 Devialet Dispositif de commande d'un haut-parleur
JP6289936B2 (ja) 2014-02-26 2018-03-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
US9408008B2 (en) 2014-02-28 2016-08-02 Sonos, Inc. Playback zone representations
US10015593B2 (en) 2014-03-03 2018-07-03 University Of Utah Digital signal processor for audio extensions and correction of nonlinear distortions in loudspeakers
EP3115905A4 (en) 2014-03-03 2017-10-25 Sony Corporation Information processing apparatus, information processing method, and program
US9489171B2 (en) 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
US10599287B2 (en) 2014-03-11 2020-03-24 Sonos, Inc. Group volume control
US9640669B2 (en) 2014-03-13 2017-05-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, display device including the semiconductor device, display module including the display device, and electronic appliance including the semiconductor device, the display device, and the display module
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9226062B2 (en) 2014-03-18 2015-12-29 Cisco Technology, Inc. Techniques to mitigate the effect of blocked sound at microphone arrays in a telepresence device
US10514747B2 (en) 2014-03-24 2019-12-24 Silicon Laboratories Inc. Low-power communication apparatus with wakeup detection and associated methods
US9654076B2 (en) 2014-03-25 2017-05-16 Apple Inc. Metadata for ducking control
US9648564B1 (en) 2014-03-26 2017-05-09 Amazon Technologies, Inc. Wake-up management for mobile devices
US9431021B1 (en) 2014-03-27 2016-08-30 Amazon Technologies, Inc. Device grouping for audio based interactivity
US9916839B1 (en) * 2014-03-27 2018-03-13 Amazon Technologies, Inc. Shared audio functionality based on device grouping
US9547468B2 (en) 2014-03-31 2017-01-17 Microsoft Technology Licensing, Llc Client-side personal voice web navigation
KR102146462B1 (ko) 2014-03-31 2020-08-20 삼성전자주식회사 음성 인식 시스템 및 방법
US8874448B1 (en) 2014-04-01 2014-10-28 Google Inc. Attention-based dynamic audio level adjustment
CN104978965B (zh) 2014-04-07 2019-04-26 三星电子株式会社 电子装置及利用电子装置和服务器的语音识别执行方法
US9560437B2 (en) 2014-04-08 2017-01-31 Doppler Labs, Inc. Time heuristic audio control
US9510094B2 (en) 2014-04-09 2016-11-29 Apple Inc. Noise estimation in a mobile device using an external acoustic microphone signal
DE102014005381B3 (de) 2014-04-11 2014-12-11 Wolfgang Klippel Anordnung und Verfahren zur Identifikation und Kompensation nichtlinearer Partialschwingungen elektromechanischer Wandler
US20150302856A1 (en) 2014-04-17 2015-10-22 Qualcomm Incorporated Method and apparatus for performing function by speech input
US20150334471A1 (en) 2014-05-15 2015-11-19 Echostar Technologies L.L.C. Multiple simultaneous audio video data decoding
US10368183B2 (en) 2014-05-19 2019-07-30 Apple Inc. Directivity optimized sound reproduction
CN110839109B (zh) 2014-05-23 2022-02-25 三星电子株式会社 用于提供通知的方法和设备
US9860289B2 (en) 2014-05-23 2018-01-02 Radeeus, Inc. Multimedia digital content retrieval, matching, and syncing systems and methods of using the same
US9900723B1 (en) 2014-05-28 2018-02-20 Apple Inc. Multi-channel loudspeaker matching using variable directivity
TWI777568B (zh) 2014-05-30 2022-09-11 日商半導體能源研究所股份有限公司 發光元件，發光裝置，電子裝置以及照明裝置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US10318016B2 (en) 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
US20150355818A1 (en) 2014-06-04 2015-12-10 Sonos, Inc. Continuous Playback Queue
US9720642B2 (en) 2014-06-04 2017-08-01 Sonos, Inc. Prioritizing media content requests
US10624612B2 (en) 2014-06-05 2020-04-21 Chikayoshi Sumi Beamforming method, measurement and imaging instruments, and communication instruments
US9615170B2 (en) 2014-06-09 2017-04-04 Harman International Industries, Inc. Approach for partially preserving music in the presence of intelligible speech
CN104092936B (zh) 2014-06-12 2017-01-04 小米科技有限责任公司 自动对焦方法及装置
US9767159B2 (en) 2014-06-13 2017-09-19 Google Inc. Ranking search results
US20150363061A1 (en) 2014-06-13 2015-12-17 Autonomic Controls, Inc. System and method for providing related digital content
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US20150373100A1 (en) 2014-06-19 2015-12-24 Pavel KRAVETS Context sharing between different clients
US9520139B2 (en) 2014-06-19 2016-12-13 Yang Gao Post tone suppression for speech enhancement
US9589556B2 (en) 2014-06-19 2017-03-07 Yang Gao Energy adjustment of acoustic echo replica signal for speech enhancement
US9697828B1 (en) 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
US20150371628A1 (en) * 2014-06-23 2015-12-24 Harman International Industries, Inc. User-adapted speech recognition
US10152987B2 (en) 2014-06-23 2018-12-11 Google Llc Remote invocation of mobile device actions
US9632748B2 (en) 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring
US9335819B1 (en) 2014-06-26 2016-05-10 Audible, Inc. Automatic creation of sleep bookmarks in content items
US9368105B1 (en) 2014-06-26 2016-06-14 Amazon Technologies, Inc. Preventing false wake word detections with a voice-controlled device
US9691379B1 (en) 2014-06-26 2017-06-27 Amazon Technologies, Inc. Selecting from multiple content sources
US9639854B2 (en) 2014-06-26 2017-05-02 Nuance Communications, Inc. Voice-controlled information exchange platform, such as for providing information to supplement advertising
US9398392B2 (en) 2014-06-30 2016-07-19 Microsoft Technology Licensing, Llc Audio calibration and adjustment
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US11330100B2 (en) 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US9374634B2 (en) 2014-07-10 2016-06-21 Nxp B.V. System for controlling displacement of a loudspeaker
US9467737B2 (en) 2014-07-14 2016-10-11 Sonos, Inc. Zone group control
JP2016024212A (ja) 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9671997B2 (en) 2014-07-23 2017-06-06 Sonos, Inc. Zone grouping
US10209947B2 (en) 2014-07-23 2019-02-19 Sonos, Inc. Device grouping
US9263042B1 (en) 2014-07-25 2016-02-16 Google Inc. Providing pre-computed hotword models
KR20160017253A (ko) 2014-08-01 2016-02-16 삼성전자주식회사 디스플레이 구동용 집적 회로 칩
US9874997B2 (en) 2014-08-08 2018-01-23 Sonos, Inc. Social playback queues
US9548066B2 (en) * 2014-08-11 2017-01-17 Amazon Technologies, Inc. Voice application architecture
US20160055847A1 (en) 2014-08-19 2016-02-25 Nuance Communications, Inc. System and method for speech validation
US9769552B2 (en) 2014-08-19 2017-09-19 Apple Inc. Method and apparatus for estimating talker distance
JP6118838B2 (ja) 2014-08-21 2017-04-19 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
WO2016033364A1 (en) 2014-08-28 2016-03-03 Audience, Inc. Multi-sourced noise suppression
KR20160026317A (ko) 2014-08-29 2016-03-09 삼성전자주식회사 음성 녹음 방법 및 장치
US9560050B2 (en) 2014-09-08 2017-01-31 At&T Intellectual Property I, L.P System and method to share a resource or a capability of a device
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9354687B2 (en) 2014-09-11 2016-05-31 Nuance Communications, Inc. Methods and apparatus for unsupervised wakeup with time-correlated acoustic events
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9747011B2 (en) 2014-09-16 2017-08-29 Google Inc. Continuation of playback of media content by different output devices
US9548053B1 (en) 2014-09-19 2017-01-17 Amazon Technologies, Inc. Audible command filtering
US10645130B2 (en) 2014-09-24 2020-05-05 Sonos, Inc. Playback updates
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9681228B2 (en) 2014-09-30 2017-06-13 Apple Inc. Capacitive position sensing for transducers
GB2525051B (en) 2014-09-30 2016-04-13 Imagination Tech Ltd Detection of acoustic echo cancellation
US9641919B1 (en) 2014-09-30 2017-05-02 Amazon Technologies, Inc. Audio assemblies for electronic devices
JP6624368B2 (ja) 2014-09-30 2019-12-25 パナソニックＩｐマネジメント株式会社 接客モニタリングシステム及び接客モニタリング方法
US10817672B2 (en) 2014-10-01 2020-10-27 Nuance Communications, Inc. Natural language understanding (NLU) processing based on user-specified interests
US9812128B2 (en) 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
KR102287943B1 (ko) 2014-10-14 2021-08-09 삼성전자주식회사 전자 기기, 상기 전자 기기의 음량 조절 방법 및 상기 전자 기기의 제어 방법
EP3010251B1 (en) 2014-10-15 2019-11-13 Nxp B.V. Audio system
US20160162469A1 (en) 2014-10-23 2016-06-09 Audience, Inc. Dynamic Local ASR Vocabulary
US9576575B2 (en) * 2014-10-27 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Providing voice recognition shortcuts based on user verbal input
US9788047B2 (en) 2014-10-30 2017-10-10 Verizon Patent And Licensing Inc. Media guide user interface systems and methods
US9530408B2 (en) 2014-10-31 2016-12-27 At&T Intellectual Property I, L.P. Acoustic environment recognizer for optimal speech processing
US10368121B2 (en) 2014-11-07 2019-07-30 Roku, Inc. System and method for collecting data
US20160134982A1 (en) 2014-11-12 2016-05-12 Harman International Industries, Inc. System and method for estimating the displacement of a speaker cone
US9699550B2 (en) 2014-11-12 2017-07-04 Qualcomm Incorporated Reduced microphone power-up latency
JP2016095383A (ja) * 2014-11-14 2016-05-26 株式会社ＡＴＲ−Ｔｒｅｋ 音声認識クライアント装置及びサーバ型音声認識装置
US10116748B2 (en) 2014-11-20 2018-10-30 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
KR102299330B1 (ko) 2014-11-26 2021-09-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
US9812126B2 (en) 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
US9992596B2 (en) 2014-11-28 2018-06-05 Audera Acoustics Inc. High displacement acoustic transducer systems
US10192549B2 (en) * 2014-11-28 2019-01-29 Microsoft Technology Licensing, Llc Extending digital personal assistant action providers
US10126406B2 (en) 2014-12-02 2018-11-13 Qualcomm Incorporated Method and apparatus for performing ultrasonic presence detection
US9779725B2 (en) 2014-12-11 2017-10-03 Mediatek Inc. Voice wakeup detecting device and method
CN104538030A (zh) 2014-12-11 2015-04-22 科大讯飞股份有限公司 一种可以通过语音控制家电的控制系统与方法
CN111427533B (zh) 2014-12-11 2023-07-25 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
US9775113B2 (en) 2014-12-11 2017-09-26 Mediatek Inc. Voice wakeup detecting device with digital microphone and associated method
US9813812B2 (en) 2014-12-12 2017-11-07 Analog Devices Global Method of controlling diaphragm excursion of electrodynamic loudspeakers
US9552816B2 (en) * 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
US9560441B1 (en) 2014-12-24 2017-01-31 Amazon Technologies, Inc. Determining speaker direction using a spherical microphone array
CN104575504A (zh) * 2014-12-24 2015-04-29 上海师范大学 采用声纹和语音识别进行个性化电视语音唤醒的方法
CN104635539A (zh) * 2014-12-26 2015-05-20 东莞市掌商信息科技有限公司 一种智能硬件远程语音安全控制方法及其系统
US10572810B2 (en) 2015-01-07 2020-02-25 Microsoft Technology Licensing, Llc Managing user interaction for input understanding determinations
WO2016112113A1 (en) 2015-01-07 2016-07-14 Knowles Electronics, Llc Utilizing digital microphones for low power keyword detection and noise suppression
US9934406B2 (en) 2015-01-08 2018-04-03 Microsoft Technology Licensing, Llc Protecting private information in input understanding system
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US20160210110A1 (en) 2015-01-21 2016-07-21 Ford Global Technologies, Llc Audio synchronization between vehicles and mobile devices
US9947313B2 (en) 2015-01-26 2018-04-17 William Drewes Method for substantial ongoing cumulative voice recognition error reduction
KR102351366B1 (ko) 2015-01-26 2022-01-14 삼성전자주식회사 음성 인식 방법 및 장치
CN104572009B (zh) 2015-01-28 2018-01-09 合肥联宝信息技术有限公司 一种自适应外界环境的音频控制方法及装置
CN104735589B (zh) * 2015-01-30 2018-01-23 广东欧珀移动通信有限公司 一种基于gps的智能音箱分组的音量调节系统和方法
US9633661B1 (en) 2015-02-02 2017-04-25 Amazon Technologies, Inc. Speech-responsive portable speaker
GB201501791D0 (en) 2015-02-03 2015-03-18 Microsoft Technology Licensing Llc Non-linear echo path detection
US20160232451A1 (en) 2015-02-09 2016-08-11 Velocee Ltd. Systems and methods for managing audio content
US9521496B2 (en) 2015-02-12 2016-12-13 Harman International Industries, Inc. Media content playback system and method
US10121472B2 (en) 2015-02-13 2018-11-06 Knowles Electronics, Llc Audio buffer catch-up apparatus and method with two microphones
US20160239255A1 (en) 2015-02-16 2016-08-18 Harman International Industries, Inc. Mobile interface for loudspeaker optimization
US20160253050A1 (en) 2015-02-26 2016-09-01 Fingertips Lab, Inc. System and method for audio and tactile based browsing
WO2016136062A1 (ja) 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10762894B2 (en) 2015-03-27 2020-09-01 Google Llc Convolutional neural networks
US9697826B2 (en) 2015-03-27 2017-07-04 Google Inc. Processing multi-channel audio waveforms
US10192546B1 (en) 2015-03-30 2019-01-29 Amazon Technologies, Inc. Pre-wakeword speech processing
US10034109B2 (en) 2015-04-09 2018-07-24 Audera Acoustics Inc. Acoustic transducer systems with position sensing
US9678707B2 (en) 2015-04-10 2017-06-13 Sonos, Inc. Identification of audio content facilitated by playback device
US10198242B2 (en) 2015-04-14 2019-02-05 Motorola Solutions, Inc. Method and apparatus for a volume of a device
US10079012B2 (en) 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
US10178474B2 (en) 2015-04-21 2019-01-08 Google Llc Sound signature database for initialization of noise reduction in recordings
US9472196B1 (en) * 2015-04-22 2016-10-18 Google Inc. Developer voice actions system
CN104853405B (zh) 2015-05-12 2018-11-30 浙江生辉照明有限公司 智能联网方法及智能设备
KR102623039B1 (ko) 2015-05-15 2024-01-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 발광 장치, 전자 기기 및 조명 장치
US9753922B2 (en) 2015-05-19 2017-09-05 Researchgate Gmbh Enhanced online user-interaction tracking
TWI757234B (zh) 2015-05-21 2022-03-11 日商半導體能源研究所股份有限公司 發光元件、顯示裝置、電子裝置、及照明裝置
US10070237B2 (en) 2015-05-21 2018-09-04 Analog Devices, Inc. Optical and capacitive sensing of electroacoustic transducers
CN110571341B (zh) 2015-05-21 2022-04-12 株式会社半导体能源研究所 发光装置、电子设备及照明装置
US9837547B2 (en) 2015-05-22 2017-12-05 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device comprising oxide conductor and display device including the semiconductor device
JP2016218852A (ja) * 2015-05-22 2016-12-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
EP3099047A1 (en) 2015-05-28 2016-11-30 Nxp B.V. Echo controller
US10657949B2 (en) 2015-05-29 2020-05-19 Sound United, LLC System and method for integrating a home media system and other home systems
US9706320B2 (en) 2015-05-29 2017-07-11 Sound United, LLC System and method for providing user location-based multi-zone media
US9734822B1 (en) 2015-06-01 2017-08-15 Amazon Technologies, Inc. Feedback based beamformed signal selection
US9864571B2 (en) 2015-06-04 2018-01-09 Sonos, Inc. Dynamic bonding of playback devices
US9672821B2 (en) 2015-06-05 2017-06-06 Apple Inc. Robust speech recognition in the presence of echo and noise using multiple signals for discrimination
US9736578B2 (en) 2015-06-07 2017-08-15 Apple Inc. Microphone-based orientation sensors and related techniques
US10249205B2 (en) 2015-06-08 2019-04-02 Novel Effect, Inc. System and method for integrating special effects with a text source
KR102444075B1 (ko) 2015-06-09 2022-09-16 삼성전자주식회사 전자 장치, 주변 기기 및 그 제어 방법
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
WO2016203350A1 (en) 2015-06-17 2016-12-22 Semiconductor Energy Laboratory Co., Ltd. Iridium complex, light-emitting element, display device, electronic device, and lighting device
US20160373909A1 (en) 2015-06-17 2016-12-22 Hive Life, LLC Wireless audio, security communication and home automation
JP6739907B2 (ja) 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
US10025447B1 (en) 2015-06-19 2018-07-17 Amazon Technologies, Inc. Multi-device user interface
KR20170001173A (ko) 2015-06-25 2017-01-04 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
KR102317526B1 (ko) 2015-06-25 2021-10-26 엘지전자 주식회사 헤드셋 및 그 제어 방법
US9554210B1 (en) 2015-06-25 2017-01-24 Amazon Technologies, Inc. Multichannel acoustic echo cancellation with unique individual channel estimations
US9472203B1 (en) 2015-06-29 2016-10-18 Amazon Technologies, Inc. Clock synchronization for multichannel system
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR102137537B1 (ko) 2015-06-30 2020-07-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 잡음을 연관시키기 위한 그리고 분석하기 위한 방법 및 장치
CN113889586A (zh) 2015-07-08 2022-01-04 株式会社半导体能源研究所 发光元件、显示装置、电子设备以及照明装置
US10304440B1 (en) 2015-07-10 2019-05-28 Amazon Technologies, Inc. Keyword spotting using multi-task configuration
US9686625B2 (en) 2015-07-21 2017-06-20 Disney Enterprises, Inc. Systems and methods for delivery of personalized audio
WO2017013526A1 (en) 2015-07-21 2017-01-26 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, display device, electronic device, and lighting device
US9769563B2 (en) 2015-07-22 2017-09-19 Harman International Industries, Incorporated Audio enhancement via opportunistic use of microphones
US20170034263A1 (en) 2015-07-30 2017-02-02 Amp Me Inc. Synchronized Playback of Streamed Audio Content by Multiple Internet-Capable Portable Devices
US10529318B2 (en) 2015-07-31 2020-01-07 International Business Machines Corporation Implementing a classification model for recognition processing
US9691361B2 (en) 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
KR102402512B1 (ko) 2015-08-04 2022-05-27 삼성전자주식회사 외부장치의 음량을 조정하는 전자장치 및 방법
CN105187907A (zh) 2015-08-05 2015-12-23 四川长虹电器股份有限公司 智能电视音量控制系统及控制方法
US9913056B2 (en) 2015-08-06 2018-03-06 Dolby Laboratories Licensing Corporation System and method to enhance speakers connected to devices with microphones
US10333904B2 (en) 2015-08-08 2019-06-25 Peter J. Tormey Voice access and control
KR102386854B1 (ko) 2015-08-20 2022-04-13 삼성전자주식회사 통합 모델 기반의 음성 인식 장치 및 방법
US10270041B2 (en) 2015-08-28 2019-04-23 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, light-emitting device, electronic device, and lighting device
WO2017039632A1 (en) 2015-08-31 2017-03-09 Nunntawi Dynamics Llc Passive self-localization of microphone arrays
CN106488302B (zh) 2015-09-02 2021-02-23 哈曼国际工业有限公司 切换音频输出的方法、回放设备及回放系统
US10339917B2 (en) 2015-09-03 2019-07-02 Google Llc Enhanced speech endpointing
KR102417682B1 (ko) 2015-09-09 2022-07-07 삼성전자주식회사 음성 인식을 이용한 닉네임 관리 장치 및 방법
KR20170031392A (ko) 2015-09-11 2017-03-21 삼성전자주식회사 전자 장치, 음향 시스템 및 오디오 출력 방법
US10026399B2 (en) 2015-09-11 2018-07-17 Amazon Technologies, Inc. Arbitration between voice-enabled devices
KR20170032114A (ko) * 2015-09-14 2017-03-22 삼성전자주식회사 음성 인식 장치 및 그의 제어방법
CN105206281B (zh) 2015-09-14 2019-02-15 胡旻波 基于分布式麦克风阵列网络的语音增强方法
KR20170032096A (ko) 2015-09-14 2017-03-22 삼성전자주식회사 전자장치, 전자장치의 구동방법, 음성인식장치, 음성인식장치의 구동 방법 및 컴퓨터 판독가능 기록매체
US10289734B2 (en) 2015-09-18 2019-05-14 Samsung Electronics Co., Ltd. Entity-type search system
CN105204357B (zh) 2015-09-18 2018-02-06 小米科技有限责任公司 智能家居设备的情景模式调整方法及装置
US10706873B2 (en) 2015-09-18 2020-07-07 Sri International Real-time speaker state analytics platform
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
KR102420450B1 (ko) 2015-09-23 2022-07-14 삼성전자주식회사 음성인식장치, 음성인식방법 및 컴퓨터 판독가능 기록매체
KR102446392B1 (ko) 2015-09-23 2022-09-23 삼성전자주식회사 음성 인식이 가능한 전자 장치 및 방법
US9936156B2 (en) 2015-09-24 2018-04-03 Samantha WESTERN Volume adjusting apparatus and method
US10229700B2 (en) 2015-09-24 2019-03-12 Google Llc Voice activity detection
CN105162886B (zh) 2015-09-25 2019-04-12 北京奇艺世纪科技有限公司 一种声音控制方法及装置
US10186276B2 (en) 2015-09-25 2019-01-22 Qualcomm Incorporated Adaptive noise suppression for super wideband music
US10334306B2 (en) 2015-09-28 2019-06-25 Google Llc Time-synchronized, multizone medial streaming
US9996316B2 (en) 2015-09-28 2018-06-12 Amazon Technologies, Inc. Mediation of wakeword response for multiple devices
JP6536320B2 (ja) 2015-09-28 2019-07-03 富士通株式会社 音声信号処理装置、音声信号処理方法及びプログラム
US10241754B1 (en) 2015-09-29 2019-03-26 Amazon Technologies, Inc. Systems and methods for providing supplemental information with a response to a command
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
KR20170038681A (ko) 2015-09-30 2017-04-07 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 표시 장치, 전자 기기, 및 조명 장치
KR20180059843A (ko) 2015-09-30 2018-06-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 표시 장치, 전자 기기, 및 조명 장치
US9978366B2 (en) 2015-10-09 2018-05-22 Xappmedia, Inc. Event-based speech interactive media player
US9754580B2 (en) 2015-10-12 2017-09-05 Technologies For Voice Interface System and method for extracting and using prosody features
KR102429260B1 (ko) 2015-10-12 2022-08-05 삼성전자주식회사 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치
CN107925818B (zh) 2015-10-15 2020-10-16 华为技术有限公司 用于声音处理节点装置的声音处理节点
JP6463710B2 (ja) 2015-10-16 2019-02-06 グーグル エルエルシー ホットワード認識
US9928840B2 (en) 2015-10-16 2018-03-27 Google Llc Hotword recognition
US9747926B2 (en) 2015-10-16 2017-08-29 Google Inc. Hotword recognition
US10453450B2 (en) 2015-10-20 2019-10-22 Bragi GmbH Wearable earpiece voice command control system and method
KR102444061B1 (ko) 2015-11-02 2022-09-16 삼성전자주식회사 음성 인식이 가능한 전자 장치 및 방법
CN105427861B (zh) 2015-11-03 2019-02-15 胡旻波 智能家居协同麦克风语音控制的系统及其控制方法
US9691378B1 (en) 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
US9653075B1 (en) 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10863267B2 (en) 2015-11-10 2020-12-08 Savant Systems, Inc. Volume control for audio/video devices
US9990209B2 (en) 2015-11-12 2018-06-05 Microsoft Technology Licensing, Llc Digital assistance device for facilitating multi-stage setup
US10592949B2 (en) 2015-11-13 2020-03-17 [24]7.ai, Inc. Method and apparatus for linking customer interactions with customer messaging platforms
US10706852B2 (en) 2015-11-13 2020-07-07 Microsoft Technology Licensing, Llc Confidence features for automated speech recognition arbitration
US20170140750A1 (en) 2015-11-17 2017-05-18 Le Holdings (Beijing) Co., Ltd. Method and device for speech recognition
CN105472191B (zh) 2015-11-18 2019-09-20 百度在线网络技术（北京）有限公司 一种跟踪回声时延的方法和装置
US11929088B2 (en) 2015-11-20 2024-03-12 Synaptics Incorporated Input/output mode control for audio processing
DE112015007147T5 (de) 2015-11-25 2018-08-09 Mitsubishi Electric Corporation Sprachdialogvorrichtung und Sprachdialogverfahren
US10040423B2 (en) 2015-11-27 2018-08-07 Bragi GmbH Vehicle with wearable for identifying one or more vehicle occupants
US9484030B1 (en) 2015-12-02 2016-11-01 Amazon Technologies, Inc. Audio triggered commands
US9699597B2 (en) 2015-12-07 2017-07-04 Google Inc. Wireless signal forwarding
US9747920B2 (en) 2015-12-17 2017-08-29 Amazon Technologies, Inc. Adaptive beamforming to create reference channels
CN105632486B (zh) 2015-12-23 2019-12-17 北京奇虎科技有限公司 一种智能硬件的语音唤醒方法和装置
US10311862B2 (en) 2015-12-23 2019-06-04 Rovi Guides, Inc. Systems and methods for conversations with devices about media using interruptions and changes of subjects
US10134388B1 (en) 2015-12-23 2018-11-20 Amazon Technologies, Inc. Word generation for speech recognition
CN105679318A (zh) 2015-12-23 2016-06-15 珠海格力电器股份有限公司 一种基于语音识别的显示方法、装置、显示系统和空调
US10026401B1 (en) 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US9826599B2 (en) 2015-12-28 2017-11-21 Amazon Technologies, Inc. Voice-controlled light switches
US10547942B2 (en) 2015-12-28 2020-01-28 Samsung Electronics Co., Ltd. Control of electrodynamic speaker driver using a low-order non-linear model
US9992642B1 (en) 2015-12-29 2018-06-05 Amazon Technologies, Inc. Automated messaging
US9820036B1 (en) 2015-12-30 2017-11-14 Amazon Technologies, Inc. Speech processing of reflected sound
US9813810B1 (en) 2016-01-05 2017-11-07 Google Inc. Multi-microphone neural network for sound recognition
US10049666B2 (en) 2016-01-06 2018-08-14 Google Llc Voice recognition system
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
KR20170086814A (ko) 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
CN105741838B (zh) 2016-01-20 2019-10-15 百度在线网络技术（北京）有限公司 语音唤醒方法及装置
KR102392113B1 (ko) 2016-01-20 2022-04-29 삼성전자주식회사 전자 장치 및 전자 장치의 음성 명령 처리 방법
CN105700364A (zh) * 2016-01-20 2016-06-22 宇龙计算机通信科技(深圳)有限公司 一种智能家居控制方法及可穿戴设备
US9749731B2 (en) 2016-01-21 2017-08-29 Bose Corporation Sidetone generation using multiple microphones
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US9659555B1 (en) 2016-02-09 2017-05-23 Amazon Technologies, Inc. Multichannel acoustic echo cancellation
US9653060B1 (en) 2016-02-09 2017-05-16 Amazon Technologies, Inc. Hybrid reference signal for acoustic echo cancellation
US11437020B2 (en) 2016-02-10 2022-09-06 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
US9858927B2 (en) 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
US9898250B1 (en) 2016-02-12 2018-02-20 Amazon Technologies, Inc. Controlling distributed audio outputs to enable voice output
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10097919B2 (en) * 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9779735B2 (en) 2016-02-24 2017-10-03 Google Inc. Methods and systems for detecting and processing speech signals
WO2017147936A1 (zh) * 2016-03-04 2017-09-08 茹旷 智能家居助手
US9769420B1 (en) 2016-03-18 2017-09-19 Thomas Lawrence Moses Portable wireless remote monitoring and control systems
US10373612B2 (en) 2016-03-21 2019-08-06 Amazon Technologies, Inc. Anchored speech detection and speech recognition
US9805714B2 (en) 2016-03-22 2017-10-31 Asustek Computer Inc. Directional keyword verification method applicable to electronic device and electronic device using the same
US10365887B1 (en) 2016-03-25 2019-07-30 Amazon Technologies, Inc. Generating commands based on location and wakeword
US10332508B1 (en) 2016-03-31 2019-06-25 Amazon Technologies, Inc. Confidence checking for speech processing and query answering
US9952827B2 (en) 2016-04-13 2018-04-24 Comcast Cable Communications, Llc Dynamic adjustment of equalization settings of audio components via a sound device profile
EP4030295A1 (en) 2016-04-18 2022-07-20 Google LLC Automated assistant invocation of appropriate agent
US10318236B1 (en) 2016-05-05 2019-06-11 Amazon Technologies, Inc. Refining media playback
US10447748B2 (en) 2016-05-12 2019-10-15 Apple Inc. Sharing media information between applications on client devices
US20170329397A1 (en) 2016-05-12 2017-11-16 Rovi Guides, Inc. Systems and methods for navigating a media guidance application using gaze control
US20170330564A1 (en) 2016-05-13 2017-11-16 Bose Corporation Processing Simultaneous Speech from Distributed Microphones
US10149049B2 (en) 2016-05-13 2018-12-04 Bose Corporation Processing speech from distributed microphones
US10187440B2 (en) 2016-05-27 2019-01-22 Apple Inc. Personalization of media streams
US10063965B2 (en) 2016-06-01 2018-08-28 Google Llc Sound source estimation using neural networks
US10079027B2 (en) * 2016-06-03 2018-09-18 Nxp B.V. Sound signal detector
US10474419B2 (en) 2016-06-03 2019-11-12 Crestron Electronics, Inc. Audio digital signal processor utilizing a hybrid network architecture
US10235124B2 (en) 2016-06-08 2019-03-19 Google Llc Audio announcement prioritization system
AU2017100581B4 (en) 2016-06-08 2018-02-01 Apple Inc. Intelligent automated assistant for media exploration
US9754605B1 (en) 2016-06-09 2017-09-05 Amazon Technologies, Inc. Step-size control for multi-channel acoustic echo canceller
AU2017100486C4 (en) 2016-06-11 2019-09-05 Apple Inc. Intelligent device arbitration and control
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179034B1 (en) 2016-06-12 2017-09-04 Apple Inc Devices, methods, and graphical user interfaces for dynamically adjusting presentation of audio outputs
US20170364371A1 (en) 2016-06-15 2017-12-21 Microsoft Technology Licensing, Llc Context-Dependent Digital Action-Assistance Tool
EP3472831B8 (en) 2016-06-15 2020-07-01 Cerence Operating Company Techniques for wake-up word recognition and related systems and methods
US10212029B2 (en) 2016-06-15 2019-02-19 Microsoft Technology Licensing, Llc Service provisioning in cloud computing systems
KR20170142001A (ko) 2016-06-16 2017-12-27 삼성전자주식회사 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체
US9875740B1 (en) 2016-06-20 2018-01-23 A9.Com, Inc. Using voice information to influence importance of search result categories
US9749738B1 (en) 2016-06-20 2017-08-29 Gopro, Inc. Synthesizing audio corresponding to a virtual microphone location
ITUA20164622A1 (it) 2016-06-23 2017-12-23 St Microelectronics Srl Procedimento di beamforming basato su matrici di microfoni e relativo apparato
US10091545B1 (en) 2016-06-27 2018-10-02 Amazon Technologies, Inc. Methods and systems for detecting audio output of associated device
US9728188B1 (en) 2016-06-28 2017-08-08 Amazon Technologies, Inc. Methods and devices for ignoring similar audio being received by a system
KR102471499B1 (ko) 2016-07-05 2022-11-28 삼성전자주식회사 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2018013564A1 (en) 2016-07-12 2018-01-18 Bose Corporation Combining gesture and voice user interfaces
EP3270377B1 (en) 2016-07-12 2020-02-19 Dolby Laboratories Licensing Corporation Assessment and adjustment of audio installation
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US9979680B2 (en) 2016-07-21 2018-05-22 Fujitsu Limited Smart notification scheduling and modality selection
US10621992B2 (en) 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
CN106027806A (zh) * 2016-07-25 2016-10-12 乐视控股（北京）有限公司 智能家居设备的控制方法及移动终端
US20180033429A1 (en) * 2016-07-26 2018-02-01 Ford Global Technologies, Llc Extendable vehicle system
KR102575634B1 (ko) 2016-07-26 2023-09-06 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN106028223A (zh) 2016-07-26 2016-10-12 广东欧珀移动通信有限公司 一种智能音箱的控制方法、装置及智能音箱
US10431211B2 (en) 2016-07-29 2019-10-01 Qualcomm Incorporated Directional processing of far-field audio
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10026403B2 (en) 2016-08-12 2018-07-17 Paypal, Inc. Location based voice association system
US9691384B1 (en) 2016-08-19 2017-06-27 Google Inc. Voice action biasing system
US20180053504A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company Intention recognition for triggering voice recognition system
US10187503B2 (en) 2016-08-19 2019-01-22 Amazon Technologies, Inc. Enabling voice control of telephone device
CN107767863B (zh) 2016-08-22 2021-05-04 科大讯飞股份有限公司 语音唤醒方法、系统及智能终端
WO2018039045A1 (en) 2016-08-24 2018-03-01 Knowles Electronics, Llc Methods and systems for keyword detection using keyword repetitions
US9972320B2 (en) 2016-08-24 2018-05-15 Google Llc Hotword detection on multiple devices
US10461953B2 (en) * 2016-08-29 2019-10-29 Lutron Technology Company Llc Load control system having audio control devices
US10360910B2 (en) 2016-08-29 2019-07-23 Garmin Switzerland Gmbh Automatic speech recognition (ASR) utilizing GPS and sensor data
US10685656B2 (en) 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
US10074369B2 (en) 2016-09-01 2018-09-11 Amazon Technologies, Inc. Voice-based communications
US10580404B2 (en) 2016-09-01 2020-03-03 Amazon Technologies, Inc. Indicator for voice-based communications
US10057698B2 (en) 2016-09-02 2018-08-21 Bose Corporation Multiple room communication system and method
AU2017324937B2 (en) 2016-09-06 2019-12-19 Deepmind Technologies Limited Generating audio using neural networks
EP3297298B1 (en) 2016-09-19 2020-05-06 A-Volute Method for reproducing spatially distributed sounds
US9972318B1 (en) 2016-09-21 2018-05-15 Amazon Technologies, Inc. Interpreting voice commands
JP6520878B2 (ja) 2016-09-21 2019-05-29 トヨタ自動車株式会社 音声取得システムおよび音声取得方法
US10409548B2 (en) 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
JP2018055259A (ja) 2016-09-27 2018-04-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US9959861B2 (en) 2016-09-30 2018-05-01 Robert Bosch Gmbh System and method for speech recognition
KR102095514B1 (ko) 2016-10-03 2020-03-31 구글 엘엘씨 디바이스 토폴로지에 기초한 음성 명령 프로세싱
US10283138B2 (en) * 2016-10-03 2019-05-07 Google Llc Noise mitigation for a voice interface device
WO2018067404A1 (en) 2016-10-03 2018-04-12 Google Inc. Synthesized voice selection for computational agents
CN107919116B (zh) 2016-10-11 2019-09-13 芋头科技（杭州）有限公司 一种语音激活检测方法及装置
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US20180122372A1 (en) 2016-10-31 2018-05-03 Soundhound, Inc. Distinguishable open sounds
US10783883B2 (en) 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
EP4328905A3 (en) 2016-11-07 2024-04-24 Google Llc Recorded media hotword trigger suppression
US10154496B2 (en) 2016-11-10 2018-12-11 Futurewei Technologies, Inc. System and method for beamformed reference signals in three dimensional multiple input multiple output communications systems
US10382806B2 (en) 2016-11-14 2019-08-13 DISH Technologies L.L.C. Apparatus, systems and methods for controlling presentation of content using a multi-media table
US10170110B2 (en) 2016-11-17 2019-01-01 Robert Bosch Gmbh System and method for ranking of hybrid speech recognition results with neural networks
CN106708403A (zh) 2016-11-30 2017-05-24 努比亚技术有限公司 输入滑动操作时同步播放提示音的方法及装置
US10079015B1 (en) 2016-12-06 2018-09-18 Amazon Technologies, Inc. Multi-layer keyword detection
US10186265B1 (en) 2016-12-06 2019-01-22 Amazon Technologies, Inc. Multi-layer keyword detection to avoid detection of keywords in output audio
US10134396B2 (en) 2016-12-07 2018-11-20 Google Llc Preventing of audio attacks
US10255032B2 (en) 2016-12-13 2019-04-09 EVA Automation, Inc. Wireless coordination of audio sources
US11184764B2 (en) 2016-12-14 2021-11-23 Amzetta Technologies, Llc Methods and systems of establishing communication between devices
CN106531165A (zh) * 2016-12-15 2017-03-22 北京塞宾科技有限公司 一种便携式智能家居语音控制系统及控制方法
US10339957B1 (en) 2016-12-20 2019-07-02 Amazon Technologies, Inc. Ending communications session based on presence data
US10068573B1 (en) 2016-12-21 2018-09-04 Amazon Technologies, Inc. Approaches for voice-activated audio commands
US10559309B2 (en) 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
DE112017006486T5 (de) 2016-12-23 2019-09-12 Synaptics Incorporated Online-enthallungsalgorithmus basierend auf gewichtetem vorhersagefehler für lärmbehaftete zeitvariante umgebungen
CN106910500B (zh) 2016-12-23 2020-04-17 北京小鸟听听科技有限公司 对带麦克风阵列的设备进行语音控制的方法及设备
US10546578B2 (en) 2016-12-26 2020-01-28 Samsung Electronics Co., Ltd. Method and device for transmitting and receiving audio data
US10580405B1 (en) 2016-12-27 2020-03-03 Amazon Technologies, Inc. Voice control of remote device
US10593328B1 (en) 2016-12-27 2020-03-17 Amazon Technologies, Inc. Voice control of remote device
US10276161B2 (en) 2016-12-27 2019-04-30 Google Llc Contextual hotwords
US10186266B1 (en) 2016-12-28 2019-01-22 Amazon Technologies, Inc. Message playback using a shared device
US10229680B1 (en) 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
US10831366B2 (en) 2016-12-29 2020-11-10 Google Llc Modality learning on mobile devices
US10224031B2 (en) 2016-12-30 2019-03-05 Google Llc Generating and transmitting invocation request to appropriate third-party agent
US10290302B2 (en) 2016-12-30 2019-05-14 Google Llc Compact home assistant with combined acoustic waveguide and heat sink
KR102412202B1 (ko) 2017-01-03 2022-06-27 삼성전자주식회사 냉장고 및 이의 정보 표시 방법
US10248613B2 (en) 2017-01-10 2019-04-02 Qualcomm Incorporated Data bus activation in an electronic device
US10672387B2 (en) 2017-01-11 2020-06-02 Google Llc Systems and methods for recognizing user speech
US10306254B2 (en) 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
KR20180084392A (ko) 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US11164570B2 (en) 2017-01-17 2021-11-02 Ford Global Technologies, Llc Voice assistant tracking and activation
KR20180085931A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR102556840B1 (ko) 2017-01-20 2023-07-18 삼성전자주식회사 전자 장치 및 그의 제어 방법
US20180218747A1 (en) 2017-01-28 2018-08-02 Bose Corporation Audio Device Filter Modification
KR20180090586A (ko) 2017-02-03 2018-08-13 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
CA3155434A1 (en) 2017-02-07 2018-08-16 Lutron Technology Company Llc Audio-based load control system
US10762891B2 (en) 2017-02-10 2020-09-01 Synaptics Incorporated Binary and multi-class classification systems and methods using connectionist temporal classification
CN108446281B (zh) 2017-02-13 2021-03-12 北京嘀嘀无限科技发展有限公司 确定用户亲密度的方法、装置及存储介质
US10311876B2 (en) 2017-02-14 2019-06-04 Google Llc Server side hotwording
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US20180293221A1 (en) 2017-02-14 2018-10-11 Microsoft Technology Licensing, Llc Speech parsing with intelligent assistant
US10839795B2 (en) 2017-02-15 2020-11-17 Amazon Technologies, Inc. Implicit target selection for multiple audio playback devices in an environment
US10264358B2 (en) 2017-02-15 2019-04-16 Amazon Technologies, Inc. Selection of master device for synchronized audio
US10431217B2 (en) * 2017-02-15 2019-10-01 Amazon Technologies, Inc. Audio playback device that dynamically switches between receiving audio data from a soft access point and receiving audio data from a local access point
CN106921560B (zh) 2017-02-28 2020-06-02 北京小米移动软件有限公司 语音通信方法、装置及系统
US20180262793A1 (en) 2017-03-09 2018-09-13 Google Inc. Reverse Casting from a First Screen Device to a Second Screen Device
US10089981B1 (en) 2017-03-09 2018-10-02 Amazon Technologies, Inc. Messaging account disambiguation
US10706843B1 (en) 2017-03-09 2020-07-07 Amazon Technologies, Inc. Contact resolution for communications systems
US10540961B2 (en) 2017-03-13 2020-01-21 Baidu Usa Llc Convolutional recurrent neural networks for small-footprint keyword spotting
US10074371B1 (en) 2017-03-14 2018-09-11 Amazon Technologies, Inc. Voice control of remote device by disabling wakeword detection
US10600406B1 (en) 2017-03-20 2020-03-24 Amazon Technologies, Inc. Intent re-ranker
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10621980B2 (en) 2017-03-21 2020-04-14 Harman International Industries, Inc. Execution of voice commands in a multi-device system
WO2018173293A1 (ja) 2017-03-24 2018-09-27 ヤマハ株式会社 音声端末、音声コマンド生成システム、及び音声コマンド生成システムの制御方法
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10643609B1 (en) 2017-03-29 2020-05-05 Amazon Technologies, Inc. Selecting speech inputs
CN107135443B (zh) 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
US10373630B2 (en) 2017-03-31 2019-08-06 Intel Corporation Systems and methods for energy efficient and low power distributed automatic speech recognition on wearable devices
US10825471B2 (en) 2017-04-05 2020-11-03 Avago Technologies International Sales Pte. Limited Voice energy detection
US11188808B2 (en) 2017-04-11 2021-11-30 Lenovo (Singapore) Pte. Ltd. Indicating a responding virtual assistant from a plurality of virtual assistants
US10748531B2 (en) 2017-04-13 2020-08-18 Harman International Industries, Incorporated Management layer for multiple intelligent personal assistant services
CN107122158A (zh) 2017-04-14 2017-09-01 北京小米移动软件有限公司 播放信息提示音频的方法及装置、电子设备
KR102068182B1 (ko) 2017-04-21 2020-01-20 엘지전자 주식회사 음성 인식 장치, 및 음성 인식 시스템
KR102392297B1 (ko) 2017-04-24 2022-05-02 엘지전자 주식회사 전자기기
KR102298947B1 (ko) 2017-04-28 2021-09-08 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10013995B1 (en) 2017-05-10 2018-07-03 Cirrus Logic, Inc. Combined reference signal for acoustic echo cancellation
US10311870B2 (en) 2017-05-10 2019-06-04 Ecobee Inc. Computerized device with voice command input capability
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10628484B2 (en) 2017-05-17 2020-04-21 Board Of Trustees Of The University Of Illinois Vibrational devices as sound sensors
US10403299B2 (en) 2017-06-02 2019-09-03 Apple Inc. Multi-channel speech signal enhancement for robust voice trigger detection and automatic speech recognition
US10531196B2 (en) 2017-06-02 2020-01-07 Apple Inc. Spatially ducking audio produced through a beamforming loudspeaker array
US10564928B2 (en) 2017-06-02 2020-02-18 Rovi Guides, Inc. Systems and methods for generating a volume- based response for multiple voice-operated user devices
US10522146B1 (en) 2019-07-09 2019-12-31 Instreamatic, Inc. Systems and methods for recognizing and performing voice commands during advertisement
US10395650B2 (en) 2017-06-05 2019-08-27 Google Llc Recorded media hotword trigger suppression
US10983753B2 (en) 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
US10410635B2 (en) 2017-06-09 2019-09-10 Soundhound, Inc. Dual mode speech recognition
US10984329B2 (en) 2017-06-14 2021-04-20 Ademco Inc. Voice activated virtual assistant with a fused response
US10028069B1 (en) 2017-06-22 2018-07-17 Sonos, Inc. Immersive audio in a media playback system
US10950228B1 (en) 2017-06-28 2021-03-16 Amazon Technologies, Inc. Interactive voice controlled entertainment
US11189273B2 (en) 2017-06-29 2021-11-30 Amazon Technologies, Inc. Hands free always on near field wakeword solution
EP3646161A1 (en) 2017-06-30 2020-05-06 Google LLC Methods, systems, and media for voice-based call operations
US10687353B2 (en) 2017-07-10 2020-06-16 Qualcomm Incorporated Management of conflicting scheduling commands in wireless networks
US20190013019A1 (en) 2017-07-10 2019-01-10 Intel Corporation Speaker command and key phrase management for muli -virtual assistant systems
US10310082B2 (en) 2017-07-27 2019-06-04 Quantenna Communications, Inc. Acoustic spatial diagnostics for smart home management
US11205421B2 (en) 2017-07-28 2021-12-21 Cerence Operating Company Selection system and method
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US11798544B2 (en) 2017-08-07 2023-10-24 Polycom, Llc Replying to a spoken command
JP6513749B2 (ja) 2017-08-09 2019-05-15 レノボ・シンガポール・プライベート・リミテッド 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム
KR102389041B1 (ko) 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
US10304475B1 (en) 2017-08-14 2019-05-28 Amazon Technologies, Inc. Trigger word based beam selection
US20190066710A1 (en) 2017-08-28 2019-02-28 Apple Inc. Transparent near-end user control over far-end speech enhancement processing
US10553235B2 (en) 2017-08-28 2020-02-04 Apple Inc. Transparent near-end user control over far-end speech enhancement processing
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US11062710B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US10546583B2 (en) 2017-08-30 2020-01-28 Amazon Technologies, Inc. Context-based device arbitration
US10366699B1 (en) 2017-08-31 2019-07-30 Amazon Technologies, Inc. Multi-path calculations for device energy levels
US10515625B1 (en) 2017-08-31 2019-12-24 Amazon Technologies, Inc. Multi-modal natural language processing
US10911596B1 (en) 2017-08-31 2021-02-02 Amazon Technologies, Inc. Voice user interface for wired communications system
US10482895B2 (en) 2017-09-01 2019-11-19 Cirrus Logic, Inc. Acoustic echo cancellation (AEC) rate adaptation
US11361763B1 (en) 2017-09-01 2022-06-14 Amazon Technologies, Inc. Detecting system-directed speech
US10847149B1 (en) 2017-09-01 2020-11-24 Amazon Technologies, Inc. Speech-based attention span for voice user interface
JP6571144B2 (ja) 2017-09-08 2019-09-04 シャープ株式会社 監視システム、監視機器、サーバ、および監視方法
US20190082255A1 (en) 2017-09-08 2019-03-14 Olympus Corporation Information acquiring apparatus, information acquiring method, and computer readable recording medium
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10083006B1 (en) 2017-09-12 2018-09-25 Google Llc Intercom-style communication using multiple computing devices
KR102338376B1 (ko) 2017-09-13 2021-12-13 삼성전자주식회사 디바이스 그룹을 지정하기 위한 전자 장치 및 이의 제어 방법
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US9973849B1 (en) 2017-09-20 2018-05-15 Amazon Technologies, Inc. Signal quality beam selection
US10719507B2 (en) 2017-09-21 2020-07-21 SayMosaic Inc. System and method for natural language processing
US10580411B2 (en) 2017-09-25 2020-03-03 Cirrus Logic, Inc. Talker change detection
US10586534B1 (en) 2017-09-27 2020-03-10 Amazon Technologies, Inc. Voice-controlled device control using acoustic echo cancellation statistics
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US11233782B2 (en) 2017-10-04 2022-01-25 Resilience Magnum IP, LLC Single node network connectivity for structure automation functionality
US10897680B2 (en) 2017-10-04 2021-01-19 Google Llc Orientation-based device interface
KR102543693B1 (ko) 2017-10-17 2023-06-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102421255B1 (ko) 2017-10-17 2022-07-18 삼성전자주식회사 음성 신호를 제어하기 위한 전자 장치 및 방법
US10403266B2 (en) 2017-10-18 2019-09-03 Intel Corporation Detecting keywords in audio using a spiking neural network
CN107808670B (zh) 2017-10-25 2021-05-14 百度在线网络技术（北京）有限公司 语音数据处理方法、装置、设备及存储介质
JP2019086903A (ja) 2017-11-02 2019-06-06 東芝映像ソリューション株式会社 音声対話端末、および音声対話端末制御方法
CN107832837B (zh) 2017-11-28 2021-09-28 南京大学 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法
US20190163153A1 (en) 2017-11-30 2019-05-30 International Business Machines Corporation Enforcing dynamic volume thresholds of an entertainment device
US10546593B2 (en) 2017-12-04 2020-01-28 Apple Inc. Deep learning driven multi-channel filtering for speech enhancement
US10445365B2 (en) 2017-12-04 2019-10-15 Amazon Technologies, Inc. Streaming radio with personalized content integration
US10510340B1 (en) 2017-12-05 2019-12-17 Amazon Technologies, Inc. Dynamic wakeword detection
US10777189B1 (en) 2017-12-05 2020-09-15 Amazon Technologies, Inc. Dynamic wakeword detection
EP3610480B1 (en) 2017-12-06 2022-02-16 Google LLC Ducking and erasing audio signals from nearby devices
US20190172452A1 (en) 2017-12-06 2019-06-06 GM Global Technology Operations LLC External information rendering
CN107919123B (zh) 2017-12-07 2022-06-03 北京小米移动软件有限公司 多语音助手控制方法、装置及计算机可读存储介质
US11182122B2 (en) 2017-12-08 2021-11-23 Amazon Technologies, Inc. Voice control of computing devices
US20190179611A1 (en) 2017-12-11 2019-06-13 Sonos, Inc. Systems and Methods of Receiving Voice Input
US10425247B2 (en) 2017-12-12 2019-09-24 Rovi Guides, Inc. Systems and methods for modifying playback of a media asset in response to a verbal command unrelated to playback of the media asset
US10051600B1 (en) 2017-12-12 2018-08-14 Amazon Technologies, Inc. Selective notification delivery based on user presence detections
US10847137B1 (en) 2017-12-12 2020-11-24 Amazon Technologies, Inc. Trigger word detection using neural network waveform processing
US10374816B1 (en) 2017-12-13 2019-08-06 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
US10540971B2 (en) 2017-12-15 2020-01-21 Blue Jeans Network, Inc. System and methods for in-meeting group assistance using a virtual assistant
US10663313B2 (en) 2017-12-15 2020-05-26 Google Llc Providing traffic warnings to a user based on return journey
US11409816B2 (en) 2017-12-19 2022-08-09 Motorola Solutions, Inc. Methods and systems for determining an action to be taken in response to a user query as a function of pre-query context information
US11295748B2 (en) 2017-12-26 2022-04-05 Robert Bosch Gmbh Speaker identification with ultra-short speech segments for far and near field voice assistance applications
EP3732626A4 (en) 2017-12-28 2021-09-15 Syntiant ALWAYS ACTIVE KEYWORD DETECTOR
US10614811B2 (en) 2017-12-29 2020-04-07 Intel Corporation Hierarchical speech recognition resolution
CN111512365B (zh) 2017-12-31 2023-06-13 美的集团股份有限公司 对多个家庭装置进行控制的方法和系统
EP3692522A4 (en) 2017-12-31 2020-11-11 Midea Group Co., Ltd. METHOD AND SYSTEM FOR THE CONTROL OF HOME ASSISTANT DEVICES
US9972343B1 (en) 2018-01-08 2018-05-15 Republic Wireless, Inc. Multi-step validation of wakeup phrase processing
US10795332B2 (en) 2018-01-16 2020-10-06 Resilience Magnum IP, LLC Facilitating automating home control
CN108198548B (zh) 2018-01-25 2020-11-20 苏州奇梦者网络科技有限公司 一种语音唤醒方法及其系统
US20190237067A1 (en) 2018-01-31 2019-08-01 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-channel voice recognition for a vehicle environment
US10157042B1 (en) 2018-02-06 2018-12-18 Amazon Technologies, Inc. Audio output control
US11024307B2 (en) 2018-02-08 2021-06-01 Computime Ltd. Method and apparatus to provide comprehensive smart assistant services
US11145298B2 (en) 2018-02-13 2021-10-12 Roku, Inc. Trigger word detection with multiple digital assistants
US10425780B1 (en) 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US10491962B2 (en) 2018-03-14 2019-11-26 Rovi Guides, Inc. Systems and methods for presenting event notifications, based on active applications in a social group, on devices notwithstanding a user instruction to disable event notifications
US11127405B1 (en) 2018-03-14 2021-09-21 Amazon Technologies, Inc. Selective requests for authentication for voice-based launching of applications
US10749828B2 (en) 2018-03-14 2020-08-18 Rovi Guides, Inc. Systems and methods for presenting event notifications, based on trending communications, on devices notwithstanding a user instruction to disable event notifications
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
US10685669B1 (en) 2018-03-20 2020-06-16 Amazon Technologies, Inc. Device selection from audio data
US10777203B1 (en) 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
US10440440B1 (en) 2018-03-23 2019-10-08 Rovi Guides, Inc. Systems and methods for prompting a user to view an important event in a media asset presented on a first device when the user is viewing another media asset presented on a second device
US10446169B1 (en) 2018-03-26 2019-10-15 Motorola Mobility Llc Pre-selectable and dynamic configurable multistage echo control system for large range level of acoustic echo
US10755706B2 (en) 2018-03-26 2020-08-25 Midea Group Co., Ltd. Voice-based user interface with dynamically switchable endpoints
US11151991B2 (en) 2018-03-30 2021-10-19 Verizon Media Inc. Electronic message transmission
CN111868824A (zh) 2018-04-05 2020-10-30 辛纳普蒂克斯公司 智能设备的情境感知控制
WO2019193378A1 (en) 2018-04-06 2019-10-10 Flex Ltd. Device and system for accessing multiple virtual assistant services
US10720166B2 (en) 2018-04-09 2020-07-21 Synaptics Incorporated Voice biometrics systems and methods
US10679629B2 (en) 2018-04-09 2020-06-09 Amazon Technologies, Inc. Device arbitration by multiple speech processing systems
US10928917B2 (en) 2018-04-12 2021-02-23 International Business Machines Corporation Multiple user interaction with audio devices using speech and gestures
CN108520741B (zh) 2018-04-12 2021-05-04 科大讯飞股份有限公司 一种耳语音恢复方法、装置、设备及可读存储介质
US10679615B2 (en) 2018-04-16 2020-06-09 Google Llc Adaptive interface in a voice-based networked system
CN108538305A (zh) 2018-04-20 2018-09-14 百度在线网络技术（北京）有限公司 语音识别方法、装置、设备及计算机可读存储介质
EP3564949A1 (en) 2018-04-23 2019-11-06 Spotify AB Activation trigger processing
US10803864B2 (en) 2018-05-07 2020-10-13 Spotify Ab Voice recognition system for use with a personal media streaming appliance
US11308947B2 (en) 2018-05-07 2022-04-19 Spotify Ab Voice recognition system for use with a personal media streaming appliance
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
JP2019204025A (ja) 2018-05-24 2019-11-28 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10777195B2 (en) 2018-05-31 2020-09-15 International Business Machines Corporation Wake command nullification for digital assistance and voice recognition technologies
US20190371324A1 (en) 2018-06-01 2019-12-05 Apple Inc. Suppression of voice response by device rendering trigger audio
EP3756087A4 (en) 2018-06-05 2021-04-21 Samsung Electronics Co., Ltd. PASSIVE WAKE-UP PROCESSES AND SYSTEMS OF A USER INTERACTION DEVICE
US10433058B1 (en) 2018-06-14 2019-10-01 Sonos, Inc. Content rules engines for audio playback devices
US10762896B1 (en) 2018-06-25 2020-09-01 Amazon Technologies, Inc. Wakeword detection
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
NL2021308B1 (en) 2018-07-16 2020-01-24 Hazelebach & Van Der Ven Holding B V Methods for a voice processing system
JP7000268B2 (ja) 2018-07-18 2022-01-19 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
US11144596B2 (en) 2018-07-24 2021-10-12 Harman International Industries, Incorporated Retroactive information searching enabled by neural sensing
GB2576016B (en) 2018-08-01 2021-06-23 Arm Ip Ltd Voice assistant devices
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
KR102225984B1 (ko) 2018-09-03 2021-03-10 엘지전자 주식회사 음성 인식 서비스를 제공하는 서버
US10622009B1 (en) 2018-09-10 2020-04-14 Amazon Technologies, Inc. Methods for detecting double-talk
US20200090647A1 (en) 2018-09-14 2020-03-19 Comcast Cable Communications, Llc Keyword Detection In The Presence Of Media Output
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10650807B2 (en) 2018-09-18 2020-05-12 Intel Corporation Method and system of neural network keyphrase detection
KR20200034430A (ko) 2018-09-21 2020-03-31 삼성전자주식회사 전자 장치, 시스템 및 음성 인식 서비스 이용 방법
US10861444B2 (en) 2018-09-24 2020-12-08 Rovi Guides, Inc. Systems and methods for determining whether to trigger a voice capable device based on speaking cadence
US10950249B2 (en) 2018-09-25 2021-03-16 Amazon Technologies, Inc. Audio watermark encoding/decoding
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11170758B2 (en) 2018-09-27 2021-11-09 Rovi Guides, Inc. Systems and methods for providing notifications within a media asset without breaking immersion
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
KR102606789B1 (ko) 2018-10-01 2023-11-28 삼성전자주식회사 복수의 음성 인식 장치들을 제어하는 방법 및 그 방법을 지원하는 전자 장치
US10971158B1 (en) 2018-10-05 2021-04-06 Facebook, Inc. Designating assistants in multi-assistant environment based on identified wake word received from a user
US20200110571A1 (en) 2018-10-05 2020-04-09 Sonos, Inc. Systems and methods for media content selection
US10346122B1 (en) 2018-10-18 2019-07-09 Brent Foster Morgan Systems and methods for a supplemental display screen
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US10943599B2 (en) 2018-10-26 2021-03-09 Spotify Ab Audio cancellation for voice recognition
US10388272B1 (en) 2018-12-04 2019-08-20 Sorenson Ip Holdings, Llc Training speech recognition systems using word sequences
US10573312B1 (en) 2018-12-04 2020-02-25 Sorenson Ip Holdings, Llc Transcription generation from multiple speech recognition systems
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
KR102570384B1 (ko) 2018-12-27 2023-08-25 삼성전자주식회사 가전기기 및 이의 음성 인식 방법
US11198446B2 (en) 2019-01-04 2021-12-14 Faraday & Future Inc. On-board vehicle query system
JP2020112692A (ja) 2019-01-11 2020-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 方法、制御装置、及びプログラム
US11349834B2 (en) 2019-01-30 2022-05-31 Ncr Corporation Multi-factor secure operation authentication
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
CN109712626B (zh) 2019-03-04 2021-04-30 腾讯科技（深圳）有限公司 一种语音数据处理方法及装置
US10943598B2 (en) 2019-03-18 2021-03-09 Rovi Guides, Inc. Method and apparatus for determining periods of excessive noise for receiving smart speaker voice commands
US10964314B2 (en) 2019-03-22 2021-03-30 Cirrus Logic, Inc. System and method for optimized noise reduction in the presence of speech distortion using adaptive microphone array
US10984783B2 (en) 2019-03-27 2021-04-20 Intel Corporation Spoken keyword detection based utterance-level wake on intent system
US20200310751A1 (en) 2019-03-29 2020-10-01 Qualcomm Incorporated System and method of managing device sound level
EP3726856B1 (en) 2019-04-17 2022-11-16 Oticon A/s A hearing device comprising a keyword detector and an own voice detector
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US20200409926A1 (en) 2019-06-28 2020-12-31 Rovi Guides, Inc. Automated contact creation based on content communications
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11159878B1 (en) 2019-08-15 2021-10-26 Amazon Technologies, Inc. Autonomously motile device with beamforming
JP7191793B2 (ja) 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
US11172329B2 (en) 2019-09-27 2021-11-09 Sonos, Inc. Systems and methods for target device prediction
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
KR20210066647A (ko) 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 이의 제어 방법
CA3143944A1 (en) 2019-12-10 2021-06-17 Rovi Guides, Inc. Systems and methods for local automated speech-to-text processing
US11823659B2 (en) 2019-12-11 2023-11-21 Amazon Technologies, Inc. Speech recognition through disambiguation feedback
US11445301B2 (en) 2020-02-12 2022-09-13 Sonos, Inc. Portable playback devices with network operation modes
CN111341306B (zh) 2020-02-14 2022-06-17 东南大学 基于语音特征复用的关键词唤醒cnn的存储和计算压缩方法
US11206052B1 (en) 2020-06-18 2021-12-21 HAJEN Co., Ltd Smart speaker
US20220050585A1 (en) 2020-08-14 2022-02-17 Apple Inc. Audio media playback user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054643A (ko) * 2012-10-29 2014-05-09 삼성전자주식회사 음성인식장치 및 음성인식방법
US20140244712A1 (en) * 2013-02-25 2014-08-28 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US20160098992A1 (en) * 2014-10-01 2016-04-07 XBrain, Inc. Voice and Connection Platform
US20170242657A1 (en) * 2016-02-22 2017-08-24 Sonos, Inc. Action based on User ID
US20170269975A1 (en) * 2016-03-17 2017-09-21 Nuance Communications, Inc. Session processing interaction between two or more virtual assistants

Also Published As

Publication number Publication date
US10606555B1 (en) 2020-03-31
JP2020536274A (ja) 2020-12-10
JP6987230B2 (ja) 2021-12-22
CN115857747A (zh) 2023-03-28
WO2019067930A9 (en) 2019-09-26
EP3688995B1 (en) 2021-09-01
KR20200055776A (ko) 2020-05-21
WO2019067930A1 (en) 2019-04-04
JP2022037012A (ja) 2022-03-08
CN111418216B (zh) 2022-11-11
KR102415967B1 (ko) 2022-07-04
US20200089469A1 (en) 2020-03-19
KR20230152813A (ko) 2023-11-03
US10466962B2 (en) 2019-11-05
KR102597285B1 (ko) 2023-11-02
US20210141600A1 (en) 2021-05-13
AU2018338812A1 (en) 2020-04-30
US20220222039A1 (en) 2022-07-14
US11893308B2 (en) 2024-02-06
US11175888B2 (en) 2021-11-16
CN111418216A (zh) 2020-07-14
US11288039B2 (en) 2022-03-29
CA3084279A1 (en) 2019-04-04
EP3688995A1 (en) 2020-08-05
US20200326909A1 (en) 2020-10-15
JP7346529B2 (ja) 2023-09-19
US20190102145A1 (en) 2019-04-04
EP3951586A1 (en) 2022-02-09
AU2023237094A1 (en) 2023-10-12
JP2023164959A (ja) 2023-11-14

Similar Documents

Publication Publication Date Title
KR102415967B1 (ko) 음성 지원을 가지는 미디어 재생 시스템
US11797263B2 (en) Systems and methods for voice-assisted media content selection
US20240103804A1 (en) Systems and methods of receiving voice input
US11696074B2 (en) Systems and methods for associating playback devices with voice assistant services
US20200110571A1 (en) Systems and methods for media content selection
US20240080621A1 (en) Device designation of playback and network microphone device arrangements

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant