KR20180042376A - 응답을 제공하기 위한 디바이스 선택 - Google Patents

응답을 제공하기 위한 디바이스 선택 Download PDF

Info

Publication number
KR20180042376A
KR20180042376A KR1020187008061A KR20187008061A KR20180042376A KR 20180042376 A KR20180042376 A KR 20180042376A KR 1020187008061 A KR1020187008061 A KR 1020187008061A KR 20187008061 A KR20187008061 A KR 20187008061A KR 20180042376 A KR20180042376 A KR 20180042376A
Authority
KR
South Korea
Prior art keywords
audio signal
determining
utterance
user
voice
Prior art date
Application number
KR1020187008061A
Other languages
English (en)
Other versions
KR102098136B1 (ko
Inventor
제임스 데이빗 메이어스
알렌 딘
웨 리우
아린담 만달
다니엘 밀러
샤 사미르 프라빈찬드라
Original Assignee
아마존 테크놀로지스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아마존 테크놀로지스, 인크. filed Critical 아마존 테크놀로지스, 인크.
Publication of KR20180042376A publication Critical patent/KR20180042376A/ko
Application granted granted Critical
Publication of KR102098136B1 publication Critical patent/KR102098136B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

시스템은 음성으로 사용자와 상호작용하기 위해 다수의 음성 인터페이스 디바이스를 사용할 수 있다. 음성 인터페이스 디바이스들 전부 또는 그 중 일부는 사용자 발언을 검출할 수 있고 발언의 의미 또는 의도를 결정하기 위해 음성 처리를 개시할 수 있다. 음성 처리 내에서, 다수의 음성 인터페이스 디바이스 중 사용자 발언에 응답할 하나의 음성 인터페이스 디바이스를 선택하기 위해 아비트레이션이 채용된다. 아비트레이션은 사용자의 디바이스들에 대한 근접도를 직접 또는 간접적으로 나타내는 메타데이터에 부분적으로 기초할 수 있고, 사용자에 가장 근접한 것으로 여겨지는 디바이스가 사용자 발언에 응답하도록 선택될 수 있다.

Description

응답을 제공하기 위한 디바이스 선택
관련 출원에 대한 상호-참조
본 출원은 2015년 9월 21일에 출원된, 미국 특허 출원 제14/860,400호에 대한 우선권을 주장한다. 이의 전체 내용은 이에 의해 본원에 통합된다.
디바이스들 및 관련 지원 서비스들이 이용가능한 처리 능력이 계속해서 증가함에 따라, 새로운 방법들로 사용자들과 상호작용하는 것이 실현 가능하게 되었다. 특히, 말을 통해 사용자들과 상호작용하는 것이 실현 가능하게 되었다. 개인용 컴퓨터들, 스마트폰들, 태블릿 디바이스들, 미디어 디바이스들, 엔터테인먼트 디바이스들, 산업용 시스템들, 음성 기반 보조기들 등 많은 디바이스는 이제 음성 명령들을 수신하고 이에 응답할 수 있다. 이러한 시스템들을 확대할 때 직면하게 되는 문제들에 대한 기술적 솔루션들이 본원에 설명된다.
첨부한 도면들을 참조하여 상세한 설명이 설명된다. 도면들에서, 참조 부호의 제일 왼쪽의 숫자(들)는 참조 부호가 처음 나오는 도면을 식별한다. 상이한 도면들에서의 동일한 참조 부호들의 사용은 유사하거나 동일한 구성요소들 또는 특징부들을 나타낸다.
도 1은 다수의 음성 인터페이스 디바이스로부터 사용자 발언을 수신하는 예시적인 음성 기반 시스템을 나타내는 블록도이다.
도 2는 다수의 음성 인터페이스 디바이스로부터의 다수의 오디오 신호를 처리하는 예시적인 방법을 예시하는 흐름도이다.
도 3은 수신된 오디오 신호를 처리하기 위해 음성 인터페이스 디바이스들 중 하나에 의해 수행될 수 있는 다른 예시적인 방법을 예시하는 흐름도이다.
도 4는 두 개의 음성 디바이스 사이를 조정하는 예시적인 방법을 예시하는 흐름도이다.
도 5는 음성 서비스에 오디오 신호 및 동반하는 메타데이터를 제공하기 위해 음성 인터페이스 디바이스에 의해 수행될 수 있는 예시적인 방법을 예시하는 흐름도이다.
도 6 내지 도 8은 도 3의 방법에 따라 상이한 음성 인터페이스 디바이스들로부터의 오디오 신호를 처리할 때 상이한 상황들로부터 기인할 수 있는 동작들의 시간 순서들의 예들을 위에서 아래로 도시한다.
도 9는 예시적인 음성 인터페이스 디바이스의 관련 구성요소들을 도시하는 블록도이다.
도 10은 이를테면 본원에 설명된 음성 서비스를 구현하기 위해 부분적으로 사용될 수 있는 예시적인 서버의 관련 구성요소들을 도시하는 블록도이다.
음성 기반 시스템은 사용자로부터 명령들을 수신하고 사용자에게 서비스들을 제공하기 위해 음성에 의해 사용자와 상호작용하도록 구성될 수 있다. 특정 실시예들에서, 시스템은 방, 집, 또는 다른 환경 내에 상이한 위치들에 위치되는 다수의 음성 인터페이스 디바이스를 포함할 수 있다. 각 음성 인터페이스 디바이스는 사용자 음성을 수신하기 위한 마이크로폰을 갖고, 몇몇 실시예에서는 응답 시스템 음성을 플레이하기 위한 통합 또는 관련 라우드스피커와 작동할 수 있다.
각 디바이스의 특정 기능들 및 능력들은 디바이스가 인터넷을 포함하여, 데이터 통신 네트워크를 통해 액세스할 수 있는 네트워크 기반 서비스에 의해 적어도 부분적으로 제공될 수 있다. 특히, 네트워크 기반 서비스는 자동 음성 인식(ASR), 자연 언어 이해(NLU), 응답 생성, 및 문자 음성 변환(TTS) 기능을 포함하여, 디바이스에 음성 처리 및 상호작용 능력들을 제공할 수 있다. 사용자 음성에 의해 표현되는 의도를 결정 시, 네트워크 기반 서비스는 음성 인터페이스 디바이스를 사용하여 기능들을 수행하고/거나 오디오를 생성한다.
특정 실시예들에서, 음성 인터페이스 디바이스는 마이크로폰 및 라우드스피커를 포함할 수 있다. 다른 실시예들에서, 음성 인터페이스 디바이스는 사용자 음성을 수신하기 위한 마이크로폰을 포함할 수 있으며, 응답 시스템 생성 음성은 스피커 디바이스에 의해 제공된다. 그러한 스피커 디바이스는 음성 인터페이스 디바이스의 제어를받을 수 있고 음성 인터페이스 디바이스에 의해 제공되는 오디오를 플레이할 수 있다. 대안적으로, 스피커 디바이스는 네트워크 기반 서비스로부터 응답 음성 오디오를 수신할 수 있다.
다수의 음성 인터페이스 디바이스가 서로 근접하게, 이를테면 하나의 방 내에 또는 인접한 방들에 있는 상황들에서, 음성 인터페이스 디바이스들의 각각은 사용자 발언을 수신할 수 있고 각 디바이스는 독립적으로 그것이 두 개의 별개의 발언인 것처럼 사용자 발언을 처리하고 그것에 응답하려고 시도할 수 있다. 다음 개시 내용은 다른 것들 중에서도, 그러한 중복 작업 및 응답을 회피하기 위한 기술들에 관한 것이다.
설명된 실시예들에서, 각 음성 인터페이스 디바이스는 사용자가 명령을 말하고 있다는 것을 검출하고 구두의 명령을 나타내는 오디오 신호를 네트워크 기반 음성 서비스로 스트리밍한다. 네트워크 기반 음성 서비스는 오디오 신호를 수신하고, 명령에 의해 표현된 의도를 결정하기 위해 ASR 및 NLU를 수행하며, 음성 인터페이스 디바이스들 중 하나에 응답을 제공한다. 예를 들어, 응답은 사용자 명령에 응답하여 음성 인터페이스 디바이스에 의해 소리로 생성되어야 할 단어들을 나타내는 데이터를 생성하는 것을 포함할 수 있다. 다른 예로, 응답은 음성 인터페이스가 음악을 플레이하기 시작하거나 다른 기능을 수행하기 위한 명령을 포함할 수 있다.
집 안 다수의 음성 인터페이스 디바이스로부터 오디오 신호를 수신할 때, 시스템은 사용자 명령에 응답할(예를 들어, 사용자 명령에 응답하여 오디오 응답을 제공하거나 그 외 동작할) 디바이스들 중 하나를 선택한다. 선택은 오디오 신호들과 연관된 메타데이터에 기초하여 이루어질 수 있다. 일례로, 시스템은 사용자의 상이한 음성 인터페이스 디바이스들에의 근접도를 결정하고 사용자에 가장 근접한 음성 인터페이스 디바이스를 선택하려고 시도할 수 있다. 근접도는 시간적 및 물리적 근접도를 포함할 수 있고, 메타데이터 속성들 이를테면 오디오 신호 진폭, 오디오 신호들에서 검출되는 음성 실존도들, 음성 인터페이스 디바이스들에 의해 사용자 음성이 검출된 상대 시간, 및 음성 인터페이스 디바이스들에 의해 생성 또는 제공될 수 있는 다른 속성들에 의해 나타내어질 수 있다. 예를 들어, 제2 음성 인터페이스 디바이스에 관해 제1 음성 인터페이스 디바이스에서의 더 높은 오디오 신호 진폭은 사용자가 제2 음성 인터페이스 디바이스보다 제1 음성 인터페이스 디바이스에 더 근접하다는 것을 나타낼 수 있다. 다른 예로, 먼저 사용자 음성을 검출하거나 인식하는 음성 인터페이스 디바이스는 사용자에 가장 근접한 디바이스일 수 있다.
근접도는 또한 네트워크 기반 음성 서비스에 의해 야기되는 속성들, 이를테면 ASR 및 NLU 신뢰 수준들에 의해 나타내어질 수 있다. 몇몇 경우, 근접도 점수는 많은 속성에 기초하여 생성될 수 있고, 상이한 오디오 신호들에 대응하는 근접도 점수들은 가장 높은 메타데이터 점수를 갖는 오디오 신호를 선택하기 위해 비교될 수 있다.
몇몇 경우, 다수의 음성 처리 디바이스 중 어느 음성 처리 디바이스가 수신된 사용자 음성에 응답할 지에 대한 선택은 명령이 말해진 상황에 기초하여 이루어질 수 있다. 예를 들어, 새롭게 수신된 명령은 특정 음성 인터페이스 디바이스가 응답한 이전 명령과 동일한 대상에 관한 것일 수 있고, 그에 따라 동일한 음성 인터페이스 디바이스가 새롭게 수신된 명령에 응답하도록 선택될 수 있다. 다른 예로, 최근 활성 음성 인터페이스 디바이스가 사용자 명령에 응답하여 동작 또는 음성을 제공하도록 선택될 수 있다. 또 다른 예로, 음성 인터페이스 디바이스들 중 하나의 음성 인터페이스 디바이스가 음성 명령에 대한 적절한 응답을 제공하기 위한 능력들을 가지나, 다른 디바이스들은 그렇지 않은 경우, 능력들을 갖는 해당 디바이스가 응답을 제공하기 위해 선택될 수 있다. 또 다른 예로, 음성 명령은 음성 인터페이스 디바이스들 중 하나가 현재 수행하고 있고, 그에 따라 음성 인터페이스 디바이스가 음성 명령 시 또는 그것에 응답하여 동작하도록 선택될 수 있는 활동에 관한 것일 수 있다. 몇몇 경우, 제1 디바이스가 이전 사용자 명령에 응답하여 활동을 수행하고 있고 제2 디바이스가 해당 활동을 변경하는 새로운 명령을 검출하는 일이 발생할 수 있다. 이 경우, 네트워크 기반 음성 서비스는 새로운 명령이 제1 디바이스의 현재 활동에 관한 것이라고 결정할 수 있고 사용자 명령에 응답하기 위해 제1 디바이스를 선택할 수 있다.
몇몇 실시예에서, 음성 명령을 나타내는 오디오 신호는 제1 음성 인터페이스 디바이스에 의해 제공될 수 있고 제2 음성 인터페이스 디바이스는 명령이 제2 음성 인터페이스 디바이스가 현재 수행하고 있는 활동에 관한 것일 수 있다 하더라도, 음성 명령을 검출 또는 전송하는데 실패할 수 있다. 예를 들어, 제1 디바이스가 명령 "정지"를 수신할 때 제2 디바이스는 음악을 플레이하고 있을 수 있다. 시스템은 제1 디바이스에 의해 수신되는 명령이 제2 디바이스에 의해 수행되고 있는 활동에 관한 것이라고 결정할 수 있고, 응답을 제1 디바이스가 아니라 제2 디바이스에 지시할 수 있다. 이러한 예에서, "정지" 명령은 제2 디바이스에 지시되고, 제2 디바이스는 음악의 플레이백을 정지함으로써 응답한다.
도 1은 구두 명령들에 기초하여 서비스들을 제공하는 예시적인 시스템(100)을 도시한다. 시스템은 다수의 음성 인터페이스 디바이스(102)를 갖는다. 음성 인터페이스 디바이스들(102)은 본원에서 간단하게 디바이스들(102)로서 지칭될 것이다. 논의를 위해, 두 개의 디바이스(102(a) 및 102(b))가 도시되나, 시스템(100)은 두 개보다 많은 디바이스(102)를 포함할 수 있다. 각 디바이스(102)는 음성 및 콘텐츠를 플레이하기 위해 사용되는 하나 이상의 스피커뿐만 아니라 사용자 음성을 캡처하기 위해 사용되는 하나 이상의 마이크로폰을 갖는다. 몇몇 실시예에서, 디바이스들(102)은 고정된 위치에서 작동하도록 설계될 수 있다. 다른 실시예들에서, 디바이스들(102)은 휴대용일 수 있다. 예를 들어, 디바이스들(102)은 핸드헬드 디바이스들 또는 다른 모바일 디바이스들, 이를테면 스마트폰들, 태블릿 컴퓨터들, 미디어 플레이어들, 개인용 컴퓨터들, 웨어러블 디바이스들 다양한 유형의 액세서리 등을 포함할 수 있다.
사용자(104)는 디바이스들(102)을 통해 시스템(100)과 상호작용하는 것으로 도시된다. 디바이스들(102)은 디바이스들(102) 양자가 사용자(104)의 발언을 검출할 수 있도록 서로 충분히 근접하게 위치될 수 있다.
특정 실시예들에서, 음성 인터페이스 디바이스(102)와 사용자 상호작용의 주요 모드는 음성을 통할 수 있다. 예를 들어, 음성 인터페이스 디바이스(102)는 사용자(104)로부터 구두 명령들을 수신하고 명령들에 응답하여 서비스들을 제공할 수 있다. 사용자(104)는 미리 정의된 트리거 표현(예를 들어, "일어나")을 말할 수 있으며, 이 뒤에는 명령들 또는 지시들(예를 들어, "나는 영화를 보러가기 원한다. 나에게 지역 영화관에서 상영하고 있는 것을 말해줘.")이 뒤따를 수 있다. 제공되는 서비스들은 동작들 또는 활동들을 수행하는 것, 미디어를 제공하는 것, 정보를 획득 및/또는 제공하는 것, 음성 인터페이스 디바이스(102)를 통해 생성 또는 합성된 음성을 통해 정보를 제공하는 것, 사용자(104)를 대신하여 인터넷 기반 서비스들을 개시하는 것 등을 포함할 수 있다.
구두 사용자 요청(106)에 대응하는 소리가 디바이스들(102)의 각각에 의해 수신된다. 특정 구현예들에서, 사용자 요청(106)은 후속 사용자 음성이 디바이스들(102) 중 하나에 의해 수신하고 그것에 의거하여 동작되도록 의도된다는 것을 나타내기 위해 사용자(104)가 말하는 기상 단어 또는 다른 트리거 표현으로 말문을 열게 될 수 있다. 디바이스(102)는 기상 단어를 검출하고 후속 사용자 음성이 디바이스(102)에 지시되는 것으로 해석할 수 있다. 기상 단어는 특정 실시예들에서 음성 인터페이스 디바이스(102)에 의해 가까이에서 검출되는 예약 키워드일 수 있다. 키워드 검출 시, 음성 인터페이스 디바이스(102)는 후속 사용자 발언을 검출하고 그것에 응답하기 위해 원격, 네트워크 기반 음성 인식 시스템에 오디오 신호를 제공하기 시작할 수 있다.
특정 구현예들에서, 각 디바이스(102)는 일반적으로 미리 정의된 단어, 구, 또는 다른 소리일 수 있는 기상 단어를 검출하기 위해 디바이스(102)의 마이크로폰에 의해 생성되는 오디오 신호를 분석하는 표현 검출기를 가질 수 있다. 그러한 표현 검출기는 예로서, 키워드 스포팅 기술(spotting technology)을 사용하여 구현될 수 있다. 키워드 스포터는 오디오 신호에서 미리 정의된 단어 또는 표현의 존재를 검출하기 위해 오디오 신호를 평가하는 기능 구성 또는 알고리즘이다. 키워드 스포터는 음성의 단어들의 표기를 생성하는 것이 아니라, 미리 정의된 단어 또는 표현이 오디오 신호에 표현되었는지 여부를 나타내기 위한 참/거짓 출력을 생성한다.
특정 실시예들에서, 오디오 디바이스(102)의 표현 검출기는 오디오 신호에 기상 단어가 표현되는 가능성을 나타내는 점수를 생성하기 위해 오디오 신호를 분석하도록 구성될 수 있다. 그 다음 표현 검출기는 기상 단어가 말해진 것임을 밝힐지 여부를 결정하기 위한 임계치와 점수를 비교한다.
몇몇 경우, 키워드 스포터는 간략화된 ASR(자동 음성 인식) 기술들을 사용할 수 있다. 예를 들어, 표현 검출기는 오디오 신호의 음향 모델링을 수행하고 오디오 신호의 은닉 마르코프 모델(HMM) 모델을 특정 트리거 표현을 훈련함으로써 생성된 하나 이상의 기준 HMM 모델과 비교하는 HMM 인식기를 사용할 수 있다. HMM 모델은 단어를 일련의 상태로 나타낸다. 일반적으로, 오디오 신호의 일부는 그것의 HMM 모델을 트리거 표현의 HMM 모델과 비교함으로써 분석되어, 오디오 신호 모델의 트리거 표현 모델과의 유사도를 나타내는 특징 점수를 산출한다.
실제로, HMM 인식기는 HMM 모델들의 상이한 특징들에 대응하여, 다수의 특징 점수를 산출할 수 있다. 표현 검출기는 HMM 인식기에 의해 산출되는 하나 이상의 특징 점수를 수신하는 서포트 벡터 머신(SVM) 분류기를 사용할 수 있다. SVM 분류기는 오디오 신호가 트리거 표현을 포함하는 가능성을 나타내는 신뢰 점수를 산출한다. 신뢰 점수는 오디오 신호의 특정 부분이 트리거 표현의 발언을 나타내는지 여부에 관해 최종 결정하기 위한 신뢰 임계치와 비교된다. 오디오 신호가 트리거 표현의 발언을 나타낸다고 밝혀질 때, 오디오 디바이스(102)는 후속 사용자 발언을 검출하고 그것에 응답하기 위한 원격, 네트워크 기반 음성 인식 시스템에 오디오 신호를 송신하기 시작한다.
각 디바이스(102)는 사용자 요청(106)을 수신하고 대응하는 오디오 신호(108) 및 관련 메타데이터(110)를 생성한다. 구체적으로, 제1 음성 인터페이스 디바이스(102(a))는 대응하는 오디오 신호(108(a)) 및 관련 메타데이터(110(a))를 생성하고, 제2 음성 인터페이스 디바이스(102(b))는 대응하는 오디오 신호(108(b)) 및 관련 메타데이터(110(b))를 생성한다. 오디오 신호들(108(a) 및 108(b))의 각각은 사용자 요청(106)에 대응하여, 동일한 사용자 음성을 나타낸다.
메타데이터(110)는 사용자(104)의 각각의 디바이스(102)에 관한 근접도를 결정 또는 추론하기 위해 사용될 수 있고 보다 일반적으로는 음성 응답 또는 다른 동작이 디바이스들(102) 중 어느 디바이스에 지시되어야 할지를 결정하기 위해 사용될 수 있는 다양한 정보를 포함할 수 있다. 이러한 환경에서 근접도는 물리접 근접도 및 시간적 근접도 중 어느 하나 또는 양자에 대응할 수 있다. 예를 들어, 제1 메타데이터(110(a))는 제1 음성 인터페이스 디바이스(102(a))에 의해 사용자 음성(106)이 수신된 시간을 나타내는 제1 타임 스탬프를 포함할 수 있고, 제2 메타데이터(110(b))는 제2 음성 인터페이스 디바이스(102(a))에 의해 사용자 음성(106)이 수신된 시간을 나타내는 제2 타임 스탬프를 포함할 수 있다. 메타데이터(110)는 다른 정보 이를테면 오디오 신호(108)의 신호 에너지 및/또는 음성 인터페이스 디바이스(102)에 의해 검출된 바에 따른 오디오 신호(108)에서의 음성 실존도를 포함할 수 있다.
오디오 신호들(108) 및 관련 메타데이터(110)는 분석 및 응답 동작을 위해 음성 서비스(112)에 제공된다. 몇몇 경우, 음성 서비스(112)는 집 또는 많은 상이한 사용자의 다른 부지 내 디바이스들(102)을 지원하는 다수의 서버 컴퓨터에 의해 구현되는 네트워크-액세스가능한 서비스일 수 있다. 디바이스들(102)은 광역 네트워크 이를테면 인터넷을 통해 음성 서비스(112)와 통신할 수 있다. 대안적으로, 디바이스들(102) 중 하나 이상은 음성 서비스(112)를 포함 또는 제공할 수 있다.
음성 서비스(112)는 음성 서비스(112) 자체에 의해 생성될 수 있는 메타데이터(110) 및 다른 메타데이터에 기초하여, 음성 인터페이스 디바이스들(102) 중 어느 음성 인터페이스 디바이스가 사용자 요청(106)을 수신하고 그것에 대한 응답(114)을 수행해야 하는지 결정한다. 이는 음성 인터페이스 디바이스들(102) 중 특정한 음성 인터페이스 디바이스에 말하기 위해 사용자(104)의 예상되는 의도를 반영하는 방법으로 이루어진다. 디바이스들(102) 중 어느 디바이스가 사용자(104)가 사용자 요청(106)에 응답하기 원할 공산이 가장 큰지 결정하기 위한 다양한 기술이 아래에 설명될 것이다.
일반적으로, 음성 서비스(112)는 디바이스들(102)로부터 수신되는 오디오 신호들이 동일한 발언을 나타내는지 여부를 먼저 결정함으로써 작동하며, 이는 디바이스들(102)에 사용자 음성이 수신된 시간들을 비교함으로써 수행될 수 있다. 오디오 신호들이 동일한 발언을 나타내는, 이를테면 디바이스들(102)이 사용자 음성을 수신한 시간들이 서로 시간적으로 아주 근접하게 있는 경우인 것으로 여겨질 수 있는 경우, 디바이스들(102) 중 어느 디바이스가 오디오 신호들에 의해 나타내어지는 사용자 요청에 대한 응답을 제공하기 위해 사용되어야 하는지 결정하기 위해 아비트레이션이 수행된다.
음성 서비스(112)는 각각의 음성 처리 파이프라인 인스턴스들(116(a) 및 116(b))을 사용하여 오디오 신호들(108(a) 및 108(b))을 처리하도록 구성된다. 각 파이프라인 인스턴스(116)는 디바이스들(102) 중 하나에 그리고 파이프라인 인스턴스에 의해 제공되는 신호(108)에 대응한다. 예시된 예에서, 제1 음성 처리 파이프라인 인스턴스(116(a))는 제1 디바이스(102(a))에 그리고 대응하는 제1 오디오 신호(108(a))에 대응한다. 제2 음성 처리 파이프라인 인스턴스(116(b))는 제2 디바이스(102(b))에 그리고 대응하는 제2 오디오 신호(108(b))에 대응한다.
각 음성 처리 파이프라인 인스턴스(116)는 수신된 오디오 신호(108)를 처리하도록 구성된 순서화된 일련의 파이프라인 처리 구성요소를 갖는다. 제1 음성 처리 파이프라인 인스턴스(116(a))는 제1 디바이스(102(a))로부터 수신되는 제1 오디오 신호(108(a)) 및 대응하는 제1 메타데이터(110(a))를 처리한다. 제2 음성 처리 파이프라인 인스턴스(116(b))는 제2 디바이스(102(b))로부터 수신되는 제2 오디오 신호(108(b)) 및 대응하는 제2 메타데이터(110(b))를 수신 및 처리한다. 각 파이프라인 인스턴스(116)는 음성 서비스(112)의 상이한 서버에 의해 구현될 수 있다.
각 음성 처리 파이프라인 인스턴스(116)의 처리 구성요소들은 구두 사용자 요청(106)의 단어들을 결정하기 위해 수신된 오디오 신호(108)를 분석하도록 구성된 자동 음성 인식(ASR) 구성요소(118)를 포함한다. 처리 구성요소들은 또한 파이프라인 인스턴스에서 ASR 구성요소(118) 이후에 위치되는 자연 언어 이해(NLU) 구성요소(120)를 포함한다. NLU 구성요소(120)는 사용자 요청(106)에 의해 표현되는 의도를 결정하기 위해 ASR 구성요소(118)에 의해 생성되는 사용자 요청(106)의 단어들을 분석하도록 구성된다. 처리 구성요소들은 또한 파이프라인 인스턴스에서 NLU 구성요소(120) 이후에 위치되는 응답 디스패처(122)를 포함한다. 응답 디스패처(122)는 NLU 구성요소(120)에 의해 결정되는 의도에 기초하여 사용자 요청(106)의 의도에 대응하는 음성 응답 또는 다른 동작을 결정 및 명시하도록, 그리고 사용자 요청(106)에 응답하여 동작을 수행하기 위해 대응하는 디바이스(102)에 응답을 제공하거나 대응하는 디바이스(102)에 지시하도록 구성된다.
각 파이프라인 인스턴스(116)는 대응하는 디바이스(102)로부터 오디오 신호(108)를 수신하고, 파이프라인 인스턴스가 아래에 설명될 바와 같이 중단되지 않는 한, 동일한 디바이스(102)에 응답(114)을 제공한다. 동작 시, 파이프라인 인스턴스들(116) 중 단지 단일 파이프라인 인스턴스이 그것의 대응하는 디바이스(102)에 응답(114)을 리턴하도록 완료 이전 하나를 제외한 모든 파이프라인 인스턴스(116)가 중단된다.
각 파이프라인 인스턴스(116)의 처리 구성요소들은 파이프라인 인스턴스(116)에서 ASR 구성요소(118) 이전에 위치되는 제1 소스 아비터(124(a)), 파이프라인 인스턴스(116)에서 ASR 구성요소(118) 이후 NLU 구성요소(120) 이전에 위치되는 제2 소스 아비터(124(b)), 및 파이프라인 인스턴스(116)에서 NLU 구성요소(120) 이후 응답 디스패처(122) 이전에 위치되는 제3 소스 아비터(124(c))를 포함한다. 보다 구체적으로, 제1 소스 아비터(124(a))는 그것이 ASR의 개시 이전 시간에 호출되도록, 그리고 제1 소스 아비터(124(a))가 출력을 생성하는 것의 결과로서 ASR 구성요소가 개시되도록 파이프라인 인스턴스(116)에 위치된다. 제2 소스 아비터(124(b))는 그것이 ASR의 완료 뒤 NLU의 개시 이전 시간에 호출되도록 파이프라인 인스턴스(116)에 위치된다. 따라서, 제2 소스 아비터(124(b))는 ASR 구성요소(118)가 출력을 생성하는 것에 기초하여 개시되고 NLU 구성요소(120)는 제2 소스 아비터(124(b))가 출력을 생성하는 것에 기초하여 개시된다. 제3 소스 아비터(124(c))는 그것이 NLU의 완료 뒤 응답 디스패처(122)의 호출 이전 시간에 호출되도록 파이프라인 인스턴스(116)에 위치된다. 따라서, 제3 소스 아비터(124(c))는 NLU 구성요소(120)가 출력을 생성하는 것에 기초하여 개시되고 응답 디스패처(122)가 제3 소스 아비터(124(c))가 출력을 생성하는 것에 기초하여 개시된다.
각 소스 아비터(124)는 하나 이상의 기준이 충족되는지 여부를 결정하도록 구성되되, 기준들은 파이프라인 인스턴스(116)에 대응하는 디바이스(102)가 사용자 요청(106)에 응답을 제공하기 위해 사용되는 디바이스이어야 하는지 또는 그러한 디바이스일 것인지 여부에 관하고 그것을 나타낸다. 기준들은 대응하는 디바이스(102)로부터 수신되는 메타데이터(110)에 적어도 부분적으로 기초할 수 있다. 본원에서의 몇몇 실시예와 관련되어 3개의 아비터가 도시 및 논의되지만, 다른 실시예들은 1개, 2개 또는 그 이상의 아비터 및/또는 소스 아비터(124(a), 124(b) 및/또는 124(c))와 관련되어 논의된 기능의 서브세트와 유사하게 기능하거나 제공하는 다른 디바이스들을 포함할 수 있다.
일례로, 제1 메타데이터(110(a))는 제1 디바이스(102(a))에 의해 사용자 요청(106)이 수신된 시간에 대응하는 제1 타임 스탬프를 포함할 수 있고, 제2 메타데이터(110(b))는 제2 음성 디바이스(102(b))에 의해 사용자 요청(106)이 수신된 시간에 대응하는 제2 타임 스탬프를 포함할 수 있다. 제1 파이프라인 인스턴스(116(a))의 각 아비터(124)는 (a) 제1 타임스탬프 및 제2 타임스탬프 간 차가 임계치 미만이라고 결정하여, 사용자 요청(106)을 나타내는 소리가 동일한 시간 아주 가까이에서 디바이스들(102(a) 및 102(b))의 각각에 의해 수신되었다는 것을 나타내는 것, 그리고 (b) 제1 타임스탬프가 제2 타임스탬프를 초과한다고 결정하여, 제1 디바이스(102(a))가 제2 디바이스(102(b))보다 이후에 사용자 발언을 수신 또는 검출했다는 것을 나타내는 것에 응답하여 파이프라인 인스턴스(116(a))를 중단하도록 구성될 수 있다. 이러한 예들에서 타임스탬프는 말문을 여는 기상 단어가 각각의 디바이스(102)에 의해 검출된 시간에 대응할 수 있다는 것을 주의하자.
다른 예로서, 메타데이터(110)는 하나 이상의 신호 속성을 포함할 수 있다. 예를 들어, 신호 속성은 오디오 신호의 진폭, 오디오 신호의 신호 대 잡음 비, 오디오 신호에서 검출되는 음성 실존도, 오디오 신호에서 기상 단어가 검출된 신뢰 수준, 디바이스(102)로부터의 사용자(104)의 물리적 거리 등을 나타낼 수 있다. 제1 파이프라인 인스턴스(116(a))의 각 아비터(124)는 제1 오디오 신호(108(a))에 관한 속성들을 제2 오디오 신호(108(b))의 대응하는 속성들과 비교하도록 그리고 음의 비교의 결과로서 제1 파이프라인 인스턴스(116(a))를 중단하도록 구성될 수 있다. 예를 들어, 제1 파이프라인 인스턴스(116(a))는 제1 오디오 신호(108(a))가 제2 오디오 신호(108(b))의 진폭보다 낮은 진폭을 갖는 경우 중단될 수 있다. 유사하게, 제1 파이프라인 인스턴스(116(a))는 제1 오디오 신호가 제2 오디오 신호(108(b))보다 낮은 신호 대 잡음 비, 음성 실존감, 기상 단어 검출 신뢰 수준, 또는 사용자 거리을 갖는 경우 중단될 수 있다.
구체적인 예들로서, 제1 및 제2 오디오 디바이스들이 각각 제1 및 제2 오디오 신호들을 제공하는 경우, 제1 및 제2 오디오 디바이스들 중 어느 오디오 디바이스가 사용자 발언에 응답할지 결정하는 것은 다음 중 하나 이상을 포함할 수 있다:
제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 세기 또는 진폭을 갖는지 결정하는 동작;
제1 디바이스 및 제2 디바이스 중 어느 디바이스가 보다 높은 음성 실존도를 감지하는지 또는 제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 음성 실존도를 나타내는지를 결정하는 것;
제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 것;
제1 디바이스 및 제2 디바이스 중 어느 디바이스가 보다 높은 신뢰 수준을 갖는 트리거 표현을 검출하는지 결정하는 것;
1 디바이스 및 제2 디바이스 중 어느 디바이스가 먼저 트리거 표현을 검출하는지 결정하는 것;
제1 디바이스 및 제2 디바이스 중 어느 디바이스가 먼저 트리거 표현을 검출하는지 결정하는 것;
제1 디바이스 및 제2 디바이스 중 어느 디바이스가 특정 성능을 갖는지 결정하는 것;
제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들이 보다 높은 신뢰 수준을 갖고 인식되는지 결정하는 것;
제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들에 의해 표현되는 의도가 보다 높은 신뢰 수준을 갖는 것으로 결정되는지 결정하는 것;
제1 디바이스 및 제2 디바이스 중 어느 디바이스가 사용자에 물리적으로 더 근접한지 결정하는 것;
제1 디바이스 및 제2 디바이스 중 어느 디바이스가 발언에 대한 응답을 수신하는지 결정하는 것; 또는
제1 디바이스 및 제2 디바이스 중 어느 디바이스가 발언을 먼저 수신하는지 결정하는 것.
보다 일반적으로, 소스 아비터들(124)의 각각은 파이프라인 인스턴스(116)와 연관된 디바이스(102)가 응답이 제공되어야 할 것이 아니라고 결정 시 그것의 파이프라인 인스턴스(116)를 중단할 수 있다. 처리 파이프라인 인스턴스의 동작이 중단될 때, 중단된 파이프라인 인스턴스는 응답(114)을 대응하는 디바이스(102)에 제공하지 않는다. 중단된 파이프라인 인스턴스는 또한 디바이스(102)가 사용자 요청에 응답을 제공하기 위해 사용되지 않을 것이라는 것을 나타내는 메시지를 디바이스(102)에 제공할 수 있다. 응답 시, 디바이스는 오디오 신호(108)를 음성 서비스(112)에 제공하는 것을 중단할 수 있다. 일례로, 메시지 또는 다른 표시는 디바이스가 청취 모드에 진입하게 하거나 그것을 야기하는 명령을 포함하는 데이터를 포함할 수 있다. 청취 모드는 디바이스가 오디오 신호(108)를 음성 서비스(112)에 전송하고 있지 않는 그리고 디바이스가 기상 단어의 추가 발언을 검출하기 위해 그것의 환경을 모니터링하는 모드이다. 몇몇 경우, 에러 응답이 중단된 파이프라인 인스턴스에 대응하는 디바이스(102)에 리턴될 수 있다. 몇몇 경우, 디바이스는 디바이스가 사용자 요청에 응답하지 않을 것이라는 것을 나타내는 음을 플레이하거나, LED 조명을 야기하거나, 또는 몇몇 다른 동작을 취하도록 지시될 수 있다.
음성 서비스(112)는 많은 상이한 사용자의 집 안의 음성 인터페이스 디바이스들(102)을 지원할 수 있다. 본 설명에서 사용자(104)는 서로 연관되고 총괄적으로 본원에 설명되는 방식으로 핸들링될 디바이스들(102)의 그룹을 나타내는 구성 정보를 제공받았다고 가정된다. 예를 들어, 사용자(104)는 공통적으로 위치되는 그 또는 그녀의 디바이스들(102), 또는 그러한 디바이스들의 세트의 각각을 단일 사용자 또는 가정 계정과 연관되는 것으로 등록할 수 있다. 보다 구체적으로, 사용자는 음성 서비스(112)를 제공하고 많은 상이한 음성 인터페이스 디바이스의 동작들을 지원하는 네트워크 기반 서비스 제공자에 계정을 유지할 수 있다. 계정은 가정의 상이한 구성원들에 대응하여, 다수의 사용자 프로필에 대한 정보를 저장하도록 구성될 수 있다. 각 사용자 프로필은 특정 사용자의 특성들 및 선호도들을 나타낼 수 있다. 사용자 또는 가정은 많은 상이한 유형의 디바이스들을 계정과 연관되는 것으로 등록할 수 있다. 계정은 결제 정보, 구매 정보, 구독, 연락처 정보 등을 저장하도록 구성될 수 있다. 또한 계정은 가정 내 음성 인터페이스 디바이스들에 대한 정보, 이를테면 그것들의 위치들, 그것들의 관련 프로필들 등을 저장하도록 구성될 수 있다.
본원에 설명된 동작들은 이를테면 이러한 방식으로 서로 연관된 디바이스들(102)의 그룹에 대해 수행된다. 뿐만 아니라, 본원에서의 설명은 두 개의 디바이스(102)의 상황에서 주어지지만, 두 개 이상의 디바이스(102) 중 임의의 수가 동일한 방식으로 사용 및 핸들링될 수 있다.
음성 서비스(112)는 인터넷을 통해 유지되고 액세스가능한 하나 이상의 네트워크-액세스가능한 컴퓨팅 플랫폼(이를테면 때때로 "클라우드" 서비스들로 지칭되는)의 부분일 수 있다. 일반적으로, 음성 인터페이스 디바이스(102) 및 음성 서비스(112) 간 통신은 와이파이 네트워크, 블루투스 네트워크, 및 셀룰러 통신 네트워크를 포함하여 다양한 유형의 무선 네트워크를 포함할 수 있는, 근거리 통신망, 광역 통신망, 및/또는 공공 인터넷을 포함하는 다양한 유형의 데이터 통신 네트워크들의 조합을 통해 구현될 수 있다.
도 2는 다수의 음성 인터페이스 디바이스(102)가 동일한 사용자 발언을 처리하고 그것에 응답하려고 시도할 수 있는 환경에서, 발언 이를테면 사용자 요청(106)에 응답을 제공하는 예시적인 방법(200)을 도시한다. 도 2의 동작들은 디바이스들(102)에 대한 지원을 제공하는 네트워크 서비스, 이를테면 도 1에 예시된 음성 서비스(112)의 하나 이상의 음성 처리 파이프라인 인스턴스(116) 및/또는 하나 이상의 서버에 의해 총괄하여 구현될 수 있다.
동작(202)은 제1 디바이스(102(a))에 의해 생성되는 제1 오디오 신호(108(a))를 수신하는 동작을 포함하되, 제1 오디오 신호(108(a))는 제1 사용자 발언을 나타낸다. 동작(202)은 또한 제1 오디오 신호(108(a))와 연관된 제1 메타데이터(110(a))를 수신하는 동작을 포함한다. 도 1의 상황에서, 제1 오디오 신호(108(a)) 및 제1 메타데이터(110(a))는 제1 처리 파이프라인 인스턴스(116(a))에 의해 수신될 수 있다. 메타데이터(110)는 위에서 설명된 바와 같은 다양한 속성을 포함할 수 있으며, 이는 오디오 신호들을 제공하고 있는 디바이스, 및/또는 사용자(104)에 대응하는 오디오 신호들에 관한 것일 수 있다.
동작(204)은 제2 디바이스(102(b))에 의해 생성되는 제2 오디오 신호(108(b))를 수신하는 동작을 포함하되, 제2 오디오 신호(108(b))는 제2 사용자 발언을 나타낸다. 동작(204)은 또한 제2 오디오 신호(108(b))와 연관된 제2 메타데이터(110(b))를 수신하는 동작을 포함한다. 도 1의 상황에서, 제2 오디오 신호(108(b)) 및 제2 메타데이터(110(b))는 제2 처리 파이프라인 인스턴스(116(b))에 의해 수신될 수 있다. 제1 처리 파이프라인 인스턴스(116(a)) 및 제2 처리 파이프라인 인스턴스(116(b))는 음성 서비스(112)의 상이한 서버들에 의해 구현될 수 있다. 즉, 디바이스들(102)의 각각은 음성 서비스(112)의 상이한 서버와 통신하고 그것으로부터의 지원을 수신할 수 있다.
특정 실시예들에서, 제1 메타데이터(110(a))는 사용자 발언이 수신된 제1 시간 또는 사용자 발언에 선행하는 기상 단어가 수신된 제1 시간을 나타내는 제1 타임 스탬프를 포함할 수 있다. 유사하게, 제1 메타데이터(110(b))는 사용자 발언이 수신된 제2 시간 또는 사용자 발언에 선행하는 기상 단어가 수신된 제2 시간을 나타내는 제2 타임 스탬프를 포함할 수 있다.
동작(206)은 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 수신된 제1 및 제2 디바이스들(102(a) 및 102(b))이 동일한 사용자 또는 가정 계정과 연관되는지 여부를 결정하는 동작을 포함한다. 그렇지 않은 경우, 오디오 신호들(108(a) 및 108(b)) 양자를 처리하고 그것들에 응답하는 동작(208)이 수행되되, 디바이스들(102(a) 및 102(b))의 각각은 각각 수신된 그것의 사용자 발언에 응답하여 음성 응답 또는 다른 동작을 제공하기 위해 사용된다.
제1 및 제2 디바이스들(102(a) 및 102(b))이 동일한 사용자 또는 가정 계정과 연관되는 경우, 동작(210)이 수행된다. 디바이스들(102(a) 및 102(b)) 중 어느 하나 또는 양자에 대응하는 처리 파이프라인 인스턴스들 내에서 다수회 수행될 수 있는 동작(210)은 제1 및 제2 오디오 신호들이 동일한 사용자 발언을 나타내는지 여부를 결정하는 동작을 포함한다. 몇몇 실시예에서, 이는 각각, 제1 및 제2 오디오 신호들과 연관된 제1 및 제2 타임 스탬프들을 비교함으로써 결정될 수 있다. 보다 구체적으로, 제1 및 제2 타임 스탬프들 간 차가 계산되고 임계치와 비교될 수 있다. 그 차가 임계치 미만인 경우, 제1 및 제2 오디오 신호들은 동일한 발언을 나타내는 것으로 밝혀진다. 그 차가 임계치를 초과하는 경우, 제1 및 제2 오디오 신호들은 상이한 발언들을 나타내는 것으로 밝혀진다.
또한 동작(210)은 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 동일한 발언을 나타내는지 여부를 결정하기 위해 다른 기준을 사용할 수 있다. 예를 들어, 오디오 신호들은 그것들이 서로 유사한지 여부를 결정하기 위해 서로 비교될 수 있다. 구체적으로, 동작(210)은 제1 및 제2 오디오 신호들(108(a) 및 108(b)) 간 상호-상관도를 계산하는 동작을 포함할 수 있다. 신호들 간에 강한 상관도가 있는 경우, 구체적으로 상호-상관도가 미리 결정된 임계치를 초과하는 경우, 신호들은 동일한 발언을 나타내는 것으로 밝혀진다. 다른 예로서, 제1 및 제2 오디오 신호들(108(a) 및 108(b))에 대한 ASR 결과들이 오디오 신호들이 정합하는 일련의 단어를 나타내는지 결정하기 위해 비교될 수 있다. 두 개의 오디오 신호에 대한 ASR 결과들이 동일하거나 유사한 경우, 두 개의 오디오 신호는 동일한 발언을 나타내는 것으로 여겨질 수 있다. 또 다른 예로서, 제1 및 제2 오디오 신호들(108(a) 및 108(b))에 대한 NLU 결과들이 서로 비교될 수 있다. NLU 결과들이 제1 및 제2 오디오 신호들(108(a) 및 108(b))에 대응하는 음성이 공통 의도를 나타낸다는 것을 나타내는 경우, 두 개의 오디오 신호는 동일한 발언을 나타내는 것으로 여겨질 수 있다.
동작(210)은 설명된 기준들 중 하나보다 많은 기준을 사용할 수 있다. 예를 들어, 오디오 신호들이 동일한 사용자 발언을 나타내는 것으로 밝혀지기 위해 기준 중 둘 이상을 충족하도록 요구될 수 있다. 뿐만 아니라, 미리 결정된 것보다 많은 양에 따라 달라지는 관련 타임 스탬프들을 갖는 신호들은 신호들의 임의의 기타 유사점들, 신호들에 관한 ASR 결과들, 또는 신호들에 관한 NLU 결과들에 관계없이, 두 개의 상이한 사용자 발언을 나타내는 것으로 여겨질 수 있다.
동작(210)이 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 동일한 사용자 발언을 나타내지 않는다고 결정하는 경우, 오디오 신호들 양자를 처리하고 그것들에 응답하는 동작(208)이 수행되되, 디바이스들(102(a) 및 102(b))의 각각은 각각 수신된 그것의 사용자 발언에 응답하여 음성 응답 또는 다른 동작을 제공하기 위해 사용된다.
동작(210)이 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 동일한 사용자 발언을 나타낸다고 결정하는 경우, 디바이스들 중 어느 디바이스가 디바이스들(102(a) 및 102(b)) 양자에 의해 검출 및 제공된 단일 사용자에 응답을 제공할 것인지 결정하기 위해 대응하는 디바이스들(102(a) 및 102(b)) 간을 아비트레이션하는 동작(212)이 수행된다. 동작(212)은 오디오 신호들(108)의 각각에 대한 메타데이터(110)에 의해 나타내어지는 속성들을 비교하는 동작을 포함할 수 있다. 오디오 신호(108)가 가장 강한 속성 집합을 갖는 디바이스가 아비트레이션의 승자로 선택된다.
제1 디바이스(102(a))가 아비트레이션에서 승리한 경우, 제1 오디오 신호(108(a))가 나타내는 사용자 명령에 대한 적절한 응답을 제1 디바이스(102(a))에 의해 생성하는 동작을 포함하여, 제1 오디오 신호(108(a))를 처리하고 그것에 응답하는 동작(214)이 수행된다. 동작(216)은 제2 오디오 신호(108(b))의 처리를 무효화하는 동작 및 그렇지 않았다면 디바이스(102(b))에 의해 주어질 수 있었던 임의의 응답을 포함하여, 그렇지 않았다면 제2 오디오 신호(108(b))에 기초하여 제공될 수 있었던 임의의 응답을 무효화하는 동작을 포함한다. 몇몇 구현예에서, 음성 서비스(112)로부터의 추가 응답을 기다리지 말 것을 디바이스(102(b))에 알리는 메시지가 디바이스(102(b))에 전송된다. 동작들(214 및 216)은 동시에 또는 예시된 것과 다른 순서로 수행될 수 있다는 것을 주의하자. 예를 들어, 동작(216)이 동작(214) 이전에 수행될 수 있다.
제2 디바이스(102(b))가 아비트레이션에서 승리한 경우에는, 제2 오디오 신호(108(b))가 나타내는 사용자 명령에 대한 적절한 응답을 제2 디바이스(102(b))에 의해 생성하는 동작을 포함하여, 제2 오디오 신호(108(b))를 처리하고 그것에 응답하는 동작(218)이 수행된다. 동작(220)은 제2 오디오 신호(108(b))의 처리를 무효화하는 동작 및 그렇지 않았다면 제1 디바이스(102(a))에 의해 주어질 수 있었던 임의의 응답을 포함하여, 그렇지 않았다면 제1 오디오 신호(108(a))에 기초하여 제공될 수 있었던 임의의 응답을 무효화하는 동작을 포함한다. 몇몇 구현예에서, 음성 서비스(112)로부터의 추가 응답을 기다리지 말 것을 디바이스(102(a))에 알리는 메시지가 디바이스(102(a))에 전송될 수 있다. 동작들(218 및 220)은 동시에 또는 예시된 것과 다른 순서로 수행될 수 있다는 것을 주의하자. 예를 들어, 동작(220)이 동작(218) 이전에 수행될 수 있다.
아비트레이션 동작(212)은 각각 제1 및 제2 오디오 신호들(108(a) 및 108(b))과 관련된 하나 이상의 속성을 포함할 수 있는 제1 및 제2 메타데이터(110(a) 및 110(b))에 적어도 부분적으로 기초하여 수행될 수 있다. 메타데이터(110)는 위에서 언급된 타임 스탬프에 더하여, 사용자(104)의 대응하는 디바이스(102)에 관한 근접도를 나타낼 수 있다. 예를 들어, 디바이스(102)는 마이크로폰 어레이의 공간적으로 분리된 마이크로폰 소자들에 의해 생성되는 마이크로폰 신호들에 기초하여 음원 방향 측정(SSL)을 수행하기 위한 능력들을 가질 수 있다. SSL은 사용자(104)의 음성에 대응하여 수신된 소리에 기초하여 사용자(104)의 거리를 결정하기 위해 구현될 수 있다. 아비트레이션 동작(212)은 디바이스들(102(a) 및 102(b)) 중 어느 디바이스가 사용자(104)에 물리적으로 또는 청각적으로 가장 근접한지를 결정하는 동작 및 사용자 요청(106)에 응답을 제공하기 위해 가장 근접한 디바이스를 선택하는 동작을 포함할 수 있다.
대안적으로, 각 디바이스(102)는 사용자의 디바이스에 관한 실제 거리 측정치에 대한 대용으로서 사용될 수 있는 다른 메타데이터를 제공할 수 있다. 예를 들어, 오디오 신호(108)와 연관된 메타데이터(110)는 오디오 신호(108)의 진폭을 포함할 수 있고, 동작(212)은 가장 높은 진폭을 갖는 오디오 신호(108)를 생성하는 디바이스(102)를 선택하는 동작을 포함할 수 있다. 메타데이터(110)는 오디오 신호(108)에서 검출되는 사람 음성 실존도를 나타낼 수 있고, 동작(212)은 검출된 가장 높은 음성 실존도를 갖는 오디오 신호(108)를 생성하는 디바이스(102)를 선택하는 동작을 포함할 수 있다. 유사하게, 메타데이터는 오디오 신호(108)의 신호 대 잡음 비를 나타낼 수 있고, 동작(212)은 가장 높은 신호 대 잡음 비를 갖는 오디오 신호(108)를 제공하는 디바이스(102)를 선택하는 동작을 포함할 수 있다. 다른 예로서, 메타데이터(110)는 디바이스(102)에 의해 기상 단어 또는 다른 트리거 표현이 검출된 신뢰 수준을 포함하거나 나타낼 수 있고, 동작(212)은 가장 높은 신뢰 수준을 갖고 트리거 표현을 검출한 디바이스(102)를 선택하는 동작을 포함할 수 있다. 또 다른 예로서, 메타데이터(110)는 오디오 신호를 제공하고 있는 디바이스(102)에 의해 트리거 표현이 검출된 시간을 나타내는 타임 스탬프를 포함할 수 있고, 동작(212)은 가장 빠른 타임 스탬프와 연관된 오디오 신호를 생성하는 디바이스(102)를 선택하는 동작을 포함할 수 있다.
특정 실시예들에서, 메타데이터는 오디오 신호를 제공한 디바이스의 특별한 능력, 이를테면 모든 디바이스가 갖는 것은 아닌 특화된 능력을 나타낼 수 있고, 동작(212)은 디바이스들(102) 중 사용자 요청(106)에 응답할 수 있는 디바이스를 선택하는 동작을 포함할 수 있다. 예를 들어, 제1 디바이스(102(a))는 비디오를 플레이할 수 있으나 제2 디바이스(102(b))는 그렇지 않다. 비디오를 플레이하기 위한 사용자 요청에 응답하여, 동작(212)은 제2 디바이스(102(b))가 요청된 동작 또는 활동을 지원하지 않기 때문에 제1 디바이스(102(a))를 선택할 수 있다.
메타데이터(110)는 몇몇 경우 사용자 요청(106)에 응답해야 하는 디바이스들(102) 중 하나의 구체적인 사용자 유형을 나타낼 수 있다. 예를 들어, 사용자 요청 그 자체는 구두로 디바이스들(102) 중 하나를 식별할 수 있거나, 사용자는 사전에 디바이스들을 상대적인 우선순위들을 갖도록 구성했을 수 있으며, 그에 따라 디바이스들(102) 중 하나가 사용자 요청들에 응답하기 위해 사용되게 된다. 이 경우 동작(212)은 사용자가 사용자 요청(106)에 응답하도록 지정한 디바이스를 선택하는 동작을 포함할 수 있다.
동작(212)은 다른 예로서, 디바이스들(102) 중 어느 디바이스가 사용자 요청(106)에 대한 응답(114)을 먼저 수신하는지에 부분적으로 기초할 수 있으며, 이에 의해 응답(114)을 먼저 수신하는 디바이스(102)가 응답(114)을 나타내거나 구현하도록 선택되는 한편 다른 디바이스는 그것이 수신하는 응답을 무시 또는 무효화한다.
메타데이터(110)는 대응하는 디바이스(102)가 마지막으로 활성이었던 시간을 나타낼 수 있다. 디바이스(102)는 그것이 음성 응답을 제공하고, 음악을 플레이하고, 알림을 제공하며, 동작을 수행하는 등을 할 때 활성인 것으로 여겨질 수 있다. 이 경우 동작(212)은 최근에 활성이었던 디바이스를 선택하는 동작을 포함할 수 있다.
몇몇 경우, 동작(212)은 새로운 사용자 발언이 디바이스들(102) 중 하나가 응답한 이전 사용자 발언과 관련된 요청이라고 결정하는 동작, 및 새로운 사용자 발언에 응답하기 위해 동일한 디바이스(102)를 선택하는 동작을 포함할 수 있다. 예를 들어, 이전 사용자 발언은 일기 예보에 대한 요청이었을 수 있으며, 이에 대해 제1 디바이스(102(a))가 응답했다. 새로운 사용자 발언은 날씨에 관한 보다 구체적인 요청, 이를테면 5일 예측을 위한 요청일 수 있다. 관련된 이전 요청이 제1 디바이스(102(a))에 의해 응답되었기 때문에, 동작(208)은 또한 관련된 새로운 요청에 응답하기 위해 제1 디바이스(102(a))를 선택할 수 있다.
몇몇 경우, 동작(208)은 사용자 요청(106)이 디바이스들(102) 중 하나에 의해 현재 수행되고 있는 활동과 관련된다고 결정하는 동작 및 요청(106)에 응답하기 위해 동일한 디바이스(102)를 선택하는 동작을 포함할 수 있다. 예를 들어, 제1 디바이스(102(a))는 음악을 플레이하고 있을 수 있고 사용자 요청은 "정지" 명령을 포함할 수 있다. 사용자 요청은 제1 디바이스(102(a))의 현재 활동과 관련된 것으로 해석될 수 있고 그에 따라 제1 디바이스(102(a))는 "정지" 요청에 응답해야 하는 디바이스로 선택된다.
몇몇 구현예에서, 동작(212)은 또한 다른 메타데이터, 이를테면 각 처리 파이프라인 인스턴스(116) 내에서 생성되는 메타데이터에 기초할 수 있다. 예를 들어, 파이프라인 인스턴스(116)의 ASR 구성요소(118)는 ASR 결과들에 대한 ASR 신뢰 점수 또는 신뢰 수준을 산출할 수 있다. 동작(212)은 가장 높은 ASR 신뢰 수준이 산출된 디바이스(102)를 선택하는 동작을 포함할 수 있다. 유사하게, NLU 구성요소(120)는 NLU 결과들에 대한 NLU 신뢰 점수 또는 신뢰 수준을 산출할 수 있다. 동작(212)은 가장 높은 NLU 신뢰 수준이 산출된 디바이스(102)를 선택하는 동작을 포함할 수 있다.
보다 일반적으로, 동작(212)은 다수의 유형의 메타데이터 및 다른 정보를 수반하는 다수의 기준에 기초할 수 있다. 예를 들어, 각 기준은 메타데이터의 특정 항목과 관련될 수 있고, 기준은 각 디바이스(102)마다 복합 메타데이터 점수를 산출하기 위해 가중될 수 있으며, 가장 높은 메타데이터 점수를 갖는 디바이스(102)가 사용자 요청(106)에 응답할 디바이스로 선택될 수 있다.
도 1에 도시된 구현예에 관해, 각 파이프라인 인스턴스(116)는 아비터(124)의 몇몇 인스턴스를 구현하되, 각 아비터 인스턴스(124)는 동작들(210 및 212)과 유사하거나 동일한 동작들을 구현한다. 그러나, 각 파이프라인 인스턴스(116)는 대응하는 하나의 디바이스(102)와 연관되기 때문에, 각 파이프라인 인스턴스(116) 내 아비터들(124)은 단지 처리가 해당 파이프라인 인스턴스 내에서 그리고 대응하는 디바이스(102)에 대해 계속되어야 할지 여부만 결정하고, 다른 어떤 파이프라인 인스턴스들(116) 또는 다른 어떤 디바이스들(102)에 대해서는 어떤 직접 동작도 취하지 않는다. 대안적으로 언급하면, 각 아비터(124)는 상이한 디바이스들(102)과 연관될 수 있는 임의의 다른 파이프라인 인스턴스들(116)의 처리는 중단 또는 무효화하지 않고, 그것이 포함되는 파이프라인 인스턴스의 처리를 중단 또는 무효화하도록 동작할 수 있다.
사용자 요청(106)을 처리하는 상이한 파이프라인 인스턴스들은 통상적으로 서로 동시에 발생되지 않는다. 그에 따라, 파이프라인 인스턴스들(116) 중 하나의 파이프라인 인스턴스가 파이프라인 인스턴스들 중 다른 파이프라인 인스턴스가 개시되기 이전에 그것의 구성요소들 또는 동작들 중 하나 이상을 통해 진행되었을 수 있다. 유사하게, 하나의 사용자 요청(106)을 처리하고 있는 두 개의 파이프라인 인스턴스(116)는 음성 서비스에 의한 오디오 신호(108)의 상이한 도달 시간들에 기인하여 상이한 시간들에 개시되었을 수 있다. 임의의 특정 시간에, 파이프라인 인스턴스들의 각각은 그것의 동작들 중 상이한 동작으로 진행될 수 있다.
단일 음성 인터페이스 디바이스(102)와 연관되는 각 파이프라인 인스턴스(116) 내에서, 아비터(124)는 현재 이용가능한 정보에 기반하여 결정을 계속/중단한다. 몇몇 경우, 그것은 단지 관련 디바이스(102)에 의해 제공된 메타데이터만이 현재 이용가능하다는 것일 수 있다. 다른 경우, 다른 파이프라인 인스턴스들(116)과 연관된, 다른 디바이스들(102)과 연관된 메타데이터가 또한 비교를 위해 이용가능할 수 있다. 메타데이터 이를테면 ASR 및 NLU와 관련된 신뢰 점수들은 각 파이프라인 인스턴스 내 진행에 따라, 임의의 소정의 시간에 이용가능할 수 있거나 그렇지 않을 수 있다.
도 3은 각각 대응하는 음성 인터페이스 디바이스들(102)에 의해 제공되는 다수의 수신된 오디오 신호(108)의 각각에 대하여 수행될 수 있는 일련의 동작을 예시하는, 예시적인 방법(300)을 도시한다. 방법(300)은 도 1의 음성 처리 파이프라인 인스턴스들(116)의 각각에 의해 수행된다. 방법(300)은 대응하는 음성 인터페이스 디바이스(102)로부터 오디오 신호(108)를 수신하는 것에 응답하여 개시된다. 논의를 위해, 방법(300)에 의해 분석되는 오디오 신호는 "대상" 오디오 신호(302)로 지칭될 것이다. 방법(300)의 다른 인스턴스들에 의해 동시에 분석되는 다른 디바이스들(102)에 의해 제공되는 오디오 신호들은 "다른" 오디오 신호들로 지칭될 것이다. 유사하게, 대상 오디오 신호(302)와 연관된 메타데이터가 대상 디바이스 메타데이터(304)로 지칭될 것이다. 오디오 대상 오디오 신호(302)를 제공하는 음성 인터페이스 디바이스(102)는 대상 디바이스로서 지칭될 것이다.
동작(306)은 사용자 발언 이를테면 구두 사용자 요청(106)을 나타내는 대상 오디오 신호(302)를 수신하는 동작을 포함한다. 동작(306)은 또한 대상 디바이스 메타데이터(304)를 수신하는 동작을 포함한다. 대상 디바이스 메타데이터(304)는 도 2의 동작들(210 및 212)을 참조하여 위에서 언급된 바와 같이, 대상 오디오 신호(302)의 속성들 이를테면 신호 세기, 검출된 음성 레벨, 신호 대 잡음 비 등을 포함할 수 있다. 대상 디바이스 메타데이터(304)는 디바이스(102)로부터의 사용자(104)의 물리적 거리, 사용자 발언이 수신되거나 기상 단어가 검출된 시간에 대응하는 타임 스탬프, 구성 정보, 연결 정보 등과 같은 정보를 포함할 수 있다.
대상 오디오 신호(302) 및 대상 디바이스 메타데이터(304)를 수신하는 것에 응답하여 수행되는 동작(308)은 방법(300)의 다수의 인스턴스에 액세스가능한, 이를테면 음성 서비스(112)의 다수의 처리 파이프라인 인스턴스(116) 및 다수의 서버에 액세스가능한 저장 위치에 대상 디바이스 메타데이터(304)를 캐싱하는 동작을 포함한다. 방법(300)의 모든 인스턴스는 각 인스턴스가 다른 인스턴스들에 의해 캐싱되는 메타데이터에 액세스할 수 있도록 데이터를 공통 저장 위치에 캐싱한다.
오디오 신호(302) 및 디바이스 메타데이터(304)를 수신하는 것에 응답하여 또한 수행되는 액션(310(a))은 이중 아비트레이션을 수행하는 동작을 포함한다. 일반적으로, 방법(300)에서 상이한 시점에서 수행되는 유사하거나 동일한 동작들(310(a), 310(b), 및 310(c))은 방법(300)의 다른 인스턴스들에 의해 이전에 캐싱되었던 다른 오디오 신호들의 메타데이터와 비교하여 대상 디바이스 메타데이터(304) 및 대상 오디오 신호(302)와 관련된 다른 메타데이터를 평가하는 동작을 포함한다. 평가는 대상 디바이스 및 다른 디바이스들의 각각 중, 대상 디바이스가 대상 오디오 신호(302)에 의해 나타내어지는 발언에 응답해야 하는지 여부를 결정하기 위해 수행된다. 그렇지 않은 경우, 대상 디바이스에 대응하는 파이프라인 인스턴스를 중단하는 동작(312)이 수행되며, 이는 방법(300)의 어떤 추가 동작도 대상 오디오 신호(302)에 대해 수행되지 않는다는 것을 의미한다. 동작(312)은 또한 파이프라인 인스턴스이 종료되었음을 그리고 대상 디바이스는 대상 오디오 신호(302)에 대한 응답을 기다리지 말아야 함을 대상 디바이스에 알리는 동작을 포함할 수 있다. 몇몇 경우, 동작(312)은 또한 음성 서비스에 대상 오디오 신호(302)를 전송하는 것을 중단할 것을 대상 디바이스에 지시하는 동작을 포함할 수 있다.
도 4는 동작들(310(a), 310(b), 및 310(c))을 구현하기 위해 사용될 수 있는 예시적인 방법(400)을 예시한다. 방법(400)의 동작(402)은 대상 오디오 신호(302)의 대상 디바이스 메타데이터(304)를 획득하는 동작을 포함한다. 그 다음 동작들의 집합(404)이 방법(300)의 인스턴스들이 개시되었던 다른 오디오 신호들의 각각에 대하여 수행된다.
동작들(404)은 하나 이상의 다수의 오디오 신호 중 각 오디오 신호에 대하여 수행되는 프로그램 루프를 포함하되, 용어 "다른 오디오 신호"는 대상 오디오 신호 외 각 다수의 오디오 신호를 지칭하기 위해 사용된다. 각 다른 오디오 신호는 그 자체의 메타데이터 및 다른 오디오 신호를 생성한 대응하는 디바이스(102)와 연관된다. 방법(300)의 인스턴스는 다른 오디오 신호들의 각각에 대해 개시되었거나 개시될 것이다. 프로그램 루프(404)는 다른 오디오 신호들 중 하나의 오디오 신호에 대하여 수행되는 것으로 설명될 것이나, 언급된 바와 같이 중단 결정에 도달되지 않는 한 다른 오디오 신호들의 각각에 대해 반복된다.
동작(406)은 다른 오디오 신호와 연관된 메타데이터, 이를테면 다른 오디오 신호와 연관되는 방법(300)의 인스턴스에 의해 이전에 캐싱되었던 메타데이터를 획득하는 동작을 포함한다. 다른 오디오 신호의 메타데이터는 본원에서 설명된 임의의 메타데이터 또는 정보, 이를테면 디바이스 메타데이터(110) 및 다른 오디오 신호와 연관된 파이프라인 인스턴스(116) 내에서 생성되는 임의의 다른 메타데이터를 포함할 수 있다.
동작(408)은 대상 오디오 신호(302) 및 다른 오디오 신호가 동일한 사용자 발언을 나타내는지 여부를 결정하는 동작을 포함한다. 동작(408)은 도 2의 동작(210)을 참조하여 위에서 설명된 바와 동일한 기술들을 사용하여 수행될 수 있다. 두 개의 오디오 신호가 동일한 사용자 발언을 나타내지 않는 경우, 다른 오디오 신호에 대하여 어떤 추가 동작도 취해지지 않고, 동작들(404)의 집합이 다른 오디오 신호들 중 상이한 오디오 신호에 대하여 블록(410)에 의해 나타내어진 바와 같이 계속된다.
두 개의 오디오 신호가 동일한 사용자 발언을 나타내는 경우, 동작(412)이 수행된다. 동작(412)은 방법(300)의 다른 인스턴스가 그것의 관련 디바이스(102)를 사용자 발언에 응답하는 것에 이미 할당했는지 여부를 결정하는 동작을 포함한다. 그렇다면, 대상 오디오 신호와 연관된 방법(300)의 인스턴스를 중단하는 동작(414)이 수행된다. 방법(300)을 중단하는 것은 대상 오디오 신호(302)에 대하여 어떤 추가 동작도 취해지지 않는다는 것 그리고 응답이 대상 디바이스에 의해 제공되지 않는다는 것을 의미한다. 덧붙여, 루프(404)가 종료된다.
다른 디바이스가 사용자 발언에 응답하는 것에 아직 할당되지 않았을 경우, 하나 이상의 중단 기준이 대상 오디오 신호 및 다른 오디오 신호가 현재 이용가능한 메타데이터에 의해 충족되는지 여부를 결정하는 동작(416)이 수행된다. 중단 기준은 도 2의 동작(210)을 참조하여 위에서 설명된 바와 같이, 대상 오디오 신호 및 다른 오디오 신호의 메타데이터 간 관계들을 포함할 수 있다. 하나 이상의 기준이 충족되는 경우, 대상 오디오 신호(302)와 연관된 방법의 인스턴스를 중단하는 동작(414)이 수행된다. 중단 기준들이 충족되지 않은 경우, 동작들(404)의 집합이 블록(418)에 의해 나타내어진 바와 다른 오디오 신호들 중 상이한 오디오 신호에 대해 반복된다.
도 3으로 돌아가, 동작(310(a))은 중단 또는 계속하는 것 중 어느 하나로 결정된다. 결정이 중단하는 것인 경우, 대상 오디오 신호의 처리가 종료되고 대상 디바이스는 사용자 질의에 응답을 제공하지 않는다. 대상 디바이스는 대상 오디오 신호(302)를 전송하는 것을 멈출 것을 지시받을 수 있다.
동작(310(a))의 결정이 계속하는 것인 경우, 대상 오디오 신호(302)에 관해 자동 음성 인식(ASR)을 수행하는 동작을 포함하는 동작(314)이 수행된다. ASR(314)은 대상 오디오 신호(302)에 의해 나타내어지는 임의의 사용자 음성의 단어들의 텍스트 표현을 생성한다. ASR은 또한 사용자 음성의 단어들이 결정된 신뢰 수준을 나타내는 ASR 신뢰 수준을 산출할 수 있다. 동작(316)은 ASR 신뢰 수준을 오디오 신호(302)와 연관될 ASR 메타데이터로서 캐싱하는 동작을 포함한다.
ASR(314) 이후, 추가 이중 아비트레이션 동작(310(b))이 수행되며, 이는 동작(310(a))과 유사하거나 동일할 수 있다. 동작(310(b))의 결정이 중단하는 것인 경우, 대상 오디오 신호의 처리가 종료되고 대상 디바이스는 사용자 질의에 응답을 제공하지 않는다.
동작(310(b))의 결정이 계속하는 것인 경우, ASR(314)에 의해 생성되는 단어들의 텍스트 표현에 관한 자연 언어 이해(NLU)를 수행하는 동작을 포함하는 동작(318)이 수행된다. 동작(318)은 사용자 음성에 의해 표현되는 가능한 의도를 결정하고 또한 의도가 결정된 신뢰 수준를 나타내는 NLU 신뢰 수준을 산출할 수 있다. 동작(320)은 NLU 신뢰 수준을 오디오 신호(302)와 연관될 NLU 메타데이터로서 캐싱하는 동작을 포함한다.
NLU(318) 이후, 또 다른 이중 아비트레이션 동작(310(c))이 수행되며, 이는 동작들(310(a) 및 310(b))과 유사하거나 동일할 수 있다. 동작(310(c))의 결정이 중단하는 것인 경우, 대상 오디오 신호의 처리가 종료되고 대상 디바이스는 사용자 질의에 응답을 제공하지 않는다.
동작(310(c))의 결정이 계속하는 것인 경우, 대상 디바이스를 사용자 질의에 응답하는 것에 할당하는 동작(322)이 수행된다. 이러한 할당은 대상 오디오 신호의 처리가 대상 오디오 신호에 의해 나타내어지는 의도에 응답하여 동작이 대상 디바이스에 디스패치되려고 하는 시점으로 진행했다는 것, 그리고 다른 오디오 신호들의 처리는 중단되어야 한다는 것을 나타내는 할당 플래그를 캐싱하는 동작(324)을 수행함으로써 알려지게 된다. 방법(300)의 다른 인스턴스들은 그것들이 이중 아비트레이션(310)을 수행할 때 이러한 플래그를 판독할 수 있고, 이러한 플래그의 존재에 기초하여 그것들 자체로 중단할 수 있다. 예를 들어, 도 4의 동작(412)은 이러한 플래그를 검토함으로써 수행될 수 있다.
동작(326)은 동작을 디스패치하는 동작을 포함하며, 이는 대상 디바이스에 응답을 생성 및 제공하는 동작을 포함할 수 있다. 동작(326)은 또한 언어를 생성하는 동작 외에 또는 그것에 더하여 동작들, 이를테면 음악을 플레이하는 동작, 음악 플레이백을 중단하는 동작, 타이머를 시작하는 동작 등을 수행하기 위한 명령들을 대상 디바이스(102)에 제공하는 동작을 포함하여, 다른 동작들을 결정된 사용자 요청에 응답하여 수행하는 동작을 포함할 수 있다.
도 5는 사용자 요청(106)에 대응할 수 있는 검출된 사용자 음성(502)에 응답하여 오디오 신호(108) 및 관련 메타데이터(110)를 음성 서비스(112)에 제공하기 위해 디바이스들(102)의 각각에 의해 구현될 수 있는 예시적인 방법(500)을 예시한다.
동작(504)은 다수의 지향성 오디오 신호를 생성하기 위해 오디오 빔성형을 수행하는 동작을 포함하여, 여기서 각 지향성 오디오 신호들은 디바이스(102)에 관해 상이한 방향으로부터 오는 소리를 강조한다. 동작(504)은 이를테면 마이크로폰들의 쌍을 사용하고 마이크로폰들들 중 하나로부터 소리가 마이크로폰들 간 거리를 이동하기 위한 시간과 동일한 양만큼 신호를 지연시킴으로써, 두 개의 마이크로폰과 정렬되는 음원들을 강조하는 도착 시간 차이(TDOA)를 사용하여 수행될 수 있다. 마이크로폰들의 상이한 쌍들은 각각이 상이한 방향에 대응하는 다수의 오디오 신호를 획득하기 위해 이러한 방식으로 사용될 수 있다.
동작(506)은 지향성 오디오 신호들에서 음성 실존을 검출하기 위해 음성 활성도 검출(VAD)을 수행하는 동작을 포함한다. 지향성 오디오 신호들 중 하나에서 음성 실존을 검출 시, 해당 지향성 오디오 신호에 대하여 후속 동작들이 수행된다. 몇몇 실시예에서, 도 5의 후속 동작들은 가장 높은 음성 실존도를 갖는 지향성 오디오 신호에 대하여 수행된다.
VAD는 오디오 신호의 특징들 이를테면 신호 에너지 및 도수 분포를 평가하기 위해 오디오 신호의 일부를 분석함으로써 오디오 신호 내 음성 실존도를 결정한다. 특징들은 정량화되어 사람의 음성을 포함하는 것으로 알려진 기준 신호들에 대응하는 기준 특징들과 비교된다. 비교는 오디오 신호의 특징들 및 기준 특징들 간 유사도에 대응하는 점수를 산출한다. 점수는 오디오 신호 내 검출되거나 가능한 음성 실존도에 대한 표시로서 사용된다.
동작(508)은 음성 활성도가 검출된 지향성 오디오 신호에 관해 또는 가장 높은 음성 활성도가 검출된 지향성 오디오 신호에 관해 기상 단어 검출을 수행하는 동작을 포함한다. 위에서 언급된 바와 같이, 미리 정의된 단어, 표현, 또는 다른 소리가 사용자가 디바이스(102)에 의해 수신되고 그것에 따라 동작되도록 후속 음성을 의도하는 신호로서 사용될 수 있다.
설명된 실시예에서, 기상 단어 검출은 예로서, 키워드 스포팅 기술을 사용하여 구현될 수 있다. 키워드 스포터는 오디오 신호에서 미리 정의된 단어 또는 표현의 존재를 검출하기 위해 오디오 신호를 평가하는 기능 구성 또는 알고리즘이다. 키워드 스포터는 음성의 단어들의 표기를 생성하는 것이 아니라, 미리 정의된 단어 또는 표현이 오디오 신호에 표현되었는지 여부를 나타내기 위한 참/거짓 출력을 생성한다.
몇몇 경우, 키워드 스포터는 간략화된 ASR(자동 음성 인식) 기술들을 사용할 수 있다. 예를 들어, 기상 단어 검출은 오디오 신호들의 음향 모델링을 수행하고 은닉 마르코프 모델(HMM) 모델을 특정 트리거 표현을 훈련함으로써 생성된 하나 이상의 기준 HMM 모델과 비교하는 HMM 인식기를 사용할 수 있다. HMM 모델은 단어를 일련의 상태로 나타낸다. 일반적으로, 오디오 신호의 일부는 그것의 HMM 모델을 트리거 표현의 HMM 모델과 비교함으로써 분석되어, 오디오 신호 모델의 트리거 표현 모델과의 유사도를 나타내는 특징 점수를 산출한다. 실제로, HMM 인식기는 HMM 모델들의 상이한 특징들에 대응하여, 다수의 특징 점수를 산출할 수 있다.
기상 단어 검출은 또한 HMM 인식기에 의해 산출되는 하나 이상의 특징 점수를 수신하는 서포트 벡터 머신(SVM) 분류기를 사용할 수 있다. SVM 분류기는 오디오 신호가 트리거 표현을 포함하는 가능성을 나타내는 신뢰 점수를 산출한다.
동작(510)은 디바이스(102)로부터의 사용자의 거리를 결정하기 위해 근접도 검출을 수행하는 동작을 포함한다. 근접도 검출은 예로서, 2차원 마이크로폰 어레이와 함께 음원 방향 측정(SSL)을 사용하여 구현될 수 있다. 그러한 SSL 기술들은 수신된 소리가 유래된 위치를 결정하기 위해 마이크로폰 어레이의 각각의 마이크로폰들에 수신된 소리의 도착 시간들의 차들을 분석한다. 대안적으로, 디바이스(102)는 사용자의 디바이스(102)에 관한 위치를 결정하기 위한 카메라들 또는 특화된 센서들을 가질 수 있다.
방법(500)의 동작들 중 임의의 동작은 메타데이터(110)의 항목들을 생성할 수 있다. 예를 들어, VAD(506)는 사람이 디바이스(102) 부근에서 말하고 있을 가능성을 나타내는, 음성 실존도를 산출할 수 있다. VAD(506)는 또한 신호 대 잡음 측정치를 산출할 수 있다. 기상 단어는 사용자(104)가 기상 단어를 말 할 가능성에 대응하는, 기상 단어 신뢰 수준을 산출할 수 있다. 기상 단어 검출(508)은 또한 기상 단어가 검출된 시간을 나타내는 타임 스탬프를 산출할 수 있다. 근접도 검출(512)은 디바이스(102)로부터의 사용자(104)의 거리를 나타내는, 거리 파라미터를 산출할 수 있다.
동작(512)은 음성 서비스(112)에 오디오 신호(108) 및 메타데이터(110)를 전송하는 동작을 포함한다. 오디오 신호(108)는 지향성 오디오 신호들 중 하나, 이를테면 음성이 검출되고 기상 단어가 검출된 지향성 오디오 신호를 포함할 수 있다.
도 6 내지 도 8은 설명된 방법들이 디바이스들(102(a) 및 102(b)) 중 하나 또는 다른 하나가 사용자 요청(106)에 응답하게 할 수 있는지의 예들을 예시한다. 이러한 도면들의 각각에서, 제1 디바이스 및 관련 제1 파이프라인 인스턴스에 의해 수행되는 동작들, 뿐만 아니라 제2 디바이스 및 관련 제2 파이프라인 인스턴스에 의해 수행되는 동작들이 위에서 아래로 순차적인 순서로 도시된 동작들로 도시된다. 중앙의 캐시와의 상호작용들이 또한 예시된다. 각 예는 제1 및 제2 디바이스들에 의해 제공되는 오디오 신호들이 공통 사용자 발언을 나타낸다고 가정한다. 즉, 동작(408)은 설명된 기술들을 사용함으로써 두 개의 오디오 신호가 동일한 사용자 발언을 나타낼 공산이 가장 크다고 결정한다. 몇몇 실시예에서, 이는 오디오 신호들과 연관된 타임 스탬프들의 차가 미리 정의된 임계치보다 작다는 것을 의미할 수 있다. 도 6 내지 도 8에 도시된 이벤트들은 일반적으로 도 3에 도시된 동작들에 대응한다.
도 6은 제1 및 제2 파이프라인 인스턴스들에 의해 오디오 신호들이 거의 동일한 시간에 수신되는 상황을 나타낸다. 이러한 예에서, 제1 디바이스에 의해 제공되는 오디오 신호가 제2 디바이스에 의해 제공되는 오디오 신호보다 높은 메타데이터 점수를 갖는다고 가정된다. 예를 들어, 제1 오디오 신호의 신호 대 잡음 비 또는 신호 진폭이 제2 오디오 신호의 신호 대 잡음 비 또는 신호 진폭보다 높을 수 있다. 오디오 신호들 및 수반하는 메타데이터가 거의 동일한 시간에 수신되기 때문에, 제2 파이프라인 인스턴스에 의해 수행되는 제1 아비트레이션은 제1 오디오 신호와 연관되어 캐싱된 메타데이터에 액세스할 수 있고 제1 오디오 신호가 제2 오디오 신호보다 높은 메타데이터 점수를 갖는다고 결정할 수 있다. 이러한 결정에 기초하여, 제2 파이프라인 인스턴스는 ASR을 개시하기 이전에 그 자체로 중단되고, 선을 그어 지워진 텍스트로 제시되는 동작들을 수행되지 않는다. 더 정확히, 제1 파이프라인 인스턴스는 완료까지 실행되고 제1 디바이스에 응답을 제공한다.
도 7은 제1 파이프라인 인스턴스가 그것의 오디오 신호를 수신하고 한참 후에 제2 파이프라인 인스턴스가 그것의 오디오 신호를 수신하는 상황을 나타낸다. 보다 구체적으로, 제2 파이프라인 인스턴스는 그것의 오디오 신호를 분석하는 제1 파이프라인 인스턴스의 ASR 구성요소에 후속하여 그것의 오디오 신호를 수신한다. 도 7은 또한 제2 디바이스에 의해 제공되는 오디오 신호가 제1 오디오 디바이스에 의해 제공되는 오디오 신호보다 높은 메타데이터 점수를 갖는다고 가정한다. 이러한 경우, 제1 파이프라인 인스턴스에 의해 수행되는 제1 아비트레이션은 제2 오디오 신호가 아직 도착하지 않았기 때문에, 제2 오디오 신호에 관하여 캐싱된 임의의 메타데이터에 액세스할 수 없다. 더 정확히, 제1 파이프라인 인스턴스의 제2 아비트레이션은 제1 파이프라인 인스턴스를 중단하는 시점에 제2 오디오 신호와 연관되어 캐싱된 메타데이터에 액세스할 수 있다. 이러한 예에서 제2 파이프라인 인스턴스는 완료까지 계속되고 제2 디바이스에 응답을 제공한다.
도 8은 제1 파이프라인 인스턴스가 그것의 오디오 신호를 수신하고 한참 후에 제2 파이프라인 인스턴스가 그것의 오디오 신호를 수신하는 상황을 나타낸다. 이러한 경우, 제2 파이프라인 인스턴스는 제1 파이프라인 인스턴스가 사용자 발언에 대응하는 것에 이미 할당된 후 제2 오디오 신호를 수신한다. 이러한 경우, 제2 파이프라인 인스턴스에 의해 수행되는 제1 아비트레이션은 제1 파이프라인 인스턴스가 이미 사용자 발언에 응답하는 것에 할당되었다고 결정하고 제2 오디오 신호가 제1 오디오 신호보다 높은 메타데이터 점수들과 연관되었을 수 있는 경우라 하더라도, ASR을 수행하기 이전에 그 자체로 중단된다.
도 9는 예시적인 음성 인터페이스 디바이스(102)의 관련 구성요소들을 도시한다. 음성 인터페이스 디바이스(102)는 사용자(104)와의 오디오 상호작용들을 용이하게 하는 마이크로폰 어레이(902) 및 하나 이상의 오디오 라우드스피커(904)를 갖는다. 마이크로폰 어레이(902)는 음성 인터페이스 디바이스(102)의 환경으로부터의 오디오를 나타내는 마이크로폰 오디오 신호들 이를테면 사용자(104)에 의해 말해지는 소리들을 생성한다. 마이크로폰 어레이(902)에 의해 생성되는 마이크로폰 오디오 신호들은 지향성 오디오 신호들을 포함할 수 있거나 지향성 오디오 신호들을 생성하기 위해 사용될 수 있으며, 여기서 지향성 오디오 신호들의 각각은 마이크로폰 어레이(902)에 관해 상이한 방사 방향으로부터 오디오를 강조한다.
음성 인터페이스 디바이스(102)가 하나 이상의 내장 라우드스피커(904)를 갖는 것으로 설명되지만, 다른 실시예들에서 음성 인터페이스 디바이스(102)는 라우드스피커를 포함하지 않을 수 있다. 예를 들어, 음성 인터페이스 디바이스(102)는 사용자가 명령들을 지시하기 위해 말하는 마이크로폰 디바이스를 포함할 수 있거나 다른 기기 이를테면 텔레비전에 연결하기 위한 디바이스를 포함할 수 있다. 내장 라우드스피커 대신, 실시예들 이를테면 이는 라우드스피커들 및 상이한 유형들의 전용 라우드스피커 구성요소들을 갖는 다른 음성 인터페이스 디바이스들을 포함하여, 다른 디바이스들의 라우드스피커 성능들을 사용할 수 있다. 일례로, 음성 인터페이스 디바이스(102)는 외부 라우드스피커를 구동하는 오디오 출력 신호를 생성할 수 있다. 다른 예로, 음성 인터페이스 디바이스(102)는 무선 데이터 연결 이를테면 블루투스 연결을 통해 외부 라우드스피커를 구동 또는 제어할 수 있다. 다른 상황들에서, 음성 인터페이스 디바이스(102)는 음성 인터페이스 디바이스(102)로부터가 아니라, 음성 디바이스(102)로부터 오디오 신호들 및 다른 명령들을 수신하는 라우드스피커와 함께 사용될 수 있다. 이러한 경우, 도 1의 응답(114)은 음성 인터페이스 디바이스(102)로가 아니라 이를테면 라우드스피커 디바이스로 제공될 수 있다.
음성 인터페이스 디바이스(102)는 처리 유닛(906) 및 관련 메모리(908)를 포함할 수 있다. 처리 유닛(906)은 하나 이상의 프로세서를 포함할 수 있으며, 이는 범용 프로세서들, 특화된 프로세서들, 프로세싱 코어들, 디지털 신호 프로세서들 등을 포함할 수 있다. 음성 인터페이스 디바이스(102)의 구성에 따라, 메모리(908)는 비-일시적 컴퓨터 저장 매체의 유형일 수 있고 휘발성 및 비휘발성 메모리를 포함할 수 있다. 메모리(908)는 이에 제한되지 않으나, RAM, ROM, EEPROM, 플래시 메모리, 또는 다른 메모리 기술을 포함할 수 있다. 메모리(908)는 착탈가능한 또는 분리가능한 메모리를 포함할 수 있고 또한 네트워크-액세스가능한 메모리를 포함할 수 있다. 메모리(908)는 휴대용 저장 매체 이를테면 플래시 메모리 드라이브를 포함할 수 있다.
메모리(908)는 처리 유닛(906)에 의해 실행가능한 임의의 수의 소프트웨어 구성요소를 저장하기 위해 사용될 수 있다. 메모리(908)에 저장되는 소프트웨어 구성요소들은 음성 인터페이스 디바이스(102) 내 그리고 그것에 접속되는 하드웨어 및 서비스들을 관리하도록 구성되는 운영 체제(910)를 포함할 수 있다. 또한, 메모리(908)에 저장되는 실행가능한 구성요소들은 마이크로폰 어레이(902)를 사용하여 오디오 신호를 생성하도록 구성된 오디오 처리 구성요소들(912)을 포함할 수 있다. 오디오 처리 구성요소들(912)은 마이크로폰 어레이(902)에 의해 생성되는 마이크로폰 오디오 신호들 및/또는 라우드스피커(904)에 제공되는 출력 오디오 신호들을 처리하기 위한 기능을 포함할 수 있다. 일례로, 오디오 처리 구성요소들(912)은 마이크로폰 어레이(902) 및 라우드스피커(904) 간 음향 접속에 의해 생성되는 음향 반향을 감소시키기 위한 음향 반향 소거 또는 저지 구성요소(914)를 포함할 수 있다. 오디오 처리 구성요소들(912)은 또한 사용자 음성 외에 수신된 오디오 신호들, 이를테면 마이크로폰 오디오 신호들의 요소들에서의 잡음을 감소시키기 위한 잡음 감소 구성요소(916)를 포함할 수 있다.
오디오 처리 구성요소들(912)은 상이한 방향들에 집중되는 지향성 오디오 신호들을 생성하도록 구성된 하나 이상의 오디오 빔성형기 또는 빔성형 구성요소(916)를 포함할 수 있다. 보다 구체적으로, 빔성형 구성요소들(916)은 음성 인터페이스 디바이스(102)의 환경의 상이한 영역들로부터 또는 음성 인터페이스 디바이스(102)에 관해 상이한 방향들로부터 유래하는 소리를 강조하는 지향성 오디오 신호들을 생성하기 위해 마이크로폰 어레이(902)의 공간적으로 분리된 마이크로폰 소자들로부터의 오디오 신호들에 응답할 수 있다. 빔성형 구성요소들(916)은 몇몇 경우 아비트레이션에 사용될 수 있는 메타데이터를 생성할 수 있다. 예를 들어, 빔성형 구성요소들(916)은 각 지향성 오디오 신호에 대응하는 음성 활성도의 신호 세기를 나타낼 수 있다.
메모리(908)에 저장되고 프로세서(906)에 의해 실행되는 실행가능한 구성요소들은 트리거 표현의 사용자 발언을 검출하기 위해 지향성 오디오 신호들 중 하나 이상을 모니터링하는 기상 단어 검출 구성요소(920)를 포함할 수 있다. 위에서 설명된 바와 같이, 기상 단어 검출은 예로서, 키워드 스포팅 기술을 사용하여 구현될 수 있다. 기상 단어 검출 구성요소(920)는 기상 단어가 검출된 신뢰도에 대응하여, 메타데이터 이를테면 신뢰 점수 또는 신뢰 수준을 생성할 수 있다.
소프트웨어 구성요소들은 또한 빔성형 구성요소(918)에 의해 생성되는 지향성 오디오 신호들에서의 음성 실존도들을 모니터링하도록 구성된 음성 활성도 검출기(922)를 포함할 수 있다. 음성 실존도들은 위에서 논의된 바와 같이 아비트레이션을 위한 메타데이터로서 사용될 수 있다.
디바이스(102)의 소프트웨어 구성요소들은 또한 디바이스(102)로부터의 사용자(104)의 거리를 결정하기 위해 사용될 수 있는 음원 방향 측정(SSL) 구성요소(924)를 포함할 수 있다. SSL 구성요소(924)는 수신된 소리가 유래된 위치를 결정하기 위해 마이크로폰 어레이(902)의 각각의 마이크로폰들에 수신된 소리의 도착 시간들의 차들을 분석하도록 구성된다. 예를 들어, SSL 구성요소(924)는 음원의 위치 또는 방향을 결정하기 위해 도착 시간 차이(TDOA) 기술들을 사용할 수 있다. 결정된 위치는 위에서 논의된 바와 같이 아비트레이션을 수행하기 위한 메타데이터로 사용될 수 있다.
디바이스(102)는 근접도 검출 구성요소 또는 시스템(926), 이를테면 카메라, 거리 측정 디바이스, 또는 디바이스(102)에 관한 사용자(104)의 위치를 결정하기 위해 사용되는 다른 센서를 가질 수 있다. 다시, 이러한 방식으로 생성되는 위치 정보는 아비트레이션을 위한 메타데이터로 사용될 수 있다.
음성 인터페이스 디바이스(102)는 또한 도시되지 않은 다양한 하드웨어 구성요소, 이를테면 통신 구성요소들, 전력 구성요소들, I/O 구성요소들, 신호 처리 구성요소 표시기들, 제어 버튼들, 증폭기들 등을 갖는다.
음성 인터페이스 디바이스(102)는 광역 통신망, 근거리 통신망, 개인 통신망, 공공 통신망 등을 포함하는, 다양한 유형의 통신망들을 통해 음성 서비스(112)와 통신하기 위해 통신 인터페이스(928) 이를테면 무선 또는 와이파이 통신망 통신 인터페이스, 이더넷 통신 인터페이스, 셀룰러 통신망 통신 인터페이스, 블루투스 통신 인터페이스 등을 가질 수 있다. 무선 통신 인터페이스들의 경우, 그러한 인터페이스들은 라디오 트랜스시버들 및 관련 제어 회로들 및 적절한 통신 프로토콜들을 구현하기 위한 로직을 포함할 수 있다.
도 10은 음성 서비스(112)를 구현하기 위해 사용될 수 있는 서버(1000)의 관련 로직 또는 기능 구성요소들의 예들을 예시한다. 일반적으로, 음성 서비스(112)는 상이한 서버들에 걸쳐 다양한 방식으로 반복 또는 분산되는 다양한 기능을 갖는, 하나 이상의 서버(1000)에 의해 구현될 수 있다. 서버들은 함께 또는 별도로 위치되고, 가상 서버들, 서버 뱅크들, 및/또는 서버 팜들로서 조직될 수 있다. 본원에 설명되는 기능은 단일 독립체 또는 기업의 서버들에 의해 제공될 수 있거나, 또는 다수의 독립체 또는 기업의 서버들 및/또는 서비스들을 이용할 수 있다. 뿐만 아니라, 설명된 음성 서비스들은 본원에 설명되는 기능들 및 서비스들에 제한되지 않는, 다양한 유형의 기능들 및 서비스들을 다수의 사용자에 제공하는 보다 큰 인프라스트럭처의 부분일 수 있다.
아주 기본적인 구성에서, 예시적인 서버(1000)는 처리 유닛(1002) 및 관련 메모리(1004)를 포함할 수 있다. 처리 유닛(1002)은 하나 이상의 프로세서를 포함할 수 있으며, 이는 범용 프로세서들, 특화된 프로세서들, 프로세싱 코어들, 디지털 신호 프로세서들 등을 포함할 수 있다. 서버(1000)의 구성에 따라, 메모리(1004)는 비-일시적 컴퓨터 저장 매체의 유형일 수 있고 휘발성 및 비휘발성 메모리를 포함할 수 있다. 메모리(1004)는 이에 제한되지 않으나, RAM, ROM, EEPROM, 플래시 메모리, 또는 다른 메모리 기술을 포함할 수 있다. 메모리(1004)는 착탈가능한 또는 분리가능한 메모리를 포함할 수 있고 또한 네트워크-액세스가능한 메모리를 포함할 수 있다. 메모리(1004)는 휴대용 저장 매체 이를테면 플래시 메모리 드라이브를 포함할 수 있다.
메모리(1004)는 처리 유닛(1002)에 의해 실행가능한 임의의 수의 소프트웨어 구성요소를 저장하기 위해 사용될 수 있다. 메모리(1004)에 저장되는 소프트웨어 구성요소들은 서버(1000) 내 그리고 그것에 접속되는 하드웨어 및 서비스들을 관리하도록 구성되는 운영 체제(1006)를 포함할 수 있다. 또한, 메모리(1004)에 의해 저장되는 실행가능한 소프트웨어 구성요소들은 음성 인터페이스 디바이스(102)의 음성 기반 동작들을 지원하는 서비스 구성요소들(1008)을 포함할 수 있다. 서버(1000)는 또한 다른 서버들(1000), 다른 네트워킹된 구성요소들, 및 다수의 음성 인터페이스 디바이스(102)와 통신하기 위한 통신 인터페이스(1010), 이를테면 이더넷 통신 어댑터를 가질 수 있으며, 이는 많은 상이한 사용자의 집 또는 다른 부지에 위치될 수 있다.
서비스 구성요소들(1008)의 구성요소들은 오디오 처리 구성요소들(912)에 의해 처리된 하나 이상의 오디오 신호를 수신하고 사용자 음성에 의해 표현된 의도 또는 의미를 이해하기 위해 다양한 유형의 처리를 수행한다. 일반적으로, 음성 구성요소들(1008)은 (a) 사용자 음성을 나타내는 신호를 수신하도록, (b) 사용자 음성을 인식하기 위해 신호를 분석하도록, (c) 사용자 음성의 의미를 결정하기 위해 사용자 음성을 분석하도록, 그리고 (d) 사용자 음성의 의미에 응답하는 출력 음성을 생성하도록 구성된다.
서비스 구성요소들(1008)은 수신된 오디오 신호에서 사람의 음성을 인식하는 자동 음성 인식(ASR) 구성요소(1012)를 포함할 수 있다. ASR 구성요소(1012)는 지향성 오디오 신호들에 나타내어지는 단어들의 표기를 생성한다. 서비스 구성요소들(1008)은 또한 사용자(104)의 인식된 음성에 기초하여 사용자 의도를 결정하도록 구성되는 자연 언어 이해(NLU) 구성요소(1014)를 포함할 수 있다. 예를 들어, NLU 구성요소(1014)는 ASR 구성요소(1012)에 의해 제공되는 단어 흐름을 분석하고 단어 흐름의 의미에 대한 표현을 생성한다. 예를 들어, NLU 구성요소(1014)는 문장을 분석하기 위해 그리고 문장의 의미의 표현을 컴퓨터에 의해 쉽게 처리되는 방식으로 개념을 전하는 공식적으로 정해진 언어로 생성하기 위해 파서 및 관관련 문법 규칙들을 사용할 수 있다. 의미는 슬롯들의 계층적 집합 또는 프레임 및 슬롯 값들로서 의미론적으로 표현될 수 있으며, 여기서 각 슬롯은 의미론적으로 정해진 개념에 대응한다. NLU는 또한 통상적인 언어에서 단어들 간 통계적 종속성에 영향을 주기 위해 훈련 데이터로부터 생성되는 통계적 모델들 및 패턴들을 사용할 수 있다.
서비스 구성요소들(1008)은 라우드스피커(904)에의 생성을 위해 텍스트를 오디오로 변환하는 텍스트-음성 또는 음성 생성 구성요소(1016)에 의해 부분적으로 구현될 수 있다.
서비스 구성요소들(1008)은 또한 NLU 구성요소(1014)에 의해 결정되는 사용자 음성의 의미에 응답하여 사용자(104)와 음성 대화를 수행하는 것에 책임이 있는 대화 관리 구성요소(1018)를 포함할 수 있다. 대화 관리 구성요소(1018)는 사용자 음성의 의미를 분석하고 사용자 음성에 어떻게 응답하는지 결정하기 위해 사용되는 도메인 로직을 포함할 수 있다. 대화 관리 구성요소(1018)는 상이한 정보 또는 토픽 도메인들, 이를테면 뉴스, 교통, 날씨, 해야할 일의 리스트들, 쇼핑 리스트들, 음악, 가정 자동화, 소매 서비스들 등과 관련된 규칙들 및 거동들을 정의할 수 있다. 도메인 로직은 구두 사용자 진술을 각각의 도메인들에 맵핑하고 사용자 발언들에 응답하여 수행할 대화 응답들 및/또는 동작들을 결정하는 것에 책임이 있다.
서비스 구성요소들(1008)은 위에서 설명된 바와 같이 다른 오디오 신호들에 관해 캐싱된 메타데이터에 적어도 부분적으로 기초하여, 사용자 음성을 나타내는 수신된 오디오 신호에 응답이 제공되어야 하는지 여부를 결정하는 아비터 구성요소(1020)를 포함할 수 있다.
서비스 구성요소들(1008)은 음성 처리 파이프라인 인스턴스들(116)을 형성하기 위해 그리고 도 3의 방법(300)을 수행하기 위해 사용될 수 있다.
메모리(1004)는 메타데이터가 상이한 처리 파이프라인 인스턴스들을 구현하는 다수의 서버(1000)에 의해 캐싱될 수 있는 메타데이터 캐시(1024)를 포함할 수 있다. 실제로, 메타데이터 캐시는 서버들(1000)에 의해 구현되는 다수의 음성 처리 파이프라인 인스턴스 및 다수의 서버(1000)에 액세스가능한 저장 서버에 의해 구현될 수 있다.
또한 앞에서의 내용은 다음 조항들을 고려하여 이해될 수 있다.
1. 시스템으로서,
제1 음성 인터페이스 디바이스로부터 제1 오디오 신호를 수신하는 제1 음성 처리 파이프라인 인스턴스로서, 상기 제1 오디오 신호는 음성 발언을 나타내고, 상기 제1 음성 처리 파이프라인 인스턴스는 또한 기상 단어가 상기 제1 음성 인터페이스 디바이스에 의해 검출된 제1 시간을 나타내는 제1 타임 스탬프를 수신하는, 상기 제1 음성 처리 파이프라인 인스턴스;
제2 음성 인터페이스 디바이스로부터 제2 오디오 신호를 수신하는 제2 음성 처리 파이프라인 인스턴스로서, 상기 제2 오디오 신호는 상기 음성 발언을 나타내고, 상기 제2 음성 처리 파이프라인은 또한 상기 기상 단어가 상기 제2 음성 인터페이스 디바이스에 의해 검출된 제2 시간을 나타내는 제2 타임 스탬프를 수신하는, 상기 제2 음성 처리 파이프라인 인스턴스를 포함하며;
상기 제1 음성 처리 파이프라인 인스턴스는:
상기 음성 발언의 단어들을 결정하기 위해 상기 제1 오디오 신호를 분석하도록 구성된 자동 음성 인식(ASR) 구성요소;
상기 제1 음성 처리 파이프라인 인스턴스에서 상기 ASR 구성요소 이후에 위치되는 자연 언어 이해(NLU) 구성요소로서, 상기 음성 발언에 의해 표현되는 의도를 결정하기 위해 상기 음성 발언의 상기 단어들을 분석하도록 구성된, 상기 NLU 구성요소;
상기 제1 음성 처리 파이프라인 인스턴스에서 상기 NLU 구성요소 이후에 위치되는 응답 디스패처로서, 상기 음성 발언에 대한 음성 응답을 명시하도록 구성된, 상기 응답 디스패처;
상기 제1 음성 처리 파이프라인 인스턴스에서 상기 ASR 구성요소 이전에 위치되는 제1 소스 아비터로서, (a) 상기 제1 타임 스탬프 및 상기 제2 타임 스탬프 간 차로 나타내어지는 시간량이 임계치 미만이라고 결정하도록; (b) 상기 제1 타임 스탬프가 상기 제2 타임 스탬프보다 크다고 결정하도록; 그리고 (c) 상기 제1 음성 처리 파이프라인 인스턴스를 중단하도록 구성된, 상기 제1 소스 아비터를 포함하여 일련의 처리 구성요소를 갖는, 시스템.
2. 조항 1에 있어서,
상기 제1 음성 처리 파이프라인 인스턴스는 상기 제1 오디오 신호를 분석한 상기 ASR 구성요소에 후속하여 상기 오디오 신호를 수신하며; 그리고
상기 일련의 처리 구성요소는 상기 제1 음성 처리 파이프라인 인스턴스에서 상기 ASR 구성요소 이후에 위치되는 제2 소스 아비터를 포함하며, 상기 제2 소스 아비터는 (a) 상기 제1 타임 스탬프 및 상기 제2 타임 스탬프 간 상기 차로 나타내어지는 상기 시간량이 임계치 미만이라고 결정하도록; (b) 상기 제1 타임 스탬프가 상기 제2 타임 스탬프보다 크다고 결정하도록; 그리고 (c) 상기 제1 음성 처리 파이프라인 인스턴스를 중단하도록 구성된, 시스템.
3. 조항 1에 있어서, 상기 제1 음성 인터페이스 디바이스가 상기 발언에 응답하지 않을 것이라는 표시를 상기 제1 음성 인터페이스 디바이스에 전송하도록 구성되는, 시스템.
4. 조항 3에 있어서, 상기 표시는 상기 제1 음성 인터페이스 디바이스상기 제1 음성 처리 파이프라인 인스턴스에 상기 제1 오디오 신호를 제공하는 것을 중단하게 하고 상기 제1 음성 인터페이스 디바이스가 상기 기상 단어의 추가 발언을 검출하는 청취 모드에 진입하게 하는 데이터를 포함하는, 시스템.
5. 조항 1에 있어서,
상기 제1 음성 처리 파이프라인 인스턴스는 또한 상기 제1 오디오 신호의 제1 신호 속성을 수신하되, 상기 제1 신호 속성은:
상기 제1 오디오 신호에서 검출되는 음성 실존도;
상기 제1 음성 인터페이스 디바이스에 의해 기상 단어가 검출된 신뢰도;
상기 제1 오디오 신호의 진폭;
상기 제1 오디오 신호의 신호 대 잡음 측정치; 또는
상기 제1 음성 인터페이스 디바이스로부터의 사용자의 거리 중 하나 이상을 나타내고;
상기 제2 음성 처리 파이프라인 인스턴스는 또한 상기 제2 오디오 신호의 제2 신호 속성을 수신하되, 상기 제2 신호 속성은:
상기 제2 오디오 신호에서 검출되는 음성 실존도;
상기 제2 음성 인터페이스 디바이스에 의해 상기 기상 단어가 검출된 신뢰도;
상기 제2 오디오 신호의 진폭;
상기 제2 오디오 신호의 신호 대 잡음 측정치; 또는
상기 제2 음성 인터페이스 디바이스로부터의 상기 사용자의 거리 중 하나 이상을 나타내며; 그리고
상기 제1 소스 아비터는 상기 제1 신호 속성을 상기 제2 신호 속성과 비교하여 (a) 상기 사용자가 상기 제1 사용자 인터페이스 디바이스보다 상기 제2 사용자 인터페이스 디바이스에 더 근접하다고 결정하도록 그리고 (b) 상기 제1 음성 처리 파이프라인 인스턴스를 중단하도록 더 구성되는, 시스템.
6. 방법으로서,
제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 단계;
제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 단계;
상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 단계;
상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계;
상기 제1 오디오 신호와 연관된 하나 이상의 제1 속성을 수신하는 단계;
상기 제2 오디오 신호와 연관된 하나 이상의 제2 속성을 수신하는 단계; 및
상기 하나 이상의 제1 속성 및 상기 하나 이상의 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계를 포함하는, 방법.
7. 조항 6에 있어서, 상기 제1 디바이스에, 상기 제1 디바이스에 의해 생성될 음성을 명시하는 데이터를 전송하는 단계를 더 포함하는, 방법.
8. 조항 7에 있어서, 상기 제2 디바이스에, 상기 제1 디바이스가 청취 모드에 진입하게 하는 명령을 포함하는 데이터를 전송하는 단계를 더 포함하는, 방법.
9. 조항 6에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스 간 연관을 나타내는 구성 정보를 수신하는 단계를 더 포함하는, 방법.
10. 조항 6에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 사용자 계정과 연관된다고 결정하는 단계를 더 포함하는, 방법.
11. 조항 6에 있어서,
상기 하나 이상의 제1 속성을 수신하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간을 수신하는 단계를 포함하고;
상기 하나 이상의 제2 속성을 수신하는 단계는 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간을 수신하는 단계를 포함하며; 그리고
상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계는 상기 제1 시간 및 상기 제2 시간 간 차로 나타내어지는 시간이 임계치 미만이라고 결정하는 단계를 포함하는, 방법.
12. 조항 6에 있어서,
상기 발언의 하나 이상의 단어를 결정하기 위해 상기 제1 오디오 신호에 관해 자동 음성 인식(ASR)을 수행하는 단계;
상기 발언에 의해 표현되는 의도를 결정하기 위해 상기 발언의 상기 하나 이상의 단어에 관해 자연 언어 이해(NLU)를 수행하는 단계를 더 포함하는, 방법.
13. 조항 6에 있어서, 상기 하나 이상의 제1 속성을 수신하는 단계는 상기 제1 디바이스에 관한 사용자의 근접도를 수신하는 단계를 더 포함하는, 방법.
14. 조항 6 중 어느 한 항에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는 다음:
상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 진폭을 갖는지 결정하는 단계;
상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 음성 실존도를 감지하는지 결정하는 단계;
상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 단계;
상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 신뢰 수준을 갖는 트리거 표현을 검출하는지 결정하는 단계;
상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 먼저 상기 트리거 표현을 검출하는지 결정하는 단계;
상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 능력을 갖는지 결정하는 단계;
상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들이 보다 높은 신뢰 수준을 갖고 인식되는지 결정하는 단계; 또는
상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 상기 단어들에 의해 표현되는 의도가 보다 높은 신뢰 수준을 갖는 것으로 결정되는지 결정하는 단계 중 하나 이상을 포함하는, 방법.
15. 조항 6에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간이 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간 이전이라고 결정하는 단계를 포함하는, 방법.
16. 시스템으로서,
하나 이상의 프로세서;
상기 하나 이상의 프로세서 상에서 실행될 때, 상기 하나 이상의 프로세서가 동작들을 수행하게 하는 컴퓨터-실현가능한 명령들을 저장한 하나 이상의 비-일시적 컴퓨터-판독가능한 매체로서, 상기 동작들은:
제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 동작;
제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 동작;
상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 동작;
상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작;
상기 제1 오디오 신호와 연관된 제1 속성을 수신하는 동작;
상기 제2 오디오 신호와 연관된 제2 속성을 수신하는 동작; 및
상기 제1 속성 및 상기 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작을 포함하는, 시스템.
17. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 발언을 수신한 상기 제2 디바이스의 미리 정의된 시간 내에 상기 제1 디바이스가 상기 발언을 수신했다고 결정하는 동작을 포함하는, 시스템.
18. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호 간 상호-상관도를 계산하는 동작을 포함하는, 시스템.
19. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호가 정합하는 일련의 단어를 나타낸다고 결정하는 동작을 포함하는, 시스템.
20. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은:
상기 제1 오디오 신호가 제1 사용자 음성을 나타낸다고 결정하는 동작;
상기 제2 오디오 신호가 제2 사용자 음성을 나타낸다고 결정하는 동작; 및
상기 제1 사용자 음성 및 상기 제2 사용자 음성이 공통 의도에 대응한다고 결정하는 동작을 포함하는, 시스템.
21. 조항 16에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작은 다음:
상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 사용자에 물리적으로 더 근접한지 결정하는 동작;
상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 진폭을 갖는지 결정하는 동작;
상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 동작;
상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 음성 실존도를 나타내는지 결정하는 동작;
상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언에 대한 응답을 수신하는지 결정하는 동작; 및
상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언을 먼저 수신하는지 결정하는 동작 중 하나 이상을 포함하는, 시스템.
주제가 구조적 특징들에 특유한 언어로 설명되었지만, 첨부된 청구범위에 정의된 주제는 반드시 설명된 구체적인 특징들로 제한되는 것은 아니라는 것이 이해되어야 한다. 더 정확하게, 구체적인 특징들은 청구범위를 구현하는 예시적인 형태들로서 개시된다.

Claims (15)

  1. 방법으로서,
    제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 단계;
    제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 단계;
    상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 단계;
    상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계;
    상기 제1 오디오 신호와 연관된 하나 이상의 제1 속성을 수신하는 단계;
    상기 제2 오디오 신호와 연관된 하나 이상의 제2 속성을 수신하는 단계; 및
    상기 하나 이상의 제1 속성 및 상기 하나 이상의 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 제1 디바이스에, 상기 제1 디바이스에 의해 생성될 음성을 명시하는 데이터를 전송하는 단계를 더 포함하는, 방법.
  3. 청구항 2에 있어서,
    상기 제2 디바이스에, 상기 제2 디바이스가 청취 모드에 진입하게 하는 명령을 포함하는 데이터를 전송하는 단계를 더 포함하는, 방법.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서,
    상기 제1 디바이스 및 상기 제2 디바이스 간 연관을 나타내는 구성 정보를 수신하는 단계; 및
    상기 제1 디바이스 및 상기 제2 디바이스가 사용자 계정과 연관된다고 결정하는 단계를 더 포함하는, 방법.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 하나 이상의 제1 속성을 수신하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간을 수신하는 단계를 포함하고;
    상기 하나 이상의 제2 속성을 수신하는 단계는 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간을 수신하는 단계를 포함하며; 그리고
    상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계는 상기 제1 시간과 상기 제2 시간의 차로 나타내어지는 시간이 임계치 미만이라고 결정하는 단계를 포함하는, 방법.
  6. 청구항 1 내지 5 중 어느 한 항에 있어서,
    상기 발언의 하나 이상의 단어를 결정하기 위해 상기 제1 오디오 신호에 관해 자동 음성 인식(ASR)을 수행하는 단계; 및
    상기 발언에 의해 표현되는 의도를 결정하기 위해 상기 발언의 상기 하나 이상의 단어에 관해 자연 언어 이해(NLU)를 수행하는 단계를 더 포함하는, 방법.
  7. 청구항 1 내지 6 중 어느 한 항에 있어서, 상기 하나 이상의 제1 속성을 수신하는 단계는 상기 제1 디바이스에 관한 사용자의 근접도를 수신하는 단계를 더 포함하는, 방법.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는:
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 진폭을 갖는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 음성 실존도를 감지하는지 결정하는 단계;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 신뢰 수준을 갖는 트리거 표현을 검출하는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 먼저 상기 트리거 표현을 검출하는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 능력을 갖는지 결정하는 단계;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들이 보다 높은 신뢰 수준을 갖고 인식되는지 결정하는 단계; 또는
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 상기 단어들에 의해 표현되는 의도가 보다 높은 신뢰 수준을 갖는 것으로 결정되는지 결정하는 단계
    중 하나 이상을 포함하는, 방법.
  9. 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간이 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간 이전이라고 결정하는 단계를 포함하는, 방법.
  10. 시스템으로서,
    하나 이상의 프로세서;
    상기 하나 이상의 프로세서 상에서 실행될 때, 상기 하나 이상의 프로세서가 동작들을 수행하게 하는 컴퓨터-실행가능한 명령어들을 저장한 하나 이상의 비-일시적 컴퓨터-판독가능한 매체 - 상기 동작들은:
    제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 동작;
    제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 동작;
    상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 동작;
    상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작;
    상기 제1 오디오 신호와 연관된 제1 속성을 수신하는 동작;
    상기 제2 오디오 신호와 연관된 제2 속성을 수신하는 동작; 및
    상기 제1 속성 및 상기 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작을 포함함 -
    를 포함하는, 시스템.
  11. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 발언을 수신한 상기 제2 디바이스의 미리 정의된 시간 내에 상기 제1 디바이스가 상기 발언을 수신했다고 결정하는 동작을 포함하는, 시스템.
  12. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호 간 상호-상관도를 계산하는 동작을 포함하는, 시스템.
  13. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호가 정합하는 일련의 단어를 나타낸다고 결정하는 동작을 포함하는, 시스템.
  14. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은:
    상기 제1 오디오 신호가 제1 사용자 음성을 나타낸다고 결정하는 동작;
    상기 제2 오디오 신호가 제2 사용자 음성을 나타낸다고 결정하는 동작; 및
    상기 제1 사용자 음성 및 상기 제2 사용자 음성이 공통 의도에 대응한다고 결정하는 동작을 포함하는, 시스템.
  15. 청구항 10에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작은:
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 사용자에 물리적으로 더 근접한지 결정하는 동작;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 진폭을 갖는지 결정하는 동작;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 동작;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 음성 실존도를 나타내는지 결정하는 동작;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언에 대한 응답을 먼저 수신하는지 결정하는 동작; 및
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언을 먼저 수신하는지 결정하는 동작
    중 하나 이상을 포함하는, 시스템.
KR1020187008061A 2015-09-21 2016-09-20 응답을 제공하기 위한 디바이스 선택 KR102098136B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/860,400 2015-09-21
US14/860,400 US9875081B2 (en) 2015-09-21 2015-09-21 Device selection for providing a response
PCT/US2016/052688 WO2017053311A1 (en) 2015-09-21 2016-09-20 Device selection for providing a response

Publications (2)

Publication Number Publication Date
KR20180042376A true KR20180042376A (ko) 2018-04-25
KR102098136B1 KR102098136B1 (ko) 2020-04-08

Family

ID=58282770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008061A KR102098136B1 (ko) 2015-09-21 2016-09-20 응답을 제공하기 위한 디바이스 선택

Country Status (6)

Country Link
US (2) US9875081B2 (ko)
EP (1) EP3353677B1 (ko)
JP (2) JP6671466B2 (ko)
KR (1) KR102098136B1 (ko)
CN (1) CN108351872B (ko)
WO (1) WO2017053311A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149693A1 (en) * 2021-01-07 2022-07-14 Samsung Electronics Co., Ltd. Electronic device and method for processing user utterance in the electronic device
KR20230141950A (ko) * 2019-02-06 2023-10-10 구글 엘엘씨 클라이언트-컴퓨팅된 콘텐츠 메타데이터에 기반한 음성 질의 QoS

Families Citing this family (353)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10706096B2 (en) 2011-08-18 2020-07-07 Apple Inc. Management of local and remote media items
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9922646B1 (en) * 2012-09-21 2018-03-20 Amazon Technologies, Inc. Identifying a location of a voice-input device
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
KR102060661B1 (ko) * 2013-07-19 2020-02-11 삼성전자주식회사 통신 방법 및 이를 위한 디바이스
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
JP6356779B2 (ja) * 2014-02-19 2018-07-11 帝人株式会社 情報処理装置および情報処理方法
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP4365725A2 (en) 2014-05-30 2024-05-08 Apple Inc. Continuity
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
KR102389313B1 (ko) * 2015-01-16 2022-04-21 삼성전자주식회사 문법 모델을 이용하여 음성인식을 수행하는 방법 및 디바이스
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
CN106572418A (zh) * 2015-10-09 2017-04-19 芋头科技（杭州）有限公司 一种语音助手的扩展设备及其工作方法
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP2017117371A (ja) * 2015-12-25 2017-06-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、制御装置およびプログラム
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10109294B1 (en) * 2016-03-25 2018-10-23 Amazon Technologies, Inc. Adaptive echo cancellation
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) * 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10026403B2 (en) 2016-08-12 2018-07-17 Paypal, Inc. Location based voice association system
US9972320B2 (en) * 2016-08-24 2018-05-15 Google Llc Hotword detection on multiple devices
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
EP3494498A4 (en) * 2016-10-03 2019-07-31 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THEREOF
US10217453B2 (en) * 2016-10-14 2019-02-26 Soundhound, Inc. Virtual assistant configured by selection of wake-up phrase
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
EP4220630A1 (en) * 2016-11-03 2023-08-02 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
US10127908B1 (en) * 2016-11-11 2018-11-13 Amazon Technologies, Inc. Connected accessory for a voice-controlled device
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
WO2018097969A1 (en) * 2016-11-22 2018-05-31 Knowles Electronics, Llc Methods and systems for locating the end of the keyword in voice sensing
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10565989B1 (en) * 2016-12-16 2020-02-18 Amazon Technogies Inc. Ingesting device specific content
US10032451B1 (en) * 2016-12-20 2018-07-24 Amazon Technologies, Inc. User recognition for speech processing systems
KR102643501B1 (ko) * 2016-12-26 2024-03-06 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10971157B2 (en) * 2017-01-11 2021-04-06 Nuance Communications, Inc. Methods and apparatus for hybrid speech recognition processing
EP3580750A4 (en) * 2017-02-10 2019-12-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR MANAGING VOICE-BASED INTERACTION IN AN INTERNET-THE-THINGS NETWORK SYSTEM
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US9990926B1 (en) * 2017-03-13 2018-06-05 Intel Corporation Passive enrollment method for speaker identification systems
US10403276B2 (en) * 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
KR101925034B1 (ko) 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
US10373630B2 (en) * 2017-03-31 2019-08-06 Intel Corporation Systems and methods for energy efficient and low power distributed automatic speech recognition on wearable devices
CN107122179A (zh) * 2017-03-31 2017-09-01 阿里巴巴集团控股有限公司 语音的功能控制方法和装置
US10748531B2 (en) * 2017-04-13 2020-08-18 Harman International Industries, Incorporated Management layer for multiple intelligent personal assistant services
US10176807B2 (en) 2017-04-17 2019-01-08 Essential Products, Inc. Voice setup instructions
US10355931B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
US10353480B2 (en) 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices
KR102392297B1 (ko) * 2017-04-24 2022-05-02 엘지전자 주식회사 전자기기
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) * 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) * 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US10665232B2 (en) * 2017-05-24 2020-05-26 Harman International Industries, Inc. Coordination among multiple voice recognition devices
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10564928B2 (en) * 2017-06-02 2020-02-18 Rovi Guides, Inc. Systems and methods for generating a volume- based response for multiple voice-operated user devices
US10395650B2 (en) 2017-06-05 2019-08-27 Google Llc Recorded media hotword trigger suppression
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
US10847163B2 (en) * 2017-06-20 2020-11-24 Lenovo (Singapore) Pte. Ltd. Provide output reponsive to proximate user input
US10599377B2 (en) 2017-07-11 2020-03-24 Roku, Inc. Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
JP6513749B2 (ja) * 2017-08-09 2019-05-15 レノボ・シンガポール・プライベート・リミテッド 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム
US10482904B1 (en) 2017-08-15 2019-11-19 Amazon Technologies, Inc. Context driven device arbitration
US10497370B2 (en) 2017-08-18 2019-12-03 2236008 Ontario Inc. Recognition module affinity
US10984788B2 (en) * 2017-08-18 2021-04-20 Blackberry Limited User-guided arbitration of speech processing results
US10964318B2 (en) 2017-08-18 2021-03-30 Blackberry Limited Dialogue management
US10777197B2 (en) 2017-08-28 2020-09-15 Roku, Inc. Audio responsive device with play/stop and tell me something buttons
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US11062710B2 (en) * 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US10546583B2 (en) * 2017-08-30 2020-01-28 Amazon Technologies, Inc. Context-based device arbitration
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10957313B1 (en) * 2017-09-22 2021-03-23 Amazon Technologies, Inc. System command processing
US10699706B1 (en) * 2017-09-26 2020-06-30 Amazon Technologies, Inc. Systems and methods for device communications
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
WO2019061117A1 (en) * 2017-09-28 2019-04-04 Harman International Industries, Incorporated METHOD AND DEVICE FOR VOICE RECOGNITION
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
KR102417524B1 (ko) * 2017-10-13 2022-07-07 현대자동차주식회사 음성 인식 기반의 자동차 제어 방법
KR102471493B1 (ko) * 2017-10-17 2022-11-29 삼성전자주식회사 전자 장치 및 음성 인식 방법
KR102455199B1 (ko) * 2017-10-27 2022-10-18 엘지전자 주식회사 인공지능 디바이스
US10152966B1 (en) 2017-10-31 2018-12-11 Comcast Cable Communications, Llc Preventing unwanted activation of a hands free device
KR102552486B1 (ko) * 2017-11-02 2023-07-06 현대자동차주식회사 차량의 음성인식 장치 및 방법
US11360736B1 (en) * 2017-11-03 2022-06-14 Amazon Technologies, Inc. System command processing
JP7057647B2 (ja) * 2017-11-17 2022-04-20 キヤノン株式会社 音声制御システム、制御方法及びプログラム
US10482878B2 (en) * 2017-11-29 2019-11-19 Nuance Communications, Inc. System and method for speech enhancement in multisource environments
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10510340B1 (en) * 2017-12-05 2019-12-17 Amazon Technologies, Inc. Dynamic wakeword detection
EP3958112A1 (en) 2017-12-06 2022-02-23 Google LLC Ducking and erasing audio from nearby devices
US10971173B2 (en) * 2017-12-08 2021-04-06 Google Llc Signal processing coordination among digital voice assistant computing devices
CN117632482A (zh) 2017-12-08 2024-03-01 谷歌有限责任公司 数字语音助理计算设备当中的信号处理协调
CN109903758B (zh) 2017-12-08 2023-06-23 阿里巴巴集团控股有限公司 音频处理方法、装置及终端设备
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10536287B1 (en) * 2017-12-13 2020-01-14 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
US10536288B1 (en) 2017-12-13 2020-01-14 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
US10374816B1 (en) * 2017-12-13 2019-08-06 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
US10536286B1 (en) * 2017-12-13 2020-01-14 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
JP6988438B2 (ja) 2017-12-20 2022-01-05 トヨタ自動車株式会社 車載制御装置、制御装置、制御方法、制御プログラム、及び発話応答方法
JP6947004B2 (ja) 2017-12-20 2021-10-13 トヨタ自動車株式会社 車載音声出力装置、音声出力装置、音声出力方法、及び音声出力プログラム
JP2019117324A (ja) 2017-12-27 2019-07-18 トヨタ自動車株式会社 音声出力装置、音声出力方法、及び音声出力プログラム
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
JP6984420B2 (ja) 2018-01-09 2021-12-22 トヨタ自動車株式会社 対話装置
JP7062958B2 (ja) * 2018-01-10 2022-05-09 トヨタ自動車株式会社 通信システム、及び通信方法
JP2019124977A (ja) 2018-01-11 2019-07-25 トヨタ自動車株式会社 車載音声出力装置、音声出力制御方法、及び音声出力制御プログラム
JP7197272B2 (ja) 2018-01-11 2022-12-27 トヨタ自動車株式会社 音声出力システム、音声出力方法、及びプログラム
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11145298B2 (en) * 2018-02-13 2021-10-12 Roku, Inc. Trigger word detection with multiple digital assistants
US10878824B2 (en) * 2018-02-21 2020-12-29 Valyant Al, Inc. Speech-to-text generation using video-speech matching from a primary speaker
US10425781B1 (en) * 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US10425780B1 (en) * 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US10616726B1 (en) 2018-02-22 2020-04-07 Amazon Technologies, Inc. Outputing notifications using device groups
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10762900B2 (en) * 2018-03-07 2020-09-01 Microsoft Technology Licensing, Llc Identification and processing of commands by digital assistants in group device environments
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10679629B2 (en) * 2018-04-09 2020-06-09 Amazon Technologies, Inc. Device arbitration by multiple speech processing systems
EP3557439A1 (en) 2018-04-16 2019-10-23 Tata Consultancy Services Limited Deep learning techniques based multi-purpose conversational agents for processing natural language queries
CN116959420A (zh) * 2018-04-16 2023-10-27 谷歌有限责任公司 自动地确定用于经由自动化助理接口接收的口头话语的语音辨识的语言
CN110390931B (zh) * 2018-04-19 2024-03-08 博西华电器（江苏）有限公司 语音控制方法、服务器及语音交互系统
US11145299B2 (en) * 2018-04-19 2021-10-12 X Development Llc Managing voice interface devices
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10803864B2 (en) * 2018-05-07 2020-10-13 Spotify Ab Voice recognition system for use with a personal media streaming appliance
US11308947B2 (en) 2018-05-07 2022-04-19 Spotify Ab Voice recognition system for use with a personal media streaming appliance
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US11487501B2 (en) * 2018-05-16 2022-11-01 Snap Inc. Device control using audio data
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
JP2019204025A (ja) * 2018-05-24 2019-11-28 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US10762896B1 (en) 2018-06-25 2020-09-01 Amazon Technologies, Inc. Wakeword detection
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
CN110364166B (zh) * 2018-06-28 2022-10-28 腾讯科技（深圳）有限公司 实现语音信号识别的电子设备
US10698582B2 (en) * 2018-06-28 2020-06-30 International Business Machines Corporation Controlling voice input based on proximity of persons
EP3815384A1 (en) * 2018-06-28 2021-05-05 Sonos Inc. Systems and methods for associating playback devices with voice assistant services
KR102025566B1 (ko) * 2018-07-27 2019-09-26 엘지전자 주식회사 인공지능을 이용한 홈어플라이언스 및 음성 인식 서버 시스템과, 이의 제어 방법
KR20230145521A (ko) 2018-08-23 2023-10-17 구글 엘엘씨 멀티-어시스턴트 환경의 특성에 따른 어시스턴트 응답성 규정하기
US11514917B2 (en) 2018-08-27 2022-11-29 Samsung Electronics Co., Ltd. Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
NO20181210A1 (en) * 2018-08-31 2020-03-02 Elliptic Laboratories As Voice assistant
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US10878812B1 (en) * 2018-09-26 2020-12-29 Amazon Technologies, Inc. Determining devices to respond to user requests
US10978062B1 (en) * 2018-09-27 2021-04-13 Amazon Technologies, Inc. Voice-controlled device switching between modes based on speech input
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11508378B2 (en) 2018-10-23 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
KR20200052804A (ko) * 2018-10-23 2020-05-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200045851A (ko) * 2018-10-23 2020-05-06 삼성전자주식회사 음성 인식 서비스를 제공하는 전자 장치 및 시스템
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11195524B2 (en) 2018-10-31 2021-12-07 Walmart Apollo, Llc System and method for contextual search query revision
US11238850B2 (en) 2018-10-31 2022-02-01 Walmart Apollo, Llc Systems and methods for e-commerce API orchestration using natural language interfaces
US11404058B2 (en) 2018-10-31 2022-08-02 Walmart Apollo, Llc System and method for handling multi-turn conversations and context management for voice enabled ecommerce transactions
US11145306B1 (en) * 2018-10-31 2021-10-12 Ossum Technology Inc. Interactive media system using audio inputs
US11183176B2 (en) * 2018-10-31 2021-11-23 Walmart Apollo, Llc Systems and methods for server-less voice applications
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11830485B2 (en) * 2018-12-11 2023-11-28 Amazon Technologies, Inc. Multiple speech processing system with synthesized speech styles
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
DE102018221751A1 (de) * 2018-12-14 2020-06-18 BSH Hausgeräte GmbH System und Verfahren zum Betrieb einer Mehrzahl von elektrischen Geräten
CN111354336B (zh) * 2018-12-20 2023-12-19 美的集团股份有限公司 分布式语音交互方法、装置、系统及家电设备
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
EP3903307A4 (en) * 2018-12-27 2022-09-07 Telepathy Labs, Inc. SYSTEM AND METHOD FOR COMMUNICATION WITH A USER WITH VOICE PROCESSING
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111415657A (zh) * 2019-01-07 2020-07-14 成都启英泰伦科技有限公司 一种去中心化设备、多设备系统及其语音控制方法
US10884933B2 (en) * 2019-01-18 2021-01-05 Silicon Motion Technology (Hong Kong) Limited Method and apparatus for performing pipeline-based accessing management in a storage server
KR102584588B1 (ko) 2019-01-21 2023-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
CN111667843B (zh) * 2019-03-05 2021-12-31 北京京东尚科信息技术有限公司 终端设备的语音唤醒方法、系统、电子设备、存储介质
KR20200109140A (ko) * 2019-03-12 2020-09-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11482215B2 (en) * 2019-03-27 2022-10-25 Samsung Electronics Co., Ltd. Multi-modal interaction with intelligent assistants in voice command devices
CN110136722A (zh) * 2019-04-09 2019-08-16 北京小鸟听听科技有限公司 语音信号处理方法、装置、设备及系统
US11657800B2 (en) 2019-04-26 2023-05-23 Lg Electronics Inc. Electronic device with wakeup word determined multi-mode operation
US11120794B2 (en) * 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
WO2020231181A1 (en) * 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Method and device for providing voice recognition service
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
CN117170620A (zh) 2019-05-31 2023-12-05 苹果公司 用于音频媒体控件的用户界面
US20200380389A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Sentiment and intent analysis for customizing suggestions using user-specific information
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11545148B2 (en) * 2019-06-18 2023-01-03 Roku, Inc. Do not disturb functionality for voice responsive devices
CN110349578A (zh) * 2019-06-21 2019-10-18 北京小米移动软件有限公司 设备唤醒处理方法及装置
CN110347248B (zh) * 2019-06-24 2023-01-24 歌尔科技有限公司 交互处理方法、装置、设备及音频设备
US10841756B1 (en) * 2019-06-27 2020-11-17 Amazon Technologies, Inc. Managing communications sessions based on restrictions and permissions
CN110415694A (zh) * 2019-07-15 2019-11-05 深圳市易汇软件有限公司 一种多台智能音箱协同工作的方法
JP2022544066A (ja) * 2019-07-30 2022-10-17 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチモーダルスマートオーディオデバイスシステムのアテンティブネス表現
JP2022542113A (ja) * 2019-07-30 2022-09-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 複数装置の起動ワード検出
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
EP4004909B1 (en) * 2019-07-31 2024-03-06 Sonos Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
CN110517676A (zh) * 2019-08-21 2019-11-29 Oppo广东移动通信有限公司 一种语音唤醒方法及终端、服务器、存储介质
CN110364161A (zh) * 2019-08-22 2019-10-22 北京小米智能科技有限公司 响应语音信号的方法、电子设备、介质及系统
EP4027334A4 (en) * 2019-09-06 2023-08-16 LG Electronics Inc. INDICATOR
CN110660389A (zh) * 2019-09-11 2020-01-07 北京小米移动软件有限公司 语音响应方法、装置、系统及设备
US11176940B1 (en) * 2019-09-17 2021-11-16 Amazon Technologies, Inc. Relaying availability using a virtual assistant
WO2021060570A1 (ko) * 2019-09-23 2021-04-01 엘지전자 주식회사 가전 기기 및 서버
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
KR102629796B1 (ko) * 2019-10-15 2024-01-26 삼성전자 주식회사 음성 인식의 향상을 지원하는 전자 장치
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN114391165A (zh) * 2019-10-29 2022-04-22 深圳市欢太科技有限公司 语音信息处理方法、装置、设备及存储介质
CN112908318A (zh) * 2019-11-18 2021-06-04 百度在线网络技术（北京）有限公司 智能音箱的唤醒方法、装置、智能音箱及存储介质
KR20210069977A (ko) * 2019-12-04 2021-06-14 엘지전자 주식회사 기기 제어 방법 및 이를 이용한 제어 가능한 장치
US11295741B2 (en) 2019-12-05 2022-04-05 Soundhound, Inc. Dynamic wakewords for speech-enabled devices
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111276139B (zh) * 2020-01-07 2023-09-19 百度在线网络技术（北京）有限公司 语音唤醒方法及装置
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11790902B2 (en) * 2020-02-04 2023-10-17 Amazon Technologies, Inc. Speech-processing system
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN111312240A (zh) * 2020-02-10 2020-06-19 北京达佳互联信息技术有限公司 数据控制方法、装置、电子设备及存储介质
US11626106B1 (en) * 2020-02-25 2023-04-11 Amazon Technologies, Inc. Error attribution in natural language processing systems
US11355112B1 (en) * 2020-03-03 2022-06-07 Amazon Technologies, Inc. Speech-processing system
KR20210130024A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 대화 시스템 및 그 제어 방법
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
KR20210147678A (ko) * 2020-05-29 2021-12-07 엘지전자 주식회사 인공 지능 장치
US11893984B1 (en) * 2020-06-22 2024-02-06 Amazon Technologies, Inc. Speech processing system
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11670293B2 (en) * 2020-09-02 2023-06-06 Google Llc Arbitrating between multiple potentially-responsive electronic devices
CN112201239B (zh) * 2020-09-25 2024-05-24 海尔优家智能科技（北京）有限公司 目标设备的确定方法及装置、存储介质、电子装置
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11798530B2 (en) * 2020-10-30 2023-10-24 Google Llc Simultaneous acoustic event detection across multiple assistant devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11915708B2 (en) * 2021-03-18 2024-02-27 Samsung Electronics Co., Ltd. Methods and systems for invoking a user-intended internet of things (IoT) device from a plurality of IoT devices
US11882415B1 (en) * 2021-05-20 2024-01-23 Amazon Technologies, Inc. System to select audio from multiple connected devices
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
CN115602150A (zh) * 2021-07-07 2023-01-13 艾锐势企业有限责任公司（Us） 能够进行语音控制的电子设备、方法、系统、介质及程序
CN113921016A (zh) * 2021-10-15 2022-01-11 阿波罗智联(北京)科技有限公司 语音处理方法、装置、电子设备以及存储介质
US20230419099A1 (en) * 2022-06-28 2023-12-28 International Business Machines Corporation Dynamic resource allocation method for sensor-based neural networks using shared confidence intervals
WO2024107060A1 (en) 2022-11-18 2024-05-23 Elliptic Laboratories Asa Communication method and system for electronic devices
US11838582B1 (en) * 2022-12-12 2023-12-05 Google Llc Media arbitration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223188A (ja) * 2002-01-29 2003-08-08 Toshiba Corp 音声入力システム、音声入力方法及び音声入力プログラム
US20130073293A1 (en) * 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3770892A (en) * 1972-05-26 1973-11-06 Ibm Connected word recognition system
JPS57124626A (en) * 1981-01-23 1982-08-03 Toshiba Corp Cooker
US4531228A (en) * 1981-10-20 1985-07-23 Nissan Motor Company, Limited Speech recognition system for an automotive vehicle
US4718092A (en) * 1984-03-27 1988-01-05 Exxon Research And Engineering Company Speech recognition activation and deactivation method
GB9223066D0 (en) * 1992-11-04 1992-12-16 Secr Defence Children's speech training aid
JP3363283B2 (ja) * 1995-03-23 2003-01-08 株式会社日立製作所 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JP3522954B2 (ja) * 1996-03-15 2004-04-26 株式会社東芝 マイクロホンアレイ入力型音声認識装置及び方法
CA2216224A1 (en) * 1997-09-19 1999-03-19 Peter R. Stubley Block algorithm for pattern recognition
US6314393B1 (en) * 1999-03-16 2001-11-06 Hughes Electronics Corporation Parallel/pipeline VLSI architecture for a low-delay CELP coder/decoder
US20020193989A1 (en) * 1999-05-21 2002-12-19 Michael Geilhufe Method and apparatus for identifying voice controlled devices
JP2001013994A (ja) 1999-06-30 2001-01-19 Toshiba Corp 複数搭乗者機器用音声制御装置、複数搭乗者機器用音声制御方法及び車両
JP2001075594A (ja) * 1999-08-31 2001-03-23 Pioneer Electronic Corp 音声認識システム
US6453290B1 (en) * 1999-10-04 2002-09-17 Globalenglish Corporation Method and system for network-based speech recognition
US6594630B1 (en) * 1999-11-19 2003-07-15 Voice Signal Technologies, Inc. Voice-activated control for electrical device
US6219645B1 (en) * 1999-12-02 2001-04-17 Lucent Technologies, Inc. Enhanced automatic speech recognition using multiple directional microphones
US6591239B1 (en) * 1999-12-09 2003-07-08 Steris Inc. Voice controlled surgical suite
US6895380B2 (en) * 2000-03-02 2005-05-17 Electro Standards Laboratories Voice actuation with contextual learning for intelligent machine control
US6757362B1 (en) * 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
CN1440628A (zh) * 2000-05-10 2003-09-03 伊利诺伊大学评议会 干扰抑制技术
US6725193B1 (en) * 2000-09-13 2004-04-20 Telefonaktiebolaget Lm Ericsson Cancellation of loudspeaker words in speech recognition
JP3838029B2 (ja) 2000-12-18 2006-10-25 セイコーエプソン株式会社 音声認識を用いた機器制御方法および音声認識を用いた機器制御システム
US6662137B2 (en) * 2000-12-19 2003-12-09 Hewlett-Packard Development Company, L.P. Device location discovery by sound
US7996232B2 (en) * 2001-12-03 2011-08-09 Rodriguez Arturo A Recognition of voice-activated commands
KR100438838B1 (ko) * 2002-01-29 2004-07-05 삼성전자주식회사 대화 포커스 추적 기능을 가진 음성명령 해석장치 및 방법
TW200305854A (en) * 2002-03-27 2003-11-01 Aliphcom Inc Microphone and voice activity detection (VAD) configurations for use with communication system
JP3715584B2 (ja) 2002-03-28 2005-11-09 富士通株式会社 機器制御装置および機器制御方法
US7319959B1 (en) * 2002-05-14 2008-01-15 Audience, Inc. Multi-source phoneme classification for noise-robust automatic speech recognition
US8244536B2 (en) * 2003-08-27 2012-08-14 General Motors Llc Algorithm for intelligent speech recognition
KR100576736B1 (ko) * 2004-08-21 2006-05-03 학교법인 포항공과대학교 시스톨릭 배열 구조를 가지는 미지 신호 분리 장치
JP4847022B2 (ja) * 2005-01-28 2011-12-28 京セラ株式会社 発声内容認識装置
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US9489431B2 (en) * 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
JP4821489B2 (ja) * 2006-08-04 2011-11-24 トヨタ自動車株式会社 ロボット装置及びロボット装置の制御方法
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8625819B2 (en) * 2007-04-13 2014-01-07 Personics Holdings, Inc Method and device for voice operated control
JP5134876B2 (ja) * 2007-07-11 2013-01-30 株式会社日立製作所 音声通信装置及び音声通信方法並びにプログラム
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8407049B2 (en) * 2008-04-23 2013-03-26 Cogi, Inc. Systems and methods for conversation enhancement
US8364481B2 (en) * 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
US8442833B2 (en) * 2009-02-17 2013-05-14 Sony Computer Entertainment Inc. Speech processing with source location estimation using signals from two or more microphones
US8983640B2 (en) * 2009-06-26 2015-03-17 Intel Corporation Controlling audio players using environmental audio analysis
US8510103B2 (en) 2009-10-15 2013-08-13 Paul Angott System and method for voice recognition
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
DE102009051508B4 (de) * 2009-10-30 2020-12-03 Continental Automotive Gmbh Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und -führung
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US20110184740A1 (en) * 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
JP5411807B2 (ja) * 2010-05-25 2014-02-12 日本電信電話株式会社 チャネル統合方法、チャネル統合装置、プログラム
US10726861B2 (en) * 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US8898065B2 (en) * 2011-01-07 2014-11-25 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US9183843B2 (en) * 2011-01-07 2015-11-10 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US20130024196A1 (en) * 2011-07-21 2013-01-24 Nuance Communications, Inc. Systems and methods for using a mobile device to deliver speech with speaker identification
JP5289517B2 (ja) * 2011-07-28 2013-09-11 株式会社半導体理工学研究センター センサネットワークシステムとその通信方法
US9148742B1 (en) * 2011-07-29 2015-09-29 Google Inc. Proximity detection via audio
US8660847B2 (en) * 2011-09-02 2014-02-25 Microsoft Corporation Integrated local and cloud based speech recognition
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
JP5866728B2 (ja) * 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
US20180032997A1 (en) * 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
CN104488025A (zh) * 2012-03-16 2015-04-01 纽昂斯通讯公司 用户专用的自动语音识别
US9117449B2 (en) 2012-04-26 2015-08-25 Nuance Communications, Inc. Embedded system for construction of small footprint speech recognition with user-definable constraints
US9093076B2 (en) * 2012-04-30 2015-07-28 2236008 Ontario Inc. Multipass ASR controlling multiple applications
US9736604B2 (en) * 2012-05-11 2017-08-15 Qualcomm Incorporated Audio user interaction recognition and context refinement
KR20130140423A (ko) * 2012-06-14 2013-12-24 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
US9053708B2 (en) * 2012-07-18 2015-06-09 International Business Machines Corporation System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment
US9384736B2 (en) * 2012-08-21 2016-07-05 Nuance Communications, Inc. Method to provide incremental UI response based on multiple asynchronous evidence about user input
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US8600746B1 (en) * 2012-09-10 2013-12-03 Google Inc. Speech recognition parameter adjustment
US9092415B2 (en) * 2012-09-25 2015-07-28 Rovi Guides, Inc. Systems and methods for automatic program recommendations based on user interactions
US20140095172A1 (en) * 2012-10-01 2014-04-03 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
US20150228274A1 (en) * 2012-10-26 2015-08-13 Nokia Technologies Oy Multi-Device Speech Recognition
US20140278389A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Adjusting Trigger Parameters for Voice Recognition Processing Based on Noise Characteristics
US9477925B2 (en) * 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9704486B2 (en) * 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
US9185199B2 (en) * 2013-03-12 2015-11-10 Google Technology Holdings LLC Method and apparatus for acoustically characterizing an environment in which an electronic device resides
US9196262B2 (en) * 2013-03-14 2015-11-24 Qualcomm Incorporated User sensing system and method for low power voice command activation in wireless communication systems
IL226056A (en) 2013-04-28 2017-06-29 Verint Systems Ltd Keyword Finding Systems and Methods by Adaptive Management of Multiple Template Matching Algorithms
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
JP2015011170A (ja) * 2013-06-28 2015-01-19 株式会社ＡＴＲ−Ｔｒｅｋ ローカルな音声認識を行なう音声認識クライアント装置
US9431014B2 (en) 2013-07-25 2016-08-30 Haier Us Appliance Solutions, Inc. Intelligent placement of appliance response to voice command
US9286897B2 (en) 2013-09-27 2016-03-15 Amazon Technologies, Inc. Speech recognizer with multi-directional decoding
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
US9600474B2 (en) * 2013-11-08 2017-03-21 Google Inc. User interface for realtime language translation
US9698999B2 (en) 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US8719032B1 (en) * 2013-12-11 2014-05-06 Jefferson Audio Video Systems, Inc. Methods for presenting speech blocks from a plurality of audio input data streams to a user in an interface
US9311932B2 (en) * 2014-01-23 2016-04-12 International Business Machines Corporation Adaptive pause detection in speech recognition
US9336767B1 (en) * 2014-03-28 2016-05-10 Amazon Technologies, Inc. Detecting device proximities
KR102146462B1 (ko) 2014-03-31 2020-08-20 삼성전자주식회사 음성 인식 시스템 및 방법
US20150364143A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Method and apparatus for transmitting audio data
US9691385B2 (en) * 2014-06-19 2017-06-27 Nuance Communications, Inc. Methods and apparatus for associating dictation with an electronic record
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US20160044394A1 (en) * 2014-08-07 2016-02-11 Nxp B.V. Low-power environment monitoring and activation triggering for mobile devices through ultrasound echo analysis
US9799330B2 (en) * 2014-08-28 2017-10-24 Knowles Electronics, Llc Multi-sourced noise suppression
US9354687B2 (en) * 2014-09-11 2016-05-31 Nuance Communications, Inc. Methods and apparatus for unsupervised wakeup with time-correlated acoustic events
US9293134B1 (en) * 2014-09-30 2016-03-22 Amazon Technologies, Inc. Source-specific speech interactions
US9693375B2 (en) * 2014-11-24 2017-06-27 Apple Inc. Point-to-point ad hoc voice communication
US9552816B2 (en) * 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
US10567477B2 (en) * 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
JP6739907B2 (ja) 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
US9811376B2 (en) * 2015-06-29 2017-11-07 Amazon Technologies, Inc. Virtual machine instance migration using a triangle approach
US9787819B2 (en) * 2015-09-18 2017-10-10 Microsoft Technology Licensing, Llc Transcription of spoken communications
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
KR20170086814A (ko) 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
US20180122372A1 (en) 2016-10-31 2018-05-03 Soundhound, Inc. Distinguishable open sounds
US10621980B2 (en) 2017-03-21 2020-04-14 Harman International Industries, Inc. Execution of voice commands in a multi-device system
US10902855B2 (en) 2017-05-08 2021-01-26 Motorola Mobility Llc Methods and devices for negotiating performance of control operations with acoustic signals
US10573171B2 (en) 2017-05-23 2020-02-25 Lenovo (Singapore) Pte. Ltd. Method of associating user input with a device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223188A (ja) * 2002-01-29 2003-08-08 Toshiba Corp 音声入力システム、音声入力方法及び音声入力プログラム
US20130073293A1 (en) * 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230141950A (ko) * 2019-02-06 2023-10-10 구글 엘엘씨 클라이언트-컴퓨팅된 콘텐츠 메타데이터에 기반한 음성 질의 QoS
WO2022149693A1 (en) * 2021-01-07 2022-07-14 Samsung Electronics Co., Ltd. Electronic device and method for processing user utterance in the electronic device
US11769503B2 (en) 2021-01-07 2023-09-26 Samsung Electronics Co., Ltd. Electronic device and method for processing user utterance in the electronic device

Also Published As

Publication number Publication date
EP3353677A1 (en) 2018-08-01
US11922095B2 (en) 2024-03-05
US20180210703A1 (en) 2018-07-26
US9875081B2 (en) 2018-01-23
JP2018537700A (ja) 2018-12-20
EP3353677A4 (en) 2019-10-23
CN108351872B (zh) 2021-09-28
JP6671466B2 (ja) 2020-03-25
US20170083285A1 (en) 2017-03-23
JP2020016890A (ja) 2020-01-30
KR102098136B1 (ko) 2020-04-08
CN108351872A (zh) 2018-07-31
WO2017053311A1 (en) 2017-03-30
EP3353677B1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
KR102098136B1 (ko) 응답을 제공하기 위한 디바이스 선택
US11875820B1 (en) Context driven device arbitration
US11289087B2 (en) Context-based device arbitration
US11138977B1 (en) Determining device groups
US11756563B1 (en) Multi-path calculations for device energy levels
US11600291B1 (en) Device selection from audio data
US10643606B2 (en) Pre-wakeword speech processing
US11949818B1 (en) Selecting user device during communications session
JP6314219B2 (ja) 自己生成ウェイク表現の検出
US11551684B1 (en) State detection and responses for electronic devices
US11258671B1 (en) Functionality management for devices
US20230360650A1 (en) Response orchestrator for natural language interface
US11348579B1 (en) Volume initiated communications
US20240071408A1 (en) Acoustic event detection
US11161038B2 (en) Systems and devices for controlling network applications
US12002444B1 (en) Coordinated multi-device noise cancellation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant