KR20180042376A - 응답을 제공하기 위한 디바이스 선택 - Google Patents

응답을 제공하기 위한 디바이스 선택 Download PDF

Info

Publication number
KR20180042376A
KR20180042376A KR1020187008061A KR20187008061A KR20180042376A KR 20180042376 A KR20180042376 A KR 20180042376A KR 1020187008061 A KR1020187008061 A KR 1020187008061A KR 20187008061 A KR20187008061 A KR 20187008061A KR 20180042376 A KR20180042376 A KR 20180042376A
Authority
KR
South Korea
Prior art keywords
device
audio signal
determining
user
utterance
Prior art date
Application number
KR1020187008061A
Other languages
English (en)
Inventor
제임스 데이빗 메이어스
알렌 딘
웨 리우
아린담 만달
다니엘 밀러
샤 사미르 프라빈찬드라
Original Assignee
아마존 테크놀로지스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/860,400 priority Critical patent/US9875081B2/en
Priority to US14/860,400 priority
Application filed by 아마존 테크놀로지스, 인크. filed Critical 아마존 테크놀로지스, 인크.
Priority to PCT/US2016/052688 priority patent/WO2017053311A1/en
Publication of KR20180042376A publication Critical patent/KR20180042376A/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222Barge in, i.e. overridable guidance for interrupting prompts
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Taking into account non-speech caracteristics

Abstract

시스템은 음성으로 사용자와 상호작용하기 위해 다수의 음성 인터페이스 디바이스를 사용할 수 있다. 음성 인터페이스 디바이스들 전부 또는 그 중 일부는 사용자 발언을 검출할 수 있고 발언의 의미 또는 의도를 결정하기 위해 음성 처리를 개시할 수 있다. 음성 처리 내에서, 다수의 음성 인터페이스 디바이스 중 사용자 발언에 응답할 하나의 음성 인터페이스 디바이스를 선택하기 위해 아비트레이션이 채용된다. 아비트레이션은 사용자의 디바이스들에 대한 근접도를 직접 또는 간접적으로 나타내는 메타데이터에 부분적으로 기초할 수 있고, 사용자에 가장 근접한 것으로 여겨지는 디바이스가 사용자 발언에 응답하도록 선택될 수 있다.

Description

응답을 제공하기 위한 디바이스 선택

관련 출원에 대한 상호-참조

본 출원은 2015년 9월 21일에 출원된, 미국 특허 출원 제14/860,400호에 대한 우선권을 주장한다. 이의 전체 내용은 이에 의해 본원에 통합된다.

디바이스들 및 관련 지원 서비스들이 이용가능한 처리 능력이 계속해서 증가함에 따라, 새로운 방법들로 사용자들과 상호작용하는 것이 실현 가능하게 되었다. 특히, 말을 통해 사용자들과 상호작용하는 것이 실현 가능하게 되었다. 개인용 컴퓨터들, 스마트폰들, 태블릿 디바이스들, 미디어 디바이스들, 엔터테인먼트 디바이스들, 산업용 시스템들, 음성 기반 보조기들 등 많은 디바이스는 이제 음성 명령들을 수신하고 이에 응답할 수 있다. 이러한 시스템들을 확대할 때 직면하게 되는 문제들에 대한 기술적 솔루션들이 본원에 설명된다.

첨부한 도면들을 참조하여 상세한 설명이 설명된다. 도면들에서, 참조 부호의 제일 왼쪽의 숫자(들)는 참조 부호가 처음 나오는 도면을 식별한다. 상이한 도면들에서의 동일한 참조 부호들의 사용은 유사하거나 동일한 구성요소들 또는 특징부들을 나타낸다.
도 1은 다수의 음성 인터페이스 디바이스로부터 사용자 발언을 수신하는 예시적인 음성 기반 시스템을 나타내는 블록도이다.
도 2는 다수의 음성 인터페이스 디바이스로부터의 다수의 오디오 신호를 처리하는 예시적인 방법을 예시하는 흐름도이다.
도 3은 수신된 오디오 신호를 처리하기 위해 음성 인터페이스 디바이스들 중 하나에 의해 수행될 수 있는 다른 예시적인 방법을 예시하는 흐름도이다.
도 4는 두 개의 음성 디바이스 사이를 조정하는 예시적인 방법을 예시하는 흐름도이다.
도 5는 음성 서비스에 오디오 신호 및 동반하는 메타데이터를 제공하기 위해 음성 인터페이스 디바이스에 의해 수행될 수 있는 예시적인 방법을 예시하는 흐름도이다.
도 6 내지 도 8은 도 3의 방법에 따라 상이한 음성 인터페이스 디바이스들로부터의 오디오 신호를 처리할 때 상이한 상황들로부터 기인할 수 있는 동작들의 시간 순서들의 예들을 위에서 아래로 도시한다.
도 9는 예시적인 음성 인터페이스 디바이스의 관련 구성요소들을 도시하는 블록도이다.
도 10은 이를테면 본원에 설명된 음성 서비스를 구현하기 위해 부분적으로 사용될 수 있는 예시적인 서버의 관련 구성요소들을 도시하는 블록도이다.

음성 기반 시스템은 사용자로부터 명령들을 수신하고 사용자에게 서비스들을 제공하기 위해 음성에 의해 사용자와 상호작용하도록 구성될 수 있다. 특정 실시예들에서, 시스템은 방, 집, 또는 다른 환경 내에 상이한 위치들에 위치되는 다수의 음성 인터페이스 디바이스를 포함할 수 있다. 각 음성 인터페이스 디바이스는 사용자 음성을 수신하기 위한 마이크로폰을 갖고, 몇몇 실시예에서는 응답 시스템 음성을 플레이하기 위한 통합 또는 관련 라우드스피커와 작동할 수 있다.

각 디바이스의 특정 기능들 및 능력들은 디바이스가 인터넷을 포함하여, 데이터 통신 네트워크를 통해 액세스할 수 있는 네트워크 기반 서비스에 의해 적어도 부분적으로 제공될 수 있다. 특히, 네트워크 기반 서비스는 자동 음성 인식(ASR), 자연 언어 이해(NLU), 응답 생성, 및 문자 음성 변환(TTS) 기능을 포함하여, 디바이스에 음성 처리 및 상호작용 능력들을 제공할 수 있다. 사용자 음성에 의해 표현되는 의도를 결정 시, 네트워크 기반 서비스는 음성 인터페이스 디바이스를 사용하여 기능들을 수행하고/거나 오디오를 생성한다.

특정 실시예들에서, 음성 인터페이스 디바이스는 마이크로폰 및 라우드스피커를 포함할 수 있다. 다른 실시예들에서, 음성 인터페이스 디바이스는 사용자 음성을 수신하기 위한 마이크로폰을 포함할 수 있으며, 응답 시스템 생성 음성은 스피커 디바이스에 의해 제공된다. 그러한 스피커 디바이스는 음성 인터페이스 디바이스의 제어를받을 수 있고 음성 인터페이스 디바이스에 의해 제공되는 오디오를 플레이할 수 있다. 대안적으로, 스피커 디바이스는 네트워크 기반 서비스로부터 응답 음성 오디오를 수신할 수 있다.

다수의 음성 인터페이스 디바이스가 서로 근접하게, 이를테면 하나의 방 내에 또는 인접한 방들에 있는 상황들에서, 음성 인터페이스 디바이스들의 각각은 사용자 발언을 수신할 수 있고 각 디바이스는 독립적으로 그것이 두 개의 별개의 발언인 것처럼 사용자 발언을 처리하고 그것에 응답하려고 시도할 수 있다. 다음 개시 내용은 다른 것들 중에서도, 그러한 중복 작업 및 응답을 회피하기 위한 기술들에 관한 것이다.

설명된 실시예들에서, 각 음성 인터페이스 디바이스는 사용자가 명령을 말하고 있다는 것을 검출하고 구두의 명령을 나타내는 오디오 신호를 네트워크 기반 음성 서비스로 스트리밍한다. 네트워크 기반 음성 서비스는 오디오 신호를 수신하고, 명령에 의해 표현된 의도를 결정하기 위해 ASR 및 NLU를 수행하며, 음성 인터페이스 디바이스들 중 하나에 응답을 제공한다. 예를 들어, 응답은 사용자 명령에 응답하여 음성 인터페이스 디바이스에 의해 소리로 생성되어야 할 단어들을 나타내는 데이터를 생성하는 것을 포함할 수 있다. 다른 예로, 응답은 음성 인터페이스가 음악을 플레이하기 시작하거나 다른 기능을 수행하기 위한 명령을 포함할 수 있다.

집 안 다수의 음성 인터페이스 디바이스로부터 오디오 신호를 수신할 때, 시스템은 사용자 명령에 응답할(예를 들어, 사용자 명령에 응답하여 오디오 응답을 제공하거나 그 외 동작할) 디바이스들 중 하나를 선택한다. 선택은 오디오 신호들과 연관된 메타데이터에 기초하여 이루어질 수 있다. 일례로, 시스템은 사용자의 상이한 음성 인터페이스 디바이스들에의 근접도를 결정하고 사용자에 가장 근접한 음성 인터페이스 디바이스를 선택하려고 시도할 수 있다. 근접도는 시간적 및 물리적 근접도를 포함할 수 있고, 메타데이터 속성들 이를테면 오디오 신호 진폭, 오디오 신호들에서 검출되는 음성 실존도들, 음성 인터페이스 디바이스들에 의해 사용자 음성이 검출된 상대 시간, 및 음성 인터페이스 디바이스들에 의해 생성 또는 제공될 수 있는 다른 속성들에 의해 나타내어질 수 있다. 예를 들어, 제2 음성 인터페이스 디바이스에 관해 제1 음성 인터페이스 디바이스에서의 더 높은 오디오 신호 진폭은 사용자가 제2 음성 인터페이스 디바이스보다 제1 음성 인터페이스 디바이스에 더 근접하다는 것을 나타낼 수 있다. 다른 예로, 먼저 사용자 음성을 검출하거나 인식하는 음성 인터페이스 디바이스는 사용자에 가장 근접한 디바이스일 수 있다.

근접도는 또한 네트워크 기반 음성 서비스에 의해 야기되는 속성들, 이를테면 ASR 및 NLU 신뢰 수준들에 의해 나타내어질 수 있다. 몇몇 경우, 근접도 점수는 많은 속성에 기초하여 생성될 수 있고, 상이한 오디오 신호들에 대응하는 근접도 점수들은 가장 높은 메타데이터 점수를 갖는 오디오 신호를 선택하기 위해 비교될 수 있다.

몇몇 경우, 다수의 음성 처리 디바이스 중 어느 음성 처리 디바이스가 수신된 사용자 음성에 응답할 지에 대한 선택은 명령이 말해진 상황에 기초하여 이루어질 수 있다. 예를 들어, 새롭게 수신된 명령은 특정 음성 인터페이스 디바이스가 응답한 이전 명령과 동일한 대상에 관한 것일 수 있고, 그에 따라 동일한 음성 인터페이스 디바이스가 새롭게 수신된 명령에 응답하도록 선택될 수 있다. 다른 예로, 최근 활성 음성 인터페이스 디바이스가 사용자 명령에 응답하여 동작 또는 음성을 제공하도록 선택될 수 있다. 또 다른 예로, 음성 인터페이스 디바이스들 중 하나의 음성 인터페이스 디바이스가 음성 명령에 대한 적절한 응답을 제공하기 위한 능력들을 가지나, 다른 디바이스들은 그렇지 않은 경우, 능력들을 갖는 해당 디바이스가 응답을 제공하기 위해 선택될 수 있다. 또 다른 예로, 음성 명령은 음성 인터페이스 디바이스들 중 하나가 현재 수행하고 있고, 그에 따라 음성 인터페이스 디바이스가 음성 명령 시 또는 그것에 응답하여 동작하도록 선택될 수 있는 활동에 관한 것일 수 있다. 몇몇 경우, 제1 디바이스가 이전 사용자 명령에 응답하여 활동을 수행하고 있고 제2 디바이스가 해당 활동을 변경하는 새로운 명령을 검출하는 일이 발생할 수 있다. 이 경우, 네트워크 기반 음성 서비스는 새로운 명령이 제1 디바이스의 현재 활동에 관한 것이라고 결정할 수 있고 사용자 명령에 응답하기 위해 제1 디바이스를 선택할 수 있다.

몇몇 실시예에서, 음성 명령을 나타내는 오디오 신호는 제1 음성 인터페이스 디바이스에 의해 제공될 수 있고 제2 음성 인터페이스 디바이스는 명령이 제2 음성 인터페이스 디바이스가 현재 수행하고 있는 활동에 관한 것일 수 있다 하더라도, 음성 명령을 검출 또는 전송하는데 실패할 수 있다. 예를 들어, 제1 디바이스가 명령 "정지"를 수신할 때 제2 디바이스는 음악을 플레이하고 있을 수 있다. 시스템은 제1 디바이스에 의해 수신되는 명령이 제2 디바이스에 의해 수행되고 있는 활동에 관한 것이라고 결정할 수 있고, 응답을 제1 디바이스가 아니라 제2 디바이스에 지시할 수 있다. 이러한 예에서, "정지" 명령은 제2 디바이스에 지시되고, 제2 디바이스는 음악의 플레이백을 정지함으로써 응답한다.

도 1은 구두 명령들에 기초하여 서비스들을 제공하는 예시적인 시스템(100)을 도시한다. 시스템은 다수의 음성 인터페이스 디바이스(102)를 갖는다. 음성 인터페이스 디바이스들(102)은 본원에서 간단하게 디바이스들(102)로서 지칭될 것이다. 논의를 위해, 두 개의 디바이스(102(a) 및 102(b))가 도시되나, 시스템(100)은 두 개보다 많은 디바이스(102)를 포함할 수 있다. 각 디바이스(102)는 음성 및 콘텐츠를 플레이하기 위해 사용되는 하나 이상의 스피커뿐만 아니라 사용자 음성을 캡처하기 위해 사용되는 하나 이상의 마이크로폰을 갖는다. 몇몇 실시예에서, 디바이스들(102)은 고정된 위치에서 작동하도록 설계될 수 있다. 다른 실시예들에서, 디바이스들(102)은 휴대용일 수 있다. 예를 들어, 디바이스들(102)은 핸드헬드 디바이스들 또는 다른 모바일 디바이스들, 이를테면 스마트폰들, 태블릿 컴퓨터들, 미디어 플레이어들, 개인용 컴퓨터들, 웨어러블 디바이스들 다양한 유형의 액세서리 등을 포함할 수 있다.

사용자(104)는 디바이스들(102)을 통해 시스템(100)과 상호작용하는 것으로 도시된다. 디바이스들(102)은 디바이스들(102) 양자가 사용자(104)의 발언을 검출할 수 있도록 서로 충분히 근접하게 위치될 수 있다.

특정 실시예들에서, 음성 인터페이스 디바이스(102)와 사용자 상호작용의 주요 모드는 음성을 통할 수 있다. 예를 들어, 음성 인터페이스 디바이스(102)는 사용자(104)로부터 구두 명령들을 수신하고 명령들에 응답하여 서비스들을 제공할 수 있다. 사용자(104)는 미리 정의된 트리거 표현(예를 들어, "일어나")을 말할 수 있으며, 이 뒤에는 명령들 또는 지시들(예를 들어, "나는 영화를 보러가기 원한다. 나에게 지역 영화관에서 상영하고 있는 것을 말해줘.")이 뒤따를 수 있다. 제공되는 서비스들은 동작들 또는 활동들을 수행하는 것, 미디어를 제공하는 것, 정보를 획득 및/또는 제공하는 것, 음성 인터페이스 디바이스(102)를 통해 생성 또는 합성된 음성을 통해 정보를 제공하는 것, 사용자(104)를 대신하여 인터넷 기반 서비스들을 개시하는 것 등을 포함할 수 있다.

구두 사용자 요청(106)에 대응하는 소리가 디바이스들(102)의 각각에 의해 수신된다. 특정 구현예들에서, 사용자 요청(106)은 후속 사용자 음성이 디바이스들(102) 중 하나에 의해 수신하고 그것에 의거하여 동작되도록 의도된다는 것을 나타내기 위해 사용자(104)가 말하는 기상 단어 또는 다른 트리거 표현으로 말문을 열게 될 수 있다. 디바이스(102)는 기상 단어를 검출하고 후속 사용자 음성이 디바이스(102)에 지시되는 것으로 해석할 수 있다. 기상 단어는 특정 실시예들에서 음성 인터페이스 디바이스(102)에 의해 가까이에서 검출되는 예약 키워드일 수 있다. 키워드 검출 시, 음성 인터페이스 디바이스(102)는 후속 사용자 발언을 검출하고 그것에 응답하기 위해 원격, 네트워크 기반 음성 인식 시스템에 오디오 신호를 제공하기 시작할 수 있다.

특정 구현예들에서, 각 디바이스(102)는 일반적으로 미리 정의된 단어, 구, 또는 다른 소리일 수 있는 기상 단어를 검출하기 위해 디바이스(102)의 마이크로폰에 의해 생성되는 오디오 신호를 분석하는 표현 검출기를 가질 수 있다. 그러한 표현 검출기는 예로서, 키워드 스포팅 기술(spotting technology)을 사용하여 구현될 수 있다. 키워드 스포터는 오디오 신호에서 미리 정의된 단어 또는 표현의 존재를 검출하기 위해 오디오 신호를 평가하는 기능 구성 또는 알고리즘이다. 키워드 스포터는 음성의 단어들의 표기를 생성하는 것이 아니라, 미리 정의된 단어 또는 표현이 오디오 신호에 표현되었는지 여부를 나타내기 위한 참/거짓 출력을 생성한다.

특정 실시예들에서, 오디오 디바이스(102)의 표현 검출기는 오디오 신호에 기상 단어가 표현되는 가능성을 나타내는 점수를 생성하기 위해 오디오 신호를 분석하도록 구성될 수 있다. 그 다음 표현 검출기는 기상 단어가 말해진 것임을 밝힐지 여부를 결정하기 위한 임계치와 점수를 비교한다.

몇몇 경우, 키워드 스포터는 간략화된 ASR(자동 음성 인식) 기술들을 사용할 수 있다. 예를 들어, 표현 검출기는 오디오 신호의 음향 모델링을 수행하고 오디오 신호의 은닉 마르코프 모델(HMM) 모델을 특정 트리거 표현을 훈련함으로써 생성된 하나 이상의 기준 HMM 모델과 비교하는 HMM 인식기를 사용할 수 있다. HMM 모델은 단어를 일련의 상태로 나타낸다. 일반적으로, 오디오 신호의 일부는 그것의 HMM 모델을 트리거 표현의 HMM 모델과 비교함으로써 분석되어, 오디오 신호 모델의 트리거 표현 모델과의 유사도를 나타내는 특징 점수를 산출한다.

실제로, HMM 인식기는 HMM 모델들의 상이한 특징들에 대응하여, 다수의 특징 점수를 산출할 수 있다. 표현 검출기는 HMM 인식기에 의해 산출되는 하나 이상의 특징 점수를 수신하는 서포트 벡터 머신(SVM) 분류기를 사용할 수 있다. SVM 분류기는 오디오 신호가 트리거 표현을 포함하는 가능성을 나타내는 신뢰 점수를 산출한다. 신뢰 점수는 오디오 신호의 특정 부분이 트리거 표현의 발언을 나타내는지 여부에 관해 최종 결정하기 위한 신뢰 임계치와 비교된다. 오디오 신호가 트리거 표현의 발언을 나타낸다고 밝혀질 때, 오디오 디바이스(102)는 후속 사용자 발언을 검출하고 그것에 응답하기 위한 원격, 네트워크 기반 음성 인식 시스템에 오디오 신호를 송신하기 시작한다.

각 디바이스(102)는 사용자 요청(106)을 수신하고 대응하는 오디오 신호(108) 및 관련 메타데이터(110)를 생성한다. 구체적으로, 제1 음성 인터페이스 디바이스(102(a))는 대응하는 오디오 신호(108(a)) 및 관련 메타데이터(110(a))를 생성하고, 제2 음성 인터페이스 디바이스(102(b))는 대응하는 오디오 신호(108(b)) 및 관련 메타데이터(110(b))를 생성한다. 오디오 신호들(108(a) 및 108(b))의 각각은 사용자 요청(106)에 대응하여, 동일한 사용자 음성을 나타낸다.

메타데이터(110)는 사용자(104)의 각각의 디바이스(102)에 관한 근접도를 결정 또는 추론하기 위해 사용될 수 있고 보다 일반적으로는 음성 응답 또는 다른 동작이 디바이스들(102) 중 어느 디바이스에 지시되어야 할지를 결정하기 위해 사용될 수 있는 다양한 정보를 포함할 수 있다. 이러한 환경에서 근접도는 물리접 근접도 및 시간적 근접도 중 어느 하나 또는 양자에 대응할 수 있다. 예를 들어, 제1 메타데이터(110(a))는 제1 음성 인터페이스 디바이스(102(a))에 의해 사용자 음성(106)이 수신된 시간을 나타내는 제1 타임 스탬프를 포함할 수 있고, 제2 메타데이터(110(b))는 제2 음성 인터페이스 디바이스(102(a))에 의해 사용자 음성(106)이 수신된 시간을 나타내는 제2 타임 스탬프를 포함할 수 있다. 메타데이터(110)는 다른 정보 이를테면 오디오 신호(108)의 신호 에너지 및/또는 음성 인터페이스 디바이스(102)에 의해 검출된 바에 따른 오디오 신호(108)에서의 음성 실존도를 포함할 수 있다.

오디오 신호들(108) 및 관련 메타데이터(110)는 분석 및 응답 동작을 위해 음성 서비스(112)에 제공된다. 몇몇 경우, 음성 서비스(112)는 집 또는 많은 상이한 사용자의 다른 부지 내 디바이스들(102)을 지원하는 다수의 서버 컴퓨터에 의해 구현되는 네트워크-액세스가능한 서비스일 수 있다. 디바이스들(102)은 광역 네트워크 이를테면 인터넷을 통해 음성 서비스(112)와 통신할 수 있다. 대안적으로, 디바이스들(102) 중 하나 이상은 음성 서비스(112)를 포함 또는 제공할 수 있다.

음성 서비스(112)는 음성 서비스(112) 자체에 의해 생성될 수 있는 메타데이터(110) 및 다른 메타데이터에 기초하여, 음성 인터페이스 디바이스들(102) 중 어느 음성 인터페이스 디바이스가 사용자 요청(106)을 수신하고 그것에 대한 응답(114)을 수행해야 하는지 결정한다. 이는 음성 인터페이스 디바이스들(102) 중 특정한 음성 인터페이스 디바이스에 말하기 위해 사용자(104)의 예상되는 의도를 반영하는 방법으로 이루어진다. 디바이스들(102) 중 어느 디바이스가 사용자(104)가 사용자 요청(106)에 응답하기 원할 공산이 가장 큰지 결정하기 위한 다양한 기술이 아래에 설명될 것이다.

일반적으로, 음성 서비스(112)는 디바이스들(102)로부터 수신되는 오디오 신호들이 동일한 발언을 나타내는지 여부를 먼저 결정함으로써 작동하며, 이는 디바이스들(102)에 사용자 음성이 수신된 시간들을 비교함으로써 수행될 수 있다. 오디오 신호들이 동일한 발언을 나타내는, 이를테면 디바이스들(102)이 사용자 음성을 수신한 시간들이 서로 시간적으로 아주 근접하게 있는 경우인 것으로 여겨질 수 있는 경우, 디바이스들(102) 중 어느 디바이스가 오디오 신호들에 의해 나타내어지는 사용자 요청에 대한 응답을 제공하기 위해 사용되어야 하는지 결정하기 위해 아비트레이션이 수행된다.

음성 서비스(112)는 각각의 음성 처리 파이프라인 인스턴스들(116(a) 및 116(b))을 사용하여 오디오 신호들(108(a) 및 108(b))을 처리하도록 구성된다. 각 파이프라인 인스턴스(116)는 디바이스들(102) 중 하나에 그리고 파이프라인 인스턴스에 의해 제공되는 신호(108)에 대응한다. 예시된 예에서, 제1 음성 처리 파이프라인 인스턴스(116(a))는 제1 디바이스(102(a))에 그리고 대응하는 제1 오디오 신호(108(a))에 대응한다. 제2 음성 처리 파이프라인 인스턴스(116(b))는 제2 디바이스(102(b))에 그리고 대응하는 제2 오디오 신호(108(b))에 대응한다.

각 음성 처리 파이프라인 인스턴스(116)는 수신된 오디오 신호(108)를 처리하도록 구성된 순서화된 일련의 파이프라인 처리 구성요소를 갖는다. 제1 음성 처리 파이프라인 인스턴스(116(a))는 제1 디바이스(102(a))로부터 수신되는 제1 오디오 신호(108(a)) 및 대응하는 제1 메타데이터(110(a))를 처리한다. 제2 음성 처리 파이프라인 인스턴스(116(b))는 제2 디바이스(102(b))로부터 수신되는 제2 오디오 신호(108(b)) 및 대응하는 제2 메타데이터(110(b))를 수신 및 처리한다. 각 파이프라인 인스턴스(116)는 음성 서비스(112)의 상이한 서버에 의해 구현될 수 있다.

각 음성 처리 파이프라인 인스턴스(116)의 처리 구성요소들은 구두 사용자 요청(106)의 단어들을 결정하기 위해 수신된 오디오 신호(108)를 분석하도록 구성된 자동 음성 인식(ASR) 구성요소(118)를 포함한다. 처리 구성요소들은 또한 파이프라인 인스턴스에서 ASR 구성요소(118) 이후에 위치되는 자연 언어 이해(NLU) 구성요소(120)를 포함한다. NLU 구성요소(120)는 사용자 요청(106)에 의해 표현되는 의도를 결정하기 위해 ASR 구성요소(118)에 의해 생성되는 사용자 요청(106)의 단어들을 분석하도록 구성된다. 처리 구성요소들은 또한 파이프라인 인스턴스에서 NLU 구성요소(120) 이후에 위치되는 응답 디스패처(122)를 포함한다. 응답 디스패처(122)는 NLU 구성요소(120)에 의해 결정되는 의도에 기초하여 사용자 요청(106)의 의도에 대응하는 음성 응답 또는 다른 동작을 결정 및 명시하도록, 그리고 사용자 요청(106)에 응답하여 동작을 수행하기 위해 대응하는 디바이스(102)에 응답을 제공하거나 대응하는 디바이스(102)에 지시하도록 구성된다.

각 파이프라인 인스턴스(116)는 대응하는 디바이스(102)로부터 오디오 신호(108)를 수신하고, 파이프라인 인스턴스가 아래에 설명될 바와 같이 중단되지 않는 한, 동일한 디바이스(102)에 응답(114)을 제공한다. 동작 시, 파이프라인 인스턴스들(116) 중 단지 단일 파이프라인 인스턴스이 그것의 대응하는 디바이스(102)에 응답(114)을 리턴하도록 완료 이전 하나를 제외한 모든 파이프라인 인스턴스(116)가 중단된다.

각 파이프라인 인스턴스(116)의 처리 구성요소들은 파이프라인 인스턴스(116)에서 ASR 구성요소(118) 이전에 위치되는 제1 소스 아비터(124(a)), 파이프라인 인스턴스(116)에서 ASR 구성요소(118) 이후 NLU 구성요소(120) 이전에 위치되는 제2 소스 아비터(124(b)), 및 파이프라인 인스턴스(116)에서 NLU 구성요소(120) 이후 응답 디스패처(122) 이전에 위치되는 제3 소스 아비터(124(c))를 포함한다. 보다 구체적으로, 제1 소스 아비터(124(a))는 그것이 ASR의 개시 이전 시간에 호출되도록, 그리고 제1 소스 아비터(124(a))가 출력을 생성하는 것의 결과로서 ASR 구성요소가 개시되도록 파이프라인 인스턴스(116)에 위치된다. 제2 소스 아비터(124(b))는 그것이 ASR의 완료 뒤 NLU의 개시 이전 시간에 호출되도록 파이프라인 인스턴스(116)에 위치된다. 따라서, 제2 소스 아비터(124(b))는 ASR 구성요소(118)가 출력을 생성하는 것에 기초하여 개시되고 NLU 구성요소(120)는 제2 소스 아비터(124(b))가 출력을 생성하는 것에 기초하여 개시된다. 제3 소스 아비터(124(c))는 그것이 NLU의 완료 뒤 응답 디스패처(122)의 호출 이전 시간에 호출되도록 파이프라인 인스턴스(116)에 위치된다. 따라서, 제3 소스 아비터(124(c))는 NLU 구성요소(120)가 출력을 생성하는 것에 기초하여 개시되고 응답 디스패처(122)가 제3 소스 아비터(124(c))가 출력을 생성하는 것에 기초하여 개시된다.

각 소스 아비터(124)는 하나 이상의 기준이 충족되는지 여부를 결정하도록 구성되되, 기준들은 파이프라인 인스턴스(116)에 대응하는 디바이스(102)가 사용자 요청(106)에 응답을 제공하기 위해 사용되는 디바이스이어야 하는지 또는 그러한 디바이스일 것인지 여부에 관하고 그것을 나타낸다. 기준들은 대응하는 디바이스(102)로부터 수신되는 메타데이터(110)에 적어도 부분적으로 기초할 수 있다. 본원에서의 몇몇 실시예와 관련되어 3개의 아비터가 도시 및 논의되지만, 다른 실시예들은 1개, 2개 또는 그 이상의 아비터 및/또는 소스 아비터(124(a), 124(b) 및/또는 124(c))와 관련되어 논의된 기능의 서브세트와 유사하게 기능하거나 제공하는 다른 디바이스들을 포함할 수 있다.

일례로, 제1 메타데이터(110(a))는 제1 디바이스(102(a))에 의해 사용자 요청(106)이 수신된 시간에 대응하는 제1 타임 스탬프를 포함할 수 있고, 제2 메타데이터(110(b))는 제2 음성 디바이스(102(b))에 의해 사용자 요청(106)이 수신된 시간에 대응하는 제2 타임 스탬프를 포함할 수 있다. 제1 파이프라인 인스턴스(116(a))의 각 아비터(124)는 (a) 제1 타임스탬프 및 제2 타임스탬프 간 차가 임계치 미만이라고 결정하여, 사용자 요청(106)을 나타내는 소리가 동일한 시간 아주 가까이에서 디바이스들(102(a) 및 102(b))의 각각에 의해 수신되었다는 것을 나타내는 것, 그리고 (b) 제1 타임스탬프가 제2 타임스탬프를 초과한다고 결정하여, 제1 디바이스(102(a))가 제2 디바이스(102(b))보다 이후에 사용자 발언을 수신 또는 검출했다는 것을 나타내는 것에 응답하여 파이프라인 인스턴스(116(a))를 중단하도록 구성될 수 있다. 이러한 예들에서 타임스탬프는 말문을 여는 기상 단어가 각각의 디바이스(102)에 의해 검출된 시간에 대응할 수 있다는 것을 주의하자.

다른 예로서, 메타데이터(110)는 하나 이상의 신호 속성을 포함할 수 있다. 예를 들어, 신호 속성은 오디오 신호의 진폭, 오디오 신호의 신호 대 잡음 비, 오디오 신호에서 검출되는 음성 실존도, 오디오 신호에서 기상 단어가 검출된 신뢰 수준, 디바이스(102)로부터의 사용자(104)의 물리적 거리 등을 나타낼 수 있다. 제1 파이프라인 인스턴스(116(a))의 각 아비터(124)는 제1 오디오 신호(108(a))에 관한 속성들을 제2 오디오 신호(108(b))의 대응하는 속성들과 비교하도록 그리고 음의 비교의 결과로서 제1 파이프라인 인스턴스(116(a))를 중단하도록 구성될 수 있다. 예를 들어, 제1 파이프라인 인스턴스(116(a))는 제1 오디오 신호(108(a))가 제2 오디오 신호(108(b))의 진폭보다 낮은 진폭을 갖는 경우 중단될 수 있다. 유사하게, 제1 파이프라인 인스턴스(116(a))는 제1 오디오 신호가 제2 오디오 신호(108(b))보다 낮은 신호 대 잡음 비, 음성 실존감, 기상 단어 검출 신뢰 수준, 또는 사용자 거리을 갖는 경우 중단될 수 있다.

구체적인 예들로서, 제1 및 제2 오디오 디바이스들이 각각 제1 및 제2 오디오 신호들을 제공하는 경우, 제1 및 제2 오디오 디바이스들 중 어느 오디오 디바이스가 사용자 발언에 응답할지 결정하는 것은 다음 중 하나 이상을 포함할 수 있다:

제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 세기 또는 진폭을 갖는지 결정하는 동작;

제1 디바이스 및 제2 디바이스 중 어느 디바이스가 보다 높은 음성 실존도를 감지하는지 또는 제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 음성 실존도를 나타내는지를 결정하는 것;

제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 것;

제1 디바이스 및 제2 디바이스 중 어느 디바이스가 보다 높은 신뢰 수준을 갖는 트리거 표현을 검출하는지 결정하는 것;

1 디바이스 및 제2 디바이스 중 어느 디바이스가 먼저 트리거 표현을 검출하는지 결정하는 것;

제1 디바이스 및 제2 디바이스 중 어느 디바이스가 먼저 트리거 표현을 검출하는지 결정하는 것;

제1 디바이스 및 제2 디바이스 중 어느 디바이스가 특정 성능을 갖는지 결정하는 것;

제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들이 보다 높은 신뢰 수준을 갖고 인식되는지 결정하는 것;

제1 오디오 신호 및 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들에 의해 표현되는 의도가 보다 높은 신뢰 수준을 갖는 것으로 결정되는지 결정하는 것;

제1 디바이스 및 제2 디바이스 중 어느 디바이스가 사용자에 물리적으로 더 근접한지 결정하는 것;

제1 디바이스 및 제2 디바이스 중 어느 디바이스가 발언에 대한 응답을 수신하는지 결정하는 것; 또는

제1 디바이스 및 제2 디바이스 중 어느 디바이스가 발언을 먼저 수신하는지 결정하는 것.

보다 일반적으로, 소스 아비터들(124)의 각각은 파이프라인 인스턴스(116)와 연관된 디바이스(102)가 응답이 제공되어야 할 것이 아니라고 결정 시 그것의 파이프라인 인스턴스(116)를 중단할 수 있다. 처리 파이프라인 인스턴스의 동작이 중단될 때, 중단된 파이프라인 인스턴스는 응답(114)을 대응하는 디바이스(102)에 제공하지 않는다. 중단된 파이프라인 인스턴스는 또한 디바이스(102)가 사용자 요청에 응답을 제공하기 위해 사용되지 않을 것이라는 것을 나타내는 메시지를 디바이스(102)에 제공할 수 있다. 응답 시, 디바이스는 오디오 신호(108)를 음성 서비스(112)에 제공하는 것을 중단할 수 있다. 일례로, 메시지 또는 다른 표시는 디바이스가 청취 모드에 진입하게 하거나 그것을 야기하는 명령을 포함하는 데이터를 포함할 수 있다. 청취 모드는 디바이스가 오디오 신호(108)를 음성 서비스(112)에 전송하고 있지 않는 그리고 디바이스가 기상 단어의 추가 발언을 검출하기 위해 그것의 환경을 모니터링하는 모드이다. 몇몇 경우, 에러 응답이 중단된 파이프라인 인스턴스에 대응하는 디바이스(102)에 리턴될 수 있다. 몇몇 경우, 디바이스는 디바이스가 사용자 요청에 응답하지 않을 것이라는 것을 나타내는 음을 플레이하거나, LED 조명을 야기하거나, 또는 몇몇 다른 동작을 취하도록 지시될 수 있다.

음성 서비스(112)는 많은 상이한 사용자의 집 안의 음성 인터페이스 디바이스들(102)을 지원할 수 있다. 본 설명에서 사용자(104)는 서로 연관되고 총괄적으로 본원에 설명되는 방식으로 핸들링될 디바이스들(102)의 그룹을 나타내는 구성 정보를 제공받았다고 가정된다. 예를 들어, 사용자(104)는 공통적으로 위치되는 그 또는 그녀의 디바이스들(102), 또는 그러한 디바이스들의 세트의 각각을 단일 사용자 또는 가정 계정과 연관되는 것으로 등록할 수 있다. 보다 구체적으로, 사용자는 음성 서비스(112)를 제공하고 많은 상이한 음성 인터페이스 디바이스의 동작들을 지원하는 네트워크 기반 서비스 제공자에 계정을 유지할 수 있다. 계정은 가정의 상이한 구성원들에 대응하여, 다수의 사용자 프로필에 대한 정보를 저장하도록 구성될 수 있다. 각 사용자 프로필은 특정 사용자의 특성들 및 선호도들을 나타낼 수 있다. 사용자 또는 가정은 많은 상이한 유형의 디바이스들을 계정과 연관되는 것으로 등록할 수 있다. 계정은 결제 정보, 구매 정보, 구독, 연락처 정보 등을 저장하도록 구성될 수 있다. 또한 계정은 가정 내 음성 인터페이스 디바이스들에 대한 정보, 이를테면 그것들의 위치들, 그것들의 관련 프로필들 등을 저장하도록 구성될 수 있다.

본원에 설명된 동작들은 이를테면 이러한 방식으로 서로 연관된 디바이스들(102)의 그룹에 대해 수행된다. 뿐만 아니라, 본원에서의 설명은 두 개의 디바이스(102)의 상황에서 주어지지만, 두 개 이상의 디바이스(102) 중 임의의 수가 동일한 방식으로 사용 및 핸들링될 수 있다.

음성 서비스(112)는 인터넷을 통해 유지되고 액세스가능한 하나 이상의 네트워크-액세스가능한 컴퓨팅 플랫폼(이를테면 때때로 "클라우드" 서비스들로 지칭되는)의 부분일 수 있다. 일반적으로, 음성 인터페이스 디바이스(102) 및 음성 서비스(112) 간 통신은 와이파이 네트워크, 블루투스 네트워크, 및 셀룰러 통신 네트워크를 포함하여 다양한 유형의 무선 네트워크를 포함할 수 있는, 근거리 통신망, 광역 통신망, 및/또는 공공 인터넷을 포함하는 다양한 유형의 데이터 통신 네트워크들의 조합을 통해 구현될 수 있다.

도 2는 다수의 음성 인터페이스 디바이스(102)가 동일한 사용자 발언을 처리하고 그것에 응답하려고 시도할 수 있는 환경에서, 발언 이를테면 사용자 요청(106)에 응답을 제공하는 예시적인 방법(200)을 도시한다. 도 2의 동작들은 디바이스들(102)에 대한 지원을 제공하는 네트워크 서비스, 이를테면 도 1에 예시된 음성 서비스(112)의 하나 이상의 음성 처리 파이프라인 인스턴스(116) 및/또는 하나 이상의 서버에 의해 총괄하여 구현될 수 있다.

동작(202)은 제1 디바이스(102(a))에 의해 생성되는 제1 오디오 신호(108(a))를 수신하는 동작을 포함하되, 제1 오디오 신호(108(a))는 제1 사용자 발언을 나타낸다. 동작(202)은 또한 제1 오디오 신호(108(a))와 연관된 제1 메타데이터(110(a))를 수신하는 동작을 포함한다. 도 1의 상황에서, 제1 오디오 신호(108(a)) 및 제1 메타데이터(110(a))는 제1 처리 파이프라인 인스턴스(116(a))에 의해 수신될 수 있다. 메타데이터(110)는 위에서 설명된 바와 같은 다양한 속성을 포함할 수 있으며, 이는 오디오 신호들을 제공하고 있는 디바이스, 및/또는 사용자(104)에 대응하는 오디오 신호들에 관한 것일 수 있다.

동작(204)은 제2 디바이스(102(b))에 의해 생성되는 제2 오디오 신호(108(b))를 수신하는 동작을 포함하되, 제2 오디오 신호(108(b))는 제2 사용자 발언을 나타낸다. 동작(204)은 또한 제2 오디오 신호(108(b))와 연관된 제2 메타데이터(110(b))를 수신하는 동작을 포함한다. 도 1의 상황에서, 제2 오디오 신호(108(b)) 및 제2 메타데이터(110(b))는 제2 처리 파이프라인 인스턴스(116(b))에 의해 수신될 수 있다. 제1 처리 파이프라인 인스턴스(116(a)) 및 제2 처리 파이프라인 인스턴스(116(b))는 음성 서비스(112)의 상이한 서버들에 의해 구현될 수 있다. 즉, 디바이스들(102)의 각각은 음성 서비스(112)의 상이한 서버와 통신하고 그것으로부터의 지원을 수신할 수 있다.

특정 실시예들에서, 제1 메타데이터(110(a))는 사용자 발언이 수신된 제1 시간 또는 사용자 발언에 선행하는 기상 단어가 수신된 제1 시간을 나타내는 제1 타임 스탬프를 포함할 수 있다. 유사하게, 제1 메타데이터(110(b))는 사용자 발언이 수신된 제2 시간 또는 사용자 발언에 선행하는 기상 단어가 수신된 제2 시간을 나타내는 제2 타임 스탬프를 포함할 수 있다.

동작(206)은 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 수신된 제1 및 제2 디바이스들(102(a) 및 102(b))이 동일한 사용자 또는 가정 계정과 연관되는지 여부를 결정하는 동작을 포함한다. 그렇지 않은 경우, 오디오 신호들(108(a) 및 108(b)) 양자를 처리하고 그것들에 응답하는 동작(208)이 수행되되, 디바이스들(102(a) 및 102(b))의 각각은 각각 수신된 그것의 사용자 발언에 응답하여 음성 응답 또는 다른 동작을 제공하기 위해 사용된다.

제1 및 제2 디바이스들(102(a) 및 102(b))이 동일한 사용자 또는 가정 계정과 연관되는 경우, 동작(210)이 수행된다. 디바이스들(102(a) 및 102(b)) 중 어느 하나 또는 양자에 대응하는 처리 파이프라인 인스턴스들 내에서 다수회 수행될 수 있는 동작(210)은 제1 및 제2 오디오 신호들이 동일한 사용자 발언을 나타내는지 여부를 결정하는 동작을 포함한다. 몇몇 실시예에서, 이는 각각, 제1 및 제2 오디오 신호들과 연관된 제1 및 제2 타임 스탬프들을 비교함으로써 결정될 수 있다. 보다 구체적으로, 제1 및 제2 타임 스탬프들 간 차가 계산되고 임계치와 비교될 수 있다. 그 차가 임계치 미만인 경우, 제1 및 제2 오디오 신호들은 동일한 발언을 나타내는 것으로 밝혀진다. 그 차가 임계치를 초과하는 경우, 제1 및 제2 오디오 신호들은 상이한 발언들을 나타내는 것으로 밝혀진다.

또한 동작(210)은 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 동일한 발언을 나타내는지 여부를 결정하기 위해 다른 기준을 사용할 수 있다. 예를 들어, 오디오 신호들은 그것들이 서로 유사한지 여부를 결정하기 위해 서로 비교될 수 있다. 구체적으로, 동작(210)은 제1 및 제2 오디오 신호들(108(a) 및 108(b)) 간 상호-상관도를 계산하는 동작을 포함할 수 있다. 신호들 간에 강한 상관도가 있는 경우, 구체적으로 상호-상관도가 미리 결정된 임계치를 초과하는 경우, 신호들은 동일한 발언을 나타내는 것으로 밝혀진다. 다른 예로서, 제1 및 제2 오디오 신호들(108(a) 및 108(b))에 대한 ASR 결과들이 오디오 신호들이 정합하는 일련의 단어를 나타내는지 결정하기 위해 비교될 수 있다. 두 개의 오디오 신호에 대한 ASR 결과들이 동일하거나 유사한 경우, 두 개의 오디오 신호는 동일한 발언을 나타내는 것으로 여겨질 수 있다. 또 다른 예로서, 제1 및 제2 오디오 신호들(108(a) 및 108(b))에 대한 NLU 결과들이 서로 비교될 수 있다. NLU 결과들이 제1 및 제2 오디오 신호들(108(a) 및 108(b))에 대응하는 음성이 공통 의도를 나타낸다는 것을 나타내는 경우, 두 개의 오디오 신호는 동일한 발언을 나타내는 것으로 여겨질 수 있다.

동작(210)은 설명된 기준들 중 하나보다 많은 기준을 사용할 수 있다. 예를 들어, 오디오 신호들이 동일한 사용자 발언을 나타내는 것으로 밝혀지기 위해 기준 중 둘 이상을 충족하도록 요구될 수 있다. 뿐만 아니라, 미리 결정된 것보다 많은 양에 따라 달라지는 관련 타임 스탬프들을 갖는 신호들은 신호들의 임의의 기타 유사점들, 신호들에 관한 ASR 결과들, 또는 신호들에 관한 NLU 결과들에 관계없이, 두 개의 상이한 사용자 발언을 나타내는 것으로 여겨질 수 있다.

동작(210)이 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 동일한 사용자 발언을 나타내지 않는다고 결정하는 경우, 오디오 신호들 양자를 처리하고 그것들에 응답하는 동작(208)이 수행되되, 디바이스들(102(a) 및 102(b))의 각각은 각각 수신된 그것의 사용자 발언에 응답하여 음성 응답 또는 다른 동작을 제공하기 위해 사용된다.

동작(210)이 제1 및 제2 오디오 신호들(108(a) 및 108(b))이 동일한 사용자 발언을 나타낸다고 결정하는 경우, 디바이스들 중 어느 디바이스가 디바이스들(102(a) 및 102(b)) 양자에 의해 검출 및 제공된 단일 사용자에 응답을 제공할 것인지 결정하기 위해 대응하는 디바이스들(102(a) 및 102(b)) 간을 아비트레이션하는 동작(212)이 수행된다. 동작(212)은 오디오 신호들(108)의 각각에 대한 메타데이터(110)에 의해 나타내어지는 속성들을 비교하는 동작을 포함할 수 있다. 오디오 신호(108)가 가장 강한 속성 집합을 갖는 디바이스가 아비트레이션의 승자로 선택된다.

제1 디바이스(102(a))가 아비트레이션에서 승리한 경우, 제1 오디오 신호(108(a))가 나타내는 사용자 명령에 대한 적절한 응답을 제1 디바이스(102(a))에 의해 생성하는 동작을 포함하여, 제1 오디오 신호(108(a))를 처리하고 그것에 응답하는 동작(214)이 수행된다. 동작(216)은 제2 오디오 신호(108(b))의 처리를 무효화하는 동작 및 그렇지 않았다면 디바이스(102(b))에 의해 주어질 수 있었던 임의의 응답을 포함하여, 그렇지 않았다면 제2 오디오 신호(108(b))에 기초하여 제공될 수 있었던 임의의 응답을 무효화하는 동작을 포함한다. 몇몇 구현예에서, 음성 서비스(112)로부터의 추가 응답을 기다리지 말 것을 디바이스(102(b))에 알리는 메시지가 디바이스(102(b))에 전송된다. 동작들(214 및 216)은 동시에 또는 예시된 것과 다른 순서로 수행될 수 있다는 것을 주의하자. 예를 들어, 동작(216)이 동작(214) 이전에 수행될 수 있다.

제2 디바이스(102(b))가 아비트레이션에서 승리한 경우에는, 제2 오디오 신호(108(b))가 나타내는 사용자 명령에 대한 적절한 응답을 제2 디바이스(102(b))에 의해 생성하는 동작을 포함하여, 제2 오디오 신호(108(b))를 처리하고 그것에 응답하는 동작(218)이 수행된다. 동작(220)은 제2 오디오 신호(108(b))의 처리를 무효화하는 동작 및 그렇지 않았다면 제1 디바이스(102(a))에 의해 주어질 수 있었던 임의의 응답을 포함하여, 그렇지 않았다면 제1 오디오 신호(108(a))에 기초하여 제공될 수 있었던 임의의 응답을 무효화하는 동작을 포함한다. 몇몇 구현예에서, 음성 서비스(112)로부터의 추가 응답을 기다리지 말 것을 디바이스(102(a))에 알리는 메시지가 디바이스(102(a))에 전송될 수 있다. 동작들(218 및 220)은 동시에 또는 예시된 것과 다른 순서로 수행될 수 있다는 것을 주의하자. 예를 들어, 동작(220)이 동작(218) 이전에 수행될 수 있다.

아비트레이션 동작(212)은 각각 제1 및 제2 오디오 신호들(108(a) 및 108(b))과 관련된 하나 이상의 속성을 포함할 수 있는 제1 및 제2 메타데이터(110(a) 및 110(b))에 적어도 부분적으로 기초하여 수행될 수 있다. 메타데이터(110)는 위에서 언급된 타임 스탬프에 더하여, 사용자(104)의 대응하는 디바이스(102)에 관한 근접도를 나타낼 수 있다. 예를 들어, 디바이스(102)는 마이크로폰 어레이의 공간적으로 분리된 마이크로폰 소자들에 의해 생성되는 마이크로폰 신호들에 기초하여 음원 방향 측정(SSL)을 수행하기 위한 능력들을 가질 수 있다. SSL은 사용자(104)의 음성에 대응하여 수신된 소리에 기초하여 사용자(104)의 거리를 결정하기 위해 구현될 수 있다. 아비트레이션 동작(212)은 디바이스들(102(a) 및 102(b)) 중 어느 디바이스가 사용자(104)에 물리적으로 또는 청각적으로 가장 근접한지를 결정하는 동작 및 사용자 요청(106)에 응답을 제공하기 위해 가장 근접한 디바이스를 선택하는 동작을 포함할 수 있다.

대안적으로, 각 디바이스(102)는 사용자의 디바이스에 관한 실제 거리 측정치에 대한 대용으로서 사용될 수 있는 다른 메타데이터를 제공할 수 있다. 예를 들어, 오디오 신호(108)와 연관된 메타데이터(110)는 오디오 신호(108)의 진폭을 포함할 수 있고, 동작(212)은 가장 높은 진폭을 갖는 오디오 신호(108)를 생성하는 디바이스(102)를 선택하는 동작을 포함할 수 있다. 메타데이터(110)는 오디오 신호(108)에서 검출되는 사람 음성 실존도를 나타낼 수 있고, 동작(212)은 검출된 가장 높은 음성 실존도를 갖는 오디오 신호(108)를 생성하는 디바이스(102)를 선택하는 동작을 포함할 수 있다. 유사하게, 메타데이터는 오디오 신호(108)의 신호 대 잡음 비를 나타낼 수 있고, 동작(212)은 가장 높은 신호 대 잡음 비를 갖는 오디오 신호(108)를 제공하는 디바이스(102)를 선택하는 동작을 포함할 수 있다. 다른 예로서, 메타데이터(110)는 디바이스(102)에 의해 기상 단어 또는 다른 트리거 표현이 검출된 신뢰 수준을 포함하거나 나타낼 수 있고, 동작(212)은 가장 높은 신뢰 수준을 갖고 트리거 표현을 검출한 디바이스(102)를 선택하는 동작을 포함할 수 있다. 또 다른 예로서, 메타데이터(110)는 오디오 신호를 제공하고 있는 디바이스(102)에 의해 트리거 표현이 검출된 시간을 나타내는 타임 스탬프를 포함할 수 있고, 동작(212)은 가장 빠른 타임 스탬프와 연관된 오디오 신호를 생성하는 디바이스(102)를 선택하는 동작을 포함할 수 있다.

특정 실시예들에서, 메타데이터는 오디오 신호를 제공한 디바이스의 특별한 능력, 이를테면 모든 디바이스가 갖는 것은 아닌 특화된 능력을 나타낼 수 있고, 동작(212)은 디바이스들(102) 중 사용자 요청(106)에 응답할 수 있는 디바이스를 선택하는 동작을 포함할 수 있다. 예를 들어, 제1 디바이스(102(a))는 비디오를 플레이할 수 있으나 제2 디바이스(102(b))는 그렇지 않다. 비디오를 플레이하기 위한 사용자 요청에 응답하여, 동작(212)은 제2 디바이스(102(b))가 요청된 동작 또는 활동을 지원하지 않기 때문에 제1 디바이스(102(a))를 선택할 수 있다.

메타데이터(110)는 몇몇 경우 사용자 요청(106)에 응답해야 하는 디바이스들(102) 중 하나의 구체적인 사용자 유형을 나타낼 수 있다. 예를 들어, 사용자 요청 그 자체는 구두로 디바이스들(102) 중 하나를 식별할 수 있거나, 사용자는 사전에 디바이스들을 상대적인 우선순위들을 갖도록 구성했을 수 있으며, 그에 따라 디바이스들(102) 중 하나가 사용자 요청들에 응답하기 위해 사용되게 된다. 이 경우 동작(212)은 사용자가 사용자 요청(106)에 응답하도록 지정한 디바이스를 선택하는 동작을 포함할 수 있다.

동작(212)은 다른 예로서, 디바이스들(102) 중 어느 디바이스가 사용자 요청(106)에 대한 응답(114)을 먼저 수신하는지에 부분적으로 기초할 수 있으며, 이에 의해 응답(114)을 먼저 수신하는 디바이스(102)가 응답(114)을 나타내거나 구현하도록 선택되는 한편 다른 디바이스는 그것이 수신하는 응답을 무시 또는 무효화한다.

메타데이터(110)는 대응하는 디바이스(102)가 마지막으로 활성이었던 시간을 나타낼 수 있다. 디바이스(102)는 그것이 음성 응답을 제공하고, 음악을 플레이하고, 알림을 제공하며, 동작을 수행하는 등을 할 때 활성인 것으로 여겨질 수 있다. 이 경우 동작(212)은 최근에 활성이었던 디바이스를 선택하는 동작을 포함할 수 있다.

몇몇 경우, 동작(212)은 새로운 사용자 발언이 디바이스들(102) 중 하나가 응답한 이전 사용자 발언과 관련된 요청이라고 결정하는 동작, 및 새로운 사용자 발언에 응답하기 위해 동일한 디바이스(102)를 선택하는 동작을 포함할 수 있다. 예를 들어, 이전 사용자 발언은 일기 예보에 대한 요청이었을 수 있으며, 이에 대해 제1 디바이스(102(a))가 응답했다. 새로운 사용자 발언은 날씨에 관한 보다 구체적인 요청, 이를테면 5일 예측을 위한 요청일 수 있다. 관련된 이전 요청이 제1 디바이스(102(a))에 의해 응답되었기 때문에, 동작(208)은 또한 관련된 새로운 요청에 응답하기 위해 제1 디바이스(102(a))를 선택할 수 있다.

몇몇 경우, 동작(208)은 사용자 요청(106)이 디바이스들(102) 중 하나에 의해 현재 수행되고 있는 활동과 관련된다고 결정하는 동작 및 요청(106)에 응답하기 위해 동일한 디바이스(102)를 선택하는 동작을 포함할 수 있다. 예를 들어, 제1 디바이스(102(a))는 음악을 플레이하고 있을 수 있고 사용자 요청은 "정지" 명령을 포함할 수 있다. 사용자 요청은 제1 디바이스(102(a))의 현재 활동과 관련된 것으로 해석될 수 있고 그에 따라 제1 디바이스(102(a))는 "정지" 요청에 응답해야 하는 디바이스로 선택된다.

몇몇 구현예에서, 동작(212)은 또한 다른 메타데이터, 이를테면 각 처리 파이프라인 인스턴스(116) 내에서 생성되는 메타데이터에 기초할 수 있다. 예를 들어, 파이프라인 인스턴스(116)의 ASR 구성요소(118)는 ASR 결과들에 대한 ASR 신뢰 점수 또는 신뢰 수준을 산출할 수 있다. 동작(212)은 가장 높은 ASR 신뢰 수준이 산출된 디바이스(102)를 선택하는 동작을 포함할 수 있다. 유사하게, NLU 구성요소(120)는 NLU 결과들에 대한 NLU 신뢰 점수 또는 신뢰 수준을 산출할 수 있다. 동작(212)은 가장 높은 NLU 신뢰 수준이 산출된 디바이스(102)를 선택하는 동작을 포함할 수 있다.

보다 일반적으로, 동작(212)은 다수의 유형의 메타데이터 및 다른 정보를 수반하는 다수의 기준에 기초할 수 있다. 예를 들어, 각 기준은 메타데이터의 특정 항목과 관련될 수 있고, 기준은 각 디바이스(102)마다 복합 메타데이터 점수를 산출하기 위해 가중될 수 있으며, 가장 높은 메타데이터 점수를 갖는 디바이스(102)가 사용자 요청(106)에 응답할 디바이스로 선택될 수 있다.

도 1에 도시된 구현예에 관해, 각 파이프라인 인스턴스(116)는 아비터(124)의 몇몇 인스턴스를 구현하되, 각 아비터 인스턴스(124)는 동작들(210 및 212)과 유사하거나 동일한 동작들을 구현한다. 그러나, 각 파이프라인 인스턴스(116)는 대응하는 하나의 디바이스(102)와 연관되기 때문에, 각 파이프라인 인스턴스(116) 내 아비터들(124)은 단지 처리가 해당 파이프라인 인스턴스 내에서 그리고 대응하는 디바이스(102)에 대해 계속되어야 할지 여부만 결정하고, 다른 어떤 파이프라인 인스턴스들(116) 또는 다른 어떤 디바이스들(102)에 대해서는 어떤 직접 동작도 취하지 않는다. 대안적으로 언급하면, 각 아비터(124)는 상이한 디바이스들(102)과 연관될 수 있는 임의의 다른 파이프라인 인스턴스들(116)의 처리는 중단 또는 무효화하지 않고, 그것이 포함되는 파이프라인 인스턴스의 처리를 중단 또는 무효화하도록 동작할 수 있다.

사용자 요청(106)을 처리하는 상이한 파이프라인 인스턴스들은 통상적으로 서로 동시에 발생되지 않는다. 그에 따라, 파이프라인 인스턴스들(116) 중 하나의 파이프라인 인스턴스가 파이프라인 인스턴스들 중 다른 파이프라인 인스턴스가 개시되기 이전에 그것의 구성요소들 또는 동작들 중 하나 이상을 통해 진행되었을 수 있다. 유사하게, 하나의 사용자 요청(106)을 처리하고 있는 두 개의 파이프라인 인스턴스(116)는 음성 서비스에 의한 오디오 신호(108)의 상이한 도달 시간들에 기인하여 상이한 시간들에 개시되었을 수 있다. 임의의 특정 시간에, 파이프라인 인스턴스들의 각각은 그것의 동작들 중 상이한 동작으로 진행될 수 있다.

단일 음성 인터페이스 디바이스(102)와 연관되는 각 파이프라인 인스턴스(116) 내에서, 아비터(124)는 현재 이용가능한 정보에 기반하여 결정을 계속/중단한다. 몇몇 경우, 그것은 단지 관련 디바이스(102)에 의해 제공된 메타데이터만이 현재 이용가능하다는 것일 수 있다. 다른 경우, 다른 파이프라인 인스턴스들(116)과 연관된, 다른 디바이스들(102)과 연관된 메타데이터가 또한 비교를 위해 이용가능할 수 있다. 메타데이터 이를테면 ASR 및 NLU와 관련된 신뢰 점수들은 각 파이프라인 인스턴스 내 진행에 따라, 임의의 소정의 시간에 이용가능할 수 있거나 그렇지 않을 수 있다.

도 3은 각각 대응하는 음성 인터페이스 디바이스들(102)에 의해 제공되는 다수의 수신된 오디오 신호(108)의 각각에 대하여 수행될 수 있는 일련의 동작을 예시하는, 예시적인 방법(300)을 도시한다. 방법(300)은 도 1의 음성 처리 파이프라인 인스턴스들(116)의 각각에 의해 수행된다. 방법(300)은 대응하는 음성 인터페이스 디바이스(102)로부터 오디오 신호(108)를 수신하는 것에 응답하여 개시된다. 논의를 위해, 방법(300)에 의해 분석되는 오디오 신호는 "대상" 오디오 신호(302)로 지칭될 것이다. 방법(300)의 다른 인스턴스들에 의해 동시에 분석되는 다른 디바이스들(102)에 의해 제공되는 오디오 신호들은 "다른" 오디오 신호들로 지칭될 것이다. 유사하게, 대상 오디오 신호(302)와 연관된 메타데이터가 대상 디바이스 메타데이터(304)로 지칭될 것이다. 오디오 대상 오디오 신호(302)를 제공하는 음성 인터페이스 디바이스(102)는 대상 디바이스로서 지칭될 것이다.

동작(306)은 사용자 발언 이를테면 구두 사용자 요청(106)을 나타내는 대상 오디오 신호(302)를 수신하는 동작을 포함한다. 동작(306)은 또한 대상 디바이스 메타데이터(304)를 수신하는 동작을 포함한다. 대상 디바이스 메타데이터(304)는 도 2의 동작들(210 및 212)을 참조하여 위에서 언급된 바와 같이, 대상 오디오 신호(302)의 속성들 이를테면 신호 세기, 검출된 음성 레벨, 신호 대 잡음 비 등을 포함할 수 있다. 대상 디바이스 메타데이터(304)는 디바이스(102)로부터의 사용자(104)의 물리적 거리, 사용자 발언이 수신되거나 기상 단어가 검출된 시간에 대응하는 타임 스탬프, 구성 정보, 연결 정보 등과 같은 정보를 포함할 수 있다.

대상 오디오 신호(302) 및 대상 디바이스 메타데이터(304)를 수신하는 것에 응답하여 수행되는 동작(308)은 방법(300)의 다수의 인스턴스에 액세스가능한, 이를테면 음성 서비스(112)의 다수의 처리 파이프라인 인스턴스(116) 및 다수의 서버에 액세스가능한 저장 위치에 대상 디바이스 메타데이터(304)를 캐싱하는 동작을 포함한다. 방법(300)의 모든 인스턴스는 각 인스턴스가 다른 인스턴스들에 의해 캐싱되는 메타데이터에 액세스할 수 있도록 데이터를 공통 저장 위치에 캐싱한다.

오디오 신호(302) 및 디바이스 메타데이터(304)를 수신하는 것에 응답하여 또한 수행되는 액션(310(a))은 이중 아비트레이션을 수행하는 동작을 포함한다. 일반적으로, 방법(300)에서 상이한 시점에서 수행되는 유사하거나 동일한 동작들(310(a), 310(b), 및 310(c))은 방법(300)의 다른 인스턴스들에 의해 이전에 캐싱되었던 다른 오디오 신호들의 메타데이터와 비교하여 대상 디바이스 메타데이터(304) 및 대상 오디오 신호(302)와 관련된 다른 메타데이터를 평가하는 동작을 포함한다. 평가는 대상 디바이스 및 다른 디바이스들의 각각 중, 대상 디바이스가 대상 오디오 신호(302)에 의해 나타내어지는 발언에 응답해야 하는지 여부를 결정하기 위해 수행된다. 그렇지 않은 경우, 대상 디바이스에 대응하는 파이프라인 인스턴스를 중단하는 동작(312)이 수행되며, 이는 방법(300)의 어떤 추가 동작도 대상 오디오 신호(302)에 대해 수행되지 않는다는 것을 의미한다. 동작(312)은 또한 파이프라인 인스턴스이 종료되었음을 그리고 대상 디바이스는 대상 오디오 신호(302)에 대한 응답을 기다리지 말아야 함을 대상 디바이스에 알리는 동작을 포함할 수 있다. 몇몇 경우, 동작(312)은 또한 음성 서비스에 대상 오디오 신호(302)를 전송하는 것을 중단할 것을 대상 디바이스에 지시하는 동작을 포함할 수 있다.

도 4는 동작들(310(a), 310(b), 및 310(c))을 구현하기 위해 사용될 수 있는 예시적인 방법(400)을 예시한다. 방법(400)의 동작(402)은 대상 오디오 신호(302)의 대상 디바이스 메타데이터(304)를 획득하는 동작을 포함한다. 그 다음 동작들의 집합(404)이 방법(300)의 인스턴스들이 개시되었던 다른 오디오 신호들의 각각에 대하여 수행된다.

동작들(404)은 하나 이상의 다수의 오디오 신호 중 각 오디오 신호에 대하여 수행되는 프로그램 루프를 포함하되, 용어 "다른 오디오 신호"는 대상 오디오 신호 외 각 다수의 오디오 신호를 지칭하기 위해 사용된다. 각 다른 오디오 신호는 그 자체의 메타데이터 및 다른 오디오 신호를 생성한 대응하는 디바이스(102)와 연관된다. 방법(300)의 인스턴스는 다른 오디오 신호들의 각각에 대해 개시되었거나 개시될 것이다. 프로그램 루프(404)는 다른 오디오 신호들 중 하나의 오디오 신호에 대하여 수행되는 것으로 설명될 것이나, 언급된 바와 같이 중단 결정에 도달되지 않는 한 다른 오디오 신호들의 각각에 대해 반복된다.

동작(406)은 다른 오디오 신호와 연관된 메타데이터, 이를테면 다른 오디오 신호와 연관되는 방법(300)의 인스턴스에 의해 이전에 캐싱되었던 메타데이터를 획득하는 동작을 포함한다. 다른 오디오 신호의 메타데이터는 본원에서 설명된 임의의 메타데이터 또는 정보, 이를테면 디바이스 메타데이터(110) 및 다른 오디오 신호와 연관된 파이프라인 인스턴스(116) 내에서 생성되는 임의의 다른 메타데이터를 포함할 수 있다.

동작(408)은 대상 오디오 신호(302) 및 다른 오디오 신호가 동일한 사용자 발언을 나타내는지 여부를 결정하는 동작을 포함한다. 동작(408)은 도 2의 동작(210)을 참조하여 위에서 설명된 바와 동일한 기술들을 사용하여 수행될 수 있다. 두 개의 오디오 신호가 동일한 사용자 발언을 나타내지 않는 경우, 다른 오디오 신호에 대하여 어떤 추가 동작도 취해지지 않고, 동작들(404)의 집합이 다른 오디오 신호들 중 상이한 오디오 신호에 대하여 블록(410)에 의해 나타내어진 바와 같이 계속된다.

두 개의 오디오 신호가 동일한 사용자 발언을 나타내는 경우, 동작(412)이 수행된다. 동작(412)은 방법(300)의 다른 인스턴스가 그것의 관련 디바이스(102)를 사용자 발언에 응답하는 것에 이미 할당했는지 여부를 결정하는 동작을 포함한다. 그렇다면, 대상 오디오 신호와 연관된 방법(300)의 인스턴스를 중단하는 동작(414)이 수행된다. 방법(300)을 중단하는 것은 대상 오디오 신호(302)에 대하여 어떤 추가 동작도 취해지지 않는다는 것 그리고 응답이 대상 디바이스에 의해 제공되지 않는다는 것을 의미한다. 덧붙여, 루프(404)가 종료된다.

다른 디바이스가 사용자 발언에 응답하는 것에 아직 할당되지 않았을 경우, 하나 이상의 중단 기준이 대상 오디오 신호 및 다른 오디오 신호가 현재 이용가능한 메타데이터에 의해 충족되는지 여부를 결정하는 동작(416)이 수행된다. 중단 기준은 도 2의 동작(210)을 참조하여 위에서 설명된 바와 같이, 대상 오디오 신호 및 다른 오디오 신호의 메타데이터 간 관계들을 포함할 수 있다. 하나 이상의 기준이 충족되는 경우, 대상 오디오 신호(302)와 연관된 방법의 인스턴스를 중단하는 동작(414)이 수행된다. 중단 기준들이 충족되지 않은 경우, 동작들(404)의 집합이 블록(418)에 의해 나타내어진 바와 다른 오디오 신호들 중 상이한 오디오 신호에 대해 반복된다.

도 3으로 돌아가, 동작(310(a))은 중단 또는 계속하는 것 중 어느 하나로 결정된다. 결정이 중단하는 것인 경우, 대상 오디오 신호의 처리가 종료되고 대상 디바이스는 사용자 질의에 응답을 제공하지 않는다. 대상 디바이스는 대상 오디오 신호(302)를 전송하는 것을 멈출 것을 지시받을 수 있다.

동작(310(a))의 결정이 계속하는 것인 경우, 대상 오디오 신호(302)에 관해 자동 음성 인식(ASR)을 수행하는 동작을 포함하는 동작(314)이 수행된다. ASR(314)은 대상 오디오 신호(302)에 의해 나타내어지는 임의의 사용자 음성의 단어들의 텍스트 표현을 생성한다. ASR은 또한 사용자 음성의 단어들이 결정된 신뢰 수준을 나타내는 ASR 신뢰 수준을 산출할 수 있다. 동작(316)은 ASR 신뢰 수준을 오디오 신호(302)와 연관될 ASR 메타데이터로서 캐싱하는 동작을 포함한다.

ASR(314) 이후, 추가 이중 아비트레이션 동작(310(b))이 수행되며, 이는 동작(310(a))과 유사하거나 동일할 수 있다. 동작(310(b))의 결정이 중단하는 것인 경우, 대상 오디오 신호의 처리가 종료되고 대상 디바이스는 사용자 질의에 응답을 제공하지 않는다.

동작(310(b))의 결정이 계속하는 것인 경우, ASR(314)에 의해 생성되는 단어들의 텍스트 표현에 관한 자연 언어 이해(NLU)를 수행하는 동작을 포함하는 동작(318)이 수행된다. 동작(318)은 사용자 음성에 의해 표현되는 가능한 의도를 결정하고 또한 의도가 결정된 신뢰 수준를 나타내는 NLU 신뢰 수준을 산출할 수 있다. 동작(320)은 NLU 신뢰 수준을 오디오 신호(302)와 연관될 NLU 메타데이터로서 캐싱하는 동작을 포함한다.

NLU(318) 이후, 또 다른 이중 아비트레이션 동작(310(c))이 수행되며, 이는 동작들(310(a) 및 310(b))과 유사하거나 동일할 수 있다. 동작(310(c))의 결정이 중단하는 것인 경우, 대상 오디오 신호의 처리가 종료되고 대상 디바이스는 사용자 질의에 응답을 제공하지 않는다.

동작(310(c))의 결정이 계속하는 것인 경우, 대상 디바이스를 사용자 질의에 응답하는 것에 할당하는 동작(322)이 수행된다. 이러한 할당은 대상 오디오 신호의 처리가 대상 오디오 신호에 의해 나타내어지는 의도에 응답하여 동작이 대상 디바이스에 디스패치되려고 하는 시점으로 진행했다는 것, 그리고 다른 오디오 신호들의 처리는 중단되어야 한다는 것을 나타내는 할당 플래그를 캐싱하는 동작(324)을 수행함으로써 알려지게 된다. 방법(300)의 다른 인스턴스들은 그것들이 이중 아비트레이션(310)을 수행할 때 이러한 플래그를 판독할 수 있고, 이러한 플래그의 존재에 기초하여 그것들 자체로 중단할 수 있다. 예를 들어, 도 4의 동작(412)은 이러한 플래그를 검토함으로써 수행될 수 있다.

동작(326)은 동작을 디스패치하는 동작을 포함하며, 이는 대상 디바이스에 응답을 생성 및 제공하는 동작을 포함할 수 있다. 동작(326)은 또한 언어를 생성하는 동작 외에 또는 그것에 더하여 동작들, 이를테면 음악을 플레이하는 동작, 음악 플레이백을 중단하는 동작, 타이머를 시작하는 동작 등을 수행하기 위한 명령들을 대상 디바이스(102)에 제공하는 동작을 포함하여, 다른 동작들을 결정된 사용자 요청에 응답하여 수행하는 동작을 포함할 수 있다.

도 5는 사용자 요청(106)에 대응할 수 있는 검출된 사용자 음성(502)에 응답하여 오디오 신호(108) 및 관련 메타데이터(110)를 음성 서비스(112)에 제공하기 위해 디바이스들(102)의 각각에 의해 구현될 수 있는 예시적인 방법(500)을 예시한다.

동작(504)은 다수의 지향성 오디오 신호를 생성하기 위해 오디오 빔성형을 수행하는 동작을 포함하여, 여기서 각 지향성 오디오 신호들은 디바이스(102)에 관해 상이한 방향으로부터 오는 소리를 강조한다. 동작(504)은 이를테면 마이크로폰들의 쌍을 사용하고 마이크로폰들들 중 하나로부터 소리가 마이크로폰들 간 거리를 이동하기 위한 시간과 동일한 양만큼 신호를 지연시킴으로써, 두 개의 마이크로폰과 정렬되는 음원들을 강조하는 도착 시간 차이(TDOA)를 사용하여 수행될 수 있다. 마이크로폰들의 상이한 쌍들은 각각이 상이한 방향에 대응하는 다수의 오디오 신호를 획득하기 위해 이러한 방식으로 사용될 수 있다.

동작(506)은 지향성 오디오 신호들에서 음성 실존을 검출하기 위해 음성 활성도 검출(VAD)을 수행하는 동작을 포함한다. 지향성 오디오 신호들 중 하나에서 음성 실존을 검출 시, 해당 지향성 오디오 신호에 대하여 후속 동작들이 수행된다. 몇몇 실시예에서, 도 5의 후속 동작들은 가장 높은 음성 실존도를 갖는 지향성 오디오 신호에 대하여 수행된다.

VAD는 오디오 신호의 특징들 이를테면 신호 에너지 및 도수 분포를 평가하기 위해 오디오 신호의 일부를 분석함으로써 오디오 신호 내 음성 실존도를 결정한다. 특징들은 정량화되어 사람의 음성을 포함하는 것으로 알려진 기준 신호들에 대응하는 기준 특징들과 비교된다. 비교는 오디오 신호의 특징들 및 기준 특징들 간 유사도에 대응하는 점수를 산출한다. 점수는 오디오 신호 내 검출되거나 가능한 음성 실존도에 대한 표시로서 사용된다.

동작(508)은 음성 활성도가 검출된 지향성 오디오 신호에 관해 또는 가장 높은 음성 활성도가 검출된 지향성 오디오 신호에 관해 기상 단어 검출을 수행하는 동작을 포함한다. 위에서 언급된 바와 같이, 미리 정의된 단어, 표현, 또는 다른 소리가 사용자가 디바이스(102)에 의해 수신되고 그것에 따라 동작되도록 후속 음성을 의도하는 신호로서 사용될 수 있다.

설명된 실시예에서, 기상 단어 검출은 예로서, 키워드 스포팅 기술을 사용하여 구현될 수 있다. 키워드 스포터는 오디오 신호에서 미리 정의된 단어 또는 표현의 존재를 검출하기 위해 오디오 신호를 평가하는 기능 구성 또는 알고리즘이다. 키워드 스포터는 음성의 단어들의 표기를 생성하는 것이 아니라, 미리 정의된 단어 또는 표현이 오디오 신호에 표현되었는지 여부를 나타내기 위한 참/거짓 출력을 생성한다.

몇몇 경우, 키워드 스포터는 간략화된 ASR(자동 음성 인식) 기술들을 사용할 수 있다. 예를 들어, 기상 단어 검출은 오디오 신호들의 음향 모델링을 수행하고 은닉 마르코프 모델(HMM) 모델을 특정 트리거 표현을 훈련함으로써 생성된 하나 이상의 기준 HMM 모델과 비교하는 HMM 인식기를 사용할 수 있다. HMM 모델은 단어를 일련의 상태로 나타낸다. 일반적으로, 오디오 신호의 일부는 그것의 HMM 모델을 트리거 표현의 HMM 모델과 비교함으로써 분석되어, 오디오 신호 모델의 트리거 표현 모델과의 유사도를 나타내는 특징 점수를 산출한다. 실제로, HMM 인식기는 HMM 모델들의 상이한 특징들에 대응하여, 다수의 특징 점수를 산출할 수 있다.

기상 단어 검출은 또한 HMM 인식기에 의해 산출되는 하나 이상의 특징 점수를 수신하는 서포트 벡터 머신(SVM) 분류기를 사용할 수 있다. SVM 분류기는 오디오 신호가 트리거 표현을 포함하는 가능성을 나타내는 신뢰 점수를 산출한다.

동작(510)은 디바이스(102)로부터의 사용자의 거리를 결정하기 위해 근접도 검출을 수행하는 동작을 포함한다. 근접도 검출은 예로서, 2차원 마이크로폰 어레이와 함께 음원 방향 측정(SSL)을 사용하여 구현될 수 있다. 그러한 SSL 기술들은 수신된 소리가 유래된 위치를 결정하기 위해 마이크로폰 어레이의 각각의 마이크로폰들에 수신된 소리의 도착 시간들의 차들을 분석한다. 대안적으로, 디바이스(102)는 사용자의 디바이스(102)에 관한 위치를 결정하기 위한 카메라들 또는 특화된 센서들을 가질 수 있다.

방법(500)의 동작들 중 임의의 동작은 메타데이터(110)의 항목들을 생성할 수 있다. 예를 들어, VAD(506)는 사람이 디바이스(102) 부근에서 말하고 있을 가능성을 나타내는, 음성 실존도를 산출할 수 있다. VAD(506)는 또한 신호 대 잡음 측정치를 산출할 수 있다. 기상 단어는 사용자(104)가 기상 단어를 말 할 가능성에 대응하는, 기상 단어 신뢰 수준을 산출할 수 있다. 기상 단어 검출(508)은 또한 기상 단어가 검출된 시간을 나타내는 타임 스탬프를 산출할 수 있다. 근접도 검출(512)은 디바이스(102)로부터의 사용자(104)의 거리를 나타내는, 거리 파라미터를 산출할 수 있다.

동작(512)은 음성 서비스(112)에 오디오 신호(108) 및 메타데이터(110)를 전송하는 동작을 포함한다. 오디오 신호(108)는 지향성 오디오 신호들 중 하나, 이를테면 음성이 검출되고 기상 단어가 검출된 지향성 오디오 신호를 포함할 수 있다.

도 6 내지 도 8은 설명된 방법들이 디바이스들(102(a) 및 102(b)) 중 하나 또는 다른 하나가 사용자 요청(106)에 응답하게 할 수 있는지의 예들을 예시한다. 이러한 도면들의 각각에서, 제1 디바이스 및 관련 제1 파이프라인 인스턴스에 의해 수행되는 동작들, 뿐만 아니라 제2 디바이스 및 관련 제2 파이프라인 인스턴스에 의해 수행되는 동작들이 위에서 아래로 순차적인 순서로 도시된 동작들로 도시된다. 중앙의 캐시와의 상호작용들이 또한 예시된다. 각 예는 제1 및 제2 디바이스들에 의해 제공되는 오디오 신호들이 공통 사용자 발언을 나타낸다고 가정한다. 즉, 동작(408)은 설명된 기술들을 사용함으로써 두 개의 오디오 신호가 동일한 사용자 발언을 나타낼 공산이 가장 크다고 결정한다. 몇몇 실시예에서, 이는 오디오 신호들과 연관된 타임 스탬프들의 차가 미리 정의된 임계치보다 작다는 것을 의미할 수 있다. 도 6 내지 도 8에 도시된 이벤트들은 일반적으로 도 3에 도시된 동작들에 대응한다.

도 6은 제1 및 제2 파이프라인 인스턴스들에 의해 오디오 신호들이 거의 동일한 시간에 수신되는 상황을 나타낸다. 이러한 예에서, 제1 디바이스에 의해 제공되는 오디오 신호가 제2 디바이스에 의해 제공되는 오디오 신호보다 높은 메타데이터 점수를 갖는다고 가정된다. 예를 들어, 제1 오디오 신호의 신호 대 잡음 비 또는 신호 진폭이 제2 오디오 신호의 신호 대 잡음 비 또는 신호 진폭보다 높을 수 있다. 오디오 신호들 및 수반하는 메타데이터가 거의 동일한 시간에 수신되기 때문에, 제2 파이프라인 인스턴스에 의해 수행되는 제1 아비트레이션은 제1 오디오 신호와 연관되어 캐싱된 메타데이터에 액세스할 수 있고 제1 오디오 신호가 제2 오디오 신호보다 높은 메타데이터 점수를 갖는다고 결정할 수 있다. 이러한 결정에 기초하여, 제2 파이프라인 인스턴스는 ASR을 개시하기 이전에 그 자체로 중단되고, 선을 그어 지워진 텍스트로 제시되는 동작들을 수행되지 않는다. 더 정확히, 제1 파이프라인 인스턴스는 완료까지 실행되고 제1 디바이스에 응답을 제공한다.

도 7은 제1 파이프라인 인스턴스가 그것의 오디오 신호를 수신하고 한참 후에 제2 파이프라인 인스턴스가 그것의 오디오 신호를 수신하는 상황을 나타낸다. 보다 구체적으로, 제2 파이프라인 인스턴스는 그것의 오디오 신호를 분석하는 제1 파이프라인 인스턴스의 ASR 구성요소에 후속하여 그것의 오디오 신호를 수신한다. 도 7은 또한 제2 디바이스에 의해 제공되는 오디오 신호가 제1 오디오 디바이스에 의해 제공되는 오디오 신호보다 높은 메타데이터 점수를 갖는다고 가정한다. 이러한 경우, 제1 파이프라인 인스턴스에 의해 수행되는 제1 아비트레이션은 제2 오디오 신호가 아직 도착하지 않았기 때문에, 제2 오디오 신호에 관하여 캐싱된 임의의 메타데이터에 액세스할 수 없다. 더 정확히, 제1 파이프라인 인스턴스의 제2 아비트레이션은 제1 파이프라인 인스턴스를 중단하는 시점에 제2 오디오 신호와 연관되어 캐싱된 메타데이터에 액세스할 수 있다. 이러한 예에서 제2 파이프라인 인스턴스는 완료까지 계속되고 제2 디바이스에 응답을 제공한다.

도 8은 제1 파이프라인 인스턴스가 그것의 오디오 신호를 수신하고 한참 후에 제2 파이프라인 인스턴스가 그것의 오디오 신호를 수신하는 상황을 나타낸다. 이러한 경우, 제2 파이프라인 인스턴스는 제1 파이프라인 인스턴스가 사용자 발언에 대응하는 것에 이미 할당된 후 제2 오디오 신호를 수신한다. 이러한 경우, 제2 파이프라인 인스턴스에 의해 수행되는 제1 아비트레이션은 제1 파이프라인 인스턴스가 이미 사용자 발언에 응답하는 것에 할당되었다고 결정하고 제2 오디오 신호가 제1 오디오 신호보다 높은 메타데이터 점수들과 연관되었을 수 있는 경우라 하더라도, ASR을 수행하기 이전에 그 자체로 중단된다.

도 9는 예시적인 음성 인터페이스 디바이스(102)의 관련 구성요소들을 도시한다. 음성 인터페이스 디바이스(102)는 사용자(104)와의 오디오 상호작용들을 용이하게 하는 마이크로폰 어레이(902) 및 하나 이상의 오디오 라우드스피커(904)를 갖는다. 마이크로폰 어레이(902)는 음성 인터페이스 디바이스(102)의 환경으로부터의 오디오를 나타내는 마이크로폰 오디오 신호들 이를테면 사용자(104)에 의해 말해지는 소리들을 생성한다. 마이크로폰 어레이(902)에 의해 생성되는 마이크로폰 오디오 신호들은 지향성 오디오 신호들을 포함할 수 있거나 지향성 오디오 신호들을 생성하기 위해 사용될 수 있으며, 여기서 지향성 오디오 신호들의 각각은 마이크로폰 어레이(902)에 관해 상이한 방사 방향으로부터 오디오를 강조한다.

음성 인터페이스 디바이스(102)가 하나 이상의 내장 라우드스피커(904)를 갖는 것으로 설명되지만, 다른 실시예들에서 음성 인터페이스 디바이스(102)는 라우드스피커를 포함하지 않을 수 있다. 예를 들어, 음성 인터페이스 디바이스(102)는 사용자가 명령들을 지시하기 위해 말하는 마이크로폰 디바이스를 포함할 수 있거나 다른 기기 이를테면 텔레비전에 연결하기 위한 디바이스를 포함할 수 있다. 내장 라우드스피커 대신, 실시예들 이를테면 이는 라우드스피커들 및 상이한 유형들의 전용 라우드스피커 구성요소들을 갖는 다른 음성 인터페이스 디바이스들을 포함하여, 다른 디바이스들의 라우드스피커 성능들을 사용할 수 있다. 일례로, 음성 인터페이스 디바이스(102)는 외부 라우드스피커를 구동하는 오디오 출력 신호를 생성할 수 있다. 다른 예로, 음성 인터페이스 디바이스(102)는 무선 데이터 연결 이를테면 블루투스 연결을 통해 외부 라우드스피커를 구동 또는 제어할 수 있다. 다른 상황들에서, 음성 인터페이스 디바이스(102)는 음성 인터페이스 디바이스(102)로부터가 아니라, 음성 디바이스(102)로부터 오디오 신호들 및 다른 명령들을 수신하는 라우드스피커와 함께 사용될 수 있다. 이러한 경우, 도 1의 응답(114)은 음성 인터페이스 디바이스(102)로가 아니라 이를테면 라우드스피커 디바이스로 제공될 수 있다.

음성 인터페이스 디바이스(102)는 처리 유닛(906) 및 관련 메모리(908)를 포함할 수 있다. 처리 유닛(906)은 하나 이상의 프로세서를 포함할 수 있으며, 이는 범용 프로세서들, 특화된 프로세서들, 프로세싱 코어들, 디지털 신호 프로세서들 등을 포함할 수 있다. 음성 인터페이스 디바이스(102)의 구성에 따라, 메모리(908)는 비-일시적 컴퓨터 저장 매체의 유형일 수 있고 휘발성 및 비휘발성 메모리를 포함할 수 있다. 메모리(908)는 이에 제한되지 않으나, RAM, ROM, EEPROM, 플래시 메모리, 또는 다른 메모리 기술을 포함할 수 있다. 메모리(908)는 착탈가능한 또는 분리가능한 메모리를 포함할 수 있고 또한 네트워크-액세스가능한 메모리를 포함할 수 있다. 메모리(908)는 휴대용 저장 매체 이를테면 플래시 메모리 드라이브를 포함할 수 있다.

메모리(908)는 처리 유닛(906)에 의해 실행가능한 임의의 수의 소프트웨어 구성요소를 저장하기 위해 사용될 수 있다. 메모리(908)에 저장되는 소프트웨어 구성요소들은 음성 인터페이스 디바이스(102) 내 그리고 그것에 접속되는 하드웨어 및 서비스들을 관리하도록 구성되는 운영 체제(910)를 포함할 수 있다. 또한, 메모리(908)에 저장되는 실행가능한 구성요소들은 마이크로폰 어레이(902)를 사용하여 오디오 신호를 생성하도록 구성된 오디오 처리 구성요소들(912)을 포함할 수 있다. 오디오 처리 구성요소들(912)은 마이크로폰 어레이(902)에 의해 생성되는 마이크로폰 오디오 신호들 및/또는 라우드스피커(904)에 제공되는 출력 오디오 신호들을 처리하기 위한 기능을 포함할 수 있다. 일례로, 오디오 처리 구성요소들(912)은 마이크로폰 어레이(902) 및 라우드스피커(904) 간 음향 접속에 의해 생성되는 음향 반향을 감소시키기 위한 음향 반향 소거 또는 저지 구성요소(914)를 포함할 수 있다. 오디오 처리 구성요소들(912)은 또한 사용자 음성 외에 수신된 오디오 신호들, 이를테면 마이크로폰 오디오 신호들의 요소들에서의 잡음을 감소시키기 위한 잡음 감소 구성요소(916)를 포함할 수 있다.

오디오 처리 구성요소들(912)은 상이한 방향들에 집중되는 지향성 오디오 신호들을 생성하도록 구성된 하나 이상의 오디오 빔성형기 또는 빔성형 구성요소(916)를 포함할 수 있다. 보다 구체적으로, 빔성형 구성요소들(916)은 음성 인터페이스 디바이스(102)의 환경의 상이한 영역들로부터 또는 음성 인터페이스 디바이스(102)에 관해 상이한 방향들로부터 유래하는 소리를 강조하는 지향성 오디오 신호들을 생성하기 위해 마이크로폰 어레이(902)의 공간적으로 분리된 마이크로폰 소자들로부터의 오디오 신호들에 응답할 수 있다. 빔성형 구성요소들(916)은 몇몇 경우 아비트레이션에 사용될 수 있는 메타데이터를 생성할 수 있다. 예를 들어, 빔성형 구성요소들(916)은 각 지향성 오디오 신호에 대응하는 음성 활성도의 신호 세기를 나타낼 수 있다.

메모리(908)에 저장되고 프로세서(906)에 의해 실행되는 실행가능한 구성요소들은 트리거 표현의 사용자 발언을 검출하기 위해 지향성 오디오 신호들 중 하나 이상을 모니터링하는 기상 단어 검출 구성요소(920)를 포함할 수 있다. 위에서 설명된 바와 같이, 기상 단어 검출은 예로서, 키워드 스포팅 기술을 사용하여 구현될 수 있다. 기상 단어 검출 구성요소(920)는 기상 단어가 검출된 신뢰도에 대응하여, 메타데이터 이를테면 신뢰 점수 또는 신뢰 수준을 생성할 수 있다.

소프트웨어 구성요소들은 또한 빔성형 구성요소(918)에 의해 생성되는 지향성 오디오 신호들에서의 음성 실존도들을 모니터링하도록 구성된 음성 활성도 검출기(922)를 포함할 수 있다. 음성 실존도들은 위에서 논의된 바와 같이 아비트레이션을 위한 메타데이터로서 사용될 수 있다.

디바이스(102)의 소프트웨어 구성요소들은 또한 디바이스(102)로부터의 사용자(104)의 거리를 결정하기 위해 사용될 수 있는 음원 방향 측정(SSL) 구성요소(924)를 포함할 수 있다. SSL 구성요소(924)는 수신된 소리가 유래된 위치를 결정하기 위해 마이크로폰 어레이(902)의 각각의 마이크로폰들에 수신된 소리의 도착 시간들의 차들을 분석하도록 구성된다. 예를 들어, SSL 구성요소(924)는 음원의 위치 또는 방향을 결정하기 위해 도착 시간 차이(TDOA) 기술들을 사용할 수 있다. 결정된 위치는 위에서 논의된 바와 같이 아비트레이션을 수행하기 위한 메타데이터로 사용될 수 있다.

디바이스(102)는 근접도 검출 구성요소 또는 시스템(926), 이를테면 카메라, 거리 측정 디바이스, 또는 디바이스(102)에 관한 사용자(104)의 위치를 결정하기 위해 사용되는 다른 센서를 가질 수 있다. 다시, 이러한 방식으로 생성되는 위치 정보는 아비트레이션을 위한 메타데이터로 사용될 수 있다.

음성 인터페이스 디바이스(102)는 또한 도시되지 않은 다양한 하드웨어 구성요소, 이를테면 통신 구성요소들, 전력 구성요소들, I/O 구성요소들, 신호 처리 구성요소 표시기들, 제어 버튼들, 증폭기들 등을 갖는다.

음성 인터페이스 디바이스(102)는 광역 통신망, 근거리 통신망, 개인 통신망, 공공 통신망 등을 포함하는, 다양한 유형의 통신망들을 통해 음성 서비스(112)와 통신하기 위해 통신 인터페이스(928) 이를테면 무선 또는 와이파이 통신망 통신 인터페이스, 이더넷 통신 인터페이스, 셀룰러 통신망 통신 인터페이스, 블루투스 통신 인터페이스 등을 가질 수 있다. 무선 통신 인터페이스들의 경우, 그러한 인터페이스들은 라디오 트랜스시버들 및 관련 제어 회로들 및 적절한 통신 프로토콜들을 구현하기 위한 로직을 포함할 수 있다.

도 10은 음성 서비스(112)를 구현하기 위해 사용될 수 있는 서버(1000)의 관련 로직 또는 기능 구성요소들의 예들을 예시한다. 일반적으로, 음성 서비스(112)는 상이한 서버들에 걸쳐 다양한 방식으로 반복 또는 분산되는 다양한 기능을 갖는, 하나 이상의 서버(1000)에 의해 구현될 수 있다. 서버들은 함께 또는 별도로 위치되고, 가상 서버들, 서버 뱅크들, 및/또는 서버 팜들로서 조직될 수 있다. 본원에 설명되는 기능은 단일 독립체 또는 기업의 서버들에 의해 제공될 수 있거나, 또는 다수의 독립체 또는 기업의 서버들 및/또는 서비스들을 이용할 수 있다. 뿐만 아니라, 설명된 음성 서비스들은 본원에 설명되는 기능들 및 서비스들에 제한되지 않는, 다양한 유형의 기능들 및 서비스들을 다수의 사용자에 제공하는 보다 큰 인프라스트럭처의 부분일 수 있다.

아주 기본적인 구성에서, 예시적인 서버(1000)는 처리 유닛(1002) 및 관련 메모리(1004)를 포함할 수 있다. 처리 유닛(1002)은 하나 이상의 프로세서를 포함할 수 있으며, 이는 범용 프로세서들, 특화된 프로세서들, 프로세싱 코어들, 디지털 신호 프로세서들 등을 포함할 수 있다. 서버(1000)의 구성에 따라, 메모리(1004)는 비-일시적 컴퓨터 저장 매체의 유형일 수 있고 휘발성 및 비휘발성 메모리를 포함할 수 있다. 메모리(1004)는 이에 제한되지 않으나, RAM, ROM, EEPROM, 플래시 메모리, 또는 다른 메모리 기술을 포함할 수 있다. 메모리(1004)는 착탈가능한 또는 분리가능한 메모리를 포함할 수 있고 또한 네트워크-액세스가능한 메모리를 포함할 수 있다. 메모리(1004)는 휴대용 저장 매체 이를테면 플래시 메모리 드라이브를 포함할 수 있다.

메모리(1004)는 처리 유닛(1002)에 의해 실행가능한 임의의 수의 소프트웨어 구성요소를 저장하기 위해 사용될 수 있다. 메모리(1004)에 저장되는 소프트웨어 구성요소들은 서버(1000) 내 그리고 그것에 접속되는 하드웨어 및 서비스들을 관리하도록 구성되는 운영 체제(1006)를 포함할 수 있다. 또한, 메모리(1004)에 의해 저장되는 실행가능한 소프트웨어 구성요소들은 음성 인터페이스 디바이스(102)의 음성 기반 동작들을 지원하는 서비스 구성요소들(1008)을 포함할 수 있다. 서버(1000)는 또한 다른 서버들(1000), 다른 네트워킹된 구성요소들, 및 다수의 음성 인터페이스 디바이스(102)와 통신하기 위한 통신 인터페이스(1010), 이를테면 이더넷 통신 어댑터를 가질 수 있으며, 이는 많은 상이한 사용자의 집 또는 다른 부지에 위치될 수 있다.

서비스 구성요소들(1008)의 구성요소들은 오디오 처리 구성요소들(912)에 의해 처리된 하나 이상의 오디오 신호를 수신하고 사용자 음성에 의해 표현된 의도 또는 의미를 이해하기 위해 다양한 유형의 처리를 수행한다. 일반적으로, 음성 구성요소들(1008)은 (a) 사용자 음성을 나타내는 신호를 수신하도록, (b) 사용자 음성을 인식하기 위해 신호를 분석하도록, (c) 사용자 음성의 의미를 결정하기 위해 사용자 음성을 분석하도록, 그리고 (d) 사용자 음성의 의미에 응답하는 출력 음성을 생성하도록 구성된다.

서비스 구성요소들(1008)은 수신된 오디오 신호에서 사람의 음성을 인식하는 자동 음성 인식(ASR) 구성요소(1012)를 포함할 수 있다. ASR 구성요소(1012)는 지향성 오디오 신호들에 나타내어지는 단어들의 표기를 생성한다. 서비스 구성요소들(1008)은 또한 사용자(104)의 인식된 음성에 기초하여 사용자 의도를 결정하도록 구성되는 자연 언어 이해(NLU) 구성요소(1014)를 포함할 수 있다. 예를 들어, NLU 구성요소(1014)는 ASR 구성요소(1012)에 의해 제공되는 단어 흐름을 분석하고 단어 흐름의 의미에 대한 표현을 생성한다. 예를 들어, NLU 구성요소(1014)는 문장을 분석하기 위해 그리고 문장의 의미의 표현을 컴퓨터에 의해 쉽게 처리되는 방식으로 개념을 전하는 공식적으로 정해진 언어로 생성하기 위해 파서 및 관관련 문법 규칙들을 사용할 수 있다. 의미는 슬롯들의 계층적 집합 또는 프레임 및 슬롯 값들로서 의미론적으로 표현될 수 있으며, 여기서 각 슬롯은 의미론적으로 정해진 개념에 대응한다. NLU는 또한 통상적인 언어에서 단어들 간 통계적 종속성에 영향을 주기 위해 훈련 데이터로부터 생성되는 통계적 모델들 및 패턴들을 사용할 수 있다.

서비스 구성요소들(1008)은 라우드스피커(904)에의 생성을 위해 텍스트를 오디오로 변환하는 텍스트-음성 또는 음성 생성 구성요소(1016)에 의해 부분적으로 구현될 수 있다.

서비스 구성요소들(1008)은 또한 NLU 구성요소(1014)에 의해 결정되는 사용자 음성의 의미에 응답하여 사용자(104)와 음성 대화를 수행하는 것에 책임이 있는 대화 관리 구성요소(1018)를 포함할 수 있다. 대화 관리 구성요소(1018)는 사용자 음성의 의미를 분석하고 사용자 음성에 어떻게 응답하는지 결정하기 위해 사용되는 도메인 로직을 포함할 수 있다. 대화 관리 구성요소(1018)는 상이한 정보 또는 토픽 도메인들, 이를테면 뉴스, 교통, 날씨, 해야할 일의 리스트들, 쇼핑 리스트들, 음악, 가정 자동화, 소매 서비스들 등과 관련된 규칙들 및 거동들을 정의할 수 있다. 도메인 로직은 구두 사용자 진술을 각각의 도메인들에 맵핑하고 사용자 발언들에 응답하여 수행할 대화 응답들 및/또는 동작들을 결정하는 것에 책임이 있다.

서비스 구성요소들(1008)은 위에서 설명된 바와 같이 다른 오디오 신호들에 관해 캐싱된 메타데이터에 적어도 부분적으로 기초하여, 사용자 음성을 나타내는 수신된 오디오 신호에 응답이 제공되어야 하는지 여부를 결정하는 아비터 구성요소(1020)를 포함할 수 있다.

서비스 구성요소들(1008)은 음성 처리 파이프라인 인스턴스들(116)을 형성하기 위해 그리고 도 3의 방법(300)을 수행하기 위해 사용될 수 있다.

메모리(1004)는 메타데이터가 상이한 처리 파이프라인 인스턴스들을 구현하는 다수의 서버(1000)에 의해 캐싱될 수 있는 메타데이터 캐시(1024)를 포함할 수 있다. 실제로, 메타데이터 캐시는 서버들(1000)에 의해 구현되는 다수의 음성 처리 파이프라인 인스턴스 및 다수의 서버(1000)에 액세스가능한 저장 서버에 의해 구현될 수 있다.

또한 앞에서의 내용은 다음 조항들을 고려하여 이해될 수 있다.

1. 시스템으로서,

제1 음성 인터페이스 디바이스로부터 제1 오디오 신호를 수신하는 제1 음성 처리 파이프라인 인스턴스로서, 상기 제1 오디오 신호는 음성 발언을 나타내고, 상기 제1 음성 처리 파이프라인 인스턴스는 또한 기상 단어가 상기 제1 음성 인터페이스 디바이스에 의해 검출된 제1 시간을 나타내는 제1 타임 스탬프를 수신하는, 상기 제1 음성 처리 파이프라인 인스턴스;

제2 음성 인터페이스 디바이스로부터 제2 오디오 신호를 수신하는 제2 음성 처리 파이프라인 인스턴스로서, 상기 제2 오디오 신호는 상기 음성 발언을 나타내고, 상기 제2 음성 처리 파이프라인은 또한 상기 기상 단어가 상기 제2 음성 인터페이스 디바이스에 의해 검출된 제2 시간을 나타내는 제2 타임 스탬프를 수신하는, 상기 제2 음성 처리 파이프라인 인스턴스를 포함하며;

상기 제1 음성 처리 파이프라인 인스턴스는:

상기 음성 발언의 단어들을 결정하기 위해 상기 제1 오디오 신호를 분석하도록 구성된 자동 음성 인식(ASR) 구성요소;

상기 제1 음성 처리 파이프라인 인스턴스에서 상기 ASR 구성요소 이후에 위치되는 자연 언어 이해(NLU) 구성요소로서, 상기 음성 발언에 의해 표현되는 의도를 결정하기 위해 상기 음성 발언의 상기 단어들을 분석하도록 구성된, 상기 NLU 구성요소;

상기 제1 음성 처리 파이프라인 인스턴스에서 상기 NLU 구성요소 이후에 위치되는 응답 디스패처로서, 상기 음성 발언에 대한 음성 응답을 명시하도록 구성된, 상기 응답 디스패처;

상기 제1 음성 처리 파이프라인 인스턴스에서 상기 ASR 구성요소 이전에 위치되는 제1 소스 아비터로서, (a) 상기 제1 타임 스탬프 및 상기 제2 타임 스탬프 간 차로 나타내어지는 시간량이 임계치 미만이라고 결정하도록; (b) 상기 제1 타임 스탬프가 상기 제2 타임 스탬프보다 크다고 결정하도록; 그리고 (c) 상기 제1 음성 처리 파이프라인 인스턴스를 중단하도록 구성된, 상기 제1 소스 아비터를 포함하여 일련의 처리 구성요소를 갖는, 시스템.

2. 조항 1에 있어서,

상기 제1 음성 처리 파이프라인 인스턴스는 상기 제1 오디오 신호를 분석한 상기 ASR 구성요소에 후속하여 상기 오디오 신호를 수신하며; 그리고

상기 일련의 처리 구성요소는 상기 제1 음성 처리 파이프라인 인스턴스에서 상기 ASR 구성요소 이후에 위치되는 제2 소스 아비터를 포함하며, 상기 제2 소스 아비터는 (a) 상기 제1 타임 스탬프 및 상기 제2 타임 스탬프 간 상기 차로 나타내어지는 상기 시간량이 임계치 미만이라고 결정하도록; (b) 상기 제1 타임 스탬프가 상기 제2 타임 스탬프보다 크다고 결정하도록; 그리고 (c) 상기 제1 음성 처리 파이프라인 인스턴스를 중단하도록 구성된, 시스템.

3. 조항 1에 있어서, 상기 제1 음성 인터페이스 디바이스가 상기 발언에 응답하지 않을 것이라는 표시를 상기 제1 음성 인터페이스 디바이스에 전송하도록 구성되는, 시스템.

4. 조항 3에 있어서, 상기 표시는 상기 제1 음성 인터페이스 디바이스상기 제1 음성 처리 파이프라인 인스턴스에 상기 제1 오디오 신호를 제공하는 것을 중단하게 하고 상기 제1 음성 인터페이스 디바이스가 상기 기상 단어의 추가 발언을 검출하는 청취 모드에 진입하게 하는 데이터를 포함하는, 시스템.

5. 조항 1에 있어서,

상기 제1 음성 처리 파이프라인 인스턴스는 또한 상기 제1 오디오 신호의 제1 신호 속성을 수신하되, 상기 제1 신호 속성은:

상기 제1 오디오 신호에서 검출되는 음성 실존도;

상기 제1 음성 인터페이스 디바이스에 의해 기상 단어가 검출된 신뢰도;

상기 제1 오디오 신호의 진폭;

상기 제1 오디오 신호의 신호 대 잡음 측정치; 또는

상기 제1 음성 인터페이스 디바이스로부터의 사용자의 거리 중 하나 이상을 나타내고;

상기 제2 음성 처리 파이프라인 인스턴스는 또한 상기 제2 오디오 신호의 제2 신호 속성을 수신하되, 상기 제2 신호 속성은:

상기 제2 오디오 신호에서 검출되는 음성 실존도;

상기 제2 음성 인터페이스 디바이스에 의해 상기 기상 단어가 검출된 신뢰도;

상기 제2 오디오 신호의 진폭;

상기 제2 오디오 신호의 신호 대 잡음 측정치; 또는

상기 제2 음성 인터페이스 디바이스로부터의 상기 사용자의 거리 중 하나 이상을 나타내며; 그리고

상기 제1 소스 아비터는 상기 제1 신호 속성을 상기 제2 신호 속성과 비교하여 (a) 상기 사용자가 상기 제1 사용자 인터페이스 디바이스보다 상기 제2 사용자 인터페이스 디바이스에 더 근접하다고 결정하도록 그리고 (b) 상기 제1 음성 처리 파이프라인 인스턴스를 중단하도록 더 구성되는, 시스템.

6. 방법으로서,

제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 단계;

제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 단계;

상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 단계;

상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계;

상기 제1 오디오 신호와 연관된 하나 이상의 제1 속성을 수신하는 단계;

상기 제2 오디오 신호와 연관된 하나 이상의 제2 속성을 수신하는 단계; 및

상기 하나 이상의 제1 속성 및 상기 하나 이상의 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계를 포함하는, 방법.

7. 조항 6에 있어서, 상기 제1 디바이스에, 상기 제1 디바이스에 의해 생성될 음성을 명시하는 데이터를 전송하는 단계를 더 포함하는, 방법.

8. 조항 7에 있어서, 상기 제2 디바이스에, 상기 제1 디바이스가 청취 모드에 진입하게 하는 명령을 포함하는 데이터를 전송하는 단계를 더 포함하는, 방법.

9. 조항 6에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스 간 연관을 나타내는 구성 정보를 수신하는 단계를 더 포함하는, 방법.

10. 조항 6에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 사용자 계정과 연관된다고 결정하는 단계를 더 포함하는, 방법.

11. 조항 6에 있어서,

상기 하나 이상의 제1 속성을 수신하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간을 수신하는 단계를 포함하고;

상기 하나 이상의 제2 속성을 수신하는 단계는 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간을 수신하는 단계를 포함하며; 그리고

상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계는 상기 제1 시간 및 상기 제2 시간 간 차로 나타내어지는 시간이 임계치 미만이라고 결정하는 단계를 포함하는, 방법.

12. 조항 6에 있어서,

상기 발언의 하나 이상의 단어를 결정하기 위해 상기 제1 오디오 신호에 관해 자동 음성 인식(ASR)을 수행하는 단계;

상기 발언에 의해 표현되는 의도를 결정하기 위해 상기 발언의 상기 하나 이상의 단어에 관해 자연 언어 이해(NLU)를 수행하는 단계를 더 포함하는, 방법.

13. 조항 6에 있어서, 상기 하나 이상의 제1 속성을 수신하는 단계는 상기 제1 디바이스에 관한 사용자의 근접도를 수신하는 단계를 더 포함하는, 방법.

14. 조항 6 중 어느 한 항에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는 다음:

상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 진폭을 갖는지 결정하는 단계;

상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 음성 실존도를 감지하는지 결정하는 단계;

상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 단계;

상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 신뢰 수준을 갖는 트리거 표현을 검출하는지 결정하는 단계;

상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 먼저 상기 트리거 표현을 검출하는지 결정하는 단계;

상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 능력을 갖는지 결정하는 단계;

상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들이 보다 높은 신뢰 수준을 갖고 인식되는지 결정하는 단계; 또는

상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 상기 단어들에 의해 표현되는 의도가 보다 높은 신뢰 수준을 갖는 것으로 결정되는지 결정하는 단계 중 하나 이상을 포함하는, 방법.

15. 조항 6에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간이 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간 이전이라고 결정하는 단계를 포함하는, 방법.

16. 시스템으로서,

하나 이상의 프로세서;

상기 하나 이상의 프로세서 상에서 실행될 때, 상기 하나 이상의 프로세서가 동작들을 수행하게 하는 컴퓨터-실현가능한 명령들을 저장한 하나 이상의 비-일시적 컴퓨터-판독가능한 매체로서, 상기 동작들은:

제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 동작;

제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 동작;

상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 동작;

상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작;

상기 제1 오디오 신호와 연관된 제1 속성을 수신하는 동작;

상기 제2 오디오 신호와 연관된 제2 속성을 수신하는 동작; 및

상기 제1 속성 및 상기 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작을 포함하는, 시스템.

17. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 발언을 수신한 상기 제2 디바이스의 미리 정의된 시간 내에 상기 제1 디바이스가 상기 발언을 수신했다고 결정하는 동작을 포함하는, 시스템.

18. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호 간 상호-상관도를 계산하는 동작을 포함하는, 시스템.

19. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호가 정합하는 일련의 단어를 나타낸다고 결정하는 동작을 포함하는, 시스템.

20. 조항 16에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은:

상기 제1 오디오 신호가 제1 사용자 음성을 나타낸다고 결정하는 동작;

상기 제2 오디오 신호가 제2 사용자 음성을 나타낸다고 결정하는 동작; 및

상기 제1 사용자 음성 및 상기 제2 사용자 음성이 공통 의도에 대응한다고 결정하는 동작을 포함하는, 시스템.

21. 조항 16에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작은 다음:

상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 사용자에 물리적으로 더 근접한지 결정하는 동작;

상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 진폭을 갖는지 결정하는 동작;

상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 동작;

상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 음성 실존도를 나타내는지 결정하는 동작;

상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언에 대한 응답을 수신하는지 결정하는 동작; 및

상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언을 먼저 수신하는지 결정하는 동작 중 하나 이상을 포함하는, 시스템.

주제가 구조적 특징들에 특유한 언어로 설명되었지만, 첨부된 청구범위에 정의된 주제는 반드시 설명된 구체적인 특징들로 제한되는 것은 아니라는 것이 이해되어야 한다. 더 정확하게, 구체적인 특징들은 청구범위를 구현하는 예시적인 형태들로서 개시된다.

Claims (15)

  1. 방법으로서,
    제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 단계;
    제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 단계;
    상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 단계;
    상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계;
    상기 제1 오디오 신호와 연관된 하나 이상의 제1 속성을 수신하는 단계;
    상기 제2 오디오 신호와 연관된 하나 이상의 제2 속성을 수신하는 단계; 및
    상기 하나 이상의 제1 속성 및 상기 하나 이상의 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 제1 디바이스에, 상기 제1 디바이스에 의해 생성될 음성을 명시하는 데이터를 전송하는 단계를 더 포함하는, 방법.
  3. 청구항 2에 있어서,
    상기 제2 디바이스에, 상기 제2 디바이스가 청취 모드에 진입하게 하는 명령을 포함하는 데이터를 전송하는 단계를 더 포함하는, 방법.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서,
    상기 제1 디바이스 및 상기 제2 디바이스 간 연관을 나타내는 구성 정보를 수신하는 단계; 및
    상기 제1 디바이스 및 상기 제2 디바이스가 사용자 계정과 연관된다고 결정하는 단계를 더 포함하는, 방법.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 하나 이상의 제1 속성을 수신하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간을 수신하는 단계를 포함하고;
    상기 하나 이상의 제2 속성을 수신하는 단계는 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간을 수신하는 단계를 포함하며; 그리고
    상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 단계는 상기 제1 시간과 상기 제2 시간의 차로 나타내어지는 시간이 임계치 미만이라고 결정하는 단계를 포함하는, 방법.
  6. 청구항 1 내지 5 중 어느 한 항에 있어서,
    상기 발언의 하나 이상의 단어를 결정하기 위해 상기 제1 오디오 신호에 관해 자동 음성 인식(ASR)을 수행하는 단계; 및
    상기 발언에 의해 표현되는 의도를 결정하기 위해 상기 발언의 상기 하나 이상의 단어에 관해 자연 언어 이해(NLU)를 수행하는 단계를 더 포함하는, 방법.
  7. 청구항 1 내지 6 중 어느 한 항에 있어서, 상기 하나 이상의 제1 속성을 수신하는 단계는 상기 제1 디바이스에 관한 사용자의 근접도를 수신하는 단계를 더 포함하는, 방법.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는:
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 진폭을 갖는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 음성 실존도를 감지하는지 결정하는 단계;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 보다 높은 신뢰 수준을 갖는 트리거 표현을 검출하는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 먼저 상기 트리거 표현을 검출하는지 결정하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 능력을 갖는지 결정하는 단계;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 단어들이 보다 높은 신뢰 수준을 갖고 인식되는지 결정하는 단계; 또는
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호 내에서 상기 단어들에 의해 표현되는 의도가 보다 높은 신뢰 수준을 갖는 것으로 결정되는지 결정하는 단계
    중 하나 이상을 포함하는, 방법.
  9. 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 단계는 상기 발언과 상기 제1 디바이스에 의해 연관되는 제1 시간이 상기 발언과 상기 제2 디바이스에 의해 연관되는 제2 시간 이전이라고 결정하는 단계를 포함하는, 방법.
  10. 시스템으로서,
    하나 이상의 프로세서;
    상기 하나 이상의 프로세서 상에서 실행될 때, 상기 하나 이상의 프로세서가 동작들을 수행하게 하는 컴퓨터-실행가능한 명령어들을 저장한 하나 이상의 비-일시적 컴퓨터-판독가능한 매체 - 상기 동작들은:
    제1 디바이스에 의해 생성되는 제1 오디오 신호를 수신하는 동작;
    제2 디바이스에 의해 생성되는 제2 오디오 신호를 수신하는 동작;
    상기 제1 오디오 신호가 발언을 나타낸다고 결정하는 동작;
    상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작;
    상기 제1 오디오 신호와 연관된 제1 속성을 수신하는 동작;
    상기 제2 오디오 신호와 연관된 제2 속성을 수신하는 동작; 및
    상기 제1 속성 및 상기 제2 속성에 적어도 부분적으로 기초하여, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작을 포함함 -
    를 포함하는, 시스템.
  11. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 발언을 수신한 상기 제2 디바이스의 미리 정의된 시간 내에 상기 제1 디바이스가 상기 발언을 수신했다고 결정하는 동작을 포함하는, 시스템.
  12. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호 간 상호-상관도를 계산하는 동작을 포함하는, 시스템.
  13. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은 상기 제1 오디오 신호 및 상기 제2 오디오 신호가 정합하는 일련의 단어를 나타낸다고 결정하는 동작을 포함하는, 시스템.
  14. 청구항 10에 있어서, 상기 제2 오디오 신호가 상기 발언을 나타낸다고 결정하는 동작은:
    상기 제1 오디오 신호가 제1 사용자 음성을 나타낸다고 결정하는 동작;
    상기 제2 오디오 신호가 제2 사용자 음성을 나타낸다고 결정하는 동작; 및
    상기 제1 사용자 음성 및 상기 제2 사용자 음성이 공통 의도에 대응한다고 결정하는 동작을 포함하는, 시스템.
  15. 청구항 10에 있어서, 상기 제1 디바이스가 상기 발언에 응답할 것이라고 결정하는 동작은:
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 사용자에 물리적으로 더 근접한지 결정하는 동작;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 진폭을 갖는지 결정하는 동작;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 신호 대 잡음 측정치를 갖는지 결정하는 동작;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호 중 어느 오디오 신호가 보다 높은 음성 실존도를 나타내는지 결정하는 동작;
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언에 대한 응답을 먼저 수신하는지 결정하는 동작; 및
    상기 제1 디바이스 및 상기 제2 디바이스 중 어느 디바이스가 상기 발언을 먼저 수신하는지 결정하는 동작
    중 하나 이상을 포함하는, 시스템.
KR1020187008061A 2015-09-21 2016-09-20 응답을 제공하기 위한 디바이스 선택 KR20180042376A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/860,400 US9875081B2 (en) 2015-09-21 2015-09-21 Device selection for providing a response
US14/860,400 2015-09-21
PCT/US2016/052688 WO2017053311A1 (en) 2015-09-21 2016-09-20 Device selection for providing a response

Publications (1)

Publication Number Publication Date
KR20180042376A true KR20180042376A (ko) 2018-04-25

Family

ID=58282770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008061A KR20180042376A (ko) 2015-09-21 2016-09-20 응답을 제공하기 위한 디바이스 선택

Country Status (6)

Country Link
US (2) US9875081B2 (ko)
EP (1) EP3353677A4 (ko)
JP (1) JP2018537700A (ko)
KR (1) KR20180042376A (ko)
CN (1) CN108351872A (ko)
WO (1) WO2017053311A1 (ko)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
KR20150010517A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 통신 방법 및 이를 위한 디바이스
EP3109774A4 (en) * 2014-02-19 2017-11-01 Teijin Limited Information processing device and information processing method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
JP2017117371A (ja) * 2015-12-25 2017-06-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御方法、制御装置およびプログラム
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US10109294B1 (en) * 2016-03-25 2018-10-23 Amazon Technologies, Inc. Adaptive echo cancellation
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10026403B2 (en) * 2016-08-12 2018-07-17 Paypal, Inc. Location based voice association system
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) * 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10332523B2 (en) * 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
US20180197545A1 (en) * 2017-01-11 2018-07-12 Nuance Communications, Inc. Methods and apparatus for hybrid speech recognition processing
WO2018147687A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Method and apparatus for managing voice-based interaction in internet of things network system
US10403276B2 (en) * 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
US10373630B2 (en) * 2017-03-31 2019-08-06 Intel Corporation Systems and methods for energy efficient and low power distributed automatic speech recognition on wearable devices
CN107122179A (zh) * 2017-03-31 2017-09-01 阿里巴巴集团控股有限公司 语音的功能控制方法和装置
US10355931B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
US10176807B2 (en) 2017-04-17 2019-01-08 Essential Products, Inc. Voice setup instructions
US10353480B2 (en) 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10482874B2 (en) * 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180342244A1 (en) * 2017-05-24 2018-11-29 Harman International Industries, Incorporated Coordination among multiple voice recognition devices
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
US10482904B1 (en) 2017-08-15 2019-11-19 Amazon Technologies, Inc. Context driven device arbitration
US10497370B2 (en) 2017-08-18 2019-12-03 2236008 Ontario Inc. Recognition module affinity
US20190066670A1 (en) * 2017-08-30 2019-02-28 Amazon Technologies, Inc. Context-based device arbitration
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
KR20190041710A (ko) * 2017-10-13 2019-04-23 현대자동차주식회사 음성 인식 기반의 자동차 제어 방법
US10152966B1 (en) * 2017-10-31 2018-12-11 Comcast Cable Communications, Llc Preventing unwanted activation of a hands free device
US10482878B2 (en) * 2017-11-29 2019-11-19 Nuance Communications, Inc. System and method for speech enhancement in multisource environments
US10510340B1 (en) * 2017-12-05 2019-12-17 Amazon Technologies, Inc. Dynamic wakeword detection
US10374816B1 (en) * 2017-12-13 2019-08-06 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
US10425781B1 (en) * 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US10425780B1 (en) * 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US20190311720A1 (en) * 2018-04-09 2019-10-10 Amazon Technologies, Inc. Device arbitration by multiple speech processing systems
US20190325865A1 (en) * 2018-04-19 2019-10-24 X Development Llc Managing voice interface devices
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3770892A (en) * 1972-05-26 1973-11-06 Ibm Connected word recognition system
US4531228A (en) * 1981-10-20 1985-07-23 Nissan Motor Company, Limited Speech recognition system for an automotive vehicle
US4718092A (en) * 1984-03-27 1988-01-05 Exxon Research And Engineering Company Speech recognition activation and deactivation method
GB9223066D0 (en) * 1992-11-04 1992-12-16 Secr Defence Children's speech training aid
JP3363283B2 (ja) * 1995-03-23 2003-01-08 株式会社日立製作所 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JP3522954B2 (ja) * 1996-03-15 2004-04-26 株式会社東芝 マイクロホンアレイ入力型音声認識装置及び方法
CA2216224A1 (en) * 1997-09-19 1999-03-19 Peter R. Stubley Block algorithm for pattern recognition
US6314393B1 (en) * 1999-03-16 2001-11-06 Hughes Electronics Corporation Parallel/pipeline VLSI architecture for a low-delay CELP coder/decoder
US20020193989A1 (en) * 1999-05-21 2002-12-19 Michael Geilhufe Method and apparatus for identifying voice controlled devices
US6453290B1 (en) * 1999-10-04 2002-09-17 Globalenglish Corporation Method and system for network-based speech recognition
US6594630B1 (en) * 1999-11-19 2003-07-15 Voice Signal Technologies, Inc. Voice-activated control for electrical device
US6219645B1 (en) * 1999-12-02 2001-04-17 Lucent Technologies, Inc. Enhanced automatic speech recognition using multiple directional microphones
US6591239B1 (en) * 1999-12-09 2003-07-08 Steris Inc. Voice controlled surgical suite
US6895380B2 (en) * 2000-03-02 2005-05-17 Electro Standards Laboratories Voice actuation with contextual learning for intelligent machine control
DE60125553T2 (de) * 2000-05-10 2007-10-04 The Board Of Trustees For The University Of Illinois, Urbana Verfahren zur interferenzunterdrückung
US6725193B1 (en) * 2000-09-13 2004-04-20 Telefonaktiebolaget Lm Ericsson Cancellation of loudspeaker words in speech recognition
US6662137B2 (en) * 2000-12-19 2003-12-09 Hewlett-Packard Development Company, L.P. Device location discovery by sound
US7996232B2 (en) * 2001-12-03 2011-08-09 Rodriguez Arturo A Recognition of voice-activated commands
US7319959B1 (en) * 2002-05-14 2008-01-15 Audience, Inc. Multi-source phoneme classification for noise-robust automatic speech recognition
US8244536B2 (en) * 2003-08-27 2012-08-14 General Motors Llc Algorithm for intelligent speech recognition
KR100576736B1 (ko) * 2004-08-21 2006-05-03 학교법인 포항공과대학교 시스톨릭 배열 구조를 가지는 미지 신호 분리 장치
JP4847022B2 (ja) * 2005-01-28 2011-12-28 京セラ株式会社 発声内容認識装置
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8625819B2 (en) * 2007-04-13 2014-01-07 Personics Holdings, Inc Method and device for voice operated control
JP5134876B2 (ja) * 2007-07-11 2013-01-30 株式会社日立製作所 音声通信装置及び音声通信方法並びにプログラム
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US8407049B2 (en) * 2008-04-23 2013-03-26 Cogi, Inc. Systems and methods for conversation enhancement
US8364481B2 (en) * 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
US8442833B2 (en) * 2009-02-17 2013-05-14 Sony Computer Entertainment Inc. Speech processing with source location estimation using signals from two or more microphones
US8983640B2 (en) * 2009-06-26 2015-03-17 Intel Corporation Controlling audio players using environmental audio analysis
US8510103B2 (en) 2009-10-15 2013-08-13 Paul Angott System and method for voice recognition
DE102009051508A1 (de) * 2009-10-30 2011-05-05 Continental Automotive Gmbh Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und/oder -führung
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US20110184740A1 (en) * 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
US20120120218A1 (en) * 2010-11-15 2012-05-17 Flaks Jason S Semi-private communication in open environments
US9953653B2 (en) * 2011-01-07 2018-04-24 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US9183843B2 (en) * 2011-01-07 2015-11-10 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US20130024196A1 (en) * 2011-07-21 2013-01-24 Nuance Communications, Inc. Systems and methods for using a mobile device to deliver speech with speaker identification
JP5289517B2 (ja) * 2011-07-28 2013-09-11 株式会社半導体理工学研究センター センサネットワークシステムとその通信方法
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
JP5866728B2 (ja) * 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
JP2015513704A (ja) * 2012-03-16 2015-05-14 ニュアンス コミュニケーションズ, インコーポレイテッド ユーザ専用自動発話認識
US9093076B2 (en) * 2012-04-30 2015-07-28 2236008 Ontario Inc. Multipass ASR controlling multiple applications
US20130304476A1 (en) * 2012-05-11 2013-11-14 Qualcomm Incorporated Audio User Interaction Recognition and Context Refinement
US9384736B2 (en) * 2012-08-21 2016-07-05 Nuance Communications, Inc. Method to provide incremental UI response based on multiple asynchronous evidence about user input
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US8600746B1 (en) * 2012-09-10 2013-12-03 Google Inc. Speech recognition parameter adjustment
US9092415B2 (en) * 2012-09-25 2015-07-28 Rovi Guides, Inc. Systems and methods for automatic program recommendations based on user interactions
US20140095172A1 (en) * 2012-10-01 2014-04-03 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
US20150228274A1 (en) * 2012-10-26 2015-08-13 Nokia Technologies Oy Multi-Device Speech Recognition
US9477925B2 (en) * 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9185199B2 (en) * 2013-03-12 2015-11-10 Google Technology Holdings LLC Method and apparatus for acoustically characterizing an environment in which an electronic device resides
US20140278389A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Adjusting Trigger Parameters for Voice Recognition Processing Based on Noise Characteristics
US9196262B2 (en) * 2013-03-14 2015-11-24 Qualcomm Incorporated User sensing system and method for low power voice command activation in wireless communication systems
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
US9431014B2 (en) 2013-07-25 2016-08-30 Haier Us Appliance Solutions, Inc. Intelligent placement of appliance response to voice command
US9286897B2 (en) 2013-09-27 2016-03-15 Amazon Technologies, Inc. Speech recognizer with multi-directional decoding
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
US9698999B2 (en) 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US9311932B2 (en) * 2014-01-23 2016-04-12 International Business Machines Corporation Adaptive pause detection in speech recognition
US9336767B1 (en) * 2014-03-28 2016-05-10 Amazon Technologies, Inc. Detecting device proximities
US9691385B2 (en) * 2014-06-19 2017-06-27 Nuance Communications, Inc. Methods and apparatus for associating dictation with an electronic record
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9799330B2 (en) * 2014-08-28 2017-10-24 Knowles Electronics, Llc Multi-sourced noise suppression
US9354687B2 (en) * 2014-09-11 2016-05-31 Nuance Communications, Inc. Methods and apparatus for unsupervised wakeup with time-correlated acoustic events
US9293134B1 (en) * 2014-09-30 2016-03-22 Amazon Technologies, Inc. Source-specific speech interactions
US9693375B2 (en) * 2014-11-24 2017-06-27 Apple Inc. Point-to-point ad hoc voice communication
US9552816B2 (en) * 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems

Also Published As

Publication number Publication date
US20180210703A1 (en) 2018-07-26
US9875081B2 (en) 2018-01-23
EP3353677A1 (en) 2018-08-01
WO2017053311A1 (en) 2017-03-30
CN108351872A (zh) 2018-07-31
EP3353677A4 (en) 2019-10-23
JP2018537700A (ja) 2018-12-20
US20170083285A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
KR101798828B1 (ko) 자연어 음성 서비스 환경에서 하이브리드 처리를 위한 시스템 및 방법
JP5336590B2 (ja) 並列認識タスクを用いた音声認識
US9437186B1 (en) Enhanced endpoint detection for speech recognition
AU2014200407B2 (en) Method for Voice Activation of a Software Agent from Standby Mode
AU2013252518B2 (en) Embedded system for construction of small footprint speech recognition with user-definable constraints
EP3139378B1 (en) Hotword detection on multiple devices
US20080162136A1 (en) Automatic speech recognition with a selection list
US20150095026A1 (en) Speech recognizer with multi-directional decoding
CN105009204B (zh) 语音识别功率管理
US9715875B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
DE112014000709T5 (de) Sprach-Trigger für einen digitalen Assistenten
US20160077794A1 (en) Dynamic thresholds for always listening speech trigger
CN104509079B (zh) 基于位置标记的语音识别模型
US20070239453A1 (en) Augmenting context-free grammars with back-off grammars for processing out-of-grammar utterances
US9728188B1 (en) Methods and devices for ignoring similar audio being received by a system
US9076450B1 (en) Directed audio for speech recognition
US9319816B1 (en) Characterizing environment using ultrasound pilot tones
JP6317111B2 (ja) ハイブリッド型クライアントサーバ音声認識
US9443527B1 (en) Speech recognition capability generation and control
KR101622111B1 (ko) 대화 시스템 및 그의 대화 방법
US9484030B1 (en) Audio triggered commands
US10026399B2 (en) Arbitration between voice-enabled devices
CN105556592B (zh) 检测自我生成的唤醒声调
US9689960B1 (en) Beam rejection in multi-beam microphone systems
US10127911B2 (en) Speaker identification and unsupervised speaker adaptation techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal