KR20180071426A - 디지털 어시스턴트를 위한 음성 트리거 - Google Patents

디지털 어시스턴트를 위한 음성 트리거 Download PDF

Info

Publication number
KR20180071426A
KR20180071426A KR1020187017535A KR20187017535A KR20180071426A KR 20180071426 A KR20180071426 A KR 20180071426A KR 1020187017535 A KR1020187017535 A KR 1020187017535A KR 20187017535 A KR20187017535 A KR 20187017535A KR 20180071426 A KR20180071426 A KR 20180071426A
Authority
KR
South Korea
Prior art keywords
sound
implementations
sound input
voice
predetermined
Prior art date
Application number
KR1020187017535A
Other languages
English (en)
Inventor
저스틴 지. 바인더
오누르 택킨
사무엘 디. 포스트
토마스 알. 그루버
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201361762260P priority Critical
Priority to US61/762,260 priority
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to PCT/US2014/015418 priority patent/WO2014124332A2/en
Publication of KR20180071426A publication Critical patent/KR20180071426A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • G10L15/265Speech recognisers specially adapted for particular applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/22Interactive procedures; Man-machine interfaces
    • G10L17/24Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16Transforming into a non-visible representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise

Abstract

본 명세서에는 음성 트리거를 동작시키기 위한 방법이 제공되었다. 일부 구현예들에서, 이 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행된다. 이 방법은 사운드 입력을 수신하는 단계를 포함한다. 사운드 입력은 구술된 단어 또는 구, 또는 이들의 일부분에 대응할 수 있다. 이 방법은 사운드 입력의 적어도 일부분이 사람의 음성과 같은 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 단계를 포함한다. 이 방법은, 사운드 입력의 적어도 일부분이 사전결정된 타입에 대응한다는 결정에 따라, 사운드 입력이 사전결정된 트리거 단어 또는 구와 같은 사전결정된 콘텐츠를 포함하는지 여부를 결정하는 단계를 포함한다. 이 방법은 또한, 사운드 입력이 사전결정된 콘텐츠를 포함한다는 결정에 따라, 음성-기반 디지털 어시스턴트와 같은 스피치-기반 서비스를 개시하는 단계를 포함한다.

Description

디지털 어시스턴트를 위한 음성 트리거{VOICE TRIGGER FOR A DIGITAL ASSISTANT}

관련 출원 상호 참조

본 출원은 2013년 2월 7일 출원된 미국 임시출원 제61/762,260호, 발명의 명칭 "VOICE TRIGGER FOR A DIGITAL ASSISTANT"의 우선권을 주장하며, 이것은 전체가 본 명세서에 참조로서 포함된다.

개시된 구현예는 일반적으로 디지털 어시스턴트에 관한 것으로, 보다 구체적으로는 디지털 어시스턴트를 위한 음성 트리거 방법 및 시스템에 관한 것이다.

최근에, 애플(Apple)사의 시리(SIRI)와 같은 음성-기반 디지털 어시스턴트가 웹 탐색 및 내비게이션과 같은 다양한 작업들을 다루기 위한 시장에 도입되었다. 이러한 음성-기반 디지털 어시스턴트의 일 장점은 사용자들이 디바이스를 다루거나 볼 필요조차도 없이 핸드-프리 방식으로 디바이스와 상호작용할 수 있다는 것이다. 핸드-프리 동작은, 사용자들이 운전을 할 때와 같이 사용자가 디바이스를 물리적으로 다룰 수 없거나 다루어서는 안되는 경우에서 특히 바람직할 수 있다. 그러나, 음성-기반 어시스턴트를 개시하기 위해서, 사용자들은 통상적으로 버튼을 누르거나 터치 스크린 상의 아이콘을 선택해야만 한다. 이러한 접촉식 입력은 핸드-프리 경험을 손상시킨다. 따라서, 접촉식 입력이 아닌 음성 입력 또는 신호를 이용하여 음성-기반 디지털 어시스턴트(또는 다른 스피치-기반 서비스)를 활성화하는 방법 및 시스템을 제공하는 것이 바람직할 수 있다.

음성 입력을 이용하여 음성-기반 어시스턴트를 활성화하는 것은 음성 입력을 검출하기 위해 오디오 채널을 모니터링하는 것을 필요로 한다. 이러한 모니터링은 배터리에 의존하고 이러한 음성-기반 디지털 어시스턴트들이 주로 실행되는 핸드헬드 또는 휴대용 디바이스 상의 제한된 리소스인 전력을 소비한다. 따라서, 디바이스 상에서 음성- 및/또는 스피치-기반 서비스들을 개시하도록 사용될 수 있는 에너지 효율적인 음성 트리거를 제공하는 것이 바람직할 것이다.

따라서, 제한된 전력 리소스를 과도하게 소비하지 않고 "항상-청취하는" 음성 트리거 기능을 제공할 수 있는 저전력 음성 트리거에 대한 필요성이 존재한다. 아래에서 기술되는 구현예들은 전자 디바이스에서 음성 트리거를 이용하여 음성-기반 어시스턴트를 개시하기 위한 시스템들 및 방법들을 제공한다. 음성-기반 디지털 어시스턴트(또는 스피치-텍스트(speech-to-text) 전사 서비스와 같은 다른 스피치-기반 서비스)와의 상호작용들은 종종 사용자가 디지털 어시스턴트를 활성화하기 위해 디바이스 상의 어포던스(affordance)(예를 들어, 버튼 또는 아이콘)을 누를 때 시작되고, 그에 이어 디바이스가 광, 사운드(예를 들어, 삐 소리), 또는 음성화된 출력(예를 들어, "무엇을 해드릴까요?")과 같이 디지털 어시스턴트가 활동중이며 청취중이라는 일부 표시를 사용자에게 제공한다. 본 명세서에서 기술되는 바와 같이, 음성 트리거는 또한 사용자에 의한 물리적 상호작용을 요구하지 않고 특정한 사전결정된 단어, 구(phrase), 또는 사운드에 응답하여 활성화되도록 구현될 수도 있다. 예를 들어, 사용자는 구 "안녕, 시리"라고 말함으로써 아이폰(IPHONE) 상의 시리 디지털 어시스턴트(둘 모두가 본 출원의 양수인인 애플 인크.(Apple Inc.)에 의해 제공됨)를 활성화할 수 있다. 그에 응답하여, 디바이스는 사용자에게 청취 모드가 활동중임을 나타내는 삐 소리, 사운드, 또는 스피치 출력(예를 들어, "무엇을 해드릴까요?")을 출력한다. 따라서, 사용자는 디지털 어시스턴트 기능을 제공하는 디바이스를 물리적으로 터치해야 할 필요 없이 디지털 어시스턴트와의 상호작용을 개시할 수 있다.

음성 트리거를 이용하여 스피치-기반 서비스를 개시하기 위한 일 기술은 사전결정된 트리거 단어, 구, 또는 사운드(이들 중 임의의 것이 본 명세서에서 "트리거 사운드"로 지칭될 수 있다)를 계속해서 청취하는 스피치-기반 서비스를 갖는 것이다. 그러나, 스피치-기반 서비스(예를 들어, 음성-기반 디지털 어시스턴트)를 계속해서 동작시키는 것은 상당한 오디오 프로세싱 및 배터리 전력을 요구한다. 음성 트리거 기능을 제공함으로써 소비되는 전력을 감소시키기 위해서, 몇몇 기술들이 사용될 수 있다. 일부 구현예들에서, 전자 디바이스의 메인 프로세서(즉, "애플리케이션 프로세서")가 저전력 또는 전력공급되지 않는 상태로 유지되는 반면, (예를 들어, 애플리케이션 프로세서에 의존하지 않기 때문에) 더 적은 전력을 사용하는 하나 이상의 사운드 검출기는 활동적으로 남아있게 된다. (저전력 또는 전력공급되지 않는 상태에 있는 경우, 애플리케이션 프로세서 또는 임의의 다른 프로세서, 프로그램, 또는 모듈이 비활동적이거나 스탠바이 모드에 있는 것으로 기술될 수 있다.) 예를 들어, 애플리케이션 프로세서가 비활동적일 때에도 저전력 사운드 검출기가 트리거 사운드에 대해 오디오 채널을 모니터링하도록 사용된다. 이러한 사운드 검출기는 때때로 본 명세서에서 트리거 사운드 검출기로서 지칭된다. 일부 구현예들에서, 이것은 특정한 사운드, 음소(phoneme), 및/또는 단어를 검출하도록 구성된다. (하드웨어 및/또는 소프트웨어 컴포넌트들을 포함하는) 트리거 사운드 검출기는 특정한 단어, 사운드, 또는 구를 인식하도록 설계되지만, 일반적으로 이러한 작업이 더 큰 컴퓨터 및 전력 리소스를 요구하기 때문에, 전체 스피치-텍스트 기능을 제공하기 위해 최적화될 수 없다. 따라서, 일부 구현예들에서, 트리거 사운드 검출기는 음성 입력이 사전정의된 패턴(예를 들어, 단어들 "안녕, 시리"에 부합하는 소리 패턴)을 포함하는지 여부를 인식하지만, 음성 입력을 텍스트로 변환하거나 상당한 양의 다른 단어들을 인식할 수 없다(또는 그렇게 구성되지 않는다). 트리거 사운드가 검출되면, 그 다음 디지털 어시스턴트는 사용자가 음성 커맨드를 제공할 수 있도록 스탠바이 모드 밖으로 나가게 된다.

일부 구현예들에서, 트리거 사운드 검출기는 단어들의 세트, 구, 사운드, 및/또는 이들의 조합과 같은 몇몇 서로 다른 트리거 사운드들을 검출하도록 구성된다. 그 다음 사용자는 스피치-기반 서비스를 개시하기 위해서 임의의 이러한 사운드를 사용할 수 있다. 일 예에서, 음성 트리거는 "안녕, 시리", "일어나, 시리", "나의 디지털 어시스턴트를 호출해줘", 또는 "안녕, 핼(HAL), 읽고 있니 핼?"과 같은 구들에 대해 응답하도록 사전구성된다. 일부 구현예들에서, 사용자는 사전구성된 트리거 사운드들 중 하나를 단독 트리거 사운드로서 선택해야만 한다. 일부 구현예들에서, 사용자는 사전구성된 트리거 사운드들의 하위세트를 선택하며, 그에 따라 사용자가 서로 다른 트리거 사운드들을 이용하여 스피치-기반 서비스를 개시할 수 있다. 일부 구현예들에서, 사전구성된 트리거 사운드들 전부가 유효 트리거 사운드들로 남아있다.

일부 구현예들에서, 트리거 사운드 검출기가 대부분의 시간 동안 저전력 또는 전력공급되지 않는 모드로 유지될 수 있도록 다른 사운드 검출기가 사용된다. 예를 들어, 상이한 타입의 사운드 검출기(예를 들어, 트리거 사운드 검출기보다 더 적은 전력을 사용하는 사운드 검출기)가 사운드 입력이 소정 타입의 사운드에 대응하는지 여부를 결정하기 위해 오디오 채널을 모니터링하도록 사용된다. 사운드들은 소정의 식별가능한 사운드들의 특징에 기초하여 상이한 "타입들"로 분류된다. 예를 들어, "사람의 음성" 타입의 사운드는 소정의 스펙트럼 콘텐츠, 주기성, 본질적 주파수 등을 갖는다. 다른 타입의 사운드들(예를 들어, 휘파람, 손뼉 등)은 다른 특징들을 갖는다. 서로 다른 타입의 사운드들은 본 명세서에 기술된 것과 같은 오디오 및/또는 신호 프로세싱 기술들을 이용하여 식별된다. 이러한 사운드 검출기는 때때로 본 명세서에서 "사운드-타입 검출기"로 지칭된다. 예를 들어, 만약 사전결정된 트리거 구가 "안녕, 시리"라면, 사운드-타입 검출기는 입력이 사람의 스피치에 대응할 가능성이 높은지 여부를 결정한다. 만약 트리거 사운드가 휘파람과 같은 비-음성 사운드라면, 사운드-타입 검출기는 사운드 입력이 휘파람에 대응할 가능성이 높은지 여부를 결정한다. 적절한 타입의 사운드가 검출되면, 사운드-타입 검출기는 사운드를 추가로 프로세싱 및/또는 분석하기 위해 트리거 사운드 검출기를 개시한다. 그리고 (예를 들어, 사운드-타입 검출기가 트리거 사운드 검출기보다 더 낮은 전력 수요 및/또는 더욱 효율적인 오디오 프로세싱 알고리즘을 갖는 회로를 사용하기 때문에) 사운드-타입 검출기가 트리거 사운드 검출기보다 더 적은 전력을 요구하므로, 음성 트리거 기능은 트리거 사운드 검출기를 단독으로 사용하는 것보다도 더 적은 전력을 소비한다.

일부 구현예들에서, 전술된 사운드-타입 검출기 및 트리거 사운드 검출기 모두가 대부분의 시간 동안 저전력 또는 전력공급되지 않는 모드로 유지될 수 있도록 또 다른 사운드 검출기가 사용된다. 예를 들어, 사운드-타입 검출기보다 더 적은 전력을 사용하는 사운드 검출기는 사운드 입력이 진폭(예를 들어, 볼륨) 임계값과 같은 사전결정된 조건을 만족시키는지 여부를 결정하기 위해 오디오 채널을 모니터링하도록 사용된다. 이러한 사운드 검출기는 본 명세서에서 노이즈 검출기로 지칭될 수 있다. 노이즈 검출기가 사전결정된 임계값을 만족시키는 사운드를 검출하면, 노이즈 검출기는 사운드를 추가로 프로세싱 및/또는 분석하기 위해 사운드-타입 검출기를 개시한다. 그리고 (예를 들어, 노이즈 검출기가 더 낮은 전력 수요 및/또는 더욱 효율적인 오디오 프로세싱 알고리즘을 갖는 회로를 사용하기 때문에) 노이즈 검출기가 사운드-타입 검출기 또는 트리거 사운드 검출기보다 더 적은 전력을 요구하므로, 음성 트리거 기능은 노이즈 검출기 없이 사운드-타입 검출기와 트리거 사운드 검출기의 조합보다도 더 적은 전력을 소비한다.

일부 구현예들에서, 전술된 임의의 하나 이상의 사운드 검출기는, 이들이 "온(on)" 및 "오프(off)" 상태 사이에서 순환되는 듀티 사이클에 따라 동작된다. 이것은 음성 트리거의 전력 소비를 감소시키는 것을 추가로 돕는다. 예를 들어, 일부 구현예들에서, 노이즈 검출기가 10ms 동안 "온"되고(즉, 오디오 채널을 활동적으로 모니터링함) 이어지는 90ms 동안 "오프"된다. 이러한 방식으로, 노이즈 검출기는 시간의 90% 동안 "오프"되는 동시에, 여전히 효율적으로 연속적인 노이즈 검출 기능을 제공한다. 일부 구현예들에서, 사운드 검출기들에 대한 온 및 오프 지속시간은 트리거 사운드가 여전히 입력 중인 동안에 모든 검출기들이 활성화되도록 선택된다. 예를 들어, "안녕, 시리"의 트리거 구에 있어서, 사운드 검출기들은 트리거 구가 듀티 사이클(들) 내의 어디에서 시작하더라도 트리거 사운드 검출기가 충분한 양의 입력을 분석하기 위해 시간 내에 활성화되도록 구성될 수 있다. 예를 들어, 트리거 사운드 검출기는 사운드가 트리거 구에 부합한다고 결정하기에 충분한 사운드인 "녕 시리"를 수신, 프로세싱 및 분석하기 위해 시간 내에 활성화될 것이다. 일부 구현예들에서, 사운드 입력의 더 큰 부분이 분석될 수 있도록 사운드 입력이 업스트림 검출기에 수신되고 전달될 때 메모리 내에 저장된다. 따라서, 트리거 구가 발언된 후까지도 트리거 사운드 검출기가 개시되지 않는다고 해도, 여전히 전체 기록된 트리거 구를 분석할 수 있다.

일부 구현예들은 음성 트리거를 동작하기 위한 방법을 제공한다. 이 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행된다. 이 방법은 사운드 입력을 수신하는 것을 포함한다. 이 방법은 또한 사운드 입력의 적어도 일부분이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 것을 포함한다. 이 방법은 사운드 입력의 적어도 일부분이 사전결정된 타입에 대응한다는 결정에 따라, 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하는 것을 더 포함한다. 이 방법은, 사운드 입력이 사전결정된 콘텐츠를 포함한다는 결정에 따라, 스피치-기반 서비스를 개시하는 것을 더 포함한다. 일부 구현예들에서, 스피치-기반 서비스는 음성-기반 디지털 어시스턴트이다. 일부 구현예들에서, 스피치-기반 서비스는 딕테이션(dictation) 서비스이다.

일부 구현예들에서, 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 것은 제1 사운드 검출기에 의해 수행되고, 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하는 것은 제2 사운드 검출기에 의해 수행된다. 일부 구현예들에서, 제1 사운드 검출기는 동작 중에 제2 사운드 검출기보다 더 적은 전력을 소비한다. 일부 구현예들에서, 제1 사운드 검출기는 사운드 입력의 주파수-도메인 분석을 수행한다. 일부 구현예들에서, 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 것은 (예를 들어, 아래에서 논의되는 제3 사운드 검출기에 의해 결정되는 바와 같이) 사운드 입력이 사전결정된 조건을 만족시킨다는 결정에 따라 수행된다.

일부 구현예들에서, 제1 사운드 검출기는 듀티 사이클에 따라 오디오 채널을 주기적으로 모니터링한다. 일부 구현예들에서, 듀티 사이클은 약 20ms의 온-시간 및 약 100ms의 오프-시간을 포함한다.

일부 구현예들에서, 사전결정된 타입은 사람의 음성이고 사전결정된 콘텐츠는 하나 이상의 단어이다. 일부 구현예들에서, 사운드 입력의 적어도 일부분이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 것은 사운드 입력의 적어도 일부분이 사람의 음성의 주파수 특징을 포함하는지 여부를 결정하는 것을 포함한다.

일부 구현예들에서, 제2 사운드 검출기는 사운드 입력이 사전결정된 타입에 대응한다는 제1 사운드 검출기에 의한 결정에 응답하여 개시된다. 일부 구현예들에서, 제2 사운드 검출기는 사운드 입력이 사전결정된 타입에 대응한다는 제1 사운드 검출기에 의한 결정 후 적어도 사전결정된 길이의 시간 동안 동작된다. 일부 구현예들에서, 사전결정된 길이의 시간은 사전결정된 콘텐츠의 지속시간에 대응한다.

일부 구현예들에서, 사전결정된 콘텐츠는 하나 이상의 사전결정된 음소이다. 일부 구현예들에서, 하나 이상의 사전결정된 음소는 적어도 하나의 단어를 구성한다.

일부 구현예들에서, 이 방법은, 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하기 전에, 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하는 것을 포함한다. 일부 구현예들에서, 사전결정된 조건은 진폭 임계값이다. 일부 구현예들에서, 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하는 것은 제3 사운드 검출기에 의해 수행되며, 이때 제3 사운드 검출기는 동작 중에 제1 사운드 검출기보다 더 적은 전력을 소비한다. 일부 구현예들에서, 제3 사운드 검출기는 듀티 사이클에 따라 오디오 채널을 주기적으로 모니터링한다. 일부 구현예들에서, 듀티 사이클은 약 20ms의 온-시간 및 약 500ms의 오프-시간을 포함한다. 일부 구현예들에서, 제3 사운드 검출기는 사운드 입력의 시간-도메인 분석을 수행한다.

일부 구현예들에서, 이 방법은 사운드 입력의 적어도 일부분을 메모리에 저장하고, 스피치-기반 서비스가 개시되면 사운드 입력의 해당 부분을 스피치-기반 서비스에 제공하는 것을 포함한다. 일부 구현예들에서, 사운드 입력의 해당 부분은 직접 메모리 액세스를 이용하여 메모리에 저장된다.

일부 구현예들에서, 이 방법은 사운드 입력이 특정 사용자의 음성에 대응하는지 여부를 결정하는 것을 포함한다. 일부 구현예들에서, 스피치-기반 서비스는 사운드 입력이 사전결정된 콘텐츠를 포함하고 사운드 입력이 특정 사용자의 음성에 대응한다는 결정에 따라 개시된다. 일부 구현예들에서, 스피치-기반 서비스는 사운드 입력이 사전결정된 콘텐츠를 포함하고 사운드 입력이 특정 사용자의 음성에 대응하지 않는다는 결정에 따라 제한된 액세스 모드로 개시된다. 일부 구현예들에서, 이 방법은 사운드 입력이 특정 사용자의 음성에 대응한다는 결정에 따라, 특정 사용자의 이름을 포함하는 음성 프롬프트(prompt)를 출력하는 것을 포함한다.

일부 구현예들에서, 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하는 것은 사운드 입력의 표현을 기준 표현에 비교하는 것과, 사운드 입력의 표현이 기준 표현에 부합하는 경우 사운드 입력이 사전결정된 콘텐츠를 포함한다고 결정하는 것을 포함한다. 일부 구현예들에서, 만약 사운드 입력의 표현이 사전결정된 신뢰도로 기준 표현에 부합한다면 부합이 결정된다. 일부 구현예들에서, 이 방법은 이 사운드 입력을 포함하는 복수의 사운드 입력을 수신하는 것; 그리고 개별 사운드 입력들이 사전결정된 콘텐츠를 포함한다는 결정에 응답하여, 복수의 사운드 입력들 중 개별 사운드 입력들을 이용하여 기준 표현을 반복하여 조정하는 것을 포함한다.

일부 구현예들에서, 이 방법은 전자 디바이스가 사전결정된 방향에 있는지 여부를 결정하는 것과, 전자 디바이스가 사전결정된 방향에 있다는 결정에 따라 음성 트리거의 사전결정된 모드를 활성화하는 것을 포함한다. 일부 구현예들에서, 사전결정된 방향은 실질적으로 수평이고 아래를 보고 있는 디바이스의 디스플레이 스크린에 대응하며, 사전결정된 모드는 스탠바이 모드이다. 일부 구현예들에서, 사전결정된 방향은 실질적으로 수평이고 위를 보고 있는 디바이스의 디스플레이 스크린에 대응하며, 사전결정된 모드는 청취 모드이다.

일부 구현예들은 음성 트리거를 동작시키기 위한 방법을 제공한다. 이 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행된다. 이 방법은 제1 모드에서 음성 트리거를 동작시키는 것을 포함한다. 이 방법은 전자 디바이스의 하나 이상의 마이크로폰 및 카메라가 폐색되었음(occluded)을 검출함으로써 전자 디바이스가 실질적으로 밀폐된 공간 내에 있는지 여부를 결정하는 것을 더 포함한다. 이 방법은 전자 디바이스가 실질적으로 밀폐된 공간 내에 있다는 결정에 따라, 음성 트리거를 제2 모드로 전환하는 것을 더 포함한다. 일부 구현예들에서, 제2 모드는 스탠바이 모드이다.

일부 구현예들은 음성 트리거를 동작시키기 위한 방법을 제공한다. 이 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행된다. 이 방법은 전자 디바이스가 사전결정된 방향에 있는지 여부를 결정하는 것과, 전자 디바이스가 사전결정된 방향에 있다는 결정에 따라 음성 트리거의 사전결정된 모드를 활성화하는 것을 포함한다. 일부 구현예들에서, 사전결정된 방향은 실질적으로 수평이고 아래를 보고 있는 디바이스의 디스플레이 스크린에 대응하며, 사전결정된 모드는 스탠바이 모드이다. 일부 구현예들에서, 사전결정된 방향은 실질적으로 수평이고 위를 보고 있는 디바이스의 디스플레이 스크린에 대응하며, 사전결정된 모드는 청취 모드이다.

일부 구현예들에 따르면, 전자 디바이스는 사운드 입력을 수신하도록 구성된 사운드 수신 유닛; 및 사운드 수신 유닛에 연결된 프로세싱 유닛을 포함한다. 프로세싱 유닛은 사운드 입력의 적어도 일부분이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하고; 사운드 입력의 적어도 일부분이 사전결정된 타입에 대응한다는 결정에 따라, 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하며; 사운드 입력이 사전결정된 콘텐츠를 포함한다는 결정에 따라, 스피치-기반 서비스를 개시하도록 구성된다. 일부 구현예들에서, 프로세싱 유닛은 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하기 전에, 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하도록 추가로 구성된다. 일부 구현예들에서, 프로세싱 유닛은 사운드 입력이 특정 사용자의 음성에 대응하는지 여부를 결정하도록 추가로 구성된다.

일부 구현예들에 따르면, 전자 디바이스는 복수의 모드들 중 제1 모드에서 음성 트리거를 동작시키도록 구성된 음성 트리거 유닛; 및 음성 트리거 유닛에 연결된 프로세싱 유닛을 포함한다. 일부 구현예들에서, 프로세싱 유닛은: 전자 디바이스의 하나 이상의 마이크로폰 및 카메라가 폐색되어 있음을 검출함으로써 전자 디바이스가 실질적으로 밀폐된 공간 내에 있는지 여부를 결정하고; 전자 디바이스가 실질적으로 밀폐된 공간 내에 있다는 결정에 따라, 음성 트리거를 제2 모드로 전환하도록 구성된다. 일부 구현예들에서, 프로세싱 유닛은 전자 디바이스가 사전결정된 방향에 있는지 여부를 결정하고; 전자 디바이스가 사전결정된 방향에 있다는 결정에 따라, 음성 트리거의 사전결정된 모드를 활성화하도록 구성된다.

일부 구현예들에 따르면, 컴퓨터 판독가능한 저장 매체(예를 들어, 비일시적 컴퓨터 판독가능한 저장 매체)가 제공되며, 컴퓨터 판독가능한 저장 매체는 전자 디바이스의 하나 이상의 프로세서에 의해 실행하기 위한 하나 이상의 프로그램을 저장하고, 하나 이상의 프로그램은 본 명세서에 기술된 방법들 중 임의의 방법을 수행하기 위한 명령어들을 포함한다.

일부 구현예들에 따르면, 본 명세서에 기술된 방법들 중 임의의 방법을 수행하기 위한 수단을 포함하는 전자 디바이스(예를 들어, 휴대용 전자 디바이스)가 제공된다.

일부 구현예들에 따르면, 본 명세서에 기술된 방법들 중 임의의 방법을 수행하도록 구성된 프로세싱 유닛을 포함하는 전자 디바이스(예를 들어, 휴대용 전자 디바이스)가 제공된다.

일부 구현예들에 따르면, 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하기 위한 하나 이상의 프로그램을 저장하는 메모리를 포함하는 전자 디바이스(예를 들어, 휴대용 전자 디바이스)가 제공되며, 하나 이상의 프로그램은 본 명세서에 기술된 방법들 중 임의의 방법을 수행하기 위한 명령어들을 포함한다.

일부 구현예들에 따르면, 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치가 제공되며, 이러한 정보 프로세싱 장치는 본 명세서에 기술된 방법들 중 임의의 방법을 수행하기 위한 수단을 포함한다.

도 1은 일부 구현예들에 따른 디지털 어시스턴트가 동작하는 환경을 도시하는 블록 다이어그램이다.
도 2는 일부 구현예들에 따른 디지털 어시스턴트 클라이언트 시스템을 도시하는 블록 다이어그램이다.
도 3a는 일부 구현예들에 따른 독립형 디지털 어시스턴트 시스템 또는 디지털 어시스턴트 서버 시스템을 도시하는 블록 다이어그램이다.
도 3b는 일부 구현예들에 따른 도 3a에 도시된 디지털 어시스턴트의 기능들을 도시하는 블록 다이어그램이다.
도 3c는 일부 구현예들에 따른 온톨로지(ontology)의 일부분을 도시하는 네트워크도이다.
도 4는 일부 구현예들에 따른 음성 트리거 시스템의 컴포넌트들을 도시한 블록 다이어그램이다.
도 5 내지 도 7은 일부 구현예들에 따른 음성 트리거 시스템을 동작하기 위한 방법들을 도시한 순서도이다.
도 8 및 도 9는 일부 구현예들에 따른 전자 디바이스의 기능 블록 다이어그램이다.
동일한 도면 부호들은 도면들 전체에 걸쳐 대응하는 부분들을 가리킨다.

도 1은 일부 구현예들에 따른 디지털 어시스턴트의 동작 환경(100)의 블록 다이어그램이다. "디지털 어시스턴트", "가상 어시스턴트", "인텔리전트 자동화 어시스턴트", "음성-기반 디지털 어시스턴트", 또는 "자동 디지털 어시스턴트"와 같은 용어들은 사용자 의도를 추론하기 위해서 자연 언어 입력을 구두의(spoken) 및/또는 텍스트의(textual) 형태로 해석하고(예를 들어, 자연 언어 입력에 상응하는 작업 타입을 식별), 추론된 사용자 의도에 기초하여 행동들을 수행하는(예를 들어, 식별된 작업 타입에 상응하는 작업을 수행) 임의의 정보 프로세싱 시스템을 지칭한다. 예를 들면, 추론된 사용자 의도를 좇아 행동하기 위해, 시스템은 다음의 것 중 하나 이상을 수행할 수 있다: 추론된 사용자 의도를 달성하도록 설계된 단계들 및 파라미터들을 갖는 작업 흐름을 식별하는 단계(예를 들어, 작업 유형을 식별하는 단계), 추론된 사용자 의도로부터의 특정 요구사항들을 작업 흐름에 입력하는 단계, 프로그램, 방법, 서비스, API 등을 호출함으로써 작업 흐름을 실행하는 단계(예를 들어, 서비스 제공자에게 요청을 송신하는 단계), 및 청각적(예를 들어, 스피치) 및/또는 시각적 형태로 사용자에 대한 출력 응답을 생성하는 단계.

특히, 한번 개시되면, 디지털 어시스턴트 시스템은 적어도 부분적으로 자연 언어 커맨드, 요청, 진술, 서술 및/또는 조회의 형태인 사용자 요청을 수용할 수 있다. 통상적으로, 사용자 요청은 디지털 어시스턴트 시스템을 통해 정보를 제공하는 대답 또는 작업의 수행 중 하나를 요구한다. 사용자 요청에 대한 만족스러운 응답은 일반적으로 요구한 정보를 제공하는 대답의 제공, 요구한 작업의 수행 중 하나, 또는 이 둘의 조합이다. 예를 들어, 사용자는 디지털 어시스턴트 시스템에게 "지금 내가 어디에 있습니까?"와 같은 질문을 할 수 있다. 사용자의 현재 위치에 기초하여, 디지털 어시스턴트는 "당신은 서문 근처 센트럴파크에 있습니다"라고 대답할 수 있다. 사용자는 또한 예를 들어 "나의 친구들을 다음주 내 여자친구의 생일파티에 초대해주세요"라고 진술함으로써 작업의 수행을 요청할 수 있다. 그에 대한 응답으로, 디지털 어시스턴트는 "네, 바로 실행하겠습니다"라는 음성 출력을 생성함으로써 요청을 수신하였음을 알린 후에 사용자의 이메일 주소로부터 사용자의 전자 주소록 또는 연락처 목록에 나열된 사용자의 친구들 각각에게 적절한 캘린더 초대를 전송할 수 있다. 정보 또는 다양한 작업들의 수행을 요청하기 위해 디지털 어시스턴트와 상호작용하는 많은 다른 방식들이 존재한다. 언어적 응답을 제공하는 것과 프로그래밍된 행동을 취하는 것 외에도, 디지털 어시스턴트는 또한 (예를 들어, 텍스트, 알람, 음악, 비디오, 애니메이션 등과 같은) 다른 시각적 또는 청각적 형태의 응답도 제공할 수 있다.

도 1에 도시된 바와 같이, 일부 구현예들에서, 디지털 어시스턴트 시스템은 클라이언트-서버 모델에 따라 구현된다. 디지털 어시스턴트 시스템은 사용자 디바이스(예를 들어, (104a, 104b)) 상에서 실행되는 클라이언트 측 부분(예를 들어, (102a, 102b))(아래에서는 "디지털 어시스턴트(DA) 클라이언트(102)") 및 서버 시스템(108) 상에서 실행되는 서버 측 부분(106)(아래에서는 "디지털 어시스턴트(DA) 서버(106)")을 포함한다. DA 클라이언트(102)는 하나 이상의 네트워크(110)를 통해 DA 서버(106)와 통신한다. DA 클라이언트(102)는, 사용자 대면(user-facing) 입출력 프로세싱 및 DA 서버(106)와의 통신과 같은 클라이언트 측 기능들을 제공한다. DA 서버(106)는 (클라이언트 디바이스 또는 전자 디바이스로도 지칭되는) 개별 사용자 디바이스(104) 상에 각각 존재하는 임의의 수의 DA 클라이언트(102)에 대한 서버 측 기능들을 제공한다.

일부 구현예들에서, DA 서버(106)는 클라이언트-대면 I/O 인터페이스(112), 하나 이상의 프로세싱 모듈(114), 데이터 및 모델(116), 외부 서비스에 대한 I/O 인터페이스(118), 사진 및 태그 데이터베이스(130) 및 사진-태그 모듈(132)을 포함한다. 클라이언트-대면 I/O 인터페이스는 디지털 어시스턴트 서버(106)에 대한 클라이언트-대면 입출력 프로세싱을 가능하게 한다. 하나 이상의 프로세싱 모듈(114)은 데이터 및 모델(116)을 활용하여 자연 언어 입력에 기초해 사용자의 의도를 결정하고 추론된 사용자 의도에 기초하여 작업 실행을 수행한다. 사진 및 태그 데이터베이스(130)는 디지털 사진들의 핑거프린트 및 선택적으로는 디지털 사진들 자체뿐만 아니라, 디지털 사진들과 연관된 태그들을 저장한다. 사진-태그 모듈(132)은 태그를 생성하고, 사진 및/또는 핑거프린트와 연관하여 태그를 저장하고, 사진을 자동으로 태그하고, 태그를 사진 내의 위치에 링크시킨다.

일부 구현예들에서, DA 서버(106)는 작업 완료 또는 정보 획득을 위해 네트워크(들)(110)를 통해 외부 서비스(120)(예를 들어, 내비게이션 서비스(들)(122-1), 메시징 서비스(들)(122-2), 정보 서비스(들)(122-3), 캘린더 서비스(122-4), 텔레포니 서비스(122-5), 사진 서비스(들)(122-6) 등)와 통신한다. 외부 서비스(118)에 대한 I/O 인터페이스는 이러한 통신을 용이하게 한다.

사용자 디바이스(104)의 예에는 핸드헬드 컴퓨터, 개인용 디지털 어시스턴트(PDA), 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크탑 컴퓨터, 셀룰러 전화기, 스마트폰, 개선된 일반 패킷 무선 서비스(enhanced general packet radio service, EGPRS) 모바일 전화기, 미디어 플레이어, 탐색 디바이스, 게임 콘솔, 텔레비전, 원격 조종기, 또는 이러한 데이터 프로세싱 디바이스들 중 임의의 둘 이상의 조합 또는 임의의 다른 적절한 데이터 프로세싱 디바이스들이 포함되지만, 이에 제한되지는 않는다. 사용자 디바이스(104)에 대한 더 자세한 내용은 도 2에 도시된 예시적인 사용자 디바이스(104)를 참조하여 제공된다.

통신 네트워크(들)(110)의 예에는 로컬 영역 네트워크(LAN) 및 예로서 인터넷과 같은 광역 네트워크(WAN)가 포함된다. 통신 네트워크(들)(110)는 다양한 유선 또는 무선 프로토콜, 예컨대 이더넷(Ethernet), 범용 직렬 버스(Universal Serial Bus, USB), 화이어와이어(FIREWIRE), 모바일 통신용 글로벌 시스템(Global System for Mobile Communication, GSM), 개선된 데이터 GSM 환경(Enhanced Data GSM Environment, EDGE), 코드 분할 다중 접속(code division multiple access, CDMA), 시간 분할 다중 접속(time division multiple access, TDMA), 블루투스(Bluetooth), Wi-Fi, VoIP(voice over Internet Protocol), Wi-MAX, 또는 임의의 다른 적합한 통신 프로토콜을 포함하는 임의의 알려진 네트워크 프로토콜을 사용하여 구현될 수 있다.

서버 시스템(108)은 적어도 하나의 데이터 프로세싱 장치 및/또는 분산된 컴퓨터들의 네트워크 상에서 구현될 수 있다. 일부 구현예들에서, 서버 시스템(108)은 또한 제3자 서비스 제공자들(예컨대, 제3자 클라우드 서비스 제공자들)의 다양한 가상 디바이스들 및/또는 서비스들을 사용하여, 서버 시스템(108)의 기초 컴퓨팅 리소스들 및/또는 인프라구조 리소스들을 제공한다.

도 1에 도시된 디지털 어시스턴트 시스템이 클라이언트 측 부분(예를 들어, DA 클라이언트(102)) 및 서버 측 부분(예를 들어, DA 서버(106)) 모두를 포함하지만, 일부 구현예들에서, 디지털 어시스턴트 시스템은 오직 서버 측 부분(예를 들어 DA 서버(106))만을 지칭한다. 일부 구현예들에서, 디지털 어시스턴트의 기능들은 사용자 디바이스 상에 설치된 독립형 애플리케이션으로서 구현될 수 있다. 또한, 디지털 어시스턴트의 클라이언트 부분과 서버 부분 사이의 기능들의 분담은 상이한 구현예들에서 다를 수 있다. 예를 들어, 일부 구현예들에서, DA 클라이언트(102)는 오직 사용자-대면 입력 및 출력 프로세싱 기능들만을 제공하고 디지털 어시스턴트의 다른 모든 기능들을 DA 서버(106)에 위임하는 씬-클라이언트(thin-client)이다. 일부 다른 구현예들에서, DA 클라이언트(102)는 DA 서버(106)의 하나 이상의 기능들을 수행하거나 보조하도록 구성된다.

도 2는 일부 구현예들에 따른 사용자 디바이스(104)의 블록 다이어그램이다. 사용자 디바이스(104)는 메모리 인터페이스(202), 하나 이상의 프로세서(204) 및 주변장치 인터페이스(206)를 포함한다. 사용자 디바이스(104)의 다양한 컴포넌트들은 하나 이상의 통신 버스들 또는 신호 라인들에 의해 연결된다. 사용자 디바이스(104)는 주변장치 인터페이스(206)에 연결된 다양한 센서들, 서브시스템들 및 주변 디바이스들을 포함한다. 센서들, 서브시스템들 및 주변 디바이스들은 정보를 수집하고/하거나 사용자 디바이스(104)의 다양한 기능들을 가능하게 한다.

예를 들어, 일부 구현예들에서, 동작 센서(210)(예를 들어, 가속도계), 광 센서(212), GPS 수신기(213), 온도 센서 및 근접 센서(214)가 방향, 광 및 근접 감지 기능을 용이하게 하도록 주변장치 인터페이스(206)에 연결된다. 일부 구현예들에서, 생체 인식 센서, 기압계 등과 같은 다른 센서들(216)이 주변장치 인터페이스(206)에 접속되어 관련 기능들을 가능하게 한다.

일부 구현예들에서, 사용자 디바이스(104)는 주변장치 인터페이스(206)에 연결된 카메라 서브시스템(220)을 포함한다. 일부 구현예들에서, 카메라 서브시스템(220)의 광학 센서(222)는 사진 촬영 및 비디오 클립 녹화와 같은 카메라 기능들을 가능하게 한다. 일부 구현예들에서, 사용자 디바이스(104)는 통신 기능들을 제공하는 하나 이상의 유선 및/또는 무선 통신 서브시스템(224)을 포함한다. 통신 서브시스템(224)은 통상적으로 다양한 통신 포트, 무선 주파수 수신기 및 송신기 및/또는 광학(예를 들어, 적외선) 수신기 및 송신기를 포함한다. 일부 구현예들에서, 사용자 디바이스(104)는 하나 이상의 스피커(228) 및 하나 이상의 마이크로폰(230)에 연결된 오디오 서브시스템(226)을 포함하여, 음성 인식, 음성 복제, 디지털 녹음 및 전화 기능들과 같은 음성-인에이블형 기능들을 가능하게 한다. 일부 구현예들에서, 오디오 서브시스템(226)은 음성 트리거 시스템(400)에 연결된다. 일부 구현예들에서, 음성 트리거 시스템(400) 및/또는 오디오 서브시스템(226)은 사운드 입력을 수신 및/또는 분석하기 위한 저전력 오디오 회로 및/또는 프로그램(즉, 하드웨어 및/또는 소프트웨어를 포함함)을 포함하며, 이들은 예를 들어 하나 이상의 아날로그-디지털 변환기, 디지털 신호 프로세서(DSP), 사운드 검출기, 메모리 버퍼, 코덱 등을 포함한다. 일부 구현예들에서, 저전력 오디오 회로는 (단독으로 또는 사용자 디바이스(104)의 다른 컴포넌트들에 더하여) 음성-기반 디지털 어시스턴트 또는 다른 스피치-기반 서비스와 같은 사용자 디바이스(104)의 하나 이상의 양태에 대한 음성(또는 사운드) 트리거 기능을 제공한다. 일부 구현예들에서, 저전력 오디오 회로는 프로세서(들)(204), I/O 서브시스템(240), 메모리(250) 등과 같은 사용자 디바이스(104)의 다른 컴포넌트들이 셧다운되고/되거나 스탠바이 모드에 있을 때에도 음성 트리거 기능을 제공한다. 음성 트리거 시스템(400)은 도 4와 관련하여 더욱 자세하게 기술된다.

일부 구현예들에서, I/O 서브시스템(240)이 또한 주변장치 인터페이스(206)에 연결된다. 일부 구현예들에서, 사용자 디바이스(104)는 터치 스크린(246)을 포함하고, I/O 서브시스템(240)은 터치 스크린(246)에 연결된 터치 스크린 제어기(242)를 포함한다. 사용자 디바이스(104)가 터치 스크린(246) 및 터치 스크린 제어기(242)를 포함할 때, 터치 스크린(246) 및 터치 스크린 제어기(242)는 통상적으로, 예를 들어 용량성, 저항성, 적외선, 표면 음파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술들 중 임의의 기술을 이용하여 터치 스크린의 접촉 및 이동 또는 고장을 검출하도록 구성된다. 일부 구현예들에서, 사용자 디바이스(104)는 터치 감지 표면을 포함하지 않는 디스플레이를 포함한다. 일부 구현예들에서, 사용자 디바이스(104)는 별개의 터치 감지 표면을 포함한다. 일부 구현예들에서, 사용자 디바이스(104)는 다른 입력 제어기(들)(244)를 포함한다. 사용자 디바이스(104)가 다른 입력 제어기(들)(244)를 포함하는 경우, 다른 입력 제어기(들)(244)는 통상적으로 다른 입력/제어 디바이스(248), 예컨대 하나 이상의 버튼, 로커 스위치(rocker switch), 썸 휠(thumb-wheel), 적외선 포트, USB 포트 및/또는 스타일러스와 같은 포인터 디바이스에 연결된다.

메모리 인터페이스(202)는 메모리(250)에 연결된다. 일부 구현예들에서, 메모리(250)는 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리와 같은 비일시적(non-transitory) 컴퓨터 판독가능한 매체를 포함한다(예를 들어, 하나 이상의 자기 디스크 저장 디바이스, 하나 이상의 플래시 메모리 디바이스, 하나 이상의 광학 저장 디바이스 및/또는 다른 비휘발성 고체 상태 메모리 디바이스). 일부 구현예들에서, 메모리(250)는 운영 시스템(252), 통신 모듈(254), 그래픽 사용자 인터페이스 모듈(256), 센서 프로세싱 모듈(258), 폰 모듈(260), 애플리케이션(262) 및 이들의 하위세트 또는 상위세트를 저장한다. 운영 시스템(252)은 기본 시스템 서비스를 핸들링하고 하드웨어 의존 작업들을 수행하기 위한 명령어들을 포함한다. 통신 모듈(254)은 하나 이상의 추가 디바이스, 하나 이상의 컴퓨터 및/또는 하나 이상의 서버와의 통신을 가능하게 한다. 그래픽 사용자 인터페이스 모듈(256)은 그래픽 사용자 인터페이스 프로세싱을 가능하게 한다. 센서 프로세싱 모듈(258)은 센서 관련 프로세싱 및 기능(예를 들어, 하나 이상의 마이크로폰(228)을 이용하여 수신된 음성 입력을 프로세싱함)을 가능하게 한다. 전화 모듈(260)은 전화 관련 프로세스 및 기능을 가능하게 한다. 애플리케이션 모듈(262)은, 전자 메시징, 웹브라우징, 미디어 프로세싱, 내비게이션, 이미징 및/또는 다른 프로세스들 및 기능들과 같은 사용자 애플리케이션들의 다양한 기능성을 가능하게 한다. 일부 구현예들에서, 사용자 디바이스(104)는 외부 서비스 제공자들 중 적어도 하나와 각각 연관된 하나 이상의 소프트웨어 애플리케이션(270-1, 270-2)을 메모리(250)에 저장한다.

전술된 바와 같이, 일부 구현예들에서, 메모리(250)는 또한 디지털 어시스턴트의 클라이언트 측 기능들을 제공하기 위해 (예컨대, 디지털 어시스턴트 클라이언트 모듈(264) 내의) 클라이언트 측 디지털 어시스턴트 명령어들 및 다양한 사용자 데이터(266)(예컨대, 사용자-특정 어휘 데이터, 선호도 데이터 및/또는 사용자의 전자 주소록 또는 연락처 목록, 할 일 목록, 쇼핑 목록 등과 같은 다른 데이터)를 저장한다.

다양한 구현예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 디바이스(104)의 다양한 사용자 인터페이스(예컨대, I/O 서브시스템(244))를 통해 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 수용할 수 있다. 디지털 어시스턴트 클라이언트 모듈(264)은 또한 청각적, 시각적 및/또는 촉각적 형태의 출력을 제공하는 것이 가능하다. 예를 들면, 출력은 음성, 사운드, 알람, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션, 진동 및/또는 상기한 것들 중 2개 이상의 조합으로서 제공될 수 있다. 작동 중에, 디지털 어시스턴트 클라이언트 모듈(264)은 통신 서브시스템(224)을 이용하여 디지털 어시스턴트 서버(예를 들어, 디지털 어시스턴트 서버(106), 도 1)와 통신한다.

일부 구현예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 입력과 연관된 콘텍스트(context)를 확립하기 위해 다양한 센서, 서브시스템 및 주변장치 디바이스를 활용하여 사용자 디바이스(104)의 주변 환경으로부터 추가 정보를 수집한다. 일부 구현예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 입력과 함께 콘텍스트 정보 또는 그의 하위세트를 디지털 어시스턴트 서버(예컨대, 디지털 어시스턴트 서버(106), 도 1)에 제공하여 사용자의 의도를 추론하는 것을 돕는다.

일부 구현예들에서, 사용자 입력에 동반될 수 있는 콘텍스트 정보는 센서 정보, 예컨대 조명, 주변 소음, 주변 온도, 주위 환경의 이미지 또는 비디오 등을 포함한다. 일부 구현예들에서, 콘텍스트 정보는 또한 디바이스의 물리적 상태, 예컨대 디바이스 방향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 동작 패턴들, 셀룰러 신호 강도 등을 포함한다. 일부 구현예들에서, 사용자 디바이스(106)의 소프트웨어 상태에 관련된 정보, 예컨대 사용자 디바이스(104)의 실행 중인 프로세스들, 설치된 프로그램들, 과거 및 현재의 네트워크 활동성들, 백그라운드 서비스들, 에러 로그들, 리소스 사용 등이 또한 사용자 입력과 연관된 콘텍스트 정보로서 디지털 어시스턴트 서버(예컨대, 디지털 어시스턴트 서버(106), 도 1)에 제공된다.

일부 구현예들에서, DA 클라이언트 모듈(264)은 디지털 어시스턴트 서버로부터의 요청들에 응답하여 사용자 디바이스(104) 상에 저장된 정보(예컨대, 사용자 데이터(266)의 적어도 일부분)를 선택적으로 제공한다. 일부 구현예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 또한 디지털 어시스턴트 서버(106)(도 1)에 의한 요청 시에 자연 언어 대화 또는 다른 사용자 인터페이스들을 통해 사용자로부터 추가 입력을 이끌어낸다. 디지털 어시스턴트 클라이언트 모듈(264)은, 사용자 요청에서 표현된 사용자의 의도의 의도 추론 및/또는 이행에서 디지털 어시스턴트 서버(106)를 돕기 위해, 추가적인 입력을 디지털 어시스턴트 서버(106)에 전달한다.

일부 구현예들에서, 메모리(250)는 추가 명령어들을 포함할 수 있거나 또는 더 적은 명령어들을 포함할 수 있다. 또한, 사용자 디바이스(104)의 다양한 기능들이 하나 이상의 신호 프로세싱 및/또는 애플리케이션 특정 집적 회로에 포함되는 하드웨어 및/또는 펌웨어에서 구현될 수 있으며, 따라서 사용자 디바이스(104)가 도 2에 도시된 모든 모듈 및 애플리케이션을 포함할 필요는 없다.

도 3a는 일부 구현예들에 따른 예시적인 디지털 어시스턴트 시스템(300)(디지털 어시스턴트로도 지칭됨)의 블록 다이어그램이다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 독립형 컴퓨터 시스템 상에서 구현된다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 다수의 컴퓨터들에 걸쳐서 분포된다. 일부 구현예들에서, 디지털 어시스턴트의 모듈들 및 기능들 중 일부는 서버 부분과 클라이언트 부분으로 나뉘는데, 여기서 클라이언트 부분은 사용자 디바이스(예컨대, 사용자 디바이스(104)) 상에 존재하고, 예컨대 도 1에 도시된 바와 같은 하나 이상의 네트워크들을 통해 서버 부분(예컨대, 서버 시스템(108))과 통신한다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 도 1에 도시된 서버 시스템(108)(및/또는 디지털 어시스턴트 서버(106))의 실시예이다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 사용자 디바이스(예컨대, 사용자 디바이스(104), 도 1)에서 구현되며, 그에 따라 클라이언트-서버 시스템에 대한 필요성을 제거한다. 디지털 어시스턴트 시스템(300)은 디지털 어시스턴트 시스템의 일 예에 불과하며, 디지털 어시스턴트 시스템(300)은 도시된 것보다 더 많은 또는 더 적은 컴포넌트들을 구비할 수도 있거나, 2개 이상의 컴포넌트들을 병합할 수도 있거나, 또는 컴포넌트들의 상이한 구성 또는 배치를 가질 수도 있음을 주목해야만 한다. 도 3a에 도시된 다양한 컴포넌트들은 하나 이상의 신호 프로세싱 및/또는 애플리케이션 특정 집적 회로를 포함하는 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에서 구현될 수 있다.

디지털 어시스턴트 시스템(300)은 메모리(302), 하나 이상의 프로세서(304), 입력/출력(I/O) 인터페이스(306) 및 네트워크 통신 인터페이스(308)를 포함한다. 이러한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인(310)을 통해 서로 통신한다.

일부 구현예들에서, 메모리(302)는 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함한다(예컨대, 하나 이상의 자기 디스크 저장 디바이스, 하나 이상의 플래시 메모리 디바이스, 하나 이상의 광학 저장 디바이스 및/또는 다른 비휘발성 고체 상태 메모리 디바이스들).

I/O 인터페이스(306)는 디스플레이, 키보드, 터치 스크린 및 마이크로폰과 같은 디지털 어시스턴트 시스템(300)의 입력/출력 디바이스들(316)을 사용자 인터페이스 모듈(322)에 연결한다. I/O 인터페이스(306)는, 사용자 인터페이스 모듈(322)과 함께, 사용자 입력(예를 들어, 음성 입력, 키보드 입력, 터치 입력 등)을 수신하여 그에 따라 그것들을 프로세싱한다. 일부 구현예들에서, 디지털 어시스턴트가 독립형 사용자 디바이스 상에서 구현되는 경우, 디지털 어시스턴트 시스템(300)은 도 2의 사용자 디바이스(104)에 대해 기술된 컴포넌트들 및 I/O 및 통신 인터페이스들 중 임의의 것(예컨대, 하나 이상의 마이크로폰들(230))을 포함한다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 디지털 어시스턴트 구현예의 서버 부분을 나타내고, 사용자 디바이스(예컨대, 도 2에 도시된 사용자 디바이스(104)) 상에 존재하는 클라이언트 측 부분을 통해 사용자와 상호작용한다.

일부 구현예들에서, 네트워크 통신 인터페이스(308)는 유선 통신 포트(들)(312) 및/또는 무선 송신 및 수신 회로(314)를 포함한다. 유선 통신 포트(들)는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스(USB), 파이어와이어 등을 통해 통신 신호를 수신하고 송신한다. 무선 회로(314)는 통상적으로 통신 네트워크 및 기타 통신 디바이스로/로부터 RF 신호 및/또는 광학 신호를 수신하고 송신한다. 무선 통신들은, GSM, EDGE, CDMA, TDMA, 블루투스, 와이파이, VoIP, 와이맥스, 또는 임의의 다른 적절한 통신 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수도 있다. 네트워크 통신 인터페이스(308)는 인터넷, 인트라넷 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 근거리 통신망(LAN) 및/또는 도시권 통신망(metropolitan area network, MAN)과 같은 네트워크들을 통해 디지털 어시스턴트 시스템(300)과 다른 디바이스들 사이의 통신을 가능하게 한다.

일부 구현예들에서, 메모리(302)의 비일시적 컴퓨터 판독가능 저장 매체는: 프로그램, 모듈, 명령어 및 운영 시스템(318), 통신 모듈(320), 사용자 인터페이스 모듈(322), 하나 이상의 애플리케이션(324) 및 디지털 어시스턴트 모듈(326) 모두 또는 이들의 하위세트를 포함하는 데이터 구조를 저장한다. 하나 이상의 프로세서(304)는 이들 프로그램, 모듈 및 명령어를 실행하고, 데이터 구조로부터/로 판독/기록한다.

운영 시스템(318)(예컨대, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, iOS, WINDOWS, 또는 VxWorks와 같은 내장형 운영 시스템)은 일반적인 시스템 작업들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어, 펌웨어 및 소프트웨어 컴포넌트들 간의 통신을 가능하게 한다.

통신 모듈(320)은 네트워크 통신 인터페이스(308)를 통해 다른 디바이스들과 디지털 어시스턴트 시스템(300) 사이의 통신을 가능하게 한다. 예를 들어, 통신 모듈(320)은 도 2에 도시된 디바이스(104)의 통신 모듈(254)과 통신할 수 있다. 통신 모듈(320)은 또한 무선 회로(314) 및/또는 유선 통신 포트(312)에 의해 수신되는 데이터를 핸들링하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.

일부 구현예들에서, 사용자 인터페이스 모듈(322)은 I/O 인터페이스(306)를 통해 사용자로부터(예컨대, 키보드, 터치 스크린 및/또는 마이크로폰으로부터) 커맨드 및/또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스 객체들을 제공한다.

애플리케이션들(324)은, 하나 이상의 프로세서(304)에 의해 실행되도록 구성된 프로그램들 및/또는 모듈들을 포함한다. 예를 들어, 디지털 어시스턴트 시스템이 독립형 사용자 디바이스 상에서 구현되면, 애플리케이션들(324)은, 게임, 캘린더 애플리케이션, 내비게이션 애플리케이션, 또는 이메일 애플리케이션과 같은 사용자 애플리케이션들을 포함할 수도 있다. 디지털 어시스턴트 시스템(300)이 서버 팜(server farm) 상에 구현되면, 애플리케이션들(324)은, 예를 들어, 리소스 관리 애플리케이션, 진단 애플리케이션, 또는 스케줄링 애플리케이션을 포함할 수도 있다.

메모리(302)는 또한 디지털 어시스턴트 모듈(또는 디지털 어시스턴트의 서버 부분)(326)을 저장한다. 일부 구현예들에서, 디지털 어시스턴트 모듈(326)은: 입력/출력 프로세싱 모듈(328), 스피치-텍스트(STT) 프로세싱 모듈(330), 자연 언어 프로세싱 모듈(332), 대화 흐름 프로세싱 모듈(334), 작업 흐름 프로세싱 모듈(336), 서비스 프로세싱 모듈(338) 및 사진 모듈(132)과 같은 서브 모듈들, 또는 이들의 하위세트 또는 상위세트를 포함한다. 이 프로세싱 모듈들의 각각은: 온톨로지(360), 어휘 인덱스(344), 사용자 데이터(348), 분류 모듈(349), 중의성 해결(disambiguation) 모듈(350), 작업 흐름 모델(354), 서비스 모델(356), 사진 태깅 모듈(358), 탐색 모듈(360) 및 로컬 태그/사진 스토리지(362)와 같은 디지털 어시스턴트(326)의 데이터 및 모델 중 하나 이상, 또는 이들의 하위세트 또는 상위세트에 대한 액세스를 갖는다.

일부 구현예들에서, 디지털 어시스턴트 모듈(326)에서 구현되는 프로세싱 모듈들(예컨대, 입력/출력 프로세싱 모듈(328), STT 프로세싱 모듈(330), 자연 언어 프로세싱 모듈(332), 대화 흐름 프로세싱 모듈(334), 작업 흐름 프로세싱 모듈(336) 및/또는 서비스 프로세싱 모듈(338)), 데이터 및 모델들을 이용하여, 디지털 어시스턴트 시스템(300)은: 사용자로부터 수신된 자연 언어 입력에서 표현된 사용자의 의도를 식별하는 것; 사용자의 의도를 완전히 추론하는 데 필요한 정보를 (예를 들어, 단어, 이름, 의도 등의 중의성을 해결함으로써) 능동적으로 유도하고 획득하는 것; 추론된 의도를 이행하기 위한 작업 흐름을 결정하는 것; 및 추론된 의도를 이행하기 위해 작업 흐름을 실행하는 것 중 적어도 일부를 수행한다. 일부 구현예들에서, 디지털 어시스턴트는 또한 다양한 이유들로 만족스러운 응답이 사용자에게 제공되지 않았거나 제공될 수 없었을 때 적절한 행동들을 취한다.

일부 구현예들에서, 아래에서 논의되는 바와 같이, 디지털 어시스턴트 시스템(300)이 자연 언어 입력으로부터 디지털 사진에 태그하라는 사용자의 의도를 식별하고, 적절한 정보를 이용하여 디지털 사진을 태그하도록 자연 언어 입력을 프로세싱한다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 자연 언어 입력을 이용한 디지털 사진 탐색, 사진의 자동-태그 등과 같이 사진과 관련된 다른 작업들도 수행한다. 도 3b에 도시된 바와 같이, 일부 구현예들에서, I/O 프로세싱 모듈(328)은 도 3a의 I/O 디바이스(316)를 통해 사용자와 상호작용하거나 또는 도 3a의 네트워크 통신 인터페이스(308)를 통해 사용자 디바이스(예를 들어, 도 1의 사용자 디바이스(104))와 상호작용하여 사용자 입력(예로서, 스피치 입력)을 획득하고 사용자 입력에 대한 응답을 제공한다. I/O 프로세싱 모듈(328)은, 사용자 입력의 수신과 함께 또는 사용자 입력의 수신 직후에, 사용자 디바이스로부터 사용자 입력과 관련된 콘텍스트 정보를 선택적으로 획득한다. 콘텍스트 정보(context information)는 사용자 입력과 관련이 있는 사용자 특정 데이터, 어휘 및/또는 선호사항을 포함한다. 일부 구현예들에서, 콘텍스트 정보는 또한 사용자 요청이 수신될 때의 디바이스(예컨대, 도 1의 사용자 디바이스(104))의 소프트웨어 및 하드웨어 상태들 및/또는 사용자 요청이 수신된 때의 사용자의 주변 환경에 관련된 정보를 포함한다. 일부 구현예들에서, I/O 프로세싱 모듈(328)은 또한 사용자 요청에 관하여 사용자에게 후속 질문들을 전송하고, 그로부터 답변들을 수신한다. 일부 구현예들에서, 사용자 요청이 I/O 프로세싱 모듈(328)에 의해 수신되고 사용자 요청이 스피치 입력을 포함하는 경우, I/O 프로세싱 모듈(328)은 스피치-텍스트 변환을 위해 스피치 입력을 스피치-텍스트(STT) 프로세싱 모듈(330)로 보낸다.

일부 구현예들에서, 스피치-텍스트 프로세싱 모듈(330)은 I/O 프로세싱 모듈(328)을 통해 스피치 입력(예컨대, 음성 녹음에서 캡처된 사용자 발언)을 수신한다. 일부 구현예들에서, 스피치-텍스트 프로세싱 모듈(330)은 음소들의 시퀀스 및 궁극적으로, 하나 이상의 언어들로 기록되는 단어들 또는 토큰(token)들의 시퀀스로서 스피치 입력을 인식하기 위해 다양한 음향 및 언어 모델들을 이용한다. 스피치-텍스트 프로세싱 모듈(330)은 임의의 적절한 스피치 인식 기술, 음향 모델 및 언어 모델, 예컨대 히든 마르코프 모델(Hidden Markov Model), 동적 타임 워핑(Dynamic Time Warping, DTW) 기반 스피치 인식 및 기타 통계 및/또는 분석 기술을 사용하여 구현된다. 일부 구현예들에서, 스피치-텍스트 프로세싱은 적어도 부분적으로 제3자 서비스에 의해 또는 사용자의 디바이스 상에서 수행될 수 있다. 스피치-텍스트 프로세싱 모듈(330)이 스피치-텍스트 프로세싱의 결과물(예를 들어, 단어들 또는 토큰들의 시퀀스)을 획득하면, 의도 추론을 위해 결과물을 자연 언어 프로세싱 모듈(332)로 전달한다. 디지털 어시스턴트(326)의 자연 언어 프로세싱 모듈(332)("자연 언어 프로세서")은 스피치-텍스트 프로세싱 모듈(330)에 의해 생성된 단어들 또는 토큰들의 시퀀스("토큰 시퀀스")를 취하여, 이러한 토큰 시퀀스를 디지털 어시스턴트에 의해 인식된 하나 이상의 "행동가능한 의도(actionable intent)"와 연관시키고자 시도한다. 본 명세서에서 사용되는 "행동가능한 의도"는 디지털 어시스턴트(326) 및/또는 디지털 어시스턴트 시스템(300)(도 3a)에 의해 수행될 수 있는 작업을 나타내며, 작업 흐름 모델(354)에서 구현되는 연관된 작업 흐름을 갖는다. 연관된 작업 흐름은 디지털 어시스턴트 시스템(300)이 작업을 수행하기 위하여 취하는 일련의 프로그래밍된 행동 및 단계들이다. 디지털 어시스턴트 시스템의 능력의 범위는 작업 흐름 모델(354) 내에서 구현되고 저장된 작업 흐름들의 수와 다양성에 의존하거나, 또는 다시 말하면, 디지털 어시스턴트 시스템(300)이 인식하는 "행동가능한 의도"의 수와 다양성에 의존한다. 그러나, 디지털 어시스턴트 시스템(300)의 실효성은 자연 언어로 표현된 사용자 요청으로부터 올바른 "행동가능한 의도(들)"를 추론하기 위한 디지털 어시스턴트 시스템의 능력에도 의존한다.

일부 구현예들에서, 스피치-텍스트 프로세싱 모듈(330)로부터 획득된 단어들 또는 토큰들의 시퀀스뿐만 아니라, 자연 언어 프로세서(332)는 또한 (예컨대, I/O 프로세싱 모듈(328)로부터) 사용자 요청과 관련된 콘텍스트 정보를 수신한다. 자연 언어 프로세서(332)는, 스피치-텍스트 프로세싱 모듈(330)로부터 수신된 토큰 시퀀스에 포함된 정보를 명확히 하고, 보충하고/하거나 더 정의하기 위해 콘텍스트 정보를 선택적으로 사용한다. 콘텍스트 정보는, 예를 들어, 사용자 선호사항, 사용자 디바이스의 하드웨어 및/또는 소프트웨어 상태, 사용자 요청 전, 요청 중, 또는 요청 직후에 수집된 센서 정보, 디지털 어시스턴트와 사용자 간의 이전 상호작용(예를 들어, 대화) 등을 포함한다.

일부 구현예들에서, 자연 언어 프로세싱은 온톨로지(360)에 기초한다. 온톨로지(360)는 복수의 노드들을 포함하고, 각각의 노드가 하나 이상의 "행동가능한 의도들" 또는 다른 "속성들"과 관련된 "행동가능한 의도" 또는 "속성"을 나타내는 계층적 구조이다. 전술된 바와 같이, "행동가능한 의도"는 디지털 어시스턴트 시스템(300)이 수행할 수 있는 작업(예를 들어, "행동가능"하거나 작용될 수 있는 작업)을 나타낸다. "속성"은 행동가능한 의도와 연관된 파라미터 또는 다른 속성의 하위-양태를 나타낸다. 온톨로지(360)에서 행동가능한 의도 노드와 속성 노드의 연결성은 속성 노드에 의해 표현되는 파라미터가 행동가능한 의도 노드에 의해 표현되는 작업에 관련되는 방식을 정의한다. 일부 구현예들에서, 온톨로지(360)는 행동가능한 의도 노드들 및 속성 노드들로 구성된다. 온톨로지(360) 내에서, 각각의 행동가능한 의도 노드는 하나 이상의 속성 노드들에 직접적으로 또는 하나 이상의 중간 속성 노드들을 통해 링크된다. 마찬가지로, 각각의 속성 노드는 하나 이상의 행동가능한 의도 노드들에 직접적으로 또는 하나 이상의 중간 속성 노드들을 통해 링크된다. 예를 들어, 도 3c에 도시된 온톨로지(360)는 행동가능한 의도 노드인 "레스토랑 예약" 노드를 포함한다. 속성 노드들 "레스토랑", (예약에 대한) "날짜/시간" 및 "인원수"가 각각 "레스토랑 예약" 노드(즉, 행동가능한 의도 노드)에 직접 링크된다. 또한, 속성 노드들 "요리", "가격대", "전화 번호" 및 "위치"는 속성 노드 "레스토랑"의 하위-노드들이며, 각각이 중간 속성 노드 "레스토랑"을 통해 "레스토랑 예약" 노드(즉, 행동가능한 의도 노드)에 링크된다. 다른 예에서, 도 3c에 도시된 온톨로지(360)는 또한 다른 행동가능한 의도 노드인 "리마인더 설정" 노드를 포함한다. 속성 노드들 (리마인더를 설정하기 위한) "날짜/시간" 및 (리마인더를 위한) "제목"이 각각 "리마인더 설정" 노드에 링크된다. 속성 "날짜/시간"이 레스토랑 예약 작업 및 리마인더 설정 작업 모두와 관련되기 때문에, 속성 노드 "날짜/시간"은 온톨로지(360)에서 "레스토랑 예약" 노드 및 "리마인더 설정" 노드 모두에 링크된다.

자신이 링크된 개념 노드들과 함께, 행동가능한 의도 노드는 "도메인"으로서 기술될 수 있다. 본 논의에서, 각각의 도메인은 각각의 행동가능한 의도와 연관되며, 특정 행동가능한 의도와 연관된 노드들의 그룹(및 그들 간의 관계)을 지칭한다. 예를 들어, 도 3c에 도시된 온톨로지(360)는 온톨로지(360) 내의 레스토랑 예약 도메인(362)의 일례 및 리마인더 도메인(364)의 일례를 포함한다. 레스토랑 예약 도메인은 행동가능한 의도 노드 "레스토랑 예약", 속성 노드들 "레스토랑", "날짜/시간" 및 "인원수" 및 하위-속성 노드들 "요리", "가격대", "전화 번호" 및 "위치"를 포함한다. 리마인더 도메인(364)은 행동가능한 의도 노드 "리마인더 설정" 및 속성 노드들 "제목" 및 "날짜/시간"을 포함한다. 일부 구현예들에서, 온톨로지(360)는 다수의 도메인들로 구성된다. 각각의 도메인은 하나 이상의 속성 노드들을 하나 이상의 다른 도메인들과 공유할 수도 있다. 예를 들어, "날짜/시간" 속성 노드는 레스토랑 예약 도메인(362) 및 리마인더 도메인(364)에 더하여 다수의 다른 도메인들(예를 들어, 스케줄링 도메인, 여행 예약 도메인, 영화 티켓 도메인 등)과 연관될 수 있다. 도 3c가 온톨로지(360) 내의 두 개의 예시적인 도메인들을 도시하지만, 온톨로지(360)는 "전화 통화 개시", "방향 찾기", "미팅 스케줄링", "메시지 전송" 및 "질문에 대한 답변 제공", "사진 태그" 등과 같은 다른 도메인들(또는 행동가능한 의도들)을 포함할 수 있다. 예를 들어, "메시지 전송" 도메인은 "메시지 전송" 행동가능한 의도 노드와 연관되고, "수신자(들)", "메시지 타입" 및 "메시지 내용"과 같은 속성 노드들을 추가로 포함할 수 있다. 속성 노드 "수신자"는 예를 들어 "수신자 이름" 및 "메시지 주소"와 같은 하위-속성 노드들에 의해 추가로 정의될 수 있다.

일부 구현예들에서, 온톨로지(360)는 디지털 어시스턴트가 이해할 수 있고 영향을 미칠 수 있는 모든 도메인들(및 이에 따른 행동가능한 의도들)을 포함한다. 일부 구현예들에서, 온톨로지(360)는, 예컨대 온톨로지(360) 내의 도메인들 또는 노드들을 추가하거나 삭제함으로써 또는 노드들 간의 관계를 수정함으로써 수정될 수 있다.

일부 구현예들에서, 다수의 관련된 행동가능한 의도들과 연관된 노드들이 온톨로지(360) 내의 "상위 도메인" 하에서 클러스터될 수 있다. 예를 들어, "여행" 상위 도메인이 여행과 관련된 속성 노드들 및 행동가능한 의도 노드들의 클러스터를 포함할 수 있다. 여행과 관련된 행동가능한 의도 노드들은 "항공권 예약", "호텔 예약", "차량 렌트", "방향 잡기", "관심 지점 찾기" 등을 포함할 수 있다. 동일한 상위 도메인(예를 들어, "여행" 상위 도메인) 하의 행동가능한 의도 노드들은 다수의 속성 노드들을 공통으로 가질 수 있다. 예를 들어, "항공권 예약", "호텔 예약", "차량 렌트", "방향 잡기", "관심 지점 찾기"에 대한 행동가능한 의도 노드들은 하나 이상의 속성 노드들 "시작 위치", "목적지", "출발 날짜/시간", "도착 날짜/시간" 및 "인원수"를 공유할 수 있다.

일부 구현예들에서, 온톨로지(360)에서 각각의 노드는 노드에 의해 표현되는 속성 또는 행동가능한 의도와 관련된 단어들 및/또는 구들의 세트와 연관된다. 각각의 노드와 연관된 단어들 및/또는 구들의 개별 세트는 노드와 연관된 이른바 "어휘"이다. 각각의 노드와 연관된 단어들 및/또는 구들의 개별 세트는 노드에 의해 표현되는 속성 또는 행동가능한 의도와 연관되어 어휘 인덱스(344)(도 3b)에 저장될 수 있다. 예를 들어, 도 3b로 돌아오면, "레스토랑"의 속성에 대한 노드와 연관된 어휘가 "음식", "음료", "요리", "배고픔", "먹다", "피자", "패스트 푸드", "식사" 등과 같은 단어들을 포함할 수 있다. 다른 예를 들면, "전화 통화 개시"의 행동가능한 의도에 대한 노드와 연관된 어휘는 "통화", "전화", "다이얼", "신호음", "이 번호로 전화", "-에게 전화 걸기" 등과 같은 단어들 및 구들을 포함할 수 있다. 어휘 인덱스(344)는 상이한 언어들의 단어들과 구들을 선택적으로 포함한다. 일부 구현예들에서, 도 3b에 도시된 자연 언어 프로세서(332)는 스피치-텍스트 프로세싱 모듈(330)로부터 토큰 시퀀스(예컨대, 텍스트 스트링)를 수신하고, 토큰 시퀀스 내의 단어들에 의해 어떤 노드들이 연루되는지를 결정한다. 일부 구현예들에서, 만약 토큰 시퀀스 내의 단어 또는 구가 (어휘 인덱스(344)를 통해) 온톨로지(360) 내의 하나 이상의 노드와 연관되는 것으로 발견되면, 단어 또는 구는 이러한 노드들을 "트리거" 또는 "활성화"할 것이다. 다수의 노드들이 활성화된 노드들의 수 및/또는 상대적인 중요도에 기초하여 "트리거된" 경우에, 자연 언어 프로세서(332)는 디지털 어시스턴트가 수행하도록 사용자가 의도한 작업(또는 작업 유형)으로서 행동가능한 의도들 중 하나를 선택할 것이다. 일부 구현예들에서, 가장 "트리거된" 노드들을 갖는 도메인이 선택된다. 일부 구현예들에서, (예컨대, 그의 다양한 트리거된 노드들의 상대적 중요도에 기초하여) 최고 신뢰 값을 갖는 도메인이 선택된다. 일부 구현예들에서, 도메인은 트리거된 노드들의 수 및 중요도의 조합에 기초하여 선택된다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)이 사용자로부터의 유사한 요청을 이전에 정확하게 해석했는지 여부와 같은 추가 인자들이 또한 노드를 선택하는 데 있어 고려된다.

일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 또한 어휘 인덱스(344) 내의 특정 엔티티(entity)들의 이름들을 저장하여, 이들 이름들 중 하나가 사용자 요청에서 검출되는 경우, 자연 언어 프로세서(332)는 이름이 온톨로지 내의 속성 또는 하위-속성의 특정 사례를 지칭한다는 것을 인식할 수 있을 것이다. 일부 구현예들에서, 특정 엔티티들의 이름은 사업체, 레스토랑, 사람, 영화 등의 이름이다. 일부 구현예들에서, 디지털 어시스턴트 시스템(300)은 사용자의 주소록 또는 연락처 목록, 영화 데이터베이스, 음악가 데이터베이스 및/또는 레스토랑 데이터베이스와 같은 다른 데이터 소스들로부터 특정 엔티티 이름을 검색할 수 있고 식별할 수 있다. 일부 구현예들에서, 토큰 시퀀스 내의 단어가 (사용자 주소록 또는 연락처 목록 내의 이름과 같은) 특정 엔티티의 이름임을 자연 언어 프로세서(332)가 식별하는 경우, 그 단어는 사용자 요청에 대한 온톨로지 내의 행동가능한 의도를 선택함에 있어서 추가적인 중요성을 부여받는다. 예를 들어, "Mr. Santo"라는 단어들이 사용자 요청으로부터 인식된 경우, 성인 "Santo"가 사용자의 연락처 목록 내의 연락처들 중 하나로서 어휘 인덱스(344) 내에서 발견되며, 그 다음 사용자 요청이 "메시지 전송" 또는 "전화 통화 개시" 도메인에 대응할 가능성이 있다. 다른 예를 들면, "ABC 카페"라는 단어들이 사용자 요청에서 발견된 경우, 용어 "ABC 카페"가 사용자의 도시 내의 특정 레스토랑의 이름으로서 어휘 인덱스(344)에서 발견되며, 그 다음 사용자 요청이 "레스토랑 예약" 도메인에 대응할 가능성이 있다.

사용자 데이터(348)는, 사용자 특정 어휘, 사용자 선호사항, 사용자 주소, 사용자의 디폴트 언어와 제2 언어, 사용자의 연락처 목록 및 각각의 사용자에 대한 다른 단기 또는 장기 정보와 같은 사용자 특정 정보를 포함한다. 자연 언어 프로세서(332)는 사용자 특정 정보를 사용해서 사용자 입력에 포함된 정보를 보충하여 사용자 의도를 추가적으로 정의한다. 예를 들어, "나의 친구들을 나의 생일 파티에 초대해주세요"라는 사용자 요청에 대해서, 사용자가 자신의 요청 내에 이러한 정보를 명확하게 제공할 것을 요구하지 않고 자연 언어 프로세서(332)가 "친구들"이 누구이며 "생일 파티"가 언제 어디에서 열리는지를 결정하기 위해 사용자 데이터(348)에 액세스할 수 있다.

일부 구현예들에서, 자연 언어 프로세서(332)는 분류 모듈(349)을 포함한다. 일부 구현예들에서, 분류 모듈(349)은, 아래에서 더 상세히 논의되는 바와 같이, (예컨대, 디지털 사진과 관련된 스피치 입력에 대응하는) 텍스트 스트링 내의 하나 이상의 용어들 각각이 엔티티, 활동성, 또는 위치 중 하나인지 여부를 결정한다. 일부 구현예들에서, 분류 모듈(349)은 하나 이상의 용어들의 각각의 용어를 엔티티, 활동성, 또는 위치 중 하나로서 분류한다. 자연 언어 프로세서(332)가 사용자 요청에 기초하여 행동가능한 의도(또는 도메인)를 식별하면, 자연 언어 프로세서(332)는 식별된 행동가능한 의도를 나타내기 위하여 구조화된 쿼리(structured query)를 생성한다. 일부 구현예들에서, 구조화된 쿼리는, 행동가능한 의도를 위한 도메인 내의 하나 이상의 노드에 대한 파라미터들을 포함하고, 파라미터들 중 적어도 일부에는 사용자 요청에 명시된 특정 정보 및 요건들이 기재된다. 예를 들어, 사용자는 "초밥집에 7시로 저녁 예약을 해주세요"라고 말할 수 있다. 이러한 경우에, 자연 언어 프로세서(332)는 사용자 입력에 기초하여 행동가능한 의도가 "레스토랑 예약"인 것으로 올바르게 식별하는 것이 가능할 수 있다. 온톨로지에 따라서, "레스토랑 예약" 도메인에 대해 구조화된 쿼리가 {요리}, {시간}, {날짜}, {인원수} 등과 같은 파라미터들을 포함할 수 있다. 사용자의 발언에 포함된 정보에 기초하여, 자연 언어 프로세서(332)는 레스토랑 예약 도메인에 대해 부분적인 구조화된 쿼리를 생성할 수 있으며, 여기에서 부분적인 구조화된 쿼리는 파라미터들 {요리= "초밥"} 및 {시간= "저녁 7시"}를 포함한다. 그러나, 이러한 예에서, 사용자의 발언은 도메인과 연관된 구조화된 쿼리를 완성하기에 불충분한 정보를 포함한다. 따라서, {인원수} 및 {날짜}와 같은 다른 필요한 파라미터들이 현재 이용가능한 정보에 기초하여 구조화된 쿼리에서 식별되지 않는다. 일부 구현예들에서, 자연 언어 프로세서(332)는 수신된 콘텍스트 정보를 구조화된 쿼리의 일부 파라미터들에 기재한다. 예를 들어, 만약 사용자가 "내 근처에 있는" 초밥 레스토랑을 요청하였다면, 자연 언어 프로세서(332)는 사용자 디바이스(104)로부터의 GPS 좌표를 이용하여 구조화된 쿼리 내에 {위치} 파라미터를 이주시킬 수 있다.

일부 구현예들에서, 자연 언어 프로세서(332)는 (임의의 완성된 파라미터들을 포함하는) 구조화된 쿼리를 작업 흐름 프로세싱 모듈(336)("작업 흐름 프로세서")로 전달한다. 작업 흐름 프로세서(336)는: 자연 언어 프로세서(332)로부터 구조화된 쿼리를 수신하는 것, 구조화된 쿼리를 완성하는 것, 사용자의 궁극적인 요청을 "완성"하기 위해 요구되는 행동들을 수행하는 것 중 하나 이상을 수행하도록 구성된다. 일부 구현예들에서, 이들 작업들을 완수하는 데 필요한 다양한 절차들이 작업 흐름 모델(354)에서 제공된다. 일부 구현예들에서, 작업 흐름 모델(354)은 사용자로부터 추가 정보를 획득하기 위한 절차 및 행동가능한 의도와 연관된 행동들을 수행하기 위한 작업 흐름들을 포함한다. 위에서 설명된 바와 같이, 구조화된 쿼리를 완성시키기 위해, 작업 흐름 프로세서(336)는 추가적인 정보를 얻고/얻거나 잠재적으로 중의적인 발언들을 명확하게 하도록 사용자와 추가적인 대화를 개시할 필요가 있을 수도 있다. 이러한 상호작용이 필요한 경우, 작업 흐름 프로세서(336)는 사용자와의 대화에 관여하기 위해 대화 프로세싱 모듈(334)("대화 프로세서")을 호출한다. 일부 구현예들에서, 대화 프로세싱 모듈(334)은 어떻게(그리고/또는 언제) 사용자에게 추가 정보를 요청할 것인지 결정하고, 사용자 응답들을 수신하고 프로세싱한다. 일부 구현예들에서, 질문들은 I/O 프로세싱 모듈(328)을 통해 사용자들에게 제공되고 이들로부터 답변들이 수신된다. 예를 들어, 대화 프로세싱 모듈(334)은 청각적 및/또는 시각적 출력을 통해 사용자에게 대화 출력을 표시하고, 구두의 또는 물리적(예를 들어, 터치 제스처) 응답을 통해 사용자로부터 입력을 수신한다. 위의 예시에서 계속하여, 작업 흐름 프로세서(336)가 도메인 "레스토랑 예약"과 연관된 구조화된 쿼리에 대한 "인원수" 및 "날짜" 정보를 결정하도록 대화 프로세서(334)를 호출하면, 대화 프로세서(334)는 사용자에게 전달하기 위한 "인원수는?" 및 "날짜는?"과 같은 질문들을 생성한다. 사용자로부터 대답이 수신되면, 대화 프로세싱 모듈(334)은 구조화된 쿼리에 부족한 정보를 기재하거나 정보를 작업 흐름 프로세서(336)에 전달하여 구조화된 쿼리로부터 부족한 정보를 완성한다.

몇몇 경우들에서, 작업 흐름 프로세서(336)는 하나 이상의 중의적인 속성들을 갖는 구조화된 쿼리를 수신할 수도 있다. 예를 들어, "메시지 전송" 도메인에 대한 구조화된 쿼리는 의도된 수신자가 "Bob"임을 나타낼 수 있고, 이때 사용자가 "Bob"이라는 이름의 다수의 연락처를 가지고 있을 수 있다. 작업 흐름 프로세서(336)는 대화 프로세서(334)가 이러한 구조화된 쿼리의 속성의 중의성을 해결할 것을 요청할 것이다. 그 결과, 대화 프로세서(334)는 사용자에게 "어떤 Bob?"이라고 물어볼 수 있고, 사용자가 선택할 수 있는 "Bob"이라는 이름의 연락처들의 목록을 디스플레이(또는 판독)할 수 있다.

일부 구현예들에서, 대화 프로세서(334)는 중의성 해결 모듈(350)을 포함한다. 일부 구현예들에서, 중의성 해결 모듈(350)은 하나 이상의 중의적 용어들(예컨대, 디지털 사진과 관련된 스피치 입력에 대응하는 텍스트 스트링 내의 하나 이상의 중의적 용어들)의 중의성을 해결한다. 일부 구현예들에서, 중의성 해결 모듈(350)은 하나 이상의 용어들 중 제1 용어가 다수의 후보 의미들을 가짐을 식별하고, 사용자에게 제1 용어에 관한 추가 정보를 프롬프트하고, 프롬프트에 응답하여 사용자로부터 추가 정보를 수신하고, 추가 정보에 따라 제1 용어에 관련된 엔티티, 활동성, 또는 위치를 식별한다.

일부 구현예들에서, 중의성 해결 모듈(350)은 대명사들의 중의성을 해결한다. 그러한 구현예들에서, 중의성 해결 모듈(350)은 하나 이상의 용어들 중 하나를 대명사로서 식별하고, 대명사가 지칭하는 명사를 결정한다. 일부 구현예들에서, 중의성 해결 모듈(350)은 전자 디바이스의 사용자와 관련된 연락처 목록을 사용함으로써 대명사가 지칭하는 명사를 결정한다. 대안적으로, 또는 추가로, 중의성 해결 모듈(350)은 대명사가 이전에 태그했던 디지털 사진과 관련된 이전 스피치 입력에서 식별된 엔티티, 활동성, 또는 위치의 이름으로서 지칭하는 명사를 결정한다. 대안적으로, 또는 추가로, 중의성 해결 모듈(350)은 대명사가 이전에 태그했던 디지털 사진과 관련된 이전 스피치 입력에 기초하여 식별된 사람의 이름으로서 지칭하는 명사를 결정한다. 일부 구현예들에서, 중의성 해결 모듈(350)은 용어들 중 하나 이상의 것의 의미를 결정하기 위해 핸드헬드 전자 디바이스(예컨대, 사용자 디바이스(104))의 하나 이상의 센서들(예컨대, 근접 센서(214), 광 센서(212), GPS 수신기(213), 온도 센서(215) 및 모션 센서(210))로부터 획득된 정보에 액세스한다. 일부 구현예들에서, 중의성 해결 모듈(350)은 엔티티, 활동성, 또는 위치 중 하나와 각각 관련되는 두 개의 용어들을 식별한다. 예를 들어, 두 개의 용어들 중 제1의 것은 사람을 지칭하고, 두 개의 용어들 중 제2의 것은 위치를 지칭한다. 일부 구현예들에서, 중의성 해결 모듈(350)은 엔티티, 활동성, 또는 위치 중 하나와 각각 관련되는 세 개의 용어들을 식별한다.

작업 흐름 프로세서(336)가 행동가능한 의도에 대한 구조화된 쿼리를 완성시키면, 작업 흐름 프로세서(336)는 행동가능한 의도와 관련된 궁극적인 작업을 수행하도록 진행한다. 따라서, 작업 흐름 프로세서(336)는 구조화된 쿼리에 포함된 특정 파라미터에 따라 작업 흐름 모델에서 단계 및 명령어를 실행한다. 예를 들어, "레스토랑 예약"의 행동가능한 의도에 대한 작업 흐름 모델은 레스토랑에 접촉하여 특정 시간에 특정 인원수에 대해 실질적으로 예약할 것을 요청하는 단계들 및 명령어들을 포함할 수 있다. 예를 들어, {레스토랑 예약, 레스토랑 = ABC 카페, 날짜 = 3/12/2012, 시간 = 오후 7시, 인원수 = 5}와 같은 구조화된 쿼리를 이용하여, 작업 흐름 프로세서(336)가: (1) ABC 카페의 서버 또는 ABC 카페와 같은 다수의 레스토랑에 대한 예약을 수용하도록 구성된 레스토랑 예약 시스템에 로그인하는 단계, (2) 웹사이트 상에서 소정 양식에 날짜, 시간 및 인원수 정보를 입력하는 단계, (3) 양식을 제출하는 단계 및 (4) 사용자의 캘린더에 예약에 대한 캘린더 입력을 행하는 단계들을 수행할 수 있다. 아래에서 더 상세히 기술되는 다른 예에서, 작업 흐름 프로세서(336)는, 예컨대 사진 모듈(132)과 함께, 음성 입력에 응답하여 디지털 사진들을 태그하는 것 또는 검색하는 것과 관련되는 단계들 및 명령어들을 실행한다. 일부 구현예들에서, 작업 흐름 프로세서(336)는 사용자 입력 내에서 요청된 작업을 완수하기 위해 또는 사용자 입력 내에서 요청된 정보제공 답변을 제공하기 위해 서비스 프로세싱 모듈(338)("서비스 프로세서")의 지원을 사용한다. 예를 들어, 서비스 프로세서(338)는 전화 통화, 캘린더 입력 설정, 지도 탐색 호출, 사용자 디바이스 상에 설치된 다른 사용자 애플리케이션들 호출 또는 그와의 상호작용 및 제3자 서비스(예를 들어, 레스토랑 예약 포털, 소셜 네트워킹 웹사이트 또는 서비스, 은행 포털 등)의 호출 또는 그와의 상호작용을 위해 작업 흐름 프로세서(336)를 대신하여 행동할 수 있다. 일부 구현예들에서, 각각의 서비스에 의해 요구되는 프로토콜들 및 애플리케이션 프로그래밍 인터페이스(API)들은 서비스 모델들(356)의 각각의 서비스 모델에 의해 명시될 수 있다. 서비스 프로세서(338)는 서비스를 위한 적절한 서비스 모델에 액세스하고 서비스 모델에 따른 서비스에 의해 요구되는 프로토콜 및 API에 따라 서비스에 대한 요청을 생성한다.

예를 들어, 레스토랑이 온라인 예약 서비스를 가능하게 한 경우, 레스토랑은 예약에 필요한 파라미터 및 온라인 예약 서비스에 필요한 파라미터들의 값을 전달하기 위한 API를 명시하는 서비스 모델을 제출할 수 있다. 작업 흐름 프로세서(336)에 의해 요청되는 경우, 서비스 프로세서(338)는 서비스 모델(356)에 저장된 웹 주소를 사용하여 온라인 예약 서비스와의 네트워크 접속을 설정하고, 온라인 예약 서비스의 API에 따른 포맷으로 예약에 필요한 파라미터(예를 들어, 시간, 날짜, 인원수)를 온라인 예약 인터페이스에 전송할 수 있다.

일부 구현예들에서, 자연 언어 프로세서(332), 대화 프로세서(334) 및 작업 흐름 프로세서(336)는 사용자의 의도를 추론 및 정의하고, 사용자 의도를 더 명확히 하고 세밀하게 하도록 정보를 획득하고, 최종적으로 사용자의 의도를 이행하기 위해 응답을 생성(예를 들어, 사용자에게 출력을 제공하거나, 작업을 완수)하도록 총체적이고 반복적으로 사용된다.

일부 구현예들에서, 사용자의 요청을 이행하는 데 필요한 모든 작업들이 수행된 후, 디지털 어시스턴트(326)는 확인 응답을 표현하고, I/O 프로세싱 모듈(328)을 통해 사용자에게 응답을 회신한다. 사용자 요청이 정보를 제공하는 대답을 요구하는 경우, 확인 응답은 사용자에게 요청된 정보를 표시한다. 일부 구현예들에서, 디지털 어시스턴트는 또한 사용자가 디지털 어시스턴트(326)에 의해 생성된 응답에 만족하는지 여부를 나타내도록 사용자에게 요청한다.

이제 일부 구현예들에 따른 음성 트리거 시스템(400)의 컴포넌트들을 도시한 블록 다이어그램인 도 4에 집중한다. (음성 트리거 시스템(400)은 음성에만 제한되지 않으며, 본 명세서에 기술된 구현예들은 비-음성 사운드들에도 동일하게 적용된다.) 음성 트리거 시스템(400)은 전자 디바이스(104) 내의 다양한 컴포넌트들, 모듈들 및/또는 소프트웨어 프로그램들로 구성된다. 일부 구현예들에서, 음성 트리거 시스템(400)은 각각이 오디오 버스(401)에 연결된 노이즈 검출기(402), 사운드-타입 검출기(404), 트리거 사운드 검출기(406) 및 스피치-기반 서비스(408) 및 오디오 서브시스템(226)을 포함한다. 일부 구현예들에서, 더 많거나 더 적은 수의 이러한 모듈들이 사용된다. 사운드 검출기(402, 404, 406)는 모듈들로 지칭될 수 있으며, 하드웨어(예로서, 회로, 메모리, 프로세서 등), 소프트웨어(예로서, 프로그램, 소프트웨어-온-칩, 펌웨어 등) 및/또는 본 명세서에 기술된 기능을 수행하기 위한 이들의 임의의 조합들을 포함할 수 있다. 일부 구현예들에서, 사운드 검출기들은 파선들에 의해 도 4에 도시된 바와 같이, (예를 들어, 통신 버스를 통해) 서로에게 통신상, 프로그램상, 물리적으로 및/또는 동작상 연결된다. (설명의 용이성을 위해서, 도 4는 각각의 사운드 검출기가 오직 인접한 사운드 검출기들에만 연결된 것으로 도시한다. 각각의 사운드 검출기는 임의의 다른 사운드 검출기들에도 연결될 수 있다는 것이 이해될 것이다.)

일부 구현예들에서, 오디오 서브시스템(226)은 코덱(410), 오디오 디지털 신호 프로세서(DSP)(412) 및 메모리 버퍼(414)를 포함한다. 일부 구현예들에서, 오디오 서브시스템(226)은 하나 이상의 마이크로폰(230)(도 2) 및 하나 이상의 스피커(228)(도 2)에 연결된다. 오디오 서브시스템(226)은 프로세싱 및/또는 분석을 위해 (전화 및/또는 전화의 기저대역 서브시스템과 같은 다른 컴포넌트들 또는 모듈들뿐만 아니라) 사운드 검출기(402, 404, 406) 및 스피치-기반 서비스(408)에도 사운드 입력을 제공한다. 일부 구현예들에서, 오디오 서브시스템(226)은 적어도 하나의 마이크로폰(418) 및 적어도 하나의 스피커(420)를 포함하는 외부 오디오 시스템(416)에 연결된다.

일부 구현예들에서, 스피치-기반 서비스(408)는 음성-기반 디지털 어시스턴트이며, 도 1 내지 도 3c를 참조하여 전술된 디지털 어시스턴트 시스템의 하나 이상의 컴포넌트 또는 기능에 대응한다. 일부 구현예들에서, 스피치-기반 서비스는 일부 구현예들에서 스피치-텍스트 서비스, 딕테이션 서비스 등이며, 노이즈 검출기(402)는 오디오 서브시스템(226)으로부터의 사운드 입력이 진폭 임계값과 같은 사전결정된 조건을 만족시키는지 여부를 결정하도록 오디오 채널을 모니터링한다. 오디오 채널은 하나 이상의 마이크로폰(230)(도 2)과 같은 하나 이상의 사운드 픽업 디바이스에 의해 수신된 오디오 정보의 스트림에 대응한다. 오디오 채널은 오디오 정보를 프로세싱 및/또는 전송하는 프로세싱의 상태 또는 특정 하드웨어와 무관한 오디오 정보를 지칭한다. 예를 들어, 오디오 채널은 마이크로폰(230)으로부터의 아날로그식 전기 임펄스(및/또는 이것이 전파되는 회로)뿐만 아니라, (예를 들어, 오디오 서브시스템(226) 및/또는 전자 디바이스(104)의 임의의 다른 오디오 프로세싱 시스템에 의한) 아날로그식 전기 임펄스의 프로세싱으로 발생한 디지털식으로 인코딩된 오디오 스트림을 지칭할 수 있다.

일부 구현예들에서, 사전결정된 조건은 사운드 입력이 사전결정된 시간의 길이 동안 소정의 볼륨 위에 있는지의 여부이다. 일부 구현예들에서, 노이즈 검출기는 (사운드-타입 검출기(404), 트리거 워드 검출기(406) 및/또는 스피치-기반 서비스(408)에 의해 수행되는 것과 같은) 다른 타입의 분석에 비교하여 상대적으로 작은 컴퓨터 및 배터리 리소스를 요구하는 사운드 입력의 시간-도메인 분석을 사용한다. 일부 구현예들에서, 예를 들어 주파수-도메인 분석을 포함하는 다른 타입의 신호 프로세싱 및/또는 오디오 분석이 사용된다. 만약 노이즈 검출기(402)가 사운드 입력이 사전결정된 조건을 만족시킨다고 결정한다면, (하나 이상의 프로세싱 루틴을 개시하기 위해 제어 신호를 제공함으로써 및/또는 업스트림 사운드 검출기에 전력을 제공함으로써) 사운드-타입 검출기(404)와 같은 업스트림 사운드 검출기를 개시한다. 일부 구현예들에서, 업스트림 사운드 검출기는 다른 조건들이 만족되는 것에 응답하여 개시된다. 예를 들어, 일부 구현예들에서, 업스트림 사운드 검출기는 디바이스가 (예를 들어, 광의 임계 레벨을 검출하는 광 검출기에 기초하여) 밀폐된 공간 내에 보관되어 있지 않다는 결정에 응답하여 개시된다.

사운드-타입 검출기(404)는 사운드 입력이 사람의 음성, 휘파람, 손뼉 등의 특징 사운드와 같은 소정의 타입의 사운드에 대응하는지 여부를 결정하도록 오디오 채널을 모니터링한다. 사운드-타입 검출기(404)가 인식하도록 구성된 사운드의 타입은 음성 트리거가 인식하도록 구성된 특정 트리거 사운드(들)에 대응할 것이다. 트리거 사운드가 구술된 단어 또는 구인 구현예들에서, 사운드-타입 검출기(404)는 "음성 활동 검출기(VAD)"를 포함한다. 일부 구현예들에서, 사운드-타입 검출기(404)는 사운드 입력의 주파수-도메인 분석을 사용한다. 예를 들어, 사운드-타입 검출기(404)는 (예를 들어, 푸리에 변환(Fourier transform)을 이용하여) 수신된 사운드 입력의 스펙트로그램(spectrogram)을 생성하고, 사운드 입력이 특정 타입 또는 카테고리의 사운드(예를 들어, 사람의 스피치)에 대응할 가능성이 있는지 여부를 결정하도록 사운드 입력의 스펙트럼 컴포넌트들을 분석한다. 따라서, 트리거 사운드가 구술된 단어 또는 구인 구현예들에서, 만약 오디오 채널이 주변 사운드(예를 들어, 교통 소음)를 듣지만 사람의 스피치를 듣지 않는다면, VAD는 트리거 사운드 검출기(406)를 개시하지 않을 것이다. 일부 구현예들에서, 사운드-타입 검출기(404)는 임의의 다운스트림 사운드 검출기(예를 들어, 노이즈 검출기(402))의 사전결정된 조건이 만족되는 한 활동적으로 남아있게 된다. 예를 들어, 일부 구현예들에서, 사운드-타입 검출기(404)는 사운드 입력이 (노이즈 검출기(402)에 의해 결정된 바와 같은) 사전결정된 진폭 임계값 위에 있는 사운드를 포함하는 한 활동적으로 남아있으며, 사운드가 사전결정된 임계값 아래로 하강하는 경우 비활성화된다. 일부 구현예들에서, 한번 개시되면, 사운드-타입 검출기(402)는 타이머의 만료(예를 들어, 1, 2, 5, 또는 10초, 또는 임의의 다른 적절한 지속시간 동안), 사운드-타입 검출기(404)의 온/오프 사이클의 소정의 횟수의 만료, 또는 이벤트의 발생(예를 들어, 노이즈 검출기(402) 및/또는 사운드-타입 검출기(404)에 의해 결정된 바와 같이, 제2 임계값 아래로 사운드의 진폭이 떨어지는 것)과 같은 조건이 만족될 때까지 활동적으로 남아있게 된다.

전술된 바와 같이, 만약 사운드-타입 검출기(404)가 사운드 입력이 사운드의 사전결정된 타입에 대응한다고 결정하면, (예를 들어, 하나 이상의 프로세싱 루틴을 개시하기 위해 제어 신호를 제공함으로써 및/또는 업스트림 사운드 검출기에 전력을 제공함으로써) 트리거 사운드 검출기(406)와 같은 업스트림 사운드 검출기를 개시한다.

트리거 사운드 검출기(406)는 사운드 입력이 소정의 사전결정된 콘텐츠의 적어도 부분(예를 들어, 트리거 단어, 구, 또는 사운드의 적어도 부분)을 포함하는지 여부를 결정하도록 구성된다. 일부 구현예들에서, 트리거 사운드 검출기(406)는 사운드 입력의 표현("입력 표현")을 트리거 단어의 하나 이상의 기준 표현에 비교한다. 만약 입력 표현이 수용가능한 신뢰도를 가지고 하나 이상의 기준 표현 중 적어도 하나에 부합하면, 트리거 사운드 검출기(406)는 (예를 들어, 하나 이상의 프로세싱 루틴을 개시하기 위해 제어 신호를 제공함으로써 및/또는 업스트림 사운드 검출기에 전력을 제공함으로써) 스피치-기반 서비스(408)를 개시한다. 일부 구현예들에서, 입력 표현 및 하나 이상의 기준 표현은 스펙트로그램(또는 이것의 수학적 표현)이며, 이것은 신호의 스펙트럼 밀도가 시간에 따라 어떻게 달라지는지를 나타낸다. 일부 구현예들에서, 표현들은 다른 타입의 오디오 서명 또는 성문(voiceprint)이다. 일부 구현예들에서, 스피치-기반 서비스(408)를 개시하는 것은 하나 이상의 회로, 프로그램 및/또는 프로세서를 스탠바이 모드로부터 불러내는 것과 사운드-기반 서비스를 호출하는 것을 포함한다. 그 다음 사운드-기반 서비스는 더욱 포괄적인 스피치 인식, 스피치-텍스트 프로세싱 및/또는 자연 언어 프로세싱을 제공할 준비가 된다. 일부 구현예들에서, 음성-트리거 시스템(400)은 음성 인증 기능을 포함하며, 그에 따라 만약 사운드 입력이 디바이스의 소유자/사용자와 같은 특정 인물의 음성에 대응하는지를 결정할 수 있다. 예를 들어, 일부 구현예들에서, 사운드-타입 검출기(404)는 사운드 입력이 인증된 사용자에 의해 발언되었는지를 결정하기 위한 성문 감정 기술을 사용한다. 음성 인증 및 성문 감정은 미국 특허 출원 제13/053,144호에서 더욱 자세하게 기술되며, 이것은 본 출원의 출원인에게 양도되어 그 전체가 본 명세서에 참조로서 포함된다. 일부 구현예들에서, 음성 인증은 본 명세서에 기술된 임의의 사운드 검출기들(예를 들어, 노이즈 검출기(402), 사운드-타입 검출기(404), 트리거 사운드 검출기(406) 및/또는 스피치-기반 서비스(408))에 포함된다. 일부 구현예들에서, 음성 인증은 (예를 들어, 도 4의 음성 인증 모듈(428)과 같이) 위에서 나열된 사운드 검출기들과는 별개의 모듈로서 구현되며, 노이즈 검출기(402) 뒤에, 사운드-타입 검출기(404) 뒤에, 트리거 사운드 검출기(406) 뒤에, 또는 임의의 다른 적절한 위치에 동작상 위치될 수 있다.

일부 구현예들에서, 트리거 사운드 검출기(406)는 임의의 다운스트림 사운드 검출기(들)(예를 들어, 노이즈 검출기(402) 및/또는 사운드-타입 검출기(404))의 조건이 만족되는 한 활동적으로 남아있게 된다. 예를 들어, 일부 구현예들에서, 트리거 사운드 검출기(406)는 사운드 입력이 (노이즈 검출기(402)에 의해 검출된 것과 같이) 사전결정된 임계값 위에 있는 사운드를 포함하는 한 활동적으로 남아있게 된다. 일부 구현예들에서, 이것은 사운드 입력이 (사운드-타입 검출기(404)에 의해서 검출된 것과 같이) 소정의 타입의 사운드를 포함하는 한 활동적으로 남아있게 된다. 일부 구현예들에서, 이것은 전술된 조건들이 만족되는 한 활동적으로 남아있게 된다.

일부 구현예들에서, 한번 개시되면, 트리거 사운드 검출기(406)는 타이머의 만료(예를 들어, 1, 2, 5, 또는 10초, 또는 임의의 다른 적절한 지속시간), 트리거 사운드 검출기(406)의 온/오프 사이클의 소정의 횟수의 만료, 또는 이벤트의 발생(예를 들어, 제2 임계값 아래로 사운드의 진폭이 떨어지는 것)과 같은 조건이 만족될 때까지 활동적으로 남아있게 된다. 일부 구현예들에서, 하나의 사운드 검출기가 다른 검출기를 개시할 때, 두 사운드 검출기들 모두가 활동적으로 남아있게 된다. 그러나, 사운드 검출기들은 다양한 시간에서 활동적 또는 비활동적일 수 있으며, 업스트림 사운드 검출기들이 활동적이기 위해서 모든 다운스트림(예로서, 더 낮은 전력 및/또는 세련도) 사운드 검출기들이 활동적이어야 할 필요는 없다(또는 그들 각각의 조건들이 만족될 필요가 없다). 예를 들어, 일부 구현예들에서, 노이즈 검출기(402) 및 사운드-타입 검출기(404)가 그들 각각의 조건들이 만족된다고 결정한 후에, 트리거 사운드 검출기(406)가 개시되고, 노이즈 검출기(402) 및 사운드-타입 검출기(404) 중 하나 또는 둘 모두는 트리거 사운드 검출기(406)가 동작하는 동안 비활성화되고/되거나 스탠바이 모드에 진입한다. 다른 구현예들에서, 노이즈 검출기(402) 및 사운드-타입 검출기(404) 모두가(또는 이들 중 하나가) 트리거 사운드 검출기(406)가 동작하는 동안 활동적 상태에 머무른다. 다양한 구현예들에서, 사운드 검출기들의 서로 다른 조합들이 서로 다른 시간에 활동적이고, 활동적 또는 비활동적인지 여부는 다른 사운드 검출기들의 상태에 의존할 수 있거나, 또는 다른 사운드 검출기들의 상태에 대해 독립적일 수 있다.

도 4가 세 개의 분리된 사운드 검출기들을 묘사하지만, 각각이 사운드 입력의 서로 다른 양태들을 검출하도록 구성되며, 더 많거나 더 적은 사운드 검출기들이 음성 트리거의 다양한 구현에서 사용된다. 예를 들어, 일부 구현예들에서, 오직 트리거 사운드 검출기(406)만이 사용된다. 일부 구현예들에서, 트리거 사운드 검출기(406)는 노이즈 검출기(402) 또는 사운드-타입 검출기(404)와 함께 사용된다. 일부 구현예들에서, 모든 검출기들(402-406)이 사용된다. 일부 구현예들에서, 추가적인 사운드 검출기들도 포함된다.

또한, 사운드 검출기들의 서로 다른 조합들이 서로 다른 시간에서 사용될 수 있다. 예를 들어, 사운드 검출기들의 특정 조합 및 그들이 상호작용하는 방식이 디바이스의 콘텍스트 또는 동작 상태와 같은 하나 이상의 조건에 의존할 수 있다. 구체적인 예와 같이, 만약 디바이스가 플러그인 된다면(그리고 그에 따라 오로지 배터리 전력에만 의존하지 않는다면), 트리거 사운드 검출기(406)가 활동적인 반면, 노이즈 검출기(402) 및 사운드-타입 검출기(404)는 비활동적으로 남아있게 된다. 다른 예에서, 만약 디바이스가 주머니 또는 백팩 내에 있다면, 모든 사운드 검출기들이 비활동적이다. 전술된 바와 같이 사운드 검출기들을 캐스케이드함으로써, 더 낮은 전력을 요구하는 검출기들에 의해 필요할 때에만 더 많은 전력을 요구하는 검출기들이 호출되고, 전력 효율 음성 트리거링 기능이 제공될 수 있다. 전술된 바와 같이, 추가적인 전력 효율이 듀티 사이클에 따라서 하나 이상의 사운드 검출기를 동작함으로써 획득된다. 예를 들어, 일부 구현예들에서, 시간의 적어도 부분 동안 노이즈 검출기가 오프된다고 해도, 노이즈 검출기(402)는 효율적으로 연속적인 노이즈 검출을 수행하도록 듀티 사이클에 따라 동작한다. 일부 구현예들에서, 노이즈 검출기(402)는 10ms 동안 온(on)되고 90ms 동안 오프(off)된다. 일부 구현예들에서, 노이즈 검출기(402)는 20ms 동안 온되고 500ms 동안 오프된다. 다른 온 및 오프 지속시간들도 가능하다.

일부 구현예들에서, 만약 노이즈 검출기(402)가 자신의 "온" 간격 동안 노이즈를 검출한다면, 노이즈 검출기(402)는 사운드 입력의 추가적인 프로세싱 및/또는 분석을 위해 온으로 남아있을 것이다. 예를 들어, 노이즈 검출기(402)는 이것이 사전결정된 시간의 길이(예로서, 100ms) 동안 사전결정된 진폭 위의 사운드를 검출한다면 업스트림 사운드 검출기를 개시하도록 구성될 수 있다. 따라서, 만약 노이즈 검출기(402)가 자신의 10ms "온" 간격 동안 사전결정된 진폭보다 높은 사운드를 검출하면, 즉시 "오프" 간격으로 진입하지 않을 것이다. 대신, 노이즈 검출기(402)는 활동적으로 남아있게 되며 전체 사전결정된 지속시간(예로서, 100ms) 동안 임계값을 초과하는지 여부를 결정하기 위해 사운드 입력을 계속해서 프로세싱한다.

일부 구현예들에서, 사운드-타입 검출기(404)는 듀티 사이클에 따라 동작한다. 일부 구현예들에서, 사운드-타입 검출기(404)는 20ms 동안 온되고 100ms 동안 오프된다. 다른 온 및 오프 지속시간들도 가능하다. 일부 구현예들에서, 사운드-타입 검출기(404)는 사운드 입력이 자신의 듀티 사이클의 "온" 간격 내에서 사전결정된 타입의 사운드에 대응하는지 여부를 결정할 수 있다. 따라서, 사운드-타입 검출기(404)는 만약 사운드-타입 검출기(404)가 자신의 "온" 간격 동안 사운드가 소정의 타입임을 결정하면, 트리거 사운드 검출기(406) (및 임의의 다른 업스트림 사운드 검출기)를 개시할 것이다. 이와 달리, 일부 구현예들에서, 만약 사운드-타입 검출기(404)가 "온" 간격 동안 사전결정된 타입에 대응할 수 있는 사운드를 검출한다면, 검출기는 즉시 "오프" 간격으로 진입하지 않을 것이다. 대신, 사운드-타입 검출기(404)는 활동적으로 남아있게 되며 계속해서 사운드 입력을 프로세싱하여 그것이 사전결정된 타입의 사운드에 대응하는지 여부를 결정한다. 일부 구현예들에서, 만약 사운드 검출기가 사전결정된 타입의 사운드가 검출되었다고 결정하면, 사운드 입력을 추가로 프로세싱하고 트리거 사운드가 검출되었는지 여부를 결정하기 위해 트리거 사운드 검출기(406)를 개시한다. 노이즈 검출기(402) 및 사운드-타입 검출기(404)와 유사하게, 일부 구현예들에서, 트리거 사운드 검출기(406)는 듀티 사이클에 따라 동작한다. 일부 구현예들에서, 트리거 사운드 검출기(406)는 50ms 동안 온되고 50ms 동안 오프된다. 다른 온 및 오프 지속시간들도 가능하다. 만약 트리거 사운드 검출기(406)가 자신의 "온" 간격 동안 트리거 사운드에 대응할 수 있는 사운드가 존재한다는 것을 검출하면, 검출기는 즉시 "오프" 간격으로 진입하지 않을 것이다. 대신, 트리거 사운드 검출기(406)는 활동적으로 남아있게 되며 계속해서 사운드 입력을 프로세싱하여 그것이 트리거 사운드를 포함하는지 여부를 결정한다. 일부 구현예들에서, 만약 이러한 사운드가 검출되면, 트리거 사운드 검출기(406)는 1, 2, 5, 또는 10초, 또는 임의의 다른 적절한 지속시간과 같은 사전결정된 지속시간 동안 오디오를 프로세싱하기 위해 활동적으로 남아있게 된다. 일부 구현예들에서, 지속시간은 검출하도록 구성된 특정한 트리거 단어 또는 사운드의 길이에 기초하여 선택된다. 예를 들어, 만약 트리거 구가 "안녕, 시리(SIRI)"라면, 트리거 단어 검출기는 사운드 입력이 해당 구를 포함하는지 여부를 결정하기 위해 약 2초 동안 동작된다.

일부 구현예들에서, 사운드 검출기들 중 일부가 듀티 사이클에 따라 동작되는 반면, 다른 사운드 검출기들은 활동적인 경우 계속해서 동작한다. 예를 들어, 일부 구현예들에서, 오직 제1 사운드 검출기만이 듀티 사이클에 따라 동작되며(예를 들어, 도 4의 노이즈 검출기(402)), 업스트림 사운드 검출기들은 그들이 한번 개시되면 계속해서 동작된다. 일부 다른 구현예들에서, 노이즈 검출기(402) 및 사운드-타입 검출기(404)가 듀티 사이클에 따라 동작되는 반면, 트리거 사운드 검출기(406)는 계속해서 동작된다. 특정한 사운드 검출기가 계속해서 동작되는지 또는 듀티 사이클에 따라 동작되는지 여부는 디바이스의 콘텍스트 또는 동작 상태와 같은 하나 이상의 조건에 의존한다. 일부 구현예들에서, 만약 디바이스가 플러그인 되었고 오로지 배터리 전력에만 의존하지 않는다면, 모든 사운드 검출기들이 한번 개시되면 계속해서 동작한다. 다른 구현예들에서, 만약 (예로서 센서 및/또는 마이크로폰 신호에 의해 결정된 바와 같이) 디바이스가 주머니 또는 백팩 내에 있다면 노이즈 검출기(402)(또는 임의의 사운드 검출기)가 듀티 사이클에 따라 동작하지만, 디바이스가 보관되어 있지 않은 가능성이 있는 것으로 결정되는 경우에는 계속해서 동작한다. 일부 구현예들에서, 특정한 사운드 검출기가 계속해서 동작되는지 또는 듀티 사이클에 따라 동작되는지 여부는 디바이스의 배터리 충전 레벨에 의존한다. 예를 들어, 배터리 충전이 50%보다 위에 있으면 노이즈 검출기(402)가 계속해서 동작하며, 배터리 충전이 50%보다 아래에 있으면 듀티 사이클에 따라 동작한다. 일부 구현예들에서, 음성 트리거는 노이즈, 에코 및/또는 사운드 소거 기능(집합적으로 노이즈 소거로 지칭됨)을 포함한다. 일부 구현예들에서, 노이즈 소거(noise cancellation)는 오디오 서브시스템(226)에 의해 (예를 들어, 오디오 DSP(412)에 의해) 수행된다. 노이즈 소거는 이것이 사운드 검출기들에 의해 프로세싱되기 전에 사운드 입력으로부터 원치 않는 노이즈 또는 사운드를 감소시키거나 제거한다. 일부 경우들에서, 원치 않는 노이즈는 팬(fan) 또는 키보드의 클릭 소리와 같은 사용자의 환경으로부터의 배경 노이즈이다. 일부 구현예들에서, 원치 않는 노이즈는 사전결정된 진폭 또는 주파수에 있거나 또는 그보다 위, 또는 아래에 있는 임의의 사운드이다. 예를 들어, 일부 구현예들에서, 전형적인 사람의 음성 범위(예를 들어, 3000 ㎐)보다 위에 있는 사운드가 신호로부터 필터링되거나 제거된다. 일부 구현예들에서, 다수의 마이크로폰(예로서, 마이크로폰(230))이 수신된 사운드의 어떤 컴포넌트들이 감소 및/또는 제거되어야만 하는지를 결정하는 것을 돕도록 사용된다. 예를 들어, 일부 구현예들에서, 오디오 서브시스템(226)은 공간 내의 단일 포인트(예를 들어, 사용자의 입)로부터 유래한 것으로 나타나는 사운드 또는 사운드 입력의 부분들을 식별하기 위한 빔 형성 기술을 사용한다. 그 다음 오디오 서브시스템(226)은 모든 마이크로폰들에 의해 동일하게 수신되는 입력 사운드(예를 들어, 임의의 특정 방향으로부터 유래한 것으로 나타나지 않는 주변 사운드)를 사운드로부터 제거함으로써 이러한 사운드에 초점을 맞춘다.

일부 구현예들에서, DSP(412)는 디지털 어시스턴트가 동작하는 디바이스에 의해 출력되고 있는 입력 사운드를 사운드로부터 소거 또는 제거하도록 구성된다. 예를 들어, 만약 오디오 서브시스템(226)이 음악, 라디오, 팟캐스트, 음성 출력, 또는 임의의 다른 오디오 콘텐츠를 (예로서 스피커(228)를 통해서) 출력하고 있다면, DSP(412)는 마이크로폰에 의해 들리고 사운드 입력 내에 포함된 임의의 출력된 사운드를 제거한다. 따라서, 사운드 입력은 출력된 오디오로부터 자유롭다(또는 적어도 출력된 오디오를 거의 포함하지 않는다). 따라서, 사운드 검출기들에게 제공된 사운드 입력은 더욱 깨끗할 것이며, 트리거는 보다 정확할 것이다. 노이즈 소거의 양태들은 미국 특허 제7,272,224호에 더욱 자세하게 기술되었으며, 이것은 본 출원의 출원인에게 양도되어 그 전체가 본 명세서에 참조로서 포함된다.

일부 구현예들에서, 서로 다른 사운드 검출기들이 사운드 입력이 서로 다른 방식으로 필터링 및/또는 프로세싱될 것을 요구한다. 예를 들어, 일부 구현예들에서, 노이즈 검출기(402)는 60 내지 20,000 ㎐ 사이의 시간-도메인 오디오 신호를 분석하도록 구성되고, 사운드-타입 검출기는 60 내지 3,000 ㎐ 사이의 오디오의 주파수-도메인 분석을 수행하도록 구성된다. 따라서, 일부 구현예들에서, 오디오 DSP(412)(및/또는 디바이스(104)의 다른 오디오 DSP)가 사운드 검출기들의 개별 필요성에 따라서 수신된 오디오를 사전프로세싱한다. 일부 구현예들에서, 다른 한편으로, 사운드 검출기들은 그들의 구체적인 필요성에 따라서 오디오 서브시스템(226)으로부터의 오디오를 필터링 및/또는 사전프로세싱하도록 구성된다. 이러한 경우들에서, 오디오 DSP(412)는 여전히 사운드 검출기들에게 사운드 입력을 제공하기 이전에 노이즈 소거를 수행할 수 있다. 일부 구현예들에서, 전자 디바이스의 콘텍스트가 음성 트리거를 동작할지 여부 및 어떻게 동작할지 여부를 결정하는 것을 돕도록 사용된다. 예를 들어, 디바이스가 사용자의 주머니, 지갑, 또는 백팩에 보관되어 있을 때 사용자가 음성-기반 디지털 어시스턴트와 같은 스피치-기반 서비스를 호출할 가능성이 낮을 수 있다. 또한, 사용자가 시끄러운 락 콘서트에 있을 때 스피치-기반의 서비스를 호출할 가능성이 낮을 수 있다. 일부 사용자들에 있어서, 그들이 하루 중 소정의 시간대에(예를 들어, 늦은 밤) 스피치-기반 서비스를 호출할 가능성이 낮다. 다른 한편으로, 사용자가 음성 트리거를 이용하여 스피치-기반 서비스를 호출할 가능성이 더 높은 콘텍스트 또한 존재한다. 예를 들어, 일부 사용자들은 그들이 운전 중이거나, 혼자 있거나, 일하는 중인 경우 등에 음성 트리거를 사용할 가능성이 더 높을 것이다. 다양한 기술들이 디바이스의 콘텍스트를 결정하도록 사용된다. 다양한 구현예들에서, 디바이스는 디바이스의 콘텍스트를 결정하기 위해 GPS 수신기, 광 센서, 마이크로폰, 근접 센서, 방향 센서, 관성 센서, 카메라, 통신 회로 및/또는 안테나, 충전 및/또는 전력 회로, 스위치 포지션, 온도 센서, 나침반, 가속도계, 캘린더, 사용자 선호사항 등의 컴포넌트들 또는 정보 소스들 중 임의의 하나 이상으로부터의 정보를 사용한다. 그 다음 디바이스의 콘텍스트는 음성 트리거가 동작하는지 여부 및 어떻게 동작하는지를 조정하도록 사용될 수 있다. 예를 들어, 소정의 콘텍스트에서, 음성 트리거는 해당 콘텍스트가 유지되는 한 비활성화될 것이다(또는 상이한 모드에서 동작될 것이다). 예를 들어, 일부 구현예들에서, 전화기가 사전결정된 방향에 있을 때(예를 들어, 표면 상에서 아래를 보고 놓여있을 때), 사전결정된 시간의 주기 동안(예를 들어, 밤 10시와 오전 8시 사이), (예를 들어, 스위치 위치, 모드 설정, 또는 사용자 선호사항에 기초하여) 전화기가 "묵음" 또는 "방해 금지" 모드에 있을 때, 디바이스가 실질적으로 밀폐된 공간(예를 들어, 주머니, 가방, 지갑, 서랍, 또는 글러브 박스) 내에 있을 때, (예를 들어, 근접 센서, 음향/무선/적외선 통신에 기초하여) 디바이스가 음성 트리거 및/또는 스피치-기반 서비스를 갖는 다른 디바이스 근처에 있을 때 등의 경우에서 음성 트리거는 비활성화된다. 일부 구현예들에서, 비활성화되는 대신, 음성 트리거 시스템(400)은 저전력 모드에서 동작된다(예를 들어, 노이즈 검출기(402)를 10ms의 "온" 간격 및 5초의 "오프" 간격을 갖는 듀티 사이클에 따라 동작시킨다). 일부 구현예들에서, 오디오 채널은 음성 트리거 시스템(400)이 저전력 모드에서 동작될 때 더욱 드물게 모니터링된다. 일부 구현예들에서, 음성 트리거는 정상 모드에 있을 때보다 저전력 모드에 있을 때 상이한 사운드 검출기 또는 사운드 검출기들의 조합을 사용한다. (음성 트리거는 다수의 서로 다른 모드들 또는 동작 상태들일 수 있고, 각각은 서로 다른 전력량을 사용할 수 있으며, 서로 다른 구현예들이 자신의 특정 설계에 따라 사용할 것이다.)

다른 한편으로, 디바이스가 일부 다른 콘텍스트에 있을 때, 음성 트리거는 콘텍스트가 유지되는 한 활성화될 것이다(또는 상이한 모드에서 동작될 것이다). 예를 들어, 일부 구현예들에서, 음성 트리거는 자신이 전원에 플러그인 되어있는 동안, 전화기가 사전결정된 방향에 있는 동안(예를 들어, 표면 상에서 위를 보고 놓여있음), 사전결정된 시간의 주기 동안(예를 들어, 오전 8시와 밤 10시 사이), (예를 들어, GPS 신호, 차량과의 블루투스 접속 또는 도킹 등에 기초하여) 디바이스가 이동 중 및/또는 차량 안에 있는 경우 등에 활동적으로 남아있게 된다. 디바이스가 차량 안에 있는 경우 라이닝을 검출하는 양태들은 미국 임시특허출원 제61/657,744호에 더욱 자세하게 기술되어 있으며, 이것은 본 출원의 출원인에게 양도되어 그 전체가 본 명세서에 참조로서 포함된다. 소정의 콘텍스트를 결정하는 방법의 몇몇 구체적인 예들이 아래에 제공된다. 다양한 실시예들에서, 서로 다른 기술들 및/또는 정보 소스들이 이러한 콘텍스트들 및 다른 콘텍스트들을 검출하도록 사용된다.

위에서 언급된 바와 같이, 음성 트리거 시스템(400)이 활동 중인지(예를 들어, 청취 중인지) 아닌지 여부는 디바이스의 물리적 방향에 의존할 수 있다. 일부 구현예들에서, 음성 트리거는 디바이스가 표면 상에서 "위를 보게(face-up)" 배치되어 있는 경우에 (예를 들어, 디스플레이 및/또는 터치스크린 표면을 볼 수 있음) 활동적이고/이거나, "아래를 보게(face-down)" 배치되어 있는 경우에 비활동적이다. 이것은 사용자에게 설정 메뉴, 스위치, 또는 버튼의 조작을 요구하지 않고 음성 트리거를 활성화 및/또는 비활성화하는 쉬운 방식을 제공한다. 일부 구현예들에서, 디바이스는 (예를 들어, 디바이스(104)의 전면 및 후면 상의 입사광의 차이에 기초하는) 광 센서, 근접 센서, 자기 센서, 가속도계, 자이로스코프, 기울기 센서, 카메라 등을 이용하여 표면 상에서 위를 보는지 또는 아래를 보는지 여부를 검출한다. 일부 구현예들에서, 다른 동작 모드, 설정, 파라미터, 또는 선호사항이 디바이스의 방향 및/또는 위치에 의해 영향을 받는다. 일부 구현예들에서, 특정 트리거 사운드, 음성 트리거의 단어, 또는 구를 청취하는 것은 디바이스의 방향 및/또는 위치에 의존한다. 예를 들어, 일부 구현예들에서, 음성 트리거는 디바이스가 일 방향에 있을 때(예를 들어, 표면 상에서 위를 보게 놓여 있을 때) 제1 트리거 단어, 구, 또는 사운드를 청취하며, 디바이스가 다른 방향에 있을 때(예를 들어, 아래를 보게 놓여 있을 때) 다른 트리거 단어, 구, 또는 사운드를 청취한다. 일부 구현예들에서, 아래를 보는 방향에 대한 트리거 구는 위를 보는 방향에 대한 것보다 더 길고/길거나 더 복잡하다. 따라서, 사용자는 음성 트리거가 더 짧거나 단순한 트리거 단어들에 대해서 더욱 빈번할 수 있는 오류 수용을 감소시키는 동안에도 여전히 동작될 수 있도록 사용자 주위에 다른 사람들이 있거나 시끄러운 환경에 있을 때 디바이스가 아래를 보게 배치할 수 있다. 특정 예로서, 위를 보는 트리거 구는 "안녕, 시리"일 수 있는 반면, 아래를 보는 트리거 구는 "안녕, 시리, 나는 앤드류야. 나를 깨워줘"일 수 있다. 더욱 긴 트리거 구는 또한 사운드 검출기들에 대한 더 넓은 음성 샘플 및/또는 프로세싱 및/또는 분석하기 위한 음성 인증을 제공하며, 따라서 음성 트리거의 정확도를 증가시키고 오류 수용을 감소시킨다.

일부 구현예들에서, 디바이스(104)는 자신이 차량(예를 들어, 승용차) 안에 있는지 여부를 검출한다. 음성 트리거는 디바이스 및/또는 스피치-기반 서비스를 동작시키기 위해 필요한 물리적 상호작용을 감소시키는 것을 돕기 때문에, 사용자가 차량 내에 있을 때 스피치-기반 서비스를 호출하는데 특히 유리하다. 실제로, 음성-기반 디지털 어시스턴트의 이점들 중 하나는 이것이 디바이스를 바라보거나 터치하는 것이 비실용적이거나 안전하지 않을 경우에 작업을 수행하도록 사용될 수 있다는 점이다. 따라서, 음성 트리거는 사용자가 디지털 어시스턴트를 호출하기 위해서 디바이스를 터치해야 할 필요가 없도록 디바이스가 차량 내에 있을 때 사용될 수 있다. 일부 구현예들에서, 디바이스는 예컨대 블루투스 통신(또는 다른 무선 통신)을 통한, 또는 도킹 커넥터 또는 케이블을 통해 차량에 접속되고/되거나 차량과 짝을 이루었음을 검출함으로써 자신이 차량 내에 있음을 검출한다. 일부 구현예들에서, 디바이스는 (예를 들어, GPS 수신기, 가속도계 및/또는 자이로스코프를 사용하여) 디바이스의 위치 및/또는 속도를 결정함으로써 디바이스가 차량 내에 있다고 결정한다. 만약 디바이스가 차량 내에 있을 가능성이 높다고 결정되면, 차량이 시간당 20마일보다 높은 속도로 이동하고 있으며 길을 따라 이동하고 있다고 결정되기 때문에, 예를 들어 음성 트리거가 활동적으로 남아있게 되고/되거나 고전력 또는 더욱 민감한 상태에 있게 된다.

일부 구현예들에서, 디바이스는 디바이스가 실질적으로 밀폐된 공간 내에 있는지 여부를 결정함으로써 디바이스가 (예를 들어, 주머니, 지갑, 가방, 서랍 등에) 보관되어 있는지 여부를 검출한다. 일부 구현예들에서, 디바이스는 자신이 보관되어 있음을 결정하기 위해 광 센서(예로서, 전용 주변 광 센서 및/또는 카메라)를 사용한다. 예를 들어, 일부 구현예들에서, 광 센서가 광을 거의 검출하지 않거나 전혀 검출하지 않는다면 디바이스가 보관되어 있을 가능성이 높다. 일부 구현예들에서, 하루의 시간 및/또는 디바이스의 위치 또한 고려된다. 예를 들어, 만약 광 센서가 (예컨대, 하루 중에) 높은 광 레벨이 예상될 때에 낮은 광 레벨을 검출한다면, 디바이스는 보관되어 있을 수 있고 음성 트리거 시스템(400)이 필요하지 않을 수 있다. 따라서, 음성 트리거 시스템(400)은 저전력 또는 스탠바이 상태에 있을 것이다. 일부 구현예들에서, 디바이스의 대향하는 면들 상에 위치된 센서들에 의해 검출된 광의 차는 디바이스의 위치를 결정하도록 사용될 수 있으며, 그러므로 디바이스가 보관되어 있는지 아닌지 여부를 결정하도록 사용될 수 있다. 특히, 사용자들은 디바이스가 주머니 또는 가방 안에 보관되어 있을 때보다 디바이스가 테이블 또는 표면 상에 그대로 있을 때 음성 트리거를 활성화하고자 시도할 가능성이 높다. 그러나 디바이스가 테이블 또는 데스크와 같은 표면 상에 아래를 보도록 (또는 위를 보도록) 놓여있을 때, 디바이스의 일 표면은 해당 표면에 광이 거의 또는 전혀 도달하지 않도록 폐색되는 반면, 다른 표면은 주변 광에 노출될 것이다. 따라서, 만약 디바이스의 전면 및 후면 상의 광 센서들이 뚜렷하게 다른 광 레벨을 검출한다면, 디바이스는 자신이 보관되지 않았다고 결정한다. 다른 한편으로, 만약 대향하는 면들 상의 광 센서들이 동일하거나 유사한 광 레벨을 검출한다면, 디바이스는 자신이 실질적으로 밀폐된 공간 내에 보관되었다고 결정한다. 또한, 만약 광 센서들이 모두 낮시간 동안에 (또는 디바이스가 전화기가 밝은 환경에 있을 것으로 예상할 수 있을 때) 낮은 광 레벨을 검출한다면, 디바이스는 높은 신뢰도로 자신이 보관되어 있다고 결정한다.

일부 구현예들에서, 다른 기술들이 디바이스가 보관되었는지 여부를 결정하기 위해 (광 센서 대신 또는 광 센서에 추가로) 사용된다. 예를 들어, 일부 구현예들에서, 디바이스는 스피커 또는 트랜듀서(예로서, 스피커(228))로부터 하나 이상의 사운드(예를 들어, 톤, 클릭, 핑 등)를 방출하며, 방출된 사운드(들)의 에코를 검출하도록 하나 이상의 마이크로폰 또는 트랜듀서(예를 들어, 마이크로폰(230))를 모니터링한다. (일부 구현예들에서, 디바이스는 사람이 듣는 범위 밖에 있는 사운드와 같은 청취 불가능한 신호를 방출한다.) 에코로부터, 디바이스는 둘러싼 환경의 특징들을 결정한다. 예를 들어, 비교적 넓은 환경(예를 들어, 방 또는 차량)이 비교적 작은, 밀폐된 환경(예를 들어, 주머니, 지갑, 가방, 서랍 등)과는 다른 사운드를 반사시킬 것이다.

일부 구현예들에서, 만약 음성 트리거 시스템(400)이 (음성 트리거 및/또는 스피치-기반 서비스를 갖는 다른 디바이스와 같은) 다른 디바이스들 부근에 있다면, 음성 트리거 시스템(400)이 다른 디바이스들 부근에 있지 않은 경우와 상이하게 동작한다. 이것은 예를 들어, 다수의 디바이스들이 함께 가까이 있을 때, 한 사람이 트리거 단어를 발언하면 다른 둘러싼 디바이스들 또한 트리거되지 않도록 음성 트리거 시스템(400)의 민감도를 셧다운하거나 감소시키는 데에 유용할 수 있다. 일부 구현예들에서, 디바이스는 RFID, 근거리 통신, 적외선/음향 신호 등을 이용하여 다른 디바이스들에 대한 근접도를 결정한다. 앞서 언급된 바와 같이, 음성 트리거는 사용자가 운전 중인 경우와 같이 디바이스가 핸드-프리 모드에서 동작되고 있는 중에 특히 유용하다. 이러한 경우들에서, 사용자들은 종종 전화를 걸거나 텍스트 입력을 딕테이션하기 위해 사용자가 자신의 얼굴 근처에 디바이스를 유지시켜야 할 필요성으로부터 자유롭게 하도록, 유선 또는 무선 헤드셋, 스피커 및/또는 마이크로폰을 갖는 손목시계, 차량의 빌트인 마이크로폰 및 스피커와 같은 외부 오디오 시스템을 사용한다. 예를 들어, 무선 헤드셋 및 차량 오디오 시스템이 블루투스 통신 또는 임의의 다른 적절한 무선 통신을 이용하여 전자 디바이스에 접속할 수 있다. 그러나, 음성 트리거에 있어서 무선 액세서리를 이용한 오픈 오디오 채널을 유지하기 위해 요구되는 전력으로 인해 무선 오디오 액세서리를 통해 수신되는 오디오를 모니터링하는 것이 비효율적일 수 있다. 특히, 무선 헤드셋은 몇 시간의 연속적인 대화 시간을 제공하기에 충분한 전하를 자신의 배터리 내에 보유할 수 있으며, 따라서 단순히 주변 오디오를 모니터링하고 가능한 트리거 사운드를 기다리도록 이용하는 대신 실질적인 통신을 위해 헤드셋이 필요한 경우에 대해 배터리를 보존하는 데에 바람직하다. 또한, 유선 외부 헤드셋 액세서리가 단독의 온-보드 마이크로폰보다 뚜렷하게 더 많은 전력을 요구할 수 있으며, 헤드셋 마이크로폰 활동성을 유지하는 것이 디바이스의 배터리 전하를 고갈시킬 것이다. 이것은 특히 무선 또는 유선 헤드셋에 의해 수신된 주변 오디오가 전형적으로 대부분의 묵음의 또는 무관한 사운드를 구성할 것이라는 것을 고려할 때 사실이다. 따라서, 일부 구현예들에서, 음성 트리거 시스템(400)은 디바이스가 외부 마이크로폰에 (유선 또는 무선으로) 연결되어 있을 때에도 디바이스 상의 마이크로폰(230)으로부터의 오디오를 모니터링한다. 그 다음, 음성 트리거가 트리거 단어를 검출하면, 디바이스는 디바이스 상의 마이크로폰(230)보다는 외부 마이크로폰을 통해 (음성-기반 디지털 어시스턴트에 대한 커맨드와 같은) 후속하는 사운드 입력을 수신하기 위해 외부 마이크로폰과의 활동적 오디오 링크를 초기화한다. 그럼에도, 소정의 조건들이 만족될 때, 활동적 통신 링크가 (유선 또는 무선을 통해 디바이스(104)에 통신상 연결될 수 있는) 외부 오디오 시스템(416)과 디바이스 사이에서 유지될 수 있으며 그에 따라 음성 트리거 시스템(400)이 디바이스 상의 마이크로폰(230)을 대신하여 (또는 그에 더하여) 외부 오디오 시스템(416)을 통해 트리거 사운드를 청취할 수 있다. 예를 들어, 일부 구현예들에서, (예를 들어, 개별 디바이스들 상의 가속도계, 자이로스코프 등에 의해 결정된 바와 같은) 전자 디바이스 및/또는 외부 오디오 시스템(416)의 동작의 특징들이 음성 트리거 시스템(400)이 디바이스 상의 마이크로폰(230) 또는 외부 마이크로폰(418)을 이용하여 주변 사운드를 모니터링해야만 하는지 여부를 결정하도록 사용된다. 특히, 디바이스와 외부 오디오 시스템(416)의 동작 사이의 차이는 외부 오디오 시스템(416)이 실질적으로 사용되는지 여부에 대한 정보를 제공한다. 예를 들어, 만약 디바이스 및 무선 헤드셋 모두가 실질적으로 동일하게 이동 중이라면(또는 이동하지 않는다면), 헤드셋이 사용되지 않거나 착용되어 있지 않음이 결정될 수 있다. 이것은 예를 들어 두 디바이스가 서로의 부근에 있으며 유휴 상태(예를 들어, 테이블 상에 놓여 있거나 주머니, 가방, 지갑, 서랍 등에 보관되어 있음)에 있기 때문에 발생할 수 있다. 따라서, 이러한 조건 하에서, 음성 트리거 시스템(400)은 헤드셋이 실질적으로 사용되고 있지 않을 가능성이 높기 때문에 디바이스 상의 마이크로폰을 모니터링한다. 그러나 만약 무선 헤드셋과 디바이스 사이의 동작에 차이가 존재한다면, 사용자가 헤드셋을 착용중인 것으로 결정된다. 이러한 조건은 예를 들어 디바이스를 (예로서, 표면 상에 또는 가방 안에) 내려놓은 동안 헤드셋이 머리에 착용되어 있기 때문에 발생할 수 있다(착용자가 비교적 가만히 있을 때에도 적어도 소량 이동할 가능성이 높다). 이러한 조건 하에서, 헤드셋이 착용되어 있을 가능성이 높기 때문에, 음성 트리거 시스템(400)이 활동적인 통신 링크를 유지하고 디바이스 상의 마이크로폰(230) 대신 (또는 그에 더하여) 헤드셋의 마이크로폰(418)을 모니터링한다. 그리고 이러한 기술이 디바이스 및 헤드셋의 동작의 차이에 초점을 맞추기 때문에, 두 디바이스들에 대해 공통적인 동작은 상쇄될 수 있다. 이것은 예를 들어 사용자가 이동하는 차량에서 헤드셋을 이용하고 있을 때, 디바이스(예를 들어, 셀룰러폰)가 컵 홀더, 빈 좌석, 또는 사용자의 주머니 내에서 그대로 있고 헤드셋이 사용자의 머리에 착용되어 있는 경우 유용할 수 있다. 두 디바이스들에 대한 공통적인 동작(예를 들어, 차량의 동작)이 상쇄되면, 헤드셋이 사용되고 있는 가능성이 높은지 여부(또는, 헤드셋이 착용되지 않았는지 여부)를 결정하기 위해서 (만약 존재하는 경우) 디바이스에 비교하여 헤드셋의 상대적인 동작이 결정될 수 있다. 전술된 논의에서 무선 헤드셋을 지칭하지만, 유사한 기술이 유선 헤드셋에 대해서도 적용된다.

사람들의 음성은 매우 다르기 때문에, 특정 사용자의 음성을 인식하는 것의 정확도를 향상시키기 위해 음성 트리거를 튜닝하는 것이 필요하거나 유리할 수 있다. 또한, 예를 들어 질병, 노화 또는 호르몬 변화와 관련된 자연적인 음성 변화 등으로 인해 사람들의 음성이 시간에 따라 변화할 수 있다. 따라서, 일부 구현예들에서, 음성 트리거 시스템(400)은 특정 사용자 또는 사용자들의 그룹에 대해 자신의 음성 및/또는 사운드 인식 프로파일을 적응시킬 수 있다. 전술된 바와 같이, 사운드 검출기들(예를 들어, 사운드-타입 검출기(404) 및/또는 트리거 사운드 검출기(406))이 사운드 입력(예를 들어 사용자에 의해 제공된 사운드 또는 발언)의 표현을 하나 이상의 기준 표현에 비교하도록 구성될 수 있다. 예를 들어, 만약 입력 표현이 기준 표현에 사전결정된 신뢰도 레벨로 부합하면, 사운드 검출기는 사운드 입력이 사전결정된 타입의 사운드에 대응한다고 결정하거나(예로서, 사운드-타입 검출기(404)) 또는 사운드 입력이 사전결정된 콘텐츠를 포함한다고 결정할 것이다(예로서, 트리거 사운드 검출기(406)). 음성 트리거 시스템(400)을 튜닝하기 위해서, 일부 구현예들에서, 디바이스는 입력 표현이 비교되는 기준 표현을 조정한다. 일부 구현예들에서, 기준 표현은 음성 등록 또는 "트레이닝" 절차의 부분으로서 조정(또는 생성)되며, 이때 사용자는 디바이스가 기준 표현을 조정(또는 생성)할 수 있도록 수차례 트리거 사운드를 출력한다. 그 결과 디바이스는 해당 사람의 실제 음성을 이용하여 기준 표현을 생성할 수 있다.

일부 구현예들에서, 디바이스는 기준 표현을 조정하기 위해 정상 사용 조건 하에서 수신되는 트리거 사운드를 사용한다. 예를 들어, 성공적인 음성 트리거링 이벤트(예를 들어, 모든 트리거링 기준을 만족시키기 위한 사운드 입력이 발견됨) 후에, 디바이스는 기준 표현을 조정 및/또는 튜닝하기 위해 사운드 입력으로부터의 정보를 사용할 것이다. 일부 구현예들에서, 소정의 신뢰도를 가지고 트리거링 기준의 전체 또는 일부를 만족시키는 것으로 결정된 사운드 입력만이 기준 표현을 조정하도록 사용된다. 따라서, 사운드 입력이 트리거 사운드에 대응하거나 트리거 사운드를 포함하는 것에 대해 음성 트리거가 더 낮은 신뢰도를 가질 때, 해당 음성 입력이 기준 표현을 조정하기 위한 목적으로 무시될 수 있다. 다른 한편으로, 일부 구현예들에서, 더 낮은 신뢰도로 음성 트리거 시스템(400)을 만족시킨 사운드 입력은 기준 표현을 조정하도록 사용된다.

일부 구현예들에서, 디바이스(104)는 점점 더 많은 사운드 입력이 수신되면 시간에 따라 사용자의 음성에서의 미세한 변화를 수용할 수 있도록 (이러한 기술들 또는 다른 기술들을 이용하여) 기준 표현을 반복적으로 조정한다. 예를 들어, 일부 구현예들에서, 디바이스(104)(및/또는 연관된 디바이스들 또는 서비스들)가 각각의 성공적인 트리거링 이벤트 후에 기준 표현을 조정한다. 일부 구현예들에서, 디바이스(104)는 각각의 성공적인 트리거링 이벤트와 연관된 사운드 입력을 분석하여 (예를 들어, 만약 소정의 조건들이 만족되면) 입력에 기초하여 기준 표현들이 조정되어야만 하는지 여부를 결정하며, 만약 그렇게 하는 것이 적절하다면 기준 표현만을 조정한다. 일부 구현예들에서, 디바이스(104)는 시간에 따른 기준 표현의 이동 평균을 유지한다. 일부 구현예들에서, 음성 트리거 시스템(400)은 (예를 들어, 하나 이상의 사운드 검출기에 의해 결정된 바와 같은) 하나 이상의 트리거링 기준을 만족시키지 않지만, 실질적으로 권한이 부여된 사용자에 의해 그렇게 되도록 하는 시도일 수 있는 사운드를 검출한다. 예를 들어, 음성 트리거 시스템(400)은 "안녕, 시리"와 같은 트리거 구에 응답하도록 구성될 수 있지만, 만약 사용자의 음성이 (예로서, 질병, 노화, 액센트/억양 변화 등으로 인해) 변화되었다면, 음성 트리거 시스템(400)은 디바이스를 활성화하기 위한 사용자의 시도를 인식할 수 없다. (이것은 또한 음성 트리거 시스템(400)이 디폴트 조건으로 설정되고/되거나 사용자가 사용자의 음성에 대해 음성 트리거 시스템(400)을 맞춤화하기 위해 초기화 또는 트레이닝 절차를 수행하지 않았을 때와 같이, 음성 트리거 시스템(400)이 해당 사용자의 특정 음성에 대해 적절하게 튜닝되지 않은 경우에 발생할 수 있다.) 만약 음성 트리거 시스템(400)이 음성 트리거를 활성화하기 위한 사용자의 제1 시도에 응답하지 않는다면, 사용자는 트리거 구를 반복할 가능성이 높다. 디바이스는 이러한 반복된 사운드 입력들이 서로 유사하다는 것을 검출하고/하거나, 그들이 (음성 트리거 시스템(400)이 스피치-기반 서비스를 활성화하기에 충분히 유사하지 않음에도) 트리거 구와 유사하다고 검출한다. 만약 이러한 조건들이 만족되면, 디바이스는 사운드 입력이 음성 트리거 시스템(400)을 활성화하기 위한 유효 시도에 대응한다고 결정한다. 따라서, 일부 구현예들에서, 음성 트리거 시스템(400)은 사용자에 의한 유사한 발언이 미래의 유효 트리거로서 수용되도록 음성 트리거 시스템(400)의 하나 이상의 양태들을 조정하기 위해 이러한 수신된 사운드 입력들을 사용한다. 일부 구현예들에서, 이들 사운드 입력은 소정의 조건들 또는 조건들의 조합만이 만족될 때에만 음성 트리거 시스템(400)을 적응시키도록 사용된다. 예를 들어, 일부 구현예들에서, 사전결정된 수의 사운드 입력들이 연속으로 수신될 때(예를 들어, 2, 3, 4, 5, 또는 임의의 다른 적절한 수), 사운드 입력들이 기준 표현과 충분히 유사할 때, 사운드 입력들이 서로 충분히 유사할 때, (예를 들어, 사운드 입력들이 사전결정된 시간의 지속시간 내에 및/또는 사전결정된 간격에서 또는 그 부근에서 수신되었을 때) 사운드 입력들이 함께 근접하고/하거나, 이들 조건 또는 다른 조건들의 임의의 조합인 경우에, 음성 트리거 시스템(400)을 적응시키도록 사용된다. 일부 경우들에서, 음성 트리거 시스템(400)은 (예를 들어, 버튼 또는 아이콘을 누름으로써) 스피치-기반 서비스를 수동 개시한 것에 이어서, 하나 이상의 트리거링 기준을 만족시키지 않는 하나 이상의 사운드 입력을 검출할 수 있다. 일부 구현예들에서, 스피치-기반 서비스가 사운드 입력이 수신된 직후에 개시되었기 때문에, 음성 트리거 시스템(400)은 사운드 입력이 실질적으로 실패한 음성 트리거링 시도에 대응된다고 결정한다. 따라서, 음성 트리거 시스템(400)은 전술된 바와 같이 사용자에 의한 발언이 미래의 유효 트리거로서 수용될 수 있도록 음성 트리거 시스템(400)의 하나 이상의 양태들을 조정하기 위해 이러한 수신된 사운드 입력을 사용한다.

전술된 적응 기술들이 기준 표현을 조정하는 것을 지칭하지만, 트리거 사운드 검출 기술들의 다른 양태들이 기준 표현을 조정하는 것에 더하여 또는 그 대신 동일하거나 유사한 방식으로 조정될 수 있다. 예를 들어, 일부 구현예들에서, 디바이스는 예컨대 사운드 입력의 소정의 주파수 또는 주파수의 범위에 초점을 맞추고/맞추거나 소정의 주파수 또는 주파수의 범위를 삭제하기 위해, 디바이스는 사운드 입력이 필터링되는 방식 및/또는 사운드 입력에 어떤 필터가 적용되는지를 조정한다. 일부 구현예들에서, 디바이스는 입력 표현을 기준 표현과 비교하도록 사용되는 알고리즘을 조정한다. 예를 들어, 일부 구현예들에서, 입력 표현과 기준 표현 사이의 차이를 결정하기 위해 사용되는 수학적 함수의 하나 이상의 항이 변화, 추가, 또는 제거되거나, 또는 상이한 수학적 함수로 대체된다. 일부 구현예들에서, 전술된 것과 같은 적응 기술들은 음성 트리거 시스템(400)이 제공할 수 있거나 제공하도록 구성될 수 있는 것보다 더 많은 리소스를 요구한다. 특히, 사운드 검출기들은 기준 표현 및/또는 사운드 검출 알고리즘(또는 음성 트리거 시스템(400)의 임의의 다른 적절한 양태)의 반복적인 적응을 수행하기 위해 필요한 프로세서, 데이터, 또는 메모리의 양 또는 타입을 구비하지 않을 수 있거나, 또는 그에 대한 액세스를 갖지 않을 수 있다. 따라서, 일부 구현예들에서, 하나 이상의 전술된 적응 기술이 애플리케이션 프로세서(예를 들어, 프로세서(들)(204))와 같은 더욱 강력한 프로세서에 의해, 또는 상이한 디바이스(예를 들어, 서버 시스템(108))에 의해 수행된다. 그러나, 음성 트리거 시스템(400)은 애플리케이션 프로세서가 스탠바이 모드에 있을 때에도 동작하도록 설계된다. 따라서, 애플리케이션 프로세서가 활동적이지 않고 사운드 입력을 프로세싱할 수 없을 때 음성 트리거 시스템(400)을 적응시키도록 사용되기 위한 사운드 입력이 수신된다. 따라서, 일부 구현예들에서, 사운드 입력이 수신된 후에 추가로 프로세싱 및/또는 분석될 수 있도록 디바이스에 의해 저장된다. 일부 구현예들에서, 사운드 입력은 오디오 서브시스템(226)의 메모리 버퍼(414) 내에 저장된다. 일부 구현예들에서, (애플리케이션 프로세서가 개시될 것을 요구하지 않고 데이터가 복사되거나 이동될 수 있도록 예를 들어 DMA 엔진을 이용하는 것을 포함하는) 직접 메모리 액세스(DMA) 기술을 이용하여 사운드 입력이 시스템 메모리(예를 들어, 도 2의 메모리(250)) 내에 저장된다. 그 다음 애플리케이션 프로세서가 전술된 하나 이상의 적응 기술을 실행할 수 있도록 한번 개시되면 저장된 사운드 입력이 애플리케이션 프로세서(또는 서버 시스템(108) 또는 다른 적절한 디바이스)에 제공되거나 또는 그에 의해 액세스된다. 일부 구현예들에서,

도 5 내지 도 7은 소정의 구현예들에 따라 음성 트리거를 동작하기 위한 방법들을 나타낸 순서도이다. 이 방법들은 선택적으로, 컴퓨터 메모리 또는 비일시적 컴퓨터 판독가능한 저장 매체(예를 들어, 클라이언트 디바이스(104)의 메모리(250), 디지털 어시스턴트 시스템(300)과 연관된 메모리(302))에 저장되고 서버 시스템(108) 및/또는 사용자 디바이스(104a)를 포함하지만 이것으로 제한되지 않는 디지털 어시스턴트 시스템의 하나 이상의 컴퓨터 시스템의 하나 이상의 프로세서에 의해 실행되는 명령어들에 의해 통제된다. 컴퓨터 판독가능 저장 매체는 자기 또는 광학 디스크 저장 디바이스, 플래시 메모리와 같은 고체 상태 저장 디바이스들, 또는 다른 비휘발성 메모리 디바이스 또는 디바이스들을 포함할 수 있다. 컴퓨터 판독가능 저장 매체 상에 저장된 컴퓨터 판독가능 명령어들은 다음 중 하나 이상을 포함할 수 있다: 소스 코드, 어셈블리 언어 코드, 객체 코드, 또는 하나 이상의 프로세서들에 의해 해석되는 다른 명령어 포맷. 다양한 구현예들에서, 각각의 방법 내의 일부 동작들이 결합될 수 있고/있거나 일부 동작들의 순서가 도면에 도시된 순서로부터 변화될 수 있다. 또한, 일부 구현예들에서, 개별 도면들에 도시된 및/또는 개별 방법들과 연관하여 논의된 동작들이 다른 방법들을 형성하도록 결합될 수 있으며, 동일한 도면에 도시된 및/또는 동일한 방법과 연관하여 논의된 동작들이 서로 다른 방법들로 분리될 수 있다. 또한, 일부 구현예들에서, 방법들 내의 하나 이상의 동작이, 예를 들어 자연 언어 프로세싱 모듈(332), 대화 흐름 프로세싱 모듈(334), 오디오 서브시스템(226), 노이즈 검출기(402), 사운드-타입 검출기(404), 트리거 사운드 검출기(406), 스피치-기반 서비스(408) 및/또는 이들의 임의의 하위모듈들을 포함하는 디지털 어시스턴트 시스템(300) 및/또는 전자 디바이스(예를 들어, 사용자 디바이스(104))의 모듈들에 의해 수행된다. 도 5는 일부 구현예들에 따라 음성 트리거 시스템(예로서, 도 4의 음성 트리거 시스템(400))을 동작하는 방법(500)을 도시한다. 일부 구현예들에서, 방법(500)이 하나 이상의 프로세서 및 하나 이상의 프로세서(예를 들어, 전자 디바이스(104))에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행된다. 전자 디바이스는 사운드 입력을 수신한다(502). 사운드 입력은 구술된 발언(예를 들어, 단어, 구, 또는 문장), 사람이 발생시킨 사운드(예를 들어, 휘파람 소리, 혀를 차는 소리, 손가락 튕기는 소리, 손뼉 등), 또는 임의의 다른 사운드(예를 들어, 전기적으로 발생된 처프(chirp), 기계적인 노이즈 메이커 등)에 대응할 수 있다. 일부 구현예들에서, 전자 디바이스는 (예를 들어, 도 4를 참조하여 기술된 코덱(410), 오디오 DSP(412), 버퍼(414)뿐만 아니라 마이크로폰(230, 418)을 포함하는) 오디오 서브시스템(226)을 통해 사운드 입력을 수신한다.

일부 구현예들에서, 전자 디바이스는 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정한다(504). 일부 구현예들에서, 전자 디바이스는 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하기 위해 사운드 입력에 대한 시간-도메인 분석을 적용한다. 예를 들어, 전자 디바이스는 사운드 진폭이 사전결정된 레벨에 도달하는지 여부를 결정하도록 시간 주기에 걸쳐 사운드 입력을 분석한다. 일부 구현예들에서, 만약 사운드 입력의 진폭(예컨대, 볼륨)이 사전결정된 임계값과 만나고/만나거나 사전결정된 임계값을 초과하면 임계값이 만족된다. 일부 구현예들에서, 만약 사운드 입력이 사전결정된 시간의 길이에 대한 사전결정된 임계값을 만나고/만나거나 사전결정된 임계값을 초과하면 임계값이 만족된다. 아래에서 더욱 자세하게 논의되는 바와 같이, 일부 구현예들에서, 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하는 것(504)은 제3 사운드 검출기(예를 들어, 노이즈 검출기(402))에 의해 수행된다. (제3 사운드 검출기는 이 경우에서 다른 사운드 검출기들(예를 들어, 아래에서 논의되는 제1 및 제2 사운드 검출기들)로부터 사운드 검출기를 구별하도록 사용되며, 반드시 임의의 동작상 위치 또는 사운드 검출기들의 순서를 나타내는 것은 아니다.)

전자 디바이스는 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정한다(506). 위에서 언급된 바와 같이, 사운드들은 사운드들의 소정의 식별가능한 특징들에 기초하여 서로 다른 "타입들"로서 분류된다. 사운드 입력이 사전결정된 타입에 대응하는지 여부를 결정하는 것은 사운드 입력이 특정 타입의 특징들을 포함하거나 나타내는지 여부를 결정하는 것을 포함한다. 일부 구현예들에서, 사전결정된 타입의 사운드는 사람의 음성이다. 이러한 구현예들에서, 사운드 입력이 사람의 음성에 대응하는지 여부를 결정하는 것은 사운드 입력이 사람의 음성의 주파수 특징을 포함하는지 여부를 결정하는 것(508)을 포함한다. 아래에서 더욱 자세하게 논의되는 바와 같이, 일부 구현예들에서, 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 것(506)은 제1 사운드 검출기(예를 들어, 사운드-타입 검출기(404))에 의해 수행된다. 사운드 입력이 사전결정된 타입의 사운드에 대응한다는 결정에 따라, 전자 디바이스는 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정한다(510). 일부 구현예들에서, 사전결정된 콘텐츠는 하나 이상의 사전결정된 음소에 대응한다(512). 일부 구현예들에서, 하나 이상의 사전결정된 음소는 적어도 하나의 단어를 구성한다. 일부 구현예들에서, 사전결정된 콘텐츠는 사운드(예를 들어, 휘파람, 클릭, 또는 박수)이다. 일부 구현예들에서, 아래에서 논의되는 바와 같이, 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하는 것(510)은 제2 사운드 검출기(예를 들어, 트리거 사운드 검출기(406))에 의해 수행된다.

사운드 입력이 사전결정된 콘텐츠를 포함한다는 결정에 따라, 전자 디바이스는 스피치-기반 서비스를 개시한다(514). 일부 구현예들에서, 스피치-기반 서비스는 아래에서 위에서 자세하게 기술된 바와 같은 음성-기반 디지털 어시스턴트이다. 일부 구현예들에서, 스피치-기반 서비스는 스피치 입력이 텍스트로 변환되고 (예를 들어, 이메일, 텍스트 메시지, 워드 프로세싱 또는 노트 필기 애플리케이션 등의) 텍스트 입력 필드 내에 포함되고/되거나 디스플레이되는 딕테이션 서비스이다. 스피치-기반 서비스가 음성-기반 디지털 어시스턴트인 구현예에서, 음성-기반 디지털 어시스턴트가 개시되면, 사용자가 디지털 어시스턴트에게 음성 입력 및/또는 커맨드를 제공할 수 있음을 나타내는 프롬프트가 사용자에게 발행된다(예를 들어, 사운드 또는 스피치 프롬프트). 일부 구현예들에서, 음성-기반 디지털 어시스턴트를 개시하는 것은 애플리케이션 프로세서(예를 들어, 도 2의 프로세서(들)(204))를 활성화하는 것, 하나 이상의 프로그램 또는 모듈(예를 들어, 도 2의 디지털 어시스턴트 클라이언트 모듈(264))을 개시하는 것, 및/또는 원격 서버 또는 디바이스(예를 들어, 도 1의 디지털 어시스턴트 서버(106))로의 접속을 확립하는 것을 포함한다.

일부 구현예들에서, 전자 디바이스는 사운드 입력이 특정 사용자의 음성에 대응하는지 여부를 결정한다(516). 예를 들어, 사운드 입력이 권한이 부여된 디바이스의 사용자의 음성에 대응하는지 여부를 결정하기 위해 하나 이상의 음성 인증 기술이 사운드 입력에 적용된다. 음성 인증 기술은 위에서 더욱 자세하게 기술된다. 일부 구현예들에서, 음성 인증은 사운드 검출기들 중 하나(예를 들어, 트리거 사운드 검출기(406))에 의해 수행된다. 일부 구현예들에서, 음성 인증은 (임의의 적절한 하드웨어 및/또는 소프트웨어를 포함하는) 전용 음성 인증 모듈에 의해 수행된다. 일부 구현예들에서, 사운드-기반 서비스는 사운드 입력이 사전결정된 콘텐츠를 포함하며 사운드 입력이 특정 사용자의 음성에 대응한다는 결정에 응답하여 개시된다. 따라서, 예를 들어, 사운드-기반 서비스(예를 들어, 음성-기반 디지털 어시스턴트)는 오직 권한이 주어진 사용자에 의해 트리거 단어 또는 구가 구술되었을 때에만 개시될 것이다. 트리거 사운드의 일 사용자의 발언이 다른 사용자의 음성 트리거를 활성화하지 않을 것이기 때문에, 이것은 서비스가 권한이 없는 사용자에 의해 호출될 수 있는 가능성을 감소시키며, 다수의 전자 디바이스들이 근거리에 있는 경우에 특히 유용할 수 있다.

스피치-기반 서비스가 음성-기반 디지털 어시스턴트인 일부 구현예들에서, 사운드 입력이 사전결정된 콘텐츠를 포함하지만 특정 사용자의 음성에 대응하지 않는다는 결정에 응답하여, 음성-기반 디지털 어시스턴트는 제한된 액세스 모드로 개시된다. 일부 구현예들에서, 제한된 액세스 모드는 디지털 어시스턴트가 다른 방식으로 제공할 수 있는 데이터, 서비스, 및/또는 기능 중 오직 하위세트에만 디지털 어시스턴트가 액세스하는 것을 가능하게 한다. 일부 구현예들에서, (예를 들어, 디지털 어시스턴트의 권한이 없는 사용자가 캘린더, 작업 목록, 연락처, 사진, 이메일, 텍스트 메시지 등으로부터의 데이터에 액세스할 수 없도록) 제한된 액세스 모드는 기록-전용 모드에 대응한다. 일부 구현예들에서, 제한된 액세스 모드는 스피치-기반 서비스의 샌드박스된 인스턴스(sandboxed instance)에 대응하며, 그에 따라 스피치-기반 서비스가 디바이스(104) 상의 사용자 데이터(266)(도 2)와 같은, 또는 임의의 다른 디바이스 상의 사용자의 데이터(예를 들어, 도 1의 서버 시스템(108)과 같은 원격 서버 상에 저장될 수 있는 도 3a의 사용자 데이터(348))에 기록하거나 그로부터 판독하지 않을 것이다.

일부 구현예들에서, 사운드 입력이 사전결정된 콘텐츠를 포함하고 사운드 입력이 특정 사용자의 음성에 대응한다는 결정에 응답하여, 음성-기반 디지털 어시스턴트가 특정 사용자의 이름을 포함하는 프롬프트를 출력한다. 예를 들어, 특정 사용자가 음성 인증을 통해 식별되었을 때, 음성-기반 디지털 어시스턴트는 톤, 삐 소리, 또는 비-개인화된 음성 프롬프트와 같은 보다 일반적인 프롬프트 대신, "무엇을 도와드릴까요, 피터?"와 같은 프롬프트를 출력할 수 있다. 위에서 언급된 바와 같이, 일부 구현예들에서, 제1 사운드 검출기는 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하고(단계(506)), 제2 사운드 검출기는 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정한다(단계(510)). 일부 구현예들에서, 예를 들어 제1 사운드 검출기가 제2 사운드 검출기보다 덜 프로세서-집약적인 기술을 사용하기 때문에, 제1 사운드 검출기는 동작 중에 제2 사운드 검출기보다 더 적은 전력을 소비한다. 일부 구현예들에서, 제1 사운드 검출기는 사운드-타입 검출기(404)이고, 제2 사운드 검출기는 트리거 사운드 검출기(406)이며, 둘 모두가 도 4와 관련하여 위에서 논의된다. 일부 구현예들에서, 도 4를 참조하여 위에서 기술된 바와 같이, 동작 중에 제1 및/또는 제2 사운드 검출기는 듀티 사이클에 따라 주기적으로 오디오 채널을 모니터링한다.

일부 구현예들에서, 제1 및/또는 제2 사운드 검출기는 사운드 입력의 주파수-도메인 분석을 수행한다. 예를 들어, 이들 사운드 검출기는 주파수 스펙트럼을 생성하기 위해서 또는 사운드 입력 또는 그 일부분의 스펙트럼 밀도를 결정하기 위해서 라플라스 변환(Laplace transform), Z-변환(Z-transform), 또는 푸리에 변환(Fourier transform)을 수행한다. 일부 구현예들에서, 제1 사운드 검출기는 사운드 입력이 사람의 음성의 특징인 (또는 사람의 음성의 특징인 사운드 입력의 다른 특성, 양태, 또는 속성인) 주파수를 포함하는지 여부를 결정하도록 구성된 음성-활동 검출기이다.

일부 구현예들에서, 제1 사운드 검출기가 사전결정된 타입의 사운드 입력을 검출할 때까지 제2 사운드 검출기는 오프되거나 활동하지 않는다. 따라서, 일부 구현예들에서, 방법(500)은 사운드 입력이 사전결정된 타입에 대응한다는 결정에 응답하여 제2 사운드 검출기를 개시하는 단계를 포함한다. (다른 구현예들에서, 제2 사운드 검출기는 다른 조건들에 응답하여 개시되거나, 또는 제1 사운드 검출기로부터의 결정과 무관하게 연속적으로 동작된다.) 일부 구현예들에서, 제2 사운드 검출기를 개시하는 것은 (예를 들어, 회로, 프로세서, 프로그램, 메모리 등을 포함하는) 하드웨어 및/또는 소프트웨어를 활성화하는 것을 포함한다. 일부 구현예들에서, 제2 사운드 검출기는 자신이 개시된 후 적어도 사전결정된 길이의 시간 동안 동작된다(예를 들어, 활동하거나 오디오 채널을 모니터링한다). 예를 들어, 제1 사운드 검출기가 사운드 입력이 사전결정된 타입에 대응한다고 결정할 때(예를 들어, 사람의 음성을 포함함), 제2 사운드 검출기가 그 사운드 입력이 또한 사전결정된 콘텐츠(예로서, 트리거 단어)를 포함하는지를 결정하도록 동작된다. 일부 구현예들에서, 사전결정된 길이의 시간은 사전결정된 콘텐츠의 지속시간에 대응한다. 따라서, 만약 사전결정된 콘텐츠가 "안녕, 시리"라는 구라면, 사전결정된 길이의 시간은 해당 구가 발언되었는지를 결정하기에 충분히 길 것이다(예를 들어, 1 또는 2초, 또는 임의의 다른 적절한 지속시간). 만약 사전결정된 콘텐츠가 "안녕 시리, 일어나서 나를 도와줘"와 같이 더 길다면, 사전결정된 시간이 더 길 것이다(예를 들어, 5초, 또는 다른 적절한 지속시간). 일부 구현예들에서, 제2 사운드 검출기는 제1 사운드 검출기가 사전결정된 타입에 대응하는 사운드를 검출하는 한 동작한다. 이러한 구현예들에서, 제1 사운드 검출기가 사운드 입력 내의 사람의 스피치를 검출한다면, 제2 사운드 검출기는 이것이 사전결정된 콘텐츠를 포함하는지를 결정하도록 사운드 입력을 프로세싱할 것이다.

위에서 언급된 바와 같이, 일부 구현예들에서, 제3 사운드 검출기(예를 들어, 노이즈 검출기(402))는 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정한다(단계(504)). 일부 구현예들에서, 제3 사운드 검출기는 동작 중에 제1 사운드 검출기보다 더 적은 전력을 소비한다. 일부 구현예들에서, 제3 사운드 검출기는 도 4와 관련하여 위에서 논의된 바와 같이, 듀티 사이클에 따라 오디오 채널을 주기적으로 모니터링한다. 또한, 일부 구현예들에서, 제3 사운드 검출기는 사운드 입력의 시간-도메인 분석을 수행한다. 일부 구현예들에서, 시간-도메인 분석은 제2 사운드 검출기에 의해 적용되는 주파수-도메인 분석보다 덜 프로세서 집약적이기 때문에, 제3 사운드 검출기는 제1 사운드 검출기보다 더 적은 전력을 소비한다.

제1 사운드 검출기(예를 들어, 사운드-타입 검출기(404))에 의한 결정에 응답하여 제2 사운드 검출기(예를 들어, 트리거 사운드 검출기(406))를 개시하는 것과 관련하여 위에서 논의된 것과 유사하게, 일부 구현예들에서, 제1 사운드 검출기는 제3 사운드 검출기(예를 들어, 노이즈 검출기(402))에 의한 결정에 응답하여 개시된다. 예를 들어, 일부 구현예들에서, 사운드-타입 검출기(404)는 사운드 입력이 사전결정된 조건(예를 들어, 충분한 지속시간 동안 소정의 불륨 위에 있음)을 만족시킨다는 노이즈 검출기(402)에 의한 결정에 응답하여 개시된다. 일부 구현예들에서, 제1 사운드 검출기를 개시하는 것은 (예를 들어, 회로, 프로세서, 프로그램, 메모리 등을 포함하는) 하드웨어 및/또는 소프트웨어를 활성화하는 것을 포함한다. 다른 구현예들에서, 제1 사운드 검출기는 다른 조건들에 응답하여 개시되거나 또는 계속해서 동작된다. 일부 구현예들에서, 디바이스는 사운드 입력의 적어도 일부분을 메모리에 저장한다(518). 일부 구현예들에서, 메모리는 오디오 서브시스템(226)의 버퍼(414)(도 4)이다. 저장된 사운드 입력은 디바이스에 의한 사운드 입력의 비-실시간 프로세싱을 가능하게 한다. 예를 들어, 일부 구현예들에서, 하나 이상의 사운드 검출기가 저장된 사운드 입력을 프로세싱하기 위해 저장된 사운드 입력을 판독 및/또는 수신한다. 이것은 오디오 서브시스템(226)에 의한 사운드 입력을 수신하는 도중까지 업스트림 사운드 검출기(예를 들어, 트리거 사운드 검출기(406))가 개시되지 않는 경우에 특히 유용할 수 있다. 일부 구현예들에서, 스피치-기반 서비스가 개시되면 사운드 입력의 저장된 부분이 스피치-기반 서비스에 제공된다(520). 따라서, 스피치-기반 서비스는 사운드 입력의 해당 부분이 수신된 후까지 스피치-기반 서비스가 완전히 동작하지 않는다고 해도 사운드 입력의 저장된 부분에 대해 전사, 프로세싱, 또는 다른 방식으로 동작할 수 있다. 일부 구현예들에서, 사운드 입력의 저장된 부분이 전자 디바이스의 적응 모듈에 제공된다.

다양한 구현예들에서, 단계(516) 내지 단계(520)가 방법(500) 내의 서로 다른 위치들에서 수행된다. 예를 들어, 일부 구현예들에서, 단계(516) 내지 단계(520) 중 하나 이상이 단계(502)와 단계(504) 사이, 단계(510)와 단계(514) 사이, 또는 임의의 다른 적절한 위치에서 수행된다.

도 6은 일부 구현예들에 따라 음성 트리거 시스템(예를 들어, 도 4의 음성 트리거 시스템(400))을 동작하는 방법(600)을 도시한다. 일부 구현예들에서, 방법(600)은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행된다(예를 들어, 전자 디바이스(104)). 전자 디바이스는 자신이 사전결정된 방향에 있는지 여부를 결정한다(602). 일부 구현예들에서, 전자 디바이스는 (카메라를 포함하는) 광센서, 마이크로폰, 근접 센서, 자기 센서, 가속도계, 자이로스코프, 기울기 센서 등을 이용하여 자신의 방향을 검출한다. 예를 들어, 전자 디바이스는 앞을 보는(front-facing) 카메라의 센서 상에 입사하는 광량 또는 밝기와 뒤를 보는(rear-facing) 카메라의 센서 상에 입사하는 광량 또는 밝기를 비교함으로써 표면 상에서 아래를 보도록(face-down) 또는 위를 보도록(face-up) 놓여있는지 여부를 결정한다. 만약 앞을 보는 카메라에 의해 검출된 광량 및/또는 밝기가 뒤를 보는 카메라에 의해 검출된 것보다 뚜렷하게 더 크다면, 전자 디바이스는 자신이 위를 보고 있다고 결정할 것이다. 다른 한편으로, 만약 뒤를 보는 카메라에 의해 검출된 광량 및/또는 밝기가 앞을 보는 카메라에 의해 검출된 것보다 뚜렷하게 더 크다면, 디바이스는 자신이 아래를 보고 있다고 결정할 것이다. 전자 디바이스가 사전결정된 방향에 있다는 결정에 따라, 전자 디바이스는 음성 트리거의 사전결정된 모드를 활성화한다(604). 일부 구현예들에서, 사전결정된 방향은 실질적으로 수평이고 아래를 보고 있는 디바이스의 디스플레이 스크린에 대응하며, 사전결정된 모드는 스탠바이 모드이다(606). 예를 들어, 일부 구현예들에서, 만약 스마트폰 또는 태블릿의 스크린이 아래를 보도록 테이블 또는 데스크 상에 놓여 있다면, 음성 트리거는 음성 트리거의 의도하지 않은 활성화를 방지하기 위해서 스탠바이 모드에 놓이게 된다(예를 들어, 턴-오프 된다).

다른 한편으로, 일부 구현예들에서, 사전결정된 방향은 실질적으로 수평이고 위를 보고 있는 디바이스의 디스플레이 스크린에 대응하며, 사전결정된 모드는 청취 모드이다(608). 따라서, 예를 들어, 만약 스마트폰 또는 태블릿의 스크린이 위를 보도록 테이블 또는 데스크 상에 놓여 있다면, 음성 트리거는 트리거를 검출하였을 때 사용자에게 응답할 수 있도록 청취 모드에 놓이게 된다.

도 7은 일부 구현예들에 따라 음성 트리거(예를 들어, 도 4의 음성 트리거 시스템(400))를 동작하는 방법(700)을 도시한다. 일부 구현예들에서, 방법(700)은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행된다(예를 들어, 전자 디바이스(104)). 전자 디바이스는 제1 모드에서 음성 트리거(예를 들어, 음성 트리거 시스템(400))를 동작시킨다(702) 일부 구현예들에서, 제1 모드는 정상 청취 모드이다.

전자 디바이스는 전자 디바이스의 하나 이상의 마이크로폰 및 카메라가 폐색되었음을 검출함으로써 자신이 실질적으로 밀폐된 공간 내에 있는지 여부를 결정한다(704). 일부 구현예들에서, 실질적으로 밀폐된 공간은 주머니, 지갑, 가방, 서랍, 글러브박스, 서류가방 등을 포함한다.

전술된 바와 같이, 일부 구현예들에서, 디바이스는 스피커 또는 트랜듀서로부터 하나 이상의 사운드(예를 들어, 톤, 클릭, 핑 소리 등)를 방출하고 하나 이상의 마이크로폰 또는 트랜듀서가 방출된 사운드(들)의 에코를 검출하는지를 모니터링함으로써 마이크로폰이 폐색되었는지를 검출한다. 예를 들어, 비교적 넓은 환경(예를 들어, 방 또는 차량)이 비교적 작은, 실질적으로 밀폐된 환경(예를 들어, 지갑 또는 주머니)과 다르게 사운드를 반사시킬 것이다. 따라서, 만약 디바이스가 에코(또는 에코의 부재)에 기초하여 마이크로폰(또는 사운드가 방출된 스피커)가 폐색되었음을 검출하면, 디바이스는 자신이 실질적으로 밀폐된 공간 내에 있다고 결정한다. 일부 구현예들에서, 디바이스는 마이크로폰이 밀폐된 공간의 사운드 특징을 픽업하였음을 검출함으로써 마이크로폰이 폐색되었음을 검출한다. 예를 들어, 디바이스가 주머니 내에 있을 때, 마이크로폰은 마이크로폰이 주머니의 섬유와 접촉하거나 근접하게 됨으로 인해 특징적인 바스락거리는 노이즈를 검출할 수 있다. 일부 구현예들에서, 디바이스는 센서에 의해, 또는 초점이 맞춰진 이미지를 획득할 수 있는지 여부를 결정함으로써 수신된 광의 레벨에 기초하여 카메라가 폐색되었는지를 검출한다. 예를 들어, 만약 카메라 센서가 높은 레벨의 광이 예상될 수 있는 시간 동안 (예를 들어, 낮시간 동안) 낮은 레벨의 광을 검출한다면, 디바이스는 카메라가 폐색되었고, 그 디바이스는 실질적으로 밀폐된 공간 내에 있다고 결정한다. 다른 예로서, 카메라는 자신의 센서 상에 초점이 맞은 이미지를 획득하고자 시도할 수 있다. 일반적으로, 만약 카메라가 극도로 어두운 장소(예를 들어, 주머니 또는 백팩) 내에 있거나, 또는 카메라가 초점을 맞추고자 시도하고 있는 물체에 너무 가까이 있다면(예를 들어, 지갑 또는 백팩 내부), 초점이 맞은 이미지를 획득하는 것은 어려울 것이다. 따라서, 만약 카메라가 초점이 맞은 이미지를 획득할 수 없다면, 디바이스가 실질적으로 밀폐된 공간 내에 있다고 결정한다.

전자 디바이스가 실질적으로 밀폐된 공간 내에 있다는 결정에 따라, 전자 디바이스는 음성 트리거를 제2 모드로 전환한다(706). 일부 구현예들에서, 제2 모드는 스탠바이 모드이다(708). 일부 구현예들에서, 스탠바이 모드에 있을 때, 음성 트리거 시스템(400)은 계속해서 주변 오디오를 모니터링할 것이지만, 다른 방식으로 음성 트리거 시스템(400)을 트리거할 것인지 여부와 무관하게 수신된 사운드에 응답하지 않을 것이다. 일부 구현예들에서, 스탠바이 모드에서는 음성 트리거 시스템(400)이 비활성화되며, 트리거 사운드를 검출하기 위해 오디오를 프로세싱하지 않는다. 일부 구현예들에서, 제2 모드는 제1 모드와 다른 듀티 사이클에 따라 음성 트리거 시스템(400)의 하나 이상의 사운드 검출기를 동작시키는 것을 포함한다. 일부 구현예들에서, 제2 모드는 제1 모드와 다른 사운드 검출기들의 조합을 동작시키는 것을 포함한다.

일부 구현예들에서, 실질적으로 밀폐된 공간 내에 있다고 해도 음성 트리거 시스템(400)이 트리거 사운드를 검출하고 그에 반응할 수 있도록 제2 모드는 더욱 민감한 모니터링 모드에 대응한다. 일부 구현예들에서, 음성 트리거가 제2 모드로 전환되면, 디바이스는 (예를 들어, 단계(704)와 관련하여 전술된 임의의 기술을 이용하여) 전자 디바이스의 하나 이상의 마이크로폰 및 카메라가 폐색되었는지 여부를 검출함으로써 전자 디바이스가 여전히 실질적으로 밀폐된 공간 내에 있는지 여부를 주기적으로 결정한다. 만약 디바이스가 실질적으로 밀폐된 공간 내에 남아있다면, 음성 트리거 시스템(400)은 제2 모드로 유지될 것이다. 일부 구현예들에서, 만약 디바이스가 실질적으로 밀폐된 공간으로부터 제거되면, 전자 디바이스는 음성 트리거를 제1 모드로 복귀시킬 것이다.

일부 구현예들에 따라, 도 8은 전술된 바와 같은 본 발명의 원리에 따라 구성된 전자 디바이스(800)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은 본 발명의 원리들을 실행하도록 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 8에 묘사된 기능 블록들은 앞서 기재된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가적인 정의를 지원할 수 있다.

도 8에 도시된 바와 같이, 전자 디바이스(800)는 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(802)을 포함한다. 전자 디바이스(800)는 또한 스피치 수신 유닛(802)에 연결된 프로세싱 유닛(806)을 포함한다. 일부 구현예들에서, 프로세싱 유닛(806)은 노이즈 검출 유닛(808), 사운드 타입 검출 유닛(810), 트리거 사운드 검출 유닛(812), 서비스 개시 유닛(814) 및 음성 인증 유닛(816)을 포함한다. 일부 구현예들에서, 노이즈 검출 유닛(808)은 위에서 논의된 노이즈 검출기(402)에 대응하며, 노이즈 검출기(402)를 참조로 하여 전술된 임의의 동작들을 수행하도록 구성된다. 일부 구현예들에서, 사운드 타입 검출 유닛(810)은 위에서 논의된 사운드-타입 검출기(404)에 대응하며, 사운드-타입 검출기(404)를 참조로 하여 전술된 임의의 동작들을 수행하도록 구성된다. 일부 구현예들에서, 트리거 사운드 검출 유닛(812)은 위에서 논의된 트리거 사운드 검출기(406)에 대응하며, 트리거 사운드 검출기(406)를 참조로 하여 전술된 임의의 동작들을 수행하도록 구성된다. 일부 구현예들에서, 음성 인증 유닛(816)은 위에서 논의된 음성 인증 모듈(428)에 대응하며, 음성 인증 모듈(428)을 참조로 하여 전술된 임의의 동작들을 수행하도록 구성된다. 프로세싱 유닛(806)은 사운드 입력의 적어도 일부분이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하고(예를 들어, 사운드 타입 검출 유닛(810)을 이용); 사운드 입력의 적어도 일부분이 사전결정된 타입에 대응한다는 결정에 따라, 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하며(예를 들어, 트리거 사운드 검출 유닛(812)을 이용); 사운드 입력이 사전결정된 콘텐츠를 포함한다는 결정에 따라, 스피치-기반 서비스를 개시한다(예를 들어, 서비스 개시 유닛(814)을 이용).

일부 구현예들에서, 프로세싱 유닛(806)은 또한, 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하기 전에, 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하도록 구성된다(예를 들어, 노이즈 검출 유닛(808)을 이용). 일부 구현예들에서, 프로세싱 유닛(806)은 또한 사운드 입력이 특정 사용자의 음성에 대응하는지 여부를 결정하도록 구성된다(예를 들어, 음성 인증 유닛(816)을 이용).

일부 구현예들에 따라서, 도 9는 전술된 바와 같은 본 발명의 원리들에 따라 구성된 전자 디바이스(900)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은 본 발명의 원리들을 실행하도록 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 9에 묘사된 기능 블록들은 앞서 기재된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가적인 정의를 지원할 수 있다.

도 9에 도시된 바와 같이, 전자 디바이스(900)는 음성 트리거 유닛(902)을 포함한다. 음성 트리거 유닛(902)은 다양한 서로 다른 모드들에서 동작될 수 있다. 제1 모드에서, 음성 트리거 유닛은 사운드 입력을 수신하고 사운드 입력이 소정의 기준을 만족시키는지를 결정한다(예를 들어, 청취 모드). 제2 모드에서, 음성 트리거 유닛(902)은 사운드 입력을 수신하지 않고/않거나 프로세싱하지 않는다(예를 들어, 스탠바이 모드). 전자 디바이스(900)는 또한 음성 트리거 유닛(902)에 연결된 프로세싱 유닛(906)을 포함한다. 일부 구현예들에서, 프로세싱 유닛(906)은 (예를 들어, 마이크로폰, 카메라, 가속도계, 자이로스코프 등을 포함하는) 하나 이상의 센서를 포함할 수 있고/할 수 있거나 하나 이상의 센서와 인터페이스할 수 있는 환경 검출 유닛(908) 및 모드 전환 유닛(910)을 포함한다. 일부 구현예들에서, 프로세싱 유닛(906)은: 전자 디바이스의 하나 이상의 마이크로폰 및 카메라가 폐색되었음을 검출함으로써 전자 디바이스가 실질적으로 밀폐된 공간 내에 있는지 여부를 결정하고(예를 들어, 환경 검출 유닛(908)을 이용); 전자 디바이스가 실질적으로 밀폐된 공간 내에 있다는 결정에 따라, 음성 트리거를 제2 모드로 전환하도록 구성된다(예를 들어, 모드 전환 유닛(910)을 이용).

일부 구현예들에서, 프로세싱 유닛은: 전자 디바이스가 사전결정된 방향에 있는지 여부를 결정하고(예를 들어, 환경 검출 유닛(908)을 이용); 전자 디바이스가 사전결정된 방향에 있다는 결정에 따라, 음성 트리거의 사전결정된 모드를 활성화하도록 구성된다(예를 들어, 모드 전환 유닛(910)을 이용).

일부 구현예들에 따라서, 도 10은 전술된 바와 같은 본 발명의 원리들에 따라 구성된 전자 디바이스(1000)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은 본 발명의 원리들을 실행하도록 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 10에 묘사된 기능 블록들은 전술된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가적인 정의를 지원할 수 있다.

도 10에 도시된 바와 같이, 전자 디바이스(1000)는 음성 트리거 유닛(1002)을 포함한다. 음성 트리거 유닛(1002)은 다양한 서로 다른 모드들에서 동작될 수 있다. 제1 모드에서, 음성 트리거 유닛은 사운드 입력을 수신하고 사운드 입력이 소정의 기준을 만족시키는지를 결정한다(예를 들어, 청취 모드). 제2 모드에서, 음성 트리거 유닛(1002)은 사운드 입력을 수신하지 않고/않거나 프로세싱하지 않는다(예를 들어, 스탠바이 모드). 전자 디바이스(1000)는 또한 음성 트리거 유닛(1002)에 연결된 프로세싱 유닛(1006)을 포함한다. 일부 구현예들에서, 프로세싱 유닛(1006)은 마이크로폰 및/또는 카메라를 포함할 수 있고/할 수 있거나 이들과 인터페이스할 수 있는 환경 검출 유닛(1008) 및 모드 전환 유닛(1010)을 포함한다.

프로세싱 유닛(1006)은: 전자 디바이스의 하나 이상의 마이크로폰 및 카메라가 폐색되었음을 검출함으로써 전자 디바이스가 실질적으로 밀폐된 공간 내에 있는지 여부를 결정하고(예를 들어, 환경 검출 유닛(1008)을 이용); 전자 디바이스가 실질적으로 밀폐된 공간 내에 있다는 결정에 따라, 음성 트리거를 제2 모드로 전환하도록 구성된다(예를 들어, 모드 전환 유닛(1010)을 이용). 전술된 내용은 설명을 위해 특정 구현예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 개시된 구현예들을 망라하거나 또는 개시된 정확한 형태들로 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 구현예들은 개시된 아이디어들의 원리들 및 실제 응용들을 가장 잘 설명하여, 이로써 당업자가 이들을 고려되는 특정 용도에 맞춰진 바와 같은 다양한 수정들과 함께 가장 잘 활용할 수 있게 하기 위해 선택되었고 기술되었다.

"제1", "제2" 등의 용어들이 본 명세서에서 다양한 요소들을 기술하기 위해 사용될 수 있지만, 이러한 요소들이 이들 용어들로 제한되어서는 안된다는 것이 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 등장하는 모든 제1 사운드 검출기가 일관적으로 명칭이 변경되고 등장하는 모든 제2 사운드 검출기가 일관적으로 명칭이 변경되는 한, 설명의 의미를 변화시키지 않고 제1 사운드 검출기가 제2 사운드 검출기로 명명될 수 있으며, 유사하게, 제2 사운드 검출기가 제1 사운드 검출기로 명명될 수 있다. 제1 사운드 검출기 및 제2 사운드 검출기는 모두 사운드 검출기들이지만, 동일한 사운드 검출기는 아니다.

본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 기술하기 위한 것이고, 특허청구범위를 제한하고자 의도되는 것은 아니다. 구현예들 및 첨부된 특허청구범위의 설명에서 사용되는 바와 같은 단수 형태의 명사들은 맥락에서 달리 명백하게 나타내지 않는 한, 복수 형태의 명사들 또한 포함하고자 의도된다. 또한 본 명세서에서 사용되는 바와 같은 용어 "및/또는"이 하나 이상의 연관된 나열된 아이템들의 임의의 가능한 조합 및 모든 가능한 조합들을 지칭하며 이를 망라한다는 것이 이해될 것이다. 또한 용어 "포함한다" 및/또는 "포함하는"이 본 명세서에 사용되었을 때, 이러한 용어가 언급된 특성, 정수, 단계, 동작, 요소, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특성, 정수, 단계, 동작, 요소, 및/또는 컴포넌트들, 및/또는 이들의 그룹의 존재 또는 추가를 배재하는 것은 아니라는 것이 추가로 이해될 것이다. 본 명세서에서 사용되는 바와 같이, 용어 "만약 ~한다면"은 맥락에 따라, 언급된 조건 선례가 참인 "~하는 경우" 또는 "~함에 따라" 또는 "결정에 응답하여" 또는 "결정에 따라서" 또는 "검출에 응답하여"를 의미하는 것으로 해석될 수 있다. 유사하게, "만약 [언급된 조건 선례가 참이라고] 결정된다면" 또는 "만약 [언급된 조건 선례가 참]이라면" 또는 "[언급된 조건 선례가 참]인 경우"와 같은 구가 맥락에 따라 언급된 조건 선례가 참인 "결정함에 따라" 또는 "~라는 결정에 따라" 또는 "결정한 것에 응답하여" 또는 "결정에 따라서" 또는 "검출함에 따라" 또는 "검출한 것에 응답하여"를 의미하는 것으로 해석될 수 있다.

Claims (19)

  1. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행하기 위한 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행되는, 음성 트리거(voice trigger)를 동작시키는 방법으로서,
    상기 전자 디바이스의 적어도 앞면(front surface) 상에서 검출된 광량에 기초하여, 스탠바이 모드 또는 청취 모드에서 음성 트리거를 동작시킬지 여부를 결정하는 단계;
    상기 청취 모드에서 상기 음성 트리거를 동작시키는 결정에 따라:
    사운드 입력을 수신하는 단계;
    상기 사운드 입력의 적어도 일부분이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 단계;
    상기 사운드 입력의 적어도 일부분이 상기 사전결정된 타입에 대응한다는 결정에 따라, 상기 사운드 입력의 입력 표현을 하나 이상의 기준 표현과 비교하는 것에 기초하여, 상기 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하는 단계 - 상기 입력 표현은 상기 사운드 입력의 오디오 서명을 나타냄 -;
    상기 사운드 입력이 상기 사전결정된 콘텐츠를 포함한다는 결정에 따라, 스피치-기반 서비스를 개시하는 단계; 및
    상기 스탠바이 모드에서 상기 음성 트리거를 동작시키는 결정에 따라, 상기 사운드 입력에 기초하여 상기 스피치-기반 서비스를 개시하는 것을 중지하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하는 단계는 제1 사운드 검출기에 의해 수행되고, 상기 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하는 단계는 제2 사운드 검출기에 의해 수행되며, 상기 제1 사운드 검출기는 동작 중에 상기 제2 사운드 검출기보다 더 적은 전력을 소비하는, 방법.
  3. 제2항에 있어서, 상기 제2 사운드 검출기는 상기 사운드 입력이 상기 사전결정된 타입에 대응한다는 상기 제1 사운드 검출기에 의한 결정에 응답하여 개시되는, 방법.
  4. 제2항에 있어서, 상기 제2 사운드 검출기는 상기 사운드 입력이 상기 사전결정된 타입에 대응한다는 상기 제1 사운드 검출기에 의한 결정 후 적어도 사전결정된 길이의 시간 동안 동작되는, 방법.
  5. 제1항에 있어서, 상기 사전결정된 타입은 사람의 음성이고 상기 사전결정된 콘텐츠는 하나 이상의 단어인, 방법.
  6. 제1항에 있어서, 상기 사전결정된 콘텐츠는 하나 이상의 사전결정된 음소(phoneme)인, 방법.
  7. 제6항에 있어서, 상기 하나 이상의 사전결정된 음소는 적어도 하나의 단어를 구성하는, 방법.
  8. 제2항에 있어서, 상기 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하기 이전에, 상기 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하는 단계를 더 포함하는, 방법.
  9. 제8항에 있어서, 상기 사전결정된 조건은 진폭 임계값인, 방법.
  10. 제8항에 있어서, 상기 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하는 단계는 제3 사운드 검출기에 의해 수행되고, 상기 제3 사운드 검출기는 동작 중에 상기 제1 사운드 검출기보다 더 적은 전력을 소비하는, 방법.
  11. 제1항에 있어서,
    상기 사운드 입력의 적어도 일부분을 메모리에 저장하는 단계; 및
    상기 스피치-기반 서비스가 개시되면 상기 사운드 입력의 상기 일부분을 상기 스피치-기반 서비스에 제공하는 단계를 더 포함하는, 방법.
  12. 제1항에 있어서, 상기 사운드 입력이 특정 사용자의 음성에 대응하는지 여부를 결정하는 단계를 더 포함하는, 방법.
  13. 제12항에 있어서, 상기 사운드 입력이 상기 사전결정된 콘텐츠를 포함하고 상기 사운드 입력이 상기 특정 사용자의 상기 음성에 대응한다는 결정에 따라 상기 스피치-기반 서비스가 개시되는, 방법.
  14. 제13항에 있어서, 상기 사운드 입력이 상기 사전결정된 콘텐츠를 포함하고 상기 사운드 입력이 상기 특정 사용자의 상기 음성에 대응하지 않는다는 결정에 따라 상기 스피치-기반 서비스가 제한된 액세스 모드에서 개시되는, 방법.
  15. 제13항에 있어서, 상기 사운드 입력이 상기 특정 사용자의 상기 음성에 대응한다는 결정에 따라, 상기 특정 사용자의 이름을 포함하는 음성 프롬프트를 출력하는 단계를 더 포함하는, 방법.
  16. 제1항에 있어서,
    상기 전자 디바이스가 사전결정된 방향에 있는지 여부를 결정하는 단계; 및
    상기 전자 디바이스가 상기 사전결정된 방향에 있다는 결정에 따라, 상기 음성 트리거의 사전결정된 모드를 활성화하는 단계를 더 포함하는, 방법.
  17. 전자 디바이스의 하나 이상의 프로세서에 의해 실행하기 위한 하나 이상의 프로그램을 저장하는 컴퓨터 판독가능한 저장 매체로서, 상기 하나 이상의 프로그램은,
    상기 전자 디바이스의 적어도 앞면 상에서 검출된 광량에 기초하여, 스탠바이 모드 또는 청취 모드에서 음성 트리거를 동작시킬지 여부를 결정하고;
    상기 청취 모드에서 상기 음성 트리거를 동작시키는 결정에 따라:
    사운드 입력을 수신하고;
    상기 사운드 입력의 적어도 일부분이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하고;
    상기 사운드 입력의 적어도 일부분이 상기 사전결정된 타입에 대응한다는 결정에 따라, 상기 사운드 입력의 입력 표현을 하나 이상의 기준 표현과 비교하는 것에 기초하여, 상기 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하며 - 상기 입력 표현은 상기 사운드 입력의 오디오 서명을 나타냄 -;
    상기 사운드 입력이 상기 사전결정된 콘텐츠를 포함한다는 결정에 따라, 스피치-기반 서비스를 개시하고;
    상기 스탠바이 모드에서 상기 음성 트리거를 동작시키는 결정에 따라, 상기 사운드 입력에 기초하여 상기 스피치-기반 서비스를 개시하는 것을 중지하기 위한 명령어들을 포함하는, 컴퓨터 판독가능한 저장 매체.
  18. 전자 디바이스로서,
    하나 이상의 프로세서;
    메모리; 및
    하나 이상의 프로그램을 포함하되, 상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램은,
    상기 전자 디바이스의 적어도 앞면 상에서 검출된 광량에 기초하여, 스탠바이 모드 또는 청취 모드에서 음성 트리거를 동작시킬지 여부를 결정하고;
    상기 청취 모드에서 상기 음성 트리거를 동작시키는 결정에 따라:
    사운드 입력을 수신하고;
    상기 사운드 입력의 적어도 일부분이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하고;
    상기 사운드 입력의 적어도 일부분이 상기 사전결정된 타입에 대응한다는 결정에 따라, 상기 사운드 입력의 입력 표현을 하나 이상의 기준 표현과 비교하는 것에 기초하여, 상기 사운드 입력이 사전결정된 콘텐츠를 포함하는지 여부를 결정하며 - 상기 입력 표현은 상기 사운드 입력의 오디오 서명을 나타냄 -;
    상기 사운드 입력이 상기 사전결정된 콘텐츠를 포함한다는 결정에 따라, 스피치-기반 서비스를 개시하고;
    상기 스탠바이 모드에서 상기 음성 트리거를 동작시키는 결정에 따라, 상기 사운드 입력에 기초하여 상기 스피치-기반 서비스를 개시하는 것을 중지하기 위한 명령어들을 포함하는, 전자 디바이스.
  19. 제18항에 있어서, 상기 하나 이상의 프로그램은 상기 사운드 입력이 사전결정된 타입의 사운드에 대응하는지 여부를 결정하기 이전에, 상기 사운드 입력이 사전결정된 조건을 만족시키는지 여부를 결정하기 위한 명령어들을 더 포함하는, 전자 디바이스.
KR1020187017535A 2013-02-07 2014-02-07 디지털 어시스턴트를 위한 음성 트리거 KR20180071426A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201361762260P true 2013-02-07 2013-02-07
US61/762,260 2013-02-07
PCT/US2014/015418 WO2014124332A2 (en) 2013-02-07 2014-02-07 Voice trigger for a digital assistant

Publications (1)

Publication Number Publication Date
KR20180071426A true KR20180071426A (ko) 2018-06-27

Family

ID=50193584

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157021438A KR20150104615A (ko) 2013-02-07 2014-02-07 디지털 어시스턴트를 위한 음성 트리거
KR1020167029691A KR20160127165A (ko) 2013-02-07 2014-02-07 디지털 어시스턴트를 위한 음성 트리거
KR1020187017535A KR20180071426A (ko) 2013-02-07 2014-02-07 디지털 어시스턴트를 위한 음성 트리거

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020157021438A KR20150104615A (ko) 2013-02-07 2014-02-07 디지털 어시스턴트를 위한 음성 트리거
KR1020167029691A KR20160127165A (ko) 2013-02-07 2014-02-07 디지털 어시스턴트를 위한 음성 트리거

Country Status (9)

Country Link
US (2) US10199051B2 (ko)
EP (1) EP2954514A2 (ko)
JP (2) JP2016508007A (ko)
KR (3) KR20150104615A (ko)
CN (1) CN104969289A (ko)
AU (3) AU2014214676A1 (ko)
BR (1) BR112015018905A2 (ko)
DE (2) DE112014000709T5 (ko)
WO (1) WO2014124332A2 (ko)

Families Citing this family (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10469556B2 (en) 2007-05-31 2019-11-05 Ooma, Inc. System and method for providing audio cues in operation of a VoIP service
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9536528B2 (en) 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10304465B2 (en) * 2012-10-30 2019-05-28 Google Technology Holdings LLC Voice control user interface for low power mode
US10373615B2 (en) * 2012-10-30 2019-08-06 Google Technology Holdings LLC Voice control user interface during low power mode
US10381002B2 (en) * 2012-10-30 2019-08-13 Google Technology Holdings LLC Voice control user interface during low-power mode
KR20140104220A (ko) * 2013-02-20 2014-08-28 삼성전자주식회사 투명 디스플레이를 이용하는 전자장치에서 화면전환 방법 및 장치
US9111546B2 (en) * 2013-03-06 2015-08-18 Nuance Communications, Inc. Speech recognition and interpretation system
US9584642B2 (en) * 2013-03-12 2017-02-28 Google Technology Holdings LLC Apparatus with adaptive acoustic echo control for speakerphone mode
US9530410B1 (en) * 2013-04-09 2016-12-27 Google Inc. Multi-mode guard for voice commands
US20140365225A1 (en) * 2013-06-05 2014-12-11 DSP Group Ultra-low-power adaptive, user independent, voice triggering schemes
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
US9711148B1 (en) * 2013-07-18 2017-07-18 Google Inc. Dual model speaker identification
US9575720B2 (en) * 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
US9386148B2 (en) 2013-09-23 2016-07-05 Ooma, Inc. Identifying and filtering incoming telephone calls to enhance privacy
US9703757B2 (en) 2013-09-30 2017-07-11 Google Inc. Automatically determining a size for a content item for a web page
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
US10079019B2 (en) 2013-11-12 2018-09-18 Apple Inc. Always-on audio control for mobile device
US9189742B2 (en) * 2013-11-20 2015-11-17 Justin London Adaptive virtual intelligent agent
US20150221307A1 (en) * 2013-12-20 2015-08-06 Saurin Shah Transition from low power always listening mode to high power speech recognition mode
WO2015100430A1 (en) 2013-12-24 2015-07-02 Digimarc Corporation Methods and system for cue detection from audio input, low-power data processing and related arrangements
US20150234930A1 (en) 2014-02-19 2015-08-20 Google Inc. Methods and systems for providing functional extensions with a landing page of a creative
US9430186B2 (en) 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
US9547468B2 (en) * 2014-03-31 2017-01-17 Microsoft Technology Licensing, Llc Client-side personal voice web navigation
US20150302855A1 (en) * 2014-04-21 2015-10-22 Qualcomm Incorporated Method and apparatus for activating application by speech input
US9883301B2 (en) * 2014-04-22 2018-01-30 Google Technology Holdings LLC Portable electronic device with acoustic and/or proximity sensors and methods therefor
US20180152557A1 (en) * 2014-07-09 2018-05-31 Ooma, Inc. Integrating intelligent personal assistants with appliance devices
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
MX363774B (es) * 2014-06-02 2019-04-03 Schlage Lock Co Llc Interfaz de usuario de lenguaje natural.
KR20160001964A (ko) * 2014-06-30 2016-01-07 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10325591B1 (en) * 2014-09-05 2019-06-18 Amazon Technologies, Inc. Identifying and suppressing interfering audio content
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US20160077793A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9699550B2 (en) 2014-11-12 2017-07-04 Qualcomm Incorporated Reduced microphone power-up latency
KR20160064258A (ko) * 2014-11-26 2016-06-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
US10192549B2 (en) 2014-11-28 2019-01-29 Microsoft Technology Licensing, Llc Extending digital personal assistant action providers
KR20160065503A (ko) 2014-12-01 2016-06-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10147421B2 (en) 2014-12-16 2018-12-04 Microcoft Technology Licensing, Llc Digital assistant voice input integration
US9690542B2 (en) * 2014-12-22 2017-06-27 Microsoft Technology Licensing, Llc Scaling digital personal assistant agents across devices
US9837081B2 (en) 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discovering capabilities of third-party voice-enabled resources
US9653079B2 (en) * 2015-02-12 2017-05-16 Apple Inc. Clock switching in always-on component
GB2535766B (en) 2015-02-27 2019-06-12 Imagination Tech Ltd Low power detection of an activation phrase
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) * 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
EP3067884B1 (en) * 2015-03-13 2019-05-08 Samsung Electronics Co., Ltd. Speech recognition system and speech recognition method thereof
US9799349B2 (en) * 2015-04-24 2017-10-24 Cirrus Logic, Inc. Analog-to-digital converter (ADC) dynamic range enhancement for voice-activated systems
WO2016175354A1 (ko) * 2015-04-29 2016-11-03 주식회사 아카인텔리전스 인공지능 대화 장치 및 방법
CN104820556A (zh) * 2015-05-06 2015-08-05 广州视源电子科技股份有限公司 唤醒语音助手的方法及装置
US9521069B2 (en) 2015-05-08 2016-12-13 Ooma, Inc. Managing alternative networks for high quality of service communications
US10446142B2 (en) 2015-05-20 2019-10-15 Microsoft Technology Licensing, Llc Crafting feedback dialogue with a digital assistant
US10504509B2 (en) * 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US10091140B2 (en) 2015-05-31 2018-10-02 Microsoft Technology Licensing, Llc Context-sensitive generation of conversational responses
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
KR20170001406A (ko) * 2015-06-26 2017-01-04 삼성전자주식회사 전자 장치 및 그의 오디오 변환 방법
US20180182416A1 (en) * 2015-06-26 2018-06-28 Samsung Electronics Co., Ltd. Method for determining sound and device therefor
CN105070288B (zh) * 2015-07-02 2018-08-07 百度在线网络技术(北京)有限公司 车载语音指令识别方法和装置
US20170068513A1 (en) * 2015-09-08 2017-03-09 Apple Inc. Zero latency digital assistant
US20170068550A1 (en) 2015-09-08 2017-03-09 Apple Inc. Distributed personal assistant
KR20170035625A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 음성 인식이 가능한 전자 장치 및 방법
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
WO2017058929A1 (en) * 2015-09-29 2017-04-06 Realtime Adventure Data, Inc. Sensor system for measuring a snowpack profile
US20170092278A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US20170092270A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Intelligent device identification
EP3349116A4 (en) * 2015-09-30 2019-01-02 Huawei Technologies Co., Ltd. Speech control processing method and apparatus
US9691413B2 (en) 2015-10-06 2017-06-27 Microsoft Technology Licensing, Llc Identifying sound from a source of interest based on multiple audio feeds
US10116796B2 (en) 2015-10-09 2018-10-30 Ooma, Inc. Real-time communications-based internet advertising
CN105185378A (zh) * 2015-10-20 2015-12-23 珠海格力电器股份有限公司 声控方法、声控系统及能够进行声控的空调
CN106653010A (zh) 2015-11-03 2017-05-10 络达科技股份有限公司 电子装置及其透过语音辨识唤醒的方法
CN105426357A (zh) * 2015-11-06 2016-03-23 武汉卡比特信息有限公司 语音快速选择方法
KR20170054707A (ko) * 2015-11-10 2017-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10354653B1 (en) * 2016-01-19 2019-07-16 United Services Automobile Association (Usaa) Cooperative delegation for digital assistants
US10388280B2 (en) * 2016-01-27 2019-08-20 Motorola Mobility Llc Method and apparatus for managing multiple voice operation trigger phrases
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10282165B2 (en) 2016-04-06 2019-05-07 International Business Machines Corporation Selective displaying of push notifications
CN107305774A (zh) * 2016-04-22 2017-10-31 腾讯科技(深圳)有限公司 语音检测方法和装置
US20190130911A1 (en) * 2016-04-22 2019-05-02 Hewlett-Packard Development Company, L.P. Communications with trigger phrases
US20170311261A1 (en) * 2016-04-25 2017-10-26 Sensory, Incorporated Smart listening modes supporting quasi always-on listening
US9912846B2 (en) * 2016-05-11 2018-03-06 Microsoft Technology Licensing, Llc Obtaining calibration data of a camera
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US10038644B2 (en) 2016-05-27 2018-07-31 Bank Of America Corporation Communication system for resource usage monitoring
US10154101B2 (en) 2016-05-27 2018-12-11 Bank Of America Corporation System for resource usage monitoring
US10104199B2 (en) 2016-05-27 2018-10-16 Bank Of America Corporation Three-way communication link for information retrieval and notification
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
WO2017210785A1 (en) 2016-06-06 2017-12-14 Nureva Inc. Method, apparatus and computer-readable media for touch and speech interface with audio location
US10394358B2 (en) 2016-06-06 2019-08-27 Nureva, Inc. Method, apparatus and computer-readable media for touch and speech interface
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) * 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
AU2017100589B4 (en) * 2016-06-11 2017-08-31 Apple Inc. Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US20170371681A1 (en) * 2016-06-27 2017-12-28 Qualcomm Incorporated Systems and methods for using distributed universal serial bus (usb) host drivers
US10451430B2 (en) 2016-07-26 2019-10-22 International Business Machines Corporation Navigation alerting using conversation analysis
WO2018022085A1 (en) * 2016-07-29 2018-02-01 Hewlett-Packard Development Company, L.P. Identification of preferred communication devices
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
KR20180036469A (ko) 2016-09-30 2018-04-09 엘지디스플레이 주식회사 유기 발광 표시 장치
US20180122372A1 (en) * 2016-10-31 2018-05-03 Soundhound, Inc. Distinguishable open sounds
US20180129795A1 (en) * 2016-11-09 2018-05-10 Idefend Ltd. System and a method for applying dynamically configurable means of user authentication
US10482885B1 (en) * 2016-11-15 2019-11-19 Amazon Technologies, Inc. Speaker based anaphora resolution
KR20180055243A (ko) * 2016-11-16 2018-05-25 엘지전자 주식회사 이동단말기 및 그 제어방법
US10528605B2 (en) * 2016-11-18 2020-01-07 DefinedCrowd Corporation Crowdsourced training of textual natural language understanding systems
US10268447B1 (en) 2016-12-02 2019-04-23 Amazon Technologies, Inc. Curating audio and IR commands through machine learning
US10469787B1 (en) 2016-12-02 2019-11-05 Amazon Technologies, Inc. Learning multi-device controller with personalized voice control
US10375340B1 (en) * 2016-12-02 2019-08-06 Amazon Technologies, Inc. Personalizing the learning home multi-device controller
KR20180075050A (ko) * 2016-12-26 2018-07-04 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
US10431209B2 (en) 2016-12-30 2019-10-01 Google Llc Feedback controller for data transmissions
US10437928B2 (en) 2016-12-30 2019-10-08 Google Llc Device identifier dependent operation processing of packet based data communication
US10013986B1 (en) 2016-12-30 2018-07-03 Google Llc Data structure pooling of voice activated data packets
US20180204569A1 (en) * 2017-01-17 2018-07-19 Ford Global Technologies, Llc Voice Assistant Tracking And Activation
JP2018169442A (ja) * 2017-03-29 2018-11-01 京セラドキュメントソリューションズ株式会社 音声入力システム、音声入力装置および音声入力プログラム
US20180301151A1 (en) * 2017-04-12 2018-10-18 Soundhound, Inc. Managing agent engagement in a man-machine dialog
US20180322869A1 (en) * 2017-05-04 2018-11-08 Unlimiter Mfa Co., Ltd. Voice transmission device and method for executing voice assistant program thereof
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10311870B2 (en) * 2017-05-10 2019-06-04 Ecobee Inc. Computerized device with voice command input capability
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10380852B2 (en) * 2017-05-12 2019-08-13 Google Llc Systems, methods, and devices for activity monitoring via a home assistant
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
CN107193810A (zh) * 2017-05-19 2017-09-22 北京小蓦机器人技术有限公司 一种用于自然语言内容标题消歧的方法、设备和系统
US10531196B2 (en) 2017-06-02 2020-01-07 Apple Inc. Spatially ducking audio produced through a beamforming loudspeaker array
US10528228B2 (en) 2017-06-21 2020-01-07 Microsoft Technology Licensing, Llc Interaction with notifications across devices with a digital assistant
US9900556B1 (en) * 2017-06-28 2018-02-20 The Travelers Indemnity Company Systems and methods for virtual co-location
US20190005953A1 (en) * 2017-06-29 2019-01-03 Amazon Technologies, Inc. Hands free always on near field wakeword solution
US10204624B1 (en) * 2017-08-14 2019-02-12 Lenovo (Singapore) Pte. Ltd. False positive wake word
US10455322B2 (en) 2017-08-18 2019-10-22 Roku, Inc. Remote control with presence sensor
US20190066687A1 (en) * 2017-08-28 2019-02-28 Roku, Inc. Local and Cloud Speech Recognition
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
KR20190052394A (ko) * 2017-11-08 2019-05-16 삼성전자주식회사 복수의 마이크를 이용하여 기능을 실행하기 위한 방법 및 그 전자 장치
CN107945806A (zh) * 2017-11-10 2018-04-20 北京小米移动软件有限公司 基于声音特征的用户识别方法及装置
US20190207777A1 (en) * 2017-12-29 2019-07-04 Synaptics Incorporated Voice command processing in low power devices
WO2019133942A1 (en) * 2017-12-29 2019-07-04 Polk Audio, Llc Voice-control soundbar loudspeaker system with dedicated dsp settings for voice assistant output signal and mode switching method
KR20190084789A (ko) * 2018-01-09 2019-07-17 엘지전자 주식회사 전자 장치 및 그 제어 방법
US20190272831A1 (en) * 2018-03-02 2019-09-05 Apple Inc. Training speaker recognition models for digital assistants
US10460734B2 (en) 2018-03-08 2019-10-29 Frontive, Inc. Methods and systems for speech signal processing
WO2019171732A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US10332543B1 (en) 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
US20190311714A1 (en) * 2018-04-09 2019-10-10 Google Llc Ambient Audio History and Personalization
WO2019216996A1 (en) * 2018-05-07 2019-11-14 Apple Inc. Raise to speak
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10460749B1 (en) * 2018-06-28 2019-10-29 Nuvoton Technology Corporation Voice activity detection using vocal tract area information

Family Cites Families (2669)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1559320A (en) 1924-11-17 1925-10-27 Albert A Hirsh Tooth cleaner
US2180522A (en) 1938-11-01 1939-11-21 Henne Isabelle Dental floss throw-away unit and method of making same
US3828132A (en) 1970-10-30 1974-08-06 Bell Telephone Labor Inc Speech synthesis by concatenation of formant encoded words
US3710321A (en) 1971-01-18 1973-01-09 Ibm Machine recognition of lexical symbols
US3704345A (en) 1971-03-19 1972-11-28 Bell Telephone Labor Inc Conversion of printed text into synthetic speech
US3979557A (en) 1974-07-03 1976-09-07 International Telephone And Telegraph Corporation Speech processor system for pitch period extraction using prediction filters
US4013085A (en) 1974-07-17 1977-03-22 Wright Charles E Dental cleaning means and method of manufacture therefor
US4108211A (en) 1975-04-28 1978-08-22 Fuji Photo Optical Co., Ltd. Articulated, four-way bendable tube structure
US4107784A (en) 1975-12-22 1978-08-15 Bemmelen Henri M Van Management control terminal method and apparatus
US4090216A (en) 1976-05-26 1978-05-16 Gte Sylvania Incorporated Ambient light contrast and color control circuit
BG24190A1 (en) 1976-09-08 1978-01-10 Antonov Method of synthesis of speech and device for effecting same
US4081631A (en) 1976-12-08 1978-03-28 Motorola, Inc. Dual purpose, weather resistant data terminal keyboard assembly including audio porting
US4384169A (en) 1977-01-21 1983-05-17 Forrest S. Mozer Method and apparatus for speech synthesizing
US4159536A (en) 1977-04-08 1979-06-26 Willard E. Kehoe Portable electronic language translation device
GB1545406A (en) 1977-12-16 1979-05-10 Ibm Keyboard apparatus
US4181821A (en) 1978-10-31 1980-01-01 Bell Telephone Laboratories, Incorporated Multiple template speech recognition system
JPS597120B2 (ko) 1978-11-24 1984-02-16 Nippon Electric Co
US4241286A (en) 1979-01-04 1980-12-23 Mack Gordon Welding helmet lens assembly
US4253477A (en) 1979-08-02 1981-03-03 Eichman John J Dental floss holder
JPH0122634B2 (ko) 1979-12-10 1989-04-27 Nippon Electric Co
US4310721A (en) 1980-01-23 1982-01-12 The United States Of America As Represented By The Secretary Of The Army Half duplex integral vocoder modem system
US4348553A (en) 1980-07-02 1982-09-07 International Business Machines Corporation Parallel pattern verifier with dynamic time warping
JPS5741731A (en) 1980-08-25 1982-03-09 Fujitsu Ltd Coordinate input device
US4332464A (en) 1980-09-22 1982-06-01 Xerox Corporation Interactive user-machine interface method and apparatus for copier/duplicator
NZ199001A (en) 1981-01-30 1984-02-03 Mobil Oil Corp Alkylation of aromatic compounds using catalyst with metal component and a zeolite
JPH0123798B2 (ko) 1981-04-27 1989-05-08 Nippon Electric Co
US4495644A (en) 1981-04-27 1985-01-22 Quest Automation Public Limited Company Apparatus for signature verification
US4433377A (en) 1981-06-29 1984-02-21 Eustis Mary S Data processing with format varying
US4386345A (en) 1981-09-22 1983-05-31 Sperry Corporation Color and brightness tracking in a cathode ray tube display system
EP0444717B1 (en) 1982-06-11 1996-05-22 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
US4451849A (en) 1982-06-23 1984-05-29 Rca Corporation Plural operating mode ambient light responsive television picture control
US4485439A (en) 1982-07-27 1984-11-27 S.A. Analis Standard hardware-software interface for connecting any instrument which provides a digital output stream with any digital host computer
US4513379A (en) 1982-09-07 1985-04-23 General Electric Company Customization window for a computer numerical control system
JPS5957336A (en) 1982-09-27 1984-04-02 Toshiba Corp Picture display device
US4555775B1 (en) 1982-10-07 1995-12-05 Bell Telephone Labor Inc Dynamic generation and overlaying of graphic windows for multiple active program storage areas
US4587670A (en) 1982-10-15 1986-05-06 At&T Bell Laboratories Hidden Markov model speech recognition arrangement
US4831551A (en) 1983-01-28 1989-05-16 Texas Instruments Incorporated Speaker-dependent connected speech word recognizer
US4688195A (en) 1983-01-28 1987-08-18 Texas Instruments Incorporated Natural-language interface generating system
US4586158A (en) 1983-02-22 1986-04-29 International Business Machines Corp. Screen management system
DE3381300D1 (de) 1983-03-31 1990-04-12 Ibm Abbildungsraumverwaltung und wiedergabe in einem bestimmten teil des bildschirms eines virtuellen mehrfunktionsterminals.
US4654875A (en) 1983-05-23 1987-03-31 The Research Foundation Of State University Of New York System to achieve automatic recognition of linguistic strings
SE8303123L (sv) 1983-06-02 1984-12-03 Fixfabriken Ab Festanordning
US4618984A (en) 1983-06-08 1986-10-21 International Business Machines Corporation Adaptive automatic discrete utterance recognition
JPS603056A (en) 1983-06-21 1985-01-09 Toshiba Corp Information rearranging device
DE3335358A1 (de) 1983-09-29 1985-04-11 Siemens Ag Verfahren zur bestimmung von sprachspektren fuer die automatische spracherkennung und sprachcodierung
US4611346A (en) 1983-09-29 1986-09-09 International Business Machines Corporation Method and apparatus for character recognition accommodating diacritical marks
US4797930A (en) 1983-11-03 1989-01-10 Texas Instruments Incorporated constructed syllable pitch patterns from phonological linguistic unit string data
US4802223A (en) 1983-11-03 1989-01-31 Texas Instruments Incorporated Low data rate speech encoding employing syllable pitch patterns
US5164900A (en) 1983-11-14 1992-11-17 Colman Bernath Method and device for phonetically encoding Chinese textual data for data processing entry
US5212638A (en) 1983-11-14 1993-05-18 Colman Bernath Alphabetic keyboard arrangement for typing Mandarin Chinese phonetic data
US4680805A (en) 1983-11-17 1987-07-14 Texas Instruments Incorporated Method and apparatus for recognition of discontinuous text
US4589022A (en) 1983-11-28 1986-05-13 General Electric Company Brightness control system for CRT video display
JPH023224B2 (ko) 1983-11-29 1990-01-22 Enu Kee Bii Kk
US4736296A (en) 1983-12-26 1988-04-05 Hitachi, Ltd. Method and apparatus of intelligent guidance in natural language
US4726065A (en) 1984-01-26 1988-02-16 Horst Froessl Image manipulation by speech signals
US4955047A (en) 1984-03-26 1990-09-04 Dytel Corporation Automated attendant with direct inward system access
US4811243A (en) 1984-04-06 1989-03-07 Racine Marsh V Computer aided coordinate digitizing system
US4692941A (en) 1984-04-10 1987-09-08 First Byte Real-time text-to-speech conversion system
US4709390A (en) 1984-05-04 1987-11-24 American Telephone And Telegraph Company, At&T Bell Laboratories Speech message code modifying arrangement
JPH067397Y2 (ja) 1984-07-30 1994-02-23 カシオ計算機株式会社 文書入力装置
JPH0724055B2 (ja) 1984-07-31 1995-03-15 株式会社日立製作所 単語分割処理方法
US4783807A (en) 1984-08-27 1988-11-08 John Marley System and method for sound recognition with feature selection synchronized to voice pitch
JP2607457B2 (ja) 1984-09-17 1997-05-07 株式会社東芝 パターン認識装置
JPH0510703B2 (ko) 1984-10-29 1993-02-10 Hitachi Ltd
US4718094A (en) 1984-11-19 1988-01-05 International Business Machines Corp. Speech recognition system
US5165007A (en) 1985-02-01 1992-11-17 International Business Machines Corporation Feneme-based Markov models for words
US4783804A (en) 1985-03-21 1988-11-08 American Telephone And Telegraph Company, At&T Bell Laboratories Hidden Markov model speech recognition arrangement
US4944013A (en) 1985-04-03 1990-07-24 British Telecommunications Public Limited Company Multi-pulse speech coder
US4670848A (en) 1985-04-10 1987-06-02 Standard Systems Corporation Artificial intelligence system
US4658425A (en) 1985-04-19 1987-04-14 Shure Brothers, Inc. Microphone actuation control system suitable for teleconference systems
US4833712A (en) 1985-05-29 1989-05-23 International Business Machines Corporation Automatic generation of simple Markov model stunted baseforms for words in a vocabulary
US4819271A (en) 1985-05-29 1989-04-04 International Business Machines Corporation Constructing Markov model word baseforms from multiple utterances by concatenating model sequences for word segments
US4698625A (en) 1985-05-30 1987-10-06 International Business Machines Corp. Graphic highlight adjacent a pointing cursor
US4829583A (en) 1985-06-03 1989-05-09 Sino Business Machines, Inc. Method and apparatus for processing ideographic characters
US5067158A (en) 1985-06-11 1991-11-19 Texas Instruments Incorporated Linear predictive residual representation via non-iterative spectral reconstruction
US5175803A (en) 1985-06-14 1992-12-29 Yeh Victor C Method and apparatus for data processing and word processing in Chinese using a phonetic Chinese language
US4713775A (en) 1985-08-21 1987-12-15 Teknowledge, Incorporated Intelligent assistant for using and operating computer system capabilities to solve problems
EP0218859A3 (en) 1985-10-11 1989-09-06 International Business Machines Corporation Signal processor communication interface
US4754489A (en) 1985-10-15 1988-06-28 The Palantir Corporation Means for resolving ambiguities in text based upon character context
US5133023A (en) 1985-10-15 1992-07-21 The Palantir Corporation Means for resolving ambiguities in text based upon character context
US4655233A (en) 1985-11-04 1987-04-07 Laughlin Patrick E Dental flossing tool
US4776016A (en) 1985-11-21 1988-10-04 Position Orientation Systems, Inc. Voice control system
NL8503304A (nl) 1985-11-29 1987-06-16 Philips Nv Werkwijze en inrichting voor het segmenteren van een uit een akoestisch signaal, bij voorbeeld een spraaksignaal, afgeleid elektrisch signaal.
JPH0833744B2 (ja) 1986-01-09 1996-03-29 株式会社東芝 音声合成装置
US4680429A (en) 1986-01-15 1987-07-14 Tektronix, Inc. Touch panel
US4807752A (en) 1986-01-21 1989-02-28 Placontrol Corporation Dental floss holders and package assembly of same
US4724542A (en) 1986-01-22 1988-02-09 International Business Machines Corporation Automatic reference adaptation during dynamic signature verification
US5759101A (en) 1986-03-10 1998-06-02 Response Reward Systems L.C. Central and remote evaluation of responses of participatory broadcast audience with automatic crediting and couponing
US5057915A (en) 1986-03-10 1991-10-15 Kohorn H Von System and method for attracting shoppers to sales outlets
US5032989A (en) 1986-03-19 1991-07-16 Realpro, Ltd. Real estate search and location system and method
DE3779351D1 (ko) 1986-03-28 1992-07-02 American Telephone And Telegraph Co., New York, N.Y., Us
JPS62235998A (en) 1986-04-05 1987-10-16 Sharp Kk Syllable identification system
JPH0814822B2 (ja) 1986-04-30 1996-02-14 カシオ計算機株式会社 命令入力装置
US4903305A (en) 1986-05-12 1990-02-20 Dragon Systems, Inc. Method for representing word models for use in speech recognition
US4837798A (en) 1986-06-02 1989-06-06 American Telephone And Telegraph Company Communication system having unified messaging
GB8618665D0 (en) 1986-07-31 1986-09-10 British Telecomm Graphical workstation
US4790028A (en) 1986-09-12 1988-12-06 Westinghouse Electric Corp. Method and apparatus for generating variably scaled displays
CA1294056C (en) 1986-10-03 1992-01-07 Frederick Warwick Michael Stentiford Language translation system
US5765131A (en) 1986-10-03 1998-06-09 British Telecommunications Public Limited Company Language translation system and method
US5083268A (en) 1986-10-15 1992-01-21 Texas Instruments Incorporated System and method for parsing natural language by unifying lexical features of words
US4837831A (en) 1986-10-15 1989-06-06 Dragon Systems, Inc. Method for creating and using multiple-word sound models in speech recognition
DE3750221D1 (de) 1986-10-16 1994-08-18 Mitsubishi Electric Corp Amplituden-adaptiver vektor-quantisierer.
US5123103A (en) 1986-10-17 1992-06-16 Hitachi, Ltd. Method and system of retrieving program specification and linking the specification by concept to retrieval request for reusing program parts
US4829576A (en) 1986-10-21 1989-05-09 Dragon Systems, Inc. Voice recognition system
US4887212A (en) 1986-10-29 1989-12-12 International Business Machines Corporation Parser for natural language text
US4852168A (en) 1986-11-18 1989-07-25 Sprague Richard P Compression of stored waveforms for artificial speech
US4833718A (en) 1986-11-18 1989-05-23 First Byte Compression of stored waveforms for artificial speech
US4727354A (en) 1987-01-07 1988-02-23 Unisys Corporation System for selecting best fit vector code in vector quantization encoding
US4827520A (en) 1987-01-16 1989-05-02 Prince Corporation Voice actuated control system for use in a vehicle
US5179627A (en) 1987-02-10 1993-01-12 Dictaphone Corporation Digital dictation system
US4965763A (en) 1987-03-03 1990-10-23 International Business Machines Corporation Computer method for automatic extraction of commonly specified information from business correspondence
JP2595235B2 (ja) 1987-03-18 1997-04-02 富士通株式会社 音声合成装置
US4755811A (en) 1987-03-24 1988-07-05 Tektronix, Inc. Touch controlled zoom of waveform displays
US4803729A (en) 1987-04-03 1989-02-07 Dragon Systems, Inc. Speech recognition method
US5027408A (en) 1987-04-09 1991-06-25 Kroeker John P Speech-recognition circuitry employing phoneme estimation
US5125030A (en) 1987-04-13 1992-06-23 Kokusai Denshin Denwa Co., Ltd. Speech signal coding/decoding system based on the type of speech signal
US5644727A (en) 1987-04-15 1997-07-01 Proprietary Financial Products, Inc. System for the operation and management of one or more financial accounts through the use of a digital communication and computation system for exchange, investment and borrowing
AT386947B (de) 1987-04-17 1988-11-10 Rochus Marxer Spannbarer faden, behaelter fuer diesen faden und halter zur zahnpflege, insbesondere zur reinigung von zahnzwischenraeumen
JPS63285598A (en) 1987-05-18 1988-11-22 Kokusai Denshin Denwa Co Ltd Phoneme connection type parameter rule synthesization system
CA1295064C (en) 1987-05-29 1992-01-28 Kuniyoshi Marui Voice recognition system used in telephone apparatus
US5231670A (en) 1987-06-01 1993-07-27 Kurzweil Applied Intelligence, Inc. Voice controlled system and method for generating text from a voice controlled input
CA1265623A (en) 1987-06-11 1990-02-06 Eddy Lee Method of facilitating computer sorting
DE3723078A1 (de) 1987-07-11 1989-01-19 Philips Patentverwaltung Verfahren zur erkennung von zusammenhaengend gesprochenen woertern
CA1288516C (en) 1987-07-31 1991-09-03 Leendert M. Bijnagte Apparatus and method for communicating textual and image information between a host computer and a remote display terminal
US4974191A (en) 1987-07-31 1990-11-27 Syntellect Software Inc. Adaptive natural language computer interface system
US4827518A (en) 1987-08-06 1989-05-02 Bell Communications Research, Inc. Speaker verification system using integrated circuit cards
CA1280215C (en) 1987-09-28 1991-02-12 Eddy Lee Multilingual ordered data retrieval system
JP2602847B2 (ja) 1987-09-29 1997-04-23 株式会社日立製作所 マルチメディアメールシステム
US5022081A (en) 1987-10-01 1991-06-04 Sharp Kabushiki Kaisha Information recognition system
EP0380572B1 (en) 1987-10-09 1994-07-27 Sound Entertainment, Inc. Generating speech from digitally stored coarticulated speech segments
JPH0355838B2 (ko) 1987-10-12 1991-08-26
US4852173A (en) 1987-10-29 1989-07-25 International Business Machines Corporation Design and construction of a binary-tree system for language modelling
US5072452A (en) 1987-10-30 1991-12-10 International Business Machines Corporation Automatic determination of labels and Markov word models in a speech recognition system
EP0314908B1 (en) 1987-10-30 1992-12-02 International Business Machines Corporation Automatic determination of labels and markov word models in a speech recognition system
US4914586A (en) 1987-11-06 1990-04-03 Xerox Corporation Garbage collector for hypermedia systems
US4992972A (en) 1987-11-18 1991-02-12 International Business Machines Corporation Flexible context searchable on-line information system with help files and modules for on-line computer system documentation
US4908867A (en) 1987-11-19 1990-03-13 British Telecommunications Public Limited Company Speech synthesis
US5220657A (en) 1987-12-02 1993-06-15 Xerox Corporation Updating local copy of shared data in a collaborative system
JP2739945B2 (ja) 1987-12-24 1998-04-15 株式会社東芝 音声認識方法
US5053758A (en) 1988-02-01 1991-10-01 Sperry Marine Inc. Touchscreen control panel with sliding touch control
US4984177A (en) 1988-02-05 1991-01-08 Advanced Products And Technologies, Inc. Voice language translator
GB2219178A (en) 1988-02-11 1989-11-29 Benchmark Technologies State machine controlled video processor
US5194950A (en) 1988-02-29 1993-03-16 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
US5079723A (en) 1988-03-04 1992-01-07 Xerox Corporation Touch dialogue user interface for reproduction machines
US4994966A (en) 1988-03-31 1991-02-19 Emerson & Stern Associates, Inc. System and method for natural language parsing by initiating processing prior to entry of complete sentences
FI80536C (fi) 1988-04-15 1990-06-11 Nokia Mobira Oy Matrisdisplay.
US4914590A (en) 1988-05-18 1990-04-03 Emhart Industries, Inc. Natural language understanding system
US4975975A (en) 1988-05-26 1990-12-04 Gtx Corporation Hierarchical parametric apparatus and method for recognizing drawn characters
US5315689A (en) 1988-05-27 1994-05-24 Kabushiki Kaisha Toshiba Speech recognition system having word-based and phoneme-based recognition means
US5029211A (en) 1988-05-30 1991-07-02 Nec Corporation Speech analysis and synthesis system
US5111423A (en) 1988-07-21 1992-05-05 Altera Corporation Programmable interface for computer system peripheral circuit card
FR2636163B1 (fr) 1988-09-02 1991-07-05 Hamon Christian Procede et dispositif de synthese de la parole par addition-recouvrement de formes d'onde
US5257387A (en) 1988-09-09 1993-10-26 Compaq Computer Corporation Computer implemented method and apparatus for dynamic and automatic configuration of a computer system and circuit boards including computer resource allocation conflict resolution
US5353432A (en) 1988-09-09 1994-10-04 Compaq Computer Corporation Interactive method for configuration of computer system and circuit boards with user specification of system resources and computer resolution of resource conflicts
US5161102A (en) 1988-09-09 1992-11-03 Compaq Computer Corporation Computer interface for the configuration of computer system and circuit boards
US4839853A (en) 1988-09-15 1989-06-13 Bell Communications Research, Inc. Computer information retrieval using latent semantic structure
JPH0286397A (en) 1988-09-22 1990-03-27 Nippon Telegr & Teleph Corp <Ntt> Microphone array
US5201034A (en) 1988-09-30 1993-04-06 Hitachi Ltd. Interactive intelligent interface
JPH0581917B2 (ko) 1988-09-30 1993-11-16 Ibm
US4905163A (en) 1988-10-03 1990-02-27 Minnesota Mining & Manufacturing Company Intelligent optical navigator dynamic information presentation and navigation system
US5282265A (en) 1988-10-04 1994-01-25 Canon Kabushiki Kaisha Knowledge information processing system
US4918723A (en) 1988-10-07 1990-04-17 Jerry R. Iggulden Keyboard to facsimile machine transmission system
DE3837590A1 (de) 1988-11-05 1990-05-10 Ant Nachrichtentech Verfahren zum reduzieren der datenrate von digitalen bilddaten
DE68913669D1 (de) 1988-11-23 1994-04-14 Digital Equipment Corp Namenaussprache durch einen Synthetisator.
JP2807242B2 (ja) 1988-11-28 1998-10-08 株式会社東芝 音声認識装置
US5027110A (en) 1988-12-05 1991-06-25 At&T Bell Laboratories Arrangement for simultaneously displaying on one or more display terminals a series of images
JPH02153415A (en) 1988-12-06 1990-06-13 Hitachi Ltd Keyboard device
US5027406A (en) 1988-12-06 1991-06-25 Dragon Systems, Inc. Method for interactive speech recognition and training
GB8828796D0 (en) 1988-12-09 1989-01-18 British Telecomm Data compression
US4935954A (en) 1988-12-28 1990-06-19 At&T Company Automated message retrieval system
US5007098A (en) 1988-12-30 1991-04-09 Ezel, Inc. Vectorizing method
US5127055A (en) 1988-12-30 1992-06-30 Kurzweil Applied Intelligence, Inc. Speech recognition apparatus & method having dynamic reference pattern adaptation
US5047614A (en) 1989-01-23 1991-09-10 Bianco James S Method and apparatus for computer-aided shopping
JP2574892B2 (ja) 1989-02-15 1997-01-22 株式会社日立製作所 自動車における負荷分担制御方法
US5086792A (en) 1989-02-16 1992-02-11 Placontrol Corp. Dental floss loop devices, and methods of manufacture and packaging same
US4928307A (en) 1989-03-02 1990-05-22 Acs Communications Time dependent, variable amplitude threshold output circuit for frequency variant and frequency invariant signal discrimination
SE466029B (sv) 1989-03-06 1991-12-02 Ibm Svenska Ab Anordning och foerfarande foer analys av naturligt spraak i ett datorbaserat informationsbehandlingssystem
JPH0636156B2 (ja) 1989-03-13 1994-05-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識装置
JP2763322B2 (ja) 1989-03-13 1998-06-11 キヤノン株式会社 音声処理方法
US5033087A (en) 1989-03-14 1991-07-16 International Business Machines Corp. Method and apparatus for the automatic determination of phonological rules as for a continuous speech recognition system
JPH0782544B2 (ja) 1989-03-24 1995-09-06 インターナショナル・ビジネス・マシーンズ・コーポレーション マルチテンプレートを用いるdpマツチング方法及び装置
US5003577A (en) 1989-04-05 1991-03-26 At&T Bell Laboratories Voice and data interface to a voice-mail service system
US4977598A (en) 1989-04-13 1990-12-11 Texas Instruments Incorporated Efficient pruning algorithm for hidden markov model speech recognition
US5197005A (en) 1989-05-01 1993-03-23 Intelligent Business Systems Database retrieval system having a natural language interface
US4994983A (en) 1989-05-02 1991-02-19 Itt Corporation Automatic speech recognition system using seed templates
US5287448A (en) 1989-05-04 1994-02-15 Apple Computer, Inc. Method and apparatus for providing help information to users of computers
JP2904283B2 (ja) 1989-05-22 1999-06-14 マツダ株式会社 車両用多重伝送装置
US4953106A (en) 1989-05-23 1990-08-28 At&T Bell Laboratories Technique for drawing directed graphs
US5010574A (en) 1989-06-13 1991-04-23 At&T Bell Laboratories Vector quantizer search arrangement
JPH03163623A (en) 1989-06-23 1991-07-15 Articulate Syst Inc Voice control computer interface
JP2527817B2 (ja) 1989-07-14 1996-08-28 シャープ株式会社 主題連想装置および単語連想装置
JP2940005B2 (ja) 1989-07-20 1999-08-25 日本電気株式会社 音声符号化装置
JPH03113578A (en) 1989-09-27 1991-05-14 Fujitsu Ltd Graphic output processing system
US5091945A (en) 1989-09-28 1992-02-25 At&T Bell Laboratories Source dependent channel coding with error protection
US5293448A (en) 1989-10-02 1994-03-08 Nippon Telegraph And Telephone Corporation Speech analysis-synthesis method and apparatus therefor
US5276616A (en) 1989-10-16 1994-01-04 Sharp Kabushiki Kaisha Apparatus for automatically generating index
CA2027705C (en) 1989-10-17 1994-02-15 Masami Akamine Speech coding system utilizing a recursive computation technique for improvement in processing speed
US5075896A (en) 1989-10-25 1991-12-24 Xerox Corporation Character and phoneme recognition based on probability clustering
US4980916A (en) 1989-10-26 1990-12-25 General Electric Company Method for improving speech quality in code excited linear predictive speech coding
US5020112A (en) 1989-10-31 1991-05-28 At&T Bell Laboratories Image recognition method using two-dimensional stochastic grammars
DE69028072T2 (de) 1989-11-06 1997-01-09 Canon Kk Verfahren und Einrichtung zur Sprachsynthese
US5220639A (en) 1989-12-01 1993-06-15 National Science Council Mandarin speech input method for Chinese computers and a mandarin speech recognition machine
US5021971A (en) 1989-12-07 1991-06-04 Unisys Corporation Reflective binary encoder for vector quantization
US5179652A (en) 1989-12-13 1993-01-12 Anthony I. Rozmanith Method and apparatus for storing, transmitting and retrieving graphical and tabular data
US5077669A (en) 1989-12-27 1991-12-31 International Business Machines Corporation Method for quasi-key search within a national language support (nls) data processing system
US5091790A (en) 1989-12-29 1992-02-25 Morton Silverberg Multipurpose computer accessory for facilitating facsimile communication
EP0438662A3 (ko) 1990-01-23 1994-01-26 Ibm
US5218700A (en) 1990-01-30 1993-06-08 Allen Beechick Apparatus and method for sorting a list of items
US5175814A (en) 1990-01-30 1992-12-29 Digital Equipment Corporation Direct manipulation interface for boolean information retrieval
US5255386A (en) 1990-02-08 1993-10-19 International Business Machines Corporation Method and apparatus for intelligent help that matches the semantic similarity of the inferred intent of query or command to a best-fit predefined command intent
CH681573A5 (en) 1990-02-13 1993-04-15 Astral Automatic teller arrangement involving bank computers - is operated by user data card carrying personal data, account information and transaction records
US5208862A (en) 1990-02-22 1993-05-04 Nec Corporation Speech coder
US5067503A (en) 1990-03-21 1991-11-26 Stile Thomas W Dental apparatus for flossing teeth
US5266949A (en) 1990-03-29 1993-11-30 Nokia Mobile Phones Ltd. Lighted electronic keyboard
US5299284A (en) 1990-04-09 1994-03-29 Arizona Board Of Regents, Acting On Behalf Of Arizona State University Pattern classification using linear programming
US5125022A (en) 1990-05-15 1992-06-23 Vcs Industries, Inc. Method for recognizing alphanumeric strings spoken over a telephone network
US5127043A (en) 1990-05-15 1992-06-30 Vcs Industries, Inc. Simultaneous speaker-independent voice recognition and verification over a telephone network
US5301109A (en) 1990-06-11 1994-04-05 Bell Communications Research, Inc. Computerized cross-language document retrieval using latent semantic indexing
JP3266246B2 (ja) 1990-06-15 2002-03-18 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法
US5202952A (en) 1990-06-22 1993-04-13 Dragon Systems, Inc. Large-vocabulary continuous speech prefiltering and processing system
EP0464712A3 (en) 1990-06-28 1993-01-13 Kabushiki Kaisha Toshiba Display/input control system for software keyboard in information processing apparatus having integral display/input device
US5442780A (en) 1991-07-11 1995-08-15 Mitsubishi Denki Kabushiki Kaisha Natural language database retrieval system using virtual tables to convert parsed input phrases into retrieval keys
DE4023318A1 (de) 1990-07-21 1992-02-20 Fraunhofer Ges Forschung Verfahren zur durchfuehrung eines variablen dialogs mit technischen geraeten
US5175536A (en) 1990-08-01 1992-12-29 Westinghouse Electric Corp. Apparatus and method for adapting cards designed for a VME bus for use in a VXI bus system
US5103498A (en) 1990-08-02 1992-04-07 Tandy Corporation Intelligent help system
JPH0493894A (en) 1990-08-03 1992-03-26 Canon Inc Method and device for character processing
CA2089177C (en) 1990-08-09 2002-10-22 Bruce R. Baker Communication system with text message retrieval based on concepts inputted via keyboard icons
GB9017600D0 (en) 1990-08-10 1990-09-26 British Aerospace An assembly and method for binary tree-searched vector quanisation data compression processing
DE4126902C2 (de) 1990-08-15 1996-06-27 Ricoh Kk Sprachintervall - Feststelleinheit
US5309359A (en) 1990-08-16 1994-05-03 Boris Katz Method and apparatus for generating and utlizing annotations to facilitate computer text retrieval
US5404295A (en) 1990-08-16 1995-04-04 Katz; Boris Method and apparatus for utilizing annotations to facilitate computer retrieval of database material
US5297170A (en) 1990-08-21 1994-03-22 Codex Corporation Lattice and trellis-coded quantization
US5400434A (en) 1990-09-04 1995-03-21 Matsushita Electric Industrial Co., Ltd. Voice source for synthetic speech system
EP0473864A1 (en) 1990-09-04 1992-03-11 International Business Machines Corporation Method and apparatus for paraphrasing information contained in logical forms
JPH0833739B2 (ja) 1990-09-13 1996-03-29 三菱電機株式会社 パターン表現モデル学習装置
US5119079A (en) 1990-09-17 1992-06-02 Xerox Corporation Touch screen user interface with expanding touch locations for a reprographic machine
US5216747A (en) 1990-09-20 1993-06-01 Digital Voice Systems, Inc. Voiced/unvoiced estimation of an acoustic signal
US5276794A (en) 1990-09-25 1994-01-04 Grid Systems Corporation Pop-up keyboard system for entering handwritten data into computer generated forms
US5164982A (en) 1990-09-27 1992-11-17 Radish Communications Systems, Inc. Telecommunication display system
US5305205A (en) 1990-10-23 1994-04-19 Weber Maria L Computer-assisted transcription apparatus
US5128672A (en) 1990-10-30 1992-07-07 Apple Computer, Inc. Dynamic predictive keyboard
US5317507A (en) 1990-11-07 1994-05-31 Gallant Stephen I Method for document retrieval and for word sense disambiguation using neural networks
US5325298A (en) 1990-11-07 1994-06-28 Hnc, Inc. Methods for generating or revising context vectors for a plurality of word stems
US5260697A (en) 1990-11-13 1993-11-09 Wang Laboratories, Inc. Computer with separate display plane and user interface processor
US5450523A (en) 1990-11-15 1995-09-12 Matsushita Electric Industrial Co., Ltd. Training module for estimating mixture Gaussian densities for speech unit models in speech recognition systems
US5247579A (en) 1990-12-05 1993-09-21 Digital Voice Systems, Inc. Methods for speech transmission
US5345536A (en) 1990-12-21 1994-09-06 Matsushita Electric Industrial Co., Ltd. Method of speech recognition
US5127053A (en) 1990-12-24 1992-06-30 General Electric Company Low-complexity method for improving the performance of autocorrelation-based pitch detectors
US5133011A (en) 1990-12-26 1992-07-21 International Business Machines Corporation Method and apparatus for linear vocal control of cursor position
US5210689A (en) 1990-12-28 1993-05-11 Semantic Compaction Systems System and method for automatically selecting among a plurality of input modes
US5196838A (en) 1990-12-28 1993-03-23 Apple Computer, Inc. Intelligent scrolling
US5497319A (en) 1990-12-31 1996-03-05 Trans-Link International Corp. Machine translation and telecommunications system
JPH04236624A (en) 1991-01-18 1992-08-25 Sony Corp Control system
FI88345C (fi) 1991-01-29 1993-04-26 Nokia Mobile Phones Ltd Belyst tastatur
US5712949A (en) 1991-01-29 1998-01-27 Sony Corporation Disc reproduction system with sequential reproduction of audio and image data
US5268990A (en) 1991-01-31 1993-12-07 Sri International Method for recognizing speech using linguistically-motivated hidden Markov models
US5369577A (en) 1991-02-01 1994-11-29 Wang Laboratories, Inc. Text searching system
US5689618A (en) 1991-02-19 1997-11-18 Bright Star Technology, Inc. Advanced tools for speech synchronized animation
US5167004A (en) 1991-02-28 1992-11-24 Texas Instruments Incorporated Temporal decorrelation method for robust speaker verification
GB9105367D0 (en) 1991-03-13 1991-04-24 Univ Strathclyde Computerised information-retrieval database systems
EP0505621A3 (en) 1991-03-28 1993-06-02 International Business Machines Corporation Improved message recognition employing integrated speech and handwriting information
US5212821A (en) 1991-03-29 1993-05-18 At&T Bell Laboratories Machine-based learning system
US5327342A (en) 1991-03-31 1994-07-05 Roy Prannoy L Method and apparatus for generating personalized handwriting
WO1992017875A1 (fr) 1991-04-08 1992-10-15 Hitachi, Ltd. Procede et appareil pour traitement d'images ou de donnees, et procede et appareil de controle les mettant en ×uvre
US5303406A (en) 1991-04-29 1994-04-12 Motorola, Inc. Noise squelch circuit with adaptive noise shaping
US5274771A (en) 1991-04-30 1993-12-28 Hewlett-Packard Company System for configuring an input/output board in a computer
US5367640A (en) 1991-04-30 1994-11-22 Hewlett-Packard Company System for configuring an input/output board in a computer
JP3123558B2 (ja) 1991-05-09 2001-01-15 ソニー株式会社 情報入力処理装置および方法
US5341466A (en) 1991-05-09 1994-08-23 New York University Fractal computer user centerface with zooming capability
US5202828A (en) 1991-05-15 1993-04-13 Apple Computer, Inc. User interface system having programmable user interface elements
US5500905A (en) 1991-06-12 1996-03-19 Microelectronics And Computer Technology Corporation Pattern recognition neural network with saccade-like operation
US5241619A (en) 1991-06-25 1993-08-31 Bolt Beranek And Newman Inc. Word dependent N-best search method
US5475587A (en) 1991-06-28 1995-12-12 Digital Equipment Corporation Method and apparatus for efficient morphological text analysis using a high-level language for compact specification of inflectional paradigms
US5293452A (en) 1991-07-01 1994-03-08 Texas Instruments Incorporated Voice log-in using spoken name input
US5477451A (en) 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
US5687077A (en) 1991-07-31 1997-11-11 Universal Dynamics Limited Method and apparatus for adaptive control
JPH05197389A (ja) 1991-08-13 1993-08-06 Toshiba Corp 音声認識装置
US5278980A (en) 1991-08-16 1994-01-11 Xerox Corporation Iterative technique for phrase query formation and an information retrieval system employing same
US5450522A (en) 1991-08-19 1995-09-12 U S West Advanced Technologies, Inc. Auditory model for parametrization of speech
US5326270A (en) 1991-08-29 1994-07-05 Introspect Technologies, Inc. System and method for assessing an individual's task-processing style
JP2970964B2 (ja) 1991-09-18 1999-11-02 株式会社日立製作所 監視装置
US5199077A (en) 1991-09-19 1993-03-30 Xerox Corporation Wordspotting for voice editing and indexing
DE4131387A1 (de) 1991-09-20 1993-03-25 Siemens Ag Verfahren zur erkennung von mustern in zeitvarianten messsignalen
US5488727A (en) 1991-09-30 1996-01-30 International Business Machines Corporation Methods to support multimethod function overloading with compile-time type checking
JP2662120B2 (ja) 1991-10-01 1997-10-08 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声認識装置および音声認識用処理ユニット
JPH05108065A (ja) 1991-10-15 1993-04-30 Kawai Musical Instr Mfg Co Ltd 自動演奏装置
JP3155577B2 (ja) 1991-10-16 2001-04-09 キヤノン株式会社 文字認識方法及び装置
US5222146A (en) 1991-10-23 1993-06-22 International Business Machines Corporation Speech recognition apparatus having a speech coder outputting acoustic prototype ranks
US5371853A (en) 1991-10-28 1994-12-06 University Of Maryland At College Park Method and system for CELP speech coding and codebook for use therewith
US5757979A (en) 1991-10-30 1998-05-26 Fuji Electric Co., Ltd. Apparatus and method for nonlinear normalization of image
KR940002854B1 (ko) 1991-11-06 1994-04-04 이해욱 음성 합성시스팀의 음성단편 코딩 및 그의 피치조절 방법과 그의 유성음 합성장치
US5386494A (en) 1991-12-06 1995-01-31 Apple Computer, Inc. Method and apparatus for controlling a speech recognition function using a cursor control device
JPH05165459A (ja) 1991-12-19 1993-07-02 Toshiba Corp 拡大表示方式
US5475796A (en) 1991-12-20 1995-12-12 Nec Corporation Pitch pattern generation apparatus
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6081750A (en) 1991-12-23 2000-06-27 Hoffberg; Steven Mark Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US5502790A (en) 1991-12-24 1996-03-26 Oki Electric Industry Co., Ltd. Speech recognition method and system using triphones, diphones, and phonemes
US5349645A (en) 1991-12-31 1994-09-20 Matsushita Electric Industrial Co., Ltd. Word hypothesizer for continuous speech decoding using stressed-vowel centered bidirectional tree searches
JPH05188994A (ja) 1992-01-07 1993-07-30 Sony Corp 騒音抑圧装置
US5392419A (en) 1992-01-24 1995-02-21 Hewlett-Packard Company Language identification system and method for a peripheral unit
US5357431A (en) 1992-01-27 1994-10-18 Fujitsu Limited Character string retrieval system using index and unit for making the index
US5274818A (en) 1992-02-03 1993-12-28 Thinking Machines Corporation System and method for compiling a fine-grained array based source program onto a course-grained hardware
US5267345A (en) 1992-02-10 1993-11-30 International Business Machines Corporation Speech recognition apparatus which predicts word classes from context and words from word classes
US5621806A (en) 1992-02-14 1997-04-15 Texas Instruments Incorporated Apparatus and methods for determining the relative displacement of an object
US5412735A (en) 1992-02-27 1995-05-02 Central Institute For The Deaf Adaptive noise reduction circuit for a sound reproduction system
ES2128390T3 (es) 1992-03-02 1999-05-16 At & T Corp Metodo de adiestramiento y dispositivo para reconocimiento de voz.
US6055514A (en) 1992-03-20 2000-04-25 Wren; Stephen Corey System for marketing foods and services utilizing computerized centraland remote facilities
US5353376A (en) 1992-03-20 1994-10-04 Texas Instruments Incorporated System and method for improved speech acquisition for hands-free voice telecommunication in a noisy environment
US5333266A (en) 1992-03-27 1994-07-26 International Business Machines Corporation Method and apparatus for message handling in computer systems
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5283818A (en) 1992-03-31 1994-02-01 Klausner Patent Technologies Telephone answering device linking displayed data with recorded audio message
US5390236A (en) 1992-03-31 1995-02-14 Klausner Patent Technologies Telephone answering device linking displayed data with recorded audio message
CA2088080C (en) 1992-04-02 1997-10-07 Enrico Luigi Bocchieri Automatic speech recognizer
US5317647A (en) 1992-04-07 1994-05-31 Apple Computer, Inc. Constrained attribute grammars for syntactic pattern recognition
JPH05293126A (ja) 1992-04-15 1993-11-09 Matsushita Electric Works Ltd 歯科用フロス
US5412804A (en) 1992-04-30 1995-05-02 Oracle Corporation Extending the semantics of the outer join operator for un-nesting queries to a data base
US5745873A (en) 1992-05-01 1998-04-28 Massachusetts Institute Of Technology Speech recognition using final decision based on tentative decisions
US5377103A (en) 1992-05-15 1994-12-27 International Business Machines Corporation Constrained natural language interface for a computer that employs a browse function
US5369575A (en) 1992-05-15 1994-11-29 International Business Machines Corporation Constrained natural language interface for a computer system
US5293584A (en) 1992-05-21 1994-03-08 International Business Machines Corporation Speech recognition system for natural language translation
US5434777A (en) 1992-05-27 1995-07-18 Apple Computer, Inc. Method and apparatus for processing natural language
US5477447A (en) 1992-05-27 1995-12-19 Apple Computer, Incorporated Method and apparatus for providing computer-implemented assistance
US5390281A (en) 1992-05-27 1995-02-14 Apple Computer, Inc. Method and apparatus for deducing user intent and providing computer implemented services
US5463696A (en) 1992-05-27 1995-10-31 Apple Computer, Inc. Recognition system and method for user inputs to a computer system
US5734789A (en) 1992-06-01 1998-03-31 Hughes Electronics Voiced, unvoiced or noise modes in a CELP vocoder
JP2795058B2 (ja) 1992-06-03 1998-09-10 松下電器産業株式会社 時系列信号処理装置
US5543588A (en) 1992-06-08 1996-08-06 Synaptics, Incorporated Touch pad driven handheld computing device
US5502774A (en) 1992-06-09 1996-03-26 International Business Machines Corporation Automatic recognition of a consistent message using multiple complimentary sources of information
AU4013693A (en) 1992-06-16 1993-12-23 Honeywell Inc. A method for utilizing a low resolution touch screen system in a high resolution graphics environment
JPH064093A (ja) 1992-06-18 1994-01-14 Matsushita Electric Ind Co Ltd Hmm作成装置、hmm記憶装置、尤度計算装置及び、認識装置
US5333275A (en) 1992-06-23 1994-07-26 Wheatley Barbara J System and method for time aligning speech
US5325297A (en) 1992-06-25 1994-06-28 System Of Multiple-Colored Images For Internationally Listed Estates, Inc. Computer implemented method and system for storing and retrieving textual data and compressed image data
JPH0619965A (ja) 1992-07-01 1994-01-28 Canon Inc 自然言語処理装置
US5303308A (en) 1992-07-07 1994-04-12 Gn Netcom A/S Audio frequency signal compressing system
JP3230319B2 (ja) 1992-07-09 2001-11-19 ソニー株式会社 音響再生装置
US5625554A (en) 1992-07-20 1997-04-29 Xerox Corporation Finite-state transduction of related word forms for text indexing and retrieval
US5325462A (en) 1992-08-03 1994-06-28 International Business Machines Corporation System and method for speech synthesis employing improved formant composition
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
JPH0669954A (ja) 1992-08-18 1994-03-11 Fujitsu Commun Syst Ltd メッセージ廃棄通達方式
GB9220404D0 (en) 1992-08-20 1992-11-11 Nat Security Agency Method of identifying,retrieving and sorting documents
US5412806A (en) 1992-08-20 1995-05-02 Hewlett-Packard Company Calibration of logical cost formulae for queries in a heterogeneous DBMS using synthetic database
US5305768A (en) 1992-08-24 1994-04-26 Product Development (Zgs) Ltd. Dental flosser units and method of making same
US5425108A (en) 1992-09-04 1995-06-13 Industrial Technology Research Institute Mobile type of automatic identification system for a car plate
DE4229577A1 (de) 1992-09-04 1994-03-10 Daimler Benz Ag Verfahren zur Spracherkennung mit dem eine Anpassung von Mikrofon- und Sprachcharakteristiken erreicht wird
US5333236A (en) 1992-09-10 1994-07-26 International Business Machines Corporation Speech recognizer having a speech coder for an acoustic match based on context-dependent speech-transition acoustic models
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5384893A (en) 1992-09-23 1995-01-24 Emerson & Stern Associates, Inc. Method and apparatus for speech synthesis based on prosodic analysis
FR2696036B1 (fr) 1992-09-24 1994-10-14 France Telecom Procédé de mesure de ressemblance entre échantillons sonores et dispositif de mise en Óoeuvre de ce procédé.
JPH0772840B2 (ja) 1992-09-29 1995-08-02 日本アイ・ビー・エム株式会社 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法
JP2779886B2 (ja) 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
JP2851977B2 (ja) 1992-10-14 1999-01-27 シャープ株式会社 再生装置
US5758313A (en) 1992-10-16 1998-05-26 Mobile Information Systems, Inc. Method and apparatus for tracking vehicle location
US5353374A (en) 1992-10-19 1994-10-04 Loral Aerospace Corporation Low bit rate voice transmission for use in a noisy environment
US6073097A (en) 1992-11-13 2000-06-06 Dragon Systems, Inc. Speech recognition system which selects one of a plurality of vocabulary models
US6092043A (en) 1992-11-13 2000-07-18 Dragon Systems, Inc. Apparatuses and method for training and operating speech recognition systems
US5636325A (en) 1992-11-13 1997-06-03 International Business Machines Corporation Speech synthesis and analysis of dialects
DE69327774D1 (de) 1992-11-18 2000-03-09 Canon Information Syst Inc Prozessor zur Umwandlung von Daten in Sprache und Ablaufsteuerung hierzu
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
US5465401A (en) 1992-12-15 1995-11-07 Texas Instruments Incorporated Communication system and methods for enhanced information transfer
US5335276A (en) 1992-12-16 1994-08-02 Texas Instruments Incorporated Communication system and methods for enhanced information transfer
AU5803394A (en) 1992-12-17 1994-07-04 Bell Atlantic Network Services, Inc. Mechanized directory assistance
US5533182A (en) 1992-12-22 1996-07-02 International Business Machines Corporation Aural position indicating mechanism for viewable objects
US5412756A (en) 1992-12-22 1995-05-02 Mitsubishi Denki Kabushiki Kaisha Artificial intelligence software shell for plant operation simulation
WO1994015286A1 (en) 1992-12-23 1994-07-07 Taligent, Inc. Object oriented framework system
US5373566A (en) 1992-12-24 1994-12-13 Motorola, Inc. Neural network-based diacritical marker recognition system and method
FR2700055B1 (fr) 1992-12-30 1995-01-27 Sextant Avionique Procédé de débruitage vectoriel de la parole et dispositif de mise en Óoeuvre.
US6311157B1 (en) 1992-12-31 2001-10-30 Apple Computer, Inc. Assigning meanings to utterances in a speech recognition system
US5390279A (en) 1992-12-31 1995-02-14 Apple Computer, Inc. Partitioning speech rules by context for speech recognition
US5734791A (en) 1992-12-31 1998-03-31 Apple Computer, Inc. Rapid tree-based method for vector quantization
US5384892A (en) 1992-12-31 1995-01-24 Apple Computer, Inc. Dynamic language model for speech recognition
US5613036A (en) 1992-12-31 1997-03-18 Apple Computer, Inc. Dynamic categories for a speech recognition system
US5463725A (en) 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
JP2752309B2 (ja) 1993-01-19 1998-05-18 松下電器産業株式会社 表示装置
US5490234A (en) 1993-01-21 1996-02-06 Apple Computer, Inc. Waveform blending technique for text-to-speech system
US6122616A (en) 1993-01-21 2000-09-19 Apple Computer, Inc. Method and apparatus for diphone aliasing
US5878396A (en) 1993-01-21 1999-03-02 Apple Computer, Inc. Method and apparatus for synthetic speech in facial animation
US5642466A (en) 1993-01-21 1997-06-24 Apple Computer, Inc. Intonation adjustment in text-to-speech systems
EP0609030B1 (en) 1993-01-26 1999-06-09 Sun Microsystems, Inc. Method and apparatus for browsing information in a computer database
US5491758A (en) 1993-01-27 1996-02-13 International Business Machines Corporation Automatic handwriting recognition using both static and dynamic parameters
US5890122A (en) 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
US5449368A (en) 1993-02-18 1995-09-12 Kuzmak; Lubomyr I. Laparoscopic adjustable gastric banding device and method for implantation and removal thereof
US5864844A (en) 1993-02-18 1999-01-26 Apple Computer, Inc. System and method for enhancing a user interface with a computer based training tool
US5473728A (en) 1993-02-24 1995-12-05 The United States Of America As Represented By The Secretary Of The Navy Training of homoscedastic hidden Markov models for automatic speech recognition
US5467425A (en) 1993-02-26 1995-11-14 International Business Machines Corporation Building scalable N-gram language models using maximum likelihood maximum entropy N-gram models
CA2091658A1 (en) 1993-03-15 1994-09-16 Matthew Lennig Method and apparatus for automation of directory assistance using speech recognition
CA2119397C (en) 1993-03-19 2007-10-02 Kim E.A. Silverman Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation
JPH06274586A (ja) 1993-03-22 1994-09-30 Mitsubishi Electric Corp 表示方式
US6055531A (en) 1993-03-24 2000-04-25 Engate Incorporated Down-line transcription system having context sensitive searching capability
JP3836502B2 (ja) 1993-03-26 2006-10-25 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニーBritish Telecommunications Public Limited Company テキスト・波形変換
US5536902A (en) 1993-04-14 1996-07-16 Yamaha Corporation Method of and apparatus for analyzing and synthesizing a sound by extracting and controlling a sound parameter
US5444823A (en) 1993-04-16 1995-08-22 Compaq Computer Corporation Intelligent search engine for associated on-line documentation having questionless case-based knowledge base
US6496793B1 (en) 1993-04-21 2002-12-17 Borland Software Corporation System and methods for national language support with embedded locale-specific language driver identifiers
CA2095452C (en) 1993-05-04 1997-03-18 Phillip J. Beaudet Dynamic hierarchical selection menu
US5428731A (en) 1993-05-10 1995-06-27 Apple Computer, Inc. Interactive multimedia delivery engine
US5860064A (en) 1993-05-13 1999-01-12 Apple Computer, Inc. Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system
US5652897A (en) 1993-05-24 1997-07-29 Unisys Corporation Robust language processor for segmenting and parsing-language containing multiple instructions
EP0626635B1 (en) 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices
JPH06332617A (ja) 1993-05-25 1994-12-02 Pfu Ltd タッチパネル入力装置における表示方法
US5710922A (en) 1993-06-02 1998-01-20 Apple Computer, Inc. Method for synchronizing and archiving information between computer systems
WO1994029788A1 (en) 1993-06-15 1994-12-22 Honeywell Inc. A method for utilizing a low resolution touch screen system in a high resolution graphics environment
KR950001695A (ko) 1993-06-18 1995-01-03 오오가 노리오 디스크 재생장치
US5574823A (en) 1993-06-23 1996-11-12 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Communications Frequency selective harmonic coding
US5481739A (en) 1993-06-23 1996-01-02 Apple Computer, Inc. Vector quantization using thresholds
JPH0756933A (ja) 1993-06-24 1995-03-03 Xerox Corp 文書検索方法
US5515475A (en) 1993-06-24 1996-05-07 Northern Telecom Limited Speech recognition method using a two-pass search
JP2648558B2 (ja) 1993-06-29 1997-09-03 インターナショナル・ビジネス・マシーンズ・コーポレイション 情報選択装置及び情報選択方法
JP3685812B2 (ja) 1993-06-29 2005-08-24 ソニー株式会社 音声信号送受信装置
US5860075A (en) 1993-06-30 1999-01-12 Matsushita Electric Industrial Co., Ltd. Document data filing apparatus for generating visual attribute values of document data to be filed
US5973676A (en) 1993-06-30 1999-10-26 Kabushiki Kaisha Toshiba Input apparatus suitable for portable electronic device
WO1995002221A1 (en) 1993-07-07 1995-01-19 Inference Corporation Case-based organizing and querying of a database
JPH0736882A (ja) 1993-07-19 1995-02-07 Fujitsu Ltd 辞書検索装置
US5818182A (en) 1993-08-13 1998-10-06 Apple Computer, Inc. Removable media ejection system
US5495604A (en) 1993-08-25 1996-02-27 Asymetrix Corporation Method and apparatus for the modeling and query of database structures using natural language-like constructs
US5619694A (en) 1993-08-26 1997-04-08 Nec Corporation Case database storage/retrieval system
US5940811A (en) 1993-08-27 1999-08-17 Affinity Technology Group, Inc. Closed loop financial transaction method and apparatus
US5377258A (en) 1993-08-30 1994-12-27 National Medical Research Council Method and apparatus for an automated and interactive behavioral guidance system
US5627939A (en) 1993-09-03 1997-05-06 Microsoft Corporation Speech recognition system and method employing data compression
US5500937A (en) 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
US5568540A (en) 1993-09-13 1996-10-22 Active Voice Corporation Method and apparatus for selecting and playing a voice mail message
US5689641A (en) 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US6594688B2 (en) 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US5873056A (en) 1993-10-12 1999-02-16 The Syracuse University Natural language processing system for semantic vector representation which accounts for lexical ambiguity
JP2986345B2 (ja) 1993-10-18 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声記録指標化装置及び方法
US5708659A (en) 1993-10-20 1998-01-13 Lsi Logic Corporation Method for hashing in a packet network switching system
JP3697276B2 (ja) 1993-10-27 2005-09-21 ゼロックス コーポレイションXerox Corporation 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法
US5835732A (en) 1993-10-28 1998-11-10 Elonex Ip Holdings, Ltd. Miniature digital assistant having enhanced host communication
JP2813728B2 (ja) 1993-11-01 1998-10-22 インターナショナル・ビジネス・マシーンズ・コーポレイション ズーム/パン機能付パーソナル通信機
US5422656A (en) 1993-11-01 1995-06-06 International Business Machines Corp. Personal communicator having improved contrast control for a liquid crystal, touch sensitive display
US5977950A (en) 1993-11-29 1999-11-02 Motorola, Inc. Manually controllable cursor in a virtual image
AU1303595A (en) 1993-12-14 1995-07-03 Apple Computer, Inc. Method and apparatus for transferring data between a computer and a peripheral storage device
US5578808A (en) 1993-12-22 1996-11-26 Datamark Services, Inc. Data card that can be used for transactions involving separate card issuers
CA2179523A1 (en) 1993-12-23 1995-06-29 David A. Boulton Method and apparatus for implementing user feedback
US5384671A (en) 1993-12-23 1995-01-24 Quantum Corporation PRML sampled data channel synchronous servo detector
JP2610114B2 (ja) 1993-12-30 1997-05-14 インターナショナル・ビジネス・マシーンズ・コーポレイション ポインティング・システム、コンピュータ・システムおよび力応答方法
US5621859A (en) 1994-01-19 1997-04-15 Bbn Corporation Single tree method for grammar directed, very large vocabulary speech recognizer
US5577164A (en) 1994-01-28 1996-11-19 Canon Kabushiki Kaisha Incorrect voice command recognition prevention and recovery processing method and apparatus
US5583993A (en) 1994-01-31 1996-12-10 Apple Computer, Inc. Method and apparatus for synchronously sharing data among computer
US5577135A (en) 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
AU684872B2 (en) 1994-03-10 1998-01-08 Cable And Wireless Plc Communication system
US5548507A (en) 1994-03-14 1996-08-20 International Business Machines Corporation Language identification process using coded language words
US6216102B1 (en) 1996-08-19 2001-04-10 International Business Machines Corporation Natural language determination using partial words
US5724406A (en) 1994-03-22 1998-03-03 Ericsson Messaging Systems, Inc. Call processing system and method for providing a variety of messaging services
US5584024A (en) 1994-03-24 1996-12-10 Software Ag Interactive database query system and method for prohibiting the selection of semantically incorrect query parameters
US5574824A (en) 1994-04-11 1996-11-12 The United States Of America As Represented By The Secretary Of The Air Force Analysis/synthesis-based microphone array speech enhancer with variable signal distortion
CH689410A5 (de) 1994-04-21 1999-03-31 Info Byte Ag Verfahren und Vorrichtung zur sprachgesteuerten Fernbedienung elektrischer Verbraucher.
GB9408042D0 (en) 1994-04-22 1994-06-15 Hewlett Packard Co Device for managing voice data
US5642519A (en) 1994-04-29 1997-06-24 Sun Microsystems, Inc. Speech interpreter with a unified grammer compiler
US5786803A (en) 1994-05-09 1998-07-28 Apple Computer, Inc. System and method for adjusting the illumination characteristics of an output device
US5670985A (en) 1994-05-09 1997-09-23 Apple Computer, Inc. System and method for adjusting the output of an output device to compensate for ambient illumination
US5828768A (en) 1994-05-11 1998-10-27 Noise Cancellation Technologies, Inc. Multimedia personal computer with active noise reduction and piezo speakers
US5596260A (en) 1994-05-13 1997-01-21 Apple Computer, Inc. Apparatus and method for determining a charge of a battery
JPH07320051A (ja) 1994-05-20 1995-12-08 Nippon Telegr & Teleph Corp <Ntt> 図形の任意領域拡大縮小表示方法及び図形の任意領域拡大縮小表示装置
JPH07320079A (ja) 1994-05-20 1995-12-08 Nippon Telegr & Teleph Corp <Ntt> 図形の部分拡大表示方法及び図形の部分拡大表示装置
KR100250509B1 (ko) 1994-05-25 2000-04-01 슈즈이 다께오 가변 전송속도 데이터 전송장치
JPH07325591A (ja) 1994-05-31 1995-12-12 Nec Corp 疑似音楽演奏環境生成方法および装置
US5521816A (en) 1994-06-01 1996-05-28 Mitsubishi Electric Research Laboratories, Inc. Word inflection correction system
US5477448A (en) 1994-06-01 1995-12-19 Mitsubishi Electric Research Laboratories, Inc. System for correcting improper determiners
US5537317A (en) 1994-06-01 1996-07-16 Mitsubishi Electric Research Laboratories Inc. System for correcting grammer based parts on speech probability
US5535121A (en) 1994-06-01 1996-07-09 Mitsubishi Electric Research Laboratories, Inc. System for correcting auxiliary verb sequences
US5485372A (en) 1994-06-01 1996-01-16 Mitsubishi Electric Research Laboratories, Inc. System for underlying spelling recovery
US5644656A (en) 1994-06-07 1997-07-01 Massachusetts Institute Of Technology Method and apparatus for automated text recognition
US5493677A (en) 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US5812697A (en) 1994-06-10 1998-09-22 Nippon Steel Corporation Method and apparatus for recognizing hand-written characters using a weighting dictionary
US5675819A (en) 1994-06-16 1997-10-07 Xerox Corporation Document information retrieval using global word co-occurrence patterns
JPH0869470A (ja) 1994-06-21 1996-03-12 Canon Inc 自然言語処理装置及びその方法
US5948040A (en) 1994-06-24 1999-09-07 Delorme Publishing Co. Travel reservation information and planning system
US5610812A (en) 1994-06-24 1997-03-11 Mitsubishi Electric Information Technology Center America, Inc. Contextual tagger utilizing deterministic finite state transducer
US5581484A (en) 1994-06-27 1996-12-03 Prince; Kevin R. Finger mounted computer input device
WO1996001453A1 (en) 1994-07-01 1996-01-18 Palm Computing, Inc. Multiple pen stroke character set and handwriting recognition system
US6442523B1 (en) 1994-07-22 2002-08-27 Steven H. Siegel Method for the auditory navigation of text
US5568536A (en) 1994-07-25 1996-10-22 International Business Machines Corporation Selective reconfiguration method and apparatus in a multiple application personal communications device
CN1059303C (zh) 1994-07-25 2000-12-06 国际商业机器公司 在个人通讯设备的显示屏幕上标记文本的装置和方法
JP3359745B2 (ja) 1994-07-29 2002-12-24 シャープ株式会社 動画像再生装置、及び動画像記録装置
US5907597A (en) * 1994-08-05 1999-05-25 Smart Tone Authentication, Inc. Method and system for the secure communication of data
US5764852A (en) 1994-08-16 1998-06-09 International Business Machines Corporation Method and apparatus for speech recognition for distinguishing non-speech audio input events from speech audio input events
JP3586777B2 (ja) 1994-08-17 2004-11-10 富士通株式会社 音声入力装置
JP3565453B2 (ja) 1994-08-23 2004-09-15 キヤノン株式会社 画像入出力装置
US6137476A (en) 1994-08-25 2000-10-24 International Business Machines Corp. Data mouse
JPH0877173A (ja) 1994-09-01 1996-03-22 Fujitsu Ltd 文字列修正システムとその方法
US5559301A (en) 1994-09-15 1996-09-24 Korg, Inc. Touchscreen interface having pop-up variable adjustment displays for controllers and audio processing systems
DE69524340D1 (de) 1994-09-22 2002-01-17 Aisin Aw Co Berührungsanzeige für ein Informationseingabesystem
GB9419388D0 (en) 1994-09-26 1994-11-09 Canon Kk Speech analysis
JP3027321B2 (ja) 1994-09-27 2000-04-04 財団法人工業技術研究院 拘束のない手書き英数字のオンライン認識の方法及び装置
US5799268A (en) 1994-09-28 1998-08-25 Apple Computer, Inc. Method for extracting knowledge from online documentation and creating a glossary, index, help database or the like
IT1266943B1 (it) 1994-09-29 1997-01-21 Cselt Centro Studi Lab Telecom Procedimento di sintesi vocale mediante concatenazione e parziale sovrapposizione di forme d'onda.
US5682539A (en) 1994-09-29 1997-10-28 Conrad; Donovan Anticipated meaning natural language interface
US5715468A (en) 1994-09-30 1998-02-03 Budzinski; Robert Lucius Memory system for storing and retrieving experience and knowledge with natural language
GB2293667B (en) 1994-09-30 1998-05-27 Intermation Limited Database management system
US5777614A (en) 1994-10-14 1998-07-07 Hitachi, Ltd. Editing support system including an interactive interface
AU2940201A (en) 2000-01-13 2001-07-24 Digimarc Corp Authenticating metadata and embedding metadata in watermarks of media signals
US5661787A (en) 1994-10-27 1997-08-26 Pocock; Michael H. System for on-demand remote access to a self-generating audio recording, storage, indexing and transaction system
US5845255A (en) 1994-10-28 1998-12-01 Advanced Health Med-E-Systems Corporation Prescription management system
JPH08138321A (ja) 1994-11-11 1996-05-31 Pioneer Electron Corp ディスクプレーヤ
US5613122A (en) 1994-11-14 1997-03-18 Object Technology Licensing Corp. Object-oriented operating system
US5652884A (en) 1994-11-14 1997-07-29 Object Technology Licensing Corp. Method and apparatus for dynamic update of an existing object in an object editor
US5577241A (en) 1994-12-07 1996-11-19 Excite, Inc. Information retrieval system and method with implementation extensible query architecture
US5748974A (en) 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
DE4445023A1 (de) 1994-12-16 1996-06-20 Thomson Brandt Gmbh Erschütterungsresistentes Abspielgerät mit verringertem Energieverbrauch
JPH08185265A (ja) 1994-12-28 1996-07-16 Fujitsu Ltd タッチパネル制御装置
US5682475A (en) 1994-12-30 1997-10-28 International Business Machines Corporation Method and system for variable password access
US5774859A (en) 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5794050A (en) 1995-01-04 1998-08-11 Intelligent Text Processing, Inc. Natural language understanding system
US5835077A (en) 1995-01-13 1998-11-10 Remec, Inc., Computer control device
US5634084A (en) 1995-01-20 1997-05-27 Centigram Communications Corporation Abbreviation and acronym/initialism expansion procedures for a text to speech reader
JPH10512074A (ja) 1995-02-13 1998-11-17 インタートラスト テクノロジーズ コーポレイション 安全な取引管理および電子権利保護のためのシステムおよび方法
US5565888A (en) 1995-02-17 1996-10-15 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
JPH08227341A (ja) 1995-02-22 1996-09-03 Mitsubishi Electric Corp ユーザインターフェース
US6009237A (en) 1995-02-24 1999-12-28 Hitachi Ltd. Optical disk and optical disk reproduction apparatus
US5748512A (en) 1995-02-28 1998-05-05 Microsoft Corporation Adjusting keyboard
US5543897A (en) 1995-03-07 1996-08-06 Eastman Kodak Company Reproduction apparatus having touch screen operator interface and auxiliary keyboard
US5701400A (en) 1995-03-08 1997-12-23 Amado; Carlos Armando Method and apparatus for applying if-then-else rules to data sets in a relational data base and generating from the results of application of said rules a database of diagnostics linked to said data sets to aid executive analysis of financial data
US5564446A (en) 1995-03-27 1996-10-15 Wiltshire; Curtis B. Dental floss device and applicator assembly
US5749081A (en) 1995-04-06 1998-05-05 Firefly Network, Inc. System and method for recommending items to a user
JP4112613B2 (ja) 1995-04-12 2008-07-02 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニーBritish Telecommunications Public Limited Company 波形言語合成
US5616876A (en) 1995-04-19 1997-04-01 Microsoft Corporation System and methods for selecting music on the basis of subjective content
US5943049A (en) 1995-04-27 1999-08-24 Casio Computer Co., Ltd. Image processor for displayed message, balloon, and character's face
US5642464A (en) 1995-05-03 1997-06-24 Northern Telecom Limited Methods and apparatus for noise conditioning in digital speech compression systems using linear predictive coding
US5812698A (en) 1995-05-12 1998-09-22 Synaptics, Inc. Handwriting recognition system and method
US5708822A (en) 1995-05-31 1998-01-13 Oracle Corporation Methods and apparatus for thematic parsing of discourse
US6070140A (en) 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
TW338815B (en) 1995-06-05 1998-08-21 Motorola Inc Method and apparatus for character recognition of handwritten input
US6268859B1 (en) 1995-06-06 2001-07-31 Apple Computer, Inc. Method and system for rendering overlapping opaque graphical objects in graphic imaging systems
US5920327A (en) 1995-06-06 1999-07-06 Microsoft Corporation Multiple resolution data display
US5664055A (en) 1995-06-07 1997-09-02 Lucent Technologies Inc. CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
US5991441A (en) 1995-06-07 1999-11-23 Wang Laboratories, Inc. Real time handwriting recognition system
US6496182B1 (en) 1995-06-07 2002-12-17 Microsoft Corporation Method and system for providing touch-sensitive screens for the visually impaired
FI99072C (fi) 1995-06-08 1997-09-25 Nokia Telecommunications Oy Menetelmä toimitusvahvistusten antamiseksi puhelinverkossa suoritetuista sanomatoimituksista
AU713208B2 (en) 1995-06-13 1999-11-25 British Telecommunications Public Limited Company Speech synthesis
JP3385146B2 (ja) 1995-06-13 2003-03-10 シャープ株式会社 会話文翻訳装置
US5710886A (en) 1995-06-16 1998-01-20 Sellectsoft, L.C. Electric couponing method and apparatus
JP3284832B2 (ja) 1995-06-22 2002-05-20 セイコーエプソン株式会社 音声認識対話処理方法および音声認識対話装置
JPH0916598A (ja) 1995-07-03 1997-01-17 Fujitsu Ltd エラー・パターンを用いた文字列修正システムおよび方法
JPH0918585A (ja) 1995-07-03 1997-01-17 Matsushita Electric Ind Co Ltd ボイスメールシステム
US6038533A (en) 1995-07-07 2000-03-14 Lucent Technologies Inc. System and method for selecting training text
US5684513A (en) 1995-07-17 1997-11-04 Decker; Mark Randall Electronic luminescence keyboard system for a portable device
US5760760A (en) 1995-07-17 1998-06-02 Dell Usa, L.P. Intelligent LCD brightness control system
US5949961A (en) 1995-07-19 1999-09-07 International Business Machines Corporation Word syllabification in speech synthesis system
US5999895A (en) 1995-07-24 1999-12-07 Forest; Donald K. Sound operated menu method and apparatus
KR0183726B1 (ko) 1995-07-31 1999-04-15 윤종용 씨디 오케이와 비디오 씨디로부터 신호를 재생하는 씨디 재생장치
US5864815A (en) 1995-07-31 1999-01-26 Microsoft Corporation Method and system for displaying speech recognition status information in a visual notification area
US5724985A (en) 1995-08-02 1998-03-10 Pacesetter, Inc. User interface for an implantable medical device using an integrated digitizer display screen
JPH0955792A (ja) 1995-08-11 1997-02-25 Ricoh Co Ltd ボイスメールシステム
US6026388A (en) 1995-08-16 2000-02-15 Textwise, Llc User interface and other enhancements for natural language information retrieval system and method
JP3674990B2 (ja) * 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JP3697748B2 (ja) 1995-08-21 2005-09-21 セイコーエプソン株式会社 端末、音声認識装置
US5835721A (en) 1995-08-21 1998-11-10 Apple Computer, Inc. Method and system for data transmission over a network link between computers with the ability to withstand temporary interruptions
EP0788648B1 (en) 1995-08-28 2000-08-16 Philips Electronics N.V. Method and system for pattern recognition based on dynamically constructing a subset of reference vectors
KR19990044068A (ko) 1995-09-02 1999-06-25 에이지마. 헨리 패널형 마이크로폰
US5570324A (en) 1995-09-06 1996-10-29 Northrop Grumman Corporation Underwater sound localization system
US5712957A (en) 1995-09-08 1998-01-27 Carnegie Mellon University Locating and correcting erroneously recognized portions of utterances by rescoring based on two n-best lists
DE19533541C1 (de) 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
BR9610290A (pt) 1995-09-14 1999-03-16 Ericsson Ge Mobile Inc Processo para aumentar a inteligibilidade de voz em sinais de áudio aparelho para reduzir ruído em quadros recebidos de sinais de áudio digitalizados e sistema de telecomunicações
US5790978A (en) 1995-09-15 1998-08-04 Lucent Technologies, Inc. System and method for determining pitch contours
US5737734A (en) 1995-09-15 1998-04-07 Infonautics Corporation Query word relevance adjustment in a search of an information retrieval system
JPH0981320A (ja) 1995-09-20 1997-03-28 Matsushita Electric Ind Co Ltd ペン入力式選択入力装置及びその方法
US5771276A (en) 1995-10-10 1998-06-23 Ast Research, Inc. Voice templates for interactive voice mail and voice response system
US5884323A (en) 1995-10-13 1999-03-16 3Com Corporation Extendible method and apparatus for synchronizing files on two different computer systems
US6560707B2 (en) 1995-11-06 2003-05-06 Xerox Corporation Multimedia coordination system
US5799276A (en) 1995-11-07 1998-08-25 Accent Incorporated Knowledge-based speech recognition system and methods having frame length computed based upon estimated pitch period of vocalic intervals
JPH09146708A (ja) 1995-11-09 1997-06-06 Internatl Business Mach Corp <Ibm> タッチパネルの駆動方法及びタッチ入力方法
JP3152871B2 (ja) 1995-11-10 2001-04-03 富士通株式会社 ラティスをキーとした検索を行う辞書検索装置および方法
US5799279A (en) 1995-11-13 1998-08-25 Dragon Systems, Inc. Continuous speech recognition of text and commands
US5794237A (en) 1995-11-13 1998-08-11 International Business Machines Corporation System and method for improving problem source identification in computer systems employing relevance feedback and statistical source ranking
US5802526A (en) 1995-11-15 1998-09-01 Microsoft Corporation System and method for graphically displaying and navigating through an interactive voice response menu
US5801692A (en) 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US6240384B1 (en) 1995-12-04 2001-05-29 Kabushiki Kaisha Toshiba Speech synthesis method
US5987401A (en) 1995-12-08 1999-11-16 Apple Computer, Inc. Language translation for real-time text-based conversations
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US5761640A (en) 1995-12-18 1998-06-02 Nynex Science & Technology, Inc. Name and address processor
US5706442A (en) 1995-12-20 1998-01-06 Block Financial Corporation System for on-line financial services using distributed objects
JPH09179719A (ja) 1995-12-26 1997-07-11 Nec Corp 音声合成装置
US5787422A (en) 1996-01-11 1998-07-28 Xerox Corporation Method and apparatus for information accesss employing overlapping clusters
AU1836297A (en) 1996-01-17 1997-08-11 Personal Agents, Inc. Intelligent agents for electronic commerce
US6119101A (en) 1996-01-17 2000-09-12 Personal Agents, Inc. Intelligent agents for electronic commerce
US6125356A (en) 1996-01-18 2000-09-26 Rosefaire Development, Ltd. Portable sales presentation system with selective scripted seller prompts
US6011585A (en) 1996-01-19 2000-01-04 Apple Computer, Inc. Apparatus and method for rotating the display orientation of a captured image
JPH09265731A (ja) 1996-01-24 1997-10-07 Sony Corp 音声再生装置及び方法、音声録音装置及び方法、音声録音再生システム、音声データの転送方法、情報受信装置、記録媒体
US5987404A (en) 1996-01-29 1999-11-16 International Business Machines Corporation Statistical natural language understanding using hidden clumpings
US5729694A (en) 1996-02-06 1998-03-17 The Regents Of The University Of California Speech coding, reconstruction and recognition using acoustics and electromagnetic waves
US6535610B1 (en) 1996-02-07 2003-03-18 Morgan Stanley & Co. Incorporated Directional microphone utilizing spaced apart omni-directional microphones
US6076088A (en) 1996-02-09 2000-06-13 Paik; Woojin Information extraction system and method using concept relation concept (CRC) triples
US5737487A (en) 1996-02-13 1998-04-07 Apple Computer, Inc. Speaker adaptation based on lateral tying for large-vocabulary continuous speech recognition
US5864868A (en) 1996-02-13 1999-01-26 Contois; David C. Computer control system and user interface for media playing devices
US5835893A (en) 1996-02-15 1998-11-10 Atr Interpreting Telecommunications Research Labs Class-based word clustering for speech recognition using a three-level balanced hierarchical similarity
FI102343B (fi) 1996-02-20 1998-11-13 Sonera Oyj Järjestelmä ja menetelmä datan lähettämiseksi
GB2310559B (en) 1996-02-23 2000-09-20 Nokia Mobile Phones Ltd Audio output apparatus for a mobile communication device
US5864855A (en) 1996-02-26 1999-01-26 The United States Of America As Represented By The Secretary Of The Army Parallel document clustering process
WO1997032299A1 (en) 1996-02-27 1997-09-04 Philips Electronics N.V. Method and apparatus for automatic speech segmentation into phoneme-like units
US5842165A (en) 1996-02-29 1998-11-24 Nynex Science & Technology, Inc. Methods and apparatus for generating and using garbage models for speaker dependent speech recognition purposes
US6226533B1 (en) 1996-02-29 2001-05-01 Sony Corporation Voice messaging transceiver message duration indicator and method
US5895448A (en) 1996-02-29 1999-04-20 Nynex Science And Technology, Inc. Methods and apparatus for generating and using speaker independent garbage models for speaker dependent speech recognition purpose
US6069622A (en) 1996-03-08 2000-05-30 Microsoft Corporation Method and system for generating comic panels
GB9605216D0 (en) 1996-03-12 1996-05-15 Ncr Int Inc Display system and method of moving a cursor of the display system
JP3160707B2 (ja) 1996-03-22 2001-04-25 富士通株式会社 データ送受信装置、データ送信装置及びデータ受信装置
AU712412B2 (en) 1996-03-29 1999-11-04 British Telecommunications Public Limited Company Speech processing
JPH09265457A (ja) 1996-03-29 1997-10-07 Hitachi Ltd オンライン会話システム
US5901287A (en) 1996-04-01 1999-05-04 The Sabre Group Inc. Information aggregation and synthesization system
US5790671A (en) 1996-04-04 1998-08-04 Ericsson Inc. Method for automatically adjusting audio response for improved intelligibility
US5867799A (en) 1996-04-04 1999-02-02 Lang; Andrew K. Information system and method for filtering a massive flow of information entities to meet user information classification needs
US6173194B1 (en) 1996-04-15 2001-01-09 Nokia Mobile Phones Limited Mobile terminal having improved user interface
US5963924A (en) 1996-04-26 1999-10-05 Verifone, Inc. System, method and article of manufacture for the use of payment instrument holders and payment instruments in network electronic commerce
US5987140A (en) 1996-04-26 1999-11-16 Verifone, Inc. System, method and article of manufacture for secure network electronic payment and credit collection
US5913193A (en) 1996-04-30 1999-06-15 Microsoft Corporation Method and system of runtime acoustic unit selection for speech synthesis
US5857184A (en) 1996-05-03 1999-01-05 Walden Media, Inc. Language and method for creating, organizing, and retrieving data from a database
FR2748342B1 (fr) 1996-05-06 1998-07-17 France Telecom Procede et dispositif de filtrage par egalisation d'un signal de parole, mettant en oeuvre un modele statistique de ce signal
US5828999A (en) 1996-05-06 1998-10-27 Apple Computer, Inc. Method and system for deriving a large-span semantic language model for large-vocabulary recognition systems
US5826261A (en) 1996-05-10 1998-10-20 Spencer; Graham System and method for querying multiple, distributed databases by selective sharing of local relative significance information for terms related to the query
US5917487A (en) 1996-05-10 1999-06-29 Apple Computer, Inc. Data-driven method and system for drawing user interface objects
US6366883B1 (en) 1996-05-15 2002-04-02 Atr Interpreting Telecommunications Concatenation of speech segments by use of a speech synthesizer
US5758314A (en) 1996-05-21 1998-05-26 Sybase, Inc. Client/server database system with methods for improved soundex processing in a heterogeneous language environment
US5727950A (en) 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US6556712B1 (en) 1996-05-23 2003-04-29 Apple Computer, Inc. Methods and apparatus for handwriting recognition
US5848386A (en) 1996-05-28 1998-12-08 Ricoh Company, Ltd. Method and system for translating documents using different translation resources for different portions of the documents
US5850480A (en) 1996-05-30 1998-12-15 Scan-Optics, Inc. OCR error correction methods and apparatus utilizing contextual comparison
US5966533A (en) 1996-06-11 1999-10-12 Excite, Inc. Method and system for dynamically synthesizing a computer program by differentially resolving atoms based on user context data
US5915249A (en) 1996-06-14 1999-06-22 Excite, Inc. System and method for accelerated query evaluation of very large full-text databases
US5987132A (en) 1996-06-17 1999-11-16 Verifone, Inc. System, method and article of manufacture for conditionally accepting a payment method utilizing an extensible, flexible architecture
US5832433A (en) 1996-06-24 1998-11-03 Nynex Science And Technology, Inc. Speech synthesis method for operator assistance telecommunications calls comprising a plurality of text-to-speech (TTS) devices
JP2973944B2 (ja) 1996-06-26 1999-11-08 富士ゼロックス株式会社 文書処理装置および文書処理方法
US5912952A (en) 1996-06-27 1999-06-15 At&T Corp Voice response unit with a visual menu interface
US5802466A (en) 1996-06-28 1998-09-01 Mci Communications Corporation Personal communication device voice mail notification apparatus and method
US5825881A (en) 1996-06-28 1998-10-20 Allsoft Distributing Inc. Public network merchandising system
US6070147A (en) 1996-07-02 2000-05-30 Tecmark Services, Inc. Customer identification and marketing analysis systems
US6054990A (en) 1996-07-05 2000-04-25 Tran; Bao Q. Computer system with handwriting annotation
US5915238A (en) 1996-07-16 1999-06-22 Tjaden; Gary S. Personalized audio information delivery system
EP0912954B8 (en) 1996-07-22 2006-06-14 Cyva Research Corporation Personal information security and exchange tool
US5862223A (en) 1996-07-24 1999-01-19 Walker Asset Management Limited Partnership Method and apparatus for a cryptographically-assisted commercial network system designed to facilitate and support expert-based commerce
JP2856390B2 (ja) 1996-07-26 1999-02-10 株式会社日立製作所 情報記録媒体及びそれを用いた記録再生方法
US6453281B1 (en) 1996-07-30 2002-09-17 Vxi Corporation Portable audio database device with icon-based graphical user-interface
KR100260760B1 (ko) 1996-07-31 2000-07-01 모리 하루오 터치패널을 병설한 정보표시장치
US5818924A (en) 1996-08-02 1998-10-06 Siemens Business Communication Systems, Inc. Combined keypad and protective cover
US5765168A (en) 1996-08-09 1998-06-09 Digital Equipment Corporation Method for maintaining an index
US5797008A (en) 1996-08-09 1998-08-18 Digital Equipment Corporation Memory storing an integrated index of database records
US6298174B1 (en) 1996-08-12 2001-10-02 Battelle Memorial Institute Three-dimensional display of document set
US5818451A (en) 1996-08-12 1998-10-06 International Busienss Machines Corporation Computer programmed soft keyboard system, method and apparatus having user input displacement
US7113958B1 (en) 1996-08-12 2006-09-26 Battelle Memorial Institute Three-dimensional display of document set
US5822730A (en) 1996-08-22 1998-10-13 Dragon Systems, Inc. Lexical tree pre-filtering in speech recognition
US5950123A (en) 1996-08-26 1999-09-07 Telefonaktiebolaget L M Cellular telephone network support of audible information delivery to visually impaired subscribers
US6121960A (en) 1996-08-28 2000-09-19 Via, Inc. Touch screen systems and methods
US5999169A (en) 1996-08-30 1999-12-07 International Business Machines Corporation Computer graphical user interface method and system for supporting multiple two-dimensional movement inputs
US5794207A (en) 1996-09-04 1998-08-11 Walker Asset Management Limited Partnership Method and apparatus for a cryptographically assisted commercial network system designed to facilitate buyer-driven conditional purchase offers
US5878393A (en) 1996-09-09 1999-03-02 Matsushita Electric Industrial Co., Ltd. High quality concatenative reading system
US5850629A (en) 1996-09-09 1998-12-15 Matsushita Electric Industrial Co., Ltd. User interface controller for text-to-speech synthesizer
US5745116A (en) 1996-09-09 1998-04-28 Motorola, Inc. Intuitive gesture-based graphical user interface
EP0829811A1 (en) 1996-09-11 1998-03-18 Nippon Telegraph And Telephone Corporation Method and system for information retrieval
WO1998013771A1 (en) 1996-09-26 1998-04-02 Mitsubishi Denki Kabushiki Kaisha Interactive processor
US6181935B1 (en) 1996-09-27 2001-01-30 Software.Com, Inc. Mobility extended telephone application programming interface and method of use
US5876396A (en) 1996-09-27 1999-03-02 Baxter International Inc. System method and container for holding and delivering a solution
US5794182A (en) 1996-09-30 1998-08-11 Apple Computer, Inc. Linear predictive speech encoding systems with efficient combination pitch coefficients computation
US6199076B1 (en) 1996-10-02 2001-03-06 James Logan Audio program player including a dynamic program selection controller
US5721827A (en) 1996-10-02 1998-02-24 James Logan System for electrically distributing personalized information
US5732216A (en) 1996-10-02 1998-03-24 Internet Angles, Inc. Audio message exchange system
US20070026852A1 (en) 1996-10-02 2007-02-01 James Logan Multimedia telephone system
US5913203A (en) 1996-10-03 1999-06-15 Jaesent Inc. System and method for pseudo cash transactions
US5930769A (en) 1996-10-07 1999-07-27 Rose; Andrea System and method for fashion shopping
US6073033A (en) 1996-11-01 2000-06-06 Telxon Corporation Portable telephone with integrated heads-up display and data terminal functions
DE69626285D1 (de) 1996-11-04 2003-03-27 Molex Inc Elektrischer Verbinder für Telefonhandapparat
US6233318B1 (en) 1996-11-05 2001-05-15 Comverse Network Systems, Inc. System for accessing multimedia mailboxes and messages over the internet and via telephone
US5956667A (en) 1996-11-08 1999-09-21 Research Foundation Of State University Of New York System and methods for frame-based augmentative communication
US5918303A (en) 1996-11-25 1999-06-29 Yamaha Corporation Performance setting data selecting apparatus
US5836771A (en) 1996-12-02 1998-11-17 Ho; Chi Fai Learning method and system based on questioning
US5875427A (en) 1996-12-04 1999-02-23 Justsystem Corp. Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence
US6665639B2 (en) 1996-12-06 2003-12-16 Sensory, Inc. Speech recognition in consumer electronic products
US6078914A (en) 1996-12-09 2000-06-20 Open Text Corporation Natural language meta-search system and method
JP3349905B2 (ja) 1996-12-10 2002-11-25 松下電器産業株式会社 音声合成方法および装置
US6023676A (en) 1996-12-12 2000-02-08 Dspc Israel, Ltd. Keyword recognition system and method
US6157935A (en) 1996-12-17 2000-12-05 Tran; Bao Q. Remote data access and management system
US5839106A (en) 1996-12-17 1998-11-17 Apple Computer, Inc. Large-vocabulary speech recognition using an integrated syntactic and semantic statistical language model
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US5926789A (en) 1996-12-19 1999-07-20 Bell Communications Research, Inc. Audio-based wide area information system
US5966126A (en) 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
US5739451A (en) 1996-12-27 1998-04-14 Franklin Electronic Publishers, Incorporated Hand held electronic music encyclopedia with text and note structure search
US5932869A (en) 1996-12-27 1999-08-03 Graphic Technology, Inc. Promotional system with magnetic stripe and visual thermo-reversible print surfaced medium
US6111562A (en) 1997-01-06 2000-08-29 Intel Corporation System for generating an audible cue indicating the status of a display object
US7787647B2 (en) 1997-01-13 2010-08-31 Micro Ear Technology, Inc. Portable system for programming hearing aids
JP3579204B2 (ja) 1997-01-17 2004-10-20 富士通株式会社 文書要約装置およびその方法
US5815225A (en) 1997-01-22 1998-09-29 Gateway 2000, Inc. Lighting apparatus for a portable computer with illumination apertures
US5933477A (en) 1997-01-22 1999-08-03 Lucent Technologies Inc. Changing-urgency-dependent message or call delivery
US5953541A (en) 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
US6684376B1 (en) 1997-01-27 2004-01-27 Unisys Corporation Method and apparatus for selecting components within a circuit design database
US6006274A (en) 1997-01-30 1999-12-21 3Com Corporation Method and apparatus using a pass through personal computer connected to both a local communication link and a computer network for indentifying and synchronizing a preferred computer with a portable computer
US5924068A (en) 1997-02-04 1999-07-13 Matsushita Electric Industrial Co. Ltd. Electronic news reception apparatus that selectively retains sections and searches by keyword or index for text to speech conversion
EP0863469A3 (en) 1997-02-10 2002-01-09 Nippon Telegraph And Telephone Corporation Scheme for automatic data conversion definition generation according to data feature in visual multidimensional data analysis tool
US6519565B1 (en) 1998-11-10 2003-02-11 Voice Security Systems, Inc. Method of comparing utterances for security control
US5926769A (en) 1997-02-18 1999-07-20 Nokia Mobile Phones Limited Cellular telephone having simplified user interface for storing and retrieving telephone numbers
US5930783A (en) 1997-02-21 1999-07-27 Nec Usa, Inc. Semantic and cognition based image retrieval
US5941944A (en) 1997-03-03 1999-08-24 Microsoft Corporation Method for providing a substitute for a requested inaccessible object by identifying substantially similar objects using weights corresponding to object features
US7321783B2 (en) 1997-04-25 2008-01-22 Minerva Industries, Inc. Mobile entertainment and communication device
US5930801A (en) 1997-03-07 1999-07-27 Xerox Corporation Shared-data environment in which each file has independent security properties
US6076051A (en) 1997-03-07 2000-06-13 Microsoft Corporation Information retrieval utilizing semantic representation of text
US6144377A (en) 1997-03-11 2000-11-07 Microsoft Corporation Providing access to user interface elements of legacy application programs
JP3726448B2 (ja) * 1997-03-12 2005-12-14 セイコーエプソン株式会社 認識対象音声検出方法およびその装置
US6604124B1 (en) 1997-03-13 2003-08-05 A:\Scribes Corporation Systems and methods for automatically managing work flow based on tracking job step completion status
US6260013B1 (en) 1997-03-14 2001-07-10 Lernout & Hauspie Speech Products N.V. Speech recognition system employing discriminatively trained models
WO1998041956A1 (en) 1997-03-20 1998-09-24 Schlumberger Technologies, Inc. System and method of transactional taxation using secure stored data devices
DE19712632A1 (de) 1997-03-26 1998-10-01 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Sprachfernsteuerung von Geräten
US6064959A (en) 1997-03-28 2000-05-16 Dragon Systems, Inc. Error correction in speech recognition
US6097391A (en) 1997-03-31 2000-08-01 Menai Corporation Method and apparatus for graphically manipulating objects
US6041127A (en) 1997-04-03 2000-03-21 Lucent Technologies Inc. Steerable and variable first-order differential microphone array
US5822743A (en) 1997-04-08 1998-10-13 1215627 Ontario Inc. Knowledge-based information retrieval system
US6954899B1 (en) 1997-04-14 2005-10-11 Novint Technologies, Inc. Human-computer interface including haptically controlled interactions
US5912951A (en) 1997-04-17 1999-06-15 At&T Corp Voice mail system with multi-retrieval mailboxes
JP3704925B2 (ja) 1997-04-22 2005-10-12 トヨタ自動車株式会社 移動端末装置及びその音声出力プログラムを記録した媒体
US5970474A (en) 1997-04-24 1999-10-19 Sears, Roebuck And Co. Registry information system for shoppers
US6073036A (en) 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US5895464A (en) 1997-04-30 1999-04-20 Eastman Kodak Company Computer program product and a method for using natural language for the description, search and retrieval of multi-media objects
US6233545B1 (en) 1997-05-01 2001-05-15 William E. Datig Universal machine translator of arbitrary languages utilizing epistemic moments
US6226614B1 (en) 1997-05-21 2001-05-01 Nippon Telegraph And Telephone Corporation Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon
US6803905B1 (en) 1997-05-30 2004-10-12 International Business Machines Corporation Touch sensitive apparatus and method for improved visual feedback
US5930751A (en) 1997-05-30 1999-07-27 Lucent Technologies Inc. Method of implicit confirmation for automatic speech recognition
US6582342B2 (en) 1999-01-12 2003-06-24 Epm Development Systems Corporation Audible electronic exercise monitor
DE69816185T2 (de) 1997-06-12 2004-04-15 Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto Bildverarbeitungsverfahren und -vorrichtung
US5930754A (en) 1997-06-13 1999-07-27 Motorola, Inc. Method, device and article of manufacture for neural-network based orthography-phonetics transformation
US6415250B1 (en) 1997-06-18 2002-07-02 Novell, Inc. System and method for identifying language using morphologically-based techniques
US6138098A (en) 1997-06-30 2000-10-24 Lernout & Hauspie Speech Products N.V. Command parsing and rewrite system
WO1999001834A1 (en) 1997-07-02 1999-01-14 Coueignoux, Philippe, J., M. System and method for the secure discovery, exploitation and publication of information
JP3593241B2 (ja) 1997-07-02 2004-11-24 株式会社日立製作所 計算機の再起動方法
CA2242065C (en) 1997-07-03 2004-12-14 Henry C.A. Hyde-Thomson Unified messaging system with automatic language identification for text-to-speech conversion
EP0889626A1 (en) 1997-07-04 1999-01-07 Octel Communications Corporation Unified messaging system with automatic language identifacation for text-to-speech conversion
US6587404B1 (en) 1997-07-09 2003-07-01 Advanced Audio Devices, Llc Optical storage device capable of recording a set of sound tracks on a compact disc
US6172948B1 (en) 1997-07-09 2001-01-09 Advanced Audio Devices, Llc Optical storage device
JP3224760B2 (ja) 1997-07-10 2001-11-05 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声メールシステム、音声合成装置およびこれらの方法
US5860063A (en) 1997-07-11 1999-01-12 At&T Corp Automated meaningful phrase clustering
US5940841A (en) 1997-07-11 1999-08-17 International Business Machines Corporation Parallel file system with extended file attributes
US20020138254A1 (en) 1997-07-18 2002-09-26 Takehiko Isaka Method and apparatus for processing speech signals
US5933822A (en) 1997-07-22 1999-08-03 Microsoft Corporation Apparatus and methods for an information retrieval system that employs natural language processing of search results to improve overall precision
US6356864B1 (en) 1997-07-25 2002-03-12 University Technology Corporation Methods for analysis and evaluation of the semantic content of a writing based on vector length
JPH1145241A (ja) 1997-07-28 1999-02-16 Just Syst Corp かな漢字変換システムおよびそのシステムの各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US5974146A (en) 1997-07-30 1999-10-26 Huntington Bancshares Incorporated Real time bank-centric universal payment system
US6904110B2 (en) 1997-07-31 2005-06-07 Francois Trans Channel equalization system and method
WO1999006804A1 (en) 1997-07-31 1999-02-11 Kyoyu Corporation Voice monitoring system using laser beam
JPH1153384A (ja) 1997-08-05 1999-02-26 Mitsubishi Electric Corp キーワード抽出装置及びキーワード抽出方法並びにキーワード抽出プログラムを格納したコンピュータ読み取り可能な記録媒体
US6016476A (en) 1997-08-11 2000-01-18 International Business Machines Corporation Portable information and transaction processing system and method utilizing biometric authorization and digital certificate security
US5943052A (en) 1997-08-12 1999-08-24 Synaptics, Incorporated Method and apparatus for scroll bar control
US5895466A (en) 1997-08-19 1999-04-20 At&T Corp Automated natural language understanding customer service system
JP3516328B2 (ja) 1997-08-22 2004-04-05 株式会社日立製作所 情報通信端末装置
US6081774A (en) 1997-08-22 2000-06-27 Novell, Inc. Natural language information retrieval system and method
US7385359B2 (en) 1997-08-26 2008-06-10 Philips Solid-State Lighting Solutions, Inc. Information systems
US5974412A (en) 1997-09-24 1999-10-26 Sapient Health Network Intelligent query system for automatically indexing information in a database and automatically categorizing users
BR9814032A (pt) 1997-09-25 2001-11-20 Tegic Communications Inc Sistema de retirada de ambiguidade com tecladoreduzido
US6404876B1 (en) 1997-09-25 2002-06-11 Gte Intelligent Network Services Incorporated System and method for voice activated dialing and routing under open access network control
US7046813B1 (en) 1997-09-25 2006-05-16 Fumio Denda Auditory sense training method and sound processing method for auditory sense training
US6169911B1 (en) 1997-09-26 2001-01-02 Sun Microsystems, Inc. Graphical user interface for a portable telephone
US6615258B1 (en) 1997-09-26 2003-09-02 Worldcom, Inc. Integrated customer interface for web based data management
US6023684A (en) 1997-10-01 2000-02-08 Security First Technologies, Inc. Three tier financial transaction system with cache memory
US6493652B1 (en) 1997-10-02 2002-12-10 Personal Electronic Devices, Inc. Monitoring activity of a user in locomotion on foot
US6611789B1 (en) 1997-10-02 2003-08-26 Personal Electric Devices, Inc. Monitoring activity of a user in locomotion on foot
US6882955B1 (en) 1997-10-02 2005-04-19 Fitsense Technology, Inc. Monitoring activity of a user in locomotion on foot
US6298314B1 (en) 1997-10-02 2001-10-02 Personal Electronic Devices, Inc. Detecting the starting and stopping of movement of a person on foot
US6898550B1 (en) 1997-10-02 2005-05-24 Fitsense Technology, Inc. Monitoring activity of a user in locomotion on foot
US6163769A (en) 1997-10-02 2000-12-19 Microsoft Corporation Text-to-speech using clustered context-dependent phoneme-based units
US6018705A (en) 1997-10-02 2000-01-25 Personal Electronic Devices, Inc. Measuring foot contact time and foot loft time of a person in locomotion
US6385662B1 (en) 1997-10-03 2002-05-07 Ericsson Inc. Method of processing information using a personal communication assistant
JP2001507482A (ja) 1997-10-08 2001-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 語彙及び/又は言語モデルのトレーニング
US7027568B1 (en) 1997-10-10 2006-04-11 Verizon Services Corp. Personal message service with enhanced text to speech synthesis
KR100238189B1 (ko) 1997-10-16 2000-01-15 윤종용 다중 언어 tts장치 및 다중 언어 tts 처리 방법
US6035336A (en) 1997-10-17 2000-03-07 International Business Machines Corporation Audio ticker system and method for presenting push information including pre-recorded audio
US6304846B1 (en) 1997-10-22 2001-10-16 Texas Instruments Incorporated Singing voice synthesis
EP0911808B1 (en) 1997-10-23 2002-05-08 Sony International (Europe) GmbH Speech interface in a home network environment
GB2330670B (en) 1997-10-24 2002-09-11 Sony Uk Ltd Data processing
US5990887A (en) 1997-10-30 1999-11-23 International Business Machines Corp. Method and system for efficient network desirable chat feedback over a communication network
US6108627A (en) 1997-10-31 2000-08-22 Nortel Networks Corporation Automatic transcription tool
US6230322B1 (en) 1997-11-05 2001-05-08 Sony Corporation Music channel graphical user interface
US6182028B1 (en) 1997-11-07 2001-01-30 Motorola, Inc. Method, device and system for part-of-speech disambiguation
US5896321A (en) 1997-11-14 1999-04-20 Microsoft Corporation Text completion system for a miniature computer
US6034621A (en) 1997-11-18 2000-03-07 Lucent Technologies, Inc. Wireless remote synchronization of data between PC and PDA
US5943670A (en) 1997-11-21 1999-08-24 International Business Machines Corporation System and method for categorizing objects in combined categories
KR100287366B1 (ko) 1997-11-24 2001-01-26 윤순조 엠피이지 방식을 이용한 휴대용 음향 재생장치 및 방법
US5960422A (en) 1997-11-26 1999-09-28 International Business Machines Corporation System and method for optimized source selection in an information retrieval system
US6047255A (en) 1997-12-04 2000-04-04 Nortel Networks Corporation Method and system for producing speech signals
US6026375A (en) 1997-12-05 2000-02-15 Nortel Networks Corporation Method and apparatus for processing orders from customers in a mobile environment
US6163809A (en) 1997-12-08 2000-12-19 Microsoft Corporation System and method for preserving delivery status notification when moving from a native network to a foreign network
US6983138B1 (en) 1997-12-12 2006-01-03 Richard J. Helferich User interface for message access
US6295541B1 (en) 1997-12-16 2001-09-25 Starfish Software, Inc. System and methods for synchronizing two or more datasets
US6064963A (en) 1997-12-17 2000-05-16 Opus Telecom, L.L.C. Automatic key word or phrase speech recognition for the corrections industry
US6064960A (en) 1997-12-18 2000-05-16 Apple Computer, Inc. Method and apparatus for improved duration modeling of phonemes
US6094649A (en) 1997-12-22 2000-07-25 Partnet, Inc. Keyword searches of structured databases
US6310400B1 (en) 1997-12-29 2001-10-30 Intel Corporation Apparatus for capacitively coupling electronic devices
US6116907A (en) 1998-01-13 2000-09-12 Sorenson Vision, Inc. System and method for encoding and retrieving visual signals
US6064767A (en) 1998-01-16 2000-05-16 Regents Of The University Of California Automatic language identification by stroke geometry analysis
JP3216084B2 (ja) 1998-01-19 2001-10-09 株式会社ネットワークコミュニティクリエイション チャット画面表示方法
US6782510B1 (en) 1998-01-27 2004-08-24 John N. Gross Word checking tool for controlling the language content in documents using dictionaries with modifyable status fields
JP2938420B2 (ja) 1998-01-30 1999-08-23 インターナショナル・ビジネス・マシーンズ・コーポレイション ファンクション選択方法及び装置、ファンクションを選択するための制御プログラムを格納した記憶媒体、オブジェクトの操作方法及び装置、オブジェクトを操作するための制御プログラムを格納した記憶媒体、複合アイコンを格納した記憶媒体
US6035303A (en) 1998-02-02 2000-03-07 International Business Machines Corporation Object management system for digital libraries
US6216131B1 (en) 1998-02-06 2001-04-10 Starfish Software, Inc. Methods for mapping data fields from one data set to another in a data processing environment
US6226403B1 (en) 1998-02-09 2001-05-01 Motorola, Inc. Handwritten character recognition using multi-resolution models
US6421707B1 (en) 1998-02-13 2002-07-16 Lucent Technologies Inc. Wireless multi-media messaging communications method and apparatus
US6249606B1 (en) 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6623529B1 (en) 1998-02-23 2003-09-23 David Lakritz Multilingual electronic document translation, management, and delivery system
US20020080163A1 (en) 1998-02-23 2002-06-27 Morey Dale D. Information retrieval system
US6345250B1 (en) 1998-02-24 2002-02-05 International Business Machines Corp. Developing voice response applications from pre-recorded voice and stored text-to-speech prompts
US5995590A (en) 1998-03-05 1999-11-30 International Business Machines Corporation Method and apparatus for a communication device for use by a hearing impaired/mute or deaf person or in silent environments
US6356920B1 (en) 1998-03-09 2002-03-12 X-Aware, Inc Dynamic, hierarchical data exchange system
JP3854713B2 (ja) 1998-03-10 2006-12-06 キヤノン株式会社 音声合成方法および装置および記憶媒体
US6173287B1 (en) 1998-03-11 2001-01-09 Digital Equipment Corporation Technique for ranking multimedia annotations of interest
US6272456B1 (en) 1998-03-19 2001-08-07 Microsoft Corporation System and method for identifying the language of written text having a plurality of different length n-gram profiles
WO1999049394A1 (en) 1998-03-23 1999-09-30 Microsoft Corporation Application program interfaces in an operating system
US6963871B1 (en) 1998-03-25 2005-11-08 Language Analysis Systems, Inc. System and method for adaptive multi-cultural searching and matching of personal names
US6675233B1 (en) 1998-03-26 2004-01-06 O2 Micro International Limited Audio controller for portable electronic devices
US6195641B1 (en) 1998-03-27 2001-02-27 International Business Machines Corp. Network universal spoken language vocabulary
US6335962B1 (en) 1998-03-27 2002-01-01 Lucent Technologies Inc. Apparatus and method for grouping and prioritizing voice messages for convenient playback
US6026393A (en) 1998-03-31 2000-02-15 Casebank Technologies Inc. Configuration knowledge as an aid to case retrieval
US6233559B1 (en) 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
US9037451B2 (en) 1998-09-25 2015-05-19 Rpx Corporation Systems and methods for multiple mode voice and data communications using intelligently bridged TDM and packet buses and methods for implementing language capabilities using the same
JPH11288296A (ja) * 1998-04-06 1999-10-19 Denso Corp 情報処理装置
US7191135B2 (en) 1998-04-08 2007-03-13 Symbol Technologies, Inc. Speech recognition system and method for employing the same
US6151401A (en) 1998-04-09 2000-11-21 Compaq Computer Corporation Planar speaker for multimedia laptop PCs
US6173279B1 (en) 1998-04-09 2001-01-09 At&T Corp. Method of using a natural language interface to retrieve information from one or more data resources
US7194471B1 (en) 1998-04-10 2007-03-20 Ricoh Company, Ltd. Document classification system and method for classifying a document according to contents of the document
US6018711A (en) 1998-04-21 2000-01-25 Nortel Networks Corporation Communication system user interface with animated representation of time remaining for input to recognizer
US6240303B1 (en) 1998-04-23 2001-05-29 Motorola Inc. Voice recognition button for mobile telephones
US6088731A (en) 1998-04-24 2000-07-11 Associative Computing, Inc. Intelligent assistant for use with a local computer and with the internet
EP1076865B1 (en) 1998-04-27 2002-12-18 BRITISH TELECOMMUNICATIONS public limited company Database access tool
KR100454541B1 (ko) 1998-04-27 2004-11-03 산요덴키가부시키가이샤 수기 문자 인식 방법 및 시스템
US6081780A (en) 1998-04-28 2000-06-27 International Business Machines Corporation TTS and prosody based authoring system
US5891180A (en) 1998-04-29 1999-04-06 Medtronic Inc. Interrogation of an implantable medical device using audible sound communication
US6931255B2 (en) 1998-04-29 2005-08-16 Telefonaktiebolaget L M Ericsson (Publ) Mobile terminal with a text-to-speech converter
US6016471A (en) 1998-04-29 2000-01-18 Matsushita Electric Industrial Co., Ltd. Method and apparatus using decision trees to generate and score multiple pronunciations for a spelled word
US6343267B1 (en) 1998-04-30 2002-01-29 Matsushita Electric Industrial Co., Ltd. Dimensionality reduction for speaker normalization and speaker and environment adaptation using eigenvoice techniques
US6222347B1 (en) 1998-04-30 2001-04-24 Apple Computer, Inc. System for charging portable computer's battery using both the dynamically determined power available based on power consumed by sub-system devices and power limits from the battery
US6029132A (en) 1998-04-30 2000-02-22 Matsushita Electric Industrial Co. Method for letter-to-sound in text-to-speech synthesis
US5998972A (en) 1998-04-30 1999-12-07 Apple Computer, Inc. Method and apparatus for rapidly charging a battery of a portable computing device
US6285786B1 (en) 1998-04-30 2001-09-04 Motorola, Inc. Text recognizer and method using non-cumulative character scoring in a forward search
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US6076060A (en) 1998-05-01 2000-06-13 Compaq Computer Corporation Computer method and apparatus for translating text to sound
US6297818B1 (en) 1998-05-08 2001-10-02 Apple Computer, Inc. Graphical user interface having sound effects for operating control elements and dragging objects
JPH11327870A (ja) 1998-05-15 1999-11-30 Fujitsu Ltd ドキュメント読み上げ装置、読み上げ制御方法及び記 録媒体
US6438523B1 (en) 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
FI981154A (fi) 1998-05-25 1999-11-26 Nokia Mobile Phones Ltd Menetelmä ja laite puheen tunnistamiseksi
US6424983B1 (en) 1998-05-26 2002-07-23 Global Information Research And Technologies, Llc Spelling and grammar checking system
US6101470A (en) 1998-05-26 2000-08-08 International Business Machines Corporation Methods for generating pitch and duration contours in a text to speech system
US20070094222A1 (en) 1998-05-28 2007-04-26 Lawrence Au Method and system for using voice input for performing network functions
US7711672B2 (en) 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
US6778970B2 (en) 1998-05-28 2004-08-17 Lawrence Au Topological methods to organize semantic network data flows for conversational applications
US7266365B2 (en) 1998-05-29 2007-09-04 Research In Motion Limited System and method for delayed transmission of bundled command messages
JP3180764B2 (ja) 1998-06-05 2001-06-25 日本電気株式会社 音声合成装置
US6563769B1 (en) 1998-06-11 2003-05-13 Koninklijke Philips Electronics N.V. Virtual jukebox
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US6411932B1 (en) 1998-06-12 2002-06-25 Texas Instruments Incorporated Rule-based learning of word pronunciations from training corpora
US5969283A (en) 1998-06-17 1999-10-19 Looney Productions, Llc Music organizer and entertainment center
US7672952B2 (en) 2000-07-13 2010-03-02 Novell, Inc. System and method of semantic correlation of rich content
US6542171B1 (en) 1998-07-08 2003-04-01 Nippon Telegraph Amd Telephone Corporation Scheme for graphical user interface using polygonal-shaped slider
US6144958A (en) 1998-07-15 2000-11-07 Amazon.Com, Inc. System and method for correcting spelling errors in search queries
JP2000029661A (ja) 1998-07-16 2000-01-28 Sharp Corp 文字及び音声入出力機能付き情報端末装置
US6105865A (en) 1998-07-17 2000-08-22 Hardesty; Laurence Daniel Financial transaction system with retirement saving benefit
US6421708B2 (en) 1998-07-31 2002-07-16 Glenayre Electronics, Inc. World wide web access for voice mail and page
US6389114B1 (en) 1998-08-06 2002-05-14 At&T Corp. Method and apparatus for relaying communication
JP3865946B2 (ja) 1998-08-06 2007-01-10 富士通株式会社 文字メッセージ通信システム、文字メッセージ通信装置、文字メッセージ通信サーバ、文字メッセージ通信プログラムを記録したコンピュータ読み取り可能な記録媒体、文字メッセージ通信管理プログラムを記録したコンピュータ読み取り可能な記録媒体、文字メッセージ送受信方法及び文字メッセージ通信管理方法
US6169538B1 (en) 1998-08-13 2001-01-02 Motorola, Inc. Method and apparatus for implementing a graphical user interface keyboard and a text buffer on electronic devices
US6359970B1 (en) 1998-08-14 2002-03-19 Maverick Consulting Services, Inc. Communications control method and apparatus
US6490563B2 (en) 1998-08-17 2002-12-03 Microsoft Corporation Proofreading with text to speech feedback
US6493428B1 (en) 1998-08-18 2002-12-10 Siemens Information & Communication Networks, Inc Text-enhanced voice menu system
JP2000105598A (ja) 1998-08-24 2000-04-11 Saehan Information Syst Inc 携帯用デ―タの記録/再生装置、デジタルデ―タの記録及び再生方泡並びにコンピュ―タ音楽ファイルデ―タの記録及び再生システム
US6173263B1 (en) 1998-08-31 2001-01-09 At&T Corp. Method and system for performing concatenative speech synthesis using half-phonemes
US6208964B1 (en) 1998-08-31 2001-03-27 Nortel Networks Limited Method and apparatus for providing unsupervised adaptation of transcriptions
US6542584B1 (en) 1998-08-31 2003-04-01 Intel Corporation Digital telephone system with automatic voice mail redirection
US6271835B1 (en) 1998-09-03 2001-08-07 Nortel Networks Limited Touch-screen input device
US6359572B1 (en) 1998-09-03 2002-03-19 Microsoft Corporation Dynamic keyboard
US6141644A (en) 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
US6434524B1 (en) 1998-09-09 2002-08-13 One Voice Technologies, Inc. Object interactive user interface using speech recognition and natural language processing
US6768979B1 (en) 1998-10-22 2004-07-27 Sony Corporation Apparatus and method for noise attenuation in a speech recognition system
US6499013B1 (en) 1998-09-09 2002-12-24 One Voice Technologies, Inc. Interactive user interface using speech recognition and natural language processing
DE19841541B4 (de) 1998-09-11 2007-12-06 Püllen, Rainer Teilnehmereinheit für einen Multimediadienst
US6266637B1 (en) 1998-09-11 2001-07-24 International Business Machines Corporation Phrase splicing and variable substitution using a trainable speech synthesizer
US6792082B1 (en) 1998-09-11 2004-09-14 Comverse Ltd. Voice mail system with personal assistant provisioning
US6594673B1 (en) 1998-09-15 2003-07-15 Microsoft Corporation Visualizations for collaborative information
JP2000099225A (ja) 1998-09-18 2000-04-07 Sony Corp 情報処理装置および方法、並びに提供媒体
US6317831B1 (en) 1998-09-21 2001-11-13 Openwave Systems Inc. Method and apparatus for establishing a secure connection over a one-way data path
US6154551A (en) 1998-09-25 2000-11-28 Frenkel; Anatoly Microphone having linear optical transducers
EP1131946A1 (en) 1998-09-28 2001-09-12 Varicom Communications Ltd. A method of sending and forwarding e-mail messages to a telephone
AU1097300A (en) 1998-09-30 2000-04-17 Brian Gladstein Graphic user interface for navigation in speech recognition system grammars
JP2000105595A (ja) 1998-09-30 2000-04-11 Victor Co Of Japan Ltd 歌唱装置及び記録媒体
US6173261B1 (en) 1998-09-30 2001-01-09 At&T Corp Grammar fragment acquisition using syntactic and semantic clustering
US6324511B1 (en) 1998-10-01 2001-11-27 Mindmaker, Inc. Method of and apparatus for multi-modal information presentation to computer users with dyslexia, reading disabilities or visual impairment
US6122340A (en) 1998-10-01 2000-09-19 Personal Electronic Devices, Inc. Detachable foot mount for electronic device
US6275824B1 (en) 1998-10-02 2001-08-14 Ncr Corporation System and method for managing data privacy in a database management system
EP1163576A4 (en) 1998-10-02 2005-11-30 Ibm Conversational computing via conversational virtual machine
US7003463B1 (en) 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
US6161087A (en) 1998-10-05 2000-12-12 Lernout & Hauspie Speech Products N.V. Speech-recognition-assisted selective suppression of silent and filled speech pauses during playback of an audio recording
US6360237B1 (en) 1998-10-05 2002-03-19 Lernout & Hauspie Speech Products N.V. Method and system for performing text edits during audio recording playback
GB9821969D0 (en) 1998-10-08 1998-12-02 Canon Kk Apparatus and method for processing natural language
WO2000022820A1 (en) 1998-10-09 2000-04-20 Sarnoff Corporation Method and apparatus for providing vcr-type controls for compressed digital video sequences
US6928614B1 (en) 1998-10-13 2005-08-09 Visteon Global Technologies, Inc. Mobile office with speech recognition
GB2342802B (en) 1998-10-14 2003-04-16 Picturetel Corp Method and apparatus for indexing conference content
US6487663B1 (en) 1998-10-19 2002-11-26 Realnetworks, Inc. System and method for regulating the transmission of media data
JP2000122781A (ja) 1998-10-20 2000-04-28 Sony Corp 情報処理装置および方法、並びに提供媒体
US6453292B2 (en) 1998-10-28 2002-09-17 International Business Machines Corporation Command boundary identifier for conversational natural language
JP3551044B2 (ja) 1998-10-29 2004-08-04 松下電器産業株式会社 ファクシミリ装置
US6208971B1 (en) 1998-10-30 2001-03-27 Apple Computer, Inc. Method and apparatus for command recognition using data-driven semantic inference
US6321092B1 (en) 1998-11-03 2001-11-20 Signal Soft Corporation Multiple input data management for wireless location-based applications
US6839669B1 (en) 1998-11-05 2005-01-04 Scansoft, Inc. Performing actions identified in recognized speech
US6469732B1 (en) 1998-11-06 2002-10-22 Vtel Corporation Acoustic source location using a microphone array
US6446076B1 (en) 1998-11-12 2002-09-03 Accenture Llp. Voice interactive web-based agent system responsive to a user location for prioritizing and formatting information
US6665641B1 (en) 1998-11-13 2003-12-16 Scansoft, Inc. Speech synthesis using concatenation of speech waveforms
US6421305B1 (en) 1998-11-13 2002-07-16 Sony Corporation Personal music device with a graphical display for contextual information
IL127073D0 (en) 1998-11-15 1999-09-22 Tiktech Software Ltd Software translation system and method
AU3789900A (en) 1998-11-17 2000-06-05 Alwin B. Carus Method and apparatus for improved part-of-speech tagging
US20030069873A1 (en) 1998-11-18 2003-04-10 Kevin L. Fox Multiple engine information retrieval and visualization system
US6122614A (en) 1998-11-20 2000-09-19 Custom Speech Usa, Inc. System and method for automating transcription services
US6298321B1 (en) 1998-11-23 2001-10-02 Microsoft Corporation Trie compression using substates and utilizing pointers to replace or merge identical, reordered states
US6246981B1 (en) 1998-11-25 2001-06-12 International Business Machines Corporation Natural language task-oriented dialog manager and method
US6260016B1 (en) 1998-11-25 2001-07-10 Matsushita Electric Industrial Co., Ltd. Speech synthesis employing prosody templates
US6144939A (en) 1998-11-25 2000-11-07 Matsushita Electric Industrial Co., Ltd. Formant-based speech synthesizer employing demi-syllable concatenation with independent cross fade in the filter parameter and source domains
US7082397B2 (en) 1998-12-01 2006-07-25 Nuance Communications, Inc. System for and method of creating and browsing a voice web
US6292772B1 (en) 1998-12-01 2001-09-18 Justsystem Corporation Method for identifying the language of individual words
US6260024B1 (en) 1998-12-02 2001-07-10 Gary Shkedy Method and apparatus for facilitating buyer-driven purchase orders on a commercial network system
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7679534B2 (en) 1998-12-04 2010-03-16 Tegic Communications, Inc. Contextual prediction of user words and user actions
US7712053B2 (en) 1998-12-04 2010-05-04 Tegic Communications, Inc. Explicit character filtering of ambiguous text entry
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US6317707B1 (en) 1998-12-07 2001-11-13 At&T Corp. Automatic clustering of tokens from a corpus for grammar acquisition
US20030187925A1 (en) 1998-12-08 2003-10-02 Inala Suman Kumar Software engine for enabling proxy chat-room interaction
US6177905B1 (en) 1998-12-08 2001-01-23 Avaya Technology Corp. Location-triggered reminder for mobile user devices
US6460015B1 (en) 1998-12-15 2002-10-01 International Business Machines Corporation Method, system and computer program product for automatic character transliteration in a text string object
US6308149B1 (en) 1998-12-16 2001-10-23 Xerox Corporation Grouping words with equivalent substrings by automatic clustering based on suffix relationships
JP2000181993A (ja) 1998-12-16 2000-06-30 Fujitsu Ltd 文字認識方法および装置
US6523172B1 (en) 1998-12-17 2003-02-18 Evolutionary Technologies International, Inc. Parser translator system and method
GB9827930D0 (en) 1998-12-19 1999-02-10 Symbian Ltd Keyboard system for a computing device with correction of key based input errors
CA2284304A1 (en) 1998-12-22 2000-06-22 Nortel Networks Corporation Communication systems and methods employing automatic language indentification
US6259436B1 (en) 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6191939B1 (en) 1998-12-23 2001-02-20 Gateway, Inc. Keyboard illumination via reflection of LCD light
US6606599B2 (en) 1998-12-23 2003-08-12 Interactive Speech Technologies, Llc Method for integrating computing processes with an interface controlled by voice actuated grammars
US6167369A (en) 1998-12-23 2000-12-26 Xerox Company Automatic language identification using both N-gram and word information
US6460029B1 (en) 1998-12-23 2002-10-01 Microsoft Corporation System for improving search text
FR2787902B1 (fr) 1998-12-23 2004-07-30 France Telecom Modele et procede d'implementation d'un agent rationnel dialoguant, serveur et systeme multi-agent pour la mise en oeuvre
US6757718B1 (en) 1999-01-05 2004-06-29 Sri International Mobile navigation of network-based electronic information using spoken input
US6851115B1 (en) 1999-01-05 2005-02-01 Sri International Software-based architecture for communication and cooperation among distributed electronic agents
US6742021B1 (en) 1999-01-05 2004-05-25 Sri International, Inc. Navigating network-based electronic information using spoken input with multimodal error feedback
US6513063B1 (en) 1999-01-05 2003-01-28 Sri International Accessing network-based electronic information through scripted online interfaces using spoken input
US6523061B1 (en) 1999-01-05 2003-02-18 Sri International, Inc. System, method, and article of manufacture for agent-based navigation in a speech-based data navigation system
US7036128B1 (en) 1999-01-05 2006-04-25 Sri International Offices Using a community of distributed electronic agents to support a highly mobile, ambient computing environment
US7152070B1 (en) 1999-01-08 2006-12-19 The Regents Of The University Of California System and method for integrating and accessing multiple data sources within a data warehouse architecture
JP2000206982A (ja) 1999-01-12 2000-07-28 Toshiba Corp 音声合成装置及び文音声変換プログラムを記録した機械読み取り可能な記録媒体
US6179432B1 (en) 1999-01-12 2001-01-30 Compaq Computer Corporation Lighting system for a keyboard
WO2000044173A1 (en) 1999-01-19 2000-07-27 Integra5 Communications, Inc. Method and apparatus for selecting and displaying multi-media messages
US6598054B2 (en) 1999-01-26 2003-07-22 Xerox Corporation System and method for clustering data objects in a collection
US6385586B1 (en) 1999-01-28 2002-05-07 International Business Machines Corporation Speech recognition text-based language conversion and text-to-speech in a client-server configuration to enable language translation devices
US6360227B1 (en) 1999-01-29 2002-03-19 International Business Machines Corporation System and method for generating taxonomies with applications to content-based recommendations
US6282507B1 (en) 1999-01-29 2001-08-28 Sony Corporation Method and apparatus for interactive source language expression recognition and alternative hypothesis presentation and selection
US6505183B1 (en) 1999-02-04 2003-01-07 Authoria, Inc. Human resource knowledge modeling and delivery system
WO2000046701A1 (en) 1999-02-08 2000-08-10 Huntsman Ici Chemicals Llc Method for retrieving semantically distant analogies
US6332175B1 (en) 1999-02-12 2001-12-18 Compaq Computer Corporation Low power system and method for playing compressed audio data
US6377530B1 (en) 1999-02-12 2002-04-23 Compaq Computer Corporation System and method for playing compressed audio data
US6983251B1 (en) 1999-02-15 2006-01-03 Sharp Kabushiki Kaisha Information selection apparatus selecting desired information from plurality of audio information by mainly using audio
US6961699B1 (en) 1999-02-19 2005-11-01 Custom Speech Usa, Inc. Automated transcription system and method using two speech converting instances and computer-assisted correction
US6606632B1 (en) 1999-02-19 2003-08-12 Sun Microsystems, Inc. Transforming transient contents of object-oriented database into persistent textual form according to grammar that includes keywords and syntax
GB2347239B (en) 1999-02-22 2003-09-24