KR101881985B1 - 컨텍스트에 기초한 음성 인식 문법 선택 - Google Patents
컨텍스트에 기초한 음성 인식 문법 선택 Download PDFInfo
- Publication number
- KR101881985B1 KR101881985B1 KR1020177018264A KR20177018264A KR101881985B1 KR 101881985 B1 KR101881985 B1 KR 101881985B1 KR 1020177018264 A KR1020177018264 A KR 1020177018264A KR 20177018264 A KR20177018264 A KR 20177018264A KR 101881985 B1 KR101881985 B1 KR 101881985B1
- Authority
- KR
- South Korea
- Prior art keywords
- grammar
- map
- user
- computing device
- geographic
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000015654 memory Effects 0.000 claims description 30
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013518 transcription Methods 0.000 claims 14
- 230000035897 transcription Effects 0.000 claims 14
- 230000001413 cellular effect Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 235000014510 cooky Nutrition 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Abstract
본 발명의 주제는, 특히 제 1 컴퓨팅 디바이스와 연관되는 비-음성적 사용자 행동으로부터 얻어지는 지리 정보를 수신하는 단계를 포함하는 방법으로 구체화될 수 있다. 이 비-음성적 사용자 행동은 지리 위치 내 사용자의 관심을 내포한다. 또한, 이 방법은 얻어진 지리 정보를 사용하여 지리 위치와 연관된 문법을 식별하는 단계와, 사용자로부터의 음성 입력을 음성 인식 처리하기 위한 식별된 문법을 선택하는데 이용하기 위한 문법 지시자를 출력하는 단계를 포함한다.
Description
본 명세서는 음성 인식에 관한 것이다.
다중 모드(multimodal) 애플리케이션은 입력의 다양한 타입, 또는 모드를 수용할 수 있다. 예를 들면, 다중 모드 애플리케이션은 타이프된 명령어 또는 마우스 클릭과 같은 사용자로부터 입력을 수용할 수 있고, 다른 한편으로는 다중 모드 애플리케이션은 음성 입력과 같은 다른 형태의 입력을 또한 수용할 수 있다. 음성 인식 시스템은 특정 어휘를 포함하는 문법(grammar)을 사용하여 음성 입력을 해석할 수 있다.
일부 다중 모드 애플리케이션은 한 애플리케이션의 다른 입력 필드들이 다른 문법들과 연관되는 양식-기입 모델(form-filling model)을 구현한다. 예를 들어, 다중 모드 애플리케이션은 성명들의 어휘를 포함하는 "성명" 문법을, 개인의 성명을 수용하는 "성명" 필드에 연관시킬 수 있다. 한 개인이 자신의 마우스로 "성명" 필드를 선택하면, 다중 모드 애플리케이션은 "성명" 필드에 연관된 "성명" 문법을 선택할 수 있다.
일반적으로, 본 명세서는 음성 인식에서 사용하기 위한 문법을 선택하는 방법을 설명하며, 이 문법은 하나 이상의 사용자 행동에 기초한 함축적 컨텍스트 정보(implicit context information)에 기초하여 선택된다.
제 1 전형적 양태에서는, 컴퓨터 구현 방법이 설명된다. 이 방법은 제 1 컴퓨팅 디바이스와 연관된 비-언어적 사용자 행동(non-verbal user action)으로부터 얻어지는 지리 정보(geographical information)를 수신한다. 비-언어적 사용자 행동은 지리 위치(geographic location)내에서 사용자의 관심을 내포한다. 또한, 이 방법은 얻어진 지리 정보를 사용하여 지리 위치와 연관되는 문법을 식별하는 단계와, 식별된 문법을 사용자로부터의 음성 입력을 음성 인식 처리하기 위하여 선택하는데 사용하기 위한 문법 지시자(grammar indicator)를 출력하는 단계를 포함한다.
제 2 전형적 양태에서는, 컴퓨팅 디바이스에 연관되는 사용자 행동에 기초한 컨텍스트 정보(context information)를 수신하는 단계 - 여기서, 상기 사용자 행동은 음성 인식 프로세서에 의해 입력 촉구되지 않음(unprompted) - 를 포함하는 컴퓨터 구현 방법이 설명된다. 이 방법은 컨텍스트 정보에 기초하여 지리 위치를 얻어내는 단계, 그 지리 위치에 연관된 문법을 식별하는 단계, 및 사용자로부터의 음성 입력을 처리하는데 사용할 문법을 선택하는데 사용하기 위한 문법 식별자(grammar identifier)를 출력하는 단계를 포함한다.
다른 전형적 양태에서는, 시스템이 설명된다. 이 시스템은 제 1 컴퓨팅 디바이스와 연관된 비-언어적 사용자 행동에 기초한 컨텍스트 정보를 수신하는 인터페이스를 포함한다. 비-언어적 사용자 행동은 지리면에서 사용자의 관심을 내포한다. 또한, 시스템은 수신된 컨텍스트 정보로부터 얻어진 지리 위치와 연관된 문법을 식별하는 수단과, 식별된 문법을 사용자로부터 수신된 음성 입력을 해석하기 위해 사용하도록 구성된 음성 인식 서버를 포함한다.
본 명세서에서 설명된 시스템들과 기술들은 하나 이상의 후술하는 이점을 제공할 수 있다. 첫째, 시스템은 광범위한 일반 문법(larger general grammar)을 사용하는 것 대신에 문법의 적절한 부분 집합(an appropriate subset of grammars)을 식별함으로써 음성 입력이 인식되는 속도를 증가시킬 수 있다. 부가적으로, 문법의 부분 집합을 선택함으로써, 그 부분 집합과 연관된 특정 컨텍스트 내에 주어진 음성 명령에 대한 음성 인식의 정확도를 향상시킬 수 있다. 또한, 이 시스템은 음성 인식 프로세스 내에서 사용자 상호 작용의 양을 감소시킬 수 있다. 이에 더하여, 부가적 문법 또는 새로운 문법들은 사용자에게 투명한 방식(예를 들어, 음성 인식 시스템에 의한 입력 촉구에 대한, 명시적인 사용자 응답에 기초하는 것 대신에 소프트웨어 애플리케이션과의 사용자 상호 작용에 기초함)으로 선택될 수 있다.
하나 이상의 실시형태는 첨부 도면과 아래의 상세한 설명에 상세히 기재된다. 다른 특징과 이점은 상세한 설명과 도면, 및 청구항으로부터 명백하게 된다.
본 명세서는 언어 인식(speech recognition)에서 사용할 문법을 선택하는 시스템과 기술들을 설명한다. 보다 구체적으로, 애플리케이션은 사용자가 애플리케이션을 실행하고 있는 디바이스와 상호 작용하는 정도에 기초하여 컨텍스트 정보를 생성할 수 있다. 디바이스는 컨텍스트 정보를 음성 인식 시스템으로 전송할 수 있다. 음성 인식 시스템은 그 컨텍스트 정보와 연관되는 특정 문법을 식별할 수 있고, 후속적으로 디바이스로부터 수신된 음성 입력(예를 들어, 디바이스 사용자로부터의 음성 명령)의 오디오 인식에서 그 식별된 문법을 사용할 수 있다.
도 1은 컴퓨터 구현 음성 인식에 사용되는 문법을 선택하는 예시적 시스템의 다이어그램이다.
도 2는 음성 인식을 위한 문법의 선택에 사용되는 예시적 오디오 처리 시스템과 예시적 클라이언트의 다이어그램이다.
도 3은 컨텍스트 정보에 기초하여 문법을 선택하는 예시적 방법의 플로우차트이다.
도 4는 오디오 처리 시스템과 상호 작용하는 클라이언트를 위한 사용자 인터페이스의 예시적 스크린샷을 도시한다.
도 5는 설명된 시스템과 방법을 구현하기 위해 사용될 수 있는 컴퓨팅 디바이스의 블록도이다.
여러 도면에서의 유사한 참조 번호는 유사한 구성요소를 지시한다.
도 2는 음성 인식을 위한 문법의 선택에 사용되는 예시적 오디오 처리 시스템과 예시적 클라이언트의 다이어그램이다.
도 3은 컨텍스트 정보에 기초하여 문법을 선택하는 예시적 방법의 플로우차트이다.
도 4는 오디오 처리 시스템과 상호 작용하는 클라이언트를 위한 사용자 인터페이스의 예시적 스크린샷을 도시한다.
도 5는 설명된 시스템과 방법을 구현하기 위해 사용될 수 있는 컴퓨팅 디바이스의 블록도이다.
여러 도면에서의 유사한 참조 번호는 유사한 구성요소를 지시한다.
일부 구현예에서, 컨텍스트 정보는 지리 정보를 포함한다. 사용자가 셀룰러 폰 상의 모바일 브라우저를 사용하여 지도를 보는 경우에는, 셀룰러 폰은 지도에 의해 디스플레이되는 지리 위치에 대한 정보를 음성 인식 시스템으로 전송할 수 있다. 이 음성 인식 시스템은 수신된 정보에 기초하여 지리 위치를 식별할 수 있고, 이 지리 위치에 연관된 단어들의 어휘(vocabulary of words), 구문(syntax) 등을 포함하는 문법을 선택할 수 있다. 이어서, 음성 인식 시스템은 셀룰러 폰으로부터 수신된 음성 입력을 그 선택된 문법을 사용하여 해석할 수 있다.
사용자는 자신과 연관(예를 들어, 사용자에게 할당된 쿠키와 같은 고유 식별자를 통함)된 디바이스가 음성 인식 시스템과 컨텍스트 정보를 공유하도록 허용하는 것을 선택할 수 있다. 사용자가 컨텍스트 정보 공유를 선택하지 않으면, 음성 인식 시스템은 기본 문법(default grammar)을 사용하거나, 또는 음성 인식 처리에서 사용할 특정 문법을 선택하는데 사용하기 위한 지리 또는 그 밖의 컨텍스트 정보에 대하여 사용자에게 명시적으로 입력 촉구할 수 있다.
도 1은 컴퓨터 구현 음성 인식에 사용되는 문법을 선택하는 예시적 시스템(100)의 다이어그램이다. 일부 구현예에서, 예시적 시스템(100)은 사용자 행동의 결과로서 생성되는 함축적 컨텍스트 정보에 기초하여 문법을 선택한다. 시스템(100)은 클라이언트 디바이스(102), 문법 선택 서버(104), 및 음성 인식 서버(106)를 포함한다.
도 1의 구현예에서, 클라이언트 디바이스(102)는 컨텍스트 정보를 문법 선택 서버(104)로 전송하고, 그 문법 선택 서버(14)는 컨텍스트 정보를 사용하여 문법을 선택한다. 문법 선택 서버는 선택된 문법에 대한 정보를 음성 인식 서버(106)로 전송하고, 음성 인식 서버(106)는 클라이언트 디바이스(102)로부터 수신된 오디오 입력을 해석하는데 그 선택된 문법을 사용한다.
예를 들면, 클라이언트 디바이스(102)는 모바일 브라우저(108)를 실행하고 있는 셀룰러 폰 일 수 있다. 사용자는 모바일 브라우저에 "ice huts"를 판매하는 상점을 식별하기 위한 탐색을 입력할 수 있다. 브라우저는 캐나다, 북 및 남 다코타, 및 미네소타에 있는 관련 상점을 보여주는 지도를 디스플레이할 수 있다. 사용자는, 우편 번호와 같은 위치 식별자(location identifier)를 미리 입력했을 수 있으며, 그 위치 식별자는 지도상에 나타낼 위치를 식별하기 위하여 브라우저에 의해 사용된다. 사용자는 이전 세션에서 위치 식별자를 입력할 수 있고, 브라우저는 입력된 식별자를 후속 세션에서 사용을 위하여 저장할 수 있다(예를 들어, 위치 식별자는 클라이언트 디바이스 상에 쿠키로서 저장될 수 있음).
다른 구현예에서, 셀룰러 폰은 모바일 브라우저(108) 대신에 전용 애플리케이션(108)을 실행할 수 있다. 예를 들어, 전용 애플리케이션(108)은 웹 페이지의 브라우징을 할 수 없지만, 온라인 지도 애플리케이션과 같은 특정 원격 애플리케이션과 인터페이스하도록 구성될 수 있다.
셀룰러 폰(102) 상에서 실행중인 모바일 브라우저 또는 다른 애플리케이션은, "1"로 라벨이 부여된 화살표로 지시되는 것처럼, 함축적 지리 정보(114)를 문법 선택 서버로 전송한다. 일부 구현예에서, 컨텍스트 정보는 모바일 브라우저(108)에 의해 디스플레이되는 지도에 기초하는 함축적 지리 정보(114)를 포함한다. 예를 들어, 함축적 지리 정보(114)는 디스플레이된 지도의 중심을 식별하는 좌표를 포함할 수 있다. 이 실시예에서, 지도의 중심은 미네소타의 중심부와 일치한다.
문법 선택 서버(104)는 수신된 컨텍스트 정보에 기초하여 문법을 선택(116)할 수 있다. 일부 구현예에서, 컨텍스트 정보가 지리 정보(114)를 포함하면, 문법 선택 서버는 지리 위치와 연관되는 문법(112)을 식별하는 데이터 저장소(110)를 액세스할 수 있다. 특정 문법은 특정 지리 위치와 연관될 수 있다.
각 문법(112)은 상응하는 지리 위치에 연관된 어휘에 상응하는 어휘를 포함할 수 있다. 예를 들어, 미네소타주의 미네아폴리스와 연관되는 문법은 미네아폴리스에 연관되어 위치되거나 발생하는 상점, 관심 지역(points of interest), 이벤트, 뉴스 등을 설명하는 단어 또는 구(phrase)를 포함할 수 있다.
도 1에서, 함축적 지리 정보(114)는 미네소타의 중심부에 배치된 위치에 대한 좌표를 포함한다. 문법 선택 서버는 미네소타의 중심부에 가장 근접한 위치에 고착되거나 중심이 있는 문법을 식별한다. 문법 선택 서버는 "2A"와 "2B"로 라벨이 부여된 화살표로 지시된 것처럼, 문법을 식별하는 정보(118)를 생성할 수 있다.
이어서, 일부 구현예에서, 문법 선택 서버(104)는 "3"으로 라벨이 부여된 화살표로 지시된 것처럼, 식별된 문법 정보(118)를 음성 인식 서버(106)에 전송한다.
사용자는 셀룰러 폰(102)에 말할 수 있고, 셀룰러 폰은, "4"로 라벨이 부여된 화살표로 지시된 것처럼, 음성 입력(120)을 음성 인식 서버(106)로 전송한다. 음성 인식 서버(106)는 문법 선택 서버(104)에 의해 식별된 문법을 사용하여 음성 입력(120)을 해석할 수 있다.
음성 인식 서버(106)는 음성 입력에 기초하여 하나 이상의 동작을 수행한다. 일부 구현예에서, 음성 인식 서버(106)는, "5"로 라벨이 부여된 화살표로 지시된 것처럼, 음성 입력에 기초한 응답을 셀룰러 폰(102)에 되돌려준다. 예를 들어, 셀룰러 폰(12)의 사용자는 "Pual Bunyan"에 대한 신규 탐색을 청취가능하게(audibly) 요청할 수 있다. 셀룰러 폰(102)은 음성 탐색 요청을 음성 인식 서버(106)로 전송할 수 있다. 모바일 브라우저(108) 상에서 현재 사용자가 보고 있는(또는 이미 본) 지도가 미네소타를 중심으로 하고 있기 때문에, 음성 인식 서버(106)는 미네소타의 중심에 근접한 위치에 고착되거나 중심이 있는 문법을 사용한다. 음성 인식 서버(106)는 음성 입력 "Pual Bunyan"에 상응하는 음향, 단어, 구를 탐색하기 위하여 이 문법을 사용한다. 일부 구현예에서, 미네소타 내 또는 근접 지역에 고착된 문법은 성명 "Pual Bunyan"을 해석하기 위해 사용되는 정보를 포함할 수 있는데, 이 용어가 세계의 다른 부분과 비교하여 미네소타에 연관된 정보에 더욱 빈번하게 연관되기 때문이다.
음성 인식 서버(106)는 셀룰러 폰(102)으로부터의 음성 입력에 상응하는 텍스트 "Pual Bunyan"을 전송할 수 있다. 셀룰러 폰(102)은 수신된 텍스트를 모바일 브라우저(108) 상에 디스플레이할 수 있다. 만약 사용자가 음성 인식 서버(106)에 의해 수행된 번역을 승인하면, 브라우저는 탐색 용어로서 텍스트 "Pual Bunyan"을 탐색 엔진에 제출함으로써 새로운 탐색을 개시한다. 다른 구현예에서, 음성 인식 서버(106)는 셀룰러 폰(102)의 사용자로부터의 승인없이 용어 "Pual Bunyan"을 사용하여 탐색을 개시할 수 있다. 음성 인식 서버(106)는 음성 입력으로부터 인식된 텍스트를 셀룰러 폰(102)에 미리 전송하지 않고, 탐색으로부터의 결과를 셀룰러 폰(102)에 전송할 수 있다.
도 1의 라벨이 부여된 화살표는 시스템(100)에서 발생하는 이벤트의 예시적 시퀀스를 나타낸다. 그러나, 이벤트의 발생은 도시된 시퀀스로 제한되지 않는다. 예를 들어, 시퀀스에서 하나 이상의 단계가 병렬적으로 발생할 수 있다.
도 2는 음성 인식을 위한 문법의 선택에 사용되는 예시적 클라이언트(200)와 예시적 오디오 처리 시스템(202)의 다이어그램이다. 클라이언트(200)와 오디오 처리 시스템(202)은, 일부 구현예에서 인터넷과 셀룰러 네트워크를 포함할 수 있는 네트워크(204)를 사용하여 통신할 수 있다. 클라이언트(200)는, 애플리케이션 환경(208)을 포함하는 셀룰러 폰 또는 그 밖의 다른 모바일 디바이스(206)를 포함할 수 있다. 애플리케이션 환경(208)은 인터넷 브라우저(210), 마이크로폰 인터페이스(212), 및 GPS 트랜스시버 인터페이스(214)를 포함할 수 있다. 오디오 처리 시스템(202)은 클라이언트(200)와 오디오 처리 시스템(202) 사이의 인터페이스로서 기능하는 다중 모드 서버(216), 문법 선택 서버(218), 및 음성 인식 서버(220)를 포함할 수 있다.
애플리케이션 환경(208) 내 애플리케이션은 지리 컨텍스트 정보(222)를 생성 또는 식별하고, 그 정보를 다중 모드 서버(216)에 전송할 수 있다. 예를 들어, GPS 트랜스시버 인터페이스(214)는 셀 폰(206)의 위치에 기초하여 GPS 트랜스시버로부터 GPS 좌표를 수신할 수 있다. GPS 트랜스시버 인터페이스(214)는 GPS 좌표 정보를 다중 모드 서버(216)에 전송할 수 있다.
일부 구현예에서, GPS 좌표 정보는 브라우저(210)에 의해 다중 모드 서버(216)에 제출되는 HTTP(Hypertext Transport Protocol) POST 명령에 포함되는 URI(Uniform Resource Identifier)의 일부로서 부가될 수 있다. 브라우저가 아닌 애플리케이션을 사용하는 다른 구현예에서는, 애플리케이션이 HTTP GET 명령을 생성할 수 있고, 이 명령어 내 URI는 GPS 좌표 정보(또는 다른 컨텍스트 정보)를 포함한다. 다른 구현예에서는, GPS 좌표 또는 다른 컨텍스트 정보가 URI 내에 부가되지 않지만, 그 대신에 HTTP 요청(예를 들어, GET 또는 POST)의 본문 내에 2진 정보로서 포함된다.
다른 실시예에서, 브라우저(210)는 브라우저(210)에 의해 디스플레이되는 아이템에 대한 지리 컨텍스트 정보를 전송할 수 있다. 예를 들어, 사용자가 버뮤다 섬의 여러가지 언급(mention)이 포함된 웹 페이지를 본다면, 브라우저(210)는 버뮤다 섬을 명시하는 지리 컨텍스트 정보를 전송할 수 있다.
다중 모드 서버(216)는 그 지리 컨텍스트 정보(222)를 수신하고, 그 정보를 문법 선택 서버(218)로 전달할 수 있다. 문법 선택 서버(218)는 역 지리코더(224; reverse geocoder)를 포함할 수 있고, 그 역 지리코더는 위치를 식별하기 위하여 지리 컨텍스트 정보(222)를 사용한다. 예를 들어, 지리 컨텍스트 정보(222)가 GPS 좌표를 포함하면, 역 지리코더(224)는 좌표와 지리 위치 간의 저장된 매핑을 사용하여 GPS 좌표에 상응하는 위치를 판단할 수 있다.
일부 구현예에서, 문법 선택 서버는 특정 문법들과 특정 지역들을 연관짓는 문법 인덱스(226)를 포함한다. 예를 들어, 문법 인덱스(226)는 "버뮤다 섬" 위치를 그 위치와 연관되는 어휘, 구문 등을 포함하는 머뮤다 문법과 연관짓는다.
문법 선택 서버(218)는 문법 인덱스(226)를 사용하는 문법을, 역 지리코더(224)에 의해 식별된 위치와 연관된 문법을 식별함으로써 선택한다. 문법 인덱스는 문법 ID를 사용하여 문법 각각을 식별할 수 있다.
문법 선택 서버(218)는 선택된 문법 ID(228)를 다중 모드 서버(216)에 전송하고, 이어 다중 모드 서버(216)는 문법 ID(228)를 음성 인식 시스템에 전송할 수 있다. 도 2에 도시되지 않은 다른 구현예에서, 역 지리코더(224)는 식별된 위치에 가장 근접한 위치와 연관된 문법을 식별하여 반환하고, 그 문법에 대한 선택된 문법 ID(228)를 다중 모드 서버(216)에 전송할 수 있다.
음성 인식 시스템은 후속 오디오 처리에 사용하기 위해 식별된 문법을 로드하는데 그 문법 ID를 사용할 수 있다. 예를 들어, 음성 인식 서버는 문법에 대한 요청(232)을 데이터 저장소(230)에 전송할 수 있으며, 그 요청(232)은 문법 ID(228)을 포함한다. 데이터 저장소는 문법 ID(228)에 의해 명시된 문법(228)을 반환할 수 있다.
음성 인식 서버는 후속해서 셀룰러 폰(206)으로부터 수신된 오디오를 해석하기 위하여 문법(234)을 사용할 수 있다. 예를 들어, 사용자는 탐색 용어를 말할 수 있고, 그 탐색 용어는 셀룰러 폰(206) 내에 있는 마이크로폰을 통해 수신된다. 마이크로폰 인터페이스(212)는 마이크로폰으로부터의 오디오(236)를 다중 모드 서버(216)에 전송할 수 있다.
다중 모드 서버(216)는 오디오(236)를 음성 인식 서버(220)에 전송하고, 음성 인식 서버(220)는 오디오(236)를 해석하기 위하여 오디오 디코더(238)를 사용할 수 있다. 예를 들어, 오디오 디코더(238)는 오디오(236)를 텍스트 표현(text representation)으로 처리하기 위하여 문법(234)을 로드할 수 있다. 음성 인식 서버(220)는, 예를 들어, 탐색 엔진(도시되지 않음)으로 탐색을 개시하기 위하여, 텍스트 표현을 사용할 수 있다. 다른 실시예에서, 해석된 오디오는 텍스트(240)로서 다중 모드 서버(216)에 전달될 수 있다. 다중 모드 서버(216)는 텍스트(240)를 셀룰러 폰(206)에 되돌려줄 수 있다. 셀룰러 폰(106)은 애플리케이션 환경(208) 내 브라우저(201) 또는 다른 애플리케이션을 사용하여 텍스트를 디스플레이할 수 있다.
일부 구현예에서, 클라이언트(200)는 새로운 사용자 상호 작용에 기초하여 새로운 지리 컨텍스트 정보를 제출한다. 예를 들어, 사용자가 위치를 변경하면, 셀룰러 폰(206) 내에 있는 GPS 트랜스시버는 새로운 GPS 좌표를 다중 모드 서버(216)로 전송할 수 있다. 다른 실시예에서, 사용자는 다른 위치와 연관된 지도를 볼 수 있다. 브라우저(210)는 새로운 지도 위치를 다중 모드 서버(216)로 전송할 수 있다. 오디오 처리 시스템은 새로운 지리 컨텍스트 정보에 기초하여 새로운 문법을 선택하고, 수신된 오디오를 그 새로운 문법에 기초하여 해석할 수 있다.
다중 모드 서버(216), 문법 선택 서버(218), 및 음성 인식 서버(22)가 분리된 디바이스로서 예시되지만, 이 서버들은 단일 디바이스로 조합되거나, 또는 단일 서버가 여러 개의 디바이스를 사용하여 구현될 수 있다.
도 3은 컨텍스트 정보에 기초하여 문법을 선택하는 예시적 방법(300)의 플로우차트이다. 시스템(200, 202)은 방법(300)의 예시적 구현예에서 사용된다. 그러나, 시스템(100)을 포함하는 다른 시스템들이 방법(300)을 구현할 수 있다.
단계(302)에서, 클라이언트(200)와 오디오 처리 시스템(202) 사이에 세션이 생성된다. 예를 들어, 셀룰러 폰(206)은 다중 모드 서버(216)와 통신 세션(예를 들어, HTTP 프로토콜에 기초함)을 설정할 수 있다. 이 세션은, 예를 들어 브라우저가 탐색 엔진을 위한 웹 인터페이스(예를 들어, 탐색 웹 페이지, 대화형 지도(interactive map), 사용자들이 사이트 상에서 운용되는 프로파일을 탐색할 수 있는 사회 네트워킹 사이트 등)를 액세스할 때 설정될 수 있다. 다른 구현예에서는, 셀룰러 폰(206) 상에서 특정 애플리케이션이 시작될 때 세션이 설정된다. 예를 들어, 셀룰러 폰(206) 상에서 전용 지도 프로그램이 시작될 때 세션이 개시될 수 있다.
선택적 단계(304)에서 사용자 ID가 수신된다. 예를 들어, 셀룰러 폰(206)은 셀룰러 폰의 메모리 내에 쿠키들을 저장하는 모바일 브라우저를 포함할 수 있다. 이 쿠키들은 셀룰러 폰의 사용자를 식별하는 식별자를 포함할 수 있다. 모바일 브라우저와, 오디오 처리 시스템(202) 또는 이 오디오 처리 시스템(202)이 액세스할 수 있는 다른 서버 간의 이전 상호 작용에 응답하여, 오디오 처리 시스템(202)은 사용자 ID를 브라우저에 이전에 전송했을 수 있다. 예를 들어, 사용자는 탐색 엔진을 위한 인터페이스를 포함하는 웹 페이지를 방문할 수 있다. 이 탐색 엔진은 고유한 식별자를 사용자에게 발행할 수 있다. 오디오 처리 시스템(202)은 탐색 엔진이 저장하고 있는 식별자 목록을 액세스할 수 있다.
단계(306)에서 컨텍스트 정보가 수신된다. 예를 들어, 다중 모드 서버(206)는 모바일 디바이스(206)의 현재 위치를 명시하는 GPS 좌표와 같은 지리 컨텍스트 정보를 수신한다.
일부 구현예에서, 다중 모드 서버(216)는 애플리케이션-특정 컨텍스트 정보(application-specific context information)와 같은 다른 컨텍스트 정보를 수신할 수 있다. 클라이언트(202)는 사용자에 의해 액세스된 애플리케이션을 명시하는 정보를 전송할 수 있다. 예를 들어, 정보는 사용자가 브라우저 애플리케이션과 상호 작용하고 있음을 명시할 수 있다. 이에 더하여, 이 정보는 과거 네비게이션 이력, 또는 애플리케이션의 사용자에 의해 이전에 수행된 다른 행동을 포함할 수 있다. 예를 들어, 컨텍스트 정보는 사용자가 우편 번호를 명시함으로써 지도를 요청하고, 그 지도상에서 줌 아웃(zoom out)하고, 그 지도의 서쪽으로 200 마일 정보를 네비게이트하고, 그 지도의 항공 사진을 요청하고, 그 지도상에 관심 지점의 디스플레이를 요청하는 것 등을 명시할 수 있다.
다른 구현예에서, 다중 모드 서버(216)는 데스크톱 컴퓨터일 수 있는 클라이언트(200) 상에서 실행중인 애플리케이션에 의해 디스플레이되는 아이템에 대한 컨텍스트 정보를 수신할 수 있다. 예를 들어, 사용자는 경제 뉴스 콘텐츠, 연예 뉴스 콘텐츠, 기술 콘텐츠 등과 같은 여러 타입의 콘텐츠를 포함하는 포탈 웹 페이지를 볼 수 있다. 사용자의 커서가 경제 뉴스 콘텐츠 상에 위를 머무르면, 컴퓨팅 디바이스는 커서 주변의 영역으로부터 정보를 추출(예를 들어, 커서를 중심으로 소정 반경 내에 있는 텍스트가 추출될 수 있음)할 수 있다. 추출된 정보의 일부 또는 전부는 다중 모드 서버에 전송되는 컨텍스트 정보 내에 포함될 수 있다.
단계(308)에서는, 수신된 컨텍스트 정보에 기초하여 문법이 선택된다. 예를 들어, 문법 선택 서버(218)는 사용자의 마우스가 웹 페이지 상에서 경제 정보를 설명하는 콘텐츠 상에 머무르고 있다는 것을 수신된 컨텍스트 정보가 가르키는 경우 경제 어휘를 포함하는 문법을 선택할 수 있다. 보다 자세하게, 문법 선택 서버(218) 내에 있는 분류 모듈(도시되지 않음)은 추출된 콘텐츠를 분류할 수 있다. 문법 선택 서버(218)는 추출된 콘텐츠의 분류로부터 얻은 하나 이상의 키워드와 문법 인텍스(226)에 의해 문법과 연관되는 키워드를 매칭할 수 있다.
다른 실시예에서, 문법 선택 서버(218)는 특정 지역에 연관되는 문법을 선택할 수 있으며, 그 특정 지역은 셀룰러 폰(206)의 현재 위치를 나타내는 GPS 좌표에 상응한다.
또 다른 실시예에서, 문법 선택 서버(218)는, 사용자가 특정 애플리케이션과 상호 작용하고 있음을 수신된 컨텍스트 정보가 것을 명시하면, 애플리케이션-특정 어휘(application-specific vocabulary)를 포함하는 문법을 선택할 수 있다. 예를 들어, 사용자가 달력 애플리케이션(예를 들어, 클라이언트(200)에 상주하거나, 또는 브라우저(210)를 통해 서비스되고 액세스됨)과 상호 작용하고 있으면, 문법 선택 서버(218)는 달력-특정 어휘와 달력-특정 문법 규칙을 포함하는 문법을 선택할 수 있다.
또한, 문법 선택 서버(218)는 수신된 사용자 ID를 사용하여 문법을 선택할 수 있다. 일부 구현예에서는, 사용자의 과거 웹 탐색 이력에 기초하여 문법이 구축될 수 있다. 예를 들어, 사용자가 고고학에 연관된 웹 탐색 쿼리를 과거에 자주 수행하였다면, 문법 구축기(도시되지 않음)는 그 사용자를 위해 고고학과 연관된 어휘, 구문 등을 포함하는 맞춤형 문법을 구축할 수 있다.
일부 구현예에서는, 하나 이상 유형의 컨텍스트 정보를 사용하여 둘 이상의 문법이 선택될 수 있다. 예를 들어, 사용자가 본 아이템으로부터 얻은 컨텍스트 정보는 2개 이상의 문법에 관련될 수 있다. 이 경우, 문법 선택 서버는 음성 인식에서 사용을 위하여 다중 문법을 선택할 수 있다.
단계(310)에서 오디오가 수신될 수 있다. 예를 들어, 디바이스(206)의 사용자는 디바이스(206)의 마이크로폰에 말할 수 있다. 마이크로폰 인터페이스(212)는 마이크로폰에 의해 획득된 발화(speech)를 음성 인식 서버(220)에 전송할 수 있다.
단계(312)에서 수신된 오디오는 이미 선택된 문법을 사용하여 해석될 수 있다. 예를 들면, 음성 인식 서버(220)는 문법 선택 서버(218)가 식별한 문법을 선택하기 위하여 문법들을 저장하는 데이터 구조를 액세스할 수 있다. 오디오 디코더(238)는 수신된 오디오를 해석하기 위하여, 선택된 문법을 사용할 수 있다.
단계(314)에서 세션의 시간 경과 여부가 판단된다. 예를 들어, 단계(302)에서 클라이언트(200)와 오디오 처리 시스템(220) 간에 설정된 세션에는 제한 시간이 있을 수 있다. 만약 제한 시간이 초과되면, 방법(300)은 종료할 수 있다. 다른 구현예에서는, 만약 세션 시간이 경과하면, 오디오 처리 시스템(202)는 클라이언트(200)에게 신규 세션을 설정하도록 촉구한다. 일부 구현예에서, 세션 시간을 제한함으로써, 특히 사용자가 오랜 기간 동안 아무런 동작을 하지 않음에도, 그 사용자가 오디오 처리 시스템을 독점하는 것을 방지할 수 있다.
단계(316)에서 컨텍스트의 변경 여부가 판단된다. 예를 들어, 사용자는 위치를 변경할 수 있다. 만약 사용자가 새로운 위치로 이동하면, GPS 트랜스시버는 새로운 위치를 반영하기 위한 응답으로 GPS 좌표를 업데이트할 수 있다. 단계(306)와 후속 단계들과 연관되어 앞서 설명된 것처럼, 이 새로운 컨텍스트 정보가 수신되어 처리될 수 있다. 다른 실시예에서, 사용자는 다른 애플리케이션을 액세스하거나, 또는 동일한 애플리케이션을 사용하여 다른 데이터를 볼 수도 있다. 애플리케이션 또는 애플리케이션 사용의 변경은, 새로운 컨텍스트 정보의 전송을 개시할 수 있다.
만약 컨텍스트 정보가 변경되지 않으면, 방법(300)은 단계(310)에서 시작하는 단계를 반복할 수 있다. 예를 들면, 오디오 처리 시스템(202)은 임의의 수신된 오디오를 해석하기 위해 이미 선택된 문법을 계속해서 사용할 수 있다.
도 4는 컨텍스트 정보에 기초하여 문법을 선택하는 오디오 처리 시스템과 상호 작용하는 클라이언트를 위한 사용자 인터페이스의 예시적 스크린샷을 나타낸다. 스크린샷(400)은 지도(402)를 포함한다. 사용자는 클라이언트용 브라우저를 실행시키고, 구글 지도(GOOGLE Maps) 또는 야후! 지도(YAHOO! Maps)와 같은 온라인 대화형 지도 서비스에 로그 온할 수 있다. 사용자는 우편 번호, 지역 코드, 도시와 주, 또는 그 밖의 지역 식별자를 입력함으로써, 위치를 지도 상에 지정할 수 있다. 예를 들면, 사용자는 우편 번호 95661을 입력할 수 있다. 이어, 지도 서비스는 브라우저상에 디스플레이를 위하여 캘리포니아 로즈벨리에 해당하는 지도를 전송할 수 있다.
브라우저(또는 브라우저에 의해 디스플레이되는 웹 페이지)는 탐색 옵션 윈도우(404)를 나타낼 수 있다. 사용자는 상점, 관심 지점, 위치 등에 대한 탐색을 개시하기 위하여 탐색 옵션 윈도우(404)와 상호 작용할 수 있다. 이 탐색 옵션 윈도우(404)는 옵션(406)으로 표시된 것처럼, "입력된(entered)" 탐색들을 허용할 수 있다. 예를 들어, 사용자는 키패드를 사용하여 옵션(406)을 선택할 수 있다. 대안적으로, 사용자는 선택 "새로운 탐색 입력"를 말할 수 있다. 이어서, 사용자는 키패드를 통해 탐색을 입력할 수 있다.
또한, 탐색 옵션 윈도우는 옵션(408)으로 표시된 것처럼, 발화 탐색(spoken searches)을 수용할 수 있다. 예를 들어, 사용자는 키패드를 사용하거나 또는 선택을 말함으로써 옵션(408)을 선택할 수 있다.
스크린샷(410)은 사용자가 새로운 탐색을 말하고자 한다는 것을 나타내는 옵션(408)을 선택한 후 디스플레이되는 예시적 인터페이스를 나타낸다. 이 실시예에서, 클라이언트는 사용자에게 업종이나 상호를 말할 것을 시각적으로 촉구한다. 다이어그램(412)은 탐색 용어 "Fry's"를 말하는 사용자를 예시한다.
다른 구현예에서, 클라이언트는 사용자에게 관심 지점, 지리 위치 등과 같은 다른 용어를 말할 것을 촉구한다.
또 다른 구현예에서, 사용자는 탐색을 말하도록 시각적으로 촉구받지 않지만, 자발적으로 탐색을 개시할 수 있다. 예를 들어, 브라우저는 기술 관련 뉴스를 디스플레이하는 웹 페이지를 디스플레이할 수 있다. 사용자는 "AJAX에 대해 탐색"이라고 말할 수 있다. 또 다른 구현예에서는, 클라이언트는 사용자에게 탐색 또는 다른 음성 입력을 말하거나 입력할 것을 청각적으로 촉구할 수 있다.
다른 구현예에서, 사용자는, 음성 탐색을 개시하고 싶다는 것을 표시하기 위하여, 셀룰러 폰 상에 있는 "호 응답(answer call)" 키와 같은 디바이스 상의 임의 키를 누를 수 있다. 사용자는 말할 때 키를 홀드할 수 있고, 미리 설정된 시간 동안 키를 홀딩함으로써 탐색을 개시할 수 있다. 후자의 구현예에서, 음성 탐색은 음성 신호가 검출되지 않은 상태로 미리 정해진 시간이 경과한 후에 종료할 수 있다.
앞서 설명한 스크린샷에는 나타나지 않았지만, 클라이언트는 자신이 디스플레이하는 지도(402)에 대한 지리 정보를 전송할 수 있다. 오디오 처리 시스템은 이 지리 정보에 연관되는 문법을 스크린샷(410) 내 디스플레이된 촉구에 응답하여 수신된 오디오를 해석하는데 사용하기 위해 선택할 수 있다.
스크린샷(416)은 발화 탐색 용어 "Fry's"에 기초하여 해석된 오디오를 보여준다. 사용자는 가능한 해석들 중 하나를, 키패드를 사용하거나 또는 예컨대, 각 해석과 연관된 번호를 말함으로써 선택할 수 있다. 스크린샷(418)은 Fry's 전자제품 스토어의 위치를 식별하는 푸시핀 아이콘(420)이 표시된 캘리포니아 로즈빌의 지도(402)를 보여준다.
도 5는 본 명세서에서 설명된 시스템과 방법을, 클라이언트 또는 단일 서버 또는 복수 서버 중 어느 하나로서 구현하기 위해 사용될 수 있는 컴퓨팅 디바이스(500, 550)의 블록도이다. 컴퓨팅 시스템(500)은 랩탑, 데스크탑, 워크스테이션, PDA(Personal Digital Assistant), 서버, 블레이드(blade) 서버, 메인프레임, 및 그 밖의 적절한 컴퓨터들과 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위해 사용된다. 컴퓨팅 디바이스(550)는 PDA, 셀룰라 전화, 스마트폰, 및 그 밖의 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내기 위해 사용된다. 부가적으로 컴퓨팅 디바이스(500 또는 550)는 USB(Universal Serial Bus) 플래시 드라이브를 포함할 수 있다. USB 플래시 드라이버는 운영 체계와 그 밖의 애플리케이션를 저장할 수 있다. USB 플래시 드라이브는 다른 컴퓨팅 디바이스의 USB 포트에 삽입할 수 있는 USB 커넥터 또는 무선 트랜스미터와 같은 입/출력 구성요소를 포함할 수 있다. 본 명세서에서 나타낸 구성요소, 그들의 접속 및 관계, 및 그들의 기능들은 단지 예시적인 것을 의미하고, 본 명세서에서 설명하거나 또는 청구된 발명의 구현예를 제한하는 것을 의미하지 않는다.
컴퓨팅 디바이스(500)는 프로세서(502), 메모리(504), 저장 디바이스(506), 메모리(504)와 고속 확장 포트(510)에 접속하는 고속 인터페이스(508), 및 저속 버스(514)와 저장 디바이스(506)에 접속하는 저속 인터페이스(512)를 포함한다. 각 구성요소(502, 504, 506, 508, 510, 및 512)는 다양한 버스들을 사용하여 서로 접속되고, 공통 마더보드에 탑재되거나 또는 적절한 경우 다른 방식으로 탑재될 수 있다. 프로세서(502)는 컴퓨팅 디바이스(500) 내에서 실행하기 위한 명령어를 처리할 수 있으며, 이러한 명령어에는, 고속 인터페이스(508)에 연결된 디스플레이(516)와 같은 외장 입/출력 디바이스상에서 GUI용 그래픽 정보를 디스플레이하기 위해, 메모리(504) 또는 저장 디바이스(506)에 저장되는 명령어가 포함된다. 다른 구현예에서, 다중 프로세서 및/또는 다중 버스는 적절한 경우, 다중 메모리 및 메모리 타입과 함께 사용될 수 있다. 또한, 다중 컴퓨팅 디바이스(500)는 각 디바이스가 필요 동작의 부분을 제공하는 형태(예를 들어, 서버 뱅크, 블레이드 서버의 그룹, 또는 다중 프로세서 시스템)로 접속될 수 있다.
메모리(504)는 컴퓨팅 디바이스(500) 내에 정보를 저장한다. 일 구현예에서, 메모리(504)는 휘발성 메모리 유닛 또는 유닛들이다. 또 다른 구현에서, 메모리(504)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(504)는 마그네틱 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독가능 매체일 수 있다.
저장 디바이스(506)는 컴퓨팅 디바이스(500)를 위한 대용량 저장소(mass storage)를 제공할 수 있다. 일 구현예에서, 저장 디바이스(506)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테입 디바이스, 플래쉬 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성에 존재하는 디바이스를 포함하는 디바이스 어레이일 수 있다. 또한, 컴퓨터 프로그램 제품은 실행될 때, 상술한 것과 같은 하나 이상의 방법을 수행하는 명령어를 포함할 수 있다.
저속 제어부(512)가 저대역-집약적 동작(lower bandwidth-intensive operations)을 관리하는 반면, 고속 제어부(508)는 컴퓨팅 디바이스(900)에 대한 대역-집약적 동작을 관리한다. 이러한 기능들의 배치는 단지 예시적인 것이다. 일 구현예에서, 고속 제어부(508)는 메모리(504), 디스플레이(516)(예를 들어, 그래픽 프로세서 또는 가속기를 통함)에 연결되고, 다양한 확장 카드(도시되지 않음)을 수용할 수 있는 고속 확장 포트(510)에 연결된다. 일부 구현예에서는, 저속 제어부(512)는 저장 디바이스(506) 및 저속 확장 포트(514)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입/출력 디바이스들에 연결되거나, 또는 예컨대 네트워크 어댑터를 통하여, 스위치나 라우터와 같은 네트워킹 디바이스에 연결될 수 있다.
컴퓨팅 디바이스(500)는 도면에 도시된 바와 같이, 복수의 다른 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(500)는 표준 서버(520)로 구현되거나 이러한 서버들의 그룹에서 여러 번(multiple time) 구현될 수 있다. 또한, 컴퓨팅 디바이스(500)는 랙 서버 시스템(524)의 부분으로서 구현될 수 있다. 이에 더하여, 컴퓨팅 디바이스(500)는 랩탑 컴퓨터(522)와 같은 개인용 컴퓨터내에 구현될 수 있다. 선택적으로, 컴퓨팅 디바이스(500)로부터의 구성요소는 디바이스(550)와 같은 모바일 디바이스(도시되지 않음) 내 다른 구성요소와 조합될 수 있다. 이러한 디바이스 각각은 하나 이상의 컴퓨팅 디바이스(500, 550)를 포함하고, 전체 시스템은 서로 통신하는 다중 컴퓨팅 디바이스(900, 950)로 구성될 수 있다.
컴퓨팅 디바이스(550)는 여러 구성요소 중에서 프로세서(552), 메모리(564), 디스플레이(554)와 같은 입/출력 디바이스, 통신 인터페이스(566), 및 트랜스시버(568) 등을 포함한다. 또한, 디바이스(550)에는 추가적인 저장소를 제공하기 위하여, 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 구성요소(550, 552, 564, 554, 566, 및 568) 각각은 다양한 버스를 이용하여 서로 접속되고, 구성요소의 몇몇은 공통의 마더보스에 탑재되거나 적절한 다른 방법으로 탑재될 수 있다.
프로세서(552)는 컴퓨팅 디바이스(550) 내에서 명령어를 실행하며, 이 명령어에는 메모리(564)에 저장된 명령어가 포함된다. 프로세서는 개별적이고 다중의 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩 세트로서 구현될 수 있다. 부가적으로, 프로세서는 복수의 아키텍처 중 임의의 아키텍처를 사용하여 구현될 수 있다. 예를 들어, 프로세서(552)는 CISC(Complex Instruction Set Computers) 프로세서, RISC(Reduced Instruction Set Computer) 프로세서, 또는 MISC(Minimal Instruction Set Computer) 프로세서일 수 있다. 프로세서는, 예를 들어, 사용자 인터페이스의 컨트롤, 디바이스(550)에 의해 실행되는 애플리케이션, 및 컴퓨팅 디바이스(550)에 의한 무선 통신과 같은 디바이스(550)의 다른 구성요소들 사이에 조정을 제공할 수 있다.
프로세서(552)는 제어 인터페이스(558) 및 디스플레이(554)에 연결된 디스플레이 인터페이스(556)를 통해 사용자와 통신할 수 있다. 디스플레이(554)는, 예를 들어, TFT LCD(Thin-Film-Tansistor Liquid Crystal Display) 디스플레이 또는 OLED(Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(556)는 그래픽 및 다른 정보를 사용자에게 나타내기 위해 디스플레이(554)를 구동하는 적절한 회로를 포함할 수 있다. 제어 인터페이스(558)는 사용자로부터 명령들을 수신하고, 프로세서(552)에 제출하기 위해 그 명령들을 변환한다. 더욱이, 확장 인터페이스(562)는 디바이스(550)와 다른 디바이스들 간에 근거리 통신이 가능하도록 하기 위해, 프로세서(552)와의 통신에 제공될 수 있다. 확장 인터페이스(562)는, 예를 들어, 일부 구현예에서는 유선 통신을 제공하고 다른 구현예에서 무선 통신을 제공하며, 또한 다중 인터페이스가 사용될 수 있다.
메모리(564)는 컴퓨팅 디바이스(550) 내에 정보를 저장한다. 메모리(564)는 컴퓨터 판독가능 매체 또는 미디어, 휘발성 메모리 유닛 또는 유닛들, 또는 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로서 구현될 수 있다. 또한, 확장 메모리(574)가 제공되어, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함하는 확장 인터페이스(574)를 통해 디바이스(550)에 접속될 수 있다. 이러한 확장 메모리(574)는 디바이스(550)를 위한 여분의 저장 공간을 제공할 수 있고, 또한 애플리케이션 또는 디바이스(550)를 위한 다른 정보를 저장할 수 있다. 특히, 확장 메모리(574)는 상술된 프로세스를 실행하거나 보조하기 위한 명령어를 포함하고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(574)는 디바이스(550)용 보안 모듈(security module)로서 제공될 수 있고, 디바이스(550)의 안전한 사용을 가능하게 하는 명령어로 프로그램될 수 있다. 더욱이, 보안 애플리케이션은, 해킹할 수 없는 방식(non-hackable manner)으로 SIMM 카드 상에 식별 정보를 위치시킨 것과 같은 추가적 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는 아래에서 논의되는 것과 같이 예를 들어, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 컴퓨터 프로그램 제품은 실행될 때, 상술된 것과 같은 하나 이상의 방법을 수행하는 명령어를 포함한다.
디바이스(550)는 디지털 신호 처리 회로를 필요에 따라 포함하는 통신 인터페이스(566)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(566)는 GSM 음성 호, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS 등과 같은 다양한 모드 또는 프로토콜 하에서의 통신을 제공할 수 있다. 이러한 통신은 예를 들어, 무선-주파수 트랜스시버(568)를 통해 수행될 수 있다. 또한, 단거리(short range) 통신은 예를 들어, 블루투스, WiFi, 또는 다른 이러한 트랜스시버(도시되지 않음)를 사용하여 수행될 수 있다. 이에 더하여, GPS(Global Position System) 수신기 모듈(570)은 추가적인 네비게이션- 및 위치- 관련 무선 데이터를 디바이스(550)에 제공할 수 있으며, 이 무선 데이터는 디바이스(550)에서 실행중인 애플리케이션에 의해 적절하게 사용될 수 있다.
또한, 디바이스(550)는 사용자로부터의 발화 정보(spoken information)를 수신하고, 그 발화 정보를 사용가능한 디지털 정보로 변환하는 오디오 코덱(560)을 이용하여, 청취가능하게(audibly) 통신할 수 있다. 또한, 오디오 코덱(560)은 예를 들어, 디바이스(550)의 핸드셋 내의 스피커를 통하는 것과 같이 해서, 사용자가 들을 수 있는 음성을 생성한다. 이러한 음성은 음성 전화 호로부터의 음성을 포함할 수 있고, 녹음된 음성(예를 들어, 음성 메시지, 음악 파일 등)은 포함할 수 있고, 또한 디바이스(550)상에서 동작하는 애플리케이션에 의해 생성된 음성을 포함할 수 있다.
컴퓨팅 디바이스(550)는 도면에 도시된 바와 같이, 복수의 다양한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(550)는 셀룰러 전화(580)로서 구현될 수 있다. 또한, 컴퓨팅 디바이스(550)는 스마트폰(582), PDA, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.
본 명세서에 기재된 시스템의 다양한 구현예와 기술은 디지털 전자 회로, 집적 회로, 특별하게 설계된 ASICs(Application Specific Intergrated Circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 그것의 조합물로 실현될 수 있다. 이러한 다양한 구현예는 하나 이상의 컴퓨터 프로그램으로 된 구현예를 포함하며, 이 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행가능하고 및/또는 해석가능하다. 또한, 전용 또는 범용 프로세서일 수 있는 이 프로그램 가능한 프로세서는 데이터와 명령어를 송수신하기 위해, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 수신 디바이스에 연결된다.
컴퓨터 프로그램(또한 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로 알려짐)은 프로그램 가능한 프로세서를 위한 기계 명령어를 포함하고, 고레벨 절차 및/또는 객체 지향 프로그램 언어(object-oriented programming language) 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 "기계 판독가능 매체(machine-readable medium)"와 "컴퓨터 판독가능 매체(computer-readable medium)"는 기계 명령어 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위해 이용되는 임의의 컴퓨터 프로그램 제품, 장치, 및/또는 디바이스(예를 들어, 마그네틱 디스크, 광학 디스크, 메모리, PLDs(Programmable Logic Devices))를 가리키며, 기계 판독가능 신호와 같은 기계 명령어를 수신하는 기계 판독가능 매체를 포함한다. 용어 "기계 판독가능 신호(machine-readable signal)"는 기계 명령어 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위해 사용되는 임의의 신호를 가리킨다.
사용자와의 상호 작용을 제공하기 위하여, 본 명세서에 기술된 시스템과 기술은, 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT(cathode ray tube) 또는 LCD 모니터)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 구비한 컴퓨터상에서 구현될 수 있다. 사용자와의 상호 작용을 제공하기 위하여 다른 종류의 디바이스가 또한 사용될 수 있다; 예를 들어, 사용자에게 제공되는 피드백(feedback)은 임의 형태의 감각 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향(acoustic), 음성(speech) 또는 촉각(tactile) 입력을 포함하는 임의의 형태로 수신될 수 있다.
본 명세서에서 설명한 시스템과 기술은, 백 엔드(back end) 구성요소(예를 들어, 데이터 서버와 같은), 또는 미들웨어 구성요소(예를 들어, 애플리케이션 서버), 또는 프론트 엔드(front end) 구성요소(예를 들어, 본 명세서에서 설명된 시스템 및 기술의 구현예와 사용자가 상호 작용할 수 있는 그래픽 사용자 인터페이스 또는 웹브라우저를 구비한 클라이언트 컴퓨터), 또는 이러한 백 엔드, 미들웨어, 또는 프론트 엔드 구성요소들의 임의 조합을 포함하는 컴퓨팅 시스템으로 구현될 수 있다. 시스템의 구성요소는 디지털 데이터 통신의 임의 형태 또는 매체(예를 들어, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예로서, 근거리 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷이 있다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 보통 서로 떨어져 있으며, 일반적으로는 통신 네트워크를 통하여 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터상에서 실행되고 상호 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의하여 발생한다.
여러 개의 구현예가 상세히 설명되었지만, 다른 변형도 가능하다. 예를 들어, 지리 위치를 선택하기 위해 사용된 지리 정보는 사용자가 보는 텍스트에 기초하여 얻어질 수 있다. 예를 들어, 사용자는 오클라호마 주를 설명하는 웹 사이트를 방문할 수 있다. 웹 브라우저(또는 다른 애플리케이션)은 사용자가 오클라호마에 관심을 갖는다는 것을 나타내는 지리 정보는 전송할 수 있다. 일부 구현예에서, 웹 브라우저(또는 다른 애플리케이션)은 오클라호마와 관련된 임계 개수의 단어가 발생하는 경우에만 지리 정보를 전송한다.
다른 구현예에서는, 지리 위치를 선택하기 위하여 사용된 지리 정보는 사용자에 의해 입력된 텍스트에 기초한다. 예를 들어, 사용자는 "산불" 과 "캘리포니아"와 같은 탐색 용어를 탐색 엔진 인터페이스에 입력할 수 있다. 또한, 문법 선택기는 캘리포니아 내 특정 위치를 식별하기 위하여 이 용어들을 상관시킬 수 있다. 예를 들어, 탐색 엔진 사용자의 집합된 그룹으로부터의 최근 탐색 결과는, 결과가 캘리포니아의 샌디에고에 대한 언급을 자주 포함하고 있음을 나타낼 수 있다. 문법 선택기는 샌디에고 부근에 고착된 문법을 최근 탐색 결과에 기초하여 식별할 수 있다.
부가적으로, 디바이스의 현재 위치를 결정하는 것은 셀룰러 폰이나 다른 휴대용 디바이스 내 GPS 성능을 참조하여 설명되었지만, 다른 위치 기반 검출 시스템이 사용될 수 있다. 예를 들어, 모바일 디바이스의 위치는 COO(Cell Of Origin) 모바일 측위 기술, 도착 시간 차이(TDOA; Time Difference Of Arrival) 신호 검출 기술, 도착 시간(TOA:Time OF Arrival) 기술, 도래각(AoA; Angle of Arrival) 측정 기술, 개량된 시간 차 측위(EOTD;enhanced observed time difference ) 기술 등을 통해 탐지될 수 있다.
다른 구현예에서, 문법 구축기는 사용자가 송수신하는 이메일에 기초하여 사용자를 위한 맞춤형 문법을 컴파일할 수 있다. 문법 선택 서버는 사용할 맞춤형 문법을 클라이언트로부터 수신된 사용자 ID에 기초하여 선택할 수 있다.
더욱이, 도면에서 묘사된 로직 흐름은 희망하는 결과를 달성하기 위해, 도시된 특정 순서 또는 시계열적 순서일 필요는 없다. 다른 단계들이 제공되거나, 그로부터 단계들이 제거될 수 있으며, 다른 구성요소들이 설명된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서 다른 구현예들은 후술하는 청구범위의 범위 내에 속한다.
104: 문법 선택 서버 106: 음성 인식 서버
108: 모바일 브라우저 208: 애플리케이션 환경
216: 다중 모드 서버 218: 문법 선택 서버
220: 음성 인식 서버
108: 모바일 브라우저 208: 애플리케이션 환경
216: 다중 모드 서버 218: 문법 선택 서버
220: 음성 인식 서버
Claims (20)
- 컴퓨터에 의해 구현되는 방법에 있어서,
컴퓨팅 디바이스 상에 디스플레이를 위해 지리적 영역의 지도를 제공하는 단계와;
상기 컴퓨팅 디바이스 상에 디스플레이된 상기 지리적 영역의 지도에 근거하여 음성 인식을 위한 문법(grammar)을 선택하는 단계와;
상기 컴퓨팅 디바이스가 상기 지리적 영역의 지도를 디스플레이하는 동안, 탐색을 개시하기 위해 발화에 대응하는 음성 데이터를 수신하는 단계와;
상기 컴퓨팅 디바이스 상에 디스플레이된 상기 지리적 영역의 지도에 근거하여 선택된 상기 문법을 사용하여 상기 발화에 대한 음성 인식을 수행함으로써 상기 발화의 전사를 생성하는 단계와; 그리고
상기 발화의 상기 전사와 관련된 위치를 식별하는 시각 표시자를 제공하기 위해 상기 지도를 업데이트하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 전사는 상기 지리적 영역의 지도로부터 도출되는 지리 정보(geographical information)를 더 근거로 생성되는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 전사는 디스플레이를 위해 이전에 제공된 콘텐츠로부터 도출된 지리 정보를 더 근거로 생성되는 것을 특징으로 하는 방법. - 삭제
- 제1항에 있어서,
상기 발화는 위치를 식별하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 전사는 사용자와 관련된 하나 이상의 컴퓨팅 디바이스에 의해 하나 이상의 탐색 서비스에 이전 제출된 하나 이상의 탐색 쿼리를 식별하는 탐색 이력을 더 근거로 생성되는 것을 특징으로 하는 방법. - 삭제
- 제1항에 있어서,
상기 문법은 지리적 위치를 더 근거로 선택되고, 상기 지리적 위치는 이전에 제출된 하나 이상의 탐색 쿼리와 관련된 탐색 결과에 기초하여 식별되는 것을 특징으로 하는 방법. - 시스템으로서,
데이터를 저장하기 위한 메모리와;
하드웨어 프로세서를 포함하며,
상기 하드웨어 프로세서는:
컴퓨팅 디바이스 상에 디스플레이를 위해 지리적 영역의 지도를 제공하는 동작과;
상기 컴퓨팅 디바이스 상에 디스플레이된 상기 지리적 영역의 지도에 근거하여 음성 인식을 위한 문법(grammar)을 선택하는 동작과;
상기 컴퓨팅 디바이스가 상기 지리적 영역의 지도를 디스플레이하는 동안, 탐색을 개시하기 위해 발화에 대응하는 음성 데이터를 수신하는 동작과;
상기 컴퓨팅 디바이스 상에 디스플레이된 상기 지리적 영역의 지도에 근거하여 선택된 상기 문법을 사용하여 상기 발화에 대한 음성 인식을 수행함으로써 상기 발화의 전사를 생성하는 동작과; 그리고
상기 발화의 상기 전사와 관련된 위치를 식별하는 시각 표시자를 제공하기 위해 상기 지도를 업데이트하는 동작을 수행하도록 동작가능한 것을 특징으로 하는 시스템. - 제9항에 있어서,
상기 전사는 상기 지리적 영역의 지도로부터 도출되는 지리 정보를 더 근거로 생성되는 것을 특징으로 하는 시스템. - 제9항에 있어서,
상기 전사는 디스플레이를 위해 이전에 제공된 콘텐츠로부터 도출된 지리 정보를 더 근거로 생성되는 것을 특징으로 하는 시스템. - 삭제
- 제9항에 있어서,
상기 발화는 위치를 식별하는 것을 특징으로 하는 시스템. - 제9항에 있어서,
상기 전사는 사용자와 관련된 하나 이상의 컴퓨팅 디바이스에 의해 하나 이상의 탐색 서비스에 이전 제출된 하나 이상의 탐색 쿼리를 식별하는 탐색 이력을 더 근거로 생성되는 것을 특징으로 하는 시스템. - 삭제
- 제9항에 있어서,
상기 문법은 지리적 위치를 더 근거로 선택되고, 상기 지리적 위치는 이전에 제출된 하나 이상의 탐색 쿼리와 관련된 탐색 결과에 기초하여 식별되는 것을 특징으로 하는 시스템. - 실행시 하나 이상의 프로세서에 의해 동작들을 수행하도록 하는 명령어들이 저장된 컴퓨터 판독가능 매체로서,
상기 동작들은:
컴퓨팅 디바이스 상에 디스플레이를 위해 지리적 영역의 지도를 제공하는 동작과;
상기 컴퓨팅 디바이스 상에 디스플레이된 상기 지리적 영역의 지도에 근거하여 음성 인식을 위한 문법(grammar)을 선택하는 동작과;
상기 컴퓨팅 디바이스가 상기 지리적 영역의 지도를 디스플레이하는 동안, 탐색을 개시하기 위해 발화에 대응하는 음성 데이터를 수신하는 동작과;
상기 컴퓨팅 디바이스 상에 디스플레이된 상기 지리적 영역의 지도에 근거하여 선택된 상기 문법을 사용하여 상기 발화에 대한 음성 인식을 수행함으로써 상기 발화의 전사를 생성하는 동작과; 그리고
상기 발화의 상기 전사와 관련된 위치를 식별하는 시각 표시자를 제공하기 위해 상기 지도를 업데이트하는 동작을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체. - 제17항에 있어서,
상기 전사는 상기 지리적 영역의 지도로부터 도출되는 지리 정보를 더 근거로 생성되는 것을 특징으로 하는 컴퓨터 판독가능 매체. - 제17항에 있어서,
상기 전사는 디스플레이를 위해 이전에 제공된 콘텐츠로부터 도출된 지리 정보를 더 근거로 생성되는 것을 특징으로 하는 컴퓨터 판독가능 매체. - 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/044,310 US8255224B2 (en) | 2008-03-07 | 2008-03-07 | Voice recognition grammar selection based on context |
US12/044,310 | 2008-03-07 | ||
PCT/US2009/036369 WO2009111721A2 (en) | 2008-03-07 | 2009-03-06 | Voice recognition grammar selection based on context |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157021616A Division KR101758302B1 (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187011064A Division KR20180043405A (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170081745A KR20170081745A (ko) | 2017-07-12 |
KR101881985B1 true KR101881985B1 (ko) | 2018-08-24 |
Family
ID=41054557
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107022439A KR101605147B1 (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
KR1020187011064A KR20180043405A (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
KR1020157021616A KR101758302B1 (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
KR1020177018264A KR101881985B1 (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107022439A KR101605147B1 (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
KR1020187011064A KR20180043405A (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
KR1020157021616A KR101758302B1 (ko) | 2008-03-07 | 2009-03-06 | 컨텍스트에 기초한 음성 인식 문법 선택 |
Country Status (6)
Country | Link |
---|---|
US (6) | US8255224B2 (ko) |
EP (1) | EP2260264A4 (ko) |
JP (1) | JP2011513795A (ko) |
KR (4) | KR101605147B1 (ko) |
CN (3) | CN102016502B (ko) |
WO (1) | WO2009111721A2 (ko) |
Families Citing this family (363)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US7398209B2 (en) | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7693720B2 (en) | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
US10032452B1 (en) | 2016-12-30 | 2018-07-24 | Google Llc | Multimodal transmission of packetized data |
US7640160B2 (en) | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7620549B2 (en) | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
US7949529B2 (en) | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8073681B2 (en) | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
US7818176B2 (en) | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
WO2008152765A1 (ja) * | 2007-06-11 | 2008-12-18 | Mitsubishi Electric Corporation | ナビゲーション装置 |
US10013536B2 (en) * | 2007-11-06 | 2018-07-03 | The Mathworks, Inc. | License activation and management |
US8140335B2 (en) | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US20090182562A1 (en) * | 2008-01-14 | 2009-07-16 | Garmin Ltd. | Dynamic user interface for automated speech recognition |
US8255224B2 (en) | 2008-03-07 | 2012-08-28 | Google Inc. | Voice recognition grammar selection based on context |
US8380512B2 (en) * | 2008-03-10 | 2013-02-19 | Yahoo! Inc. | Navigation using a search engine and phonetic voice recognition |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US9305548B2 (en) | 2008-05-27 | 2016-04-05 | Voicebox Technologies Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US8589161B2 (en) | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US20130218565A1 (en) * | 2008-07-28 | 2013-08-22 | Nuance Communications, Inc. | Enhanced Media Playback with Speech Recognition |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US9424339B2 (en) * | 2008-08-15 | 2016-08-23 | Athena A. Smyros | Systems and methods utilizing a search engine |
US8965881B2 (en) * | 2008-08-15 | 2015-02-24 | Athena A. Smyros | Systems and methods for searching an index |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
KR101545582B1 (ko) * | 2008-10-29 | 2015-08-19 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
US10346879B2 (en) * | 2008-11-18 | 2019-07-09 | Sizmek Technologies, Inc. | Method and system for identifying web documents for advertisements |
US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
EP2211336B1 (en) * | 2009-01-23 | 2014-10-08 | Harman Becker Automotive Systems GmbH | Improved speech input using navigation information |
US8346901B2 (en) | 2009-01-26 | 2013-01-01 | Apple Inc. | Selection of an appropriate online content source based on program information |
US8326637B2 (en) * | 2009-02-20 | 2012-12-04 | Voicebox Technologies, Inc. | System and method for processing multi-modal device interactions in a natural language voice services environment |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US8510117B2 (en) * | 2009-07-09 | 2013-08-13 | Nuance Communications, Inc. | Speech enabled media sharing in a multimodal application |
US9117448B2 (en) * | 2009-07-27 | 2015-08-25 | Cisco Technology, Inc. | Method and system for speech recognition using social networks |
US20110067059A1 (en) * | 2009-09-15 | 2011-03-17 | At&T Intellectual Property I, L.P. | Media control |
US10319376B2 (en) * | 2009-09-17 | 2019-06-11 | Avaya Inc. | Geo-spatial event processing |
US9171541B2 (en) * | 2009-11-10 | 2015-10-27 | Voicebox Technologies Corporation | System and method for hybrid processing in a natural language voice services environment |
US9502025B2 (en) * | 2009-11-10 | 2016-11-22 | Voicebox Technologies Corporation | System and method for providing a natural language content dedication service |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US8468012B2 (en) * | 2010-05-26 | 2013-06-18 | Google Inc. | Acoustic model adaptation using geographic information |
US8442827B2 (en) * | 2010-06-18 | 2013-05-14 | At&T Intellectual Property I, L.P. | System and method for customized voice response |
US8538760B2 (en) * | 2010-07-13 | 2013-09-17 | Qualcomm Incorporated | Methods and apparatuses for identifying audible samples for use in a speech recognition capability of a mobile device |
US8645136B2 (en) | 2010-07-20 | 2014-02-04 | Intellisist, Inc. | System and method for efficiently reducing transcription error using hybrid voice transcription |
US20120059658A1 (en) * | 2010-09-08 | 2012-03-08 | Nuance Communications, Inc. | Methods and apparatus for performing an internet search |
US8718622B2 (en) * | 2010-09-22 | 2014-05-06 | Avaya Inc. | Pervasive contact center |
US9015043B2 (en) * | 2010-10-01 | 2015-04-21 | Google Inc. | Choosing recognized text from a background environment |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
CN102074231A (zh) * | 2010-12-30 | 2011-05-25 | 万音达有限公司 | 语音识别方法和语音识别系统 |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
CN102270213A (zh) * | 2011-04-20 | 2011-12-07 | 深圳市凯立德科技股份有限公司 | 一种导航系统兴趣点的搜索方法、装置及位置服务终端 |
US8538742B2 (en) * | 2011-05-20 | 2013-09-17 | Google Inc. | Feed translation for a social network |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
KR20130016644A (ko) * | 2011-08-08 | 2013-02-18 | 삼성전자주식회사 | 음성인식장치, 음성인식서버, 음성인식시스템 및 음성인식방법 |
US8706499B2 (en) * | 2011-08-16 | 2014-04-22 | Facebook, Inc. | Periodic ambient waveform analysis for enhanced social functions |
US8707157B1 (en) * | 2011-08-19 | 2014-04-22 | Intuit Inc. | System and method for pre-populating forms using statistical analysis |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US10672280B1 (en) * | 2011-09-29 | 2020-06-02 | Rockwell Collins, Inc. | Bimodal user interface system, device, and method for streamlining a user's interface with an aircraft display unit |
US9299110B2 (en) * | 2011-10-19 | 2016-03-29 | Facebook, Inc. | Periodic ambient waveform analysis for dynamic device configuration |
US8886546B2 (en) * | 2011-12-19 | 2014-11-11 | Verizon Patent And Licensing Inc. | Voice application access |
CN103226548A (zh) * | 2012-01-30 | 2013-07-31 | 北京四维图新科技股份有限公司 | 一种互联网地图的搜索服务方法、装置和系统 |
US8909255B1 (en) * | 2012-02-21 | 2014-12-09 | Google Inc. | Reverse geocoder |
US10326648B2 (en) * | 2012-03-01 | 2019-06-18 | Mentor Graphics Corporation | Virtual use of electronic design automation tools |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
KR101951417B1 (ko) * | 2012-03-09 | 2019-02-22 | 엘지전자 주식회사 | 휴대 전자기기 및 이의 제어 방법 |
US10019991B2 (en) * | 2012-05-02 | 2018-07-10 | Electronics And Telecommunications Research Institute | Apparatus and method for speech recognition |
KR101700819B1 (ko) * | 2012-05-02 | 2017-02-01 | 한국전자통신연구원 | 음성 인식 장치 및 방법 |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US10776830B2 (en) | 2012-05-23 | 2020-09-15 | Google Llc | Methods and systems for identifying new computers and providing matching services |
US10152723B2 (en) | 2012-05-23 | 2018-12-11 | Google Llc | Methods and systems for identifying new computers and providing matching services |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9576572B2 (en) | 2012-06-18 | 2017-02-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and nodes for enabling and producing input to an application |
US9043205B2 (en) * | 2012-06-21 | 2015-05-26 | Google Inc. | Dynamic language model |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
CN103514875A (zh) * | 2012-06-29 | 2014-01-15 | 联想(北京)有限公司 | 语音数据的匹配方法和电子设备 |
WO2014008494A1 (en) | 2012-07-04 | 2014-01-09 | Kreft Carlos | Communication of position data via text message |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) * | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
CN103678404A (zh) * | 2012-09-21 | 2014-03-26 | 联想(北京)有限公司 | 一种关键词识别方法及电子设备 |
JP6068901B2 (ja) * | 2012-09-26 | 2017-01-25 | 京セラ株式会社 | 情報端末、音声操作プログラムおよび音声操作方法 |
US20140114646A1 (en) * | 2012-10-24 | 2014-04-24 | Sap Ag | Conversation analysis system for solution scoping and positioning |
US20140142948A1 (en) * | 2012-11-21 | 2014-05-22 | Somya Rathi | Systems and methods for in-vehicle context formation |
CN103903611B (zh) * | 2012-12-24 | 2018-07-03 | 联想(北京)有限公司 | 一种语音信息的识别方法和设备 |
US10650066B2 (en) | 2013-01-31 | 2020-05-12 | Google Llc | Enhancing sitelinks with creative content |
US10735552B2 (en) | 2013-01-31 | 2020-08-04 | Google Llc | Secondary transmissions of packetized data |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
CN105027197B (zh) | 2013-03-15 | 2018-12-14 | 苹果公司 | 训练至少部分语音命令系统 |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
US10515076B1 (en) * | 2013-04-12 | 2019-12-24 | Google Llc | Generating query answers from a user's history |
US10593326B2 (en) * | 2013-04-25 | 2020-03-17 | Sensory, Incorporated | System, method, and apparatus for location-based context driven speech recognition |
US9626963B2 (en) | 2013-04-30 | 2017-04-18 | Paypal, Inc. | System and method of improving speech recognition using context |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3008641A1 (en) | 2013-06-09 | 2016-04-20 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
AU2014278595B2 (en) | 2013-06-13 | 2017-04-06 | Apple Inc. | System and method for emergency calls initiated by voice command |
US9786296B2 (en) * | 2013-07-08 | 2017-10-10 | Qualcomm Incorporated | Method and apparatus for assigning keyword model to voice operated function |
US9305554B2 (en) * | 2013-07-17 | 2016-04-05 | Samsung Electronics Co., Ltd. | Multi-level speech recognition |
KR102228455B1 (ko) * | 2013-08-05 | 2021-03-16 | 삼성전자주식회사 | 대화의 소재를 제공하는 장치, 서버 및 방법 |
CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
US9477991B2 (en) | 2013-08-27 | 2016-10-25 | Snap Trends, Inc. | Methods and systems of aggregating information of geographic context regions of social networks based on geographical locations via a network |
WO2015030737A1 (en) * | 2013-08-27 | 2015-03-05 | Snap Trends, Inc. | Methods and systems of aggregating information based on geographical locations of social network communications via a network |
US9263038B2 (en) * | 2013-10-03 | 2016-02-16 | Marchex, Inc. | System and method for analyzing and classifying calls without transcription via keyword spotting |
US11138971B2 (en) | 2013-12-05 | 2021-10-05 | Lenovo (Singapore) Pte. Ltd. | Using context to interpret natural language speech recognition commands |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
TWI506458B (zh) | 2013-12-24 | 2015-11-01 | Ind Tech Res Inst | 辨識網路產生裝置及其方法 |
US10276154B2 (en) | 2014-04-23 | 2019-04-30 | Lenovo (Singapore) Pte. Ltd. | Processing natural language user inputs using context data |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9786276B2 (en) * | 2014-08-25 | 2017-10-10 | Honeywell International Inc. | Speech enabled management system |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
EP3195145A4 (en) | 2014-09-16 | 2018-01-24 | VoiceBox Technologies Corporation | Voice commerce |
WO2016044321A1 (en) | 2014-09-16 | 2016-03-24 | Min Tang | Integration of domain information into state transitions of a finite state transducer for natural language processing |
US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
WO2016061309A1 (en) | 2014-10-15 | 2016-04-21 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
DE102015211101A1 (de) * | 2015-06-17 | 2016-12-22 | Volkswagen Aktiengesellschaft | Spracherkennungssystem sowie Verfahren zum Betreiben eines Spracherkennungssystems mit einer mobilen Einheit und einem externen Server |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
EP3414759B1 (en) * | 2016-02-10 | 2020-07-01 | Cerence Operating Company | Techniques for spatially selective wake-up word recognition and related systems and methods |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US10142754B2 (en) | 2016-02-22 | 2018-11-27 | Sonos, Inc. | Sensor on moving component of transducer |
US9772817B2 (en) | 2016-02-22 | 2017-09-26 | Sonos, Inc. | Room-corrected voice detection |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
CN106168895A (zh) * | 2016-07-07 | 2016-11-30 | 北京行云时空科技有限公司 | 用于智能终端的语音控制方法及智能终端 |
US10026398B2 (en) * | 2016-07-08 | 2018-07-17 | Google Llc | Follow-up voice query prediction |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
WO2018023106A1 (en) | 2016-07-29 | 2018-02-01 | Erik SWART | System and method of disambiguating natural language processing requests |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US9693164B1 (en) | 2016-08-05 | 2017-06-27 | Sonos, Inc. | Determining direction of networked microphone device relative to audio playback device |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US9794720B1 (en) | 2016-09-22 | 2017-10-17 | Sonos, Inc. | Acoustic position measurement |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US10540451B2 (en) * | 2016-09-28 | 2020-01-21 | International Business Machines Corporation | Assisted language learning |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10296586B2 (en) * | 2016-12-23 | 2019-05-21 | Soundhound, Inc. | Predicting human behavior by machine learning of natural language interpretations |
US10708313B2 (en) | 2016-12-30 | 2020-07-07 | Google Llc | Multimodal transmission of packetized data |
GB2563967A (en) * | 2016-12-30 | 2019-01-02 | Google Llc | Multimodal transmission of packetized data |
US10593329B2 (en) | 2016-12-30 | 2020-03-17 | Google Llc | Multimodal transmission of packetized data |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
KR101964514B1 (ko) * | 2017-03-23 | 2019-04-01 | 이동민 | 사용자 상태를 고려한 중의적 표현 분석 장치 및 방법 |
US11183181B2 (en) | 2017-03-27 | 2021-11-23 | Sonos, Inc. | Systems and methods of multiple voice services |
US10810278B2 (en) * | 2017-04-18 | 2020-10-20 | Google Llc | Contextual deep bookmarking |
US20180315414A1 (en) * | 2017-04-26 | 2018-11-01 | International Business Machines Corporation | Adaptive digital assistant and spoken genome |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US20190019516A1 (en) * | 2017-07-14 | 2019-01-17 | Ford Global Technologies, Llc | Speech recognition user macros for improving vehicle grammars |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10558426B2 (en) * | 2017-12-08 | 2020-02-11 | Google Llc | Graphical user interface rendering management by voice-driven computing infrastructure |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
KR102592907B1 (ko) | 2018-06-22 | 2023-10-23 | 삼성전자주식회사 | 텍스트 입력 디바이스 및 그 방법 |
JP7176011B2 (ja) * | 2018-06-26 | 2022-11-21 | グーグル エルエルシー | デジタルアシスタントアプリケーションとナビゲーションアプリケーションとの間のインターフェーシング |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
JP7034027B2 (ja) * | 2018-07-26 | 2022-03-11 | ヤフー株式会社 | 認識装置、認識方法及び認識プログラム |
CN109189365A (zh) * | 2018-08-17 | 2019-01-11 | 平安普惠企业管理有限公司 | 一种语音识别方法、存储介质和终端设备 |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US10878811B2 (en) | 2018-09-14 | 2020-12-29 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US10789955B2 (en) * | 2018-11-16 | 2020-09-29 | Google Llc | Contextual denormalization for automatic speech recognition |
CN113168829A (zh) * | 2018-12-03 | 2021-07-23 | 谷歌有限责任公司 | 语音输入处理 |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
CN109783681B (zh) * | 2019-01-18 | 2021-03-09 | 中国农业科学院农业信息研究所 | 一种农产品价格信息采集及处理装置和方法 |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
US12020696B2 (en) | 2019-10-21 | 2024-06-25 | Soundhound Ai Ip, Llc | Automatic synchronization for an offline virtual assistant |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
JP7029434B2 (ja) * | 2019-10-23 | 2022-03-03 | サウンドハウンド,インコーポレイテッド | コンピュータによって実行される方法、サーバ装置、情報処理システム、プログラム、およびクライアント端末 |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
US11810578B2 (en) | 2020-05-11 | 2023-11-07 | Apple Inc. | Device arbitration for digital assistant-based intercom systems |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US20220130377A1 (en) * | 2020-10-27 | 2022-04-28 | Samsung Electronics Co., Ltd. | Electronic device and method for performing voice recognition thereof |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
CN113113024A (zh) * | 2021-04-29 | 2021-07-13 | 科大讯飞股份有限公司 | 语音识别方法、装置、电子设备和存储介质 |
CN113299287A (zh) * | 2021-05-24 | 2021-08-24 | 山东新一代信息产业技术研究院有限公司 | 基于多模态的服务机器人交互方法、系统及存储介质 |
US11688390B2 (en) | 2021-05-27 | 2023-06-27 | Honeywell International Inc. | Dynamic speech recognition methods and systems with user-configurable performance |
KR20230039423A (ko) * | 2021-09-14 | 2023-03-21 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 동작 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002318132A (ja) * | 2001-04-23 | 2002-10-31 | Hitachi Ltd | 音声対話型ナビゲーションシステムおよび移動端末装置および音声対話サーバ |
JP2006171305A (ja) * | 2004-12-15 | 2006-06-29 | Nissan Motor Co Ltd | ナビゲーション装置およびナビゲーション装置における音声認識による情報の検索方法 |
Family Cites Families (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5524169A (en) * | 1993-12-30 | 1996-06-04 | International Business Machines Incorporated | Method and system for location-specific speech recognition |
US5905773A (en) * | 1996-03-28 | 1999-05-18 | Northern Telecom Limited | Apparatus and method for reducing speech recognition vocabulary perplexity and dynamically selecting acoustic models |
US6202023B1 (en) | 1996-08-22 | 2001-03-13 | Go2 Systems, Inc. | Internet based geographic location referencing system and method |
US5819220A (en) * | 1996-09-30 | 1998-10-06 | Hewlett-Packard Company | Web triggered word set boosting for speech interfaces to the world wide web |
JPH10141974A (ja) * | 1996-11-12 | 1998-05-29 | Sony Corp | カーナビゲーション装置およびその操作方法 |
JPH10143191A (ja) * | 1996-11-13 | 1998-05-29 | Hitachi Ltd | 音声認識システム |
US6078886A (en) * | 1997-04-14 | 2000-06-20 | At&T Corporation | System and method for providing remote automatic speech recognition services via a packet network |
US6184823B1 (en) * | 1998-05-01 | 2001-02-06 | Navigation Technologies Corp. | Geographic database architecture for representation of named intersections and complex intersections and methods for formation thereof and use in a navigation application program |
US7031925B1 (en) * | 1998-06-15 | 2006-04-18 | At&T Corp. | Method and apparatus for creating customer specific dynamic grammars |
US6745165B2 (en) * | 1999-06-16 | 2004-06-01 | International Business Machines Corporation | Method and apparatus for recognizing from here to here voice command structures in a finite grammar speech recognition system |
MXPA02004015A (es) | 1999-10-22 | 2003-09-25 | Activesky Inc | Un sistema de video orientado a los objetos. |
WO2001065541A1 (fr) * | 2000-02-28 | 2001-09-07 | Sony Corporation | Dispositif de reconnaissance de la parole, procede de reconnaissance de la parole et support d'enregistrement |
WO2001084535A2 (en) * | 2000-05-02 | 2001-11-08 | Dragon Systems, Inc. | Error correction in speech recognition |
AU2001259979B2 (en) * | 2000-05-16 | 2007-03-01 | John Taschereau | Method and system for providing geographically targeted information and advertising |
US6487495B1 (en) * | 2000-06-02 | 2002-11-26 | Navigation Technologies Corporation | Navigation applications using related location-referenced keywords |
US7376640B1 (en) * | 2000-11-14 | 2008-05-20 | At&T Delaware Intellectual Property, Inc. | Method and system for searching an information retrieval system according to user-specified location information |
US6937986B2 (en) * | 2000-12-28 | 2005-08-30 | Comverse, Inc. | Automatic dynamic speech recognition vocabulary based on external sources of information |
US20020111810A1 (en) * | 2001-02-15 | 2002-08-15 | Khan M. Salahuddin | Spatially built word list for automatic speech recognition program and method for formation thereof |
US20030023440A1 (en) * | 2001-03-09 | 2003-01-30 | Chu Wesley A. | System, Method and computer program product for presenting large lists over a voice user interface utilizing dynamic segmentation and drill down selection |
US7437295B2 (en) * | 2001-04-27 | 2008-10-14 | Accenture Llp | Natural language processing for a location-based services system |
JP2003032388A (ja) * | 2001-07-12 | 2003-01-31 | Denso Corp | 通信端末装置及び処理システム |
JP2003032399A (ja) * | 2001-07-12 | 2003-01-31 | Fuji Xerox Co Ltd | 画像処理装置および給電方法 |
US6757544B2 (en) * | 2001-08-15 | 2004-06-29 | Motorola, Inc. | System and method for determining a location relevant to a communication device and/or its associated user |
US20030093419A1 (en) * | 2001-08-17 | 2003-05-15 | Srinivas Bangalore | System and method for querying information using a flexible multi-modal interface |
US6813342B1 (en) | 2001-10-17 | 2004-11-02 | Bevocal, Inc. | Implicit area code determination during voice activated dialing |
US20030125869A1 (en) * | 2002-01-02 | 2003-07-03 | International Business Machines Corporation | Method and apparatus for creating a geographically limited vocabulary for a speech recognition system |
US20030171926A1 (en) * | 2002-03-07 | 2003-09-11 | Narasimha Suresh | System for information storage, retrieval and voice based content search and methods thereof |
US6999930B1 (en) * | 2002-03-27 | 2006-02-14 | Extended Systems, Inc. | Voice dialog server method and system |
US20030191639A1 (en) * | 2002-04-05 | 2003-10-09 | Sam Mazza | Dynamic and adaptive selection of vocabulary and acoustic models based on a call context for speech recognition |
US7328155B2 (en) * | 2002-09-25 | 2008-02-05 | Toyota Infotechnology Center Co., Ltd. | Method and system for speech recognition using grammar weighted based upon location information |
US20050055216A1 (en) * | 2003-09-04 | 2005-03-10 | Sbc Knowledge Ventures, L.P. | System and method for the automated collection of data for grammar creation |
US7752210B2 (en) * | 2003-11-13 | 2010-07-06 | Yahoo! Inc. | Method of determining geographical location from IP address information |
US7584422B2 (en) * | 2004-07-12 | 2009-09-01 | Informatica Corporation | System and method for data format transformation |
US7373248B2 (en) * | 2004-09-10 | 2008-05-13 | Atx Group, Inc. | Systems and methods for off-board voice-automated vehicle navigation |
US20060074660A1 (en) * | 2004-09-29 | 2006-04-06 | France Telecom | Method and apparatus for enhancing speech recognition accuracy by using geographic data to filter a set of words |
US7630900B1 (en) * | 2004-12-01 | 2009-12-08 | Tellme Networks, Inc. | Method and system for selecting grammars based on geographic information associated with a caller |
US20060129533A1 (en) * | 2004-12-15 | 2006-06-15 | Xerox Corporation | Personalized web search method |
CN100358006C (zh) * | 2005-04-18 | 2007-12-26 | 南京师范大学 | 地理信息的语音识别方法及其在导航系统中的应用 |
US7672931B2 (en) | 2005-06-30 | 2010-03-02 | Microsoft Corporation | Searching for content using voice search queries |
US20070112739A1 (en) * | 2005-07-19 | 2007-05-17 | 4Info, Inc. | Intelligent mobile search client |
JP2007052397A (ja) * | 2005-07-21 | 2007-03-01 | Denso Corp | 操作装置 |
US7640160B2 (en) * | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7949529B2 (en) * | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US7577665B2 (en) | 2005-09-14 | 2009-08-18 | Jumptap, Inc. | User characteristic influenced search results |
US7860871B2 (en) | 2005-09-14 | 2010-12-28 | Jumptap, Inc. | User history influenced search results |
JP4505821B2 (ja) * | 2005-11-21 | 2010-07-21 | 株式会社デンソー | 車載ナビゲーション装置および検索範囲絞込み施設検索方法 |
EP2109097B1 (en) * | 2005-11-25 | 2014-03-19 | Swisscom AG | A method for personalization of a service |
US7616964B2 (en) * | 2005-12-13 | 2009-11-10 | Yahoo! Inc. | System and method for providing geo-relevant information based on a mobile device |
KR100725792B1 (ko) * | 2006-02-01 | 2007-06-08 | 엔에이치엔(주) | 개인 웹페이지에서의 지리 정보 제공 방법 및 시스템 |
US7778837B2 (en) * | 2006-05-01 | 2010-08-17 | Microsoft Corporation | Demographic based classification for local word wheeling/web search |
US20070276651A1 (en) * | 2006-05-23 | 2007-11-29 | Motorola, Inc. | Grammar adaptation through cooperative client and server based speech recognition |
US7606715B1 (en) * | 2006-05-25 | 2009-10-20 | Rockwell Collins, Inc. | Avionics system for providing commands based on aircraft state |
US20070280445A1 (en) * | 2006-06-05 | 2007-12-06 | Roy Shkedi | Method for Interacting Via an Internet Accessible Address-Book Using a Visual Interface Phone Device |
US7937402B2 (en) * | 2006-07-10 | 2011-05-03 | Nec (China) Co., Ltd. | Natural language based location query system, keyword based location query system and a natural language and keyword based location query system |
US20080086368A1 (en) * | 2006-10-05 | 2008-04-10 | Google Inc. | Location Based, Content Targeted Online Advertising |
US7890326B2 (en) * | 2006-10-13 | 2011-02-15 | Google Inc. | Business listing search |
US20080312934A1 (en) * | 2007-03-07 | 2008-12-18 | Cerra Joseph P | Using results of unstructured language model based speech recognition to perform an action on a mobile communications facility |
US20080222119A1 (en) * | 2007-03-08 | 2008-09-11 | Microsoft Corporation | Detecting a user's location, local intent and travel intent from search queries |
US8219406B2 (en) * | 2007-03-15 | 2012-07-10 | Microsoft Corporation | Speech-centric multimodal user interface design in mobile technology |
US7788252B2 (en) * | 2007-03-28 | 2010-08-31 | Yahoo, Inc. | System for determining local intent in a search query |
US7774348B2 (en) * | 2007-03-28 | 2010-08-10 | Yahoo, Inc. | System for providing geographically relevant content to a search query with local intent |
US20080312969A1 (en) | 2007-04-20 | 2008-12-18 | Richard Raines | System and method for insurance underwriting and rating |
US7949936B2 (en) * | 2007-04-27 | 2011-05-24 | International Business Machines Corporation | Selecting advertising for a web page |
US9360337B2 (en) * | 2007-06-20 | 2016-06-07 | Golba Llc | Navigation system and methods for route navigation |
US8060367B2 (en) * | 2007-06-26 | 2011-11-15 | Targus Information Corporation | Spatially indexed grammar and methods of use |
US7983913B2 (en) * | 2007-07-31 | 2011-07-19 | Microsoft Corporation | Understanding spoken location information based on intersections |
US8140335B2 (en) * | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US8255224B2 (en) | 2008-03-07 | 2012-08-28 | Google Inc. | Voice recognition grammar selection based on context |
US8255217B2 (en) * | 2009-10-16 | 2012-08-28 | At&T Intellectual Property I, Lp | Systems and methods for creating and using geo-centric language models |
US8473433B2 (en) | 2010-11-04 | 2013-06-25 | At&T Intellectual Property I, L.P. | Systems and methods to facilitate local searches via location disambiguation |
-
2008
- 2008-03-07 US US12/044,310 patent/US8255224B2/en active Active
-
2009
- 2009-03-06 KR KR1020107022439A patent/KR101605147B1/ko active IP Right Grant
- 2009-03-06 JP JP2010549918A patent/JP2011513795A/ja active Pending
- 2009-03-06 EP EP09716241.6A patent/EP2260264A4/en not_active Withdrawn
- 2009-03-06 CN CN200980115721.4A patent/CN102016502B/zh active Active
- 2009-03-06 KR KR1020187011064A patent/KR20180043405A/ko not_active Application Discontinuation
- 2009-03-06 KR KR1020157021616A patent/KR101758302B1/ko active IP Right Grant
- 2009-03-06 KR KR1020177018264A patent/KR101881985B1/ko active IP Right Grant
- 2009-03-06 CN CN201710202874.9A patent/CN107331389B/zh not_active Expired - Fee Related
- 2009-03-06 CN CN202110625294.7A patent/CN113506567A/zh active Pending
- 2009-03-06 WO PCT/US2009/036369 patent/WO2009111721A2/en active Application Filing
-
2012
- 2012-08-23 US US13/593,140 patent/US8527279B2/en active Active
-
2013
- 2013-08-02 US US13/958,049 patent/US9858921B2/en active Active
-
2016
- 2016-12-14 US US15/378,504 patent/US10510338B2/en active Active
-
2019
- 2019-08-13 US US16/539,054 patent/US11538459B2/en active Active
-
2022
- 2022-12-13 US US18/065,588 patent/US20230112412A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002318132A (ja) * | 2001-04-23 | 2002-10-31 | Hitachi Ltd | 音声対話型ナビゲーションシステムおよび移動端末装置および音声対話サーバ |
JP2006171305A (ja) * | 2004-12-15 | 2006-06-29 | Nissan Motor Co Ltd | ナビゲーション装置およびナビゲーション装置における音声認識による情報の検索方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20150097816A (ko) | 2015-08-26 |
CN102016502A (zh) | 2011-04-13 |
US8255224B2 (en) | 2012-08-28 |
US20140195234A1 (en) | 2014-07-10 |
US20090228281A1 (en) | 2009-09-10 |
EP2260264A4 (en) | 2015-05-06 |
CN107331389B (zh) | 2021-06-18 |
KR20180043405A (ko) | 2018-04-27 |
US20200043472A1 (en) | 2020-02-06 |
KR20100126796A (ko) | 2010-12-02 |
CN107331389A (zh) | 2017-11-07 |
US8527279B2 (en) | 2013-09-03 |
US20230112412A1 (en) | 2023-04-13 |
WO2009111721A3 (en) | 2010-01-14 |
US20170092267A1 (en) | 2017-03-30 |
JP2011513795A (ja) | 2011-04-28 |
US10510338B2 (en) | 2019-12-17 |
KR101758302B1 (ko) | 2017-07-14 |
WO2009111721A2 (en) | 2009-09-11 |
KR101605147B1 (ko) | 2016-04-01 |
CN102016502B (zh) | 2017-06-09 |
US20120316878A1 (en) | 2012-12-13 |
US11538459B2 (en) | 2022-12-27 |
KR20170081745A (ko) | 2017-07-12 |
US9858921B2 (en) | 2018-01-02 |
EP2260264A2 (en) | 2010-12-15 |
CN113506567A (zh) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101881985B1 (ko) | 컨텍스트에 기초한 음성 인식 문법 선택 | |
US11216522B2 (en) | State-dependent query response | |
US20230385354A1 (en) | Automatic routing using search results | |
US9966071B2 (en) | Disambiguating input based on context | |
US9188456B2 (en) | System and method of fixing mistakes by going back in an electronic device | |
CN108648750B (zh) | 混合模型语音识别 | |
US8626511B2 (en) | Multi-dimensional disambiguation of voice commands |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
A107 | Divisional application of patent | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant |