KR20060050578A - 구어 발음 검색을 위한 격자 기반으로 한 탐색 시스템 및방법 - Google Patents

구어 발음 검색을 위한 격자 기반으로 한 탐색 시스템 및방법 Download PDF

Info

Publication number
KR20060050578A
KR20060050578A KR1020050077408A KR20050077408A KR20060050578A KR 20060050578 A KR20060050578 A KR 20060050578A KR 1020050077408 A KR1020050077408 A KR 1020050077408A KR 20050077408 A KR20050077408 A KR 20050077408A KR 20060050578 A KR20060050578 A KR 20060050578A
Authority
KR
South Korea
Prior art keywords
speech
word
query
representation
spoken
Prior art date
Application number
KR1020050077408A
Other languages
English (en)
Inventor
무라트 사라클라
리차드 윌리암 스프로트
Original Assignee
에이티 앤드 티 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이티 앤드 티 코포레이션 filed Critical 에이티 앤드 티 코포레이션
Publication of KR20060050578A publication Critical patent/KR20060050578A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/085—Methods for reducing search complexity, pruning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

구어 문서로부터 오디오 세그먼트들을 검색하는 시스템 및 방법이 서술되었다. 구어 문서는 전화 호출들 또는 원격 회의들과 같은 완화된 워드 에러율들을 갖는 것이 바람직하다. 이 방법은 구어 문서와 관련된 음성을 격자 표현으로 변환하는 단계 및 음성의 격자 표현을 인덱스하는 단계를 포함한다. 이들 단계들은 전형적으로 오프-라인에서 수행된다. 사용자로부터 질의를 수신시, 이 방법은 음성의 인덱스된 격자 표현을 탐색하는 단계 및 사용자 질의에 매칭하는 구어 문서로부터 검색된 오디오 세그먼트들을 리턴하는 단계를 더 포함한다.
오디오 세그먼트, 구어 문서, 격자, 프리시전 리콜, 음성 인식

Description

구어 발음 검색을 위한 격자 기반으로 한 탐색 시스템 및 방법{System and method of lattice-based search for spoken utterance retrieval}
도 1은 본 발명의 일 실시예를 따른 시스템을 도시한 도면.
도 2a는 본 발명의 방법 실시예를 도시한 도면.
도 2b는 본 발명의 실시예를 따른 또 다른 방법을 도시한 도면.
도 3은 원격 회의를 위한 워드 격자들을 사용하여 프리시전 리콜(precision recall)과 관련된 실험 결과들을 도시한 도면.
도 4는 원격회의들을 위한 워드 격자들 및 워드/폰 하이브리드 전략들의 비교를 도시한 도면.
도 5는 원격회의를 위한 워드/폰 하이브리드 전략을 사용하는 최소 발음 길이의 영향을 도시한 도면.
도 6은 전화 대화들을 위한 각종 인식 어휘 크기들의 비교를 도시한 도면.
도 7은 상이한 작업들에 대한 각종 기술들을 위한 프리시전 대 리콜 비교를 도시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
12: 음성 14: ARS 모듈
16: 인덱스 모듈 18: 탐색 및 매칭 모듈
20: 음성 입력 24:오디오 세그먼트들
발명의 분야
본 발명은 구어 문서들(spoken documents)의 검색에 관한 것이며, 특히 구어 발음(spoken utterance)의 검색을 위한 격자-기반으로 한 탐색을 수행하는 시스템 및 방법에 관한 것이다.
도입
대량의 구어 통신들을 통해 인덱싱, 아카이빙, 탐색 및 브라우징하기 위한 자동 시스템들은 지난 10 여년간 실재 존재하여 왔다. 대부분의 이와 같은 시스템들은 자동 음성 인식(ASR) 요소를 사용하여 음성을 텍스트로 변환하며, 그 후, 이 텍스트는 표준 텍스트 기반으로 한 정보 검색(IR) 요소로의 입력으로서 사용된다. 이 전략은 음성 인식 출력이 대부분이 정확하거나 문서들이 질의 항들(query terms)의 어떤 발생들이 정확하게 인식되도록 충분히 길게될 때 매우 적절하게 된다. 이 영역에서 대부분의 연구는 구어 문서들의 방송 뉴스 타입의 검색에 집중되는데, 여기서 음성은 상대적으로 클린(clean) 되고 문서들은 상대적으로 길게된다. 게다가, 더욱 양호한 언어 모델들을 구축하고 유사한 문서들의 사용을 통해서 검색 을 향상시키기 위하여 유사한 내용을 지닌 많은 량의 텍스트를 찾을 수 있다.
그러나, 구어 문석 검색이 바람직하지만 클링 음성의 이점들이 사용될 수 없는 컨텍스트들에 대해서, 정보 검색은 더욱 어렵게 된다. 이는 원격회의가 다수의 짧은 오디오 세그먼트들로 이루어진다는 사실에 기인하는데, 이 세그먼트들은 많은 워드 에러들 및 낮은 용장성(redundancy)을 포함할 수 있다. 게다가, 새로운 방송들과는 반대로, 전체 구어 문서에 기여하는 음성의 작은 스닙펫들(snippets)을 각각 제공하는 많은 화자들이 원격회의에 존재할 수 있다.
그러므로, WER들이 50%만큼 높게될 수 있는 도메인에서 음성의 짧은 스닙펫을 검색하는 작업이 존재하면, 방송을 위하여 사용되는 동일한 방법은 만족할 만한 결과들을 제공하지 못할 것이다. 이는 원격회의 음성과 마찬가지 상황인데, 여기서 이 작업은 참여가 특정 구를 말하는 경우 및 이 때를 찾는 것이다.
종래 기술에 필요로 되는 것은 전화 대화들 또는 화상회의들 등으로부터 발생된 구어 문서들을 위한 개선된 구어 문서 검색 시스템들을 제공하는 기술들이다.
발명의 요약
본 발명의 부가적인 특징들 및 장점들은 이하에서 설명되고 부분적으로 이 설명으로부터 명백하게 되거나 본 발명의 실시함으로써 알 수 있다. 본 발명의 특징들 및 장점들은 특히 첨부된 청구항들에서 가리켜진 도구들 및 조합들에 의해 실현되고 얻어질 수 있다. 본 발명의 이들 및 다른 특징들은 이하의 설명 및 첨부된 청구항들로부터 더욱 명백하게 될 것이며, 또는 본원에 서술된 바와 같은 본 발명의 실시에 의해 알 수 있다.
단지 하나의 최적 텍스트보다 오히려 격자들에 대해 작업하는 구어 발음 검색을 위한 인덱싱 절차가 본원에 서술되어 있다. 이 절차는 불량 WER 및 저 용장성을 지닌 작업들에 대해 단일의 최적 검색과 비교하여 5점들을 초과한 만큼 F 점수들을 개선시킬 수 있다. 이 표현은 유연성이 있는데, 그 결과 워드 격자들 및 폰 격자들 둘 다가 표현될 수 있도록 하며, 후자는 어휘(OOV) 워드들 중에 포함되는 구들을 탐색할 때 수행 성능을 개선시키는데 중요하다.
본 발명은 구어 발음 검색을 위하여 격자-기반으로 한 탐색을 제공하는 시스템들, 방법들 및 컴퓨터-판독가능한 매체를 포함한다. 본원에 언급된 바와 같은 구어 문서들은 전화 호출들 또는 원격 회의들과 같은 완화된 워드 에러율들을 갖는 문서가 바람직하다. 이 방법은 구어 문서와 관계된 음성을 격자 표현으로 변환하는 단계 및 음성의 격자 표현을 인덱스하는 단계를 포함한다. 이들 단계들은 전형적으로 오프-라인에서 수행된다. 사용자로부터 질의를 수신시, 이 방법은 음성의 인덱스된 격자 표현을 탐색하는 단계 및 사용자 질의를 매칭하는 구어 문서로부터 검색된 오디오 세그먼트들을 리턴하는 단계를 더 포함한다.
본 발명의 상술되고 그외 다른 이점들 및 특징들을 얻을 수 있는 방식을 설명하기 위하여, 간략하게 상술된 본 발명의 더욱 특정한 설명이 첨부된 도면들에 도시된 특정 실시예와 관련하여 고려될 것이다. 이들 도면들은 단지 본 발명의 전형적인 실시예들 만을 도시함으로 본 발명의 영역을 제한하는 것으로 간주되지 않 는 것으로 이해되어야 한다. 본 발명은 첨부한 도면을 통해서 부가적인 특성이 상세하게 설명될 것이다.
발명의 상세한 설명
본 발명은 본 발명의 각종 실시예들에 대한 이하의 설명에 의해 이해될 수 있다. 본 발명은 오디오 세그먼트 검색 기술들을 전화 호출들 및 원격회의 애플리케이션들과 같은 시나리오들로 확장시킨다. 이 작업은 브라우징을 지원하기 위하여 구어 통신들에서 질의의 발생을 탐색하는 것이다. 이 방법은 구어 문서 검색 및 워드 스포팅(word spotting)에 관계된다. 한 가지 경우에, 이 공정은 더욱 큰 오디오 세그먼트들의 그룹 내에서 "문서"라 칭할 수 있는 짧은 오디오 세그먼트를 식별하는 것을 포함한다.
적절한 검색 수행성능이 완화된(~20%) 워드 에러율들을 지닌 작업들을 위한 최적의 ASR 가설을 사용하여 얻어질 수 있지만, 이 보다 높은(40-50%) 워드 에러율들은 다수의 ASR 가설들의 사용을 필요로 한다. 본 발명의 한 가지 양상은 인식 에러들에 대한 시스템을 더욱 신뢰성있게 만드는 ASR 격자들을 부가하는 것이다. 워드 격자는 일반적으로 많은 수의 가능한 문장들을 콤팩트하게 엔코딩할 수 있는 이들 간의 워드들 및 링크들의 유향 그래프(directed graph)라 칭할 수 있다. 격자 내의 각 워드는 관찰 확률(observation likelihood)로 증분되어, 격자를 통과하는 어떤 특정 경로가 다른 언어 모델들로부터 도출되는 앞서의 확률과 결합될 수 있 다. 타이밍 정보는 또한, 전형적으로 워드 격자 내에 제공된다. 예를 들어, Huang, Acero 및 Hon의 Spoken Language Processing , Prentice Hall PTR, 2001, pages 664-673을 참조하라. 종래 기술의 당업자는 워드 격자들의 상세사항들 및 구조에 대해서 더 자세히 알고 있음으로, 더 이상 상세한 설명은 본원에 제공되지 않았다.
거의 모든 ASR 시스템들은 특정 도메인 또는 주제와 관계하는 클로우즈된 어휘(closed vocabulary)를 갖는다. 이 제한은 실시간 요건들뿐만 아니라 ASR 시스템들의 언어 모델들을 훈련하는데 사용되는 유한 량의 데이터로 인한 것이다. 통상적으로, 인식 어휘는 언어 모델 훈련 코퍼스(corpus)에서 나타나는 워드들로 간주된다. 때때로, 어휘는 이 코퍼스에서 가장 빈번한 워드들만을 포함하도록 더욱 감소된다. 이 클로우즈된 어휘에 있지 않는 워드들, 어휘 밖에(OOV) 있는 워드들은 ASR 시스템에 의해 인식되지 않아, 인식 에러들을 야기한다. 음성 표기를 사용하면 OOV 워드들 검색을 돕는다.
도 1은 본 발명의 장치 실시예의 기본적이 시스템(10)을 도시한 것이다. 음성(12)은 ASR 모듈(14)에 제공된다. 음성(12)은 전화 호출, 원격 회의 또는 높은 워드 에러율을 갖는 이외 다른 어떤 소스로부터 발생될 수 있다. 특히 본 발명에 필요로 되지 않지만, 제공되는 음성(12)은 방송 뉴스와 같은 더욱 제어된 소스로부터 얻어질 수 있는 음성보다 높은 워드 에러율을 갖는다. ASR 모듈(14)은 또한 격자 내에 타이밍 정보 엔트리들을 제공될 수 있거나, 이 격자로부터 분리되어 저장될 수 있다. 인덱스 모듈(16)은 효율적인 검색을 위한 격자 표현을 인덱스한다. 음성을 격자 표현으로 변환하고 격자를 인덱스하는 2가지 단계들은 오프-라인에서 수 행되는 것이 바람직하다. 탐색 및 매칭 모듈(18)은 질의를 표시하는 사용자(22)로부터의 다른 유형의 입력(22) 또는 음성을 수신한다. 탐색 및 매칭 모듈(18)은 질의를 수신하고 인덱스 격자 표현들을 탐색하고 매칭 오디오 세그먼트들(24)을 위치시키고 이들을 사용자로 리턴한다.
도 1에 도시된 기본적인 시스템은 많은 시나리오들에서 사용될 수 있다. 예를 들어, 모듈들은 프로그램될 수 있고 단일 컴퓨터 서버 또는 분산된 네트워크에 대해 동작할 수 있다. 이 모듈들을 코딩하는데 필요로 되는 특정 프로그래밍 언어는 존재하지 않는다. 음성 입력 장치(20)는 사용자(22)로부터 음성 또는 다른 멀티-모달 입력(multi-modal input)을 수신할 수 있는 전화 또는 이외 다른 계산 장치일 수 있다. 본 발명의 각종 요소들 간에 무선 및 유선 링크들이 존재할 수 있다.
본 발명의 이점들의 예로서, 다른 토픽들 중 홈 씨어터 룸을 부가하기 위한 개정된 설계들을 포함하여 집을 짓고자 하는 상세사항들에 대한 건축자, 설계자 및 계약자의 원격회의로부터 ASR 모듈(14)로 음성(12)이 제공된다 라고 가정하자. 집의 구매자가 대화의 홈 씨어터 부분에 대한 상세사항들을 수신하고자 한다고 또한 가정하자. 구어 문서들이 인덱스되고 검색될 수 있는 본 발명에 따른 호출 처리 및 원격회의 호출 이후, 사람(22)은 계산 장치를 통해서 호출할 수 있고 홈 씨어터와 관련된 오디오 세그먼트에 대한 요청을 제출할 수 있다. 이 질의(이는 음성, 텍스트, 또는 음성 및 텍스트의 조합 또는 다른 입력 모달러티들)는 처리되어, 사용자(22)에게 홈 씨어터에 관련된 오디오 부분들을 식별, 검색 및 리턴하는데 사용된다.
본 발명의 공정의 각종 특징들은 바람직한 방법들을 갖는다. 예를 들어, ASR 모듈(14)이 최신 기술인 HMM 기반으로 한 많은 어휘 연속 음성 인식(large vocabulary continuous speech recognition)(LVCSR) 시스템을 사용하는 것이 바람직하다. ASR에 사용되는 음향 모델들은 판정 트리 상태 클러스트된 트리폰들(decision tree state clustered triphones)을 포함하는 것이 바람직하고, 출력 분포들은 가우스의 혼합들이다. 언어 모델들은 프룬드 백오프 트리그램 모델들(pruned backoff trigram models)이 바람직하다. 발음 사전들은 몇몇 대안적인 발음들을 포함하는 것이 바람직하다. 베이스라인 발음 사전(OOV 질의 워드들을 포함)에 있지 않은 발음들은 텍스트의 발음 표기 표현을 발생시키는 텍스트-대-음성(text-to-speech)(TTS) 프론트-엔드(도시되지 않음)를 사용하여 발생되는 것이 바람직하다. TTS 프론트-엔드는 다수의 발음들을 발생시킬 수 있다. ARS 시스템들은 단일 통과 시스템들일 수 있거나 아닐 수 있다. 인식 네트워크들은 가중된 유한 상태 머신들(FSMs)로서 표현되는 것이 바람직하다. 인지하는 바와 같이, 상기 방법들은 본 발명을 실시하는 최적의 방법을 제공한다. 고려된 본 발명을 이용할 수 있고 본 발명의 범위 내에 있는 대안적인 방법들이 존재한다는 것을 당업자는 또한 인지할 것이다.
ASR 모듈(14)의 출력은 FSM으로서 표현되는 것이 바람직하고 또한 대안적인 가설들의 격자 또는 최적의 가설 스트링 형태일 수 있다. FSM의 아크들 상의 라벨들은 워드들 또는 폰들일 수 있고 이 둘 간의 대화는 FSM 컴포지션을 사용하여 손십게 행해질 수 있다. 아크들에 대한 비용들은 부의 로그 확률들이다. 게다가, 타 이밍 정보는 또한 출력에 제공될 수 있다.
도 2a는 본 발명의 방법 실시예들중 한 실시예를 도시한 것이다. 이는 구어 문서를 검색하는 방법에 관계하며, 이 방법은 구어 문서와 관련된 음성을 격자 표현(202)으로 변환하는 단계 및 격자 표현(204)을 인덱스하는 단계를 포함한다. 사용자로부터 질의를 수신시, 이 방법은 음성(206)의 인덱스된 격자 표현을 탐색하는 단계 및 사용자 질의(208)를 매칭하는 구어 문서로부터 오디오 세그먼트들을 리턴하는 단계를 포함한다.
격자들의 경우에, 본 발명의 한 가지 양상은 인덱스들의 세트, 즉 격자 수 L[α]를 기록하는 각 아크 라벨(워드 또는 폰)(l)에 대한 하나를 저장하는 것과 관계되며, 각 입력-스케이트 k[α]는 이 상태를 야기하는 확률 질량 f(k[α]), 아크 자체 p(α│k[α])의 확률 및 다음 상태를 위한 인덱스와 함께 각 격자에서 l로 라벨된 α가 된다. 음성 코퍼스를 표시하는 격자들의 세트로부터 단일 라벨을 검색하기 위하여, 하나는 라벨 인덱스로부터 각 격자에서 모든 아크들을 간단히 검색한다. 이 격자들은 우선 가중 푸싱(weight pushing)에 의해 정규화되어, 아크로부터 최종 상태로 이르는 모든 경로들의 세트의 확률은 1이 되도록 한다. 가중 푸싱 후, 주어진 아크(α)에 대해서, 이 아크를 포함하는 모든 경로들의 세트의 확률은 다음과 같이 제공된다.
Figure 112005046449073-PAT00001
즉, 아크에 이르는 모든 경로들의 확률은 아크 자체의 확률과 승산된다. 격 자(L)에 대해서, "카운트"C(ㅣㅣL)은 다음과 같이 인덱스 I(l)에 저장된 정보를 사용하여 주어진 라벨(l)에 대해서 구성된다.
Figure 112005046449073-PAT00002
여기서 C(lπ)는 l이 경로상에 보여지는 횟수이고, π 및 δ(α, l)은 아크(α)가 라벨(l)을 갖는 경우 1이고 갖지 않는 경우 0이다. 검색은 특정 카운트 보다 아래에서의 매칭들이 리턴되지 않도록 하는 임계일 수 있다.
다중-라벨 표현(예를 들어, 다수-워드 구)(w1, w2,..., wn)을 탐색하기 위하여, 시스템은 이 표현에서 각 라벨에 대해서 구하고 나서, 각(wi, wi +1)에 대해서, wi의 출력 상태들을 wi +1의 매칭하는 입력 상태들과 결합시키는데, 이 방식으로, 시스템은 전체 다수-라벨 표현에 매칭하는 각 격자에서 이들 경로 세그먼트들 만을 검색한다. 각 매칭 확률은
Figure 112005046449073-PAT00003
로서 규정되는데, 여기서 p(αi│k[αi])는 아크 a1에서 시작하는 표현에서 i번째 아크의 확률 이다. 격자에 대한 총 "카운트"는 상술된 바와 같이 계산된다.
각 격자가 가중되지 않은 단일 경로, 즉 라벨들의 스트링인 제한된 경우에서, 상기 방식은 표준 반전된 인덱스로 감소된다는 점에 유의하라. OOV 워드들을 포함하는 질의들을 다루기 위하여, 본 발명은 인덱싱을 위한 서브-워드 유닛들을 사용한다. 한 서브-워드 요소는 폰일 수 있다. 입력 발음의 음성 표현들을 얻는 2가지 방법들이 존재한다.
우선, 폰 인식은 인식 유닛들이 폰들인 ASR 시스템을 사용한다. 이는 베이스라인 ASR 시스템에 사용되는 워드 레벨 언어 모델 대신에 폰 레벨 언어 모델(phone level language model)을 사용함으로써 성취된다. 두번째, 또 다른 양상은 발음의 워드 레벨 표현을 폰 레벨 표현으로 변환하는 것이다. 이는 베이스라인 ASR 시스템을 사용하고 폰들과 관련하여 발음(들)에 의해 출력에서 각 워드를 대체함으로써 성취된다.
폰 인식은 워드 인식보다 덜 정확할 수 있다. 다른 한편으로, 제2 방법은 단지 어휘 내 워드 스트링들(in-vacabulary word strings)의 발음들의 서브스트링들인 폰 스트링들을 발생시킬 수 있다. 이들 방법들 각각의 제한들에 대한 또 다른 개선방법은 OOV 워드 검출을 위하여 사용되는 하이브리드 언어 모델들을 사용하는 것이다.
검색을 위하여, 각 질의 워드는 자체 발음(들)을 사용함으로써 폰 스트링(들)로 변환된다. 그 후, 폰 인덱스는 각 폰 스트링을 위하여 탐색될 수 있다. 이 방법은 특히 짧은 질의 워드들에 대해서 많은 오류 경보들을 발생시키는데, 이는 보다 긴 워드들의 서브스트링들일 것 같다. 이를 제어하기 위하여, 최소 발음 길이에 대한 바운드(bound)가 사용될 수 있다. 대부분 짧은 워드들이 어휘에 있기 때문에, 이 바운드는 거의 리콜에 대해 영향을 미치지 않는다.
본 발명의 또 다른 양상은 워드 인덱스 및 서브 워드 인덱스가 이용될 수 있는 시나리오에 대해 도 2b에 도시되어 있다. 이 양상은 인덱스들 둘 다를 사용하여 공정을 개선시킨다. 사용자 질의(220)를 수신시, 이 방법은 워드 인덱스(222) 및 서브 워드 인덱스(224) 둘 다를 탐색하고 이 결과들을 결합하여 사용자의 질의(226)를 매칭하는 구어 문서로부터 오디오 세그먼트들을 검색한다.
대안적으로, 사용자 질의(220)를 수신시, 이 방법은 어휘 내 질의들(228)을 위한 워드 인덱스를 탐색하고 OOV 질의들(230)을 위한 서브워드 인덱스를 탐색하는 것을 포함할 수 있다. 또한 다른 대안은 사용자 질의(220)를 수신시인데, 이 방법은 워드 인덱스를 탐색하는 것을 포함하고, 결과가 리턴되지 않으면, 서브 워드 인덱스(232)를 탐색한다.
첫번째 경우에, 인덱스들이 ASR 최적의 가설로부터 얻어지면, 이 결과 조합은 분리된 결과들의 세트들의 간단한 유니온(union)이다. 그러나, 인덱스들이 격자들로부터 얻어지면, 결과들의 유니온을 취하는 것 이외에도, 검색은 결합된 점수를 사용하여 행해질 수 있다 질의(q)가 제공되면, Cw(q) 및 Cp(q)를 워드 인덱스 및 폰 인덱스 각각으로부터 얻어진 격자 카운트들이라 하자. 정규화된 격자 카운트는 다음과 같은 폰 인덱스를 위하여 규정된다.
Figure 112005046449073-PAT00004
여기서 │pron(q)│는 질의(q)의 발음 길이이다. 그 후, 이 결합된 점수는 다음과 같이 규정된다.
Figure 112005046449073-PAT00005
여기서 λ는 경험적으로 결정된 스케일링 팩터이다. 다른 경우들에, 2개의 상이한 임계값들을 사용하는 대신에, Cw(q) 및 [명세서 p11 스캐닝]에 대한 단일 임계값은 검색 동안 사용될 수 있다.
ASR 수행성능을 평가하기 위하여, 표준 워드 에러율(WER)은 메트릭으로서 사용될 수 있다. 검색이 목표이기 때문에, OOV 율은 OOV 워드 특성들을 측정하기 위한 유형에 의해 사용된다. 검색 수행성능을 평가하기 위하여, 수동 트랜스크립션들에 대한 프리시전 및 리콜이 사용된다. 정확한(q)(Correct(q))를 질의(q)가 정확하게 발견되는 횟수라고 하자. 응답(q)(Answer(q))를 질의(q)에 대한 응답들의 횟수라고 하고, 레퍼런스(q)(Reference(q))는 q가 이 레퍼런스에서 발견되는 횟수라고 하자.
Figure 112005046449073-PAT00006
시스템은 각 질의에 대한 프리시전 및 리콜 율들을 계산하고 모든 질의들에 대한 평균을 보고한다. 질의들(Q)의 세트는 100개의 가장 보편적인 워드들의 스톱 리스트를 제외한 레퍼런스에서 보여진 모든 워드들로 이루어진다.
Figure 112005046449073-PAT00007
격자 기반으로 한 검색 방법들에 대해서, 상이한 동작점들은 임계값을 변경함으로써 얻어질 수 있다. 이들 동작점들에서 프리시전 및 리콜은 곡선으로서 도시될 수 있다. 개개 프리시전-리콜 값들 이외에도, 이 시스템은 또한 다음과 같이 규정된 F-측정을 계산한다.
Figure 112005046449073-PAT00008
그리고, 프리시전-리콜 곡선에서 정보를 요약하기 위하여 최대 F-측정(maxF)을 보고한다.
3개의 상이한 코퍼스들이 사용되어 상이한 검색 기술들의 효율을 평가한다. 제1 코퍼스는 각종 음향 조건들을 포함하는 TV 또는 라디오 프로그램들로부터의 발췌들로 이루어진 DARPA 방송 뉴스 코퍼스이다. 이 테스트 세트는 1998 Hub-4 방송 뉴스(hub4e98) 평가 테스트 세트(LDC로부터 입수가능한 카타로그 넘버 LDC2000S86)인데, 이는 3시간 길이이고 수동으로 940개의 세그먼트들로 세그먼트된다. 이는 32411 워드 토큰들 및 4885 우드 타입들을 포함한다. ASR에 대해서, 실시간 시스템이 사용될 수 있다. 이 시스템은 SDR을 위하여 설계되었기 때문에, 시스템의 인식 어휘는 200,000 초과한 워드들을 갖는다.
제 2 코퍼스는 2명의 상대방 전화 대화들로 이루어진 스위치보드 코퍼스이다. 이 테스트 세트는 5시간 길이인 RT02 평가 테스트 세트이고, 120 대화측들을 갖고 수동으로 6266 세그먼트들로 세그먼트된다. 이는 65255 워드 토큰들 및 3788 워드 유형들을 포함한다. ASR에 대해서, 평가 시스템의 제1 패스가 사용된다. 시스템의 인식 어휘는 45,000을 초과하는 워드들을 갖는다.
제 3 코퍼스는 원격회의라 칭하는데, 그 이유는 각종 토픽들에 대한 다수상대자 원격회의들로 이루어지기 때문이다. 이 회의의 레그들(legs)로부터 오디오는 합산되고 단일 채널로서 기록된다. 6개의 원격회의들의 테스트 세트(약 3.5 시간)가 전사(transcribe)된다. 이는 31106 워드 토큰들 및 2779 워드 유형들을 포함한다. 호출들은 음향들의 변경들을 검출하는 ASR에 앞서 자동적으로 총 1157 세그먼트들로 세그먼트된다. 스위치보드 평가 시스템의 제1 패스는 ASR을 위하여 사용된다.
표 1은 코퍼스들의 유형에 의해 OOV 율 뿐만 아니라 이들 3가지 작업들에 대한 ASR 수행성능을 도시한다. 이 표는 각종 LVCSR 작업들의 유형에 의해 OOV 율 및 워드 에러율(WER)을 도시한 것이다. ASR 시스템들을 구축하면서, 스위치보드 및 원격회의들 작업들을 위한 인식 어휘가 동일하고 원격회의들 작업으로부터 데이터가 사용되지 않는다는 것을 인지하는 것이 중요하다.
작업 WER 유형에 의한 OOV율
방송 뉴스 스위치보드 원격회의들 ~20% ~40% ~50% 0.6% 6% 12%
베이스라인으로서, ASR 시스템의 최적의 워드 가설들은 인덱싱 및 검색을 위하여 사용된다. 이 베이스라인 시스템의 수행성능은 표1에 제공되어 있다. 예측된 바와 같이, 매우 양호한 수행성능은 방송 뉴스 코퍼스에 대해 얻어진다. 스위치보드로부터 원격회의들로 이동할 때 프리시전-리콜에서의 저하가 WER에서 저하와 동일한 것을 인지하는데 관심을 두고 있다.
작업 WER 프리시전 리콜
방송 뉴스 스위치보드 원격회의 ~20% ~40% ~50% 92% 74% 65% 77% 47% 37%
제 2의 실험들의 세트는 ASR 워드 격자들의 사용을 조사한다. 저장 요건들을 감소시키기 위하여, 격자들은 비용들(즉, 부의 로그 확률)이 최적의 경로에 대해 임계값 내에 있는 경로들만을 포함하도록 잘라내어 진다. 이 비용 임계값이 작으면 작을 수록, 격자들 및 인덱스 파일들은 더욱 작게된다. 도3은 원격회의 작업에 대한 상이한 프룬닝 임계값들(pruning thresholds)에 대한 프리시전-리콜 곡선들(302)을 도시한 것이다.
표 3은 이 결과의 인덱스 크기들 및 최대 F-측정값들을 도시한 것이다. 원격회의 작업에 대해서, 비용=6은 양호한 결과들을 산출한다는 것이 관찰되고 실험들의 나머지에 대해 이 값을 사용한다.
이는 ASR-1 최적 케이스에 대해서 인덱스 크기를 방송 뉴스에 대해 3배만큼 증가시키고 스위치보드에 대해서 5배만큼 증가시키고 원격회의에 대해서 9배만큼 증가시킨다는 점에 유의하라.
작업 프룬닝 크기(MB) maxF
방송 뉴스 방송 뉴스 nbest=1 cost=6 29 91 84.0 84.8
스위치 보드 스위치 보드 nbest=1 cost=6 18 90 57.1 58.4
원격회의 원격회의 원격회의 원격회의 원격회의 nbest=1 cost=2 cost=4 cost=6 cost=12 16 29 62 142 3100 47.4 49.5 50.0 50.3 50.1
다음에, 단지 음성 격자들만을 사용하여 검색하기 위하여 상술된 음성 표기 트랜스크립션의 2가지 방법들, 즉 폰 인식 및 워드-대-폰 대화를 사용하여 조사들이 비교된다. 표4에서, 최대 F-측정 뿐만아니라 최대 F-측정 값들을 산출하는 프리시전 및 리콜 값들이 제공된다. 이들 결과들은 명백하게 폰 인식이 다른 방법들보다 열악하다는 것을 표시한다.
인덱싱을 위한 소스 프리시전 리콜 maxF
폰 인식 워드들로부터의 대화 25.6 37.3 43.1 48.5 30.4 45.6
결과가 리턴되지 않고 폰 인덱스를 탐색하면, 워드 인덱스를 탐색하는 전략은 다른 전략들에 비해 바람직하다. 표 5는 워드 및 폰 인덱스들을 사용하는 3가지 전략들에 대한 최대 F-값들을 비교한다.
전략 maxF
1. 조합 2. 어휘 캐스케이드 3. 탐색 케스케이드 50.5 51.0 52.8
도 4는 원격 회의들 코퍼스에 대한 이 전력의 결과들(402)을 제공한다. 이들 실험들에 사용되는 폰 인덱스들은 워드 격자들을 폰 격자들로 변환함으로써 얻어진다. 다음 인식에 의해 얻어지는 폰 인덱스들을 사용하면 결과들을 상당히 악화시킨다.
폰 인덱스에서 짧은 발음들로 워드들을 탐색할 때, 시스템은 많은 거짓 경보들을 발생시킬 것이다. 거짓 경보들의 수를 감소시키는 한 가지 방법은 짧은 발음들을 지닌 질의들을 허용하지 않도록 한다. 도5는 질의들(502)에 대한 최소 발음 길이를 부과하는 영향을 도시한 것이다. 질의가 응답되도록 하는 경우에, 이의 발음은 더많은 민폰 폰들(minphone phones)이상을 가져야만 되는데, 그렇치 않다면 응답들이 리턴되지 않는다. 최적의 최대 F-측정 결과는 민폰=3을 사용하여 얻어진다. 따라서, 이 숫자는 원격회의를 위한 워드/폰 하이브리드 전략을 사용하는 최소 발음 길이의 영향을 도시한 것이다.
도 6은 스위치보드 코퍼스에 대한 상이한 인식 어휘 크기들(5k, 20k, 45k)에 대한 결과들(602)을 제공한다. 유형에 의한 OOV 율들은 각각 32%, 10%, 및 6%이다. 워드 에러율들은 각각 41.5%, 40.1% 및 40.1%이다. 프리시전 리콜 곡선들은 거의 20,000 및 45,000 어휘 크기들에 대해서 동일하게 된다.
지금까지, 모든 실험들에서, 질의 리스트는 단일 워드들로 이루어졌다. 보다 긴 질의들에 직면할 때 각종 방법들의 작용을 관찰하기 위하여, 워드 쌍 질의들의 세트는 연구에 사용되었다. 레퍼런스 트랜스크립션에서 보여지는 모든 워드 쌍들을 사용하는 대신에, 함께 발생할 것 같은 워드들이 다른 워드들과 달리 선택된다. 이를 위하여, 워드 쌍들(w1, w2)은 포인트와이즈 상호 정보(pointwise mutual information)에 따라서 분류되고 우리의 실험들에서 질의들로서 최상부 쌍들이 사용된다.
Figure 112005046449073-PAT00009
이것이 판명된 바와 같이, 이 시스템이 프리시전은 이 유형의 질의들에 대해서 매우 높게된다. 이 때문에, 각 기술에 대한 최대 F-측정을 성취하는 동작점을 찾는데 더욱 관심을 두는데, 이 경우에 이것은 최고 리콜을 산출하는 포인트와 일치한다. 표6은 1004 워드 쌍 질의들을 사용하여 스위치보드 코퍼스에 대한 결과들을 제공한다. 워드 격자들을 사용하면, 프리시전을 불과 2.2%만큼 저하시키면서 시스템의 리콜을 16.4%만큼 증가시킬 수 있다. 폰 격자들을 사용하면, 프리시전에서 1.2% 손실에 대해서 또 다른 3.7% 증가가 리콜에서 성취될 수 있다. 최종 시스템은 여전히 95% 프리시전을 갖는다.
시스템 프리시전 리콜 F-측정
워드 1-베스트 워드 격자들 워드+폰 격자들 98.3 29.7 96.1 46.1 94.9 49.8 45.6 62.3 65.4
최종적으로, 상이한 작업들에 대한 각종 기술들의 비교가 최대 F-측정(maxF)가 제공되는 표7에 도시되어 있다. 워드 격자들을 사용하면, 최적의 워드 가설들을 사용하여 maxF에서 3-5%의 상대 이득을 산출한다. 워드 및 폰 격자들 둘 다를 사용하는 최종 시스템에 대해서, 베이스라인에 걸쳐서 상대 이득은 8-12%로 증가된다.
도 7은 프리시전 리콜 곡선들(702)을 제공한다. 워드 및 폰 격자들을 사용하는 더욱 양호한 기술들을 사용으로 인한 이득은 검색 수행성능이 악화되기 때문에 증가한다. 도7은 상이한 작업들에 대한 각종 기술들을 위한 프리시전 리콜을 도시한 것이다. 이 작업들은 방송 뉴스(+), 스위치보드(x), 및 원격회의(o)이다. 이 기술들은 최적의 워드 가설들(단일 포인트들)을 사용하며, 워드 격자들(실선들)을 사용하고 워드 및 폰 격자들(점선들)을 사용하는 것이다.
Figure 112005046449073-PAT00010
단지 단일-베스트 텍스트 보다 차라리 ASR 격자들에 대해 작업하는 구어 발음 검색을 위한 인덱싱 절차가 본원에 서술되어 있다. 이 절차는 열악한 WER 및 저 용장성을 지닌 작업들에 대해 5 포인트들을 초과하는 만큼 최대 F-측정을 개선시킬 수 있다. 이 표현은 유연하게 되어, 워드 격자들뿐만 아니라 폰 격자들 둘 다가 표시될 수 있도록 하며, 후자는 OOV 워드들을 포함하는 구들에 대해 탐색할 때 수행성능을 개선시키는 것이 중요하다. 대화형 음성에 대한 구어 발음 검색이 방송 뉴스에 대한 구어 문서 검색과 다른 특성들을 갖는다는 것을 인지하는 것이 중요하다. 방송 뉴스들을 포함하는 각종 작업에 대한 지속적인 개선들이 관찰되지만, 본원에 제안된 절차는 스위치보드 및 원격회의와 같은 더욱 어려운 대화형 음성 작업들에 대해서 가장 유용하다.
본 발명의 범위 내에서 실험들은 또한 그 상에 저장된 컴퓨터 실행가능한 명령들 또는 데이터 구조들을 운반하거나 또는 갖는 컴퓨터 판독가능한 매체를 포함한다. 이와 같은 컴퓨터-판독가능한 매체는 범용 또는 특수용 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 예로서 그리고 제한되지 않는 이와 같은 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 저장장치, 자기 디스크 저장 장치들, 또는 컴퓨터-실행가능한 명령들 또는 데이터 구조들의L 형태의 소망의 프로그램 코드 수단을 운반하거나 저장하도록 사용될 수 있는 어떤 다른 매체를 포함할 수 있다. 정보가 네트워크 또는 또 다른 통신 접속(하드와이어드, 무선 또는 이들의 조합중 어느 하나)을 통해서 컴퓨터에 전달되거나 제공될 때, 컴퓨터는 컴퓨터 판독가능한 매체로서 접속을 적절하게 관찰한다. 따라서, 어떤 이와 같은 접속은 적절하게 컴퓨터-판독가능한 매체로 칭해진다. 상기의 조합들은 또한 컴퓨터-판독가능한 매체의 범위 내에 포함되어야만 된다.
컴퓨터-실행가능한 명령들은 예를 들어 범용 컴퓨터, 특수용 컴퓨터, 도는 특수용 처리 장치가 특정 기능 또는 기능들의 그룹을 수행하도록 하는 명령들 및 데이터를 포함한다. 컴퓨터-실행가능한 명령들은 또한 독립형 또는 네트워크 환경들에서 컴퓨터들에 의해 실행되는 프로그램 모듈들을 포함한다. 일반적으로, 프로그램 모듈들은 특정 작업들을 수행하고 특정 요약 데이터 유형들을 구현하는 루틴들, 프로그램들, 오브젝트들, 요소들 및 데이터 구조들 등을 포함한다. 컴퓨터-실행가능한 명령들, 관련된 데이터 구조들, 및 프로그램 모듈들은 본원에 서술된 방법들의 단계들을 실행하는 프로그램 코드 수단의 예들을 표시한다. 이와 같이 실행가능한 명령들 또는 관련된 데이터 구조들의 특정 시퀀스는 이와 같은 단계들에서 서술된 기능들을 구현하는 대응하는 작용들의 예들을 표시한다.
본 발명의 다른 실시예들이 개인용 컴퓨터들, 휴대용 장치들, 멀티-프로세서 시스템들, 마이크로프로세서-기반으로 한 또는 프로그램가능한 소비자 전자장치들, 네트워크 PCs, 미니컴퓨터들, 메인프레임 컴퓨터들 등을 포함하는 많은 유형들의 컴퓨터 시스템 구성들을 지닌 네트워크 컴퓨팅 환경들에서 실시될 수 있다는 것을 당업자는 인지할 것이다. 통신 네트워크를 통해서 링크되는(하드와이어드 링크들, 무선 링크들 또는 이들의 조합중 어느 하나에 의해) 로컬 및 원격 처리 장치들에 의해 작업들이 수행되는 분포된 컴퓨팅 환경들에서 실시예들이 또한 실시될 수 있다. 분포된 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 장치들 둘 다에서 위치될 수 있다.
상기 설명이 특정 상세사항들을 포함할 수 있지만, 이들은 어쨌든 청구항들을 제한하는 것으로서 해석되지 않아야 한다. 본 발명의 서술된 실시예들의 다른 구성들은 본 발명의 범위 부분이다. 따라서, 주어진 어떤 특정 예들에 의해서가 아니라 첨부된 청구항들 및 이들의 법률적인 등가물들만이 본 발명을 규정하여만 한다.
본 발명에 따라, 구어 문서로부터 오디오 세그먼트들을 검색하는 시스템 및 방법이 제공되고, 상기 방법은 구어 문서와 관련된 음성을 격자 표현으로 변환하는 단계 및 음성의 격자 표현을 인덱스하는 단계를 포함한다.

Claims (26)

  1. 구어 문서를 검색하는 방법에 있어서,
    구어 문서와 관련된 음성을 격자 표현으로 변환하는 단계,
    상기 음성의 격자 표현을 인덱스하는 단계,
    사용자로부터 질의를 수신시, 음성의 상기 인덱스된 격자 표현을 탐색하는 단계, 및 사용자 질의를 매칭하는 상기 구어 문서로부터 오디오 세그먼트들을 리턴하는 단계를 포함하는, 구어 문서 검색 방법.
  2. 제 1 항에 있어서,
    상기 음성 변환 단계 및 상기 음성 격자 표현을 인덱스하는 단계는 오프-라인에서 수행되는, 구어 문서 검색 방법.
  3. 제 1 항에 있어서,
    상기 음성 변환 단계는 상기 격자 표현에서 타이밍 정보를 제공하는 단계를 더 포함하는, 구어 문서 검색 방법.
  4. 제 1 항에 있어서,
    상기 음성 변환 단계는 자동 음성 인식을 통해서 수행되는, 구어 문서 검색 방법.
  5. 제 4 항에 있어서,
    상기 자동 음성 인식은 HMM-기반으로 하는, 구어 문서 검색 방법.
  6. 제 5 항에 있어서,
    상기 자동 음성 인식은 많은 어휘 연속 음성 인식(large vocabulary continuous speech recognition)인, 구어 문서 검색 방법.
  7. 제 5 항에 있어서,
    상기 자동 음성 인식에 사용되는 음향 모델들은 판정 트리 상태 클러스터된 트리폰들(decision tree state clustered triphones)인, 구어 문서 검색 방법.
  8. 제 7 항에 있어서,
    자동 음성 인식에 사용되는 상기 언어 모델들은 프룬드 백오프 트리그램 모델들(pruned backoff trigram models)인, 구어 문서 검색 방법.
  9. 제 1 항에 있어서,
    어휘 워드들을 벗어나 베이스라인 발음 사전에 있지 않은 발음들은 텍스트-대-음성 모듈(text-to-speech module)을 통해서 발생되는, 구어 문서 검색 방법.
  10. 제 1 항에 있어서,
    상기 격자 표현을 인덱스하는 단계는,
    각 아크 레벨에 대해서 하나, 상기 격자수에 대해서 하나, 각 격자에서 라벨링된 각 아크의 입력 상태에 대해서 하나, 이 상태로 유도되는 확률 질량에 대해서 하나, 상기 아크 자체의 확률에 대해서 하나를 포함하는 인덱스들의 세트를 저장하는 단계, 및
    상기 격자에서 다음 상태에 대한 인덱스를 저장하는 단계를 포함하는, 구어 문서 검색 방법.
  11. 제 10 항에 있어서,
    음성의 상기 인덱스된 표현을 탐색하고 상기 사용자 질의에 매칭하는 상기 구어 문서로부터 오디오 세그먼트들을 리턴하는 단계는,
    라벨 인덱스로부터 각 격자 내의 모든 아크들을 검색함으로써 상기 구어 문서를 표현하는 격자들의 세트로부터 단일 라벨을 검색하는 단계,
    확률 분석을 통해서 어느 라벨이 상기 사용자 질의에 매칭하는지를 결정하는 단계, 및
    상기 매칭된 라벨과 관련된 상기 오디오 세그먼트를 리턴하는 단계를 더 포함하는, 구어 문서 검색 방법.
  12. 제 10 항에 있어서,
    상기 격자들의 세트로부터 상기 단일 라벨을 검색하기 전, 아크로부터 최종 상태로 유도되는 모든 경로들의 세트의 확률이 1이 되도록 푸싱하는(pushing) 가중에 의해 상기 격자들의 세트가 정규화되는, 구어 문서 검색 방법.
  13. 제 10 항에 있어서,
    특정 임계값보다 아래인 확률들은 오디오 세그먼트를 리턴하지 않는, 구어 문서 검색 방법.
  14. 제 1 항에 있어서,
    상기 방법은 상기 인식 단위들이 폰들(phones)인 ASR 시스템을 사용하는 폰 인식(phone recognition)에 의해 상기 구어 문서와 관련된 음성 발음들의 음성 표현을 얻는 단계를 더 포함하고, 여기서 상기 ASR 시스템은 폰 레벨 언어 모델(phone level language model)을 사용하는, 구어 문서 검색 방법.
  15. 제 1 항에 있어서,
    상기 방법은, 상기 발음의 워드 레벨 표현을 베이스라인 ASR 시스템을 사용하여 폰 표현으로 변환하고, 출력에서 각 워드를 폰들과 관련한 발음으로 대체함으로써 상기 구어 문서와 관련된 상기 음성 발음들의 음성 표현을 얻는 단계를 더 포함하는, 구어 문서 검색 방법.
  16. 제 1 항에 있어서,
    상기 방법은 어휘 밖의 워드 검출을 위한 하이브리드 언어 모델들을 사용함으로써 구어 문서와 관련된 상기 음성 발음들의 음성 표현을 얻는 단계를 더 포함하는, 구어 문서 검색 방법.
  17. 제 16 항에 있어서,
    상기 하이브리드 언어 모델은 폰 레벨 언어 모델 및 워드 레벨 언어 모델의 조합인, 구어 문서 검색 방법.
  18. 제 1 항에 있어서,
    상기 구어 문서는 폰들을 기초로 인덱스되고, 상기 방법은:
    상기 질의 워드 발음을 사용함으로써 각 질의 워드를 폰 스트링들로 변환하는 단계, 및
    각 폰 스트링에 대한 음성의 격자 표현의 상기 폰-기반 인덱스를 탐색하는 단계를 더 포함하는, 구어 문서 검색 방법.
  19. 제 18 항에 있어서,
    최소 발음 길이에 대한 바운드(bound)가 채용되는, 구어 문서 검색 방법.
  20. 상기 구어 문서와 관계되는 워드 인덱스 및 서브-워드 인덱스가 존재하는 구 어 문서를 검색하는 방법에 있어서,
    상기 방법은 사용자로부터 질의를 수신시,
    상기 사용자 질의를 기초로 상기 워드 인덱스를 탐색하는 단계,
    상기 사용자 질의를 기초로 상기 서브-워드 인덱스를 탐색하는 단계, 및
    상기 사용자 질의에 매칭하는 상기 구어 문서로부터 상기 오디오 세그먼트들을 검색하도록 상기 결과들을 결합하는 단계를 포함하는, 구어 문서 검색 방법.
  21. 제 20 항에 있어서,
    상기 오디오 세그먼트를 검색하는 단계는 상기 워드 인덱스 및 상기 서브-워드 인덱스로부터 얻어진 격자 카운트들로부터 결합 점수를 사용하여 상기 오디오 세그먼트를 검색하는 단계를 더 포함하는, 구어 문서 검색 방법.
  22. 제 21 항에 있어서,
    상기 결합 점수를 계산할 때, 상기 서브-워드 인덱스 격자 카운트는 상기 사용자 질의의 발음 길이를 사용하여 정규화되는, 구어 문서 검색 방법.
  23. 상기 구어 문서와 관계되는 워드 인덱스 및 서브-워드 인덱스가 존재하는 구어 문서를 검색하는 방법에 있어서,
    상기 방법은 사용자로부터 질의를 수신시,
    상기 사용자 질의가 어휘 내에 있으면 상기 사용자 질의를 기초로 상기 워드 인덱스를 탐색하는 단계, 및
    상기 사용자 질의가 어휘를 벗어나면 상기 사용자 질의를 기초로 상기 서브-워드 인덱스를 탐색하는 단계를 포함하는, 구어 문서 검색 방법.
  24. 상기 구어 문서와 관계되는 워드 인덱스 및 서브-워드 인덱스가 존재하는 구어 문서 검색 방법에 있어서,
    사용자로부터 질의를 수신시,
    상기 사용자 질의를 기초로 상기 워드 인덱스를 탐색하는 단계 및 그 후, 결과들이 리턴되지 않으면, 상기 사용자 질의를 기초로 상기 서브-워드 인덱스를 탐색하는 단계를 포함하는, 구어 문서 검색 방법.
  25. 구어 문서 검색하는 시스템에 있어서,
    구어 문서와 관련된 음성을 격자 표현으로 변환하는 수단,
    상기 음성의 격자 표현을 인덱스하는 수단, 및
    사용자로부터 질의를 수신시, 음성의 상기 인덱스된 격자 표현을 탐색하는 수단 및 상기 사용자 질의에 매칭하는 상기 구어 문서로부터 오디오 세그먼트들을 리턴하는 수단을 포함하는, 구어 문서 검색 시스템.
  26. 구어 문서를 검색하기 위하여 컴퓨팅 장치를 제어하는 명령들을 저장하는 컴퓨터-판독가능한 매체에 있어서,
    상기 명령들은,
    구어 문서와 관련된 음성을 격자 표현으로 변환하는 단계,
    상기 음성의 격자 표현을 인덱스하는 단계,
    사용자로부터 질의를 수신시, 음성의 상기 인덱스된 격자 표현을 탐색하는 단계 및, 상기 사용자 질의에 매칭하는 상기 구어 문서로부터 오디오 세그먼트들을 리턴하는 단계를 포함하는, 컴퓨터-판독가능한 매체.
KR1020050077408A 2004-08-23 2005-08-23 구어 발음 검색을 위한 격자 기반으로 한 탐색 시스템 및방법 KR20060050578A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/923,915 US7912699B1 (en) 2004-08-23 2004-08-23 System and method of lattice-based search for spoken utterance retrieval
US10/923,915 2004-08-23

Publications (1)

Publication Number Publication Date
KR20060050578A true KR20060050578A (ko) 2006-05-19

Family

ID=35456192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050077408A KR20060050578A (ko) 2004-08-23 2005-08-23 구어 발음 검색을 위한 격자 기반으로 한 탐색 시스템 및방법

Country Status (6)

Country Link
US (5) US7912699B1 (ko)
EP (1) EP1630705A3 (ko)
JP (1) JP2006058899A (ko)
KR (1) KR20060050578A (ko)
CN (1) CN1741132A (ko)
CA (1) CA2515613A1 (ko)

Families Citing this family (218)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
NO325191B1 (no) * 2005-12-30 2008-02-18 Tandberg Telecom As Sokbar multimedia strom
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7272558B1 (en) 2006-12-01 2007-09-18 Coveo Solutions Inc. Speech recognition training method for audio and video file indexing on a search engine
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9973450B2 (en) 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
CN101647021B (zh) * 2007-04-13 2013-03-27 麻省理工学院 语音数据检索装置、语音数据检索方法、语音数据检索程序和包含有语音数据检索程序的计算机可用介质
US8831946B2 (en) * 2007-07-23 2014-09-09 Nuance Communications, Inc. Method and system of indexing speech data
US9405823B2 (en) * 2007-07-23 2016-08-02 Nuance Communications, Inc. Spoken document retrieval using multiple speech transcription indices
US8165877B2 (en) * 2007-08-03 2012-04-24 Microsoft Corporation Confidence measure generation for speech related searching
US8209171B2 (en) * 2007-08-07 2012-06-26 Aurix Limited Methods and apparatus relating to searching of spoken audio data
US8060494B2 (en) 2007-12-07 2011-11-15 Microsoft Corporation Indexing and searching audio using text indexers
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) * 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
CN101510222B (zh) * 2009-02-20 2012-05-30 北京大学 一种多层索引语音文档检索方法
JP2010277036A (ja) * 2009-06-01 2010-12-09 Mitsubishi Electric Corp 音声データ検索装置
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
CN102023995B (zh) * 2009-09-22 2013-01-30 株式会社理光 语音检索设备和语音检索方法
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8880399B2 (en) * 2010-09-27 2014-11-04 Rosetta Stone, Ltd. Utterance verification and pronunciation scoring by lattice transduction
US8831947B2 (en) * 2010-11-07 2014-09-09 Nice Systems Ltd. Method and apparatus for large vocabulary continuous speech recognition using a hybrid phoneme-word lattice
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8914286B1 (en) * 2011-04-14 2014-12-16 Canyon IP Holdings, LLC Speech recognition with hierarchical networks
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8805869B2 (en) 2011-06-28 2014-08-12 International Business Machines Corporation Systems and methods for cross-lingual audio search
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
CN102436812B (zh) * 2011-11-01 2013-05-01 展讯通信（上海）有限公司 会议记录装置及利用该装置对会议进行记录的方法
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9201876B1 (en) * 2012-05-29 2015-12-01 Google Inc. Contextual weighting of words in a word grouping
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US8521523B1 (en) * 2012-06-20 2013-08-27 Google Inc. Selecting speech data for speech recognition vocabulary
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9672815B2 (en) * 2012-07-20 2017-06-06 Interactive Intelligence Group, Inc. Method and system for real-time keyword spotting for speech analytics
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9542936B2 (en) * 2012-12-29 2017-01-10 Genesys Telecommunications Laboratories, Inc. Fast out-of-vocabulary search in automatic speech recognition systems
US9646605B2 (en) * 2013-01-22 2017-05-09 Interactive Intelligence Group, Inc. False alarm reduction in speech recognition systems using contextual information
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9390708B1 (en) * 2013-05-28 2016-07-12 Amazon Technologies, Inc. Low latency and memory efficient keywork spotting
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
KR101537370B1 (ko) * 2013-11-06 2015-07-16 주식회사 시스트란인터내셔널 녹취된 음성 데이터에 대한 핵심어 추출 기반 발화 내용 파악 시스템과, 이 시스템을 이용한 인덱싱 방법 및 발화 내용 파악 방법
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
JP6400936B2 (ja) * 2014-04-21 2018-10-03 シノイースト・コンセプト・リミテッド 音声検索方法、音声検索装置、並びに、音声検索装置用のプログラム
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
EP3051437A1 (en) 2015-01-27 2016-08-03 Západoceská Univerzita V Plzni Method for query processing for search in multilingual audio-archive and device for search of that processed query
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10176219B2 (en) * 2015-03-13 2019-01-08 Microsoft Technology Licensing, Llc Interactive reformulation of speech queries
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
RU2610241C2 (ru) * 2015-03-19 2017-02-08 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Способ и система синтеза текста на основе извлеченной информации в виде rdf-графа с использованием шаблонов
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
JP6680008B2 (ja) * 2016-03-15 2020-04-15 カシオ計算機株式会社 検索インデクス生成装置、検索インデックス生成方法、音声検索装置、音声検索方法及びプログラム
JP6680009B2 (ja) * 2016-03-15 2020-04-15 カシオ計算機株式会社 検索インデクス生成装置、検索インデックス生成方法、音声検索装置、音声検索方法及びプログラム
GB2549117B (en) * 2016-04-05 2021-01-06 Intelligent Voice Ltd A searchable media player
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10217458B2 (en) * 2016-09-23 2019-02-26 Intel Corporation Technologies for improved keyword spotting
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10657954B2 (en) 2018-02-20 2020-05-19 Dropbox, Inc. Meeting audio capture and transcription in a collaborative document context
US10467335B2 (en) 2018-02-20 2019-11-05 Dropbox, Inc. Automated outline generation of captured meeting audio in a collaborative document context
US11488602B2 (en) 2018-02-20 2022-11-01 Dropbox, Inc. Meeting transcription using custom lexicons based on document history
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
CN108874904B (zh) * 2018-05-24 2022-04-29 平安科技（深圳）有限公司 语音消息搜索方法、装置、计算机设备及存储介质
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11689379B2 (en) 2019-06-24 2023-06-27 Dropbox, Inc. Generating customized meeting insights based on user interactions and meeting media
US11183194B2 (en) 2019-09-13 2021-11-23 International Business Machines Corporation Detecting and recovering out-of-vocabulary words in voice-to-text transcription systems
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
TWI742446B (zh) * 2019-10-08 2021-10-11 東方線上股份有限公司 詞句庫擴展系統及其方法
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19534888A1 (de) * 1995-09-20 1997-03-27 Bosch Gmbh Robert Schaltungsanordnung zur Mehrfachausnutzung eines Übertragerkerns
US5870706A (en) * 1996-04-10 1999-02-09 Lucent Technologies, Inc. Method and apparatus for an improved language recognition system
US6317712B1 (en) * 1998-02-03 2001-11-13 Texas Instruments Incorporated Method of phonetic modeling using acoustic decision tree
US6757652B1 (en) * 1998-03-03 2004-06-29 Koninklijke Philips Electronics N.V. Multiple stage speech recognizer
US6397181B1 (en) * 1999-01-27 2002-05-28 Kent Ridge Digital Labs Method and apparatus for voice annotation and retrieval of multimedia data
KR100828884B1 (ko) * 1999-03-05 2008-05-09 캐논 가부시끼가이샤 데이터베이스 주석 및 검색
US6963837B1 (en) * 1999-10-06 2005-11-08 Multimodal Technologies, Inc. Attribute-based word modeling
US6882970B1 (en) 1999-10-28 2005-04-19 Canon Kabushiki Kaisha Language recognition using sequence frequency
US7113910B1 (en) * 2000-02-18 2006-09-26 At&T Corp. Document expansion in speech retrieval
US6574595B1 (en) * 2000-07-11 2003-06-03 Lucent Technologies Inc. Method and apparatus for recognition-based barge-in detection in the context of subword-based automatic speech recognition
GB0023930D0 (en) * 2000-09-29 2000-11-15 Canon Kk Database annotation and retrieval
US7451085B2 (en) * 2000-10-13 2008-11-11 At&T Intellectual Property Ii, L.P. System and method for providing a compensated speech recognition model for speech recognition
US20030093419A1 (en) * 2001-08-17 2003-05-15 Srinivas Bangalore System and method for querying information using a flexible multi-modal interface
US7181398B2 (en) * 2002-03-27 2007-02-20 Hewlett-Packard Development Company, L.P. Vocabulary independent speech recognition system and method using subword units
US6877001B2 (en) * 2002-04-25 2005-04-05 Mitsubishi Electric Research Laboratories, Inc. Method and system for retrieving documents with spoken queries
GB2394347A (en) * 2002-10-15 2004-04-21 Canon Kk Lattice encoding
GB2399983A (en) * 2003-03-24 2004-09-29 Canon Kk Picture storage and retrieval system for telecommunication system
EP1654727A4 (en) * 2003-07-23 2007-12-26 Nexidia Inc INTERROGATIONS FOR THE DETECTION OF WORDS
US20060036438A1 (en) * 2004-07-13 2006-02-16 Microsoft Corporation Efficient multimodal method to provide input to a computing device

Also Published As

Publication number Publication date
US8670977B2 (en) 2014-03-11
US20140188474A1 (en) 2014-07-03
US20110173226A1 (en) 2011-07-14
US7912699B1 (en) 2011-03-22
US9965552B2 (en) 2018-05-08
JP2006058899A (ja) 2006-03-02
CA2515613A1 (en) 2006-02-23
CN1741132A (zh) 2006-03-01
EP1630705A2 (en) 2006-03-01
US9286890B2 (en) 2016-03-15
US20180253490A1 (en) 2018-09-06
EP1630705A3 (en) 2006-10-04
US20160179947A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US9965552B2 (en) System and method of lattice-based search for spoken utterance retrieval
Saraclar et al. Lattice-based search for spoken utterance retrieval
US10176802B1 (en) Lattice encoding using recurrent neural networks
Yu et al. A hybrid word/phoneme-based approach for improved vocabulary-independent search in spontaneous speech.
US8019604B2 (en) Method and apparatus for uniterm discovery and voice-to-voice search on mobile device
Hori et al. Open-vocabulary spoken utterance retrieval using confusion networks
EP1949260B1 (en) Speech index pruning
US6877001B2 (en) Method and system for retrieving documents with spoken queries
US20090043581A1 (en) Methods and apparatus relating to searching of spoken audio data
US20110145214A1 (en) Voice web search
JP2004133880A (ja) インデックス付き文書のデータベースとで使用される音声認識器のための動的語彙を構成する方法
GB2451938A (en) Methods and apparatus for searching of spoken audio data
Cernocky et al. Search in speech for public security and defense
Natarajan et al. A scalable architecture for directory assistance automation
Lin et al. Spoken keyword spotting via multi-lattice alignment.
Shao et al. A fast fuzzy keyword spotting algorithm based on syllable confusion network
Li et al. Improving voice search using forward-backward lvcsr system combination
Shao et al. Towards vocabulary-independent speech indexing for large-scale repositories.
Li et al. Large list recognition using voice search framework
Shao et al. Fast Vocabulary-Independent Audio Search Based on Syllable Confusion Network Indexing in Mandarin Spontaneous Speech
Ajmera et al. A Cross-Lingual Spoken Content Search System.
Parthasarathy et al. Directory retrieval using voice form-filling
Akbacak et al. Spoken proper name retrieval in audio streams for limited-resource languages via lattice based search using hybrid representations
Cernocky et al. Search in speech, language identification and speaker recognition in Speech@ FIT
Li et al. Improving automatic speech recognizer of voice search using system combination

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application