KR20040103443A - 고도의 대화형 인터페이스를 위한 의미 객체 동기 이해 - Google Patents
고도의 대화형 인터페이스를 위한 의미 객체 동기 이해 Download PDFInfo
- Publication number
- KR20040103443A KR20040103443A KR1020040038493A KR20040038493A KR20040103443A KR 20040103443 A KR20040103443 A KR 20040103443A KR 1020040038493 A KR1020040038493 A KR 1020040038493A KR 20040038493 A KR20040038493 A KR 20040038493A KR 20040103443 A KR20040103443 A KR 20040103443A
- Authority
- KR
- South Korea
- Prior art keywords
- input
- user
- semantic
- information
- computer
- Prior art date
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 7
- 230000002452 interceptive effect Effects 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims description 46
- 238000009877 rendering Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004883 computer application Methods 0.000 claims description 5
- 150000003839 salts Chemical class 0.000 claims 2
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000013515 script Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 241001422033 Thestylus Species 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/193—Formal grammars, e.g. finite state automata, context free grammars or word networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/197—Probabilistic grammars, e.g. word n-grams
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
- Machine Translation (AREA)
Abstract
오디오 캡셔닝(audio captioning)을 여전히 진행하면서 부분 의미 구문분석(partial semantic parse)을 동적으로 보고하는 음성 입력 모드(speech input mode)를 제공하는 방법 및 시스템. 상기 의미 구문분석은 상기 사용자에게 즉시 보고되는 결과를 사용하여 평가될 수 있다. 이는, 전체적으로, 시스템 순번에서 종래 수행되는 작업이 이제는 사용자 순번 동안 수행될 수 있음으로써, 순번을 교대하는(turn taking) 구두 대화와는 상당히 다르게 되는 효과가 있다.
Description
본 발명은 컴퓨터 시스템에서의 정보의 액세스 및 렌더링에 관한 것이다. 보다 상세하게는, 인식(recognition) 및 이해(understanding)를 사용한 정보의 액세스에 관한 것이다.
최근, 사용자가 음성 명령을 제공하여 컴퓨터 시스템에 대한 정보를 액세스를 할 수 있게 하는 기술이 발전되어 왔다. 사용자 명령의 수신시에, 컴퓨터 시스템이 원하는 동작을 컴퓨터 시스템은 사용자 입력에 대하여 음성 인식을 수행하고 수행하기 위해서는 사용자의 의도를 확인하기 위해 입력을 더 처리한다.
몇몇 상황에서, 사용자에 의해 제공된 입력이 불충분하거나 불명확한 경우에는, 컴퓨터는 시각(visual) 또는 가청(audible) 프롬프트의 형태로 사용자에게 추가 정보를 요청할 수 있다. 따라서, 사용자와 컴퓨터 시스템 사이에 대화가 설정될 수 있으며, 이 경우에는 사용자의 의도가 확인되어 동작이 수행될 수 있을 때까지 각자 번갈아가며 질문, 응답, 및/또는 인식 등을 제공한다. 다른 상황에서, 이러한 대화를 하는 것은 컴퓨터 시스템과 상호작용하는데 있어 바람직한 모드이다.
음성 응용 언어 태그(Speech Application Language Tags; SALT)는 최신 사용자 인터페이스 설계에 있어서 경쟁력있는 입출력 모드로서 음성을 이용하도록 도입되어 왔다. SALT에서 설계 목표는 일반 음성 작업이 프로그램하기에는 용이하지만, 간단한 구현을 통해 개선된 성능을 구비할 수 있도록 하는 것이다. SALT는 많은 애플리케이션에서 설계되었다. 예를 들어, 오로지 음성 대화만으로 사용자와 상호작용하는 전화 기반의 음성 전용 애플리케이션이 그것이다.
SALT는 음성 입출력 객체("듣기(listen)" 및 "프롬프트(prompt)")를 포함하며, 이들은 사용자 순번(turn)의 시작과 끝을 탐지하는 기술을 통합하는 모드 설계를 구비한다. 따라서, 많은 음성 애플리케이션은 사용자에게 사용자 순번의 개시를 알리도록 요구하는 사용자 인터페이스를 채용한다. 몇몇 컴퓨터 시스템은 착용가능 컴퓨터, 음성가능 모드(speech enabled mode) 또는 다중 모드(마우스와 같은 입력 장치에 의해 선택된 필드에 대하여 제공되는 음성입력) 장치 및 기타 시각에 의존하지 않는(eyes-free) 애플리케이션을 포함한다. 그럼에도 불구하고, 이들 각각의 환경에서, 대화에서 사용자와 컴퓨터 시스템의 순번에 대한 명확한 정의가 여전히 존재한다.
그러나, 사람들 간의 대화는 통상 참가자들 사이에 명확하고 번갈아가며 하는 대화는 아니다. 그보다는, 대화는 한 참가자가 응답, 확인, 질문 등을 하는 반면, 다른 참가자는 화자(speaker)가 정보를 제공하는 태도에 과도하게 영향을 주거나 영향의 거의 주지 않거나 영향을 전혀 주지 않는 정보를 제공하는 식으로 이루어질 수 있다. 말하는 사람은 이러한 자연스러운 형태의 대화를 즐긴다. 유사하게, 전화 시스템도 이러한 대화가 이루어지도록 양방향(full duplex) 기술을 채용하고 있다.
이와 달리, 대화 기반 인터페이스는 사용자와 컴퓨터 시스템 간의 동작의 경직된 순번을 사용하여, 다음 동작을 취하여 처리하기 전에는, 컴퓨터 시스템이 사용자의 대화가 끝날 때까지 기다리게 한다. 비록 컴퓨터 화면에 걸쳐 일련의 도트처리와 같은 시각적 표시 따위의 단순 피드백이 사용자에게 컴퓨터 시스템이 적어도 무언가를 처리하고 있다는 일종의 확신을 줄 수는 있지만, 사용자가 그/그녀의 순번을 끝내고 컴퓨터 시스템이 응답할 때까지는, 컴퓨터 시스템이 어느 정도 이해하고 있는지는 모르게 된다.
따라서, 인식 및 이해에 기초한 컴퓨터 시스템의 개선이 요청된다. 이러한 개선은 사용자에게 보다 자연스럽게 됨으로써 사용하기에 보다 용이할 수 있는 정보를 액세스하는 시스템 및 방법을 제공한다.
도 1은 데이터 프리젠테이션 시스템의 블록도.
도 2는 컴퓨팅 장치 운영 환경의 평면도.
도 3은 도 2의 컴퓨팅 장치의 블록도.
도 4는 전화기의 평면도.
도 5는 범용 컴퓨터의 블록도.
도 6은 클라이언트/서버 시스템에서의 아키텍쳐의 블록도.
도 7은 음성 인식 및 이해 모듈의 블록도.
<도면의 주요 부분에 대한 부호의 설명>
12 : 음성 인터페이스 모듈
14 : 음성 인식 및 이해 모듈
16 : 애플리케이션 모듈
306 : 음성 인식기
310 : 언어 모델
본 발명의 방법 및 시스템은 오디오 캡션이 여전히 진행하면서 부분 의미 구문분석(partial semantic parse)을 동적으로 보고하는 음성 입력 모드를 제공한다. 의미 구문분석은 사용자에게 즉시 보고되는 출력으로 평가될 수 있다. 이는 전체적으로 시스템 순번에서 통상적으로 수행된 작업은 이제는 사용자 순번 중에서 수행됨으로써, 구두 대화의 순번 교대(turn-taking) 속성에서 상당히 벗어나게 된다는 효과가 있다.
통상, 본 발명의 일 양태는 컴퓨터 시스템과 상호작용하는 컴퓨터 구현 방법을 포함한다. 상기 방법은 사용자로부터 입력을 수신하여 처리를 위해 상기 입력을 캡쳐하는 것을 포함한다. 그 후, 상기 입력의 제1 부분에 속하고 의미 객체(semantic object)를 출력하는 의미 정보를 확인하기 위해서, 의미 입력에 대한 인식이 순차적으로 또는 동시에 수행된다. 의미 객체는 상기 제1 부분에 대한 의미 정보 뿐만 아니라 인식된 입력(예를 들어, 텍스트, 암호화된 텍스트, 압축된텍스트 등)에 따라 컴퓨터 애플리케이션에 의해 처리될 포맷의 데이터를 포함한다. 상술한 바와 같이, 다음 입력 부분에 대한 캡쳐가 계속 진행되면서 인식이 수행되고 의미 객체가 출력된다. 이러한 방법은 비가청적(non-audible) 입력, 예를 들어, 시각적 입력 또는 수기 인식 뿐만 아니라 음성과 같은 가청적 입력에 대해서도 구현될 수 있다.
상기 방법은 컴퓨팅 장치가 정보를 처리하여 본 방법을 수행하도록 구현되는 컴퓨팅 장치에 의해 판독가능한 명령을 포함하는 컴퓨터 판독가능 매체로 구현될 수 있다. 다른 실시예에서, 컴퓨터 판독가능 매체는 언어 모델을 구축하여 인식 및 이해를 수행하는 명령을 포함할 수 있다. 언어 모델은 인식된 입력에 따른 포맷으로 데이터를 제공하여 수신된 입력에 대한 의미 정보를 제공하도록 조절된다.
<실시예>
도 1은 음성 입력에 기초한 데이터를 렌더링하는 데이터 프리젠테이션 시스템(10)의 블록도이다. 시스템(10)은 음성 인터페이스 모듈(12), 음성 인식 및 이해 모듈(14) 및 데이터 렌더링 모듈(16)을 포함한다. 사용자는 음성 인터페이스 모듈(12)에 음성 질의의 형태로 입력을 제공한다. 음성 인터페이스 모듈(12)은 사용자로부터 음성 정보를 수집하여 이를 나타내는 신호를 제공한다. 입력 음성이 음성 인터페이스 모듈(12)에 의해 수집된 후, 음성 인식 및 이해 모듈(14)이 음성 인식기를 사용하여 음성을 인식하고, 또한, 음성 이해를 수행하는데, 여기서, 본 발명의 일 양태는 오디오 음성 입력이 여전히 캡쳐되는 동안, 그때까지 수신된 입력의 부분 의미 구문분석을 제공한다.
통상, 확인된 의미 정보 뿐만 아니라 수신된 입력에 대한 텍스트(또는 입력의 텍스트를 나타내는 다른 데이터)도 포함하는 부분 의미 구문분석으로서, 다수의 서로 다른 형태를 가질 수 있는 애플리케이션 모듈(16)에 제공된다. 예를 들어, 일 실시예에서 애플리케이션(16)은 이메일을 전송, 수신 및 응답하고 일정을 조정하는 등에 사용되는 개인 정보 관리자일 수 있다. 이러한 방식으로, 사용자는 이들 작업을 수행하기 위한 가청 명령(audible command)을 제공할 수 있다. 그러나, 보다 중요한 것은, 애플리케이션 모듈(16)이 대화형 피드백을 제공하고 및/또는 부분 의미 구문분석 정보의 수신시에 이에 대한 동작을 수행함으로써, 애플리케이션 모듈(16)에 대한 매우 고도의 대화형 인터페이스를 사용자에게 제공할 수 있다. 예를 들어, 음성 전용 동작 모드에서, 물론 애플리케이션에 관련된 다른 작업을 수행할 수 있으면서, 출력(20)은 사용자에게 들릴 수 있는 말(statement)을 포함할 수 있다. 부분 의미 구문분석 또는 의미 객체는 애플리케이션 내의 대화 논리(dialog logic)를 실행하는데 사용될 수 있다. 예를 들어, 대화 논리는 하나 이상의 의미 객체에 기반하여 사용자에게 하나의 옵션 또는 복수개 또는 일련의 옵션을 제공할 수 있다.
이는 시스템(10)이 부분적인 발언(utterance)에 기초하여, 즉, 사용자 순번이 끝나기 전에, 출력을 보고할 수 있게 한다. 다시 말하면, 이면(back channel) 통신을 사용하여 시스템 순번과 관련된 작업을 정상적으로 보고 및 수행함으로써, 사용자와 시스템의 순번에 대한 정의가 불명확해진다. 대부분은 종래의 대화 연구에서, 특히, 사람들 간의 대화에 기초한 것에는, 이면 통신을 긍정, 부정 또는 중립 응답과 같은 단순 신호만을 전달하는 비침입적 피드백(non-intrusive feedback)으로 종종 판단하였다. 그러나, 출력(20)에 의해 제공된 피드백은 진행중인 사용자 발언에 대하여 다소 침입적일 수 있도록 보다 많은 정보를 잠재적으로 전송할 수 있게 되어, 사용자가 사용자의 의도 또는 지시를 명확하게 하거나 하지 않게 할 수 있다. 그럼에도 불구하고, 이러한 접근 방식은 사용자와 시스템(10) 간의 보다 현실적인 사람들 간의 대화를 제공하여, 많은 경우 성가시다기보다는 사용자에게 보다 편안하고 사용자의 요구가 충족될 수 있다는 확신을 심어주게 된다.
이 점에서, 본 발명은 음성 전용 운영 환경에 국한되는 것이 아니라, 부분 의미 구문분석 또는 객체의 처리에 기초하여 사용자에게 다른 형태의 피드백을 제공할 수 있다. 예를 들어, 애플리케이션 모듈(16)이 이메일 작업을 수행하는 상술한 애플리케이션에서, 출력(20)은 "이메일 전송 Bob에게"를 포함하는 사용자로부터의 인터럽트되지 않은 명령에서 "이메일 전송"과 같은 어구(phrase)의 수신에만 기초하여 이메일 모듈을 활성화하는 등의 시각적 피드백(visual feedback)을 포함하며, 여기서, "Bob 에게"라는 어구의 처리는 애플리케이션 모듈이 데이터 저장매체(18)에서 추가 정보를 액세스하여 "Bob"이라는 이름을 갖는 사람의 리스트를 렌더링하게 한다. 이 리스트를 보자마자, 사용자는 의도된 수신자가 "Bob Green"임을 용이하게 식별는데, 시스템이 부분 발언 "Bob Green"에 대한 다른 의미 객체를 제공하여 선택될 수 있으며, 애플리케이션에 의한 수신시에, "Bob Green"이 선택될 수 있도록 처리된다.
상술한 바와 같이, 애플리케이션 모듈(16)은 후술하는 본 발명의 양태들이이로울 수 있는 많은 형태를 취할 수 있다. 제한없이, 애플리케이션 모듈(16)은 또한 사용자의 구두 입력(spoken input)의 텍스트 출력을 제공하는 구술 모듈(dictation module)일 수 있다. 그러나, 부분 입력 뿐만 아니라 입력의 어구에 대한 의미 정보를 처리함으로써, 보다 정확한 복사본(transcription)이 획득될 수 있다.
이상, 음성 명령을 포함하는 사용자로부터의 입력에 대하여 설명하였지만, 본 발명의 양태들은 수기, DTMF, 몸동작 또는 시각 표시 등의 다른 형태의 입력에 또한 적용될 수 있다.
상기 넓은 응용 가능성의 부분 의미 구문분석 또는 객체를 처리하는 경우, 상술한 시스템(10)에서 동작할 수 있는 일반적인 컴퓨팅 장치를 설명하는 것이 유용할 수 있다. 당업자가 이해할 수 있는 바와 같이, 시스템(10)의 콤포넌트는 네트워크 접속 및 프로토콜을 사용하여 분산 컴퓨팅 환경에 걸쳐 분산되거나 단일 컴퓨터 내에 위치할 수 있다.
도 2를 이제 참조하면, 데이터 관리 장치(PIM, PDA 등)와 같은 이동 장치의 예시적인 형태가 30에 예시되어 있다. 그러나, 본 발명은 후술하는 다른 컴퓨팅 장치를 사용하여 또한 실시될 수 있다. 예를 들어, 전화기 및/또는 데이터 관리 장치는 또한 본 발명으로부터 이익을 얻을 수 있다. 이들 장치는 기존 휴대용 개인 정보 관리 장치 및 기타 휴대 전자 장치에 비해 개선된 유용성을 가질 수 있다.
도 2에 예시되어 있는 데이터 관리 이동 장치(30)의 예시적인 형태에서, 이동 장치(30)는 하우징(32)을 포함하고, 스타일러스(33)와 함께 접촉형 디스플레이화면을 사용하는 디스플레이(34)를 포함하는 사용자 인터페이스를 가질 수 있다. 스타일러스(33)는 지정된 좌표에서 디스플레이(34)를 누르거나 접촉하는데 사용되어, 필드를 선택하고, 커서의 시작 위치를 선택적으로 이동하거나 몸동작 또는 수기 등을 통해 명령 정보를 제공한다. 대안으로 또는 추가적으로, 하나 이상의 버튼(35)이 네비게이션을 위해 장치(30) 상에 포함될 수 있다. 또한, 회전가능 휠, 롤러 등과 같은 다른 입력 메터니즘이 제공될 수 있다. 그러나, 본 발명은 이러한 형태들의 입력 메커니즘에 국한시키려는 것이 아님이 이해되어져야 한다. 예를 들어, 다른 형태의 입력이 컴퓨터 비전(computer vision) 등에 의하는 것과 같은 시각적 입력을 포함할 수 있다.
도 3을 이제 참조하면, 블록도는 이동 장치(30)를 포함하는 기능 콤포넌트를 예시한다. 중앙 처리부(CPU; 50)는 소프트웨어 제어 펑션을 구현한다. CPU(50)가 디스플레이(34)에 접속됨으로써 제어 소프트웨어에 따라 생성된 텍스트와 그래픽 아이콘이 디스플레이(34) 상에 나타나게 된다. 스피커(43)는 가청 출력을 제공하기 위해 디지털 아날로그 컨버터(59)를 통상 사용하여 CPU(50)에 바인딩될 수 있다. 사용자에 의해 이동 장치(30)에 입력되거나 다운로드되는 데이터는 CPU(50)에 양방향으로 바인딩된 비휘발성 판독/기입 랜덤 액세스 메모리 저장(54) 내에 저장된다. 랜덤 액세스 메모리(RAM; 54)는 CPU(50)에 의해 실행되는 명령에 대한 휘발성 스토리지, 및 레지스터 값과 같은 임시 데이터를 저장하는 스토리지를 제공한다. 구성 옵션 및 기타 변수에 대한 기준값은 판독 전용 메모리(ROM; 58)에 저장된다. ROM(58)은 또한 이동 장치의 기본 기능(30) 및 다른 운영 체체 커널 펑션(예를 들어, 소프트웨어 콤포넌트의 RAM(54)으로의 로딩)을 제어하는 장치에 대한 운영 시스템 소프트웨어를 저장하는데 사용될 수 있다.
RAM(54)은 또한 애플리케이션 프로그램을 저장하는데 사용되는 PC 상의 하드 드라이브의 기능과 유사한 방식으로 코드에 대한 스토리지로서 역할할 수 있다. 코드를 저장하는데 비휘발성 메모리가 사용되지만, 그와 달리 코드의 실행에 사용되지 않는 휘발성 메모리에도 저장될 수도 있음이 인식되어져야 한다.
무선 신호는 CPU(50)에 바인딩되어 있는 무선 트랜시버(52)를 통해 이동 장치에 의해 전송/수신될 수 있다. 선택적 통신 인터페이스(60)는 컴퓨터(예를 들어, 데스크탑 컴퓨터)로부터 또는 원하는 경우 유선 네트워크로부터 직접 데이터를 다운로드받기 위해 제공될 수 있다. 따라서, 인터페이스(60)는 예를 들어, 적외선 링크, 모뎀, 네트워크 카드 등의 여러 형태의 통신 장치를 포함할 수 있다.
이동 장치(30)는 마이크로폰(29), 및 아날로그 디지털(A/D) 컨버터(37) 및 저장매체(54)에 저장되어 있는 선택적 인식 프로그램(음성, DTMF, 수기, 몸동작 또는 컴퓨터 비전)을 포함한다. 예를 들면, 장치(30)의 사용자로부터의 가청 정보, 지시 또는 명령에 응답하여, 마이크로폰(29)은 A/D 컨버터(37)에 의해 디지털화된 음성 신호를 제공한다. 음성 인식 프로그램은 디지털화된 음성 신호에 대한 정규화 및/또는 특징 추출을 수행하여 중간의 음성 인식 결과를 획득한다. 무선 트랜시버(52) 또는 통신 인터페이스(60)를 사용하여, 음성 데이터는 후술되고 도 4의 아키텍쳐에 예시되어 있는 원격 인식 서버(204)에 전송될 수 있다. 인식 결과는 그 후 이동 장치(30)에 그에 대한 렌덩링을 위해(예를 들어, 시각 및/또는 가청)리턴되어 종국적으로 웹서버(202; 도 6)에 전송될 수 있으며, 여기서, 웹서버(202)와 이동 장치(30)는 클라이언트/서버의 관계로서 동작한다.
유사한 처리가 다른 형태의 입력에 대하여 사용될 수 있다. 예를 들어, 수기 입력(handwriting input)은 장치(30) 상의 전처리를 하거나 또는 전처리 없이 디지털화될 수 있다. 음성 데이터와 유사하게, 이러한 형태의 입력은 인식을 위해 인식 서버(204)에 전송될 수 있으며, 여기서, 인식 결과는 장치(30) 및/또는 웹 서버(202) 중의 적어도 하나에 리턴된다. 유사하게, DTMF 데이터, 몸동작 데이터 및 시각 데이터는 유사하게 처리될 수 있다. 입력 형태에 따라, 장치(30) (및 후술하는 다른 형태의 클라이언트)는 시각적 입력을 위해 카메라와 같은 필요한 하드웨어를 포함할 수 있다.
도 4는 휴대 전화(80)의 일 실시예의 평면도이다. 전화기(80)는 디스플레이(82)와 키패드(84)를 포함한다. 통상, 도 3의 블록도는 도 4의 전화기에 적용되지만, 다른 펑션을 수행하는데 필요한 추가적인 회로가 요구될 수 있다. 예를 들어, 전화기로서 동작하는데 요구되는 트랜시버가 도 3의 실시예에 대하여 요구될 수 있지만, 이러한 회로는 본 발명과는 관련되어 있지 않다.
상술한 휴대용 또는 이동 컴퓨팅 장치 뿐만 아니라, 본 발명은 범용 데스크탑 컴퓨터와 같은 수많은 다른 컴퓨팅 장치를 가지고 사용될 수 있음이 이해되어져야 한다. 예를 들어, 본 발명은 장애를 갖고 있는 사용자가 영숫자(alpha-numeric) 키보드와 같은 다른 종래의 입력 장치를 작동하기에 매우 어려울 경우에 컴퓨터 또는 다른 컴퓨팅 장치에 텍스트를 입력 또는 엔터할 수 있게 할 것이다.
또한, 본 발명은 다수의 다른 범용 또는 특정 목적의 컴퓨팅 시스템, 환경 또는 구성을 사용하여 동작할 수 있다. 공지의 컴퓨팅 시스템, 환경 및/또는 본 발명에 사용하기에 적합할 수 있는 구성의 예들은 일반적인 전화기(화면이 없는 것), 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 장치, 태블릿 컴퓨터, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그래머블 소비자 전자제품, 및 상기 시스템 또는 장치 중의 임의의 것을 포함하는 분산 컴퓨팅 환경을 포함하지만 이에 국한된 것은 아니다.
이하, 도 5에 예시된 범용 컴퓨터(120)을 간략하게 설명한다. 그러나, 컴퓨터(120)는 적합한 컴퓨팅 환경의 단지 일 예이며, 본 발명의 기능의 범위에 대한 어떠한 제한도 암시하려는 것은 아니다. 또한, 컴퓨터(120)는 여기서 설명된 콤포넌트 중의 임의의 하나 또는 그 조합에 관한 임의의 의존성 또는 요건을 갖는 것으로 파악되어서는 안된다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령의 경우에 대하여 설명할 것이다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터형을 구현하는 루틴, 프로그램, 오브젝트, 콤포넌트, 데이터 구조를 포함한다. 또한, 본 발명은 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 스토리지 장치를 포함하는 로컬 및 원격 컴퓨터 스토리지 매체에 위치할 수 있다. 프로그램 및 모듈에 의해 수행되는 작업은 도면을 참조하여 이하 설명한다. 당업자는 임의 형태의 컴퓨터 판독가능 매체상에 기재될 수 있는 프로세서 실행가능 명령으로 설명 및 도면을 구현할 수 있다.
도 5를 참조하면, 컴퓨터(120)의 콤포넌트는 처리부(140), 시스템 메모리(150), 및 시스템 메모리를 포함하는 여러 시스템 콤포넌트를 처리부(140)에 바인딩시키는 시스템 버스(141)를 포함할 수 있지만 이에 국한되지는 않는다. 시스템 버스(141)는 메모리 버스 또는 메모리 컨트롤러, 병렬 버스 및 다양한 버스 구조 중의 임의의 것을 사용하는 로컬 버스를 포함하는 여러 유형의 버스 구조 중의 임의의 것일 수 있다. 예를 들면 - 한정이 아님 -, 이러한 아키텍쳐는 산업 표준 아키텍쳐 (ISA) 버스, 범용 직렬 버스(USB), 마이크로 채널 아키텍쳐(MCA) 버스, 개선된 ISA(EISA) 버스, 비디오 전자 표준 협회(VESA) 로컬 버스, 및 메자닌(Mezzanine) 버스로도 불리는 주변 콤포넌트 상호접속(PCI) 버스를 포함한다. 컴퓨터(120)는 통상 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(120)에 의해 액세스될 수 있는 임의의 입수 가능 매체일 수 있으며, 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하는 임의의 입수가능 매체일 수 있다. 예를 들면 - 한정이 아님 -, 컴퓨터 판독가능 매체는 컴퓨터 스토리지 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 스토리지 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광디스크 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 장치, 도는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨터(120)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만 이에 국한되지 않는다.
통신 매체는 통상 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 반송파 혹은 다른 전송 메커니즘 등의 변조된 데이터 신호에서의 다른 신호를 구체화하며 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호 내의 정보를 암호화하기 위한 방식으로 설정 또는 변경되는 하나 이상의 특성을 갖는 신호를 의미한다. 예를 들어 - 한정이 아님 -, 통신 매체는 유선 네트워크 또는 다이렉트 유선 접속과 같은 유선 매체, 그리고 어쿠스틱, FR, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함한다. 상술한 것의 임의의 조합은 컴퓨터 판독가능 매체의 범주에 또한 포함될 수 있다.
시스템 메모리(150)는 판독 전용 메모리(ROM; 151) 및 랜덤 액세스 메모리(RAM; 152)와 같은 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 스토리지 매체를 포함한다. 시동 중과 같이 컴퓨터(120) 내 요소들 간의 정보를 전송할 수 있게 하는 기본 루틴을 포함하는 기본 입출력 시스템(153; BIOS)은 통상 ROM(151) 내에 저장되어 있다. RAM(152)은 통상 즉시 액세스가능하고 및/또는 처리부(140)에 의해 현재 동작되는 데이터 및/또는 프로그램 모듈을 포함한다. 예를 들어 - 한정이 아님 -, 도 5는 운영 체제(154), 애플리케이션 프로그램(155), 다른 프로그램 모듈(156), 및 프로그램 데이터(157)를 예시하고 있다.
컴퓨터(120)는 다른 분리형/비분리형 휘발성/비휘발성 컴퓨터 스토리지 매체를 또한 포함할 수 있다. 단지 예를 들면, 도 5는 비분리형 비휘발성 자기 매체로부터 판독하거나 이에 기입하는 하드 디스크 드라이브(161), 분리형 비휘발성 자기 디스크(172)로부터 판독하거나 이에 기입하는 자기 디스크 드라이브(171), 및 CD ROM 또는 다른 광매체와 같이 분리형 비휘발성 광디스크(176)로부터 판독하거나 이에 기입하는 광디스크 드라이브(175)를 예시하고 있다. 예시적인 운영 환경에서 사용될 수 있는 다른 분리형/비분리형, 휘발성/광휘발성 컴퓨터 스토리지 매체는 자기 테이프 카세트, 플래시 메모리 카드, 디지털 다기능 디스크, 디지털 비디오 테이프, 고체상태 RAM, 고체상태 ROM 등을 포함하며 이에 국한되지 않는다. 하드 디스크 드라이브(161)는 인터페이스(160)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(141)에 통상 접속되며, 자기 디스크 드라이브(171)와 광디스크 드라이브(175)는 인터페이스(170)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(141)에 통상 접속된다.
위에서 설명되고 도 5에서 예시되어 있는 드라이브 및 관련 컴퓨터 스토리지 매체는 컴퓨터(120)에 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 및 기타 데이터를 제공한다. 도 5에서, 예를 들면, 하드 디스크 드라이브(161)는 운영 체제(164), 애플리케이션 프로그램(165), 다른 프로그램 모듈(166), 및 프로그램 데이터(167)를 저장하는 것으로 예시되어 있다. 이들 콤포넌트는 운영 체제(154), 애플리케이션 프로그램(155), 다른 프로그램 모듈(156), 및 프로그램 데이터(157)와 동일 또는 상이할 수 있다. 운영 체제(164), 애플리케이션 프로그램(165), 다른 프로그램 모듈(166), 및 프로그램 데이터(167)는 적어도 그들이 서로 다른 복사본임을 나타내기 위해 여기서 서로 다른 번호들이 부여된다.
사용자는 키보드(182), 마이크로폰(183), 및 마우스, 트랙볼 또는 터치패드와 같은 포인팅 장치(181) 등의 입력 장치를 통해 컴퓨터(120)에 명령과 정보를 입력한다. 다른 입력 장치(미도시)는 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 장치는 시스템 버스에 바인딩되어 있는 사용자 입력 인터페이스(180)를 통해 처리부(140)에 종종 접속되지만, 병렬 포트, 게임 포트 또는 범용 직렬 버스(USB)와 같은 다른 인터페이스와 버스 구조에 의해 접속될 수도 있다. 모니터(184) 또는 다른 유형의 디스플레이 장치는 비디오 인터페이스(185)와 같은 인터페이스를 통해 시스템 버스(185)에 또한 접속된다. 모니터 뿐만 아니라, 컴퓨터도 또한 출력 병렬 인터페이스(188)에 접속될 수 있는 스피커(187) 및 프린터(186)와 같은 다른 주변 출력 장치를 포함할 수 있다.
컴퓨터(120)는 원격 컴퓨터(194)와 같은 하나 이상의 원격 컴퓨터에 대한 논리적 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 이 원격 컴퓨터(194)는 개인용 컴퓨터, 핸드헬드 장치, 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 공통 네트워크 노드일 수 있으며, 통상 컴퓨터(120)에 대하여 상술한 요소의 다수 또는 모두를 포함한다. 도 5에 도시되어 있는 논리적 접속은 근거리 네트워크(LAN; 191) 및 원거리 네트워크(WAN; 193)를 포함하지만 다른 네트워크를 포함할 수도 있다. 이러한 네트워킹 환경은 사무실, 범사내망, 인트라넷 및 인터넷에서는 흔한 것이다.
LAN 네트워킹 환경에서 사용되는 경우, 컴퓨터(120)는 네트워크 인터페이스 또는 어댑터(190)를 통해 LAN(191)에 접속된다. WAN 네트워킹 환경에서 사용되는경우, 컴퓨터(120)는 통상 모뎀(192) 또는 인터넷과 같은 WAN(193)을 통해 통신을 설정하는 다른 수단을 포함한다. 모뎀(192)은 내장형 또는 외장형일 수 있으며, 사용자 입력 인터페이스(180) 또는 다른 적절한 메커니즘을 통해 시스템 버스(141)에 접속될 수 있다. 네트워크화된 환경에서, 컴퓨터(120) 또는 그 일부에 대하여 도시된 프로그램 모듈은 원격 메모리 스토리지 장치에 저장될 수 있다. 예를 들면 - 한정이 아님 -, 도 5는 원격 컴퓨터(194)에 상주하는 것으로 원격 애플리케이션 프로그램(195)을 예시하고 있다. 도시된 네트워크 접속은 예시적이며 컴퓨터들 간의 통신 링크를 설정하는 다른 수단이 사용될 수 있음이 이해될 것이다.
도 6은 본 발명의 예시적인 환경인 웹기반 인식 및 데이터 렌더링을 위한 아키텍쳐(200)을 예시한다. 일반적으로, 웹서버(202)에 저장된 정보는 이동 장치(30) 또는 컴퓨터(120)(여기서, 입력 형태에 따라 요구되는 디스플레이 스크린, 마이크로폰, 카메라, 터치형 패널 등을 구비한 다른 형태의 컴퓨팅 장치를 나타냄)와 같은 클라이언트(100)를 통해, 또는 정보가 들릴 수 있게 요구되는 전화기(80)를 통해, 또는 눌려진 키에 응답하여 폰(80)에 의해 생성된 톤을 통해 액세스될 수 있으며, 여기서 웹서버(202)로부터의 정보는 이 사용자에게만 들릴 수게 제공된다.
이 실시예에서, 정보가 음성 인식을 사용하여 클라이언트(100)를 통해서든 또는 전화기(80)를 통해서든 획득되어, 단일 인식 서버(204)는 어떤 동작모드이든 지원할 수 있다는 점에서 아키텍쳐(200)는 통합된다. 또한, 아키텍쳐(200)는 공지의 마크업(markup) 언어의 확장(extension)을 사용하여 동작한다(예를 들어, HTML,XHTML, cHTML, XML, WML 등). 따라서, 웹서버(202) 상에 저장된 정보는 이들 마크업 언어에서 발견되는 공지의 GUI 방법을 사용하여 또한 액세스될 수 있다. 공지의 마크업 언어의 확장을 사용하여, 웹서버(202) 상에서의 저작(authoring)은 보다 용이하며, 현재 존재하는 레거시 애플리케이션은 음성 인식을 포함하도록 용이하게 변형될 수 있다.
통상, 클라이언트(100)는 브라우저를 사용하여 웹서버(202)에 의해 제공되는 206에서 일반적으로 나타낸 HTML 페이지, 스크립트 등을 실행한다. 음성 인식이 요구되는 경우, 예를 들어, 디지털화된 오디오 신호일 수 있는 음성 데이터 또는 상술한 바와 같이 클라이언트(100)에 의해 오디오 신호가 전처리되는 음성 특징은 음성 인식 동안 사용하기 위해 클라이언트(100)에 의해 제공될 수 있는 문법 또는 언어 모델(220)의 지시로 인식 서버(204)에 제공된다. 다르게는, 음성 서버(204)는 언어 모델(220)을 포함할 수 있다. 인식 서버(204)의 구현은 많은 형태를 취할 수 있지만 - 이 중 하나가 설명됨 -, 통상 인식기(211)를 포함한다. 인식의 결과는 원하거나 적절한 경우 로컬 렌더링을 위해 클라이언트(100)에 다시 제공된다. 원하는 경우, 텍스트 대 음성 모듈(text-to-speech module; 222)은 구두 텍스트를 클라이언트(100)에 제공하는데 사용될 수 있다. 사용된다면, 인식 및 임의의 그래픽 사용자 인터페이스에 의한 정보를 컴파일할 때, 필요하다면, 클라이언트(100)는 추가 처리 및 추가 HTML 페이지/스크립트의 수신을 위해 웹 서버(202)에 정보를 전송한다.
도 6에 나타낸 바와 같이, 클라이언트(100), 웹 서버(202) 및 인식서버(204)는 네트워크(205) - 여기서는, 인터넷과 같은 광역 네트워크 - 를 통해 공통 접속되고, 개별 어드레싱가능하다. 따라서, 이들 장치중 임의의 것이 서로 물리적으로 인접 배치될 필요는 없다. 특히, 웹 서버(202)가 인식 서버(204)를 포함할 필요는 없다. 이러한 방식으로, 웹 서버(202)에서의 저작은 저작자가 인식 서버(204)의 복잡함을 인식할 필요없이 의도되는 애플리케이션에 집중할 수 있다. 그 대신, 인식 서버(204)는 네트워크에 독립적으로 설계되고 접속되어, 그에 따라 웹 서버(202)에서 요구되는 추가 변경없이 갱신되고 개선될 수 있다. 웹 서버(202)는 또한 클라이언트측 마크업 및 스크립트를 동적으로 생성할 수 있는 저작을 포함할 수 있다. 다른 실시예에서, 웹 서버(202), 인식 서버(204) 및 클라이언트(100)는 구현 머신의 성능에 의존하여 바인딩될 수 있다. 예를 들어, 클라이언트(100)가 범용 컴퓨터, 예를 들면, 개인용 컴퓨터를 포함하면, 클라이언트는 인식 서버(204)를 포함할 수 있다. 유사하게, 원하는 경우, 웹 서버(202) 및 인식 서버(204)는 단일 머신에 통합될 수 있다.
전화기(80)에 의한 웹 서버(202)로의 액세스는 전화기(800)의 유선 또는 무선 전화망(208)으로의 접속을 포함하며, 그에 따라, 전화기(800)를 제3자 게이트웨이(210)에 접속하는 것도 포함한다. 게이트웨이(210)는 전화기(80)를 전화 음성 브라우저(212)에 접속시킨다. 전화 음성 브라우저(212)는 전화 인터페이스를 제공하는 매체 서버(214)와 음성 브라우저(216)를 포함한다. 클라이언트(100)와 같이, 또는 웹 서버(202)에서와 같이, 전화 음성 브라우저(212)는 HTML 페이지/스크립트를 수신한다. 일 실시예에서, HTML 페이지/스크립트는 클라이언트(100)에 제공되는 HTML 페이지/스크립트와 유사한 형태이다. 이러한 방식으로, 웹 서버(202)는 클라이언트(100)와 전화기(80)를 별도로 지원할 필요는 없거나 또는 심지어 표준 GUI 클라이언트를 별도로 지원할 필요가 없다. 그 대신, 일반 마크업 언어가 사용될 수 있다. 또한, 클라이언트(100)와 같이, 전화기(800)에 의해 전송되는 가청 신호로부터의 음성 인식이 네트워크(205)를 통해 또는 전용선(207), 예를 들어, TCP/IP를 통해 음성 브라우저(216)로부터 인식 서버(204)에 제공된다. 웹 서버(202), 인식 서버(204), 및 전화 음성 브라우저(212)는 도 5에 나타낸 범용 데스크탑 컴퓨터와 같은 임의의 적절한 컴퓨팅 환경에서 구현될 수 있다.
시스템(10)에서 동작하는 여러 환경 및 계층 구조를 기술함으로써, 시스템(10)의 다양한 콤포넌트와 펑션의 상세한 설명이 제공된다. 도 7은 음성 인식기 및 이해 모듈(14)의 블록도를 나타낸다. 음성 인터페이스 모듈(12)로부터 수신되는 입력 음성은 음성 인식 및 이해 모듈(14)에 전송된다. 음성 인식 및 이해 모듈(14)은 관련 언어 모델(310)을 구비하는 인식 엔진(306)을 포함한다. 인식 엔진(306)은 언어 모델(310)을 사용하여 입력을 구성하는 각각의 어구를 나타내도록 가능한 표면 의미 구조를 식별하여, 입력이 수신됨에 따라 부분 의미 구문분석 또는 객체를 제공한다. 사용자가 발언을 끝낸 것을 후에야 수신된 입력의 완성을 처리하는 시스템과는 달리, 모듈(14)은 그때까지 수신된 것에만 기초하여 의미 객체를 연속적으로 제공한다.
인식 엔진(306)은 부분적 발언에 기초하여 적어도 하나의 의미 출력 객체를 제공한다. 몇몇 실시예에서, 인식 엔진(306)은 각 다른 구조에 대한 하나 이상의다른 표면 의미 객체를 제공할 수 있다.
도 7에는 음성 입력이 제공되는 것으로 도시되어 있지만, 본 발명은 수기 인식, 몸동작 인식 또는 그래픽 사용자 인터페이스(사용자가 키보드 또는 다른 입력 장치와 상호작용하는 경우)에 사용될 수 있다. 이들 다른 실시예에서, 음성 인식기(306)는 당업계에 공지된 바와 같은 적절한 인식 엔진으로 대체된다. 그래픽 사용자 인터페이스에 대해서는, 문법(언어 모델을 구비)은 입력 상자와 같은 사용자 입력에 관련된다. 따라서, 사용자의 입력은 입력의 상태에 따라 중요한 변경없이 일정한 방식으로 처리된다.
부분 의미 구문분석 또는 객체에 기초하는 시스템(10)에 의한 다른 형태의 정보 피드백을 또한 포함하는 상술한 상호 대화는 SALT(음성 애플리케이션 언어 태그) 또는 기타 음성, 수기 및 해당 애플리케이션 및 의미 객체 동기 디코딩에 대한 선택된 스키마(schema)에 기초하여 의미 정보를 제공할 수 있는 언어 모델 구성을 지원하는 패턴 인식 API(애플리케이션 프로그램 인터페이스)를 사용하여 구현될 수 있다. SALT는 예를 들어, 개인용 컴퓨터, 전화기, 태블릿 PC 및 무선 이동 장치로부터 정보, 애플리케이션, 웹 서비스로의 액세스를 가능하게 하는 개발 중인 표준이지만, 또한, 네트워크에 걸쳐 상호접속 없이 또한 애플리케이션 인터페이스에 인가될 수 있다. SALT는 HTML, XHTML 및 XML과 같은 기존의 마크업 언어를 확장한다. SALT 1.0 규격은 http://www.SALTforum.org에서 온라인으로 구입할 수 있다. SALT는, 예를 들어, 음성 서버(204)로부터의 사용자 입력에 기초하는 의미 정보를 제공할 수 있으며, 이러한 정보는 발언 종료 후에 데이터 렌더링 모듈(16)에 제공되는 객체를 형성한다; 그러나, 아래에서 상세히 설명하는 바와 같이 SALT는 종래에는 고찰되지 않은 방식으로 부분 의미 구문분석 또는 객체를 제공하는데 사용될 수 있다. SALT 확장의 사용, 다른 API에서 유사한 확장의 사용은 고도의 대화형 이벤트 구동(event-driven) 사용자 상호작용에 대한 지원을 제공한다.
예를 들어, SALT를 사용하면, SALT 듣기 객체는 음성 인식 및 이해 작업 모두를 수행하는데 사용될 수 있다. 이는 디자인이 음성 이해를 음성 인식과 같이 패턴 인식의 문제로서 처리하는 관점 및 공식을 따르기 때문이다. 이들 양자는 모두 해당 음성 신호와 가장 잘 일치하는 것의 가능한 출력의 수집으로부터의 패턴을 발견하려 한다. 음성 인식에 있어서 발견될 패턴은 단어열(word string)이지만, 이해에 있어서는 의미 객체의 트리이다. 종래의 음성 인식 작업은 가능성 있는 단어열로 이루어진 언어모델을 사용하여 검색 처리를 지시한다. 유사한 방식으로, 음성 인식 작업은 의미 모델을 사용하여 적절한 의미 객체 트리를 만들 수 있도록 동일한 검색 엔진을 유도할 수 있다. 어휘집(lexicon)과 이 어휘집 입력으로부터 어구 분절(phase segment)의 작성 규칙을 포함하는 언어 모델과 같이, 의미 모델은 모든 의미 객체의 사전과 이들의 작성 규칙을 포함한다. 인식 출력은 텍스트열(text string)이지만, 이해 결과는 의미 객체의 트리이다.
구조화된 검색 결과를 리턴하기 위해 N-그램을 확장할 수 있지만, 대부분의 통상의 음성 이해 애플리케이션은 확률 문맥 무관 문법(PCFG)에 기초하며, 여기서 설계자는 큰 트리 뱅크 주석의 트레이닝 데이터(massive tree-bank annotated training data)없이도 의미 객체를 생성하는 규칙을 규정할 수 있다. 이러한 규칙들을 규정하는 방법들 중 하나는, 부분 PCFG 파싱 트리를 의미 객체 트리로 변환하는 방식에 대한 검색 엔진에 대한 생성 지침과 각 PCFG 규칙을 관련시키는 것이다. 마이크로소프트 음성 인식 인터페이스(SAPI)(본 발명에서 또한 사용될 수 있는 음성 API의 일례) 포맷에서 기재된 일례는 다음과 같다.
문법 세그먼트는 3개의 규칙을 포함한다. 첫번째는, "nyc"로 지정된 프리 터미널(pre-terminal)은 뉴욕시에 대한 표현을 열거한다. 이 예에서, <output> 태그는 의미 객체를 구성하는 규칙을 포함한다. 이들은 검색 경로가 이를 즉시 진행하는 토큰에 의해 지정되는 문법 노드에 나가는 경우 호출된다. 이러한 경우에, <city_location> 요소로 XML에서 표현된 의미 객체는, 검색 경로가 "nyc" 규칙을 나갈 때 생성된다. 의미 객체는 순번대로 3개의 의미 객체: 도시명, 주 명칭, 국각 명칭 약어를 각각 구성한다.
또한, 의미 객체의 구성은 예를 들어, 새로운 모임을 스케쥴하는 동적 프로세스일 수 있다. 예를 들어, Newmeeting 의미 객체는 사용자가 사용자가 날짜, 시간, 기간 및 참석자와 같은 모임 속성의 규정을 종료할 때 생성될 수 있다. 다른 의미 객체를 구성요소로서 Newmeeting 의미 객체에 붙이기하는데 템플릿이 사용될 수 있다. 동일한 원리가 또한 여기에 나타내지 않은 다른 규칙에 적용될 수 있다.예를 들면, "schedule a meeting with Li Deng and Alex Acero on January first for one hour"라는 발언은 다음의 의미 객체가 될 것이다.
실제 애플리케이션에서, PCFG 커버리지(coverage)의 개선은 힘든 작업이다. 따라서, 무엇보다도 주요 의미 정보를 포함하지는 않지만 구문 구조(예를 들어, "May I...", "Could you show me...", "Please show me...")에서의 상당한 변화를 갖는 기능성 어구(functioal phrase)를 모델링하는데 N-그램(N-gram)을 사용할 수 있는 것이 바람직하다. 일 실시예에서, 언어 모델(310)은 PCFG를 N-그램과 바인딩시키는 의미 언어 모델(semantic language model)을 포함한다. 이 기술은 역시 사용될 수 있는 통합 언어 모델(unified language model)과는 약간 상이하다. 통합 언어 모델은 N-그램 내에 개별 토큰(token)으로서 모델링되는, 단지 단어 리스트가 아닌, CFG 단편(fragment)을 허용한다는 점을 제외하면, 종래의 클래스 N-그램에 대한 자연 확장(natural extension)이다. 이러한 모델을 사용하는 인식기(306)는 다음에 파싱되어야 할 텍스트열을 또한 생성한다. 통합 언어 모델은 따라서 텍스트 복사본을 지원하는 특정 언어학적 구조를 통합하도록 설계된다.
반면에, 의미 언어 모델은 PCFG에 의해 캡쳐되는 것보다 통상 우수한 의미 구조에 대한 검색을 위해 디코더 또는 인식기를 사용하는 것을 목적으로 한다. 따라서, N-그램으로 CFG 단편을 임베딩(embedding)하는 대신, PCFG는 관심있는 N-그램에 대응하는 특정 PCFG 프리터미널을 생성함으로써 N-그램을 포함하는데 사용된다. 마이크로소프트 SAPI 문법 포맷에서, 이는 다음과 같이 XML <dictation> 태그를 갖는 전처리를 사용하여 나타낼 수 있다.
LCFG <dictaion max="inf"/> RCFG
여기서, LCFG와 RCFG는 임베디드된 N-그램의 좌측 및 우측 내용을 각각 나타낸다. 검색 프로세스는 <dictation> 태그를 토큰으로 처리하여 정상적인 비종단을 입력하는 것과 같이 N-그램에 확장한다. 태그에 대한 max 속성은 N-그램이 처리할 수 있는 소모될 수 있는 최대 단어수를 규정한다. 이러한 N-그램 내에서, 단어열 확률은 PCFG를 갖는 백오프(back-off) N-그램을 삽입함으로써 계산되며, 보다 상세하게는,
<식 1>
여기서, λ는 N-그램 삽입 가중치(insertion weight)이고, P(RCFG|wn-1, ...)는 N-그램의 백오프 확율을 사용하며, wn은 단어집에서 있는 것과 같이 취급된다. 일 실시예에서, P(wn|RCFG)항은 최대 N-그램 단어열 크기에 도달했는지 그리고 단어가CFG 단편의 커버리지 내에 있는지에 따라 단지 이진값을 가정한다. PCFG에서 도출되는 단어는 보다 높은 확률을 가지므로, 실제 CFG에 의해 커버되는 것에 속하는 경로는 최대 N-그램 단어수가 무한정으로 설정되는 경우에도 그들의 N-그램 대응부분보다 우선인 경향이 있다. 기능적 어구에 더하여, 임베디드되는 N-그램은 구술와 유사한 속성을 갖는 의미 객체를 모델링하는데 사용될 수 있다. 예를 들어, 모임 주제(subject)는 다음과 같은 작업에서의 모델이다.
<rule name="ApptSubject">
<p> <dictation max="inf"/> </p>
의미 언어 모델에 대한 세부사항은 2001년, 이탈리아 토렌토, Proc. ASRU-2001에서 K. Wang의 "Semantic modeling for dialog systems in a pattern recognition framework"에 설명되어 있으며, 이는 그 전체가 여기에 참조로서 통합된다.
본 발명의 다른 양태는 SALT 듣기(listen) 객체의 새로운 사용을 포함한다. SALT는 일련의 XML 요소에 관련 속성과 DOM 객체 속성, 이벤트 및 방법들을 제공하며, 이들은 소스 마크업 문서에 대하여 사용되고 소스 페이지를 음성 인터페이스에 인가할 수 있다. 통상, 주요 요소는 다음 사항을 포함한다:
<prompt ...> 음성 합성 구성 및 즉시 재생용
<listen ...> 음성 인식기 구성, 인식 실행과 후처리, 및 기록용
<dtmf ...> DTMF 구성 및 제어용
<smex ...> 플랫폼 콤포넌트와의 범용 통신용
또한, 듣기 및 dtmf 객체는 다음의 문법 및 바인딩 컨트롤(binding control)을 포함한다:
<grammar ...> 입력 문법 리소스의 규정용
<bind ...> 인식 결과의 처리용
듣기 요소는 3개의 인식 모드를 구별하는 "모드" 속성을 포함할 수 있으며, 이는 어떻게 그리고 언제 결과를 리턴할지에 대하여 인식 서버(예를 들어, 204)를 지시한다. 결과의 리턴값은 "onReco" 이벤트를 제공하거나 적절하다면 "bind" 요소를 활성화하는 것을 의미한다.
제1 모드인 "자동(automatic)"에서, 애플리케이션이 아닌 음성 플랫폼은 인식 프로세스를 정지할 때를 제어한다. 이 모드는 전화 또는 핸즈프리 시나리오에 대하여 개선되어 왔다. 인식 결과가 이용가능하게 되자마자 및/또는 침묵을 의미하는 기간이 경과하는 경우에, 음성 플랫폼은 인식기를 중단시켜 그 결과를 리턴하므로, 바인딩 요소를 통해 적절한 필드에 관련될 수 있다.
제2 모드인 "단일(single)" 동작에서, 인식 결과의 리턴은 명시적인 "중단(stop)" 호의 제어 하에 있다. 이 중단 호출은 사용자에 의한 "펜 업(pen-up)"과 같은 이벤트에 대응하며, 이 모드는 장치가 음성 입력을 허용하는 다중 모드에서 사용되도록 개발되었지만, 예를 들어, 스타일러스(33; 도 1)의 사용을 통해 필드를 언제 그리고 어느 것을 선택하는지가 제어된다.
음성 인식기의 제3 동작 모드는, "다중 모드(multiple mode)"이다. 이 동작 모드는 "오픈 마이크로폰(open microphone)"에 대하여 또는 구술 시나리오에서 사용된다. 통상, 이 동작모드에서, 인식 결과는 명시적 중단 호가 수신되거나 또는 미인식 입력에 관련된 기간 또는 듣기에 대한 최대 시간이 초과될 때까지의 구간에 리턴된다. 통상, 이 동작 모드에서, 인식되는 각 어구에 대하여, "onReco" 이벤트가 발행되어 중단() 호가 수신될 때까지 그 결과는 리턴된다.
그러나, 이 동작모드는 본 발명의 다른 양태와 같이, 검색 엔진이 사용자에게 보다 상호작용적인 성능을 제공할 수 있도록 그들을 현저한 언어적 경계표(salient linguistic landmark)가 도래할 때마다 즉시 보고할 수 있게 한다. 시간 동기 디코딩(time synchronous decoding)에 기반한 검색 알고리즘은 공지되어 있으며, 직접적 방식으로 이러한 모드에 대하여 채용될 수 있다. 이러한 알고리즘 중의 하나는 1999년 IEEE Signal Processing Magazine, pp. 64-83에 개시된 H. Ney와 S. Ortmanns에 의한 "Dynamic programming search for continuous speech recognition"에 기재되어 있다. 음성 인식에 있어서, 언어학 경계표는 단어 또는 어구 경계(boundary)에 항상 대응한다. 따라서, SALT 다중 모드 인식은 다수의 상용 구술 소프트웨어에서 흔히 볼 수 있는 UI 효과인 단어열 가정(word string hypotheses)을 가능한한 빨리 동적으로 표시하는데 사용될 수 있다. 그러나, 본 발명에서는, 다중 모드는 언어적 경계표 및 리포트 등의 의미 객체의 인스터스화(instantiation)를 처리할 수 있으며, 즉, 일부 응답을 동적 방식으로 그들에 대한 애플리케이션에 파악선 펑션으로 다시 제공한다. 이는 애플리케이션 디자이너에게는 SALT가 의미 객체 동기 이해를 수행하는 것처럼 보인다.
이 동작 모드는 다중 모드 시나리오를 이와 비교함으로써 보다 잘 이해될 수있다. 다중 모드 시나리오에서는, 사용자가 예를 들어, 말하면서 입력 필드 내에 스타일러스를 포인팅하여 이를 유지하여 필드를 가리킨다. 사용자는 일반 필드 상으로 태핑(tapping)을 하고 단일 문장 내에 많은 필드를 채우도록 정교한 문장을 발언하지만, 그럼에도 불구하고, 탭-앤-톡(tap-and-talk) 인터페이스는 사용자의 눈과 손에 관련되어 많은 상황에 있어서 적절하지 않은 방식이다. 또한, 탭-앤-톡은 구두 언어 처리 기반의 프로세스 바와 볼륨을 표시하는 리치 백 채널 통신(rich back channel communication)을 특징으로 하더라도, 이들 피드백은 속도와 정확성에 있어서 구두 언어 처리의 품질에 대한 단지 매우 원시적인 단서만을 제공한다. 이는, 결국 인식 및 이해 출력만을 검증하여 보정하는 데 보다 많은 노력을 결국 요구하는 보다 넓은 영역으로 에러가 전파할 수 있는 보다 장문에 있어서는 잠재적으로 큰 문제가 될 수 있다. 유용성 연구는 키보드 기능향상 또는 대안 대신 음성을 사용하는 것이 장문에서는 주요 차별화 요소라는 것을 나타내므로 충분한 UI 경험은 경쟁력 있는 모드로서 연속적인 음성을 사용하는 것이 절대적으로 필요하다.
공통 목적을 달성하는데 보다 밀접하게 협력하는 동업자로서 사람-컴퓨터의 인지를 증진하기 위해서, 의미 객체 동기 이해는, 그들이 입수가능하자마자 부분 의미 구문분석 또는 객체를 보고함으로써, 효과적이게 된다. 일 실시예에서, 이는 SALT에서 듣기 요소의 다중 모드를 사용함으로써 달성된다. 특히, 듣기 요소에 있어서, 다중 모드가 지정되어, 후에 인식될 입력 음성에 대하여 모든 인식 문법이 특정된다. 그 결과 또한 듣기 객체 내에 규정되어 있다. 예를 들어, 새로운 모임을 생성하기 위해서 필요한 정보를 획득하기 위한 날짜, 시간, 위치, 주제 및 모임참가자 등과 같은 HTML 입력 코드는 다음과 같은 형태를 취할 수 있다:
다중 문법(multiple grammar)은 입력 지점으로 돌아오는 널 전환(null tranition)을 사용하여 인식을 위한 병렬 검색 공간(parallel search space)을 구성한다. 이 모드에서, SALT는 듣기 객체가 문법이 나오자마자 이벤트를 올릴 수 있게 한다. 그 이벤트는 병렬 프로세스를 채용하여 하부의 오디오 수집과 인식을 진행하면서 순서대로 바인딩 지침을 호출함으로써, 사용자에게 포맷 상의 관련 필드는 채워지는 반면 구두 명령은 필드의 시각적 렌더링을 갖는 애플리케이션에 대하여 여전히 발언되는 효과를 낸다.
아이 프리(eye free) 애플리케이션에 대한 사용자 인터페이스에 있어서, 음성 출력이 수반되는 것이 바람직할 수 있다. 이 경우, SALT 프롬프트 객체는 즉시 피드백을 부여하는데 사용될 수 있다. 예를 들면, 다음 SALT 프롬프트 객체는 데이터 필드 내의 동적 컨텐츠에 기초하여 응답을 합성하는데 사용될 수 있으며, 음성 합성은 추가 SALT 바인딩 지침을 사용하여 다음과 같이 트리거될 수 있다.
그 결과, 사용자가 그/그녀가 "Schedule a meeting (new meeting) at two (starting at two o'clock PM) next Tuesday (on 10/29/02) for two hours (duration: two hours)"와 같이 들리는 것을 간단히 메모할 뿐만 아니라 반복하는 다른 상대방과 대화하고 있다고 느끼며, 여기서, 괄호 안에 제공된 어구는 사용자에게 들릴 수 있거나 및/또는 볼 수 있는 프롬프트(동기화될 수도 있음)를 의미한다.
SALT는 설계자가 SALT 바인딩 지침을 사용하는 바와 같이 단순 과제를 넘는 정교한 계산을 수행하는 개별화된 인식 이벤트 핸들러(customized recognition event handler)를 부착하게 할 수 있음이 인식되어져야 한다. 상기 예에서, 데이터 정규화(data normalization)는 의미 문법에서 달성될 수 있지만, 이는 기준 결정의 개선을 용이하게 하지는 않는다 (예를 들어, "Schedule a meeting with LiDeng and his manager"). 이러한 경우에 있어서, 알고리즘은 불명확한 기준을 확인하기 위해 저장된 데이터를 액세스하기 위한 적절한 이벤트에 대하여 액세스가능한 스크립트 객체로서 구현될 수 있다. 이러한 알고리즘은 전체로 여기에 참조로 통합되는, 2000년 중국 베이징 Proc. ICSLP-2000에서 K. Wang에 의한 "A plan based dialog system with probabilistic inferences" 및 2002년 4월 24일에 공개된 유럽특허출원번호 제EP 1199630A2에 기재되어 있다.
본 발명은 특정 실시예를 참조하여 설명하였지만, 당업자는 본 발명의 취지 및 범위를 벗어남이 없이 형태상 그리고 세부적으로 변경이 행해질 수 있음을 인식할 것이다.
기존 구현예에서는 듣기 객체에 대하여 다중 모드 연산이 존재하지만, 이 모드는 구술 시나리오와 같은 수신 입력에 대하여 텍스트만을 제공한다. 그러나, 본 발명은 이 점에서, 입력이 수신됨에 따라 부분 결과는 단지 텍스트 뿐만 아니라 텍스트에 관련되는 대응 의미 정보를 포함하며, 따라서, 컴퓨터가 수신된 것을 적절하게 이해하는 보다 우수한 피드백을 사용자에게 제공하도록, 출력은 상술한 바와 같이 사용될 수 있는 부분 의미 구문분석 또는 객체를 포함한다. 부분 의미 구문분석 또는 객체를 수신하는 애플리케이션의 정교함에 따라, 시스템은 수신된 부분 의미 구문분석에 기초하여 확인, 대안, 정정 및 설명을 사용자에게 다시 제공할 수 있다.
다중 모드 애플리케이션에서 다중 문법을 포함하는 것은 사용자에게 미리 말할 수 있게 하여, 표시하지 않았던 정보를 제공할 수 있는 능력을 부여하는 것으로 알려져 있지만, 다중 모드 연산에서 듣기 요소를 사용하는 것이 사용자에게 보다 높은 이해정도를 제공하기 때문에 보다 우수할 수 있다. 음성 전용 애플리케이션에서, 자연스러운 대화가 이루어지는 반면, 시각적 렌더링의 사용이 채용되면, 애플리케이션은 프로세서(예를 들어, 팝업 윈도우를 통해 동작을 취하고, 중간 결과 또는 옵션을 표시)를 사용자가 그때까지 제공한 것의 부분 의미 구문분석에만 기초하여 계속 발언을 하면서 개시할 수 있다.
Claims (24)
- 컴퓨터 시스템과 상호작용하기 위한 컴퓨터 구현 방법에 있어서,사용자로부터 입력을 수신하고 처리를 위해 상기 입력을 캡쳐하는 단계; 및상기 입력의 제1 부분에 속하는 의미 정보(semantic information)를 확인하기 위해 상기 입력에 대한 인식을 수행하고, 인식된 상기 입력에 따라 컴퓨터 애플리케이션에 의해 처리되는 포맷의 데이터 및 상기 제1 부분에 대한 의미 정보를 포함하는 의미 객체(semantic object)를 출력하는 단계를 포함하되, 상기 인식의 수행 및 의미 개체의 출력은 상기 입력의 다음 부분에 대한 캡쳐링을 계속하면서 수행되는 컴퓨터 구현 방법.
- 제1항에 있어서,인식(recognition) 및 이해(understanding)를 수행하도록 언어 모델을 설정하는 단계 - 상기 언어 모델은 컴퓨터 애플리케이션에 의해 처리되는 포맷으로 수신 입력에 따르는 데이터를 제공하고 상기 수신된 입력에 대한 의미 정보를 제공하기에 적합함 - 을 더 포함하는 컴퓨터 구현 방법.
- 제2항에 있어서,상기 언어 모델은 N-그램(N-gram) 언어 모델과 문맥 무관 문법(context-free grammar) 언어 모델의 조합을 포함하는 컴퓨터 구현 방법.
- 제3항에 있어서,상기 언어 모델을 설정하는 단계는 인식을 위해 사용되는 다중 문법(multiple grammer)을 정의하는 단계를 포함하는 컴퓨터 구현 방법.
- 제4항에 있어서,상기 언어 모델을 설정하는 단계는 인식을 위해 사용되는 상기 다중 문법을 정의하기 위해 애플리케이션 프로그램을 사용하는 컴퓨터 구현 방법.
- 제5항에 있어서,상기 언어 모델을 설정하는 단계는 SALT를 사용하는 컴퓨터 구현 방법.
- 제6항에 있어서,상기 입력을 처리하는 단계는 다중 모드로 SALT의 듣기 객체(listen object)를 구현하는 단계를 포함하는 컴퓨터 구현 방법.
- 제1항 또는 제2항에 있어서,상기 의미 객체를 출력하는 단계는 텍스트 형태로 상기 데이터를 출력하는 단계를 포함하는 컴퓨터 구현 방법.
- 제8항에 있어서,상기 입력을 수신하여 캡쳐하는 단계는 상기 사용자로부터 가청 입력(audible input)을 수신하여 캡쳐하는 단계를 포함하는 컴퓨터 구현 방법.
- 제9항에 있어서,상기 입력을 수신하여 캡쳐하는 단계는 상기 사용자로부터 음성 입력(speech input)을 수신하여 캡쳐하는 단계를 포함하는 컴퓨터 구현 방법.
- 제1항 또는 제2항에 있어서,상기 입력을 수신하여 캡쳐하는 단계는 상기 사용자로부터 수기 입력(handwriting input)을 수신하여 캡쳐하는 컴퓨터 구현 방법.
- 제1항 또는 제2항에 있어서,상기 입력을 수신하여 캡쳐하는 단계는 상기 사용자로부터 시각적 입력(visual input)을 수신하여 캡쳐하는 컴퓨터 구현 방법.
- 제1항 또는 제2항에 있어서,상기 사용자가 상기 입력을 제공하는 동안 상기 사용자에 대한 정보 - 상기 정보는 수신된 상기 의미 객체의 함수임 - 를 렌더링하는 단계를 더 포함하는 컴퓨터 구현 방법.
- 제13항에 있어서,상기 정보를 렌더링하는 단계는, 상기 의미 객체에 대하여 상기 의미 정보의 함수로서 정보를 렌더링함으로써 수신된 것을 응답하는 단계를 포함하는 컴퓨터 구현 방법.
- 제14항에 있어서,상기 정보를 렌더링하는 단계는, 인식된 상기 입력에 따라 상기 데이터의 함수로서 정보를 렌더링하는 단계를 포함하는 컴퓨터 구현 방법.
- 제15항에 있어서,상기 정보를 렌더링하는 단계는, 수신된 상기 입력에 따라 상기 데이터의 함수로서 상기 사용자에 대한 옵션을 렌더링하는 단계를 포함하는 컴퓨터 구현 방법.
- 제16항에 있어서,상기 정보를 렌더링하는 단계는, 수신된 상기 입력에 따라 상기 데이터의 함수로서 상기 사용자에 대한 복수의 옵션을 렌더링하는 단계를 포함하는 컴퓨터 구현 방법.
- 제13항에 있어서,상기 정보를 렌더링하는 단계는 상기 사용자에 대한 가청 프롬프트(audible prompt)를 렌더링하는 단계를 포함하는 컴퓨터 구현 방법.
- 제18항에 있어서,상기 정보를 렌더링하는 단계는 상기 사용자에 대한 시각적 표시(visual indication)를 렌더링하는 단계를 포함하는 컴퓨터 구현 방법.
- 제19항에 있어서,상기 정보를 렌더링하는 단계는 상기 사용자에 대한 동기화된 가청 및 시각적 표시를 렌더링하는 단계를 포함하는 컴퓨터 구현 방법.
- 컴퓨터에 의해 판독가능한 명령을 포함하고, 구현시에는 상기 컴퓨터가 상기 방법들 중 임의의 하나의 방법을 수행하게 하는 컴퓨터 판독가능 매체.
- 상기 방법들 중 임의의 하나의 방법을 수행하기에 적합한 시스템.
- 컴퓨터 장치에 의해 판독가능한 명령을 포함하는 컴퓨터 판독가능 매체에 있어서,사용자로부터의 입력을 수신하고 처리를 위해 상기 입력을 캡쳐하기에 적합한 모듈 - 상기 모듈은 상기 입력의 제1 부분에 속하는 의미 정보를 확인하기 위해상기 입력에 대한 인식을 수행하기에 적합하고, 인식된 상기 입력에 따라 컴퓨터 애플리케이션에 의해 처리되는 포맷의 데이터 및 상기 제1 부분에 대한 의미 정보를 포함하는 의미 객체를 출력하기에 적합한 모듈 - 을 포함하되,상기 의미 객체의 인식 및 출력의 수행은 상기 입력의 다음 부분에 대하여 계속 캡쳐하면서 수행되는 컴퓨터 판독가능 매체.
- 컴퓨터 장치에 의해 판독가능한 명령을 포함하는 컴퓨터 판독가능 매체에 있어서,선택된 작업(task)을 수행하도록 구성된 모듈 - 상기 모듈은 사용자의 입력에 따라 동기적으로 의미 객체를 수신하기에 적합하고, 각각의 의미 객체는 컴퓨터 애플리케이션에 의해 처리되는 포맷이며 상기 사용자로부터의 입력의 일부분에 따르는 데이터 및 상기 사용자로부터의 상기 입력의 일부에 속하는 의미 정보를 포함하고, 상기 모듈은 상기 의미 객체를 동기적으로 처리하는 함수로서 동작하기에 적합함 - 을 포함하는 컴퓨터 판독가능 매체.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/447,399 US8301436B2 (en) | 2003-05-29 | 2003-05-29 | Semantic object synchronous understanding for highly interactive interface |
US10/447,399 | 2003-05-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040103443A true KR20040103443A (ko) | 2004-12-08 |
KR101066741B1 KR101066741B1 (ko) | 2011-09-21 |
Family
ID=33131588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040038493A KR101066741B1 (ko) | 2003-05-29 | 2004-05-28 | 컴퓨터 시스템과 동적으로 상호작용하기 위한 컴퓨터 구현 방법, 시스템, 및 컴퓨터 판독가능 기록 매체 |
Country Status (13)
Country | Link |
---|---|
US (1) | US8301436B2 (ko) |
EP (1) | EP1482479B1 (ko) |
JP (1) | JP4768969B2 (ko) |
KR (1) | KR101066741B1 (ko) |
CN (1) | CN100424632C (ko) |
AU (1) | AU2004201993A1 (ko) |
BR (1) | BRPI0401847A (ko) |
CA (1) | CA2467134C (ko) |
HK (1) | HK1070730A1 (ko) |
MX (1) | MXPA04005121A (ko) |
RU (1) | RU2352979C2 (ko) |
TW (1) | TW200513884A (ko) |
ZA (1) | ZA200403493B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009128666A2 (ko) * | 2008-04-17 | 2009-10-22 | 삼성전자 주식회사 | 오디오 신호를 처리하는 방법 및 장치 |
Families Citing this family (185)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US20080313282A1 (en) | 2002-09-10 | 2008-12-18 | Warila Bruce W | User interface, operating system and architecture |
US8301436B2 (en) | 2003-05-29 | 2012-10-30 | Microsoft Corporation | Semantic object synchronous understanding for highly interactive interface |
US7555533B2 (en) * | 2003-10-15 | 2009-06-30 | Harman Becker Automotive Systems Gmbh | System for communicating information from a server via a mobile communication device |
ATE378674T1 (de) * | 2004-01-19 | 2007-11-15 | Harman Becker Automotive Sys | Betätigung eines sprachdialogsystems |
DE602004017955D1 (de) * | 2004-01-29 | 2009-01-08 | Daimler Ag | Verfahren und System zur Sprachdialogschnittstelle |
DE602004014893D1 (de) | 2004-01-29 | 2008-08-21 | Daimler Ag | Multimodale Dateneingabe |
JP4309829B2 (ja) * | 2004-10-28 | 2009-08-05 | ソフトバンクモバイル株式会社 | 情報端末装置 |
US9124729B2 (en) | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
US9325781B2 (en) | 2005-01-31 | 2016-04-26 | Invention Science Fund I, Llc | Audio sharing |
US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
US9489717B2 (en) | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
US20060170956A1 (en) | 2005-01-31 | 2006-08-03 | Jung Edward K | Shared image devices |
CN101111885A (zh) * | 2005-02-04 | 2008-01-23 | 株式会社查纳位资讯情报 | 使用抽出的声音数据生成应答声音的声音识别系统 |
US9076208B2 (en) | 2006-02-28 | 2015-07-07 | The Invention Science Fund I, Llc | Imagery processing |
US9621749B2 (en) | 2005-06-02 | 2017-04-11 | Invention Science Fund I, Llc | Capturing selected image objects |
US20070222865A1 (en) | 2006-03-15 | 2007-09-27 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Enhanced video/still image correlation |
US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
US9093121B2 (en) | 2006-02-28 | 2015-07-28 | The Invention Science Fund I, Llc | Data management of an audio data stream |
US9001215B2 (en) | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
US20070098348A1 (en) * | 2005-10-31 | 2007-05-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Degradation/preservation management of captured data |
US8964054B2 (en) | 2006-08-18 | 2015-02-24 | The Invention Science Fund I, Llc | Capturing selected image objects |
US9967424B2 (en) | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
US9167195B2 (en) | 2005-10-31 | 2015-10-20 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US9191611B2 (en) | 2005-06-02 | 2015-11-17 | Invention Science Fund I, Llc | Conditional alteration of a saved image |
US9451200B2 (en) | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
US20060253272A1 (en) * | 2005-05-06 | 2006-11-09 | International Business Machines Corporation | Voice prompts for use in speech-to-speech translation system |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US20070120980A1 (en) | 2005-10-31 | 2007-05-31 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Preservation/degradation of video/audio aspects of a data stream |
US8244545B2 (en) * | 2006-03-30 | 2012-08-14 | Microsoft Corporation | Dialog repair based on discrepancies between user model predictions and speech recognition results |
US7861159B2 (en) * | 2006-04-07 | 2010-12-28 | Pp Associates, Lp | Report generation with integrated quality management |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
KR101599875B1 (ko) * | 2008-04-17 | 2016-03-14 | 삼성전자주식회사 | 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치 |
KR20090110244A (ko) * | 2008-04-17 | 2009-10-21 | 삼성전자주식회사 | 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치 |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8600761B2 (en) * | 2008-09-09 | 2013-12-03 | The Boeing Company | Hands-free and non-visually occluding object information interaction system |
EP2196989B1 (en) | 2008-12-10 | 2012-06-27 | Nuance Communications, Inc. | Grammar and template-based speech recognition of spoken utterances |
WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
KR20110036385A (ko) * | 2009-10-01 | 2011-04-07 | 삼성전자주식회사 | 사용자 의도 분석 장치 및 방법 |
WO2011046127A1 (ja) * | 2009-10-14 | 2011-04-21 | 日本電気株式会社 | データ収集システム、携帯端末、シール及びデータ収集方法 |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
WO2012017525A1 (ja) * | 2010-08-04 | 2012-02-09 | パイオニア株式会社 | 処理装置及びコマンド入力支援方法 |
US9600135B2 (en) * | 2010-09-10 | 2017-03-21 | Vocollect, Inc. | Multimodal user notification system to assist in data capture |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
CN102645970B (zh) * | 2011-02-22 | 2015-10-28 | 鸿富锦精密工业(深圳)有限公司 | 移动向量触发控制方法及使用其的电子装置 |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US8782601B2 (en) * | 2011-09-30 | 2014-07-15 | Bmc Software, Inc. | Systems and methods for applying dynamic relational typing to a strongly-typed object-oriented API |
CN107092338B (zh) | 2011-12-21 | 2020-05-19 | 英特尔公司 | 在计算设备上促进电量延长服务的机制 |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9224386B1 (en) | 2012-06-22 | 2015-12-29 | Amazon Technologies, Inc. | Discriminative language model training using a confusion matrix |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9292487B1 (en) * | 2012-08-16 | 2016-03-22 | Amazon Technologies, Inc. | Discriminative language model pruning |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9230560B2 (en) * | 2012-10-08 | 2016-01-05 | Nant Holdings Ip, Llc | Smart home automation systems and methods |
WO2014209157A1 (en) * | 2013-06-27 | 2014-12-31 | Obschestvo S Ogranichennoy Otvetstvennostiyu "Speaktoit" | Generating dialog recommendations for chat information systems |
RU2530267C2 (ru) * | 2012-11-28 | 2014-10-10 | Общество с ограниченной ответственностью "Спиктуит" | Способ коммуникации пользователя с информационной диалоговой системой |
KR101732137B1 (ko) * | 2013-01-07 | 2017-05-02 | 삼성전자주식회사 | 원격 제어 장치 및 전력 제어 방법 |
DE112014000709B4 (de) | 2013-02-07 | 2021-12-30 | Apple Inc. | Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
US9135243B1 (en) * | 2013-03-15 | 2015-09-15 | NetBase Solutions, Inc. | Methods and apparatus for identification and analysis of temporally differing corpora |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
DE112014002747T5 (de) | 2013-06-09 | 2016-03-03 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
AU2014278595B2 (en) | 2013-06-13 | 2017-04-06 | Apple Inc. | System and method for emergency calls initiated by voice command |
GB2529582B (en) * | 2013-06-25 | 2019-10-23 | Intel Corp | Monolithic three-dimensional (3D) ICs with local inter-level interconnects |
JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
US10747880B2 (en) * | 2013-12-30 | 2020-08-18 | University Of Louisiana At Lafayette | System and method for identifying and comparing code by semantic abstractions |
RU2571373C2 (ru) * | 2014-03-31 | 2015-12-20 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Метод анализа тональности текстовых данных |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
WO2015187048A1 (en) * | 2014-06-06 | 2015-12-10 | Obschestvo S Ogranichennoy Otvetstvennostiyu "Speactoit" | Proactive environment-based chat information system |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US10074009B2 (en) | 2014-12-22 | 2018-09-11 | International Business Machines Corporation | Object popularity detection |
US9836452B2 (en) | 2014-12-30 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discriminating ambiguous expressions to enhance user experience |
CN104679472A (zh) * | 2015-02-13 | 2015-06-03 | 百度在线网络技术(北京)有限公司 | 人机语音交互方法和装置 |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
CN106463114B (zh) * | 2015-03-31 | 2020-10-27 | 索尼公司 | 信息处理设备、控制方法及程序存储单元 |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083697B2 (en) * | 2015-05-27 | 2018-09-25 | Google Llc | Local persisting of data for selectively offline capable voice action in a voice-enabled electronic device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US9966073B2 (en) | 2015-05-27 | 2018-05-08 | Google Llc | Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
CN105161097A (zh) * | 2015-07-23 | 2015-12-16 | 百度在线网络技术(北京)有限公司 | 语音交互方法及装置 |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US9996517B2 (en) * | 2015-11-05 | 2018-06-12 | Lenovo (Singapore) Pte. Ltd. | Audio input of field entries |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
KR102548835B1 (ko) | 2016-08-26 | 2023-06-30 | 인텔 코포레이션 | 집적 회로 디바이스 구조체들 및 양면 제조 기술들 |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10347247B2 (en) * | 2016-12-30 | 2019-07-09 | Google Llc | Modulation of packetized audio signals |
CN107146623B (zh) * | 2017-04-07 | 2021-03-16 | 百度在线网络技术(北京)有限公司 | 基于人工智能的语音识别方法、装置和系统 |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US20190354557A1 (en) * | 2017-06-20 | 2019-11-21 | Tom Kornblit | System and Method For Providing Intelligent Customer Service |
EP3486900A1 (en) * | 2017-11-16 | 2019-05-22 | Softbank Robotics Europe | System and method for dialog session management |
US20190213284A1 (en) | 2018-01-11 | 2019-07-11 | International Business Machines Corporation | Semantic representation and realization for conversational systems |
US10845937B2 (en) | 2018-01-11 | 2020-11-24 | International Business Machines Corporation | Semantic representation and realization for conversational systems |
CN108446459B (zh) * | 2018-03-01 | 2022-03-22 | 云南师范大学 | 基于模糊语义推理的炼焦过程耗热量影响因素优化方法 |
CN114582314B (zh) * | 2022-02-28 | 2023-06-23 | 江苏楷文电信技术有限公司 | 基于asr的人机音视频交互逻辑模型设计方法 |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4831550A (en) * | 1986-03-27 | 1989-05-16 | International Business Machines Corporation | Apparatus and method for estimating, from sparse data, the probability that a particular one of a set of events is the next event in a string of events |
DE3723078A1 (de) * | 1987-07-11 | 1989-01-19 | Philips Patentverwaltung | Verfahren zur erkennung von zusammenhaengend gesprochenen woertern |
DE3739681A1 (de) * | 1987-11-24 | 1989-06-08 | Philips Patentverwaltung | Verfahren zum bestimmen von anfangs- und endpunkt isoliert gesprochener woerter in einem sprachsignal und anordnung zur durchfuehrung des verfahrens |
US5263117A (en) * | 1989-10-26 | 1993-11-16 | International Business Machines Corporation | Method and apparatus for finding the best splits in a decision tree for a language model for a speech recognizer |
US5477451A (en) * | 1991-07-25 | 1995-12-19 | International Business Machines Corp. | Method and system for natural language translation |
US5502774A (en) * | 1992-06-09 | 1996-03-26 | International Business Machines Corporation | Automatic recognition of a consistent message using multiple complimentary sources of information |
EP0658259B1 (en) | 1992-09-04 | 2000-03-01 | Caterpillar Inc. | Integrated authoring and translation system |
JP3378595B2 (ja) | 1992-09-30 | 2003-02-17 | 株式会社日立製作所 | 音声対話システムおよびその対話進行制御方法 |
US5384892A (en) * | 1992-12-31 | 1995-01-24 | Apple Computer, Inc. | Dynamic language model for speech recognition |
EP0645757B1 (en) | 1993-09-23 | 2000-04-05 | Xerox Corporation | Semantic co-occurrence filtering for speech recognition and signal transcription applications |
US5615296A (en) * | 1993-11-12 | 1997-03-25 | International Business Machines Corporation | Continuous speech recognition and voice response system and method to enable conversational dialogues with microprocessors |
US5675819A (en) | 1994-06-16 | 1997-10-07 | Xerox Corporation | Document information retrieval using global word co-occurrence patterns |
US5752052A (en) * | 1994-06-24 | 1998-05-12 | Microsoft Corporation | Method and system for bootstrapping statistical processing into a rule-based natural language parser |
US5689617A (en) * | 1995-03-14 | 1997-11-18 | Apple Computer, Inc. | Speech recognition system which returns recognition results as a reconstructed language model with attached data values |
IT1279171B1 (it) * | 1995-03-17 | 1997-12-04 | Ist Trentino Di Cultura | Sistema di riconoscimento di parlato continuo |
US5710866A (en) * | 1995-05-26 | 1998-01-20 | Microsoft Corporation | System and method for speech recognition using dynamically adjusted confidence measure |
US5680511A (en) * | 1995-06-07 | 1997-10-21 | Dragon Systems, Inc. | Systems and methods for word recognition |
JPH09114488A (ja) | 1995-10-16 | 1997-05-02 | Sony Corp | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 |
EP0801786B1 (en) * | 1995-11-04 | 2000-06-28 | International Business Machines Corporation | Method and apparatus for adapting the language model's size in a speech recognition system |
US6567778B1 (en) * | 1995-12-21 | 2003-05-20 | Nuance Communications | Natural language speech recognition using slot semantic confidence scores related to their word recognition confidence scores |
US5913193A (en) * | 1996-04-30 | 1999-06-15 | Microsoft Corporation | Method and system of runtime acoustic unit selection for speech synthesis |
US5937384A (en) * | 1996-05-01 | 1999-08-10 | Microsoft Corporation | Method and system for speech recognition using continuous density hidden Markov models |
US5835888A (en) * | 1996-06-10 | 1998-11-10 | International Business Machines Corporation | Statistical language model for inflected languages |
US5963903A (en) * | 1996-06-28 | 1999-10-05 | Microsoft Corporation | Method and system for dynamically adjusted training for speech recognition |
JPH1097280A (ja) | 1996-09-19 | 1998-04-14 | Hitachi Ltd | 音声画像認識翻訳装置 |
US5905972A (en) * | 1996-09-30 | 1999-05-18 | Microsoft Corporation | Prosodic databases holding fundamental frequency templates for use in speech synthesis |
US5819220A (en) * | 1996-09-30 | 1998-10-06 | Hewlett-Packard Company | Web triggered word set boosting for speech interfaces to the world wide web |
US5829000A (en) * | 1996-10-31 | 1998-10-27 | Microsoft Corporation | Method and system for correcting misrecognized spoken words or phrases |
GB9701866D0 (en) * | 1997-01-30 | 1997-03-19 | British Telecomm | Information retrieval |
DE19708183A1 (de) * | 1997-02-28 | 1998-09-03 | Philips Patentverwaltung | Verfahren zur Spracherkennung mit Sprachmodellanpassung |
US6073091A (en) * | 1997-08-06 | 2000-06-06 | International Business Machines Corporation | Apparatus and method for forming a filtered inflected language model for automatic speech recognition |
WO1999021106A1 (en) | 1997-10-20 | 1999-04-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
RU2119196C1 (ru) | 1997-10-27 | 1998-09-20 | Яков Юноевич Изилов | Способ лексической интерпретации слитной речи и система для его реализации |
US6154722A (en) * | 1997-12-18 | 2000-11-28 | Apple Computer, Inc. | Method and apparatus for a speech recognition system language model that integrates a finite state grammar probability and an N-gram probability |
US6182039B1 (en) * | 1998-03-24 | 2001-01-30 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus using probabilistic language model based on confusable sets for speech recognition |
US6141641A (en) * | 1998-04-15 | 2000-10-31 | Microsoft Corporation | Dynamically configurable acoustic model for speech recognition system |
US6188976B1 (en) * | 1998-10-23 | 2001-02-13 | International Business Machines Corporation | Apparatus and method for building domain-specific language models |
US6415256B1 (en) * | 1998-12-21 | 2002-07-02 | Richard Joseph Ditzik | Integrated handwriting and speed recognition systems |
US6314402B1 (en) | 1999-04-23 | 2001-11-06 | Nuance Communications | Method and apparatus for creating modifiable and combinable speech objects for acquiring information from a speaker in an interactive voice response system |
US6081799A (en) * | 1999-05-05 | 2000-06-27 | International Business Machines Corporation | Executing complex SQL queries using index screening for conjunct or disjunct index operations |
US6553345B1 (en) * | 1999-08-26 | 2003-04-22 | Matsushita Electric Industrial Co., Ltd. | Universal remote control allowing natural language modality for television and multimedia searches and requests |
US6434529B1 (en) | 2000-02-16 | 2002-08-13 | Sun Microsystems, Inc. | System and method for referencing object instances and invoking methods on those object instances from within a speech recognition grammar |
US7031908B1 (en) | 2000-06-01 | 2006-04-18 | Microsoft Corporation | Creating a language model for a language processing system |
US6865528B1 (en) * | 2000-06-01 | 2005-03-08 | Microsoft Corporation | Use of a unified language model |
TW472232B (en) * | 2000-08-11 | 2002-01-11 | Ind Tech Res Inst | Probability-base fault-tolerance natural language understanding method |
US6785651B1 (en) | 2000-09-14 | 2004-08-31 | Microsoft Corporation | Method and apparatus for performing plan-based dialog |
US6934683B2 (en) | 2001-01-31 | 2005-08-23 | Microsoft Corporation | Disambiguation language model |
US20020152075A1 (en) * | 2001-04-16 | 2002-10-17 | Shao-Tsu Kung | Composite input method |
US20050028085A1 (en) | 2001-05-04 | 2005-02-03 | Irwin James S. | Dynamic generation of voice application information from a web server |
CN1279465C (zh) * | 2001-05-04 | 2006-10-11 | 微软公司 | Web启用的识别体系结构 |
JP3961780B2 (ja) | 2001-05-15 | 2007-08-22 | 三菱電機株式会社 | 言語モデル学習装置およびそれを用いた音声認識装置 |
JP4094255B2 (ja) | 2001-07-27 | 2008-06-04 | 日本電気株式会社 | コマンド入力機能つきディクテーション装置 |
JP4000828B2 (ja) | 2001-11-06 | 2007-10-31 | 株式会社デンソー | 情報システム、電子機器、プログラム |
US7200559B2 (en) * | 2003-05-29 | 2007-04-03 | Microsoft Corporation | Semantic object synchronous understanding implemented with speech application language tags |
US8301436B2 (en) | 2003-05-29 | 2012-10-30 | Microsoft Corporation | Semantic object synchronous understanding for highly interactive interface |
-
2003
- 2003-05-29 US US10/447,399 patent/US8301436B2/en active Active
-
2004
- 2004-05-07 ZA ZA200403493A patent/ZA200403493B/en unknown
- 2004-05-11 AU AU2004201993A patent/AU2004201993A1/en not_active Abandoned
- 2004-05-11 EP EP04102035.5A patent/EP1482479B1/en not_active Expired - Lifetime
- 2004-05-13 CA CA2467134A patent/CA2467134C/en not_active Expired - Lifetime
- 2004-05-20 TW TW093114295A patent/TW200513884A/zh unknown
- 2004-05-27 BR BR0401847-8A patent/BRPI0401847A/pt not_active IP Right Cessation
- 2004-05-27 JP JP2004158359A patent/JP4768969B2/ja not_active Expired - Lifetime
- 2004-05-28 RU RU2004116303/09A patent/RU2352979C2/ru not_active IP Right Cessation
- 2004-05-28 KR KR1020040038493A patent/KR101066741B1/ko active IP Right Grant
- 2004-05-28 MX MXPA04005121A patent/MXPA04005121A/es not_active Application Discontinuation
- 2004-05-31 CN CNB2004100856494A patent/CN100424632C/zh not_active Expired - Fee Related
-
2005
- 2005-04-19 HK HK05103321.9A patent/HK1070730A1/zh not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009128666A2 (ko) * | 2008-04-17 | 2009-10-22 | 삼성전자 주식회사 | 오디오 신호를 처리하는 방법 및 장치 |
WO2009128666A3 (ko) * | 2008-04-17 | 2010-02-18 | 삼성전자 주식회사 | 오디오 신호를 처리하는 방법 및 장치 |
US9294862B2 (en) | 2008-04-17 | 2016-03-22 | Samsung Electronics Co., Ltd. | Method and apparatus for processing audio signals using motion of a sound source, reverberation property, or semantic object |
Also Published As
Publication number | Publication date |
---|---|
BRPI0401847A (pt) | 2005-03-08 |
CN1591315A (zh) | 2005-03-09 |
EP1482479B1 (en) | 2016-09-28 |
JP4768969B2 (ja) | 2011-09-07 |
AU2004201993A1 (en) | 2004-12-16 |
EP1482479A1 (en) | 2004-12-01 |
MXPA04005121A (es) | 2005-06-10 |
HK1070730A1 (zh) | 2005-06-24 |
RU2352979C2 (ru) | 2009-04-20 |
ZA200403493B (en) | 2006-04-26 |
RU2004116303A (ru) | 2005-11-10 |
KR101066741B1 (ko) | 2011-09-21 |
TW200513884A (en) | 2005-04-16 |
US8301436B2 (en) | 2012-10-30 |
CA2467134A1 (en) | 2004-11-29 |
CN100424632C (zh) | 2008-10-08 |
CA2467134C (en) | 2013-03-05 |
US20040243419A1 (en) | 2004-12-02 |
JP2004355629A (ja) | 2004-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101066741B1 (ko) | 컴퓨터 시스템과 동적으로 상호작용하기 위한 컴퓨터 구현 방법, 시스템, 및 컴퓨터 판독가능 기록 매체 | |
KR101042119B1 (ko) | 음성 이해 시스템, 및 컴퓨터 판독가능 기록 매체 | |
KR101229034B1 (ko) | 디바이스 인터페이싱을 위한 다중모드 조음 통합 | |
US8224650B2 (en) | Web server controls for web enabled recognition and/or audible prompting | |
US8311835B2 (en) | Assisted multi-modal dialogue | |
US6173266B1 (en) | System and method for developing interactive speech applications | |
US20080034032A1 (en) | Methods and Systems for Authoring of Mixed-Initiative Multi-Modal Interactions and Related Browsing Mechanisms | |
JP2009059378A (ja) | ダイアログを目的とするアプリケーション抽象化のための記録媒体及び方法 | |
Rouillard | Web services and speech-based applications around VoiceXML. | |
Wang | Semantic object synchronous understanding in SALT for highly interactive user interface. | |
Deng et al. | A speech-centric perspective for human-computer interface | |
Paraiso et al. | Voice Activated Information Entry: Technical Aspects | |
Miyazaki | Discussion Board System with Multimodality Variation: From Multimodality to User Freedom. | |
Al-Manasra et al. | Speech-Enabled Web Application “Case Study: Arab Bank Website” |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140814 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150819 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160818 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170818 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20180816 Year of fee payment: 8 |