KR101859709B1 - 음성 입력의 워드-레벨 수정 - Google Patents

음성 입력의 워드-레벨 수정 Download PDF

Info

Publication number
KR101859709B1
KR101859709B1 KR1020177017613A KR20177017613A KR101859709B1 KR 101859709 B1 KR101859709 B1 KR 101859709B1 KR 1020177017613 A KR1020177017613 A KR 1020177017613A KR 20177017613 A KR20177017613 A KR 20177017613A KR 101859709 B1 KR101859709 B1 KR 101859709B1
Authority
KR
South Korea
Prior art keywords
transfer
utterance
word
computing device
user
Prior art date
Application number
KR1020177017613A
Other languages
English (en)
Other versions
KR20170078856A (ko
Inventor
마이클 제이. 리보
윌리엄 제이. 비르네
존 니콜라스 지트코프
브랜든 엠. 볼린저
트라우스티 티. 크리스티안슨
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20170078856A publication Critical patent/KR20170078856A/ko
Application granted granted Critical
Publication of KR101859709B1 publication Critical patent/KR101859709B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G06F17/27—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/137—Hierarchical processing, e.g. outlines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Telephone Function (AREA)

Abstract

본 명세서의 내용은 여러 가지 중에서, 모바일 컴퓨팅 디바이스에 있는 마이크로폰으로부터 음성 오디오 데이터를 수신하는 단계를 포함하는 전사된 텍스트에 있는 워드들을 수정하기 위한 컴퓨터-구현 방법으로 구현될 수 있다. 본 발명은 상기 음성 오디오 데이터를 전사 시스템에 송신하는 단계를 더 포함한다. 본 발명은 상기 모바일 컴퓨팅 디바이스에서, 상기 전사 시스템이 상기 음성 오디오 데이터로부터 전사한 워드 래티스를 수신하는 단계를 더 포함한다. 본 발명은 상기 워드 래티스로부터 하나 이상의 전사된 워드를 제시하는 단계를 더 포함한다. 본 발명은 상기 제시된 전사된 워드들 중 적어도 하나에 대한 사용자 선택을 수신하는 단계를 더 포함한다. 본 발명은 상기 선택된 전사된 워드에 대한 상기 워드 래티스로부터 하나 이상의 대체 워드를 제시하는 단계를 더 포함한다. 본 발명은 상기 대체 워드들 중 적어도 하나에 대한 사용자 선택을 수신하는 단계를 더 포함한다. 본 발명은 상기 제시된 전사된 워드들에 있는 상기 선택된 전사된 워드를 상기 선택된 대체 워드로 교체하는 단계를 더 포함한다.

Description

음성 입력의 워드-레벨 수정{WORD-LEVEL CORRECTION OF SPEECH INPUT}
본 출원은 2010년 1월 5일 출원되고, 그 명칭이 "음성 입력의 워드-레벨 수정"인 미국 가출원번호 제61/292,440호와, 2010년 10월 27일 출원되고, 그 명칭이 "음성 입력의 워드-레벨 수정"인 미국 출원번호 제12/913,407호에 대한 우선권을 주장하며, 상기 출원들의 내용은 참조로서 본 출원에 모두 포함된다.
본 명세서는 컴퓨팅 디바이스로의 음성 입력(speech input)으로부터 전사된(transcribed) 텍스트에 있는 하나 이상의 워드를 수정하는 것에 관한 것이다.
음성 입력의 전사(transcription)는 컴퓨팅 디바이스로의 정보 입력 방식 중 점점 더 인기를 얻어가고 있는 방식이다. 이는 모바일 컴퓨팅 디바이스(예컨대, 모바일 전화기 및 스마트폰)에 대해 더욱 그러하지만, 모바일 컴퓨팅 디바이스에서 사용자가 사용자 입력을 행할 수 있게 하는 인터페이스들은 데스크탑 컴퓨터에 있는 사용자 인터페이스(예컨대, 풀-사이즈 키보드)만큼 조작하기가 쉽지 않다. 예를 들어, 일부 모바일 컴퓨팅 디바이스들은 최소한의 하드웨어 키보드(예컨대, 풀 쿼티(QWERTY) 키보드의 서브셋), 가상/소프트웨어 키보드(예컨대, 터치스크린 키보드), 또는 일정한(even) 12키 전화 키보드(예컨대, ITU-T 텍스트 입력)을 사용한다. 통상적으로, 이러한 사용자 입력 인터페이스들은 종래 데스크탑 사용자 인터페이스보다 작고, 사용자들은 주로 자신의 엄지 손가락을 이용하여 타이핑하거나, 타이핑하는 동안 헌트(hunt)하거나 가볍게 두드린다(peck). 이것은 모바일 컴퓨팅 디바이스로의 음성 입력이 점점 더 활용되는 것에 대한 적어도 일부라고 여겨질 수 있다.
전반적으로, 본 명세서는 컴퓨팅 디바이스로의 음성 입력으로부터 전사된 텍스트(transcribed text)에 있는 하나 이상의 워드를 수정하는 것을 기재한다. 일부 구현예들에서, 컴퓨팅 디바이스는 무선 모바일 디바이스(예컨대, 모바일 전화기 또는 스마트폰)이다. 컴퓨팅 디바이스는 예컨대, 사용자로부터 음성 입력을 수신하고, 그 음성 입력을 컴퓨팅 디바이스와는 별개인 전사 시스템(transcription system)으로 송신한다. 전사 시스템은 그 음성 입력을 전사하고, 대응하는 워드 래티스(word lattice)를 컴퓨팅 디바이스에 제공한다. 컴퓨팅 디바이스는 사용자가 그 워드 래티스로부터 대체 워드들 및/또는 구(phrase)들을 사용하여, 전사된 텍스트에 있는 하나 이상의 워드에 대한 수정을 행할 수 있게 한다.
제1 양태에서, 전사된 텍스트에 있는 워드들을 수정하기 위한 컴퓨터-구현 방법은 모바일 컴퓨팅 디바이스에 있는 마이크로폰으로부터 음성 오디오 데이터(speech audio data)를 수신하는 단계를 포함한다. 이 방법은 상기 모바일 컴퓨팅 디바이스로부터의 상기 음성 오디오 데이터를 전사 시스템으로 송신하는 단계를 더 포함한다. 본 발명은 상기 모바일 컴퓨팅 디바이스에서, 상기 전사 시스템이 상기 음성 오디오 데이터로부터 전사된 워드 래티스를 수신하는 단계를 더 포함한다. 본 발명은 상기 워드 래티스로부터 하나 이상의 전사된 워드를 상기 모바일 컴퓨팅 디바이스의 디스플레이 스크린상에 제시하는 단계를 더 포함한다. 본 발명은 상기 모바일 컴퓨팅 디바이스에서, 상기 제시된 전사된 워드들 중 적어도 하나에 대한 사용자 선택을 수신하는 단계를 더 포함한다. 본 발명은 상기 전사된 워드에 대한 사용자 선택의 수신에 응답하여, 상기 선택된 전사된 워드에 대한 상기 워드 래티스로부터 하나 이상의 대체 워드를 상기 디스플레이 스크린상에 제시하는 단계를 더 포함한다. 본 발명은 상기 모바일 컴퓨팅 디바이스에서 상기 대체 워드들 중 적어도 하나에 대한 사용자 선택을 수신하는 단계를 더 포함한다. 본 발명은 대체 워드에 대한 상기 사용자 선택의 수신에 응답하여, 상기 제시된 전사된 워드들에 있는 상기 선택된 전사된 워드를 상기 선택된 대체 워드로 교체하는 단계를 더 포함한다.
구현예들은 후술하는 특징들을 임의의 것, 모두를 포함하거나, 어느 것도 포함하지 않을 수 있다. 본 발명은 상기 전사된 워드에 대한 사용자 선택의 수신에 응답하여, 상기 선택된 워드를 위한 제거 명령을 상기 디스플레이 스크린상에 제시하는 단계; 상기 모바일 컴퓨팅 디바이스에서, 상기 제거 명령에 대한 사용자 선택을 수신하는 단계; 및 상기 제거 명령에 대한 사용자 선택의 수신에 응답하여, 상기 제시된 전사된 워드들로부터 상기 선택된 전사된 워드를 제거하는 단계를 포함한다. 본 발명은 상기 제시된 전사된 워드들에 대한 상기 워드 래티스로부터 적어도 하나의 대체 구를 상기 디스플레이 스크린상에 제시하는 단계; 상기 모바일 컴퓨팅 디바이스에서 상기 대체 구에 대한 사용자 선택을 수신하는 단계; 및 상기 대체 구에 대한 사용자 선택의 수신에 응답하여, 상기 제시된 전사된 워드들을 상기 선택된 대체 구로 교체하는 단계를 더 포함한다. 본 발명은 상기 대체 워드 또는 상기 제거 명령에 대한 사용자 선택의 수신에 응답하여, 상기 선택된 대체 워드 또는 상기 제거된 전사된 워드에 기초하여 상기 워드 래티스로부터 적어도 하나의 새로운 대체 구를 자동으로 선택하는 단계; 및 상기 제시된 대체 구를 상기 새로운 대체 구로 교체하는 단계를 더 포함한다. 상기 제시된 워드에 대한 사용자 선택 또는 상기 대체 워드에 대한 사용자 선택을 수신하는 단계는 상기 모바일 컴퓨팅 디바이스의 터치스크린 인터페이스를 통해 상기 제시된 워드에 대한 사용자 선택 및 상기 대체 워드에 대한 사용자 선택을 수신하는 단계를 포함할 수 있다. 워드 래티스는 상기 전사된 워드들 및 대체 워드들에 대응하는 노드들, 상기 워드 래티스를 통한 가능한 경로(possible path)들을 식별하는 상기 노드들 사이의 에지(edge)들을 포함하고, 각 경로는 정확한 것일 연관 확률(associated probability)을 가질 수 있다. 본 발명은 상기 워드 래티스에 있는 상기 선택된 전사된 워드의 시작 노드(beginning node)에서 종료 노드(ending node) 사이의 하나 이상의 대체 경로로부터 상기 선택된 전사된 워드에 대한 상기 대체 워드를 식별하는 단계를 포함할 수 있다. 본 발명은 상기 워드 래티스에 있는 상기 제시된 전사된 워드들의 시작 노드에서 종료 노드 사이의 적어도 하나의 대체 경로로부터 상기 제시된 전사된 워드들에 대한 상기 대체 구를 식별하는 단계를 포함할 수 있다.
제2 양태에서, 컴퓨터 판독가능 매체 상에 부호화되고, 하나 이상의 프로세스가 전사된 텍스트에 있는 워드들을 수정하기 위한 동작들을 수행하도록 하는 컴퓨터 판독 가능 매체로서, 상기 동작들은 모바일 컴퓨팅 디바이스에 있는 마이크로폰으로부터 음성 오디오 데이터를 수신하는 단계를 포함한다. 상기 동작들은 상기 모바일 컴퓨팅 디바이스로부터의 상기 음성 오디오 데이터를 전사 시스템에 송신하는 단계를 더 포함한다. 상기 동작들은 상기 모바일 컴퓨팅 디바이스에서 상기 전사 시스템이 상기 음성 데이터로부터 전사된 워드 래티스를 수신하는 단계를 더 포함한다. 상기 동작들은 상기 워드 래티스로부터 하나 이상의 전사된 워드를 상기 모바일 컴퓨터 시스템의 디스플레이 스크린상에 제시하는 단계를 더 포함한다. 상기 동작들은 상기 모바일 컴퓨팅 디바이스에서, 상기 제시된 전사된 워드들 중 적어도 하나에 대한 사용자 선택을 수신하는 단계를 더 포함한다. 상기 동작들은 상기 전사된 워드에 대한 사용자 선택의 수신에 응답하여, 상기 선택된 전사된 워드에 대한 상기 워드 래티스로부터 하나 이상의 대체 워드를 상기 디스플레이 스크린상에 제시하는 단계를 더 포함한다. 상기 모바일 컴퓨팅 디바이스에서 상기 대체 워드들 중 적어도 하나에 대한 사용자 선택을 수신하는 단계를 더 포함한다. 상기 동작들은 상기 대체 워드에 대한 상기 사용자 선택의 수신에 응답하여, 상기 제시된 전사된 워드들에 있는 상기 선택된 전사된 워드를 상기 선택된 대체 워드로 교체하는 단계를 더 포함한다.
구현 예들은 후술되는 특징들 중 임의의 것, 모두를 포함하거나, 또는 어느 것도 포함하지 않을 수 있다. 상기 동작들은 상기 전사된 워드에 대한 사용자 선택의 수신에 응답하여, 상기 선택된 전사된 워드에 대한 제거 명령을 상기 디스플레이 스크린상에 제시하는 단계; 상기 모바일 컴퓨팅 디바이스에서 상기 제거 명령에 대한 사용자 선택을 수신하는 단계; 및 상기 제거 명령에 대한 사용자 선택의 수신에 응답하여, 상기 제시된 전사된 워드들로부터 상기 선택된 전사된 워드를 제거하는 단계를 더 포함한다. 상기 동작들은 상기 제시된 전사된 워드들에 대한 상기 워드 래티스로부터 적어도 하나의 대체 구를 상기 디스플레이 스크린상에 제시하는 단계; 상기 모바일 컴퓨팅 디바이스에서, 상기 대체 구에 대한 사용자 선택을 수신하는 단계; 및 상기 대체 구에 대한 사용자 선택의 수신에 응답하여, 상기 제시된 전사된 워드들을 상기 선택된 대체 구로 교체하는 단계를 포함할 수 있다. 상기 동작들은 상기 대체 워드 또는 상기 삭제 명령에 대한 사용자 선택의 수신에 응답하여, 상기 선택된 대체 워드 또는 상기 제거된 전사된 워드에 기초하여 상기 워드 래티스로부터 적어도 하나의 새로운 대체 구를 자동으로 선택하는 단계; 및 상기 제시된 대체 구를 상기 새로운 대체 구로 교체하는 단계를 포함할 수 있다. 상기 제시된 워드에 대한 사용자 선택 및 상기 대체 워드에 대한 사용자 선택을 수신하는 단계는 상기 모바일 컴퓨팅 디바이스의 터치스크린 인터페이스를 통해 상기 대체 워드에 대한 사용자 선택 및 상기 제시된 워드에 대한 사용자 선택을 수신하는 단계를 포함한다. 상기 워드 래티스는 상기 전사된 워드들과 상기 대체 워드들에 대응하는 노드들, 상기 워드 래티스를 통해 가능한 경로들을 식별하는 노드들 간에 에지들을 포함할 수 있고, 각 경로는 정확한 것일 연관 확률을 가질 수 있다. 상기 동작들은 상기 워드 래티스에 있는 상기 선택된 전사된 워드의 시작 노드(beginning node)와 종료 노드(ending node) 사이의 하나 이상의 대체 경로로부터 상기 선택된 전사된 워드를 위해 대체 워드들을 식별하는 단계를 포함할 수 있다. 상기 동작들은 상기 워드 래티스에 있는 상기 제시된 전사된 워드의 시작 노드와 종료 노드 사이의 적어도 하나 이상의 대체 경로로부터 상기 제시된 전사된 워드를 위한 대체 구를 식별하는 단계를 포함할 수 있다.
제3 양태에서, 전사된 텍스트에 있는 워드들을 수정하기 위한 컴퓨터-구현 시스템은 음성 오디오 데이터를 수신할 수 있고 그에 응답하여 상기 음성 오디오 데이터를 워드 래티스로 전사하는 전사 시스템을 포함한다. 상기 시스템은 모바일 컴퓨팅 디바이스를 포함하고, 상기 모바일 컴퓨팅 디바이스는 음성 오디오를 수신하고 상기 음성 오디오 데이터를 생성할 수 있는 마이크로폰, 상기 음성 오디오 데이터를 상기 전사 시스템에 송신하고 그에 응답하여 상기 전사 시스템으로부터 상기 워드 래티스를 수신하는 네트워크 인터페이스, 상기 워드 래티스로부터 하나 이상의 전사된 워드를 제시할 수 있는 디스플레이 스크린, 상기 전사된 워드들 중 적어도 하나에 대한 사용자 선택을 수신할 수 있는 사용자 인터페이스, 하나 이상의 프로세서, 및 인스트럭션들을 저장하는 메모리를 더 포함하고, 상기 인스트럭션들은 상기 프로세서들에 의해 실행되었을 때, 상기 선택된 전사된 워드에 대한 상기 워드 래티스로부터 상기 디스플레이 스크린상에 하나 이상의 대체 워드를 제시하고, 상기 대체 워드들 중 적어도 하나에 대한 사용자 선택을 수신하고, 및 상기 제시된 전사된 워드들에 있는 상기 선택된 전사된 워드를 상기 선택된 대체 워드로 교체하는 동작들을 수행한다.
본 명세서에서 설명된 시스템 및 기술들은 후술하는 하나 이상의 장점들을 제공할 수 있다. 첫째, 시스템은 최소한의 사용자 입력(예컨대, 한 개, 두 개, 또는 세 개의 사용자 입력)으로 전사된 텍스트에 있는 하나 이상의 워드에 대한 수정을 행할 수 있다. 둘째, 시스템은 상기 전사된 텍스트에 있는 하나 이상의 워드를 수정하는 동안, 원격 전사 시스템으로의 추가 통신 없이, 또는 최소한의 추가 통신으로 상기 원격 전사 시스템에서 음성 입력을 텍스트로 전사할 수 있다. 셋째, 시스템은 전사된 텍스트를 수정할 수 있는 효율적인 사용자 선택을, 제한된 입력 인터페이스들을 갖는 컴퓨팅 디바이스(예컨대, 소형 터치스크린)에 제공할 수 있다.
하나 이상의 실시예에 대한 상세 내용은 첨부 도면들 및 이하 상세한 설명에서 개시된다. 다른 특징들 및 장점들은 상세한 설명, 도면들, 및 청구범위로부터 명백해질 것이다.
도 1은 전사된 텍스트에 있는 하나 이상의 워드를 수정하는 예시적 시스템을 나타내는 개념적 다이어그램이다.
도 2는 전사된 텍스트에 있는 하나 이상의 워드를 수정하는 예시적 모바일 컴퓨팅 디바이스를 나타내는 블록 다이어그램이다.
도 3a-3b는 전사된 텍스트에 있는 하나 이상의 워드를 수정하는데 사용되는 예시적 워드 래티스들이다.
도 4a-4d는 전사된 텍스트에 있는 하나 이상의 워드를 수정하기 위한 예시적 그래픽 사용자 인터페이스이다.
도 5는 전사된 텍스트에 있는 하나 이상의 워드를 수정하기 위한 예시적 프로세서를 나타내는 순서도이다.
도 6은 본 명세서에서 설명된 컴퓨터-구현 방법들 및 시스템들과 관련되어 사용될 수 있는 예시적 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스를 나타낸다.
여러 도면들에서 유사한 참조 기호는 유사한 구성요소를 가리킨다.
도 1은 전사된 텍스트에 있는 하나 이상의 워드를 수정하는 예시적 시스템(100)을 나타내는 개념적 다이어그램이다. 전체적으로, 시스템은 사용자의 디바이스가 서버 시스템으로 음성에 대한 오디오 데이터를 송신하고, 서버 시스템이 음성을 전사할 수 있는 가능한 솔루션들의 배열(arrangement)을 사용자 디바이스로 역송신할 수 있게 해서, 제1 제안 솔루션이 정확하지 않으면, 사용자가 쉽게 서버 시스템에 의해 결정된 다른 워드 또는 워드들의 세트를 다른 가능한 솔루션으로 대체할 수 있다.
시스템(100)은 네트워크(106)를 통해 전사 시스템(104)과 통신하는 모바일 컴퓨팅 디바이스(102)를 포함한다. 모바일 컴퓨팅 디바이스(102)는 사용자로부터 음성 오디오 입력을 수신하고, 그 음성 오디오 입력을 음성 데이터 출력(108)으로 변환한다. 모바일 컴퓨팅 디바이스(102)는 네트워크(106)를 통해 그 음성 데이터 출력(108)을 전사 시스템(104)에 송신한다. 전사 시스템(104)은 음성 데이터 출력(108)을 복수의 워드로 전사하고, 워드 래티스(110)로 워드들을 정렬한다. 워드 래티스(110)는 대체 전사들 또는 추정들(hypotheses) 뿐만 아니라 음성 데이터 출력(108)의 가장 가능성이 높은 전사 또는 음성 데이터 출력(108)의 전사에 대한 최적 추정(best hypothesis)을 포함한다. 전사 시스템(104)은 그 워드 래티스(110)를 모바일 컴퓨팅 디바이스(102)에 송신한다.
모바일 컴퓨팅 디바이스(102)는 가장 가능성이 높은 전사를 워드 래티스(110)로부터 사용자에게 제시한다. 이어, 모바일 컴퓨팅 디바이스(102)는 사용자로부터 하나 이상의 워드 선택(112)을 수신하고, 상기 선택된 워드들에 대한 대응하는 대체 워드들을 제시하고, 사용자로부터 하나 이상의 대체 선택들(114)을 수신한다. 워드 선택들(112)은 사용자에게 제시된 전사된 텍스트(presented transcribed text)에 있는 하나 이상의 부정확하게 전사된 워드를 가리킨다. 일부 구현예들에서, 대체 워드들은 부정확한 워드들을 위한 차순(next)의 최적 추정이다. 이 대체 선택들(114)에 응답하여, 모바일 컴퓨팅 디바이스(102)는 제시된 전사된 텍스트에 있는 부정확한 워드들을 상기 선택된 대체 워드(selected alternate word)들로 교체한다.
일부 구현예들에서, 모바일 컴퓨팅 디바이스(102)는 또한 전사된 텍스트를 위한 하나 이상의 대체 구를 제시한다. 예를 들어, 대체 구는 다중 워드를 포함하는 음성 데이터 출력(108)의 일부 또는 음성 데이터 출력(108)의 전사를 위한 차순의 최적 추정일 수 있다. 모바일 컴퓨팅 디바이스(102)는 사용자로부터 대체 구에 대한 선택을 수신하고, 상기 제시된 전사된 텍스트의 대응하는 부분을 상기 선택된 대체 구로 교체할 수 있다.
일부 구현예들에서, 모바일 컴퓨팅 디바이스(102)는 모바일 전화기 또는 스마트폰일 수 있고, 제한된 사용자 입력 인터페이스(예컨대, 소형 쿼티(QWERTY) 하드웨어 키보드, 소형 터치스크린, 또는 숫자 키패드)를 포함한다. 모바일 컴퓨팅 디바이스(102)는 무선 연결(예컨대, 셀룰라 전화 데이터 연결, 와이파이 연결, 또는 전사 시스템(104)과 데이터를 송수신하는데 사용할 수 있는 기타 무선 연결)을 사용하여 네트워크(106)에 액세스한다.
일부 구현예들에서, 네트워크(106)는 하나 이상의 네트워크(예컨대, 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 및/또는 인터넷)를 포함한다. 네트워크(106)에 있는 하나 이상의 네트워크는 무선(예컨대, 셀룰라 전화 네트워크 또는 와이파이 네트워크)일 수 있다.
전사 시스템(104)은 음성 데이터 출력(108)을 워드 래티스(110)로 전사하는 음성 인식기를 포함한다. 일반적으로, 워드 래티스(110)는 음성 데이터 출력(108)의 전사를 위한 다중 추정(multiple hypotheses)을 포함한다. 일부 구현예들에서, 워드 래티스(110)는 특정 워드가 전사된 텍스트에서 특정 위치에 출현할 확률 또는 하나 이상의 가중치 인자(weighting factor)를 포함한다. 발화(utterance)의 전사를 위한 각 추정은 워드 래티스(110)를 통한 가능한 경로(possible path)를 나타낸다. 일부 구현예들에서, 추정에 있는 한 워드에서 다음 워드로의 분기점(branch point)들은 그 추정에 있는 그 밖의 워드들에 따라 달라진다. 예를 들어, 워드 래티스(110)에 있는 특정 워드는 그 추정에 포함된 그 밖의 워드들에 따라 달라지는 다중 가중치(multiple weights) 또는 확률을 가질 수 있다. 이에 더하여, 워드 래티스(110)에 포함된 워드 세트에 대한 모든 가능한 추정들과 워드 래티스(110)로부터의 워드들의 가장 개연성 있는 조합(the most probable combination)들의 서브셋을 포함할 수 있다. 모바일 컴퓨팅 디바이스(102)는 워드 래티스(110)를 통한 가장 개연성 있는 경로(the most probable path)를 선택하고, 그 추정을 사용자에게 제시한다.
도 2는 전사된 텍스트에 있는 하나 이상의 워드를 수정하기 위한 예시적 모바일 컴퓨팅 디바이스를 나타내는 블록 다이어그램이다. 모바일 컴퓨팅 디바이스(200)는 사용자 발화로부터 전사된 텍스트를 제시하고, 상기 전사된 텍스트를 수정하기 위해 하나 이상의 사용자 입력을 수신하는 기능을 수행하는 워드 수정 모듈(202)을 포함한다.
특히, 모바일 컴퓨팅 디바이스(200)는 사용자로부터 음성 오디오 입력(206)을 수신하는 음성 입력 인터페이스(204)를 포함한다. 예를 들어, 음성 입력 인터페이스(204)는 사용자로부터의 발화에 있는 사운드를 음성 데이터 출력(208)으로 변환하는 마이크로폰일 수 있다. 음성 입력 인터페이스(204)는 음성 데이터 출력(208)을 워드 수정 모듈(202)로 전달하고, 워드 수정 모듈(202)은 음성 데이터 출력(208)을 전사 시스템에 전달한다.
전사 시스템은 워드 래티스(210)를 생성하기 위해 음성 데이터 출력(208)에 대해 음성 인식 동작을 수행한다. 전사 시스템은 워드 래티스(210)를 모바일 컴퓨팅 디바이스(200)에 송신한다.
워드 수정 모듈(202)은 워드 래티스(210)를 수신하고, 워드 래티스(210)로부터 전사된 텍스트(212)를 디스플레이 인터페이스(214)에 제시한다. 일부 구현예들에서, 디스플레이 인터페이스(214)는 LCD(liquid crystal display) 스크린과 같은 하드웨어 디스플레이 스크린이다. 제시되는 전사된 텍스트(212)는 워드 래티스(210)로부터의 다중 워드를 포함하고, 전사된 텍스트(212)는 사용자에 의해 수정될 하나 이상의 워드를 포함한다. 워드 수정 모듈(202)은 전사된 텍스트(212)에 있는 부정확한(예컨대, 사용자가 발화하지 않은 것) 워드에 대한 선택(216)을 사용자로부터 수신한다. 워드 수정 모듈(202)은 터치스크린, 트팩 볼 또는 다른 포인팅 디바이스, 또는 키보드와 같은 사용자 인터페이스(218)를 통해 선택(216)을 수신한다.
워드 수정 모듈(202)은 선택(216)을 위한 하나 이상의 대체 워드를 제시한다. 워드 수정 모듈(202)은 디스플레이 인터페이스(214)를 사용하여 대체 워드들(220)을 디스플레이한다. 워드 수정 모듈(202)은 사용자 입력 인터페이스(218)를 통해 제시된 대체 워드들 중 하나에 대한 선택(222)을 사용자로부터 수신한다. 워드 수정 모듈(202)은 전사된 텍스트(212)로부터의 선택(216)을 대체 워드들로부터의 선택(222)으로 교체하고, 디스플레이 인터페이스(214)에서 업데이트된 전사된 텍스트를 사용자에게 제시한다.
도 3a는 전사된 텍스트에 있는 하나 이상의 워드를 수정하는데 사용되는 예시적 워드 래티스(300)이다. 본 명세서에서 워드 래티스(300)는 유한 상태 변환기(finite state transducer)로서 제시되어 있다. 워드 래티스(300)는 워드들 사이의 가능한 경계(possible boundary)에 대응하는 하나 이상의 노드(302a-302g)를 포함한다. 워드 래티스(300)는 그 워드 래티스(300)에 기인하는 전사 추정들에 있는 가능한 워드(possible word)들을 위한 다중 에지들(304a-304l)을 포함한다. 이에 더하여, 에지들(304a-304l) 각각은 각 에지가 대응하는 노드로부터 정확한 에지일 확률 또는 하나 이상의 가중치를 가질 수 있다. 가중치들은 전사 시스템에 의해 결정되고, 예를 들어, 그 에지에 대한 워드와 음성 데이터 간의 매치(match)에 대한 신뢰도(confidence) 및 그 워드가 워드 래티스(300)에 있는 다른 워드들과 문법적으로 및/또는 사전적으로 얼마나 잘 맞는지에 기초할 수 있다.
예를 들어, 처음에, 워드 래티스(300)를 통한 가장 개연성 있는 경로는 텍스트 "we're coming about 11:30.(우리는 11:30에 갈 것이다)"를 갖는 에지들(304c, 304e, 304i, 및 304k)을 포함할 수 있다. 제2 최적 경로는 텍스트 "deer hunting scouts 7:30.(사슴 사냥은 7:30에 정찰한다.)"을 갖는 에지들(304d, 304h, 304j, 304l)를 포함할 수 있다.
노드들의 각 쌍은 다양한 전사 추정으로 된 대체 워드들에 대응하는 하나 이상의 경로를 포함할 수 있다. 예를 들어, 노드(302a)에서 시작하여 노드(302c)에서 끝나는 노드 쌍 사이의 초기 가장 개연성 있는 경로는 에지(304c) "we're"이다. 이 경로는 에지들(304a-304b) "we are" 및 에지(304d) "deer"을 포함하는 대체 경로들을 갖는다. 따라서 에지(304e) "coming"은 에지들(304f-304g) "come at"과 에지(304h) "hunting"을 포함하는 대체 워드들을 갖는다. 에지(304i) "about"은 에지(304j) "scouts"를 포함하는 대체 워드를 갖고, 에지(304k) "11:30"은 에지(340l) "7:30"을 포함하는 대체 워드를 갖는다.
도 3b는 전사된 텍스트에 있는 하나 이상의 워드를 수정하는데 사용되는 예시적 워드 래티스(350)이다. 워드 래티스(350)는 계층적(hierarchy)이다. 워드 래티스(350)는 전사된 텍스트를 위한 다양한 추정으로 된 워드들을 나타내는 다중 노드들(352a-l)을 포함한다. 노드들(352a-l) 사이의 에지들은 가능한 추정들이 노드들(352c, 352e, 352i, 및 352k) "we're coming about 11:30", 노드들(352a, 352b, 352e, 352i, 및 352k) "we are coming about 11:30", 노드들(352a, 352b, 352f, 352g, 352i, 및 352k) "we are come at about 11:30", 노드들(352d, 352f, 352g, 352i, 및 352k) "deer come at about 11:30", 노드들(352d, 352h, 352j, 및 352k) "deer hunting scouts 11:30", 및 노드들(352d, 352h, 352j, 및 352i) "deer hunting scouts 7:30"을 포함한다는 것을 보여준다.
다시, 노드들(352a-l) 사이의 에지들은 음성 인식과 결과 텍스트의 문법적/사전적 분석에 대한 신뢰도에 기초한 확률 및 연관된 가중치를 가질 수 있다. 이 예시에서, "we're coming about 11:30"은 현재 최적 추정일 수 있고, "deer hunting scouts 7:30"은 차순의 최적 추정일 수 있다. 하나 이상의 분할(354a-d)이 워드와 그것의 대체물들을 함께 그룹화하는 워드 래티스(350)에서 만들어질 수 있다. 예를 들어, 분할(354a)은 워드 "we're" 및 대체물들 "we are"와 "deer"을 포함한다. 분할(354b)은 워드 "coming" 및 대체물들 "come at" 및 "hunting"을 포함하다. 분할(354c)은 워드 "about"와 대체물 "scouts"를 포함하고, 분할(354d)은 워드 "11:30" 및 대체물 "7:30"을 포함한다.
사용자가 수정을 위하여 최적 추정으로부터 워드들을 선택하고, 그 부정확한 워드들을 교체하기 위해 다른 추정으로부터 대체물을 선택할 때, 나머지 추정들 중 하나가 최적 추정이 될 수 있다. 예를 들어, 사용자가 "we're"을 선택한 다음, "we're"을 교체하기 위해 대체물 "deer"을 선택하면, "deer hunting scouts 7:30"이 최적 추정이 될 수 있다.
일부 구현예들에서, 워드 수정 모듈은 제시만 하거나, 및/또는 사용자가 전사된 텍스에 있는 그 밖의 워드에 대해 에지가 존재하는 대체물을 선택하는 것을 허용할 수 있다. 예를 들어, "we're coming about 11:30"가 현재 최적 추정으로서 제시되고 있다면, 워드 수정 모듈은 "deer"이 전사된 텍스트의 나머지 "… coming about 11:30"에 연결되는 에지를 가지고 있지 않기 때문에, "we're"에 대한 대체물로서 "deer"가 아닌 "we are"을 제시할 수 있다. 워드들 "we are"은 " … coming about 11:30"로의 에지를 가지며, 그로 인해 "we're"에 대한 교체 목록에 포함된다. 다른 예시에서, 사용자가 수정을 위해 워드 "coming"을 선택하면, 워드 수정 모듈은 "we're coming"을 포함하기 위해 선택을 확장할 수 있고, 이어 "we are cpme at" 및 "deer come at"을 포함하는 대체물을 제시할 수 있다.
도 4a는 전사된 텍스트에 있는 하나 이상의 워드를 수정하기 위한 예시적 GUI(400)이다. GUI(400)는 텍스트 입력을 수신하는 애플리케이션(예컨대, 인스턴스 메시지 애플리케이션, 이메일 애플리케이션, 또는 워드 프로세서 애플리케이션)에 연관될 수 있다. GUI(400)는 텍스트 입력 영역(402)과 텍스트 입력 영역(402)에 텍스트를 입력하기 위한 키보드(404)를 포함한다. 일부 구현예들에서, 키보드(404)는 터치스크린 키보드이다. 일부 구현예들에서, GUI(400)를 제공하는 컴퓨팅 디바이스는 텍스트 입력 영역(402)에 입력들을 만드는 물리적 키보드를 포함할 수 있다. 이에 더하여, GUI(400)를 제공하는 컴퓨팅 디바이스는 보이스 또는 음성 입력을 수신할 수 있다. 예를 들어, 키보드(404)는 텍스트 입력 영역(402)으로의 음성-대-텍스트 입력(speech-to-text input)을 초기화하기 위한 컨트롤 또는 아이콘을 포함할 수 있다. 워드 수정 모듈은 수신된 음성 데이터를 전사 시스템에 송신하고, 워드 래티스를 수신한다.
GUI(400)는 텍스트 입력 영역(402)에 최적 추정 "we're coming about 11:30"을 제시한다. 사용자는 워드를 선택함으로써 그 워드가 수정되기를 요청할 수 있다. 예를 들어, 사용자는 터치 스크린 위를 누름으로써 워드 "we're"에 대한 선택(406)을 행한다. 대안적으로, GUI(400)는 텍스트 입력 영역(402)에서 워드를 선택하기 위해, 연관된 포인팅 디바이스 또는 다른 네비게이션 컨트롤들을 가질 수 있다.
GUI는 대체 구 컨트롤(408)에 차순의 최적 추정 "Deer hunting scourts 7:30"을 제시한다. 사용자는 텍스트 입력 영역(402)에 있는 전사된 텍스트를 대체 구 컨트롤(408)에 보여지는 텍스트로 교체하기 위해 대체 구 컨트롤(408)을 선택할 수 있다.
도 4b는 전사된 텍스트에서 하나 이상의 워드를 수정하기 위한 예시적 GUI(420)이다. GUI(420)는 선택된 워드 "we're"을 위한 워드 래티스로부터 대체 워드들의 목록(422)을 보여준다. 목록(422)은 대체물 "we are" 및 "deer"를 포함한다. 목록(422)는 또한 워드를 대체물로 교체하지 않고, 그 워드를 텍스트 입력 영역(402)으로부터 제거하기 위한 제어 컨트롤을 포함한다. 여기서, 사용자는 GUI(420)가 텍스트 입력 영역(402)에서 워드 "we're"을 제거하도록 요청하기 위해 제거 컨트롤 위에서 선택(424)을 행한다.
도 4c는 전사된 텍스트에서 하나 이상의 워드를 수정하기 위한 예시적 GUI(440)이다. 워드 수정 모듈은 텍스트 입력 영역(402)에 제시된 전사 추정에서 워드 "we're"을 더 이상 포함하지 않도록 GUI(440)를 업데이트하였다. 이에 더하여, 워드 수정 모듈은 사용자에 의해 행해진 수정에 의해, 텍스트 입력 영역(402)에 있는 현재 최적 추정에 기초하여 새로운 차순의 최적 추정 "Come at about 11:30" 을 포함하도록 대체 구 컨트롤(408)을 업데이트하였다. 사용자는 텍스트 입력 영역(402)에 있는 텍스트가 "Come at about 11:30"으로 교체되도록 요청하기 위하여 대체 구 컨트롤(408) 위에서 선택(442)을 행한다.
도 4d는 전사된 텍스트에 있는 하나 이상의 워드를 수정하기 위한 예시적 GUI(460)이다. 워드 수정 모듈은 대체 구 컨트롤(408)에 대한 사용자의 선택으로 요청된 새로운 최적 전사 추정 "Come at about 11:30"을 포함하도록 GUI(460)를 업데이트하였다.
일부 구현예들에서, 워드 수정 모듈은 사용자가 2개의 간단한 사용자 입력만을 행함으로써 워드를 수정하게 할 수 있게 한다. 예를 들어, 사용자는 부정확한 워드를 선택하기 위해 스크린을 터치하고, 두 번째로 스크린을 터치하여 부정확한 워드를 교체하도록 대체물을 선택할 수 있다.
일부 구현예들에서, 워드 수정 모듈은 단일 사용자 입력에 응답하여 하나 이상의 워드를 수정할 수 있다. 예를 들어, 사용자는 최적 추정을 차순의 최적 추정으로 교체하기 위하여 대체 구 컨트롤(408)을 선택할 수 있다. 다른 예시에서, 대체 워드가 오직 1개만 존재하는 경우, 워드 수정 모듈은 대체물의 목록을 제공하지 않고, 부정확한 워드의 선택에 응답하여 부정확한 워드를 자동으로 교체할 수 있다. 또 다른 예시에서, 대체물이 정확할 가능성이 다른 대체물보다 상당히 큰 경우, 워드 수정 모듈은 대체물들의 목록을 제공하지 않고 부정확한 워드에 대한 선택에 응답하여 부정확한 워드를 최적 대체물로 자동으로 교체할 수 있다. 상당히 크다는 것은 예를 들어, 거의 100%의 확률을 갖는 최적 대체물과 거의 0%의 확률을 갖는 다른 대체물들, 또는 차순의 최적 대체물보다 몇 배 더 가연성이 있는 최적 대체물을 포함할 수 있다. 일부 구현예에서, 워드 위를 길게 누르는 것은 그 워드가 텍스트 입력 영역(402)와 추정에서 제거되어야만 한다는 것을 나타낼 수 있다. 대안적으로, 부정확한 워드 위를 길게 누르는 것은 부정확한 워드를 차순의 최적 대체물으로 교체되게 하는 요청을 나타낼 수 있다.
도 5는 전사된 텍스트에 있는 하나 이상의 워드를 수정하기 위한 예시적 프로세스(500)를 나타내는 순서도이다. 프로세스(500)는 예를 들어, 시스템(예컨대, 시스템(100), 모바일 컴퓨팅 디바이스(200), 워드 래티스(300), 및/또는 GUI(400, 420, 440, 및 460))에 의해 수행될 수 있다. 제시를 간략화하기 위하여, 후술되는 설명은 프로세스(500)를 설명하기 위한 예시들의 기준으로서, 시스템(100), 모바일 컴퓨팅 디바이스(200), 워드 래티스(300), 및/또는 GUI(400, 420, 440, 및 460)을 사용한다. 그러나 다른 시스템 또는 시스템들의 조합도 프로세서(500)를 수행하는데 사용될 수 있다.
프로세스(500)는 모바일 컴퓨팅 디바이스에 있는 마이크로폰으로부터 음성 오디오 데이터를 수신하는 것으로 시작한다(502). 예를 들어, 사용자는 셀룰라 전화기 또는 스마트폰의 마이크로폰에 발화(utterance)를 입력한다.
프로세스(500)는 모바일 컴퓨팅 디바이스로부터의 음성 오디오 데이터를 전사 시스템에 송신한다(504). 예를 들어, 모바일 컴퓨팅 디바이스(102)는 음성 데이터 출력(108)을 전사 시스템(104)에 송신할 수 있다.
프로세스(500)는 모바일 컴퓨팅 디바이스에서, 전사 시스템이 음성 오디오 데이터로부터 전사한 워드 래티스를 수신한다(506). 예를 들어, 모바일 컴퓨팅 디바이스(200)는 음성 데이터 출력(208)으로부터 전사된 워드 래티스(210)를 수신할 수 있다.
프로세스(500)는 모바일 컴퓨팅 디바이스의 디스플레이 스크린상에 워드 래티스로부터 하나 이상의 전사된 워드를 제시한다(508). 예를 들어, 워드 수정 모듈(202)은 전사된 텍스트(212)를 GUI(400)에 제시할 수 있다.
프로세스(500)는 모바일 컴퓨팅 디바이스에서, 제시된 전사된 워드들 중 적어도 하나에 대한 사용자 선택을 수신하면(510), 전사된 워드에 대한 사용자 선택의 수신에 응답하여, 프로세스(500)가 선택된 전사된 워드에 대한 워드 래티스로부터 하나 이상의 대체 워드를 디스플레이 스크린상에 제시한다(512). 예를 들어, 워드 수정 모듈(202)은 전사된 워드 "we're"에 대한 선택(406)을 수신하고, 그에 응답하여 대체 워드들의 목록(422)을 제시할 수 있다.
프로세스(500)는 모바일 컴퓨팅 디바이스에서, 대체 워드들 중 적어도 하나이상에 대한 사용자 선택을 수신한다(514). 예를 들어, 워드 수정 모듈(202)은 수정 컨트롤에 대한 사용자 선택(424) 또는 목록(422)에 있는 하나 이상의 대체 워드 "we're" 및 "deer"에 대한 선택을 수신할 수 있다.
대체 워드에 대한 사용자 선택의 수신에 응답하여, 프로세스(500)는 제시된 전사된 워드들에 있는 상기 선택된 전사된 워드를 상기 선택된 대체 워드로 교체한다(508). 예를 들어, 워드 수정 모듈(202)은 GUI(440)의 텍스트 입력 영역(402)에 업데이트된 전사된 텍스트 "coming about 11:30"을 제시할 수 있다.
도 6은 본 명세서에서 설명된 기술들에 사용될 수 있는 컴퓨터 디바이스(600)와 모바일 컴퓨터 디바이스(650)의 예시를 나타낸다.
컴퓨팅 시스템(600)은 랩탑, 데스크탑, 워크스테이션, PDA(Personal Digital Assistant), 서버, 블레이드(blade) 서버, 메인프레임, 및 그 밖의 적절한 컴퓨터들과 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위해 사용된다. 컴퓨팅 디바이스(650)는 PDA, 셀룰라 전화, 스마트폰, 및 그 밖의 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내기 위해 사용된다. 본 명세서에서 나타낸 구성요소, 그들의 접속 및 관계, 및 그들의 기능들은 단지 예시적인 것을 의미하고, 본 명세서에서 설명하거나 또는 청구된 방법들의 구현예를 제한하는 것을 의미하지 않는다.
컴퓨팅 디바이스(600)는 프로세서(602), 메모리(604), 저장 디바이스(606), 메모리(604)와 고속 확장 포트(610)에 접속하는 고속 인터페이스(608), 및 저속 버스(614)와 저장 디바이스(606)에 접속하는 저속 인터페이스(612)를 포함한다. 각 프로세서(602), 메모리(604), 저장 디바이스(606), 고속 인터페이스(608), 고속 확장 포트(610), 및 저속 인터페이스(612) 각각은 다양한 버스들을 사용하여 서로 접속되고, 공통 마더보드에 탑재되거나 또는 적절한 경우 다른 방식으로 탑재될 수 있다. 프로세서(602)는 컴퓨팅 디바이스(600) 내에서 실행하기 위한 인스트럭션을 처리할 수 있으며, 이러한 인스트럭션에는, 고속 인터페이스(608)에 연결된 디스플레이(616)와 같은 외장 입/출력 디바이스 상에서 GUI용 그래픽 정보를 디스플레이하기 위해, 메모리(604) 또는 저장 디바이스(606)에 저장되는 인스트럭션이 포함된다. 다른 구현예에서, 다중 프로세서 및/또는 다중 버스는 적절한 경우, 다중 메모리 및 메모리 타입과 함께 사용될 수 있다. 또한, 다중 컴퓨팅 디바이스(600)는 각 디바이스가 필요 동작의 부분을 제공하는 형태(예를 들어, 서버 뱅크, 블레이드 서버의 그룹, 또는 다중 프로세서 시스템)로 접속될 수 있다.
메모리(604)는 컴퓨팅 디바이스(600) 내에 정보를 저장한다. 일 구현예에서, 메모리(604)는 휘발성 메모리 유닛 또는 유닛들이다. 또 일부 구현예들에서, 메모리(604)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(604)는 마그네틱 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독가능 매체일 수 있다.
저장 디바이스(606)는 컴퓨팅 디바이스(600)를 위한 대용량 저장소(mass storage)를 제공할 수 있다. 일부 구현예들에서, 저장 디바이스(606)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테입 디바이스, 플래쉬 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성에 존재하는 디바이스를 포함하는 디바이스 어레이일 수 있다. 또한, 컴퓨터 프로그램 물은 실행될 때, 상술한 것과 같은 하나 이상의 방법을 수행하는 인스트럭션을 포함할 수 있다. 컴퓨터 프로그램 물은 또한, 메모리(604), 저장 디바이스(606), 또는 프로세서(602) 상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체에 유형적(tangibly)으로 구현될 수 있다.
저속 제어부(612)가 저대역-집약적 동작(lower bandwidth-intensive operations)을 관리하는 반면, 고속 인터페이스(608)는 컴퓨팅 디바이스(600)에 대한 대역-집약적 동작을 관리한다. 이러한 기능들의 배치는 단지 예시적인 것이다. 일부 구현예들에서, 고속 인터페이스(608)는 메모리(604), 디스플레이(616)(예를 들어, 그래픽 프로세서 또는 가속기를 통함)에 연결되고, 다양한 확장 카드(도시되지 않음)을 수용할 수 있는 고속 확장 포트(610)에 연결된다. 일부 구현예에서는, 저속 인터페이스(612)는 저장 디바이스(606) 및 저속 확장 포트(614)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입/출력 디바이스들에 연결되거나, 또는 예컨대 네트워크 어댑터를 통하여, 스위치나 라우터와 같은 네트워킹 디바이스에 연결될 수 있다.
컴퓨팅 디바이스(600)는 도면에 도시된 바와 같이, 복수의 다른 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(600)는 표준 서버(620)로 구현되거나 이러한 서버들의 그룹에서 여러 번(multiple time) 구현될 수 있다. 이에 더하여, 컴퓨팅 디바이스(600)는 랩탑 컴퓨터(622)와 같은 개인용 컴퓨터내에 구현될 수 있다. 또한, 컴퓨팅 디바이스(600)는 랙 서버 시스템(624)의 부분으로서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(600)로부터의 구성요소는 모바일 컴퓨팅 디바이스(650)와 같은 모바일 디바이스(도시되지 않음) 내 다른 구성요소와 조합될 수 있다. 이러한 디바이스 각각은 하나 이상의 컴퓨팅 디바이스(600)와 모바일 컴퓨팅 디바이스(650)를 포함하고, 전체 시스템은 서로 통신하는 다중 컴퓨팅 디바이스(600, 650)로 구성될 수 있다.
모바일 컴퓨팅 디바이스(650)는 여러 구성요소 중에서 프로세서(652), 메모리(664), 디스플레이(654)와 같은 입/출력 디바이스, 통신 인터페이스(666), 및 트랜스시버(668) 등을 포함한다. 또한, 모바일 컴퓨팅 디바이스(650)에는 추가적인 저장소를 제공하기 위하여, 마이크로-드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 프로세서(652), 메모리(664), 디스플레이(654), 통신 인터페이스(666), 및 트랜스시버(668) 각각은 다양한 버스를 이용하여 서로 접속되고, 구성요소의 몇몇은 공통의 마더보드에 탑재되거나 적절한 다른 방법으로 탑재될 수 있다.
프로세서(652)는 컴퓨팅 디바이스(650) 내에서 인스트럭션을 실행하며, 이 인스트럭션에는 메모리(664)에 저장된 인스트럭션이 포함된다. 프로세서는 개별적이고 다중의 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩 세트로서 구현될 수 있다. 프로세서는, 예를 들어, 사용자 인터페이스의 컨트롤, 디바이스(650)에 의해 실행되는 애플리케이션, 및 컴퓨팅 디바이스(650)에 의한 무선 통신과 같은 디바이스(650)의 다른 구성요소들 사이에 조정을 제공할 수 있다.
프로세서(652)는 제어 인터페이스(658) 및 디스플레이(654)에 연결된 디스플레이 인터페이스(656)를 통해 사용자와 통신할 수 있다. 디스플레이(654)는, 예를 들어, TFT LCD(Thin-Film-Tansistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(656)는 그래픽 및 다른 정보를 사용자에게 나타내기 위해 디스플레이(654)를 구동하는 적절한 회로를 포함할 수 있다. 제어 인터페이스(658)는 사용자로부터 명령들을 수신하고, 프로세서(652)에 제출하기 위해 그 명령들을 변환한다. 더욱이, 확장 인터페이스(662)는 디바이스(650)와 다른 디바이스들 간에 근거리 통신이 가능하도록 하기 위해, 프로세서(652)와의 통신에 제공될 수 있다. 확장 인터페이스(662)는, 예를 들어, 일부 구현예에서는 유선 통신을 제공하고 다른 구현예에서 무선 통신을 제공하며, 또한 다중 인터페이스가 사용될 수 있다.
메모리(664)는 컴퓨팅 디바이스(650) 내에 정보를 저장한다. 메모리(664)는 컴퓨터 판독가능 매체 또는 미디어, 휘발성 메모리 유닛 또는 유닛들, 또는 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로서 구현될 수 있다. 또한, 확장 메모리(674)가 제공되어, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함하는 확장 인터페이스(672)를 통해 디바이스(650)에 접속될 수 있다. 이러한 확장 메모리(674)는 디바이스(650)를 위한 여분의 저장 공간을 제공할 수 있고, 또한 애플리케이션 또는 디바이스(650)를 위한 다른 정보를 저장할 수 있다. 특히, 확장 메모리(674)는 상술된 프로세스를 실행하거나 보조하기 위한 인스트럭션을 포함하고, 또한 보안 정보를 포함할 수 있다. 따라서 예를 들어, 확장 메모리(674)는 디바이스(650)용 보안 모듈(security module)로서 제공될 수 있고, 디바이스(650)의 안전한 사용을 가능하게 하는 인스트럭션로 프로그램될 수 있다. 더욱이, 보안 애플리케이션은, 해킹할 수 없는 방식(non-hackable manner)으로 SIMM 카드 상에 식별 정보를 위치시킨 것과 같은 추가적 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는 아래에서 논의되는 것과 같이 예를 들어, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 컴퓨터 프로그램 물은 실행될 때, 상술된 것과 같은 하나 이상의 방법을 수행하는 인스트럭션을 포함한다.
디바이스(650)는 디지털 신호 처리 회로를 필요에 따라 포함하는 통신 인터페이스(666)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(666)는 GSM 음성 호, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS 등과 같은 다양한 모드 또는 프로토콜 하에서의 통신을 제공할 수 있다. 이러한 통신은 예를 들어, 무선-주파수 트랜스시버(668)를 통해 수행될 수 있다. 또한, 단거리(short range) 통신은 예를 들어, 블루투스, WiFi, 또는 다른 이러한 트랜스시버(도시되지 않음)를 사용하여 수행될 수 있다. 이에 더하여, GPS(Global Position System) 수신기 모듈(670)은 추가적인 네비게이션- 및 위치- 관련 무선 데이터를 디바이스(650)에 제공할 수 있으며, 이 무선 데이터는 디바이스(650)에서 실행중인 애플리케이션에 의해 적절하게 사용될 수 있다.
또한, 디바이스(650)는 사용자로부터의 발화 정보(spoken information)를 수신하고, 그 발화 정보를 사용가능한 디지털 정보로 변환하는 오디오 코덱(660)을 이용하여, 청취가능하게(audibly) 통신할 수 있다. 또한, 오디오 코덱(660)은 예를 들어, 디바이스(650)의 핸드셋 내의 스피커를 통하는 것과 같이 해서, 사용자가 들을 수 있는 음성을 생성한다. 이러한 음성은 음성 전화 호로부터의 음성을 포함할 수 있고, 녹음된 음성(예를 들어, 음성 메시지, 음악 파일 등)은 포함할 수 있고, 또한 디바이스(650) 상에서 동작하는 애플리케이션에 의해 생성된 음성을 포함할 수 있다.
컴퓨팅 디바이스(650)는 도면에 도시된 바와 같이, 복수의 다양한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(650)는 셀룰러 전화(680)로서 구현될 수 있다. 또한, 컴퓨팅 디바이스(650)는 스마트폰(682), PDA, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.
본 명세서에 기재된 시스템의 다양한 구현예와 기술은 디지털 전자 회로, 집적 회로, 특별하게 설계된 ASICs(Application Specific Intergrated Circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 그것의 조합물로 실현될 수 있다. 이러한 다양한 구현예는 하나 이상의 컴퓨터 프로그램으로 된 구현예를 포함하며, 이 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행가능하고 및/또는 해석가능하다. 또한, 전용 또는 범용 프로세서일 수 있는 이 프로그램 가능한 프로세서는 데이터와 인스트럭션을 송수신하기 위해, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 수신 디바이스에 연결된다.
컴퓨터 프로그램(또한 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로 알려짐)은 프로그램 가능한 프로세서를 위한 기계 인스트럭션을 포함하고, 고레벨 절차 및/또는 오브젝트 지향 프로그램 언어(object-oriented programming language) 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 "기계 판독가능 매체(machine-readable medium)"와 "컴퓨터 판독가능 매체(computer-readable medium)"는 기계 인스트럭션 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위해 이용되는 임의의 컴퓨터 프로그램 물, 장치, 및/또는 디바이스(예를 들어, 마그네틱 디스크, 광학 디스크, 메모리, PLDs(Programmable Logic Devices))를 가리키며, 기계 판독가능 신호와 같은 기계 인스트럭션을 수신하는 기계 판독가능 매체를 포함한다. 용어 "기계 판독가능 신호(machine-readable signal)"는 기계 인스트럭션 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위해 사용되는 임의의 신호를 가리킨다.
사용자와의 상호 동작을 제공하기 위하여, 본 명세서에 기술된 시스템과 기술은, 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT(cathode ray tube) 또는 LCD 모니터)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 구비한 컴퓨터상에서 구현될 수 있다. 사용자와의 상호 동작을 제공하기 위하여 다른 종류의 디바이스가 또한 사용될 수 있다; 예를 들어, 사용자에게 제공되는 피드백(feedback)은 임의의 형태의 감각 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향(acoustic), 음성(speech) 또는 촉각(tactile) 입력을 포함하는 임의의 형태로 수신될 수 있다.
본 명세서에서 설명한 시스템과 기술은, 백 엔드(back end) 구성요소(예를 들어, 데이터 서버와 같은), 또는 미들웨어 구성요소(예를 들어, 애플리케이션 서버), 또는 프론트 엔드(front end) 구성요소(예를 들어, 본 명세서에서 설명된 시스템 및 기술의 구현예와 사용자가 상호 동작할 수 있는 그래픽 사용자 인터페이스 또는 웹브라우저를 구비한 클라이언트 컴퓨터), 또는 이러한 백 엔드, 미들웨어, 또는 프론트 엔드 구성요소들의 임의의 조합을 포함하는 컴퓨팅 시스템으로 구현될 수 있다. 시스템의 구성요소는 디지털 데이터 통신의 임의의 형태 또는 매체(예를 들어, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예로서, 근거리 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷이 있다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 보통 서로 떨어져 있으며, 일반적으로는 통신 네트워크를 통하여 상호 동작한다. 클라이언트와 서버의 관계는 각각의 컴퓨터상에서 실행되고 상호 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의하여 발생한다.
많은 구현예들이 설명되었다. 그렇지만, 본 발명의 요지 및 범위를 벗어나지 않고 다양한 변형예들이 만들어질 수 있다는 것을 이해할 수 있을 것이다. 이에 더하여, 도면에서 묘사된 로직 흐름은 희망하는 결과를 달성하기 위해, 도시된 특정 순서 또는 시계열적 순서일 필요는 없다. 또한, 다른 단계들이 제공되거나, 그로부터 단계들이 제거될 수 있으며, 다른 구성요소들이 설명된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서 다른 구현예들은 후술하는 청구범위의 범위 내에 속한다.
104: 전사 시스템
106: 네트워크
108: 음성 데이터
110: 워드 래티스
112: 워드 선택
114: 대체 선택

Claims (14)

  1. 컴퓨터에 의해 구현되는 방법으로서,
    컴퓨팅 디바이스의 디스플레이의 제 1 출력 영역에 출력을 위한 발화의 제 1 전사와 그리고 상기 컴퓨팅 디바이스의 디스플레이의 제 2 출력 영역에 출력을 위한 상기 발화의 적어도 일부분의 제 2 전사를 제공하는 단계와;
    상기 발화의 제 1 전사의 부분의 사용자 선택을 수신하는 단계와, 상기 사용자가 선택한 발화의 제 1 전사의 부분은 워드 래티스로부터의 하나 이상의 워드들을 포함하며;
    상기 발화의 제 1 전사의 부분의 사용자 선택을 수신함에 응답하여, 상기 사용자가 선택한 상기 발화의 제 1 전사의 부분에 대한 상기 워드 래티스로부터의 하나 이상의 대체 워드들에 각각 대응하는 하나 이상의 제어들을 상기 컴퓨팅 디바이스의 디스플레이에 제시하는 단계와;
    상기 하나 이상의 제어들 중에서 특정한 제어의 사용자 선택을 수신하는 단계와; 그리고
    적어도 상기 특정한 제어의 사용자 선택에 기초하여, 상기 컴퓨팅 디바이스의 디스플레이의 제 2 출력 영역에 출력을 위한 상기 발화의 적어도 일부분의 상기 제 2 전사를 업데이트하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서,
    상기 사용자가 선택한 상기 발화의 제 1 전사의 부분에 대한 상기 워드 래티스로부터의 하나 이상의 대체 워드들에 대응하는 제어는 상기 사용자가 선택한 상기 발화의 제 1 전사의 부분에 대한 대체 전사에 대응하며,
    상기 사용자가 선택한 상기 발화의 제 1 전사의 부분에 대한 대체 전사는 자동 음성 인식기로부터 얻어지는 것을 특징으로 하는 방법.
  3. 청구항 1에 있어서,
    상기 발화의 제 1 전사는 가장 정확할 확률을 갖는 상기 발화의 전사이며,
    상기 발화의 적어도 일 부분의 제 2 전사는 제 2의 가장 정확할 확률을 갖는 상기 발화의 대체 전사인 것을 특징으로 하는 방법.
  4. 청구항 1에 있어서,
    상기 컴퓨팅 디바이스의 디스플레이의 제 2 출력 영역에 출력을 위한 상기 발화의 적어도 일부분의 제 2 전사를 업데이트하는 단계는:
    적어도 상기 특정한 제어의 사용자 선택에 기초하여 상기 발화의 업데이트된 전사를 결정하는 것과, 상기 업데이트된 전사는 상기 특정한 제어에 대응하는 상기 발화의 제 1 전사의 사용자 선택 부분에 대한 상기 하나 이상의 대체 워드들을 포함하는 발화의 모든 전사들에 대한 제 2의 가장 정확할 확률을 가지며; 그리고
    상기 업데이트된 전사를 포함하도록, 상기 컴퓨팅 디바이스의 디스플레이의 상기 제 2 출력 영역에서의 상기 발화 출력의 적어도 일부분의 제 2 전사를 업데이트하는 것을 포함하는 것을 특징으로 하는 방법.
  5. 청구항 1에 있어서,
    상기 컴퓨팅 디바이스의 디스플레이에 제시된 상기 하나 이상의 제어들은 상기 컴퓨팅 디바이스의 디스플레이의 상기 제 1 출력 영역에 출력을 위해 제공되는 상기 사용자가 선택한 상기 발화의 제 1 전사의 적어도 일부분을 오버레이하는 것을 특징으로 하는 방법.
  6. 청구항 1에 있어서,
    상기 발화의 제 1 전사 및 상기 발화의 적어도 일부분의 제 2 전사는 상기 발화에 대응하는 음성 오디오 데이터에 적어도 기초하여 자동 음성 인식기에 의해 생성되는 계층적 워드 래티스로부터 선택되는 것을 특징으로 하는 방법.
  7. 하나 이상의 프로세서로 하여금 청구항 1항 내지 6항 중 어느 한 항에 따른 방법을 수행하도록 하는 프로그램 명령어들이 저장된 컴퓨터 판독가능 매체.
  8. 컴퓨터에 의해 구현되는 방법으로서,
    컴퓨팅 디바이스의 디스플레이의 출력 영역에 출력을 위한 발화의 전사를 제공하는 단계와;
    상기 발화의 전사의 부분의 사용자 선택을 수신하는 단계와, 상기 사용자가 선택한 발화의 제 1 전사의 부분은 워드 래티스로부터의 하나 이상의 워드들을 포함하며;
    상기 발화의 제 1 전사의 부분의 사용자 선택을 수신함에 응답하여, (i) 상기 사용자가 선택한 발화의 제 1 전사의 부분에 대한 상기 워드 래티스로부터의 하나 이상의 대체 워드들 및 (ii) 상기 발화의 전사로부터 상기 사용자가 선택한 전사의 부분을 제거하라는 제거 명령에 각각 대응하는 하나 이상의 제어들을 상기 컴퓨팅 디바이스의 디스플레이에 제시하는 단계와;
    상기 하나 이상의 제어들 중에서 특정한 제어의 사용자 선택을 수신하는 단계와; 그리고
    적어도 상기 특정한 제어의 사용자 선택에 기초하여, 상기 컴퓨팅 디바이스의 디스플레이의 출력 영역에서의 출력을 위해 상기 발화의 전사를 업데이트하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 청구항 8에 있어서,
    상기 사용자가 선택한 상기 발화의 제 1 전사의 부분에 대한 상기 워드 래티스로부터의 하나 이상의 대체 워드들에 대응하는 제어는 상기 사용자가 선택한 상기 발화의 제 1 전사의 부분에 대한 대체 전사에 대응하며,
    상기 사용자가 선택한 상기 발화의 제 1 전사의 부분에 대한 대체 전사는 자동 음성 인식기로부터 얻어지는 것을 특징으로 하는 방법.
  10. 청구항 8에 있어서,
    상기 발화의 전사는 가장 정확할 확률을 갖는 상기 발화의 전사인 것을 특징으로 하는 방법.
  11. 청구항 8에 있어서,
    상기 컴퓨팅 디바이스의 디스플레이의 출력 영역에 출력을 위한 상기 발화의 전사를 업데이트하는 단계는:
    적어도 상기 특정한 제어의 사용자 선택에 기초하여 상기 발화의 업데이트된 전사를 결정하는 것과, 상기 업데이트된 전사는 적어도 상기 특정 제어의 사용자 선택에 기초하는 상기 발화의 모든 전사들에 대한 가장 정확할 확률을 가지며, 상기 특정 제어의 사용자 선택에 적어도 기초하는 상기 발화의 모든 전사들은 자동 음성 인식기로부터 얻어지며; 그리고
    상기 컴퓨팅 디바이스의 디스플레이의 상기 출력 영역에 출력을 위한 상기 발화의 전사를 상기 업데이트된 전사를 포함하도록 업데이트하는 것을 포함하는 것을 특징으로 하는 방법.
  12. 청구항 8에 있어서,
    상기 컴퓨팅 디바이스의 디스플레이에 제시된 상기 하나 이상의 제어들은 상기 컴퓨팅 디바이스의 디스플레이의 출력 영역에 출력을 위해 제공되는 상기 사용자가 선택한 상기 발화의 제 1 전사의 적어도 일부분을 오버레이하는 것을 특징으로 하는 방법.
  13. 청구항 8에 있어서,
    상기 특정한 제어의 사용자 선택을 수신하는 단계는 상기 제거 명령에 대응하는 제어의 사용자 선택을 수신하는 것을 포함하고,
    상기 적어도 상기 특정한 제어의 사용자 선택에 기초하여 상기 컴퓨팅 디바이스의 디스플레이의 출력 영역에서의 상기 발화의 전사를 업데이트하는 단계는:
    상기 사용자가 선택한 상기 발화의 전사의 부분을 포함하지 않는 발화의 업데이트된 전사를 선택하는 것과; 그리고
    상기 컴퓨팅 디바이스의 디스플레이의 출력 영역에서 출력을 위한 상기 발화의 업데이트 된 전사를 제공하는 것을 포함하는 것을 특징으로 하는 방법.
  14. 하나 이상의 프로세서로 하여금 청구항 8항 내지 13항 중 어느 한 항에 따른 방법을 수행하도록 하는 프로그램 명령어들이 저장된 컴퓨터 판독가능 매체.
KR1020177017613A 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정 KR101859709B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US29244010P 2010-01-05 2010-01-05
US61/292,440 2010-01-05
US12/913,407 US8494852B2 (en) 2010-01-05 2010-10-27 Word-level correction of speech input
US12/913,407 2010-10-27
PCT/US2011/020218 WO2011084998A2 (en) 2010-01-05 2011-01-05 Word-level correction of speech input

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127020493A Division KR101801308B1 (ko) 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013338A Division KR102128561B1 (ko) 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정

Publications (2)

Publication Number Publication Date
KR20170078856A KR20170078856A (ko) 2017-07-07
KR101859709B1 true KR101859709B1 (ko) 2018-05-18

Family

ID=44225217

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020187013338A KR102128561B1 (ko) 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정
KR1020127020493A KR101801308B1 (ko) 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정
KR1020177017613A KR101859709B1 (ko) 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020187013338A KR102128561B1 (ko) 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정
KR1020127020493A KR101801308B1 (ko) 2010-01-05 2011-01-05 음성 입력의 워드-레벨 수정

Country Status (6)

Country Link
US (11) US8494852B2 (ko)
EP (6) EP3318982A1 (ko)
KR (3) KR102128561B1 (ko)
CN (5) CN108052498B (ko)
CA (5) CA2977076A1 (ko)
WO (1) WO2011084998A2 (ko)

Families Citing this family (293)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013255A2 (en) * 1999-08-13 2001-02-22 Pixo, Inc. Displaying and traversing links in character array
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) * 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7669134B1 (en) * 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080129520A1 (en) * 2006-12-01 2008-06-05 Apple Computer, Inc. Electronic device with enhanced audio feedback
US7912828B2 (en) * 2007-02-23 2011-03-22 Apple Inc. Pattern searching methods and apparatuses
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) * 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) * 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) * 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) * 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8355919B2 (en) * 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8712776B2 (en) * 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8352272B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8396714B2 (en) * 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8352268B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
US20110066438A1 (en) * 2009-09-15 2011-03-17 Apple Inc. Contextual voiceover
US8682649B2 (en) * 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US11416214B2 (en) 2009-12-23 2022-08-16 Google Llc Multi-modal input on an electronic device
EP4318463A3 (en) 2009-12-23 2024-02-28 Google LLC Multi-modal input on an electronic device
US8494852B2 (en) * 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US8600743B2 (en) * 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9317605B1 (en) 2012-03-21 2016-04-19 Google Inc. Presenting forked auto-completions
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US9679568B1 (en) * 2012-06-01 2017-06-13 Google Inc. Training a dialog system using user feedback
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
KR20140014510A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
CN103714048B (zh) * 2012-09-29 2017-07-21 国际商业机器公司 用于校正文本的方法和系统
US9697827B1 (en) * 2012-12-11 2017-07-04 Amazon Technologies, Inc. Error reduction in speech processing
CN103076893B (zh) * 2012-12-31 2016-08-17 百度在线网络技术（北京）有限公司 一种用于实现语音输入的方法与设备
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
KR102045382B1 (ko) * 2013-02-13 2019-11-15 삼성전자주식회사 휴대 단말기에서 문자를 편집하는 장치 및 방법
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN105190607B (zh) 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US9646606B2 (en) 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US9779724B2 (en) * 2013-11-04 2017-10-03 Google Inc. Selecting alternates in speech recognition
US8768712B1 (en) * 2013-12-04 2014-07-01 Google Inc. Initiating actions based on partial hotwords
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN103645876B (zh) * 2013-12-06 2017-01-18 百度在线网络技术（北京）有限公司 语音输入方法和装置
US9448991B2 (en) * 2014-03-18 2016-09-20 Bayerische Motoren Werke Aktiengesellschaft Method for providing context-based correction of voice recognition results
USD813876S1 (en) * 2014-05-14 2018-03-27 Touchtype Ltd. Electronic device display with a keyboard graphical user interface
USD818470S1 (en) 2014-05-14 2018-05-22 Touchtype Ltd. Electronic display with a graphical user interface
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US9569062B2 (en) * 2014-05-21 2017-02-14 Facebook, Inc. Asynchronous execution of animation tasks for a GUI
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
USD872119S1 (en) 2014-06-01 2020-01-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
CN105446572A (zh) * 2014-08-13 2016-03-30 阿里巴巴集团控股有限公司 一种用于屏幕显示设备的文字编辑方法及装置
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
USD791783S1 (en) 2014-11-14 2017-07-11 Touchtype Limited Electronic device display with a keyboard graphical user interface
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9384188B1 (en) 2015-01-27 2016-07-05 Microsoft Technology Licensing, Llc Transcription correction using multi-token structures
CN107210036B (zh) * 2015-02-03 2021-02-26 杜比实验室特许公司 会议词语云
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
JP2016181018A (ja) * 2015-03-23 2016-10-13 ソニー株式会社 情報処理システムおよび情報処理方法
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
EP3089159B1 (en) 2015-04-28 2019-08-28 Google LLC Correcting voice recognition using selective re-speak
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10048842B2 (en) * 2015-06-15 2018-08-14 Google Llc Selection biasing
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
CN106328144A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种基于电话网络的远程语音控制系统
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9787819B2 (en) * 2015-09-18 2017-10-10 Microsoft Technology Licensing, Llc Transcription of spoken communications
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
DK201670539A1 (en) * 2016-03-14 2017-10-02 Apple Inc Dictation that allows editing
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
CN106098060B (zh) * 2016-05-19 2020-01-31 北京搜狗科技发展有限公司 语音的纠错处理方法和装置、用于语音的纠错处理的装置
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10019986B2 (en) * 2016-07-29 2018-07-10 Google Llc Acoustic model training using corrected terms
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
USD855636S1 (en) * 2016-09-29 2019-08-06 Beijing Sogou Technology Development Co., Ltd. Mobile phone with graphical user interface
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10831366B2 (en) 2016-12-29 2020-11-10 Google Llc Modality learning on mobile devices
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10643601B2 (en) * 2017-02-09 2020-05-05 Semantic Machines, Inc. Detection mechanism for automated dialog systems
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN107086040B (zh) * 2017-06-23 2021-03-02 歌尔股份有限公司 语音识别能力测试方法和装置
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10621282B1 (en) 2017-10-27 2020-04-14 Interactions Llc Accelerating agent performance in a natural language processing system
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10629205B2 (en) * 2018-06-12 2020-04-21 International Business Machines Corporation Identifying an accurate transcription from probabilistic inputs
CN109325227A (zh) * 2018-09-14 2019-02-12 北京字节跳动网络技术有限公司 用于生成修正语句的方法和装置
JP7243106B2 (ja) 2018-09-27 2023-03-22 富士通株式会社 修正候補提示方法、修正候補提示プログラムおよび情報処理装置
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN109461436B (zh) * 2018-10-23 2020-12-15 广东小天才科技有限公司 一种语音识别发音错误的纠正方法及系统
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN109767763B (zh) * 2018-12-25 2021-01-26 苏州思必驰信息科技有限公司 自定义唤醒词的确定方法和用于确定自定义唤醒词的装置
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US10978069B1 (en) * 2019-03-18 2021-04-13 Amazon Technologies, Inc. Word selection for natural language interface
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11023202B2 (en) 2019-05-29 2021-06-01 International Business Machines Corporation Enhanced autocorrect features using audio interface
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
EP3931826A4 (en) * 2019-08-13 2022-05-11 Samsung Electronics Co., Ltd. SERVER SUPPORTING VOICE RECOGNITION OF A DEVICE AND METHOD OF OPERATING THE SERVER
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11961511B2 (en) 2019-11-08 2024-04-16 Vail Systems, Inc. System and method for disambiguation and error resolution in call transcripts
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11900921B1 (en) 2020-10-26 2024-02-13 Amazon Technologies, Inc. Multi-device speech processing
KR20220124547A (ko) * 2021-03-03 2022-09-14 삼성전자주식회사 사용자의 음성 입력을 정정하는 전자 장치 및 그 동작 방법
US11967306B2 (en) 2021-04-14 2024-04-23 Honeywell International Inc. Contextual speech recognition methods and systems
US11721347B1 (en) * 2021-06-29 2023-08-08 Amazon Technologies, Inc. Intermediate data for inter-device speech processing
CN113779972B (zh) * 2021-09-10 2023-09-15 平安科技（深圳）有限公司 语音识别纠错方法、系统、装置及存储介质
US20230335124A1 (en) * 2022-04-14 2023-10-19 Google Llc Comparison Scoring For Hypothesis Ranking
US11880645B2 (en) 2022-06-15 2024-01-23 T-Mobile Usa, Inc. Generating encoded text based on spoken utterances using machine learning systems and methods
KR20240039363A (ko) * 2022-09-19 2024-03-26 삼성전자주식회사 전자 장치 및 그의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020052742A1 (en) * 2000-07-20 2002-05-02 Chris Thrasher Method and apparatus for generating and displaying N-best alternatives in a speech recognition system
US20050159950A1 (en) * 2001-09-05 2005-07-21 Voice Signal Technologies, Inc. Speech recognition using re-utterance recognition
JP2009086063A (ja) * 2007-09-28 2009-04-23 Kddi Corp 音声認識装置およびコンピュータプログラム

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5915236A (en) * 1992-11-13 1999-06-22 Dragon Systems, Inc. Word recognition system which alters code executed as a function of available computational resources
US5367453A (en) * 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
DE69423838T2 (de) * 1993-09-23 2000-08-03 Xerox Corp Semantische Gleichereignisfilterung für Spracherkennung und Signalübersetzungsanwendungen
US5864815A (en) * 1995-07-31 1999-01-26 Microsoft Corporation Method and system for displaying speech recognition status information in a visual notification area
US5712957A (en) * 1995-09-08 1998-01-27 Carnegie Mellon University Locating and correcting erroneously recognized portions of utterances by rescoring based on two n-best lists
US5855000A (en) * 1995-09-08 1998-12-29 Carnegie Mellon University Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
US5799279A (en) * 1995-11-13 1998-08-25 Dragon Systems, Inc. Continuous speech recognition of text and commands
US5794189A (en) * 1995-11-13 1998-08-11 Dragon Systems, Inc. Continuous speech recognition
US6055515A (en) * 1996-07-30 2000-04-25 International Business Machines Corporation Enhanced tree control system for navigating lattices data structures and displaying configurable lattice-node labels
GB2302199B (en) * 1996-09-24 1997-05-14 Allvoice Computing Plc Data processing method and apparatus
US5857099A (en) * 1996-09-27 1999-01-05 Allvoice Computing Plc Speech-to-text dictation system with audio message capability
US5899976A (en) * 1996-10-31 1999-05-04 Microsoft Corporation Method and system for buffering recognized words during speech recognition
US5829000A (en) * 1996-10-31 1998-10-27 Microsoft Corporation Method and system for correcting misrecognized spoken words or phrases
US5952942A (en) * 1996-11-21 1999-09-14 Motorola, Inc. Method and device for input of text messages from a keypad
US5864805A (en) * 1996-12-20 1999-01-26 International Business Machines Corporation Method and apparatus for error correction in a continuous dictation system
US5953541A (en) * 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
US5909667A (en) * 1997-03-05 1999-06-01 International Business Machines Corporation Method and apparatus for fast voice selection of error words in dictated text
WO1999000790A1 (en) * 1997-06-27 1999-01-07 M.H. Segan Limited Partnership Speech recognition computer input and device
US6182028B1 (en) 1997-11-07 2001-01-30 Motorola, Inc. Method, device and system for part-of-speech disambiguation
US7203288B1 (en) * 1997-11-21 2007-04-10 Dictaphone Corporation Intelligent routing of voice files in voice data management system
US6397179B2 (en) * 1997-12-24 2002-05-28 Nortel Networks Limited Search optimization system and method for continuous speech recognition
JP2991178B2 (ja) * 1997-12-26 1999-12-20 日本電気株式会社 音声ワープロ
US5970451A (en) * 1998-04-14 1999-10-19 International Business Machines Corporation Method for correcting frequently misrecognized words or command in speech application
US6424983B1 (en) 1998-05-26 2002-07-23 Global Information Research And Technologies, Llc Spelling and grammar checking system
US6374220B1 (en) * 1998-08-05 2002-04-16 Texas Instruments Incorporated N-best search for continuous speech recognition using viterbi pruning for non-output differentiation states
US6606598B1 (en) 1998-09-22 2003-08-12 Speechworks International, Inc. Statistical computing and reporting for interactive speech applications
US6405170B1 (en) 1998-09-22 2002-06-11 Speechworks International, Inc. Method and system of reviewing the behavior of an interactive speech recognition application
US20010025232A1 (en) * 1998-10-02 2001-09-27 Klimasauskas Casimir C. Hybrid linear-neural network process control
US6192343B1 (en) * 1998-12-17 2001-02-20 International Business Machines Corporation Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms
WO2000045375A1 (en) * 1999-01-27 2000-08-03 Kent Ridge Digital Labs Method and apparatus for voice annotation and retrieval of multimedia data
CN1343337B (zh) * 1999-03-05 2013-03-20 佳能株式会社 用于产生包括音素数据和解码的字的注释数据的方法和设备
KR20010108402A (ko) * 1999-03-26 2001-12-07 요트.게.아. 롤페즈 클라이언트 서버 음성 인식
US6314397B1 (en) * 1999-04-13 2001-11-06 International Business Machines Corp. Method and apparatus for propagating corrections in speech recognition software
US6327566B1 (en) * 1999-06-16 2001-12-04 International Business Machines Corporation Method and apparatus for correcting misinterpreted voice commands in a speech recognition system
US6374214B1 (en) * 1999-06-24 2002-04-16 International Business Machines Corp. Method and apparatus for excluding text phrases during re-dictation in a speech recognition system
US6789231B1 (en) * 1999-10-05 2004-09-07 Microsoft Corporation Method and system for providing alternatives for text derived from stochastic input sources
US6581033B1 (en) * 1999-10-19 2003-06-17 Microsoft Corporation System and method for correction of speech recognition mode errors
DE60036486T2 (de) * 1999-10-28 2008-06-12 Canon K.K. Methode und apparat zum prüfen von musterübereinstimmungen
US7310600B1 (en) * 1999-10-28 2007-12-18 Canon Kabushiki Kaisha Language recognition using a similarity measure
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7392185B2 (en) * 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US20030182113A1 (en) * 1999-11-22 2003-09-25 Xuedong Huang Distributed speech recognition for mobile communication devices
AU2001259446A1 (en) * 2000-05-02 2001-11-12 Dragon Systems, Inc. Error correction in speech recognition
US7149970B1 (en) 2000-06-23 2006-12-12 Microsoft Corporation Method and system for filtering and selecting from a candidate list generated by a stochastic input method
US6836759B1 (en) * 2000-08-22 2004-12-28 Microsoft Corporation Method and system of handling the selection of alternates for recognized words
US7216077B1 (en) * 2000-09-26 2007-05-08 International Business Machines Corporation Lattice-based unsupervised maximum likelihood linear regression for speaker adaptation
DE60113787T2 (de) * 2000-11-22 2006-08-10 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur Texteingabe durch Spracherkennung
US20070106492A1 (en) * 2001-07-18 2007-05-10 Kim Min K Apparatus and method for inputting alphabet characters
US7027988B1 (en) * 2001-07-20 2006-04-11 At&T Corp. System and method of ε removal of weighted automata and transducers
US7809574B2 (en) * 2001-09-05 2010-10-05 Voice Signal Technologies Inc. Word recognition using choice lists
WO2003025904A1 (en) 2001-09-17 2003-03-27 Koninklijke Philips Electronics N.V. Correcting a text recognized by speech recognition through comparison of phonetic sequences in the recognized text with a phonetic transcription of a manually input correction word
US7149550B2 (en) * 2001-11-27 2006-12-12 Nokia Corporation Communication terminal having a text editor application with a word completion feature
US20030112277A1 (en) * 2001-12-14 2003-06-19 Koninklijke Philips Electronics N.V. Input of data using a combination of data input systems
US6928407B2 (en) * 2002-03-29 2005-08-09 International Business Machines Corporation System and method for the automatic discovery of salient segments in speech transcripts
JP3762327B2 (ja) * 2002-04-24 2006-04-05 株式会社東芝 音声認識方法および音声認識装置および音声認識プログラム
WO2004012431A1 (en) 2002-07-29 2004-02-05 British Telecommunications Public Limited Company Improvements in or relating to information provision for call centres
US7386454B2 (en) * 2002-07-31 2008-06-10 International Business Machines Corporation Natural error handling in speech recognition
CN1864204A (zh) * 2002-09-06 2006-11-15 语音信号技术有限公司 用来完成语音识别的方法、系统和程序
US7003457B2 (en) * 2002-10-29 2006-02-21 Nokia Corporation Method and system for text editing in hand-held electronic device
KR100668297B1 (ko) * 2002-12-31 2007-01-12 삼성전자주식회사 음성인식방법 및 장치
CA2516941A1 (en) * 2003-02-19 2004-09-02 Custom Speech Usa, Inc. A method for form completion using speech recognition and text comparison
JP2004334193A (ja) * 2003-05-01 2004-11-25 Microsoft Corp 音声認識および自然言語理解のための複合統計／ルール・ベース文法モデルを有するシステム
US7904296B2 (en) * 2003-07-23 2011-03-08 Nexidia Inc. Spoken word spotting queries
US7395203B2 (en) * 2003-07-30 2008-07-01 Tegic Communications, Inc. System and method for disambiguating phonetic input
US7475015B2 (en) * 2003-09-05 2009-01-06 International Business Machines Corporation Semantic language modeling and confidence measurement
US7440895B1 (en) * 2003-12-01 2008-10-21 Lumenvox, Llc. System and method for tuning and testing in a speech recognition system
US7729912B1 (en) * 2003-12-23 2010-06-01 At&T Intellectual Property Ii, L.P. System and method for latency reduction for automatic speech recognition using partial multi-pass results
US20060036438A1 (en) * 2004-07-13 2006-02-16 Microsoft Corporation Efficient multimodal method to provide input to a computing device
KR100651384B1 (ko) * 2004-09-16 2006-11-29 삼성전자주식회사 휴대용 단말기의 키 입력 방법 및 장치
JP4604178B2 (ja) * 2004-11-22 2010-12-22 独立行政法人産業技術総合研究所 音声認識装置及び方法ならびにプログラム
US8275618B2 (en) * 2004-12-22 2012-09-25 Nuance Communications, Inc. Mobile dictation correction user interface
US8438142B2 (en) * 2005-05-04 2013-05-07 Google Inc. Suggesting and refining user input based on original user input
US20060293889A1 (en) * 2005-06-27 2006-12-28 Nokia Corporation Error correction for speech recognition systems
US20060293890A1 (en) * 2005-06-28 2006-12-28 Avaya Technology Corp. Speech recognition assisted autocompletion of composite characters
DE102005030963B4 (de) * 2005-06-30 2007-07-19 Daimlerchrysler Ag Verfahren und Vorrichtung zur Bestätigung und/oder Korrektur einer einem Spracherkennungssystems zugeführten Spracheingabe
US20070011012A1 (en) 2005-07-11 2007-01-11 Steve Yurick Method, system, and apparatus for facilitating captioning of multi-media content
US8473295B2 (en) * 2005-08-05 2013-06-25 Microsoft Corporation Redictation of misrecognized words using a list of alternatives
JP4542974B2 (ja) * 2005-09-27 2010-09-15 株式会社東芝 音声認識装置、音声認識方法および音声認識プログラム
US7930168B2 (en) * 2005-10-04 2011-04-19 Robert Bosch Gmbh Natural language processing of disfluent sentences
US7941316B2 (en) * 2005-10-28 2011-05-10 Microsoft Corporation Combined speech and alternate input modality to a mobile device
US20070106732A1 (en) * 2005-11-10 2007-05-10 Nokia Corporation Mobile communication terminal and method therefor
CN1979638A (zh) * 2005-12-02 2007-06-13 中国科学院自动化研究所 一种语音识别结果纠错方法
US20070208567A1 (en) * 2006-03-01 2007-09-06 At&T Corp. Error Correction In Automatic Speech Recognition Transcripts
JP4734155B2 (ja) * 2006-03-24 2011-07-27 株式会社東芝 音声認識装置、音声認識方法および音声認識プログラム
KR100778668B1 (ko) * 2006-03-24 2007-11-22 삼성전자주식회사 휴대용 단말기에서 데이터 입력 장치 및 방법
CA2644666A1 (en) 2006-04-17 2007-10-25 Vovision Llc Methods and systems for correcting transcribed audio files
US8209175B2 (en) * 2006-06-08 2012-06-26 Microsoft Corporation Uncertainty interval content sensing within communications
US7949536B2 (en) * 2006-08-31 2011-05-24 Microsoft Corporation Intelligent speech recognition of incomplete phrases
US7675435B2 (en) * 2006-08-31 2010-03-09 Microsoft Corporation Smart filtering with multiple simultaneous keyboard inputs
US8214210B1 (en) * 2006-09-19 2012-07-03 Oracle America, Inc. Lattice-based querying
JP2008090625A (ja) * 2006-10-02 2008-04-17 Sharp Corp 文字入力装置、文字入力方法、制御プログラム、および、記録媒体
US9830912B2 (en) * 2006-11-30 2017-11-28 Ashwin P Rao Speak and touch auto correction interface
US7953627B2 (en) 2006-12-12 2011-05-31 American Express Travel Related Services Company, Inc. Identifying industry segments with highest potential for new customers or new spending for current customers
US20080154576A1 (en) * 2006-12-21 2008-06-26 Jianchao Wu Processing of reduced-set user input text with selected one of multiple vocabularies and resolution modalities
JP4867654B2 (ja) * 2006-12-28 2012-02-01 日産自動車株式会社 音声認識装置、および音声認識方法
JP4812029B2 (ja) * 2007-03-16 2011-11-09 富士通株式会社 音声認識システム、および、音声認識プログラム
CN101295293B (zh) * 2007-04-29 2010-06-02 摩托罗拉公司 用于对表意字符的输入字符串进行自动纠错的方法
US20080300874A1 (en) * 2007-06-04 2008-12-04 Nexidia Inc. Speech skills assessment
US8831946B2 (en) * 2007-07-23 2014-09-09 Nuance Communications, Inc. Method and system of indexing speech data
US8413049B2 (en) * 2007-08-31 2013-04-02 Research In Motion Limited Handheld electronic device and associated method enabling the generation of a proposed character interpretation of a phonetic text input in a text disambiguation environment
US8036464B2 (en) * 2007-09-07 2011-10-11 Satyam Computer Services Limited System and method for automatic segmentation of ASR transcripts
US8155959B2 (en) * 2007-11-07 2012-04-10 Robert Bosch Gmbh Dialog system for human agent to correct abnormal output
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
KR101170612B1 (ko) * 2008-03-11 2012-08-03 에스케이 텔레콤주식회사 사용자 영상을 이용한 음성인식 시스템 및 방법
US20090326938A1 (en) * 2008-05-28 2009-12-31 Nokia Corporation Multiword text correction
KR101462932B1 (ko) * 2008-05-28 2014-12-04 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
KR100988397B1 (ko) * 2008-06-09 2010-10-19 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
JP5226401B2 (ja) * 2008-06-25 2013-07-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 文書データの検索を支援する装置及び方法
US8768852B2 (en) 2009-01-13 2014-07-01 Amazon Technologies, Inc. Determining phrases related to other phrases
CN101539929B (zh) * 2009-04-17 2011-04-06 无锡天脉聚源传媒科技有限公司 利用计算机系统进行的电视新闻标引方法
US8739055B2 (en) 2009-05-07 2014-05-27 Microsoft Corporation Correction of typographical errors on touch displays
US8407617B2 (en) * 2009-09-11 2013-03-26 Visual Study Bible, Llc Providing a visual representation of various resources related to passages of classic literature
US9275640B2 (en) * 2009-11-24 2016-03-01 Nexidia Inc. Augmented characterization for speech recognition
US8589163B2 (en) * 2009-12-04 2013-11-19 At&T Intellectual Property I, L.P. Adapting language models with a bit mask for a subset of related words
US8903793B2 (en) 2009-12-15 2014-12-02 At&T Intellectual Property I, L.P. System and method for speech-based incremental search
US8914401B2 (en) * 2009-12-30 2014-12-16 At&T Intellectual Property I, L.P. System and method for an N-best list interface
US8494852B2 (en) * 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US20120016671A1 (en) * 2010-07-15 2012-01-19 Pawan Jaggi Tool and method for enhanced human machine collaboration for rapid and accurate transcriptions
US8880403B2 (en) * 2010-09-03 2014-11-04 Canyon Ip Holdings Llc Methods and systems for obtaining language models for transcribing communications
US9418152B2 (en) * 2011-02-09 2016-08-16 Nice-Systems Ltd. System and method for flexible speech to text search mechanism
JP6317111B2 (ja) * 2011-02-22 2018-04-25 スピーク・ウィズ・ミー・インコーポレイテッドＳｐｅａｋ Ｗｉｔｈ Ｍｅ，Ｉｎｃ． ハイブリッド型クライアントサーバ音声認識
US8972240B2 (en) * 2011-05-19 2015-03-03 Microsoft Corporation User-modifiable word lattice display for editing documents and search queries
JP2013025299A (ja) * 2011-07-26 2013-02-04 Toshiba Corp 書き起こし支援システムおよび書き起こし支援方法
US9384736B2 (en) 2012-08-21 2016-07-05 Nuance Communications, Inc. Method to provide incremental UI response based on multiple asynchronous evidence about user input

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020052742A1 (en) * 2000-07-20 2002-05-02 Chris Thrasher Method and apparatus for generating and displaying N-best alternatives in a speech recognition system
US20050159950A1 (en) * 2001-09-05 2005-07-21 Voice Signal Technologies, Inc. Speech recognition using re-utterance recognition
JP2009086063A (ja) * 2007-09-28 2009-04-23 Kddi Corp 音声認識装置およびコンピュータプログラム

Also Published As

Publication number Publication date
KR101801308B1 (ko) 2017-11-24
KR20130006596A (ko) 2013-01-17
KR102128561B1 (ko) 2020-06-30
US20130304467A1 (en) 2013-11-14
CN108052498A (zh) 2018-05-18
CA2977063A1 (en) 2011-07-14
CN102971725A (zh) 2013-03-13
KR20170078856A (ko) 2017-07-07
US8494852B2 (en) 2013-07-23
KR20180054902A (ko) 2018-05-24
CN110110319A (zh) 2019-08-09
US9881608B2 (en) 2018-01-30
CA2977076A1 (en) 2011-07-14
US20150294668A1 (en) 2015-10-15
CN105068987A (zh) 2015-11-18
US20160133258A1 (en) 2016-05-12
US20180114530A1 (en) 2018-04-26
CN110110319B (zh) 2022-12-16
US20170069322A1 (en) 2017-03-09
CN108052498B (zh) 2021-02-19
US20110166851A1 (en) 2011-07-07
CN108733655B (zh) 2022-06-07
US20210295842A1 (en) 2021-09-23
US9711145B2 (en) 2017-07-18
CN108733655A (zh) 2018-11-02
US9087517B2 (en) 2015-07-21
US11037566B2 (en) 2021-06-15
US10672394B2 (en) 2020-06-02
EP3318980A1 (en) 2018-05-09
EP3318984A1 (en) 2018-05-09
EP3318983A1 (en) 2018-05-09
CA2977095A1 (en) 2011-07-14
US9542932B2 (en) 2017-01-10
US20160163308A1 (en) 2016-06-09
EP2531932A4 (en) 2016-06-15
EP2531932A2 (en) 2012-12-12
CA2786313A1 (en) 2011-07-14
US20120022868A1 (en) 2012-01-26
WO2011084998A2 (en) 2011-07-14
WO2011084998A3 (en) 2015-06-18
EP3318981A1 (en) 2018-05-09
US9263048B2 (en) 2016-02-16
US9466287B2 (en) 2016-10-11
US8478590B2 (en) 2013-07-02
US20170270926A1 (en) 2017-09-21
CN105068987B (zh) 2019-03-01
CN102971725B (zh) 2015-08-26
US20200251113A1 (en) 2020-08-06
EP3318982A1 (en) 2018-05-09
CA3030743A1 (en) 2011-07-14

Similar Documents

Publication Publication Date Title
KR101859709B1 (ko) 음성 입력의 워드-레벨 수정
JP2023053331A (ja) 音声入力処理

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant