KR20060055313A - 음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템 - Google Patents

음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템 Download PDF

Info

Publication number
KR20060055313A
KR20060055313A KR1020050089717A KR20050089717A KR20060055313A KR 20060055313 A KR20060055313 A KR 20060055313A KR 1020050089717 A KR1020050089717 A KR 1020050089717A KR 20050089717 A KR20050089717 A KR 20050089717A KR 20060055313 A KR20060055313 A KR 20060055313A
Authority
KR
South Korea
Prior art keywords
interpretations
centralized
user
voice command
visually
Prior art date
Application number
KR1020050089717A
Other languages
English (en)
Other versions
KR101143034B1 (ko
Inventor
데이비드 모와트
로버트 엘. 챔버스
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060055313A publication Critical patent/KR20060055313A/ko
Application granted granted Critical
Publication of KR101143034B1 publication Critical patent/KR101143034B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

사용자와의 중앙집중식 상호작용을 용이하게 해주는 방법 및 시스템은 인식된 음성 명령을 복수의 애플리케이션 모듈에 제공하는 것을 포함한다. 음성 명령의 복수의 해석이 복수의 애플리케이션 모듈 중 적어도 하나에 의해 생성된다. 중앙집중식 인터페이스 모듈은 음성 명령의 복수의 해석을 중앙집중식 디스플레이 상에 시각적으로 렌더링한다. 해석의 선택의 표시가 사용자로부터 수신된다.
음성 명령, 음성 인식, 문법 생성기, 오디오 캡처

Description

음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템{CENTRALIZED METHOD AND SYSTEM FOR CLARIFYING VOICE COMMANDS}
도 1은 본 발명이 실시될 수 있는 일반적인 컴퓨팅 환경의 블록도.
도 2는 본 발명이 실시될 수 있는 모바일 장치의 블록도
도 3은 중앙집중식 사용자 상호작용을 용이하게 해주는 시스템의 블록도.
도 4는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 5는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 6은 컴퓨팅 장치의 디스플레이의 예시적인 스크린샷을 나타낸 도면.
도 7은 중앙집중식 사용자 상호작용을 용이하게 해주는 방법의 흐름도를 나타낸 도면.
도 8은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 9는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 10은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 11은 음성 인식기를 사용하는 중앙집중식 패널 상에 디스플레이된 문자들을 처리하는 방법을 나타낸 블록도.
도 12는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 13은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 14는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 15는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 16은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 17은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 18은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 19는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 20은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 21은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 22는 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
도 23은 중앙집중식 패널의 예시적인 스크린샷을 나타낸 도면.
<도면의 주요 부분에 대한 부호의 설명>
302: 마이크로폰
304: 오디오 캡처 모듈
306: 음성 인식기
308: 문법
309: 문법 생성기
310: 애플리케이션 모듈
312: 인터페이스 모듈
314: 디스플레이
316: 입력 장치
본 발명은 일반적으로 컴퓨팅 장치와의 사용자 상호작용에 관한 것이다. 보다 구체적으로는, 본 발명은 음성 인식과 관련하여 중앙집중식 인터페이스와의 사용자 상호작용에 관한 것이다.
최근에 음성 인식 기술의 개선에 많은 관심이 기울여지고 있다. 음성 인식 기술에서의 한 이러한 도전은 음성 명령을 사용하는 컴퓨팅 장치와의 사용자 상호작용에 관한 것이다. 종종, 음성 명령은 컴퓨팅 장치가 이런 명령을 실행할 수 있기 전에 더욱 명확해질 필요가 있다.
컴퓨팅 장치는 종종 음성 명령을 여러 가지로 해석할 수 있다. 한 측면에서, 컴퓨팅 장치는 음성 명령이 어느 애플리케이션에 대한 것인지를 이해하지 못할 수 있다. 예를 들어, 음성 명령은 복수의 애플리케이션 모듈에 걸쳐 사용되는 용어를 포함할 수 있다. 다른 측면에서, 애플리케이션은 사용자가 무엇을 실행하고자 하는지를 이해하지 못할 수 있는데, 그 이유는 음성 명령이 모호한 정보를 포함하고 있기 때문이다. 예를 들어, 애플리케이션이 재생할 수 있는 다수의 비틀즈 앨범이 있을 때, 음성 명령은 "play the Beatles"을 포함할 수 있다. 또 다른 예에서, 음성 명령은 오인식 에러(misrecognition error)를 포함할 수 있다. 예를 들어, 사용자는 명령 "insert ice cream"이라고 말할 수 있지만 음성 인식 시스템은 그 명령을 "insert I scream"이라고 인식한다.
사용자가 의미하고자 하는 바를 추측하거나 사용자에 문의를 하지 않고 행동을 취하여 사용자에게 좌절을 안겨줄 수 있다. 불필요한 좌절을 야기하지 않고 또 음성 인식 효율성을 희생시키지 않고 음성 명령의 명확화 및 오인식 에러의 명확화를 제어하는 도구를 사용자에게 제공할 필요가 있다.
사용자와의 중앙집중식 상호작용을 용이하게 해주는 방법 및 시스템이 제공된다. 이 방법 및 시스템은 인식된 음성 명령을 복수의 애플리케이션 모듈에 제공하는 것을 포함한다. 복수의 애플리케이션 모듈의 적어도 하나에 의해 음성 명령의 복수의 해석이 생성된다. 중앙집중식 인터페이스 모듈은 음성 명령의 복수의 해석을 중앙집중식 디스플레이 상에 시각적으로 렌더링한다. 해석의 선택의 표시가 사용자로부터 수신된다.
시각적 렌더링 없이는 음성 명령에 모호함이 있을 경우 해석들의 리스트를 사용자에게 시각적으로 렌더링하는 중앙집중식 인터페이스 모듈은 사용자가 참조하고 있는 명령에 대한 자의적인 추측을 회피하게 한다. 게다가, 중앙 인터페이스 모듈에 의해 제공되는 중앙집중식 디스플레이 패널은 일반적 사용자 상호작용(generic user interaction)을 가능하게 해줄 수 있다.
본 발명은 사용자로부터의 음성 명령을 인식하기 위해 음성 인식을 사용하는 컴퓨터 구현 시스템과 관련하여 기술되어 있다. 그렇지만, 본 발명의 측면들을 기술하기 전에, 이들 측면을 구현하고 그로부터 도움을 받을 수 있는 적당한 컴퓨팅 환경에 대해 기술하는 것이 유용할 수 있다.
도 1은 본 발명이 구현될 수 있는 적당한 컴퓨팅 시스템 환경(100)의 예를 나타낸 것이다. 컴퓨팅 시스템 환경(100)은 적당한 컴퓨팅 환경의 일례에 불과하며, 본 발명의 사용 또는 기능의 범위에 관해 어떤 제한을 암시하려는 의도가 아니다. 또한, 컴퓨팅 환경(100)은 전형적인 오퍼레이팅 환경(100)에 예시된 컴포넌트들 중 임의의 것 또는 이들의 임의의 조합에 관하여 어떤 의존관계 또는 요건을 갖는 것으로 해석되어서도 안 된다.
본 발명은 많은 다른 범용 또는 특수 목적의 컴퓨팅 시스템 환경 또는 구성에서 동작한다. 본 발명에서 사용하기에 적합할 수 있는 공지의 컴퓨팅 시스템, 환경 및/또는 구성의 예는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그램가능 가전 제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 전화 시스템, 상기 시스템 또는 장치 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 및 기타 등등을 포함하지만, 이에 한정되는 것은 아니다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈 등의 컴퓨터 실행가능 명령어의 일반적인 관점에서 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정의 작업을 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 본 발명은 또한 작업들이 통신 네트워크를 통해 연결되어 있는 원격 프로세싱 장치에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치 를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘 다에 위치할 수 있다. 프로그램 및 모듈에 의해 수행되는 작업들은 도면을 참조하여 이하에 기술되어 있다. 당업자라면 본 명세서에 제공된 설명 및 도면을, 임의의 형태의 컴퓨터 판독가능 매체 상에 기록되어 있을 수 있는 프로세서 실행가능 명령어로서 구현할 수 있다.
도 1을 참조하면, 본 발명을 구현하는 전형적인 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트는 프로세싱 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함한 여러 가지 시스템 컴포넌트를 프로세싱 유닛에 연결하는 시스템 버스(121)를 포함할 수 있지만, 이에 한정되는 것은 아니다. 시스템 버스(121)는 메모리 버스 또는 메모리 컨트롤러, 주변 버스, 및 다양한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스를 비롯한 몇 가지 유형의 버스 구조 중 임의의 것일 수 있다. 제한이 아닌 예로서, 이러한 아키텍처로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 메자닌 버스라고도 하는 PCI(Peripheral Component Interconnect) 버스가 있다.
컴퓨터(110)는 일반적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체 둘 다를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있으나, 이에만 한정되지 않는다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구 조, 프로그램 모듈 또는 기타 데이터 등의 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체 둘 다를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 기타 광학 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 또 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다. 통신 매체는 일반적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를, 반송파 또는 기타 전송 메커니즘 등의 변조된 데이터 신호에 구현하며, 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 그의 특성 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크나 직접 유선 연결 등의 유선 매체, 또는 음향, RF, 적외선 및 기타 무선 매체 등의 무선 매체를 포함한다. 상기한 것 중 임의의 것의 조합도 역시 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
시스템 메모리(130)는 판독 전용 메모리(ROM)(131) 및 랜덤 액세스 메모리(RAM)(132) 등의 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동 중과 같은 때에 컴퓨터(110) 내의 구성요소들 간의 정보 전송을 돕는 기본적인 루틴을 포함하는 기본 입/출력 시스템(133)(BIOS)은 일반적으로 ROM(131)에 저장되어 있다. RAM(132)은 일반적으로 프로세싱 유닛(120)에 의해 즉각 액세스가능하고 및/또는 현재 처리되고 있는 데이터 및/또는 프로그램 모듈을 포함한 다. 도 1은 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)를 예시하고 있으나, 이에만 한정되지 않는다,
컴퓨터(110)는 또한 기타의 분리형/비분리형 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예로서, 도 1은 비분리형 비휘발성 자기 매체로부터 판독하거나 그에 기록하는 하드 디스크 드라이브(141), 분리형 비휘발성 자기 디스크(152)로부터 판독하거나 그에 기록하는 자기 디스크 드라이브(151), 및 CD-ROM 또는 기타 광학 매체 등의 분리형 비휘발성 광학 디스크(156)로부터 판독하거나 그에 기록하는 광학 디스크 드라이브(155)를 예시하고 있다. 전형적인 오퍼레이팅 환경에서 사용될 수 있는 기타의 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM, 및 기타 등등을 포함하지만, 이에 한정되는 것은 아니다. 하드 디스크 드라이브(141)는 일반적으로 인터페이스(140) 등의 비휘발성 메모리 인터페이스를 통해 시스템 버스(121)에 연결되어 있으며, 자기 디스크 드라이브(151) 및 광학 디스크 드라이브(155)는 일반적으로 인터페이스(150) 등의 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 연결되어 있다.
이상에서 기술하고 도 1에 예시된 드라이브 및 그의 관련 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨터(110)의 기타 데이터의 저장을 제공한다. 예를 들어, 도 1에서, 하드 디스크 드라이브(141)는 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146) 및 프로그램 데이터(147)를 저장하는 것으로서 예시되어 있다. 유의할 점은 이들 컴포넌트가 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136) 및 프로그램 데이터(137)와 동일한 것이거나 다른 것일 수 있다는 것이다. 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146) 및 프로그램 데이터(147)는 최소한 이들이 서로 다른 복사본임을 예시하기 위해 여기에서는 서로 다른 번호가 부여되어 있다.
사용자는 키보드(162), 마이크로폰(163), 및 마우스, 트랙볼 또는 터치 패드 등의 포인팅 디바이스(161) 등의 입력 장치를 통해 컴퓨터(110)에 명령 및 정보를 입력할 수 있다. 다른 입력 장치(도시 생략)는 조이스틱, 게임 패드, 위성 안테나, 스캐너, 또는 기타 등등을 포함할 수 있다. 이들 및 다른 입력 장치는 종종 시스템 버스에 연결된 사용자 입력 인터페이스(160)를 통해 프로세싱 유닛(120)에 연결되어 있지만, 병렬 포트, 게임 포트 또는 USB(Universal Serial Bus) 등의 기타의 인터페이스 및 버스 구조에 의해 연결될 수 있다. 모니터(191) 또는 기타의 유형의 디스플레이 장치도 역시 비디오 인터페이스(190) 등의 인터페이스를 통해 시스템 버스(121)에 연결되어 있다. 모니터 이외에, 컴퓨터는 또한 출력 주변 인터페이스(195)를 통해 연결될 수 있는 스피커(197) 및 프린터(196) 등의 기타의 주변 출력 장치를 포함할 수 있다.
컴퓨터(110)는 원격 컴퓨터(180) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 핸드헬드 장치, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타의 통상적인 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(110)에 대해 상기한 구성 요소들 대부분 또는 그 전부를 포함한다. 도 1에 도시된 논리적 연결은 근거리 통신망(LAN)(171) 및 원거리 통신망(WAN)(173)을 포함하지만, 기타의 네트워크도 포함할 수 있다. 이러한 네트워킹 환경은 사무실, 기업 규모의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 통상적이다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 네트워크 인터페이스(170) 또는 어댑터를 통해 LAN(171)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 일반적으로 모뎀(172) 또는 인터넷 등의 WAN(173)을 통한 통신을 설정하는 기타의 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 기타의 적절한 메커니즘을 통해 시스템 버스(121)에 연결될 수 있다. 네트워크화된 환경에서, 컴퓨터(110)와 관련하여 도시된 프로그램 모듈 또는 그의 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 제한이 아닌 예로서, 도 1은 원격 애플리케이션 프로그램(185)을 원격 컴퓨터(180)에 존재하는 것으로 예시하고 있다. 도시된 네트워크 연결이 전형적인 것이고 또 컴퓨터들 간의 통신 링크를 설정하는 기타의 수단이 사용될 수 있음을 잘 알 것이다.
도 2는 또 하나의 적용가능한 컴퓨팅 환경인 모바일 장치(200)의 블록도이다. 모바일 장치(200)는 마이크로프로세서(202), 메모리(204), 입력/출력(I/O) 컴포넌트(206), 및 원격 컴퓨터 또는 기타의 모바일 장치와 통신하기 위한 통신 인터페이스(208)를 포함한다. 일 실시예에서, 상기한 컴포넌트는 통신을 위해 적당한 버스(210)를 통해 서로 연결되어 있다.
메모리(204)는 모바일 장치(200)로의 일반 전원이 차단될 때 메모리(204)에 저장된 정보가 상실되지 않도록 배터리 백업 모듈(도시 생략)을 갖는 랜덤 액세스 메모리(RAM) 등의 비휘발성 전자 메모리로서 구현된다. 메모리(204)의 일부분은 양호하게는 프로그램 실행을 위한 번지 지정 가능한 메모리(addressable memory)로서 할당되어 있는 반면, 메모리(204)의 다른 일부분은 양호하게는 디스크 드라이브 상의 저장을 시뮬레이션하는 것 등의 저장을 위해 사용된다.
메모리(204)는 오퍼레이팅 시스템(212), 애플리케이션 프로그램(214)은 물론 객체 스토어(object store)(216)를 포함한다. 동작 중에, 오퍼레이팅 시스템(212)은 양호하게는 메모리(204)로부터 프로세서(202)에 의해 실행된다. 한 양호한 실시예에서, 오퍼레이팅 시스템(212)은 마이크로소프트사로부터 상업적으로 이용가능한 WINDOWS CE 브랜드 오퍼레이팅 시스템이다. 오퍼레이팅 시스템(212)은 양호하게는 모바일 장치용으로 설계되어 있으며, 일련의 노출된 애플리케이션 프로그래밍 인터페이스 및 메소드를 통해 애플리케이션(214)에 의해 이용될 수 있는 데이터베이스 특성을 구현한다. 객체 스토어(216) 내의 객체는 적어도 부분적으로는 노출된 애플리케이션 프로그래밍 인터페이스 및 메소드에 대한 호출에 응답하여 애플리케이션(214) 및 오퍼레이팅 시스템(212)에 의해 유지관리된다.
통신 인터페이스(208)는 모바일 장치(200)가 정보를 전송 및 수신할 수 있게 해주는 다수의 장치 및 기술을 나타낸다. 이들 장치로는 몇 가지 말하자면 유선 및 무선 모뎀, 위성 수신기 및 방송 튜너가 있다. 모바일 장치(200)는 또한 컴퓨터와 데이터를 교환하기 위해 컴퓨터에 직접 연결될 수 있다. 이러한 경우에, 통신 인터페이스(208)는 적외선 송수신기 또는 직렬 또는 병렬 통신 연결일 수 있으 며, 이들 모두는 스트리밍 정보를 전송할 수 있다.
입력/출력 컴포넌트(206)는 터치 감응 스크린, 버튼, 롤러, 및 마이크로폰 등의 다양한 입력 장치는 물론 오디오 생성기, 진동 장치, 및 디스플레이를 비롯한 다양한 출력 장치를 포함한다. 상기 열거된 장치들은 예시적인 것이며 그 모두가 모바일 장치(200)상에 존재할 필요는 없다. 게다가, 기타의 입력/출력 장치가 본 발명의 범위 내에서 모바일 장치(200)에 부착되거나 모바일 장치(200)에서 발견될 수 있다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터 구현 시스템(300)의 개략적인 블록도를 나타낸 것이다. 시스템(300)은 앞서 기술한 컴퓨팅 환경 중 임의의 것에 포함될 수 있으며 마이크로폰(302), 오디오 캡처 모듈(304), 음성 인식기(306), 복수의 설치된 애플리케이션 모듈(310) 및 중앙집중식 인터페이스 모듈(312)을 포함한다. 마이크로폰(302)은 사용자로부터 음성 명령을 수신하도록 구성되어 있다. 오디오 캡처 모듈(304)은 마이크로폰(302)에 의해 수신된 음성 명령을 캡처하고 프로세싱된 음성 명령을 음성 인식기(306)로 전달하도록 구성되어 있다.
음성 명령을 인식하기 위해, 음성 인식기(306)는 복수의 인식가능한 명령을 포함하는 문법(grammar)(308)에 액세스한다. 문법 생성기 모듈(309)은 설치되어 동작 중인 애플리케이션 모듈(310)로부터 수신된 입력에 기초하여 문법(308)을 생성하도록 구성되어 있다. 애플리케이션 모듈(310)로부터 수신된 입력은 문법(308)을 구성하며, 이 입력은 실행가능한 명령들로서 이에 의해 애플리케이션 모듈은 여러 가지 동작들을 프로세싱 및 실행할 수 있다. 따라서, 문법(308)에 위치하고 있 는 각각의 인식가능한 명령은 복수의 애플리케이션 모듈(310) 중 하나에 있는 동작을 실행하는 명령에 대응한다.
문법 생성기 모듈(309)은 또한 대안적 형태의 여러 가지 명령들로 문법(308)을 구성할 수 있다. 이들 대안적 형태의 명령들은 일반적으로 애플리케이션 모듈(310)로부터 수신된다. 예를 들어, 사용자가 컴퓨팅 장치상에서 비틀즈를 재생하고자 하는 경우, 사용자는 "비틀즈를 재생하라(play the Beatles)"고 말해야만 한다. 그렇지만, 사용자가 컴퓨팅 장치에 대해 "비틀즈를 재생하라"고 적절히 지시하는 것 대신에 컴퓨팅 장치에 대해 "비틀즈를 시작하라(start the Beatles)"고 지시할 수 있으며, 이는 동일한 작업을 달성하게 된다.
어떤 실시예에서, 문법 생성기 모듈(309)은 또한 애플리케이션 모듈(310) 중 어느 것이 임의의 주어진 시각에 동작하고 있는지를 판정하도록 구성되어 있다. 예를 들어, 문법 생성기 모듈(309)은 5개의 애플리케이션 모듈이 오퍼레이팅 시스템상에서 실행 중인 것으로 판정할 수 있다. 동작 중인 애플리케이션 모듈은 웹 브라우저의 2개의 인스턴스, 이메일 애플리케이션, 워드 프로세싱 애플리케이션 및 스프레드시트 애플리케이션을 포함한다. 문법 생성기 모듈(309)은 문법(308)을 생성할 때, 웹 브라우징 애플리케이션에 대한 한 세트의 명령만이 문법(308)을 구성하도록 명령을 압축한다. 그렇지만, 문법 생성기(309)는 동작하는 웹 브라우저의 2개의 인스턴스가 있다는 것을 알고 있다. 따라서, 문법 생성기(309)는 문법(308)을 생성할 때 모호함이 있음을 알게 된다.
다른 실시예들에서, 문법 생성기(309)는 동작하고 있는 웹 브라우저의 2개의 인스턴스가 있음을 모르고 있다. 이 실시예에서, 중앙집중식 인터페이스 모듈(312)은 동일한 애플리케이션의 서로 다른 인스턴스가 동작하게 되어 모호한 상태에 있는지를 판정하기 위해 오퍼레이팅 시스템에 대해 상태 검사를 수행할 수 있다.
음성 인식기(306)가 음성 명령을 인식한 후에, 인식된 음성 명령은 복수의 애플리케이션 모듈(310)로 전달된다. 인식된 음성 명령은 중앙집중식 인터페이스 모듈(312)을 통해 또는 음성 인식기(306)에 의해 복수의 애플리케이션 모듈로 전달된다. 전달의 경로에 상관없이, 복수의 애플리케이션 모듈(310)은 인식된 음성 명령을 처리한다.
본 발명의 일 실시예에 따르면, 애플리케이션 모듈(310) 중 일부 또는 그 전부는 인식된 음성 명령을 실행할 수 있는지를 판정한다. 예를 들어, 사용자는 명령 "설정을 시작하라(start settings)"고 말한다. 그렇지만, 시스템(300)상에 설치되어 있는 애플리케이션 모듈(310)의 대부분은 용어 "설정(settings)"을 포함하는 애플리케이션 측면을 가질 수 있다. 따라서, 인식된 명령(310)은 모호하다. 사용자가 어느 애플리케이션을 지칭하고 있는 것인지 불명확하다.
이 실시예에서, 중앙집중식 인터페이스 모듈(312)은 복수의 애플리케이션 모듈(310)로부터의 인식된 음성 명령의 일련의 가능한 해석을 수집한다. 이어서, 중앙집중식 인터페이스 모듈(312)은 일련의 해석을 리스트에 시각적으로 렌더링한다. 사용자는 해석의 리스트를 디스플레이(314)의 중앙집중식 패널상에서 보게 된다. 가능한 해석(402)의 리스트를 시각적으로 렌더링하는 중앙집중식 패널의 예시적인 스크린샷(400)이 도 4에 예시되어 있다.
본 발명의 다른 실시예에 따르면, 복수의 애플리케이션 모듈(310) 중 단지 하나만이 인식된 음성 명령을 수행할 수 있는지를 판정한다. 예를 들어, 사용자는 명령 "인디고 걸스 재생"(play the Indigo Girls)이라고 말한다. 미디어 애플리케이션 등의 단지 하나의 애플리케이션 모듈(310)만이 "인디고 걸스 재생"을 포함하는 메뉴 항목을 가지고 있다. 그렇지만, 미디어 애플리케이션은 그 명령을 실행하려고 시도할 때, 재생될 수 있는 4개의 가능한 인디고 걸스 앨범이 있는 것을 발견한다. 따라서, 인식된 명령은 모호하다. 미디어 애플리케이션에게는 사용자가 어느 앨범을 재생하려고 했는지 불명확하다.
이 실시예에서, 중앙집중식 인터페이스 모듈(312)은 애플리케이션 모듈(310)로부터의 인식된 음성 명령의 일련의 가능한 해석을 수집한다. 중앙집중식 인터페이스 모듈(312)은 일련의 해석을 리스트에 시각적으로 렌더링한다. 사용자는 디스플레이(314) 상에 위치한 중앙집중식 패널에서 해석의 리스트를 보게 된다. 전술한 예와 관련하여 가능한 해석의 리스트들을 시각적으로 렌더링하는 중앙집중식 패널의 예시적인 스크린샷(500)이 도 5에 예시되어 있다.
본 발명의 또 다른 실시예에 따르면, 앞서 기술한 바와 같이 사용자가 특정 애플리케이션의 어느 인스턴스 또는 애플리케이션 모듈을 지칭하고 있는지가 모호할 수 있다. 예를 들어, 사용자는 스프레드시트 애플리케이션을 사용하고 있고 명령 "인터넷 브라우저로 전환(switch to the Internet browser)"이라고 말한다. 그렇지만, 시스템(300)이 스프레드시트 애플리케이션의 한 인스턴스를 실행하고 있는 것 이외에, 시스템(300)은 또한 인터넷 브라우저 애플리케이션의 2개의 인스턴스를 실행하고 있다. 따라서, 인식된 명령은 모호하다. 사용자가 인터넷 브라우저 중 어느 인스턴스를 지칭하고 있는지 불명확하다.
이 실시예에서, 음성 인식기(306)는 동작 중인 웹 브라우저의 2개 이상의 인스턴스가 있음을 알고 있는 문법 생성기(309)에 기초하여 중앙집중식 인터페이스 모듈(312)에 음성 명령의 일련의 가능한 해석을 제공할 수 있다. 대안으로, 중앙집중식 인터페이스 모듈(312)은 오퍼레이팅 시스템의 상태 검사를 수행한 후에, 음성 명령의 일련의 가능한 해석을 제공할 수 있다. 중앙집중식 인터페이스 모듈(312)은 일련의 해석을 리스트에 시각적으로 렌더링한다. 사용자는 디스플레이(314) 상에 위치한 중앙집중식 패널에서 해석의 리스트를 보게 된다.
해석의 리스트(402, 502) 내의 각각의 해석은 식별자(즉, "1", "2", "3" 등)가 첨부되어 있다. 도 4 및 도 5 실시예에서, 식별자(404, 504)는 숫자 기호이지만, 임의의 형태의 기호가 사용될 수 있다. 사용자는 해석의 리스트(402, 502)를 볼 때 해석 중 어느 것이 사용자가 의도하였던 것에 대응하는 해석인지를 판정할 수 있다. 일 실시예에서, 사용자는 대응하는 숫자 기호를 말함으로써 정확한 명령을 선택할 수 있다. 다른 실시예에서, 사용자는 원하는 해석을 선택하기 위해 입력 장치(316)(도 3에 예시됨)를 사용하여 정확한 명령을 선택할 수 있다. 입력 장치(316)는 마우스 등의 선택 장치일 수 있지만, 이에 한정되는 것은 아니다. 입력 장치(316)는 또한 키패드일 수 있다. 정확한 해석이 어떻게 선택되는지에 상관없이, 해석을 선택하여 대응하는 애플리케이션으로 명령을 전달함으로써 시스템(300) 으로 하여금 대응하는 명령을 실행하게 한다.
다른 실시예에서, 도 5와 관련하여 사용자는 인디고 걸스 앨범 모두를 재생하고자 함을 나타낼 수 있다. 통신 라인(communication line)(506)은 사용자가 복수의 해석(502)으로부터 해석을 선택하거나 모든 앨범을 재생하기 위해 "전부 재생(Play all)"이라고 말할 수 있음을 나타낸다. 사용자가 무엇을 원했는지에 상관없이, 정확한 해석을 선택하여 대응하는 애플리케이션에 명령 정보를 제공함으로써 시스템(300)으로 하여금 동작을 취하게 한다.
시각적 렌더링 없이는 음성 명령에 모호함이 존재할 경우 사용자에게 해석의 리스트를 시각적으로 렌더링하는 중앙집중식 인터페이스 모듈을 사용하여 적절한 명령을 자의적으로 추측하는 것을 막는 방법을 시스템(300)에게 제공한다. 중앙집중식 인터페이스 모듈은 또한 가능한 사용자 상호작용을 그래픽적으로 표현하는 간단한 중앙집중식 패널을 제공하고, 사용자가 무엇을 의도하였는지를 판정하는 아주 효율적인 수단을 제공하며, 또 복수의 애플리케이션 모듈 외부에 위치하는 일관성있는 인터페이스를 제공한다. 환언하면, 도 4, 도 5, 및 도 8 내지 도 10에 예시된 중앙집중식 패널의 스크린샷 각각은 외관 및 동작이 유사하며, 따라서 일관된 위치에 디스플레이될 수 있다. 예를 들어, 도 6은 오퍼레이팅 시스템상에서 동작하고 있는 미디어 플레이어의 스크린샷(600)을 예시한 것이다. 사용자는 "인디고 걸스 재생"을 요청한다. 전술한 바와 같이, 재생될 수 있는 인디고 걸스의 앨범이 2개 이상 있다. 중앙집중식 인터페이스 또는 패널(500)이 스크린의 우측 하방 코너에 나타나며 사용자에게 사용자가 의도한 것을 선택하도록 요청한다. 이와 같 이, 중앙집중식 인터페이스 패널이 하나 이상의 애플리케이션 모듈(310)에서 사용될 수 있지만, 사용자는 디스플레이를 어떻게 다루어야 하는지에 관해 덜 혼란스럽다.
도 7은 사용자와의 중앙집중식 상호작용을 용이하게 해주는 컴퓨터 구현 방법을 제공하는 흐름도(700)를 예시한 것이다. 흐름도(700)는 사용자로부터 음성 명령을 수신하게 되는 단계(702)를 포함한다. 음성 명령을 수신한 후에, 흐름도(700)는 단계(704)로 진행하여 음성 명령이 음성 인식기에 의해 인식되기에 적절한 상태에 있도록 음성 명령을 처리한다. 단계(706)에서, 도 3의 음성 인식기(306) 등의 음성 인식기는 음성 명령을 인식한다. 음성 인식기는 음성 명령을 인덱스에 저장되어 있는 복수의 명령과 비교한다.
단계(708)에서, 인식된 명령은 복수의 애플리케이션 모듈로 전달된다. 단계(710)에서, 인식된 명령이 모호하다고 판정하는 복수의 애플리케이션 모듈 중 적어도 하나에 복수의 해석이 수신된다. 단계(712)에서, 복수의 해석이 사용자에게 시각적으로 렌더링된다. 예를 들어, 디스플레이의 중앙집중식 패널 상에 복수의 해석이 대응하는 식별자와 함께 열거될 수 있다. 단계(714)에서, 복수의 해석 중 하나의 사용자 선택의 표시가 수신된다. 예를 들어, 식별자를 들을 수 있게 표시함으로써, 원하는 해석이 정확한 명령인 것으로 확인될 수 있다.
도 3의 중앙집중식 인터페이스 모듈(312)과 상호작용함으로써 음성 명령을 명확히 하는 것 이외에, 사용자는 또한 사용자가 워드 프로세싱 애플리케이션 등의 애플리케이션 모듈에 지시하는 동안의 인식 오류를 정정하기 위해 중앙집중식 인터 페이스 모듈(312)과 상호작용할 수 있다. 인식 오류를 정정하기 위해, 사용자는 입력 장치를 사용하여 잘못 변환된 용어를 하이라이트할 수 있다. 하이라이트한 후에, 애플리케이션 모듈은 중앙집중식 인터페이스 모듈(312)에 복수의 대안을 전송한다. 이 대안은 음성 발음과 유사하게 들리는 문구(phrase)를 포함한다. 중앙집중식 인터페이스 모듈(312)은 대체 문구들을 수신하고 디스플레이(314)의 중앙집중식 패널 상에 시각적으로 렌더링한다. 대체 구문들 각각은 대응하는 식별자를 포함한다. 중앙집중식 인터페이스 모듈(312)은 음성 또는 입력 장치(316)를 통해 식별자의 형태로 사용자로부터 선택의 표시를 수신하고 이 선택을 애플리케이션 모듈에 전달한다.
어떤 경우에, 중앙집중식 인터페이스 모듈(312)은 정확한 대안인 대안을 시각적으로 렌더링하지 못한다. 정확한 대안을 렌더링하지 못하는 것은 사용자가 시스템(300)에서 그 발음을 사용한 적이 없기 때문에 대안이 인식가능하지 않은 경우이거나 음성 인식기가 오인식 에러를 일으키는 경우에 발생할 수 있다. 이러한 유형의 일이 일어난 경우, 중앙집중식 인터페이스 모듈(312)은 이미 제시된 대안 이외에 추가의 대안을 제시하도록 구성되어 있다. 한가지 이러한 대안은 최초의 발음(original utterance)을 다시 말하는 옵션을 제공하는 것을 포함한다. 다른 이러한 추가의 대안은 그렇지 않았으면 시스템(300)에 생소하였을 새로운 대안을 사용자가 생성할 수 있게 해주는 옵션을 제시하는 것을 포함한다.
예를 들어, 도 8은 본 발명의 실시예에 따라 대안들의 리스트를 시각적으로 렌더링하는 중앙집중식 패널의 스크린샷(800)을 예시한 것이다. 대안들의 리스트 는 워드 프로세싱 애플리케이션에 의해 생성된 대체 구문들(804)의 리스트 및 중앙집중식 인터페이스 모듈(312)에 의해 생성된 추가의 대안들(806)의 리스트를 포함한다. 추가의 대안들(806) 각각은 사용자가 식별자의 형태로 선택의 표시를 할 수 있도록 대응하는 식별자를 포함한다.
사용자가 식별자 "9"를 선택하면, 중앙집중식 인터페이스 모듈(312)은 도 9에 예시한 바와 같이 중앙집중식 패널에 스크린샷(900)을 시각적으로 렌더링한다. 스크린샷(900)의 통신 라인은 사용자에게 그 발음(utterance)을 다시 말할 것을 요청한다. 그 발음을 다시 말하면, 중앙집중식 인터페이스 모듈(312)은 재작성(refresh)된 대안들의 리스트를 시각적으로 렌더링한다. 식별자 "9"를 선택하는 것은 시스템(300)이 인식 오류를 일으켰을 때 유용하다. 도 8에서 사용자가 식별자 "10"을 선택하면, 중앙집중식 인터페이스 모듈(312)은 도 10에 예시한 바와 같이 중앙집중식 패널에 스크린샷(1000)을 시각적으로 렌더링한다. 스크린샷(1000)의 통신 라인(1002)은 사용자에게 그 발음의 철자를 크게 말할 것을 요청한다. 사용자가 발음의 철자를 말할 때, 그 문자가 블록(1004)에 나타나게 된다. 게다가, 사용자가 입력 장치를 사용하여 블록(1004)에 그 발음의 정확한 철자를 타이핑할 수 있는 것도 가능하다.
본 발명의 다른 실시예에서, 도 11은 사용자가 새로운 대체 철자를 들을 수 있게 말한 후에 도 10에 예시한 중앙집중식 패널의 스크린샷(1000) 등의 중앙집중식 패널 상에 디스플레이된 문자들을 처리하는 방법(1100)을 예시한 블록도이다. 예를 들어, 도 12에서, 사용자가 이하의 구문 "intent"의 철자를 말한다. 그렇지 만, 음성 인식기(306)(도 3)는 일련의 입력된 텍스트(1204)를 "i","n", "v", "e", "n", "t"로서 "듣고" 따라서 패널(1200) 상에 단어 "invent"를 디스플레이한다. 단어 "invent"는 "intent"가 되도록 정정될 필요가 있다.
도 13을 참조하면, 이것을 정정하기 위해, 사용자는 "invent"를 수정하기 위한 명령을 음성적으로 전달하기 위해 철자 명령을 호출한다. 시스템(300)이 철자 명령을 수신할 때, 선택된 단어가 식별되고 적어도 하나의 공백(1304)을 선택된 단어에 첨부함으로써 첨부된 단어(1302)가 생성되며, 이때 첨부된 단어(1302)는 동작 블록(1102)(도 11)에 나타낸 바와 같이 수정될 적어도 하나의 문자(1306)를 포함한다. 동작 블록(1104)에 나타낸 바와 같이, 첨부된 단어에서의 문자들(1308) 각각은 이어서 공유의 숫자값(1310)을 할당받고 그와 상관된다. 이어서, 첨부된 단어(1302)는 첨부된 단어(1302)에서의 문자들(1308) 각각과 그의 할당된 고유 숫자값(1310) 간의 상관관계를 시각적으로 전달하기 위해 중앙집중식 패널의 스크린샷(1300)을 통해 디스플레이된다. 이 상관관계는 스크린 샷(1300) 상의 첨부된 단어(1302) 주변에 박스(1312)를 드로잉하고 첨부된 단어(1302) 내의 그의 할당된 문자(1308)에 인접하여 고유 숫자값(1310) 각각을 디스플레이함으로써 시각적으로 전달될 수 있다. 그 자체로서, 문자들(1308) 각각은 각각의 문자(1308)와 상관되는 고유 숫자값(1310)을 "할당"받는다. 예를 들어, 단어 "invent"(1314)를 "intent"로 변경하기를 원하는 사용자는 음성 인식기(306)에 명령을 구두로 입력하게 된다. 이것은 박스(1312)가 스크린샷(1300)상에서 단어 "invent"(1314) 주변에 디스플레되게 한다. 이것은 또한 단어 "invent"(1314) 내의 각각의 문자가 고유 숫자값 (1310)을 할당받게 하며 이 숫자값은 그의 대응하는 문자(1308)에 인접하여 디스플레이되고, 그 둘 다는 도 13에 도시되어 있다. 이것은 사용자가 단어 "invent" 내의 임의의 문자를 변경 및/또는 정정할 수 있게 해준다.
이 시점에서, 동작 블록(1106)에 나타낸 바와 같이, 선택 명령 및 수정 명령이 시스템(300)에 의해 수신될 수 있고, 이때 선택 명령은 선택된 문자에 대응하는 고유 숫자값(1310)이다. 이것은 첨부된 단어(1302) 내의 어느 문자가 변경될지를 시스템(300)에 알려준다. 시스템(300)이 수정 명령을 수신하면, 동작 블록(1108)에 나타낸 바와 같이, 수정된 단어가 수정 명령에 응답하여 선택된 문자를 수정함으로써 생성된다. 사용자가 "삭제", "삽입" 등의 복수의 수정 명령 또는 부가될 글자/문자를 입력할 수 있다는 것을 잘 알 것이며, 이들 상황들 각각에 대해 이하에 기술한다.
예를 들어, 도 14를 참조하여, 사용자가 중앙집중식 패널의 스크린샷(1400) 상에 디스플레이된 첨부된 단어 "invent_"(1404) 내의 글자 "v"(1402)를 삭제하고자 하는 상기 경우를 생각해보자. 본 명세서에 기술되어 있는 바와 같이, 사용자는 변경될 문자에 대응하는 고유 숫자값을 시스템(300)에 전달한다. 이들 고유 숫자값(1408)이 숫자 1로 시작하여 1씩 증가하지만, 임의의 고유 숫자값(1408) 및 증분이 할당될 수 있음을 잘 알 것이다. 알 수 있는 바와 같이, 첨부된 단어 "invent_"(1404) 내의 글자 "v"(1402)는 "3"의 고유 숫자값(1408)을 할당받는다. 그 자체로서, 사용자는 숫자 "3"을 구두로 시스템(300)에 전달한다. 이것은 삽입 기호(1410)로 나타낸 바와 같이 숫자 "3"에 대응하고 그와 상관되는 글자를 선택하 며, 이 경우에 그 글자는 첨부된 단어 "invent"(1404) 내의 글자 "v"(1402)이다. 이어서, 사용자는 글자 "v"(1402)가 첨부된 단어 "invent"(1404)로부터 삭제되게 하여 도 15의 중앙집중식 패널의 스크린샷(1500)에 나타낸 바와 같이 그 결과의 "inent"(1412)를 남겨두는 "삭제" 등의 원하는 수정 명령을 입력할 수 있다. 따라서, 수정 명령 "삭제"는 선택된 글자 및 그의 대응하는 공백을 첨부된 단어로부터 제거하고 선택 삽입 기호(1410)는 그 다음의 후속 문자, 즉 "e"를 선택하게 된다.
반면에, 도 16을 참조하여, 사용자가 중앙집중식 패널에서의 스크린샷(1600) 상에 디스플레이된 단어 "invent"에서 글자 "n"(1604)와 글자 "v"(1606) 사이에 글자 또는 공백 등의 문자를 삽입하기를 원하는 경우를 생각해보자. 기본적으로, 사용자는 문자를 고유 숫자값 "3"에 대응하는 곳에 삽입하기를 원한다. 본 명세서에 기술된 바와 같이, 사용자는 구두로 명령을 전달할 수 있다. 이것은 공간이 단어 "invent"에 첨부되어 첨부된 단어 "invent_"(1608)를 생성하게 하고 박스(1610)가 첨부된 단어 "invent_"(1608)의 주변에 디스플레이되게 하며, 고유 숫자값(1612)이 첨부된 단어 "invent_"(1608) 내의 문자들 각각에 할당되고 그에 인접하여 디스플레이되게 한다. 알 수 있는 바와 같이, 첨부된 단어 "invent_"(1608) 내의 글자 "v"(1606)는 "3"의 고유 숫자값(1612)을 할당받는다. 그 자체로서, 사용자는 삽입기호(1614)에 의해 표시된 바와 같이 숫자 "3"에 대응하고 그와 상관된 글자를 "선택"하기 위해 시스템(300)에 숫자 "3"[이 경우, 이는 첨부된 단어 "invent_"(1608)에서 글자 "v"(1606)임]을 구두로 전달할 수 있다. 이어서, 사용자는 수정 명령을 입력하여 시스템(300)으로 하여금 적절한 방식으로 응답하도록 할 수 있다. 예를 들어, 사용자가 수정 명령 "삽입"을 전달한 다음에 단어 "공백(space)"를 전달하면, 도 17에 예시된 중앙집중식 패널에서의 스크린샷(1700)에 나타낸 바와 같이, 글자 "n"(1604)과 글자 "v"(1606) 사이에 공백이 삽입되고 첨부된 단어 "invent_"(1608)를 "in_vent_"(1616)으로 효과적으로 변경한다. 이 경우, 삽입기호(1614)는 고유 숫자값 "3"과 상관된 공백이 선택되었음을 나타내기 위해 제자리에 그대로 있다. 그렇지만, 사용자가 명령 "삽입"을 전달하고 이어서 글자 "p"를 전달하면, 도 18에 예시된 중앙집중식 패널의 스크린샷(1800)에 나타낸 바와 같이, 글자 "p"가 글자 "n"(1604)과 글자 "v"(1606) 사이에 삽입되어 첨부된 단어 "invent_"를 "inpvent_"(1618)로 효과적으로 변경하며, 선택 삽입기호(1614)는 그 다음 문자(즉, 고유 숫자값 "4"에 대응하는 문자)가 선택되었음을 나타내기 위해 그 다음 문자로 이동한다.
이와 유사하게, 도 19를 참조하여, 사용자가 중앙집중식 패널의 스크린샷(1900) 상에 디스플레이된 단어 "invent"에서의 글자를 단지 변경하기를 원하는 경우를 생각해보자. 본 명세서에 기술된 바와 같이, 사용자는 명령을 구두로 전달할 수 있다. 이것은 단어 "invent"에 공백이 첨부되어 첨부된 단어 "invent_"(1902)를 생성하게 하고 박스(1904)가 첨부된 단어 "invent_"(1902) 주변에 디스플레이되게 하며 고유 숫자값(1906)이 첨부된 단어 "invent_"(1902) 내의 문자들(1908) 각각에 할당되고 그에 인접하여 디스플레이되게 한다. 알 수 있는 바와 같이, 첨부된 단어 "invent_"(1902) 내의 글자 "v"(1912)는 "3"의 고유 숫자값(1906)을 할당받는다. 그 자체로서, 사용자는 구두로 숫자 "3"을 시스템(300)에 전달할 수 있 다. 이것은 삽입기호(1910)에 의해 나타낸 바와 같이 숫자 "3"에 대응하고 그와 상관된 글자가 선택되게 하며, 이 경우 그 글자는 첨부된 단어 "invent_"(1902) 내의 글자 "v"(1912)이다. 이어서, 사용자는 수정 명령(이 경우, 명령은 간단히 한 글자임)을 입력하여 시스템(300)으로 하여금 적절한 방식으로 응답하게 할 수 있다. 예를 들어, 사용자가 숫자 "3" 이후에 수정 명령 "t"을 전달하면, 글자 "v"(1912)가 글자 "t"로 대체되어, 도 20에 예시한 중앙집중식 패널의 스크린샷(2000)에 나타낸 바와 같이 첨부된 단어 "invent_"(1902)를 단어 "intent"(1914)로 효과적으로 변경한다. 이 시점에서, 선택 삽입기호(1910)는 그 다음 문자로 이동하여 그 다음 문자(즉 고유 숫자값 "4"에 대응하는 문자)가 선택되었음을 나타낸다.
사용자가 변경될 문자에 대응하는 고유 숫자값을 입력하면 드롭다운 메뉴 등의 제안된 수정 명령의 메뉴가 디스플레이될 수 있으며, 메뉴에서 각각의 제안된 동작에는 그 자신의 고유 숫자값이 할당되어 있음을 잘 알 것이다. 예를 들어, 도 21을 참조하여, 사용자가 중앙집중식 패널의 스크린샷(2100) 상에 디스플레이된 단어 "invent"에서 한 글자를 변경하기를 원하는 경우를 생각해보자. 사용자는 명령을 구두로 전달한다. 이것은 공백이 선택된 단어 "invent"에 첨부되어 첨부된 단어 "invent_"(2102)를 생성하게 하고, 박스(2104)가 첨부된 단어 "invent_"(2102) 주변에 디스플레이되게 하며, 고유 숫자값(2106)이 첨부된 단어 "invent_"(2102) 내의 글자들 각각에 인접하여 디스플레이되게 한다. 알 수 있는 바와 같이, 첨부된 단어 "invent_"(2102) 내의 글자 "v"(2108)에는 "3"의 고유 숫자값(2106)이 할 당되어 있다. 그 자체로서, 사용자는 삽입기호(2110)에 의해 나타낸 바와 같이 고유 숫자값 "3"에 대응하고 그와 상관된 문자를 "선택"하기 위해 숫자 "3"을 구두로 시스템(300)에 전달하며, 이 경우 그 문자는 첨부된 단어 "invent_"(2102) 내의 문자 "v"(2108)이다. 도 22를 참조하면, 메뉴(2112)가 중앙집중식 패널 샷(2200) 상에 디스플레이되어 사용자에게 다수의 수정 명령 선택사항을 제공할 수 있으며, 그 선택사항 각각에는 제2의 고유 숫자값(2114)이 할당되어 있다. 이어서, 사용자는 원하는 수정 명령과 상관된 제2의 고유 숫자값(2114)인 수정 명령을 입력하여 음성 인식 응용 소프트웨어로 하여금 적절한 방식으로 응답하게 할 수 있다. 예를 들어, 사용자가 숫자 "3" 이후에 숫자 "4"를 전달하는 경우, 도 23의 중앙집중식 패널의 스크린샷(2300)에 나타낸 바와 같이, 글자 "v"(2108)가 글자 "d"(2116)로 대체되어 첨부된 단어 "invent_"(2102)를 단어 indent"(2118)로 효과적으로 변경한다. 이상과 같이, 선택 삽입기호(2110)는 그 다음 문자(즉, 고유 숫자값 "4"에 대응하는 문자)가 선택되었음을 나타내기 위해 그 다음 문자로 이동된다.
제안된 수정 명령의 메뉴(2112)가 음향적으로 선택된 글자 또는 단어와 유사한 문자/단어의 메뉴 등의 원하는 최종 목적에 적당한 임의의 수정 명령을 포함할 수 있음을 잘 알 것이며, 예를 들어, "v"가 선택되면, 메뉴(2112)는 "d","t", "e", "g", "3"을 포함하게 된다. 게다가, 메뉴(2112)는 또한 대문자화된 형태의 문자, 예를 들어, "V"는 물론 철자 검사기로부터의 자동 완성 리스트를 포함할 수 있다. 그 자체로서, 이 예의 경우, 메뉴(2112)는 단어 "indent", "intent", "amend"를 포함할 수 있다. 게다가, 본 발명이 다수의 기능을 동시에 수행하는 음성 명령을 포 함할 수 있음을 잘 알 것이며, 예를 들어, 선택된 단어에 단지 하나의 글자 "t"가 있는 경우, "3을 eagle에서와 같은 "e"로 변경" 또는 "t를 g로 변경"은 글자 "t"를 글자 "g"로 변경할 수 있다. 선택된 단어에 2개의 글자 "t"가 있는 경우, 보다 정확하게 되도록 사용자에게 피드백이 제공될 수 있다. 게다가, 이전에 변경된 문자를 그의 이전의 상태로 되돌릴 수 있는 "되살리기(undo)" 등의 다른 명령도 역시 제공될 수 있다. 예를 들어, 사용자가 (선택된 글자를 대문자화하기 위해) "cap that"하고 말하지만 그 입력이 "caret"로 인식되는 경우, 사용자는 글자를 이전의 상태로 되살리기 위해 "되살리기"라고 말할 수 있다.
도 8 내지 도 23을 참조하면, 이들 도면은 사용자가 워드 프로세싱 애플리케이션에 지시하는 것과 관련하여 기술되어 있다. 그렇지만, 당업자라면 도 8 내지 도 23에 기술된 실시예들이 또한 사용자가 음성 명령을 시스템(300)에 말하는 것에도 적용될 수 있음을 잘 알 것이다. 음성 명령이 모호한 경우, 중앙집중식 인터페이스 모듈(312)은 해석의 리스트를 시각적으로 렌더링하고 또한 추가의 대안들의 리스트도 시각적으로 렌더링한다. 추가의 대안들의 리스트는 명령을 다시 말하는 대안 및 새로운 명령을 생성하는 대안을 포함한다. 예를 들어, 사용자가 David White에 이메일을 전송하고자 하는 경우, 사용자는 음성으로 "이름 David를 삽입" 명령을 발행할 수 있다. 그렇지만, 사용자가 이전에 David Black 및 David Green에게 이메일을 전송한 적이 있지만 David White에게는 이메일을 전송한 적이 없는 경우, 어느 David를 삽입할지에 관해 모호함이 있다. 중앙집중식 인터페이스 모듈(312)은 David 해석의 리스트를 시각적으로 렌더링한다. 해석의 리스트는 David Black 및 David Green을 포함한다. 게다가, 중앙집중식 인터페이스 모듈(312)은 음성 명령을 다시 말하는 대안 및 새로운 음성 명령을 생성하는 대안을 포함하는 추가의 대안들의 리스트를 시각적으로 렌더링한다. 이 예에서, 사용자는 새로운 명령을 생성하기로 하는데 그 이유는 사용자가 시스템(300)에 생소한 David White에게 이메일을 보내고자 하기 때문이다.
중앙집중식 인터페이스 모듈(312)과 상호작용함으로써 명령을 명확히 하고 또 오인식 에러를 정정하는 것 이외에, 사용자는 또한 복수의 애플리케이션 모듈(310)로부터 피드백을 수신하기 위해 중앙집중식 인터페이스 모듈(312)과 상호작용할 수 있다. 중앙집중식 인터페이스 모듈(312)은 시스템(300)이 무엇을 듣고 있는지를 시각적으로 렌더링하도록 구성되어 있다. 예를 들어, 중앙집중식 패널은 마이크로폰(302)이 꺼져 있기 때문에 시스템(300)이 아무것도 듣고 있지 않음을 디스플레이할 수 있다. 게다가, 중앙집중식 인터페이스 모듈(312)은 또한 시스템(300)의 상태를 시각적으로 렌더링하도록 구성되어 있다. 예를 들어, 중앙집중식 패널은 시스템(300)에 의해 인식된 마지막 명령을 디스플레이할 수 있다. 다른 실시예에서, 중앙집중식 패널은 특정의 애플리케이션 모듈이 열리거나 닫히고 있음을 디스플레이할 수 있다.
본 발명이 특정의 실시예를 참조하여 기술되어 있지만, 당업자라면 본 발명의 정신 및 범위를 벗어나지 않고 형태 및 상세에 있어서 변경이 행해질 수 있음을 잘 알 것이다.
인식된 음성 명령을 복수의 애플리케이션 모듈에 제공하는 것을 포함하여, 사용자와의 중앙집중식 상호작용을 용이하게 해주는 방법 및 시스템이 제공되는 효과가 있다.

Claims (32)

  1. 사용자와의 중앙집중식 상호작용을 용이하게 해주는 컴퓨터 구현 방법으로서,
    인식된 음성 명령을 복수의 애플리케이션 모듈에 제공하는 단계,
    상기 음성 명령의 복수의 해석을 수신하는 단계로서 상기 복수의 해석은 상기 복수의 애플리케이션 모듈 중 적어도 하나에 의해 생성되는 것인 수신 단계,
    상기 음성 명령의 상기 복수의 해석을 중앙집중식 디스플레이 상에 시각적으로 렌더링하는 단계, 및
    상기 사용자로부터 해석의 선택의 표시를 수신하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 복수의 해석을 시각적으로 렌더링하는 상기 단계는 각각이 대응하는 식별자를 갖는 상기 복수의 해석을 리스트에 시각적으로 렌더링하는 단계를 포함하는 것인 방법.
  3. 제1항에 있어서, 해석의 선택의 표시를 수신하는 상기 단계는 상기 선택된 해석에 대응하는 식별자를 나타내는 음성 신호를 수신하는 단계를 포함하는 것인 방법.
  4. 제1항에 있어서, 해석의 선택의 표시를 수신하는 상기 단계는 상기 해석의 선택에 대응하는 식별자를 나타내는 입력 장치 신호를 수신하는 단계를 포함하는 것인 방법.
  5. 제1항에 있어서, 상기 사용자가 상기 음성 명령을 다시 말하는 쪽으로 선택할 수 있게 해주는 대안을 시각적으로 렌더링하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서, 상기 사용자가 상기 음성 명령을 다시 말하는 쪽으로 선택할 때 복수의 재작성된 해석을 시각적으로 렌더링하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서, 상기 사용자가 상기 복수의 해석에 포함되지 않은 새로운 해석을 생성하는 쪽으로 선택할 수 있게 해주는 대안을 시각적으로 렌더링하는 단계를 더 포함하는 방법.
  8. 제7항에 있어서, 상기 사용자가 새로운 해석을 생성하는 쪽으로 선택할 수 있게 해주는 상기 단계는 상기 새로운 해석의 가청의 철자(audible spelling)를 수신하는 단계를 포함하는 것인 방법.
  9. 제1항에 있어서, 상기 선택의 표시가 수신된 후에 상기 선택된 해석을 상기 적어도 하나의 애플리케이션 모듈로 전달하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서, 상기 중앙집중식 디스플레이는 컴퓨팅 장치 디스플레이 상의 일관된 위치에 디스플레이되는 중앙집중식 패널을 포함하는 것인 방법.
  11. 제1항에 있어서, 상기 중앙집중식 디스플레이 상에 오인식된 발음(misrecognized utterance)에 대한 대체 철자들의 리스트를 시각적으로 렌더링하는 단계를 더 포함하는 방법.
  12. 제1항에 있어서, 상기 중앙집중식 디스플레이 상에 상기 복수의 애플리케이션 모듈로부터의 피드백을 시각적으로 디스플레이하는 단계를 더 포함하는 방법.
  13. 사용자와의 중앙집중식 상호작용을 용이하게 해주는 컴퓨터 구현 시스템으로서,
    음성 명령을 캡처하도록 구성된 오디오 캡처 모듈,
    문법 내의 복수의 명령에 액세스함으로써 상기 음성 명령을 인식하도록 구성된 음성 인식기, 및
    상기 인식된 음성 명령이 모호할 때 상기 복수의 애플리케이션 모듈 중 적어도 하나로부터의 복수의 해석을 시각적으로 렌더링하고, 상기 복수의 해석 중 하나의 선택의 표시를 수신하도록 구성된 중앙집중식 인터페이스 모듈을 포함하는 컴퓨터 구현 시스템.
  14. 제13항에 있어서, 상기 중앙집중식 인터페이스는 상기 선택의 표시를 상기 복수의 애플리케이션 모듈 중 상기 적어도 하나에 전달하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  15. 제13항에 있어서, 상기 해석들의 리스트를 시각적으로 렌더링하는 중앙집중식 패널을 디스플레이하도록 구성된 중앙집중식 디스플레이를 더 포함하는 컴퓨터 구현 시스템.
  16. 제13항에 있어서, 상기 중앙집중식 인터페이스 모듈은 상기 사용자가 상기 음성 명령을 다시 말하는 쪽으로 선택할 수 있게 해주는 대안을 시각적으로 렌더링하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  17. 제16항에 있어서, 상기 중앙집중식 인터페이스 모듈은 상기 사용자가 상기 음성 명령을 다시 말하는 쪽으로 선택할 때 상기 시각적으로 렌더링된 해석들의 리스트를 재작성하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  18. 제13항에 있어서, 상기 중앙집중식 인터페이스 모듈은 상기 사용자가 상기 해석들의 리스트에 시각적으로 렌더링되어 있지 않은 음성 명령을 생성하는 쪽으로 선택할 수 있게 해주는 대안을 시각적으로 렌더링하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  19. 제18항에 있어서, 상기 중앙집중식 인터페이스 모듈은 상기 생성된 음성 명령을 철자화된 명령(spelled command)의 형태로 수신하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  20. 제13항에 있어서, 상기 중앙집중식 인터페이스 모듈은 인식 에러를 포함하는 지시된 구문에 대한 대체 구문들의 리스트를 시각적으로 렌더링하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  21. 제20항에 있어서, 상기 중앙집중식 인터페이스 모듈은 상기 사용자가 상기 지시된 구문을 다시 말하는 쪽으로 선택할 수 있게 해주는 대안을 시각적으로 렌더링하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  22. 제20항에 있어서, 상기 중앙집중식 인터페이스 모듈은 상기 사용자가 대체 철자들의 리스트에 나타나지 않은 단어를 생성하는 쪽으로 선택할 수 있게 해주는 대안을 시각적으로 렌더링하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  23. 제13항에 있어서, 상기 중앙집중식 인터페이스 모듈은 상기 복수의 애플리케이션 모듈로부터의 피드백을 시각적으로 렌더링하도록 구성되어 있는 것인 컴퓨터 구현 시스템.
  24. 제13항에 있어서, 상기 복수의 애플리케이션 모듈로부터 수신되는 명령들에 기초하여 상기 문법을 생성하도록 구성된 문법 생성기 모듈을 더 포함하는 컴퓨터 구현 시스템.
  25. 제13항에 있어서, 상기 인식된 음성 명령이 상기 복수의 애플리케이션 모듈 중 적어도 몇 개에 의해 프로세싱될 수 있을 때 상기 인식된 음성 명령은 모호한 것인 컴퓨터 구현 시스템.
  26. 제13항에 있어서, 상기 애플리케이션 모듈들 중 하나가 상기 인식된 음성 명령에 기초하여 2개 이상의 동작이 실행될 수 있는 것으로 판정할 때 상기 인식된 음성 명령은 모호한 것인 컴퓨터 구현 시스템.
  27. 사용자와의 중앙집중식 상호작용을 용이하게 해주는 컴퓨터 구현 방법으로서,
    음성 명령을 캡처하는 단계,
    인식가능한 명령들의 문법에 액세스함으로써 상기 음성 명령을 인식하는 단계,
    상기 인식된 음성 명령이 모호한 것인지를 판정하는 단계,
    상기 인식된 음성 명령의 해석들의 리스트를 중앙집중식 디스플레이 상에 시 각적으로 디스플레이하는 단계, 및
    상기 해석들 중 하나의 선택의 표시를 수신하는 단계를 포함하는 방법.
  28. 제27항에 있어서, 상기 해석들의 리스트는 복수의 애플리케이션 모듈에 의해 생성되는 것인 방법.
  29. 제27항에 있어서, 상기 해석들의 리스트는 애플리케이션의 2개 이상의 인스턴스가 동작 중에 있다는 인식에 기초하는 것인 방법.
  30. 제27항에 있어서, 상기 사용자가 상기 음성 명령을 다시 말하는 쪽으로 선택할 수 있도록 해주는 대안을 시각적으로 렌더링하는 단계를 더 포함하는 방법.
  31. 제27항에 있어서, 상기 사용자가 상기 해석들의 리스트 내의 해석에 대응하지 않는 음성 명령을 생성하는 쪽으로 선택할 수 있게 해주는 대안을 시각적으로 렌더링하는 단계를 더 포함하는 방법.
  32. 제31항에 있어서, 상기 사용자가 새로운 해석을 생성하는 쪽으로 선택할 수 있게 해주는 상기 단계는 상기 새로운 해석의 가청의 철자를 수신하는 단계를 포함하는 것인 방법.
KR1020050089717A 2004-11-16 2005-09-27 음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템 KR101143034B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/990,345 US8942985B2 (en) 2004-11-16 2004-11-16 Centralized method and system for clarifying voice commands
US10/990,345 2004-11-16

Publications (2)

Publication Number Publication Date
KR20060055313A true KR20060055313A (ko) 2006-05-23
KR101143034B1 KR101143034B1 (ko) 2012-05-11

Family

ID=35825428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050089717A KR101143034B1 (ko) 2004-11-16 2005-09-27 음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템

Country Status (7)

Country Link
US (3) US8942985B2 (ko)
EP (1) EP1657709B1 (ko)
JP (1) JP4854259B2 (ko)
KR (1) KR101143034B1 (ko)
CN (1) CN1776583B (ko)
AT (1) ATE459076T1 (ko)
DE (1) DE602005019518D1 (ko)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035983A (ko) * 2011-09-30 2013-04-09 애플 인크. 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
KR101462932B1 (ko) * 2008-05-28 2014-12-04 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
KR20160071835A (ko) * 2014-12-12 2016-06-22 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10540973B2 (en) 2017-06-27 2020-01-21 Samsung Electronics Co., Ltd. Electronic device for performing operation corresponding to voice input
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11244676B2 (en) 2018-03-13 2022-02-08 Samsung Electronics Co., Ltd Apparatus for processing user voice input
US11831799B2 (en) 2019-08-09 2023-11-28 Apple Inc. Propagating context information in a privacy preserving manner

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050918B2 (en) * 2003-12-11 2011-11-01 Nuance Communications, Inc. Quality evaluation tool for dynamic voice portals
US8942985B2 (en) 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
US7778821B2 (en) * 2004-11-24 2010-08-17 Microsoft Corporation Controlled manipulation of characters
US7424431B2 (en) * 2005-07-11 2008-09-09 Stragent, Llc System, method and computer program product for adding voice activation and voice control to a media player
US7925975B2 (en) 2006-03-10 2011-04-12 Microsoft Corporation Searching for commands to execute in applications
US8234120B2 (en) * 2006-07-26 2012-07-31 Nuance Communications, Inc. Performing a safety analysis for user-defined voice commands to ensure that the voice commands do not cause speech recognition ambiguities
US8099287B2 (en) * 2006-12-05 2012-01-17 Nuance Communications, Inc. Automatically providing a user with substitutes for potentially ambiguous user-defined speech commands
US9794348B2 (en) 2007-06-04 2017-10-17 Todd R. Smith Using voice commands from a mobile device to remotely access and control a computer
US8019606B2 (en) * 2007-06-29 2011-09-13 Microsoft Corporation Identification and selection of a software application via speech
KR20090107365A (ko) * 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
US8284909B2 (en) * 2008-09-29 2012-10-09 Microsoft Corporation Offline voicemail
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8358752B2 (en) * 2009-11-19 2013-01-22 At&T Mobility Ii Llc User profile based speech to text conversion for visual voice mail
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US9570086B1 (en) * 2011-11-18 2017-02-14 Google Inc. Intelligently canceling user input
US9317605B1 (en) 2012-03-21 2016-04-19 Google Inc. Presenting forked auto-completions
US9734839B1 (en) * 2012-06-20 2017-08-15 Amazon Technologies, Inc. Routing natural language commands to the appropriate applications
US20140052438A1 (en) * 2012-08-20 2014-02-20 Microsoft Corporation Managing audio capture for audio applications
KR101330671B1 (ko) 2012-09-28 2013-11-15 삼성전자주식회사 전자장치, 서버 및 그 제어방법
KR102009423B1 (ko) * 2012-10-08 2019-08-09 삼성전자주식회사 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치
KR20140060040A (ko) 2012-11-09 2014-05-19 삼성전자주식회사 디스플레이장치, 음성취득장치 및 그 음성인식방법
AU2018202888B2 (en) * 2013-01-17 2020-07-02 Samsung Electronics Co., Ltd. Image processing apparatus, control method thereof, and image processing system
JP6167605B2 (ja) * 2013-03-28 2017-07-26 株式会社デンソー 音声認識システム
US9202459B2 (en) * 2013-04-19 2015-12-01 GM Global Technology Operations LLC Methods and systems for managing dialog of speech systems
KR101456974B1 (ko) 2013-05-21 2014-10-31 삼성전자 주식회사 사용자 단말기, 음성인식 서버 및 음성인식 가이드 방법
US9646606B2 (en) 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
GB2518002B (en) * 2013-09-10 2017-03-29 Jaguar Land Rover Ltd Vehicle interface system
KR102197143B1 (ko) * 2013-11-26 2020-12-31 현대모비스 주식회사 음성 인식을 이용한 명령 수행 시스템 및 그 동작 방법
CN103645876B (zh) * 2013-12-06 2017-01-18 百度在线网络技术（北京）有限公司 语音输入方法和装置
US9495959B2 (en) * 2014-02-27 2016-11-15 Ford Global Technologies, Llc Disambiguation of dynamic commands
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US20160078864A1 (en) * 2014-09-15 2016-03-17 Honeywell International Inc. Identifying un-stored voice commands
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9922648B2 (en) * 2016-03-01 2018-03-20 Google Llc Developer voice actions system
CN105893345A (zh) * 2016-03-28 2016-08-24 联想(北京)有限公司 一种信息处理方法和电子设备
US9691384B1 (en) 2016-08-19 2017-06-27 Google Inc. Voice action biasing system
KR20180060328A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
EP3401797A1 (en) * 2017-05-12 2018-11-14 Samsung Electronics Co., Ltd. Speech navigation for multilingual web pages
US11100146B1 (en) * 2018-03-23 2021-08-24 Amazon Technologies, Inc. System management using natural language statements
CN111415658A (zh) * 2019-01-07 2020-07-14 成都启英泰伦科技有限公司 一种去中心化语音控制多设备系统及其控制方法
WO2020159190A1 (en) * 2019-01-28 2020-08-06 Samsung Electronics Co., Ltd. Method and apparatus for supporting voice instructions

Family Cites Families (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5041967A (en) 1987-10-13 1991-08-20 Bell Communications Research, Inc. Methods and apparatus for dynamic menu generation in a menu driven computer system
US4992972A (en) 1987-11-18 1991-02-12 International Business Machines Corporation Flexible context searchable on-line information system with help files and modules for on-line computer system documentation
JP3088739B2 (ja) 1989-10-06 2000-09-18 株式会社リコー 音声認識システム
JPH0760374B2 (ja) 1991-03-15 1995-06-28 インターナショナル・ビジネス・マシーンズ・コーポレイション 対話式コマンド構成システム
US5265065A (en) 1991-10-08 1993-11-23 West Publishing Company Method and apparatus for information retrieval from a database by replacing domain specific stemmed phases in a natural language to create a search query
US6073097A (en) * 1992-11-13 2000-06-06 Dragon Systems, Inc. Speech recognition system which selects one of a plurality of vocabulary models
DE69326431T2 (de) * 1992-12-28 2000-02-03 Toshiba Kawasaki Kk Spracherkennungs-Schnittstellensystem, das als Fenstersystem und Sprach-Postsystem verwendbar ist
US5890122A (en) * 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
US6125347A (en) * 1993-09-29 2000-09-26 L&H Applications Usa, Inc. System for controlling multiple user application programs by spoken input
US6014138A (en) 1994-01-21 2000-01-11 Inprise Corporation Development system with methods for improved visual programming with hierarchical object explorer
WO1995025326A1 (en) 1994-03-17 1995-09-21 Voice Powered Technology International, Inc. Voice/pointer operated system
US5748973A (en) 1994-07-15 1998-05-05 George Mason University Advanced integrated requirements engineering system for CE-based requirements assessment
US5642502A (en) 1994-12-06 1997-06-24 University Of Central Florida Method and system for searching for relevant documents from a text database collection, using statistical ranking, relevancy feedback and small pieces of text
US5748974A (en) 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
EP1199707A3 (en) 1995-05-26 2002-05-02 Speechworks International, Inc. Method and apparatus for dynamic adaptation of a large vocabulary speech recognition system and for use of constraints from a database in a large vocabulary speech recognition system
US6026388A (en) 1995-08-16 2000-02-15 Textwise, Llc User interface and other enhancements for natural language information retrieval system and method
US6289312B1 (en) 1995-10-02 2001-09-11 Digital Equipment Corporation Speech interface for computer application programs
US5852801A (en) * 1995-10-04 1998-12-22 Apple Computer, Inc. Method and apparatus for automatically invoking a new word module for unrecognized user input
US5799276A (en) 1995-11-07 1998-08-25 Accent Incorporated Knowledge-based speech recognition system and methods having frame length computed based upon estimated pitch period of vocalic intervals
US6064959A (en) 1997-03-28 2000-05-16 Dragon Systems, Inc. Error correction in speech recognition
US6446135B1 (en) 1996-03-05 2002-09-03 Microsoft Corporation Method and system for querying and executing commands of an application program
US5825356A (en) 1996-03-18 1998-10-20 Wall Data Incorporated Help system with semitransparent window for disabling controls
DE19615693C1 (de) 1996-04-19 1997-12-11 Siemens Ag Vorrichtung und Verfahren zur Aktionsermittlung
US5995921A (en) 1996-04-23 1999-11-30 International Business Machines Corporation Natural language help interface
US6021403A (en) 1996-07-19 2000-02-01 Microsoft Corporation Intelligent user assistance facility
US5864340A (en) 1996-08-22 1999-01-26 International Business Machines Corporation Mobile client computer programmed to predict input
US6311182B1 (en) 1997-11-17 2001-10-30 Genuity Inc. Voice activated web browser
US6078914A (en) 1996-12-09 2000-06-20 Open Text Corporation Natural language meta-search system and method
US6456974B1 (en) * 1997-01-06 2002-09-24 Texas Instruments Incorporated System and method for adding speech recognition capabilities to java
US6094476A (en) 1997-03-24 2000-07-25 Octel Communications Corporation Speech-responsive voice messaging system and method
EP1021804A4 (en) * 1997-05-06 2002-03-20 Speechworks Int Inc SYSTEM AND METHOD FOR DEVELOPING INTERACTIVE LANGUAGE APPLICATIONS
US6044347A (en) 1997-08-05 2000-03-28 Lucent Technologies Inc. Methods and apparatus object-oriented rule-based dialogue management
KR100280175B1 (ko) 1997-10-15 2001-02-01 윤종용 툴팁을이용한글꼴정보표시기및방법
DE69712485T2 (de) 1997-10-23 2002-12-12 Sony Int Europe Gmbh Sprachschnittstelle für ein Hausnetzwerk
US7124129B2 (en) 1998-03-03 2006-10-17 A9.Com, Inc. Identifying the items most relevant to a current query based on items selected in connection with similar queries
US6085159A (en) * 1998-03-26 2000-07-04 International Business Machines Corporation Displaying voice commands with multiple variables
US6233559B1 (en) 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
US6199061B1 (en) 1998-06-17 2001-03-06 Microsoft Corporation Method and apparatus for providing dynamic help topic titles to a user
US6192339B1 (en) * 1998-11-04 2001-02-20 Intel Corporation Mechanism for managing multiple speech applications
US6839669B1 (en) 1998-11-05 2005-01-04 Scansoft, Inc. Performing actions identified in recognized speech
US7720682B2 (en) * 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US6192343B1 (en) * 1998-12-17 2001-02-20 International Business Machines Corporation Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms
US7206747B1 (en) * 1998-12-16 2007-04-17 International Business Machines Corporation Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands
US6591236B2 (en) * 1999-04-13 2003-07-08 International Business Machines Corporation Method and system for determining available and alternative speech commands
DE69942663D1 (de) 1999-04-13 2010-09-23 Sony Deutschland Gmbh Zusammenfügen von Sprachschnittstellen zur gleichzeitigen Benützung von Vorrichtungen und Anwendungen
US6542163B2 (en) 1999-05-05 2003-04-01 Microsoft Corporation Method and system for providing relevant tips to a user of an application program
US6493702B1 (en) 1999-05-05 2002-12-10 Xerox Corporation System and method for searching and recommending documents in a collection using share bookmarks
US6340977B1 (en) 1999-05-07 2002-01-22 Philip Lui System and method for dynamic assistance in software applications using behavior and host application models
US6604075B1 (en) 1999-05-20 2003-08-05 Lucent Technologies Inc. Web-based voice dialog interface
US6308157B1 (en) * 1999-06-08 2001-10-23 International Business Machines Corp. Method and apparatus for providing an event-based “What-Can-I-Say?” window
JP3662780B2 (ja) 1999-07-16 2005-06-22 日本電気株式会社 自然言語を用いた対話システム
US7120582B1 (en) 1999-09-07 2006-10-10 Dragon Systems, Inc. Expanding an effective vocabulary of a speech recognition system
US6374226B1 (en) * 1999-08-06 2002-04-16 Sun Microsystems, Inc. System and method for interfacing speech recognition grammars to individual components of a computer program
US7069220B2 (en) * 1999-08-13 2006-06-27 International Business Machines Corporation Method for determining and maintaining dialog focus in a conversational speech system
US6442522B1 (en) * 1999-10-12 2002-08-27 International Business Machines Corporation Bi-directional natural language system for interfacing with multiple back-end applications
US7403888B1 (en) 1999-11-05 2008-07-22 Microsoft Corporation Language input user interface
US7073126B1 (en) 1999-11-18 2006-07-04 Instaknow.Com Inc. Method and system of deploying server-based applications
US6526382B1 (en) 1999-12-07 2003-02-25 Comverse, Inc. Language-oriented user interfaces for voice activated services
US6920607B1 (en) 1999-12-15 2005-07-19 Microsoft Corp. Methods and systems for dynamically creating user interfaces
WO2001044932A1 (en) 1999-12-15 2001-06-21 Microsoft Corporation Methods and systems for dynamically creating user interfaces
US6847959B1 (en) 2000-01-05 2005-01-25 Apple Computer, Inc. Universal interface for retrieval of information in a computer system
US6434529B1 (en) * 2000-02-16 2002-08-13 Sun Microsystems, Inc. System and method for referencing object instances and invoking methods on those object instances from within a speech recognition grammar
WO2001075579A2 (en) 2000-03-31 2001-10-11 Qualcomm Incorporated Method and apparatus for electronic device feature access
US20020024539A1 (en) * 2000-05-08 2002-02-28 Columbia University System and method for content-specific graphical user interfaces
EP1158799A1 (en) * 2000-05-18 2001-11-28 Deutsche Thomson-Brandt Gmbh Method and receiver for providing subtitle data in several languages on demand
US6948135B1 (en) 2000-06-21 2005-09-20 Microsoft Corporation Method and systems of providing information to computer users
GB0015233D0 (en) 2000-06-21 2000-08-16 Canon Kk Indexing method and apparatus
US7539939B1 (en) 2000-07-25 2009-05-26 Creativepro.Com, Inc. Preview window to preview text in several different fonts simultaneously
US7027975B1 (en) 2000-08-08 2006-04-11 Object Services And Consulting, Inc. Guided natural language interface system and method
US7185001B1 (en) 2000-10-04 2007-02-27 Torch Concepts Systems and methods for document searching and organizing
US7130790B1 (en) * 2000-10-24 2006-10-31 Global Translations, Inc. System and method for closed caption data translation
US20020072914A1 (en) 2000-12-08 2002-06-13 Hiyan Alshawi Method and apparatus for creation and user-customization of speech-enabled services
JP3838029B2 (ja) 2000-12-18 2006-10-25 セイコーエプソン株式会社 音声認識を用いた機器制御方法および音声認識を用いた機器制御システム
US7596791B2 (en) 2000-12-19 2009-09-29 Emc Corporation Methods and techniques for delivering rich Java applications over thin-wire connections with high performance and scalability
US7017123B2 (en) 2000-12-27 2006-03-21 National Instruments Corporation Graphical user interface including palette windows with an improved search function
US7085723B2 (en) * 2001-01-12 2006-08-01 International Business Machines Corporation System and method for determining utterance context in a multi-context speech application
US6744451B1 (en) 2001-01-25 2004-06-01 Handspring, Inc. Method and apparatus for aliased item selection from a list of items
US7089237B2 (en) 2001-01-26 2006-08-08 Google, Inc. Interface and system for providing persistent contextual relevance for commerce activities in a networked environment
US6778193B2 (en) 2001-02-07 2004-08-17 International Business Machines Corporation Customer self service iconic interface for portal entry and search specification
GB0103053D0 (en) 2001-02-07 2001-03-21 Nokia Mobile Phones Ltd A communication terminal having a predictive text editor application
US6693651B2 (en) 2001-02-07 2004-02-17 International Business Machines Corporation Customer self service iconic interface for resource search results display and selection
US20020152255A1 (en) 2001-02-08 2002-10-17 International Business Machines Corporation Accessibility on demand
JPWO2002075538A1 (ja) 2001-03-19 2004-07-08 三菱電機株式会社 車載マルチメディア装置
US6948133B2 (en) 2001-03-23 2005-09-20 Siemens Medical Solutions Health Services Corporation System for dynamically configuring a user interface display
US7209912B2 (en) 2001-06-06 2007-04-24 Microsoft Corporation Wizard and help file search and management
US6983271B2 (en) 2001-06-13 2006-01-03 Microsoft Corporation Answer wizard drop-down control
US20020198714A1 (en) 2001-06-26 2002-12-26 Guojun Zhou Statistical spoken dialog system
US6839896B2 (en) 2001-06-29 2005-01-04 International Business Machines Corporation System and method for providing dialog management and arbitration in a multi-modal environment
JP3907161B2 (ja) 2001-06-29 2007-04-18 インターナショナル・ビジネス・マシーンズ・コーポレーション キーワード検索方法、キーワード検索端末、コンピュータプログラム
US6959294B2 (en) 2001-07-10 2005-10-25 Microsoft Corporation Context-based help engine and dynamic help
JP2003084794A (ja) 2001-09-07 2003-03-19 Olympus Optical Co Ltd 音声制御システム
US6985865B1 (en) 2001-09-26 2006-01-10 Sprint Spectrum L.P. Method and system for enhanced response to voice commands in a voice command platform
US7149550B2 (en) 2001-11-27 2006-12-12 Nokia Corporation Communication terminal having a text editor application with a word completion feature
US6785654B2 (en) * 2001-11-30 2004-08-31 Dictaphone Corporation Distributed speech recognition system with speech recognition engines offering multiple functionalities
US7137071B2 (en) 2001-12-12 2006-11-14 National Instruments Corporation System and method for providing suggested graphical programming operations
US7493259B2 (en) * 2002-01-04 2009-02-17 Siebel Systems, Inc. Method for accessing data via voice
US7062711B2 (en) 2002-01-30 2006-06-13 Sharp Laboratories Of America, Inc. User interface and method for providing search query syntax help
US7139713B2 (en) * 2002-02-04 2006-11-21 Microsoft Corporation Systems and methods for managing interactions from multiple speech-enabled applications
US7188066B2 (en) * 2002-02-04 2007-03-06 Microsoft Corporation Speech controls for use with a speech system
US7167831B2 (en) * 2002-02-04 2007-01-23 Microsoft Corporation Systems and methods for managing multiple grammars in a speech recognition system
US7716199B2 (en) 2005-08-10 2010-05-11 Google Inc. Aggregating context data for programmable search engines
US7174294B2 (en) 2002-06-21 2007-02-06 Microsoft Corporation Speech platform architecture
US7113950B2 (en) 2002-06-27 2006-09-26 Microsoft Corporation Automated error checking system and method
US20040046789A1 (en) 2002-08-23 2004-03-11 Angelo Inanoria Extensible user interface (XUI) framework and development environment
US7254784B2 (en) 2002-09-11 2007-08-07 Peter H. Chang User-driven menu generation system with multiple submenus
US7440941B1 (en) 2002-09-17 2008-10-21 Yahoo! Inc. Suggesting an alternative to the spelling of a search query
JP2004110613A (ja) 2002-09-20 2004-04-08 Toshiba Corp 制御装置、制御プログラム、対象装置及び制御システム
US7197494B2 (en) * 2002-10-15 2007-03-27 Microsoft Corporation Method and architecture for consolidated database search for input recognition systems
US7519534B2 (en) 2002-10-31 2009-04-14 Agiletv Corporation Speech controlled access to content on a presentation medium
US20060106604A1 (en) * 2002-11-11 2006-05-18 Yoshiyuki Okimoto Speech recognition dictionary creation device and speech recognition device
US6906500B2 (en) 2002-11-14 2005-06-14 Fyre Storm, Inc. Method of operating a switching power converter
US7584102B2 (en) * 2002-11-15 2009-09-01 Scansoft, Inc. Language model for use in speech recognition
US7684985B2 (en) 2002-12-10 2010-03-23 Richard Dominach Techniques for disambiguating speech input using multimodal interfaces
JP4107093B2 (ja) * 2003-01-30 2008-06-25 株式会社日立製作所 対話型端末装置及び対話アプリケーション提供方法
US20040243415A1 (en) 2003-06-02 2004-12-02 International Business Machines Corporation Architecture for a speech input method editor for handheld portable devices
US20050027539A1 (en) * 2003-07-30 2005-02-03 Weber Dean C. Media center controller system and method
US7373351B2 (en) 2003-08-18 2008-05-13 Sap Ag Generic search engine framework
US7133950B2 (en) 2003-08-19 2006-11-07 Sun Microsystems, Inc. Request arbitration in multi-core processor
US7490286B2 (en) 2003-09-25 2009-02-10 International Business Machines Corporation Help option enhancement for interactive voice response systems
US7949960B2 (en) 2003-09-30 2011-05-24 Sap Ag Predictive rendering of user interfaces
US20050075857A1 (en) * 2003-10-02 2005-04-07 Elcock Albert F. Method and system for dynamically translating closed captions
US20050108026A1 (en) * 2003-11-14 2005-05-19 Arnaud Brierre Personalized subtitle system
US20050114319A1 (en) 2003-11-21 2005-05-26 Microsoft Corporation System and method for checking a content site for efficacy
US7356472B2 (en) 2003-12-11 2008-04-08 International Business Machines Corporation Enabling speech within a multimodal program using markup
US7526735B2 (en) * 2003-12-15 2009-04-28 International Business Machines Corporation Aiding visual search in a list of learnable speech commands
US20050138559A1 (en) 2003-12-19 2005-06-23 International Business Machines Corporation Method, system and computer program for providing interactive assistance in a computer application program
US20050166148A1 (en) 2004-01-28 2005-07-28 Garding Phillip D. Interactive user message system and method
US7406696B2 (en) * 2004-02-24 2008-07-29 Dialogic Corporation System and method for providing user input information to multiple independent, concurrent applications
US8712986B2 (en) 2004-04-07 2014-04-29 Iac Search & Media, Inc. Methods and systems providing desktop search capability to software application
US20060200827A1 (en) 2005-02-18 2006-09-07 Sidlosky Jeffrey A J Methods and systems providing desktop search capability to software application
US20050240558A1 (en) 2004-04-13 2005-10-27 Reynaldo Gil Virtual server operating on one or more client devices
CN1697515A (zh) * 2004-05-14 2005-11-16 创新科技有限公司 字幕翻译引擎
US7346846B2 (en) 2004-05-28 2008-03-18 Microsoft Corporation Strategies for providing just-in-time user assistance
US7627821B2 (en) 2004-06-15 2009-12-01 Microsoft Corporation Recording/playback tools for UI-based applications
US20050283473A1 (en) 2004-06-17 2005-12-22 Armand Rousso Apparatus, method and system of artificial intelligence for data searching applications
US20060036438A1 (en) 2004-07-13 2006-02-16 Microsoft Corporation Efficient multimodal method to provide input to a computing device
US20060048060A1 (en) 2004-08-31 2006-03-02 Julia Mohr Intelligent personalization based on usage analysis
US20060053384A1 (en) 2004-09-07 2006-03-09 La Fetra Frank E Jr Customizable graphical user interface for utilizing local and network content
US8185427B2 (en) 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US8942985B2 (en) 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
US20060136195A1 (en) * 2004-12-22 2006-06-22 International Business Machines Corporation Text grouping for disambiguation in a speech application
US8108798B2 (en) 2004-12-29 2012-01-31 Sap Ag Method and system for implementing enhanced buttons in a graphical user interface
US7523404B2 (en) 2004-12-30 2009-04-21 Sap Aktiengesellschaft System and method for generating complex character-based computing interfaces
US20060155687A1 (en) 2005-01-13 2006-07-13 Bridgewell Inc. Portable database search agent processing system
US20060168522A1 (en) 2005-01-24 2006-07-27 Microsoft Corporation Task oriented user interface model for document centric software applications
US7505965B2 (en) 2005-01-27 2009-03-17 Microsoft Corporation Systems and methods for providing a user interface with an automatic search menu
US20060184899A1 (en) 2005-02-11 2006-08-17 Research In Motion Limited System and method for context specific content handling
US7600199B2 (en) 2005-04-20 2009-10-06 Microsoft Corporation Task-based interface with underlying extensible framework
US7703037B2 (en) 2005-04-20 2010-04-20 Microsoft Corporation Searchable task-based interface to control panel functionality
US7647312B2 (en) 2005-05-12 2010-01-12 Microsoft Corporation System and method for automatic generation of suggested inline search terms
US7596754B2 (en) 2005-07-28 2009-09-29 Microsoft Corporation Application assistance
US20080065617A1 (en) 2005-08-18 2008-03-13 Yahoo! Inc. Search entry system with query log autocomplete
US7921375B2 (en) 2005-12-16 2011-04-05 Microsoft Corporation Integrating user interfaces from one application into another
US7925975B2 (en) 2006-03-10 2011-04-12 Microsoft Corporation Searching for commands to execute in applications
US8589374B2 (en) * 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
KR101462932B1 (ko) * 2008-05-28 2014-12-04 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
US10475446B2 (en) 2009-06-05 2019-11-12 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
KR20130035983A (ko) * 2011-09-30 2013-04-09 애플 인크. 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
KR20160071835A (ko) * 2014-12-12 2016-06-22 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10540973B2 (en) 2017-06-27 2020-01-21 Samsung Electronics Co., Ltd. Electronic device for performing operation corresponding to voice input
US11244676B2 (en) 2018-03-13 2022-02-08 Samsung Electronics Co., Ltd Apparatus for processing user voice input
US11831799B2 (en) 2019-08-09 2023-11-28 Apple Inc. Propagating context information in a privacy preserving manner

Also Published As

Publication number Publication date
US8942985B2 (en) 2015-01-27
US20060106614A1 (en) 2006-05-18
DE602005019518D1 (de) 2010-04-08
EP1657709A1 (en) 2006-05-17
ATE459076T1 (de) 2010-03-15
JP4854259B2 (ja) 2012-01-18
EP1657709B1 (en) 2010-02-24
KR101143034B1 (ko) 2012-05-11
US20150095030A1 (en) 2015-04-02
JP2006146182A (ja) 2006-06-08
US9972317B2 (en) 2018-05-15
US20170032786A1 (en) 2017-02-02
CN1776583A (zh) 2006-05-24
US10748530B2 (en) 2020-08-18
CN1776583B (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
KR101143034B1 (ko) 음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템
US8082145B2 (en) Character manipulation
RU2352979C2 (ru) Синхронное понимание семантических объектов для высокоинтерактивного интерфейса
US7957975B2 (en) Voice controlled wireless communication device system
US6801897B2 (en) Method of providing concise forms of natural commands
KR101213835B1 (ko) 음성 인식에 있어서 동사 에러 복원
US7054817B2 (en) User interface for speech model generation and testing
CN101998107B (zh) 信息处理装置、会议系统和信息处理方法
US10860289B2 (en) Flexible voice-based information retrieval system for virtual assistant
JP2009506386A (ja) 対話式ユーザチュートリアルへの、音声エンジン訓練の組込み
JP2013068952A (ja) 音声認識結果の統合
KR20080031357A (ko) 대안들의 목록을 사용하는 오인된 단어들의 다시 받아쓰기
JP7200533B2 (ja) 情報処理装置およびプログラム
JPH10326176A (ja) 音声対話制御方法
JP2004334207A (ja) 日本語および中国語音声認識システムのトレーニングのための動的な発音の補助
US20060074687A1 (en) Numbering scheme for selection by voice
JP7013702B2 (ja) 学習支援装置、学習支援方法、及び、プログラム
JP6296121B2 (ja) エミュレータ装置、プログラム及び表示方法
US20240184516A1 (en) Navigating and completing web forms using audio
JP2016206591A (ja) 語学学習用コンテンツ配信システム、語学学習用コンテンツ生成装置、および、語学学習用コンテンツ再生プログラム
KR20160050723A (ko) 문장 및 명령어의 출력 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 8