KR20050061571A - 핸드헬드 전자 장치에서 텍스트를 편집하는 방법 및 시스템 - Google Patents

핸드헬드 전자 장치에서 텍스트를 편집하는 방법 및 시스템 Download PDF

Info

Publication number
KR20050061571A
KR20050061571A KR1020057007289A KR20057007289A KR20050061571A KR 20050061571 A KR20050061571 A KR 20050061571A KR 1020057007289 A KR1020057007289 A KR 1020057007289A KR 20057007289 A KR20057007289 A KR 20057007289A KR 20050061571 A KR20050061571 A KR 20050061571A
Authority
KR
South Korea
Prior art keywords
words
text
grammar
command
class
Prior art date
Application number
KR1020057007289A
Other languages
English (en)
Other versions
KR100734409B1 (ko
Inventor
카트리이나 할로넨
사일레쉬 사트히쉬
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20050061571A publication Critical patent/KR20050061571A/ko
Application granted granted Critical
Publication of KR100734409B1 publication Critical patent/KR100734409B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Document Processing Apparatus (AREA)
  • Telephonic Communication Services (AREA)
  • Stored Programmes (AREA)

Abstract

동적으로 생성된 작은 문법(150)은 메모리 요구들로 인해 큰 문법(130)이 사용될 수 없는 핸드헬드 전자 장치(10)에서 보이스 커맨드들을 사용하여 텍스트를 편집하는 데 사용된다. 그러나, 상기 텍스트는 상기 전자 장치(10)에나 원격 사이트(20)에 상주할 수 있는 큰 문법을 사용하여 딕테이션된다(140). 편집 세션이 개시될 경우, 딕테이션된 텍스트 내의 단어들은 작은 문법(202)에 추가된다. 삭제 또는 대체될 단어들은 그 자체로 위치해 있을 수 있다. 보이스 커맨드가 텍스트 수정 단어를 요구할 경우, 만약 상기 단어가 상기 작은 문법으로부터 획득되는 것이 가능하다면, 이러한 단어는 상기 작은 문법으로부터 획득된다(216). 만약 상기 단어가 작은 문법으로부터 획득되는 것이 가능하지 않다면, 이러한 단어는 상기 큰 문법으로부터 획득된다(224). 상기 편집 세션(218) 동안, 보다 많은 텍스트 수정 단어들이 상기 텍스트를 수정하는 데 사용되기 때문에, 이러한 단어들은 또한 상기 작은 문법에 추가된다(226). 상기 편집 세션의 종결시, 상기 작은 문법의 동적으로 생성된 부분은 제거된다(230).

Description

핸드헬드 전자 장치에서 텍스트를 편집하는 방법 및 시스템{Method and system for text editing in hand-held electronic device}
본 발명은 일반적으로 기술하면 음성 인식에 관한 것이며, 보다 구체적으로 기술하면 보이스 커맨드들을 사용하여 인식된 텍스트를 편집하는 것에 관한 것이다.
음성 인식은 전자 장치들에서 보다 보편화되고 있다. 다중 생체 인식 인터페이스, 및 음성 인식 능력들과 함께 향상된 화상 전화 디스플레이를 지니는 이동 단말기의 경우, 사용자는 특정의 전화 기능들을 활성화시키기 위한 보이스 커맨드들을 사용할 수 있을 뿐만 아니라, 또한 사용자는 딕테이션(dictation) 기능을 통해 짧은 메시지 서비스(short message service; SMS) 엔트리와 같은 텍스트를 입력할 수 있다. 그러한 장치는 국부 자동 음성 인식(local ASR(LASR); local automatic speech recognition) 엔진을 사용하여 음성을 처리하거나 또는 네트워크에 상주하는 원격 ASR(remote ASR; RASR) 엔진에 음성을 전송한다. 딕테이션용 음성 인식 엔진은 대개 딕테이션된 텍스트에 대한 상당히 광범위한 컨텐트 및 범위를 허용하도록 수만개의 단어들을 포함하는 매우 큰 문법을 사용한다. 예를 들면, 사용자는 요리법을 전송하거나 정치적 견해를 발표하고자 할 수 있다.
딕테이션 이후에 사용자는 부정확한 인식 결과들을 수정하기 위해서나 또는 컨텐트 변경들을 수행하기 위해 음성 인식 엔진에 의해 인식 및 트랜스크라빙(transcribing)되는 바와 같이 텍스트를 편집하고자 하는 것이 매우 보편적이다. 대개는, 단말 장치가 매우 큰 메모리를 지니지 않는다. 딕테이션 및 편집 프로세스들은 모두 매우 큰 문법을 필요로 하며, 이는 그러한 매우 큰 문법이 단말 장치에서 실행할 수 없게 한다.
여기서 유념해야 할 점은 본 명세서에서 사용되는 "어휘(vocabulary)"가 인식된 단어들 또는 구(phrase)들의 리스트로서 언급되고 상기 어휘의 부분 집합이 "문법(grammar)"로서 언급된다는 것이다. 단어들 및 구들 외에도, 상기 문법은 규칙들 및 커맨드들의 편집을 포함할 수 있다.
데스크탑 또는 랩탑 전자 장치에 있어서, 마우스, 조이스틱 또는 터치 패드와 같은 포인팅 장치는 편집될 텍스트 내에 단어 또는 단어들을 위치시키는 데 흔히 사용된다. 상기 단말 장치에서, 그러한 포인팅 장치는 실용적이 아닐 수 있으며 결과적으로 거의 제공되지 않는다. 전화 패드 상에서는, 편집될 텍스트 내에 문자를 위치시키는 기능이 화살표 키들에 제공되어 있다. 그러나, 화살표 키들을 사용하여 커서를 편집 위치로 이동시키는 것은 느리며 불편하다. 따라서, 음성 커맨드들을 사용하여 텍스트를 편집하는 방법 및 시스템을 제공하는 것이 유리할 뿐만 아니라 바람직스럽다.
음성 인식을 위한 큰 문법의 사용을 회피하기 위해, 마스터즈(Masters; 미국 특허 제6,301,561호)에는 무선국들을 선택하는 데 사용하기 위한 개별 음성 인식 시스템으로서, 작은 디폴트 문법이 소수의 제1 계층 단어들 또는 발음들을 지니고, 상기 소수의 제1 계층 단어들 또는 발음들 각각이 제2 계층의 단어들 또는 발음들의 부분 집합을 표현하는 개별 음성 인식 시스템이 개시되어 있다. 상기 제2 계층 단어들 또는 발음들 각각이 제3 계층의 단어들 또는 발음들의 부분 집합을 표현하며, 상기 제3 계층의 단어들 또는 발음들 각각이 이하 마찬가지로 표현한다. 상기 제1 계층 단어들 중 하나가 보이스 단위로 사용자에 의해 선택될 경우, 상기 선택된 제1 계층 단어로 표현되는 제2 계층 부분 집합 내의 복수의 단어들 또는 발음들이 상기 문법에 추가됨으로써 상기 문법을 크게 한다. 상기 제2 계층 단어들 중 하나가 보이스 단위로 사용자에 의해 부가적으로 선택될 경우, 상기 선택된 제2 계층 단어로 표현되는 제3 계층 부분 집합 내의 복수의 단어들 또는 발음들이 상기 문법에 부가적으로 추가됨으로써 상기 문법을 더 크게 한다. 상기 제2 및 제3 계층들의 단어들 또는 발음들은 음성 인식 엔진에 의해 인식가능한 사전에 정의된 발음들의 완전한 리스트를 지니는 어휘에 저장된다. 사실상 기능의 수행에 사용되는 문법은 그 자체로 상기 어휘 내에 단지 사전에 정의된 발음들의 작은 부분만을 포함한다. Masters에 개시된 바와 같은 음성 인식이 상기 문법을 작게 함으로써 음성 인식에 필요한 시간을 감소시키는 데 유용하지만, 그러한 유용성은 사전에 정의된 단어들 또는 발음들의 작은 집합이 여러 도시(city)들을 식별하고 한정된 어휘 내의 방송 주파수들이 상기 목적들을 적합하게 하는 데 충분한 무선국들의 선택과 같은 특정의 용도에 한정된다. 그러나, 이러한 유형의 한정된 어휘는 대개 예측하기에 곤란한 범위 및 컨텐트를 지닌 텍스트를 편집하기에 불충분하다.
따라서, 메모리 요구들에 기인하여 큰 문법이 구현될 수 없는 소형 전자 장치에서 텍스트를 편집하는 방법 및 시스템을 제공하는 것이 유리할 뿐만 아니라 바람직스럽다.
도 1은 음성 인식 및 텍스트 편집 능력들을 지니는 본 발명에 따른 전자 장치를 보여주는 블록선도이다.
도 2는 음성 인식 및 텍스트 편집 능력들을 지니는 본 발명의 최선의 양태에 따른 전자 장치를 보여주는 블록선도이다.
도 3a는 텍스트 딕테이션 및 편집 동안 작은 문법의 변화들을 보여주는 블록선도이다.
도 3b는 작은 문법의 다른 버전을 보여주는 블록선도이다.
도 4a는 본 발명에 따른 텍스트 편집 방법을 보여주는 흐름도이다.
도 4b는 도 4a에 도시된 바와 같은 본 발명의 방법에서 몇가지 추가적인 단계들을 부분적으로 보여주는 흐름도이다.
본 발명의 주된 목적은 메모리 요구들에 기인하여 큰 문법이 텍스트 편집 및 다른 음성 인식을 위해 사용될 수 없는 핸드헬드 전자 장치에서 사용될 텍스트 편집 방법 및 시스템을 제공하는 것이다. 이러한 목적은 상기 장치에서 작은 문법을 사용함으로써 달성될 수 있다. 큰 문법이 대개 딕테이션에 필요하지만, 작은 문법은 딕테이션된 텍스트가 편집될 경우 상기 큰 문법보다 신속하고 정확한 결과를 초래시킨다. 이러한 작은 문법은 처음으로 사전에 결정된 커맨드 단어들의 집합을 포함한다. 사용자가 처음으로 텍스트를 딕테이션할 경우, 모든 딕테이션된 단어들은 상기 작은 문법에 추가된다. 사용자가 딕테이션을 종결하고 편집을 개시할 경우, 상기 작은 문법이 사용된다. 단지 편집에 필요한 단어들이 상기 작은 문법에서 발견될 수 없을 경우에만, 큰 문법이 사용된다. 상기 장치는 또한 필요할 경우 상기 작은 문법에 추가될 수 있는 번호들, 요일들, 달들, 연락처들의 이름들 등등과 관련된 사전에 정의된 단어들의 다른 집합들을 포함할 수 있다.
더군다나, 작은 문법의 경우, 국부 ASR(automatic speech recognition; 자동 음성 인식) 엔진이 상기 장치에서 사용될 수 있으며, 새로운 단어들이 추가될 경우를 제외하고는, 편집 동안 원격 사이트 또는 이동 네트워크에 보이스 데이터를 전송할 필요가 전혀 없다. 큰 문법의 경우, 원격 ASR이 보다 적합하다.
따라서, 본 발명의 제1 실시태양에 의하면, 핸드헬드 전자 장치의 편집 세션에서 복수의 제3 단어들을 포함하는 텍스트를 수정하는 방법으로서, 상기 텍스트 중 적어도 일부가 복수의 제1 단어들을 포함하는 제1 문법을 사용하여 딕테이션되고, 상기 핸드헬드 전자 장치가 상기 제1 문법보다 작은 제2 문법을 포함하며, 상기 제2 문법이 편집을 위해 복수의 제2 단어들을 포함하는 텍스트 수정 방법이 제공된다. 상기 텍스트 수정 방법은 상기 제2 단어들이 상기 제3 단어들 중 일부 또는 모두를 포함하도록 상기 제3 단어들을 상기 제2 문법에 제공하는 단계를 포함하는 것을 특징으로 한다.
바람직한 점으로는, 상기 제2 문법이 복수의 보이스 인식가능 커맨드들을 포함하고, 상기 보이스 인식가능 커맨드들 중 적어도 하나가 상기 텍스트를 수정하도록 활성화될 수 있으며, 상기 활성화된 보이스 인식가능 커맨드가 상기 텍스트의 수정을 위해 텍스트 수정 단어를 규정할 경우, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 하나이라면 상기 텍스트 수정 단어가 상기 제2 문법으로부터 획득되고, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 어떠한 것도 아니라면 상기 텍스트 수정 단어가 상기 제1 문법 내의 제1 단어들로부터 획득된다는 것이다.
유리한 점으로는, 상기 제2 단어들이 부가적인 사용을 위해 상기 획득된 단어를 더 포함하도록 상기 제1 단어들로부터 획득된 텍스트 수정 단어가 상기 제2 문법에 포함된다는 것이다.
유리한 점으로는, 상기 제1 단어들이 복수의 부류들과 관련된 단어들의 복수의 부분 집합들을 포함하며, 상기 보이스 인식가능 커맨드들은 상기 부류들을 규정하기 위한 복수의 부류 커맨드들을 포함하고, 상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 하나의 부류 커맨드를 포함할 경우, 상기 하나의 부류 커맨드에서 규정된 부류와 관련된 단어들의 부분 집합은 상기 제2 단어들이 상기 단어들의 부분 집합을 더 포함할 수 있게 하도록 상기 제2 문법에 제공되고, 상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 다른 하나의 부류 커맨드를 더 포함할 경우, 상기 다른 하나의 부류 커맨드에서 규정된 부류와 관련된 단어들의 다른 부분 집합은 상기 제2 단어들이 상기 단어들의 다른 부분 집합을 더 포함할 수 있게 하도록 상기 제2 문법에 제공된다는 것이다.
바람직한 점으로는, 상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 다른 하나의 부류 커맨드를 더 포함할 경우, 상기 단어들의 부분 집합이 상기 제2 문법의 크기를 감소시키도록 상기 제2 문법으로부터 제거된다는 점이다.
유리한 점으로는, 상기 제1 문법이 상기 핸드헬드 전자 장치에나 또는 상기 핸드헬드 전자 장치에 동작가능하게 접속된 원격 사이트에 위치해 있을 수 있다는 것이다.
유리한 점으로는, 상기 제1 문법이 상기 원격 사이트에 위치해 있을 경우, 상기 핸드헬드 전자 장치가 상기 복수의 부류들과 관련된 단어들의 부분 집합들을 포함하는 어휘를 더 포함한다는 것이다.
유리한 점으로는, 제3 단어들이 복수의 단어 위치들과 관련되어 있으며, 상기 보이스 인식가능 커맨드들이 규정된 단어 위치를 기초로 하여 상기 텍스트를 수정하기 위해 단어 위치를 규정하기 위한 적어도 하나의 위치 커맨드를 포함한다는 것이다.
바람직한 점으로는, 상기 제2 문법 내의 추가된 단어들은 편집 세션이 종결된 경우에 제거된다는 것이다.
본 발명의 제2 실시태양에 의하면, 복수의 제3 단어들을 포함하는 수정가능한 텍스트를 지니는 핸드헬드 전자 장치로서, 상기 텍스트 중 적어도 일부가 복수의 제1 단어들을 포함하는 제1 문법을 사용하여 딕테이션되는 핸드헬드 전자 장치가 제공된다. 상기 핸드헬드 전자 장치는, 보이스 입력 모듈; 및 상기 보이스 입력 모듈에 동작가능하게 접속된 메모리 모듈로서, 복수의 제2 단어들 및 상기 제3 단어들 중 적어도 하나를 포함하며, 상기 제1 문법보다 작은 제2 문법을 포함하는 메모리 모듈을 포함하는 것을 특징으로 한다.
유리한 점으로는, 상기 메모리 모듈이 상기 텍스트를 수정하기 위해 상기 보이스 입력 모듈을 통해 활성화될 수 있는 복수의 보이스 인식가능 커맨드들을 더 포함하며, 상기 활성화된 보이스 인식가능 커맨드가 상기 텍스트를 수정하기 위해 텍스트 수정 단어를 규정할 경우, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 하나이라면, 상기 텍스트 수정 단어가 상기 제2 문법으로부터 획득되고, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 어떠한 것도 아니라면, 상기 텍스트 수정 단어가 상기 제1 문법 내의 제1 단어들로부터 획득된다는 것이다.
바람직한 점으로는, 상기 제2 단어들이 부가적인 사용을 위해 상기 제1 단어들로부터 획득되는 텍스트 수정 단어를 더 포함한다는 것이다.
본 발명은 도 1 내지 도 4b와 관련하여 취해진 설명을 이해하면 자명해질 것이다.
도 1은 음성 인식 및 텍스트 편집 능력들을 지니는 본 발명에 따른 전자 장치(10)를 보여주는 블록선도이다. 도시된 바와 같이, 상기 장치(10)는 보이스 입력 모듈(110)을 지니며, 상기 보이스 입력 모듈(110)은 사용자가 보이스 커맨드들을 사용하여 텍스트를 딕테이션(dictation) 및 편집할 수 있게 해 준다. 상기 보이스 입력 모듈(110)을 통해 입력된 음성은 국부적으로 조종될 수도 있고 음성 인식을 위해 원격 사이트 또는 네트워크에 전송될 수도 있다. 도 1에 도시된 바와 같이, 음성 인식은 자동 음성 인식(automatic speech recognition; ASR) 엔진(120)에서 수행되고, 이러한 ASR 엔진(120)은 큰 딕테이션 문법(130)을 사용한다. 상기 큰 딕테이션 문법(130)은 대개 상기 ASR 엔진(120)의 메모리에 로딩된다. 인식 결과들 또는 인식된 텍스트(140)는 사용자가 판독할 수 있게 해 주거나 또는 원한다면 편집할 수 있게 해 주도록 상기 장치(10) 상에 디스플레이되는 것이 전형적이다. 상기 장치(10)에 구현되는 텍스트 형식의 작은 문법(150)이 처음으로 편집 프로세스를 개시하도록 "삭제(Delete)" 및 "이동(Move)"과 같은 단지 딕테이션된 편집 커맨드들의 집합만을 포함한다. 인식 결과들이 나타나기 시작하면, 상기 인식된 텍스트의 모든 단어들이 상기 작은 문법(150)에 추가된다. 이러한 문법은 상기 딕테이션이 진행함에 따라 점증적으로 늘어난다.
사용자가 상기 딕테이션된 텍스트(140)를 편집하고자 할 경우, 사용자는 특정의 보이스 커맨드 또는 키패드 커맨드를 사용하여 편집 모드를 유발(trigger)시킬 수 있다. 변형적으로는, 편집이 디폴트 모드이다. 예시를 위해, 상기 딕테이션된 텍스트(140)는 이하의 보이스 커맨드 시퀀스를 사용하여 편집될 수 있다. 여기서 인용 부호 내의 "-"는 발음들 간의 짧은 멈춤을 나타낸다.
- "Delete - very"는 "very"라는 단어를 삭제시키라는 것을 의미한다.
- "Move - tomorrow - before - morning"은 "morning"이라는 단어 앞에 "tomorrow"라는 단어를 이동시키라는 것을 의미한다.
- "Go before - year - Add - June"은 "year"라는 단어 앞에 "June"이라는 단어를 추가시키라는 것을 의미한다. 만약 "June"이 아직 작은 문법(150)에 존재하지 않는다면, 큰 문법(130)이 "June"을 인식하는 데 사용되어야 한다. 큰 문법(130)의 사용은 "June"과 같은 텍스트 수정 단어를 요구하는 "Add" 커맨드의 인식으로 유발되지만, "Delete", "Move"와 같은 다른 커맨드들로 유발되지는 않는다. "Add - June -before - year"와 같은 보이스 커맨드는 "Go before - year - Add - June" 대신에 사용될 수 있다.
도 1에 도시된 바와 같이, 상기 장치(10)는 또한 상기 딕테이션된 텍스트(140)를 편집하는 데 작은 문법을 사용하는 편집 소프트웨어 프로그램(170)을 포함한다. 그러나, 상기 소프트웨어 프로그램(170)은 이하에서 설명되겠지만 작은 문법(150)의 일부일 수 있다.
이하의 설명은 자바 음성 문법 형식(Java Speech Grammar Format; JSGF)에서의 동적으로 생성된 문법 파일의 일례이다. 이는 사용자가 "This dictation is fun."과 같은 문장을 딕테이션한 시점에서 상기 문법 파일을 표현한다. 공개 규칙 <edit>는 딕테이션 애플리케이션이 편집 커맨드들을 사용하거나 편집 커맨드들로 구성되는 주요한 규칙이다. 상기 규칙들 <place> 및 <word>는 상기 규칙 <edit>를 인터프리팅(interpreting)하는 데 사용되는 내부 규칙들이다. 상기 규칙 <edit>는 단어를 삭제, 이동 및 추가하기 위한 옵션들을 지니고, 상기 규칙 <place>는 딕테이션된 단어들을 언급함으로써 편집이 이루어져야 하는 장소를 부가적으로 정의한다. 상기 규칙 <word>는 딕테이션의 인식된 모든 단어들을 수집하는 문법의 변경 부분이다.
grammar edit;
public <edit> = delete <word>
| move <word> <place>
| go <place> add
;
<place> = (before | after) <word>
;
<word> = <NULL> //Initially empty rule.
| this //First recognized word, added online.
| dictation //Second word, added when recognized
| is //Lines added and deleted dynamically
| fun //when dictation proceeds.
;
상기 문법 파일은 사용자가 텍스트 편집에 사용하는 커맨드들을 기초로 하여 다시 업데이트된다. 일단 딕테이션 및 편집 세션이 종결된 경우, 상기 문법의 동적으로 생성된 부분은 제거되고 상기 문법 파일은, 원래의 집합, 다시 말하면 단지 딕테이션된 편집 커맨드들만을 포함하는 원래의 집합으로 다시 복귀한다.
상기 장치(10) 내에는 "요일(days of the week)"에 대한 단어들, "하루의 시간(time of the day)"에 대한 단어들, 연락처 리스트에 있는 번호들, 문자들, 이름들과 같은 사전에 정의된 단어들 또는 구들에 대한 소수의 집합들을 지니는 한정된 어휘(160)를 포함하는 것이 또한 가능하다. 단어들 또는 구들의 특정 집합은 그 자체로 특정의 보이스 커맨드를 통해 불러오기가 되고 작은 문법에 추가될 수 있다. 예를 들면, 사용자는 편집을 위해 "Sunday", "Monday",...를 작은 문법(150) 내에 추가하는 데 "Active - Days of the Week"와 같은 보이스 커맨드를 사용할 수 있다. 이것이 의미하는 것은 작은 문법의 증대가 특정의 딕테이션된 텍스트를 편집하는 데 필요한 단어들에 의해 부분적으로 결정된다는 것을 의미한다. "Activate" 커맨드를 통해 불러오기가 되는 특정의 카테고리들로 분류되는 단지 그러한 단어들은 작은 문법에 추가된다(도 3a 및 도 3b 참조). 큰 문법이 상기 전자 장치(10)에 상주할 경우 상기 어휘(160)는 큰 문법(130)의 일부일 수 있다.
만일 상기 전자 장치(10')가 이동 단말기 따위일 경우에는 도 2에 도시된 바와 같이 편집을 위해 상기 이동 단말기에 국부 ASR(LASR; 124)을 포함하는 것이 바람직하다. 사용자가 SMS 메시지와 같은 메시지를 딕테이션할 경우, 사용자의 음성은 큰 문법(130)을 사용하여 음성 인식을 하기 위해 이동 네트워크(20) 내의 원격 ASR(RASR; 122)에 전송된다. 인식 결과들은 딕테이션된 텍스트(140)로서 상기 원격 ASR(122)에 의해 복귀된다. 작은 문법(150)에 상주하는 기본 편집 커맨드 문법들 외에도, 번호, 요일, 월 등등과 같은 일반 사용을 위한 한 집합의 일반 문법들은 작은 문법(150) 내에나 또는 어휘(160) 내에 제공된다. 또한, 전화의 연락처 데이터베이스(180)로부터의 이름들 및 전화번호들의 리스트가 상기 어휘(160)에서나 또는 상기 작은 문법(150)에서 생성 및 저장되는 자기 주도형 학습(self-learning) 메카니즘을 상기 이동 단말기가 지니는 것도 가능하다. 편집을 위해, 편집 모드에 있는 이동 단말기는 보이스 입력이 상기 작은 문법(150)에서나 또는 상기 어휘(160)에서 발견될 수 없는 단어들을 포함할 경우 단지 네트워크 상주 ASR(122)에만 링크될 필요가 있다.
상기 이동 단말기 따위가 메모리 및 처리 능력에서 한정되어 있기 때문에, SMS 딕테이션 애플리케이션에 내재하는 문법들의 단지 한정된 집합만이 편집 단계 동안 사용되는 것이 바람직하다. 동일한 이유로 해서, 한 SMS 세션에서 동적으로 생성된 문법을 세이브(save)하여 이를 차후 다른 SMS 세션들에서 사용하는 것이 바람직하지 않을 수 있다. 따라서, 일단 딕테이션 및 편집 세션이 종결된 경우, 상기 문법의 동적으로 생성된 부분이 상기 작은 문법(150)으로부터 제거되고, 문법 파일이 단지 딕테이션된 편집 커맨드들만을 포함하는 원래의 집합으로 다시 복귀하는 것이 바람직하다.
이동 단말기의 액티브 구성 요소들 및 사용자 간의 본 발명에 따른 대화의 예시를 위해, SMS 세션의 일례가 이하에 제공된다:
실체들: 사용자, LASR(국부 ASR), RASR(원격 ASR 서버)
개시 단계들:
사용자는 SMS 애플리케이션을 런칭(launching)한다. 소프트 키들을 사용하여, 사용자는 SMS 딕테이션을 활성화한다. 상기 SMS 애플리케이션은 현재 다중 생체 인식이 가능하고 사용자는 키보드 및 음성 모두를 사용하여 텍스트를 입력하는 것이 허용된다.
편집 단계들:
I. 사용자: "I will be home at around 10.30 on Sunday"
RASR: I will be home at around 10.30 on Sunday
상기 LASR은
<Session Gram>=I:will:be:home:at:around:10.30:on:Sunday
처럼 보이는 동적 문법을 생성하였다.
사용자는 현재 디스플레이 상에 있는 텍스트를 편집하고자 한다. 그는
편집(Edit) 소프트키를 누른다.
II. 사용자: GoTo 10.30
커서는 현재 "10.30" 앞에 위치해 있다.
III. 사용자: 시간 활성화
(전화에 설치된) 시간 문법은 현재 액티브 상태로 된다. 현재 사용자가 말한 것은 무엇이든 간에 시간에 따라 인터프리팅된다. 사용자가 시간 대신에 번호를 설치하고자 할 경우, 사용자는 "번호 활성화(Activate Number)"와 같은 어떤 것을 말할 수 있다.
IV. 사용자: 11.30으로의 변경
국부 ASR은 시간 문법을 기초로 하여 이를 인식하고 "10.30"을 "11.30"으로 대체한다.
V. 사용자: GoTo Sunday
커서는 현재 "Sunday" 앞에 위치해 있다.
VI. 사용자: 요일 활성화
"요일(Days of Week)" 문법이 현재 액티브 상태이다.
VII. 사용자: Saturday로의 변경
"Saturday"가 현재 국부 ASR에 의해 인식되고 "Sunday"를 대체한다.
VIII. 사용자: SMS Home(SMS의 개시를 의미함)
커서는 현재 "I" 앞에 위치해 있다.
IX. 사용자: 연락처들 활성화
(상주 연락처 데이터베이스를 사용하여 애플리케이션에 의해 생성되는) 연락처 문법이 액티브 상태로 된다.
X. 사용자: Laura 콤마 추가
"Laura,"가 "I" 앞에 추가된다.
사용자가 "Time", "Days of Week" 등등과 같은 임의의 사전에 로딩된 문
법들을 활성화시키지 않을 경우, 네트워크 기반 ASR은 인식용으로 사용
된다.
종결 단계:
일단 SMS가 종결된 경우, 사용자는 보이스 커맨드들, 키보드 상의 일반 키들
또는 소프트키들을 사용하여 하나 이상의 원하는 수신자들에게 SMS를 전송할
수 있다.
도 3a 및 도 3b는 위에서 언급된 바와 같은 편집 프로세스 동안 어떠한 방식으로 작은 문법(150) 내의 컨텐츠가 늘어나는 지를 보여주는 도면들이다. 도 3a에 도시된 바와 같이, 작은 문법(150a)은 SMS 세션에서의 딕테이션 이전에 "Move(이동)", "Delete(삭제)", "Activate(활성화)"와 같은 단지 디폴트 커맨드들의 집합만을 포함한다. 사용자가 단계 I에서 메시지를 딕테이션하고 인식된 결과들이 단말기 장치(10')에 복귀된 후에, 작은 문법(150b)은 또한 딕테이션된 텍스트를 포함한다.
단계 II에서, 보이스 커맨드 "GoTo"는 작은 문법(150b)에 아직 포함되어 있지 않은 텍스트 수정 단어를 요구하지 않는다. 이러한 단계에서 상기 작은 문법에 단어들을 추가할 필요가 전혀 없다.
단계 III에서, 보이스 커맨드 "Activate"는 딕테이션된 텍스트를 수정하기 위한 적어도 하나의 "Time(시간)" 관련 단어 또는 발음을 요구한다. 따라서, "Time" 관련 단어들의 사전에 정의된 집합은 작은 문법(150c)에 추가된다.
단계 IV 및 단계 V에서, 어떠한 새로운 단어들도 필요하지 않다. 그러므로, 상기 작은 문법은 늘어나지 않는다.
단계 VI에서, 보이스 커맨드 "Activate"는 딕테이션된 텍스트를 수정하기 위한 적어도 하나의 "Days of the Week(요일)" 관련 단어 또는 발음을 요구한다. 따라서, 사전에 정의된 집합의 "Days of the Week" 관련 단어들이 작은 문법(150d)에 추가된다.
마찬가지로, 단계 IX 이후에, "연락처(contact)" 관련 단어들의 사전에 정의된 집합이 작은 문법(150e)에 추가된다.
편집 세션이 종결된 경우, 상기 작은 문법은 원래의 형태(150a)로 복귀한다.
도 3a에서 알 수 있는 바와 같이, 상기 작은 문법은 편집 단계들에 따라 점증적으로 늘어난다. 이것이 의미하는 것은 상기 작은 문법(150e)이 항상 상기 작은 문법(150d)과 같거나 그보다 크고, 상기 작은 문법(150d)이 상기 작은 문법(150c)과 동일하거나 그보다는 크다는 것을 의미한다. 변형적으로는, 사전의 편집 단계의 요구에 응답하여 상기 작은 문법에 추가되는 사전에 정의된 문법 집합은 새로운 "Activate" 보이스 커맨드가 사용될 경우 상기 작은 문법에서 제거될 수 있다. 도 3b에 도시된 바와 같이, 단계 VI에서, "Time" 관련 단어들의 사전에 정의된 집합은 상기 작은 문법으로부터 제거되는 데, 그 이유는 새로운 사전에 정의된 집합의 "Days of the Weeks" 관련 단어들이 상기 작은 문법(150d)에 추가되기 때문이다. 마찬가지로, 단계 IX 이후에는, 상기 작은 문법(150e)이 "연락처" 관련 단어들의 사전에 정의된 집합을 포함하지만, 이는 "Time" 및 "Days of the Week" 집합들 내의 단어들을 더 이상 포함하지 않는다. 상기 작은 문법은 그 자체로 사실상 점증적으로 늘어나는 것이 아니라, 오히려 편집 요구들에 따라 동적으로 늘어난다. 이러한 접근 방안에 따른 절충점(tradeoff)은 보이스 커맨드가 사전에 제거된 집합의 텍스트 수정 단어들을 요구할 경우 사전에 제거된 집합이 상기 작은 문법에 다시 추가되어야 한다는 것이다.
도 4a 및 도 4b에는 핸드헬드 전자 장치에서 사용될 본 발명에 따른 텍스트 편집 방법이 흐름도로 예시되어 있다. 텍스트가 딕테이션된 후에, 인식된 결과들이 사용자에게 보여진다. 사용자는 텍스트를 편집하여야 할 지를 결정할 수 있다. 만약 사용자가 텍스트를 편집해야 한다면, 도 4a의 흐름도(200)에 도시된 바와 같이, 편집 세션이 단계(202)에서 개시된다. 단계(202)에서, 상기 인식된 텍스트는 상기 작은 문법에 추가된다. 사용자가 단계(216)에서 텍스트를 수정하기 위해 보이스 커맨드를 사용할 때, 만약 ("Move", "Delete", "GoTo"와 같은) 상기 보이스 커맨드가 텍스트 수정 단어를 요구하지 않는다면, 딕테이션된 텍스트가 단계(218)에서 수정된다. 만약 편집 세션이 계속될 경우, 단계(216)로 절차가 루프백된다. 그러나, 만일 ("Add", "Insert", "Spell"과 같은) 보이스 커맨드가 단계(222)에서 결정된 바와 같이 하나 이상의 텍스트 수정 단어들(또는 번호들, 문자들)을 요구한다면, 상기 작은 문법의 텍스트 수정 단어들은 단계(218)에서 텍스트를 수정하는 데 사용된다. 만일 텍스트 수정 단어들이 상기 작은 문법에서 발견될 수 없다면, 상기 텍스트 수정 단어들은 단계(224)에서 큰 문법으로부터 획득된다. 획득된 단어들은 단계(226)에서 상기 작은 문법에 추가되고 딕테이션된 텍스트는 단계(218)에서 다시 수정된다. 이러한 프로세스는 사용자가 단계(220)에서 편집 세션을 종결하고자 할 때까지 자체적으로 반복된다. 상기 편집 세션의 종결시, 상기 작은 문법은 딕테이션된 텍스트를 포함하는 추가된 단어들이 단계(230)에서 상기 작은 문법으로부터 제거되도록 리세트된다.
유리한 점으로는, 다수의 단계들이 또한 도 4b에 도시된 바와 같이 단계(202) 및 단계(216) 간의 편집 세션에서 수행될 수 있다는 것이다. 이같은 단계들은 편집을 위해 상기 작은 문법에 보다 많은 단어들을 추가하는 데 사용된다. 특히, 큰 문법(130) 또는 어휘(160) 내의 단어들 중 몇몇은 다른 부류들의 복수의 부분 집합들로 표현될 수 있다. 예를 들면, "Monday", "Tuesday"...와 같은 단어들은 "요일(Days of the Week)"이라 언급되는 부류와 관련된 부분 집합으로 표현될 수 있다. 보이스 커맨드(부류 커맨드)가 부류를 규정할 경우, 그러한 부류와 관련된 단어들의 부분 집합은 상기 작은 문법에 추가된다. 더군다나, "GoTo", "Home", "Go before"와 같은 특정의 보이스 커맨드들은 편집될 텍스트 내의 단어들의 위치와 관련이 있다. 이같은 커맨드들은 위치 커맨드로서 언급될 수 있다. 활성화된 보이스 커맨드가 위치 커맨드일 경우, 상기 커서는 상기 위치 커맨드에 규정된 위치로 이동한다. 따라서, 만일 단계(208)에서 결정된 바와 같이 상기 보이스 커맨드가 부류 커맨드일 경우, 상기 부류 커맨드에서 규정된 부류와 관련된 단어들의 부분 집합은 단계(210)에서 작은 문법에 추가된다. 만일 단계(212)에서 결정된 바와 같이 보이스 커맨드가 위치 커맨드일 경우, 단계(214)에서 커서는 상기 위치 커맨드에서 규정된 바와 같은 단어 위치로 이동된다.
요약하면, 본 발명에 따른 텍스트 수정 방법은 편집을 위해 동적으로 생성된 작은 문법을 사용한다. 이러한 방법의 단계들은 텍스트를 수정하기 위해 상기 보이스 인식가능 커맨드들 중 적어도 하나를 활성화시키는 단계를 포함한다. 상기 활성화된 보이스 인식가능 커맨드가 하나 이상의 텍스트 수정 단어들을 요구할 경우, 이같은 단어들은 발견된다면 작은 문법에서 획득된다. 상기 단어들이 발견되지 않는다면, 이같은 단어들은 큰 문법으로부터 획득된다. 메모리가 한정되어 있는 이동 단말기 또는 소형의 핸드헬드 전자 장치에서는, 이동 네트워크와 같은 원격 사이트에서 큰 문법을 유지하는 것이 바람직하다. 그러나, 메모리가 충분히 큰 전자 장치에서는, 상기 장치에서 큰 문법을 유지하는 것이 가능하다. 어느 경우든 간에, 텍스트 수정 단어들이 작은 문법에서 발견될 수 있는 한은 작은 문법이 테스트 편집용으로 사용된다.
따라서, 지금까지 본 발명이 본 발명의 바람직한 실시예에 관해 설명되었지만, 당업자가 이해할 수 있는 점은 앞서 언급된 형태 및 그러한 형태의 다른 여러 변경들, 생략들 및 변동들 및 이들의 세부들이 본 발명의 범위로부터 벗어나지 않고서도 구현될 수 있다는 것이다.

Claims (23)

  1. 핸드헬드 전자 장치(10)의 편집 세션에서 복수의 제3 단어들을 포함하는 텍스트(140)를 수정하는 방법으로서, 상기 텍스트 중 적어도 일부가 복수의 제1 단어들을 포함하는 제1 문법(130)을 사용하여 딕테이션되고, 상기 핸드헬드 전자 장치가 상기 제1 문법보다 작은 제2 문법(150)을 포함하며, 상기 제2 문법이 편집을 위해 복수의 제2 단어들을 포함하는 텍스트 수정 방법에 있어서,
    상기 제2 단어들이 상기 제3 단어들 중 일부 또는 모두를 포함하도록 상기 제3 단어들을 상기 제2 문법에 제공하는 단계를 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  2. 제1항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하고, 상기 보이스 인식가능 커맨드들 중 적어도 하나는 상기 텍스트를 수정하도록 활성화될 수 있으며, 상기 텍스트 수정 방법은,
    상기 활성화된 보이스 인식가능 커맨드가 상기 텍스트의 수정을 위해 텍스트 수정 단어를 규정할 경우, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 하나이라면 상기 텍스트 수정 단어가 상기 제2 문법으로부터 획득되고, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 어떠한 것도 아니라면 상기 텍스트 수정 단어가 상기 제1 문법 내의 제1 단어들로부터 획득되는 것을 특징으로 하는 텍스트 수정 방법.
  3. 제2항에 있어서,
    상기 텍스트 수정 방법은,
    상기 제2 단어들이 부가적인 사용을 위해 상기 획득된 단어를 더 포함하도록 상기 제1 단어들로부터 획득된 텍스트 수정 단어를 상기 제2 문법에 포함하는 단계를 더 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  4. 제1항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하며, 상기 보이스 인식가능 커맨드들 중 적어도 하나는 상기 텍스트를 수정하기 위해 활성화될 수 있고, 상기 텍스트 수정 방법은,
    상기 제1 단어들이 복수의 부류들과 관련된 단어들의 복수의 부분 집합들을 포함하며, 상기 보이스 인식가능 커맨드들은 상기 부류들 중 적어도 하나의 부류를 규정하기 위한 적어도 하나의 부류 커맨드를 포함하고, 상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드를 포함할 경우, 상기 부류 커맨드에서 규정된 부류와 관련된 단어들의 부분 집합은 상기 제2 단어들이 상기 단어들의 부분 집합을 더 포함할 수 있게 하도록 상기 제2 문법에 제공되는 것을 특징으로 하는 텍스트 수정 방법.
  5. 제1항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하고, 상기 보이스 인식가능 커맨드들 중 적어도 하나가 상기 텍스트를 수정하기 위해 활성화될 수 있으며, 상기 텍스트 수정 방법은,
    상기 제1 단어들이 복수의 부류들과 관련된 단어들의 복수의 부분 집합들을 포함하고, 상기 보이스 인식가능 커맨드들이 상기 부류들을 규정하기 위한 복수의 부류 커맨드들을 포함하며,
    상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 하나의 부류 커맨드를 포함할 경우, 상기 하나의 부류 커맨드에서 규정된 부류와 관련된 단어들의 부분 집합은 상기 제2 단어들이 상기 단어들의 부분 집합을 더 포함할 수 있게 하도록 상기 제2 문법에 제공되고,
    상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 다른 하나의 부류 커맨드를 더 포함할 경우, 상기 다른 하나의 부류 커맨드에서 규정된 부류와 관련된 단어들의 다른 부분 집합은 상기 제2 단어들이 상기 단어들의 다른 부분 집합을 더 포함할 수 있게 하도록 상기 제2 문법에 제공되는 것을 특징으로 하는 텍스트 수정 방법.
  6. 제5항에 있어서,
    상기 텍스트 수정 방법은,
    상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 다른 하나의 부류 커맨드를 더 포함할 경우, 상기 단어들의 부분 집합이 상기 제2 문법의 크기를 감소시키도록 상기 제2 문법으로부터 제거되는 것을 또한 특징으로 하는 텍스트 수정 방법.
  7. 제1항에 있어서,
    상기 핸드헬드 전자 장치(10)는 원격 사이트(20)에 동작가능하게 접속되며, 상기 텍스트 수정 방법은,
    상기 제1 문법이 상기 원격 사이트에 위치해 있는 것을 또한 특징으로 하는 텍스트 수정 방법.
  8. 제7항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하며, 상기 보이스 인식가능 커맨드들 중 적어도 하나는 상기 텍스트를 수정하도록 활성화될 수 있고, 상기 텍스트 수정 방법은,
    상기 핸드헬드 전자 장치(10)가 복수의 부류들과 관련된 단어들의 복수의 부분 집합들을 포함하는 제3 문법(160)을 더 포함하며, 상기 보이스 인식가능 커맨드들이 상기 부류들에 적어도 하나의 단어를 규정하기 위한 적어도 하나의 부류 커맨드를 포함하고, 상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드를 포함할 경우, 상기 부류 커맨드 내의 부류와 관련된 단어들의 부분 집합은 상기 제2 단어들이 상기 단어들의 부분 집합을 더 포함하도록 상기 제2 문법에 제공되는 것을 특징으로 하는 텍스트 수정 방법.
  9. 제7항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하고, 상기 보이스 인식가능 커맨드들 중 적어도 하나는 상기 텍스트를 수정하기 위해 활성화될 수 있으며, 상기 텍스트 수정 방법은,
    상기 핸드헬드 전자 장치(10)가 복수의 부류들과 관련된 단어들의 복수의 부분 집합들을 포함하는 제3 문법(160)을 더 포함하며, 상기 보이스 인식가능 커맨드들은 상기 부류들을 규정하기 위한 복수의 부류 커맨드들을 포함하고,
    상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 하나의 부류 커맨드를 포함할 경우, 상기 하나의 부류 커맨드에서 규정된 부류와 관련된 단어들의 부분 집합은 상기 제2 단어들이 상기 단어들의 부분 집합을 더 포함하도록 상기 제2 문법에 제공되며,
    상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 다른 한 부류 커맨드를 더 포함할 경우, 상기 다른 한 부류 커맨드에서 규정된 부류와 관련된 단어들의 다른 부분 집합은 상기 제2 단어들이 상기 단어들의 다른 부분 집합을 더 포함하도록 상기 제2 문법에 제공되는 것을 특징으로 하는 텍스트 수정 방법.
  10. 제9항에 있어서,
    상기 텍스트 수정 방법은,
    상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드들 중 다른 하나의 부류 커맨드를 더 포함할 경우, 상기 단어들의 부분 집합은 상기 제2 문법의 크기를 감소시키도록 상기 제2 문법으로부터 제거되는 것을 또한 특징으로 하는 텍스트 수정 방법.
  11. 제1항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하고, 상기 보이스 인식가능 커맨드들 중 적어도 하나는 상기 텍스트를 수정하기 위해 활성화될 수 있으며, 상기 텍스트 수정 방법은,
    상기 제3 단어들이 복수의 단어 위치들과 관련되어 있으며,
    상기 보이스 인식가능 커맨드들이 단어 위치를 규정하기 위한 적어도 하나의 위치 커맨드를 포함하고,
    상기 적어도 하나의 활성화된 보이스 인식가능 커맨드가 상기 위치 커맨드를 포함하며 대체될 제3 단어들 중 적어도 하나를 식별할 경우, 상기 텍스트 수정 단어는 상기 규정된 단어 위치를 기초로 하여 상기 적어도 하나의 식별된 제3 단어를 대체하는 것을 특징으로 하는 텍스트 수정 방법.
  12. 제2항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하고, 상기 보이스 인식가능 커맨드들 중 적어도 하나는 상기 텍스트를 수정하기 위해 활성화될 수 있으며, 상기 텍스트 수정 방법은,
    상기 제3 단어들이 복수의 단어 위치들과 관련되어 있으며,
    상기 보이스 인식가능 커맨드들이 상기 활성화된 보이스 인식가능 커맨드에 응답하여 규정된 단어 위치에서 상기 텍스트 수정 단어를 사용하여 상기 텍스트를 수정하도록 상기 단어 위치를 규정하기 위한 적어도 하나의 위치 커맨드를 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  13. 제1항에 있어서,
    상기 제2 문법은 복수의 보이스 인식가능 커맨드들을 포함하며, 상기 보이스 인식가능 커맨드들 중 적어도 하나는 상기 텍스트를 수정하기 위해 활성화될 수 있고, 상기 텍스트 수정 방법은,
    상기 제3 단어들이 복수의 단어 위치들과 관련되어 있으며,
    상기 보이스 인식가능 커맨드들이 상기 활성화된 보이스 인식가능 커맨드에 응답하여 규정된 단어 위치에서 상기 제3 단어들 중 적어도 하나를 삭제하도록 상기 단어 위치를 규정하기 위한 적어도 하나의 위치 커맨드를 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  14. 제1항에 있어서,
    상기 편집 세션을 종결하는 단계를 포함하며, 상기 텍스트 수정 방법은,
    상기 종결 단계 이후에 상기 제2 문법으로부터 상기 제3 단어들을 제거하는 단계를 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  15. 제3항에 있어서,
    상기 편집 세션을 종결하는 단계를 포함하며, 상기 텍스트 수정 방법은,
    상기 종결 단계 이후에 상기 제2 문법으로부터 상기 획득된 텍스트 수정 단어를 제거하는 단계를 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  16. 제4항에 있어서,
    상기 편집 세션을 종결하는 단계를 포함하며, 상기 텍스트 수정 방법은,
    상기 종결 단계 이후에 상기 제2 문법으로부터 상기 단어들의 부분 집합을 제거하는 단계를 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  17. 제8항에 있어서,
    상기 편집 세션을 종결하는 단계를 포함하며, 상기 텍스트 수정 방법은,
    상기 종결 단계 이후에 상기 제2 문법으로부터 상기 단어들의 부분 집합을 제거하는 단계를 포함하는 것을 특징으로 하는 텍스트 수정 방법.
  18. 복수의 제3 단어들을 포함하는 수정가능한 텍스트(140)를 지니는 핸드헬드 전자 장치(10)로서, 상기 텍스트 중 적어도 일부가 복수의 제1 단어들을 포함하는 제1 문법(130)을 사용하여 딕테이션되는 핸드헬드 전자 장치에 있어서,
    보이스 입력 모듈; 및
    상기 보이스 입력 모듈에 동작가능하게 접속된 메모리 모듈로서,
    복수의 제2 단어들 및 상기 제3 단어들 중 적어도 하나를 포함하며, 상기 제1 문법보다 작은 제2 문법을 포함하는 메모리 모듈을 포함하는 것을 특징으로 하는 핸드헬드 전자 장치.
  19. 제18항에 있어서,
    상기 제1 문법은 상기 메모리 모듈에 포함되어 있는 것을 특징으로 하는 핸드헬드 전자 장치.
  20. 제18항에 있어서,
    상기 메모리 모듈은 상기 텍스트를 수정하기 위해 상기 보이스 입력 모듈을 통해 활성화될 수 있는 복수의 보이스 인식가능 커맨드들을 더 포함하며,
    상기 활성화된 보이스 인식가능 커맨드가 상기 텍스트를 수정하기 위해 텍스트 수정 단어를 규정할 경우, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 하나이라면, 상기 텍스트 수정 단어가 상기 제2 문법으로부터 획득되고, 만일 상기 텍스트 수정 단어가 상기 제2 단어들 중 어떠한 것도 아니라면, 상기 텍스트 수정 단어가 상기 제1 문법 내의 제1 단어들로부터 획득되는 것을 특징으로 하는 핸드헬드 전자 장치.
  21. 제20항에 있어서,
    상기 제2 단어들은 부가적인 사용을 위해 상기 제1 단어들로부터 획득되는 텍스트 수정 단어를 더 포함하는 것을 특징으로 하는 핸드헬드 전자 장치.
  22. 제20항에 있어서,
    상기 제1 문법은 원격 사이트에 위치해 있으며, 상기 원격 사이트는 상기 텍스트 수정 단어가 상기 제1 문법 내의 제1 단어들로부터 획득될 수 있게 하도록 상기 핸드헬드 전자 장치에 동작가능하게 접속되는 것을 특징으로 하는 핸드헬드 전자 장치.
  23. 제22항에 있어서,
    상기 핸드헬드 전자 장치는,
    복수의 부류들과 관련된 단어들의 복수의 부분 집합들을 포함하는 제3 문법(160)을 더 포함하며,
    상기 보이스 인식가능 커맨드들은 상기 부류들 중 적어도 하나를 규정하기 위한 적어도 하나의 부류 커맨드를 포함하고,
    상기 활성화된 보이스 인식가능 커맨드가 상기 부류 커맨드를 포함할 경우, 상기 부류 커맨드에서 규정된 부류와 관련된 단어들의 부분 집합은 상기 제2 단어들이 상기 단어의 부분 집합을 더 포함하도록 상기 제2 문법에 제공되는 것을 특징으로 하는 핸드헬드 전자 장치.
KR1020057007289A 2002-10-29 2003-10-24 핸드헬드 전자 장치에서 텍스트를 편집하는 방법 및 시스템 KR100734409B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/284,997 US7003457B2 (en) 2002-10-29 2002-10-29 Method and system for text editing in hand-held electronic device
US10/284,997 2002-10-29

Publications (2)

Publication Number Publication Date
KR20050061571A true KR20050061571A (ko) 2005-06-22
KR100734409B1 KR100734409B1 (ko) 2007-07-03

Family

ID=32107600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057007289A KR100734409B1 (ko) 2002-10-29 2003-10-24 핸드헬드 전자 장치에서 텍스트를 편집하는 방법 및 시스템

Country Status (8)

Country Link
US (1) US7003457B2 (ko)
EP (1) EP1556855B1 (ko)
KR (1) KR100734409B1 (ko)
CN (1) CN1708784B (ko)
AT (1) ATE452399T1 (ko)
DE (1) DE60330591D1 (ko)
ES (1) ES2334907T3 (ko)
WO (1) WO2004040551A1 (ko)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003463B1 (en) 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
US7366673B2 (en) 2001-06-15 2008-04-29 International Business Machines Corporation Selective enablement of speech recognition grammars
EP1611504B1 (en) * 2003-04-07 2009-01-14 Nokia Corporation Method and device for providing speech-enabled input in an electronic device having a user interface
JP4466564B2 (ja) * 2003-09-08 2010-05-26 日本電気株式会社 文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラム
US9083798B2 (en) * 2004-12-22 2015-07-14 Nuance Communications, Inc. Enabling voice selection of user preferences
US7917365B2 (en) * 2005-06-16 2011-03-29 Nuance Communications, Inc. Synchronizing visual and speech events in a multimodal application
US20060287865A1 (en) * 2005-06-16 2006-12-21 Cross Charles W Jr Establishing a multimodal application voice
US8090584B2 (en) * 2005-06-16 2012-01-03 Nuance Communications, Inc. Modifying a grammar of a hierarchical multimodal menu in dependence upon speech command frequency
US20060287858A1 (en) * 2005-06-16 2006-12-21 Cross Charles W Jr Modifying a grammar of a hierarchical multimodal menu with keywords sold to customers
US8073700B2 (en) 2005-09-12 2011-12-06 Nuance Communications, Inc. Retrieval and presentation of network service results for mobile device using a multimodal browser
US8719034B2 (en) 2005-09-13 2014-05-06 Nuance Communications, Inc. Displaying speech command input state information in a multimodal browser
JP4846734B2 (ja) * 2005-12-07 2011-12-28 三菱電機株式会社 音声認識装置
US7848314B2 (en) * 2006-05-10 2010-12-07 Nuance Communications, Inc. VOIP barge-in support for half-duplex DSR client on a full-duplex network
US9208785B2 (en) * 2006-05-10 2015-12-08 Nuance Communications, Inc. Synchronizing distributed speech recognition
US20070274297A1 (en) * 2006-05-10 2007-11-29 Cross Charles W Jr Streaming audio from a full-duplex network through a half-duplex device
US7676371B2 (en) 2006-06-13 2010-03-09 Nuance Communications, Inc. Oral modification of an ASR lexicon of an ASR engine
US8332218B2 (en) * 2006-06-13 2012-12-11 Nuance Communications, Inc. Context-based grammars for automated speech recognition
US8374874B2 (en) 2006-09-11 2013-02-12 Nuance Communications, Inc. Establishing a multimodal personality for a multimodal application in dependence upon attributes of user interaction
US8145493B2 (en) 2006-09-11 2012-03-27 Nuance Communications, Inc. Establishing a preferred mode of interaction between a user and a multimodal application
US7957976B2 (en) 2006-09-12 2011-06-07 Nuance Communications, Inc. Establishing a multimodal advertising personality for a sponsor of a multimodal application
US8073697B2 (en) * 2006-09-12 2011-12-06 International Business Machines Corporation Establishing a multimodal personality for a multimodal application
US8086463B2 (en) 2006-09-12 2011-12-27 Nuance Communications, Inc. Dynamically generating a vocal help prompt in a multimodal application
US9830912B2 (en) 2006-11-30 2017-11-28 Ashwin P Rao Speak and touch auto correction interface
WO2008067562A2 (en) * 2006-11-30 2008-06-05 Rao Ashwin P Multimodal speech recognition system
US7827033B2 (en) 2006-12-06 2010-11-02 Nuance Communications, Inc. Enabling grammars in web page frames
US20080154604A1 (en) * 2006-12-22 2008-06-26 Nokia Corporation System and method for providing context-based dynamic speech grammar generation for use in search applications
US8069047B2 (en) * 2007-02-12 2011-11-29 Nuance Communications, Inc. Dynamically defining a VoiceXML grammar in an X+V page of a multimodal application
US7801728B2 (en) 2007-02-26 2010-09-21 Nuance Communications, Inc. Document session replay for multimodal applications
US8150698B2 (en) * 2007-02-26 2012-04-03 Nuance Communications, Inc. Invoking tapered prompts in a multimodal application
US7809575B2 (en) * 2007-02-27 2010-10-05 Nuance Communications, Inc. Enabling global grammars for a particular multimodal application
US8713542B2 (en) * 2007-02-27 2014-04-29 Nuance Communications, Inc. Pausing a VoiceXML dialog of a multimodal application
US8938392B2 (en) * 2007-02-27 2015-01-20 Nuance Communications, Inc. Configuring a speech engine for a multimodal application based on location
US7822608B2 (en) * 2007-02-27 2010-10-26 Nuance Communications, Inc. Disambiguating a speech recognition grammar in a multimodal application
US7840409B2 (en) * 2007-02-27 2010-11-23 Nuance Communications, Inc. Ordering recognition results produced by an automatic speech recognition engine for a multimodal application
US9208783B2 (en) * 2007-02-27 2015-12-08 Nuance Communications, Inc. Altering behavior of a multimodal application based on location
US20080208586A1 (en) * 2007-02-27 2008-08-28 Soonthorn Ativanichayaphong Enabling Natural Language Understanding In An X+V Page Of A Multimodal Application
US8886545B2 (en) 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US8949266B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US10056077B2 (en) * 2007-03-07 2018-08-21 Nuance Communications, Inc. Using speech recognition results based on an unstructured language model with a music system
US8843376B2 (en) * 2007-03-13 2014-09-23 Nuance Communications, Inc. Speech-enabled web content searching using a multimodal browser
US7945851B2 (en) * 2007-03-14 2011-05-17 Nuance Communications, Inc. Enabling dynamic voiceXML in an X+V page of a multimodal application
US8515757B2 (en) * 2007-03-20 2013-08-20 Nuance Communications, Inc. Indexing digitized speech with words represented in the digitized speech
US8670987B2 (en) * 2007-03-20 2014-03-11 Nuance Communications, Inc. Automatic speech recognition with dynamic grammar rules
US8909532B2 (en) * 2007-03-23 2014-12-09 Nuance Communications, Inc. Supporting multi-lingual user interaction with a multimodal application
US20080235029A1 (en) * 2007-03-23 2008-09-25 Cross Charles W Speech-Enabled Predictive Text Selection For A Multimodal Application
US8788620B2 (en) * 2007-04-04 2014-07-22 International Business Machines Corporation Web service support for a multimodal client processing a multimodal application
US8725513B2 (en) * 2007-04-12 2014-05-13 Nuance Communications, Inc. Providing expressive user interaction with a multimodal application
US8862475B2 (en) * 2007-04-12 2014-10-14 Nuance Communications, Inc. Speech-enabled content navigation and control of a distributed multimodal browser
US8457946B2 (en) * 2007-04-26 2013-06-04 Microsoft Corporation Recognition architecture for generating Asian characters
KR20090020265A (ko) * 2007-08-23 2009-02-26 삼성전자주식회사 휴대 단말기 및 그 메시지 작성 방법
US8082148B2 (en) 2008-04-24 2011-12-20 Nuance Communications, Inc. Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise
US8214242B2 (en) * 2008-04-24 2012-07-03 International Business Machines Corporation Signaling correspondence between a meeting agenda and a meeting discussion
US9349367B2 (en) * 2008-04-24 2016-05-24 Nuance Communications, Inc. Records disambiguation in a multimodal application operating on a multimodal device
US8229081B2 (en) * 2008-04-24 2012-07-24 International Business Machines Corporation Dynamically publishing directory information for a plurality of interactive voice response systems
US8121837B2 (en) 2008-04-24 2012-02-21 Nuance Communications, Inc. Adjusting a speech engine for a mobile computing device based on background noise
US9922640B2 (en) 2008-10-17 2018-03-20 Ashwin P Rao System and method for multimodal utterance detection
US8380513B2 (en) * 2009-05-19 2013-02-19 International Business Machines Corporation Improving speech capabilities of a multimodal application
US8290780B2 (en) 2009-06-24 2012-10-16 International Business Machines Corporation Dynamically extending the speech prompts of a multimodal application
US8510117B2 (en) * 2009-07-09 2013-08-13 Nuance Communications, Inc. Speech enabled media sharing in a multimodal application
US8416714B2 (en) * 2009-08-05 2013-04-09 International Business Machines Corporation Multimodal teleconferencing
US8494852B2 (en) 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US8704783B2 (en) 2010-03-24 2014-04-22 Microsoft Corporation Easy word selection and selection ahead of finger
US9292161B2 (en) * 2010-03-24 2016-03-22 Microsoft Technology Licensing, Llc Pointer tool with touch-enabled precise placement
US8898065B2 (en) 2011-01-07 2014-11-25 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
WO2012161359A1 (ko) * 2011-05-24 2012-11-29 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
US9317196B2 (en) 2011-08-10 2016-04-19 Microsoft Technology Licensing, Llc Automatic zooming for text selection/cursor placement
CN103186523B (zh) * 2011-12-30 2017-05-10 富泰华工业（深圳）有限公司 电子设备及其自然语言分析方法
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
CN103714048B (zh) * 2012-09-29 2017-07-21 国际商业机器公司 用于校正文本的方法和系统
WO2014055076A1 (en) 2012-10-04 2014-04-10 Nuance Communications, Inc. Improved hybrid controller for asr
US9190057B2 (en) 2012-12-12 2015-11-17 Amazon Technologies, Inc. Speech model retrieval in distributed speech recognition systems
CN103177724A (zh) * 2013-03-19 2013-06-26 华为终端有限公司 语音控制文本操作的方法、装置及终端
US9390079B1 (en) 2013-05-10 2016-07-12 D.R. Systems, Inc. Voice commands for report editing
WO2015093655A1 (ko) * 2013-12-19 2015-06-25 주식회사 큐키 전자 장치, 문자 수정 방법 및 이를 수행하기 위한 프로그램을 포함하는 컴퓨터로 판독 가능한 기록매체
WO2015093656A1 (ko) * 2013-12-19 2015-06-25 주식회사 큐키 전자 장치, 오타 수정 방법 및 이를 수행하기 위한 프로그램을 포함하는 컴퓨터로 판독 가능한 기록매체
US9448991B2 (en) * 2014-03-18 2016-09-20 Bayerische Motoren Werke Aktiengesellschaft Method for providing context-based correction of voice recognition results
CN105869632A (zh) * 2015-01-22 2016-08-17 北京三星通信技术研究有限公司 基于语音识别的文本修订方法和装置
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
JP2016181018A (ja) * 2015-03-23 2016-10-13 ソニー株式会社 情報処理システムおよび情報処理方法
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10971157B2 (en) 2017-01-11 2021-04-06 Nuance Communications, Inc. Methods and apparatus for hybrid speech recognition processing
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN110321534B (zh) * 2018-03-28 2023-11-24 科大讯飞股份有限公司 一种文本编辑方法、装置、设备及可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027406A (en) * 1988-12-06 1991-06-25 Dragon Systems, Inc. Method for interactive speech recognition and training
DE4412930A1 (de) * 1994-04-15 1995-10-19 Philips Patentverwaltung Verfahren zum Ermitteln einer Folge von Wörtern
US5875448A (en) * 1996-10-08 1999-02-23 Boys; Donald R. Data stream editing system including a hand-held voice-editing apparatus having a position-finding enunciator
US6665639B2 (en) * 1996-12-06 2003-12-16 Sensory, Inc. Speech recognition in consumer electronic products
US5909667A (en) * 1997-03-05 1999-06-01 International Business Machines Corporation Method and apparatus for fast voice selection of error words in dictated text
CN1163869C (zh) * 1997-05-06 2004-08-25 语音工程国际公司 用于开发交互式语音应用程序的系统和方法
US6301560B1 (en) * 1998-01-05 2001-10-09 Microsoft Corporation Discrete speech recognition system with ballooning active grammar
KR100308274B1 (ko) * 1998-09-22 2001-11-15 구자홍 가변어휘인식시스템
KR20010085219A (ko) * 1999-01-05 2001-09-07 요트.게.아. 롤페즈 서브단어 메모리를 포함하는 음성인식 장치
EP1088299A2 (en) * 1999-03-26 2001-04-04 Scansoft, Inc. Client-server speech recognition
US6360201B1 (en) * 1999-06-08 2002-03-19 International Business Machines Corp. Method and apparatus for activating and deactivating auxiliary topic libraries in a speech dictation system
CN1315721A (zh) * 2000-03-23 2001-10-03 韦尔博泰克有限公司 客户服务器语音信息传送系统与方法
WO2001084535A2 (en) * 2000-05-02 2001-11-08 Dragon Systems, Inc. Error correction in speech recognition
KR100427681B1 (ko) * 2000-06-19 2004-04-27 인터내셔널 비지네스 머신즈 코포레이션 분산 데이터 처리 시스템에 있어서 동적 문서 생성용콤포넌트 모델 정의 장치 및 방법

Also Published As

Publication number Publication date
ATE452399T1 (de) 2010-01-15
CN1708784B (zh) 2012-05-30
EP1556855B1 (en) 2009-12-16
US7003457B2 (en) 2006-02-21
EP1556855A4 (en) 2006-01-18
WO2004040551A8 (en) 2004-08-26
KR100734409B1 (ko) 2007-07-03
US20040083109A1 (en) 2004-04-29
CN1708784A (zh) 2005-12-14
EP1556855A1 (en) 2005-07-27
WO2004040551A1 (en) 2004-05-13
DE60330591D1 (de) 2010-01-28
ES2334907T3 (es) 2010-03-17

Similar Documents

Publication Publication Date Title
KR100734409B1 (ko) 핸드헬드 전자 장치에서 텍스트를 편집하는 방법 및 시스템
US8812316B1 (en) Speech recognition repair using contextual information
US7444286B2 (en) Speech recognition using re-utterance recognition
US7467089B2 (en) Combined speech and handwriting recognition
US7526431B2 (en) Speech recognition using ambiguous or phone key spelling and/or filtering
US7505911B2 (en) Combined speech recognition and sound recording
US7577569B2 (en) Combined speech recognition and text-to-speech generation
US7313526B2 (en) Speech recognition using selectable recognition modes
US9111538B2 (en) Genius button secondary commands
US7809574B2 (en) Word recognition using choice lists
US7634403B2 (en) Word recognition using word transformation commands
US7716058B2 (en) Speech recognition using automatic recognition turn off
EP1240642A1 (en) Learning of dialogue states and language model of spoken information system
US7552221B2 (en) System for communicating with a server through a mobile communication device
Primorac et al. Android application for sending SMS messages with speech recognition interface
CN111325039A (zh) 基于实时通话的语言翻译方法、系统、程序和手持终端
US7460999B2 (en) Method and apparatus for executing tasks in voice-activated command systems
EP1681830A1 (fr) Procédé et dispositif d&#39;obtention d&#39;informations relatives à la présence et/ou la disponibilité d&#39;un utilisateur
JP2007509418A (ja) 手書き認識をパーソナル化するシステムと方法
JP2015052745A (ja) 情報処理装置、制御方法、及びプログラム
EP1635328B1 (en) Speech recognition method constrained with a grammar received from a remote system.
CN111274828B (zh) 基于留言的语言翻译方法、系统、计算机程序和手持终端
JP2003202890A (ja) 音声認識装置及びその方法、プログラム
KR101228038B1 (ko) 무선 단말에서 빠른 타자 수단을 제공하는 시스템, 장치 및방법
CN112256846A (zh) 一种人机对话交互方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140605

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 13